보건전문직 교육에서 학습환경의 개념화(Acad Med, 2019)

Conceptualizing Learning Environments in the Health Professions

Larry D. Gruppen, PhD, David M. Irby, MDiv, PhD, Steven J. Durning, MD, PhD, and Lauren A. Maggio, MS(LIS), PhD



교육자, 연구자, 인증관련 담당자는 보건 직업 교육에 대한 학습 환경(LEs)의 긍정적 효과와 부정적인 영향을 모두 강조해 왔다.133 학습자는 환영, 참여, 지원, 도전을 받는 환경에서는 잘 성장하지만, 학습자가 LE에서 배제당하거나, 지지받지 못하거나, 학대당한다고 인식할 경우 일반적으로 높은 수준의 우울증, 소진, 한계화 및/또는 탈진으로 이어진다.

Educators, researchers, and accreditors have highlighted both the positive and negative effects of learning environments (LEs) on health professions education.1–3 Learners thrive in settings where they are welcomed, engaged, supported, and challenged, but when learners perceive the LE to be exclusionary, unsupportive, and/or abusive, this typically leads to high levels of depression, burnout, marginalization, and/or exhaustion.


그러나 LE의 정의나 LE를 측정하는 도구에는 균일성이 거의 없다.4,5

yet there is little uniformity in definitions and measuring instruments.4,5


환경이라는 용어는 중세 프랑스어 엔비론(environ)에서 온 말로, ‘주변’으로 번역된다. 그러므로 환경은 "주변에 있거나 둘러싸고 있는 것:으로서, '특정 환경의 물리적 또는 사회적 세계'를 의미한다. 그래서 "학습 환경"은 문자 그대로 "배움을 둘러싸고 있는 환경"을 의미한다. 또 다른 정의는 "각 상황에 성격, 정신, 문화를 부여하고 그 조직 내에서 학습자가 되는 것이 어떤 것인지 설명하는 특징들의 집합"이다7(p554)

The term “environment” comes from the Middle French word “environ,” which is translated as “around.” Thus, environment means “that which is around or surrounds”—the physical or social world of a particular setting.6 So the “learning environment” literally means “that which surrounds learning.” Another definition is “a set of features that gives each circumstance and institution a personality, a spirit, a culture and describes what it is like to be a learner within that organization.”7(p554)


LE는 분위기, 학습기후, 조직문화 또는 환경, 교육환경과 자주 동의어처럼 쓰인다. 그것은 사람들이 서로 교류하는 일상적인 방식과 사회문화적 풍토의 어조뿐만 아니라 학습을 둘러싸고 있는 조직구조와 물리적 공간을 묘사한다.8 LE와 관련된 연구 전반에 걸쳐 일관된 것은 [LE의 목적은 그 환경 내에서 모든 것의 학습과 개발을 지원하는 것]이라는 관측이다.

LE is a term that is often used synonymously with atmosphere, learning climate, organizational culture or milieu, and educational environment. It describes the routine ways in which people interact with each other and the tone of the social and cultural climate as well as the organizational structures and physical spaces that surround learning.8 What is consistent across research pertaining to the LE is the observation that its purpose is to support the learning and development of all within that setting.


Josiah Macy Jr.를 위해 실시된 범위 검토에 기초하여. 2018년 4월 보건 분야의 학습 환경 개선에 관한 기초 합의 회의. 우리는 LE에 대해 다음과 같은 정의를 제안했다. 

"학습 환경은 학습자의 경험, 인식, 학습을 둘러싸고 형성하는 사회적 상호작용, 조직 문화와 구조, 물리적·가상적 공간을 말한다."

On the basis of a scoping review conducted for a Josiah Macy Jr. Foundation consensus conference on improving environments for learning in the health professions in April 2018,9 we proposed the following definition: 

“Learning environment refers to the social interactions, organizational culture and structures, and physical and virtual spaces that surround and shape the learners’ experiences, perceptions, and learning.”


LE 개념틀 개발

Developing a Conceptual Framework for LEs


특히 LE의 구성은 특정 이론이나 관점이 "소유"하고 있는 것이 아니다. 실제로, 학습 이론에서 LE가 무시되는 경우가 너무 잦아서, LE의 구조는 이론적인 애매모호한 무언가에 남겨진다. LE의 강력한 개념적 프레임워크를 이용할 수 있을 때까지, LE의 평가와 개선에는 한계가 있을 것이다.

Notably, the construct of the LE is not “owned” by any particular theory or perspective. Indeed, all too often the LE is ignored in theories of learning, leaving this construct in something of a theoretical limbo. Until a robust conceptual framework of the LE is available, there will be limited progress in assessing and improving the LE.


2012년 숄록-아데마와 동료들의 문헌 검토에 따르면, 이전에 LE를 frame하려는 시도가 있었다고 한다. 

  • 첫 번째 틀은 1938년 머레이의 작품에서 비롯되었다. 그는 개인의 성격과 이것이 환경에 대한 인식에 어떤 영향을 미치는지 설명하는 데 초점을 맞췄다. 

  • 두 번째 틀은 1970년대 무스의 작품이었다. 고등교육의 맥락에서 일하면서 Mos는 각 LE를 세 가지 넓은 영역으로 개념화했다. 

    • 개인적 개발 또는 목표 지향교육 목표, 건설적 비판 및 피드백, 관련 학습 내용과 관련된 

    • 관계: 학습자와 교직원이 서로를 어떻게 지원하는지에 초점을 맞추고, 제휴와 정서적 지지를 보여주며, 공개적인 커뮤니케이션 

    • 시스템 유지와 시스템 변화: 명확한 기대, 개방적이고 질서 있는 환경, 혁신, 학생 영향력의 범위와 같은 것 

There have been previous attempts to frame the LE, according to a 2012 review of the literature by Schönrock-Adema and colleagues.4 

  • The first framework arose from the work of Murray10 in 1938. He focused on describing the individual’s personality and how this influenced his or her perceptions of the environment. 

  • The second framework was the work of Moos11,12 in the 1970s. Working in the context of higher education, Moos conceptualized each LE in terms of three broad domains: 

    • personal development or goal direction, which relates to educational goals, constructive criticism and feedback, and relevant learning content; 

    • relationships, which focus on how learners and faculty members support each other, demonstrate affiliation and emotional support, and have open communication; and 

    • system maintenance and system change, which addresses such things as clear expectations, an open and orderly environment, innovation, and the extent of student influence. 


Moos의 프레임워크는 LE의 많은 기존 학습자 자체 보고서 척도에 사용되어 왔으며, 그러한 계측기 항목의 90% 이상을 차지한다. 숄록-아데마와 동료들은 Moos의 프레임워크를 기반으로 건강 전문가들을 위한 LE의 3-도메인 프레임워크를 주장하고 있다. 목표 지향, 관계, 조직/규제.

Moos’s framework has been used in many of the existing learner self-report measures of the LE and accounts for over 90% of the items in those instruments.4 Building on Moos’s framework, Schönrock-Adema and colleagues4 argue for a three-domain framework of the LE for the health professions: goal orientation, relationships, and organization/regulation.


Genn의 2001년 LE 분석에서는, 학습에 영향을 미칠 경우 거의 모든 것이 LE의 일부로 간주될 수 있다고 지적하면서, LE의 이론을 발전시키기 위한 주요 도전을 강조한다. 그는 시간표, 수업 구성, 여가 시간, 임상 팀원 등 많은 변수로 이러한 복잡성을 설명한다. Genn이 제시한 포괄적인 프레임은 반대로 [LE가 아닌 것이 무엇인가]에 대한 의문을 제기한다. LE의 개념적 틀은 [무엇을 포함하느냐] 만큼 [무엇을 배제하느냐]를 제시하는 것으로서 가치가 있다.

Genn’s5,13 2001 analysis of the LE highlights a major challenge to developing a theory of the LE when he notes that almost anything can be considered part of the LE if it has an impact on learning. He illustrates this complexity with a number of variables, such as time tables, class composition, leisure time, clinical team members, and many others. Such a comprehensive framing raises the question of what isn’t part of the LE. A conceptual framework of the LE is valuable as much for what it would leave out as for what it would include.


우리는 LE란 [특정한 환경에서 개인, 사회 그룹 및 조직에 의해 고취되고 상황별 분위기와 문화에 의해 형성되는 복잡한 정신-사회-물리적 구조]라고 생각할 수 있다고 주장한다.8 

We argue that the LE can be thought of as a complex psycho-social-physical construct that is cocreated by individuals, social groups, and organizations in a particular setting and shaped by contextual climate and culture.


위에서 설명한 각 프레임워크는 [타인과의 상호작용과 협업의 중요성]을 강조한다. 왜냐하면, (상호작용과 협업은) "[다른 사람들로부터 지식과 기술을 배움으로써, 또한 자신이 속한 지역사회에 존재하는 규범과 문화적 신념과 태도와 친숙하게 됨으로써] 학생들이 학습하고 참여하는 수단이기 때문이다. 그러나 LE는 단순한 사회적 상호작용이 아니다. 또한 물리적 공간과 가상(디지털) 환경뿐만 아니라 개별적인 심리적 특성을 포함해야 한다.

Each of the frameworks described above emphasizes the importance of interactions and collaborations with others “as the means for students’ learning/participation, both through learning knowledge and skills from others, and through becoming familiar with the norms, cultural beliefs and attitudes existing in the communities to which they (the learners) are being introduced.”4(p739) However, the LE is more than just social interactions. It must also encompass intraindividual psychological characteristics as well as physical spaces and virtual (digital) environments.


우리는 심리사회적 관점이 개념적 틀을 구축하기 위한 확고한 기초를 제공한다고 믿는다.

We believe that a psychosocial perspective provides a solid foundation for building a conceptual framework.


  • situated learning 관점에서, 학습은 적극적인 참여를 통해 (공동체의 일원이 됨) 새로운 지식 공동체로의 적응을 수반한다.14

Within a situated learning perspective, learning involves acculturation into a new knowledge community (becoming a member of a community) through active participation.14


  • 생태 심리학이나 근무지 학습과 같은 관련 이론들은 학습자들이 적극적으로 참여하는 환경의 여유에 의해 학습과 관련된 사회적 상호작용이 촉진된다는 것을 강조한다.15

Related theories, such as ecological psychology and workplace learning, emphasize that social interactions related to learning are facilitated by affordances in the environment with which learners actively engage.15


  • 인지 및 활동 이론16 또한 학습자의 사회적 특성과 환경과의 상호작용을 강조한다. 구체적으로는 지식이 습득되는 활동, 맥락, 문화에 내재되어 있다.17

Situated cognition and activity theory16 also emphasizes the social character of learning and the interactions of the learner with the environment. Specifically, knowledge is embedded in the activity, context, and culture in which it is learned.17


  • 사회물질성 이론은 기술, 업무, 조직의 교차점에 기초하고 있다. 이 이론에서는 작업의 물질적 차원과 심리사회적 차원이 서로 얽히고설켜 불가분의 관계에 있다고 상정한다.

Sociomateriality theory builds on the intersection of technology, work, and organizations—suggesting that the material dimensions and psychosocial dimensions of work are intertwined and inseparable.18,19



LE를 위한 개념틀 제안

Proposing a Conceptual Framework for the LE


LE의 규범적 이론이 없었기 때문에, 우리는 생명시스템 관점(모든 생명 시스템, 그들의 구조, 상호작용, 행동 및 개발에 관한 일반적인 이론)을 따라 다중 개념 프레임워크를 합성하고 2차원을 형성하는 5개의 중첩 및 쌍방향 핵심 구성요소를 식별했다.

Lacking a canonical theory of the LE, we followed a living systems perspective20 (a general theory about all living systems, their structure, interaction, behavior, and development) to synthesize multiple conceptual frameworks3,4,11–13,19,21,22 and identified five overlapping and interactive core components that form two dimensions.


LE의 여러 측면

aspects of the LE (Figure 1).




심리사회적 차원

Psychosocial dimension


개인 요소

Personal component.


LE의 개인 구성 요소: 개별 학습자가 어떻게 LE와 상호 작용하는지, 어떻게 LE에 대한 인식을 개발하는지, 어떻게 (LE가) 개인의 성장에 관여하며, 전문직 정체성을 개발하는지.

The personal component of the LE : how individual learners interact with the LE, develop perceptions of the LE, engage in personal growth, and develop professional identity.


Scoping review 에서 우리는 LE의 개인 수준 요소와 긍정적으로 연관된 개입 또는 요인을 식별했다. 

      • 직접 환자 치료에 집중하는 시간, 

      • 동료들의 공동체를 갖는 것, 

      • 좋은 삶의 질과 높은 수준의 회복력, 

      • 웰빙 훈련, 

      • "의미있는" 실천으로 배우는 것, 

      • 학습자를 지원하는 규제된 제도를 신뢰하다.

From our scoping review,9 we identified interventions or factors positively associated with the personal component of the LE: 

      • time focused on direct patient care, 

      • having a community of peers, 

      • a good quality of life and high levels of resilience, 

      • training in well-being, 

      • learning in a “meaningful” practice, and 

      • trust in a regulated system that supports learners.


LE와 부정적인 연관성을 가진 요인은 

      • 삶의 질이 나빠지면 더 감정적으로 지치는 것

      • 도덕적 디스트레스

      • 탈인간화

      • 미래까지 버틸 수 있는지와 자기 능력에 대한 걱정

Factors with negative associations with the LE were 

      • poor quality of life leading to more emotional exhaustion, 

      • moral distress, 

      • depersonalization, and 

      • worries about future endurance and capacity.


교육자들에게 있어, LE에 대한 학습자들의 개인요인은 가장 중요하다. LE의 이러한 개인적이고 학습자 중심적인 구성요소는 학습자 경험, 학습자 및 인식에 강하게 영향을 미친다. 실제로, LE를 측정하기 위해 고안된 대부분의 도구들은 개별 학습자가 LE를 인지하는 방식에 초점을 맞추고 있지만, 이러한 척도는 LE의 더 큰 사회적, 조직적, 물리적, 가상적 요소를 다루지 못하면서 개인에 집중한다는 한계가 있다.

For educators, the personal dimensions of their learners are of paramount importance. This personal, learner-centered component of the LE strongly influences learner experience, learning, and perceptions. Indeed, most inventories designed to measure the LE are focused on how individual learners perceive it, but this imposes a limitation by focusing on the individual while failing to address the larger social, organizational, physical, and virtual components of the LE.


사회 요소

Social component.


(개인적인 차원에 더해져서) LE의 사회적 요소는 다른 사람들과의 상호작용과 사회적 관계에 대한 부분을 다룬다. 이러한 관계에는 다음의 요소가 있다.

      • 동료-대-동료(경쟁력, 협업, 공유 가치 및 학습자 문화)

      • 학습자-대-교수/직원(신뢰, 피드백, 기대의 명확성, 커뮤니케이션, 교육 전략, 멘토링)

      • 학습자-대-환자(책임, 수용, 신뢰) 

The social component of the LE characterizes interactions and social relations with others, thus adding to the personal dimension. These relationships include 

      • peer-to-peer (competition, cooperation, shared values and learner culture), 

      • learner-to-faculty/staff (trust, feedback, clarity of expectations, communication, instructional strategies, mentoring), and 

      • learner-to-patient (responsibility, acceptance, trust) elements. 


사회적 구성요소는 이러한 상호작용의 퀄리티를 설명한다(형평성과 inclusion, 학습자의 괴롭힘과 학대를 포함) .

The social component describes the quality of these interactions, including equity and inclusion, and harassment and abuse of learners.


사회적 요소를 개선하기 위해 설계된 개입에는 다음이 있다.

      • 긍정적인 학습 환경을 조성하는 데 초점을 맞춘 교수개발 워크숍, 

      • 동료 코칭 프로그램, 

      • 다양성/자본성/적폐성 교육, 

      • 팀워크 교육 

Interventions designed to improve the social component include 

      • faculty development workshops focusing on creating a positive learning climate, 

      • peer coaching programs, 

      • diversity/ equity/inclusion training, and 

      • teamwork training.9


사회적 요소에 대한 조사는 전형적으로 사회학자, 인류학자, 민족지학자들의 관심사이며, 이 연구자들은 개인이 시스템 내에서 어떻게 상호작용하는지에 높은 가치를 둔다.

Investigations of the social component typically fall under the purview of sociologists, anthropologists, and ethnographers, who place high value on how individuals interact with each other and within a system.


이 요소와 관련된 이론은 위치 학습, 위치 인식, 사회 물질성 및 신중한 실천을 포함한다.

Theories that pertain to this component include situated learning, situated cognition, sociomateriality, and deliberate practice.


조직 요소

Organizational component.


사회적 요소와는 달리, 조직 요소는 주로 다음을 다룬다.

      • 아티팩트(또는 사람들이 환경의 물체나 요소와 상호작용하는 방법) 

      • 일군의 개인(개인의 일반적인 사회적 영역에 속하지 않는 사람들)

unlike the social component, the organizational component primarily addresses 

      • artifacts (or how people interact with objects or elements in their environment) and/or 

      • groups of individuals (who are not just a part of the individual’s typical social circle). 


따라서 이 요소는 개인이 어떻게 정책과 상호 작용하는지, 어떻게 조직 성과 척도에 대응하는지, 어떻게 문화 및 특정한 리더십에 대응하는지 등이 포함된다.

Thus, this component emphasizes how individuals interact with policies, navigate organizational performance measures, and respond to culture and/or particular leadership actions.


조직은 학습을 위한 구조, 지침, 지원을 제공한다. 이러한 지원은 커리큘럼 자원, 지리적 배치 인증 규칙뿐만 아니라 조직 관행, 문화 및 정책(예: 근무 시간, 규제 환경, 교사 통제, 커리큘럼)의 형태를 취할 수 있다.

Organizations provide structure, guidance, and/or support for learning. This support can take the form of curriculum resources, geographic placements, and accreditation rules, as well as organizational practices, culture, and policies (such as duty hours, regulatory environment, teacher control, curriculum).


우리는 또한 이 조직 구성 요소의 지역사회(지리적 설정/위치)에 배치placement도 포함한다.

We also include placements in the community (geographical settings/locations) in this organizational component.


계약, 규제 기관 및 정책 입안자는 일반적으로 LE의 조직 요소에 초점을 맞춘다.

Deans, regulatory bodies, and policy makers typically focus on the organizational component of the LE.



물질 차원

Material dimension


물리적 공간

Physical spaces.


LE 프레임워크의 물질적 차원은 다음을 포함한다. 

      • 학습과 실습이 이루어지는 물리적/가상적 공간 

      • 학습에 영향을 미치는 환경의 객체object (예: 전자 건강 기록 및 주문 입력 시스템, 청진기, 복강경). 

The material dimension of our LE framework includes 

      • the physical and virtual spaces in which learning and practice occur as well as 

      • objects (artifacts) in the environment that affect learning (e.g., electronic health record and order entry systems, stethoscopes, laparoscopes). 


물리적 공간은 벽돌로 된 캠퍼스 기반의 교육 및 학습 건물, 병원과 클리닉 및 커뮤니티 사이트를 포함한다. 학생들은 공부, 토론, 팀 배움의 좋은 장소를 찾는다. 작은 회의실은 환자 진료가 한창인 상황에서 임상 교육에 매우 중요하다. 학생과 레지던트가 일반적으로 환자를 진찰하는 데 전문의보다 시간이 더 오래 걸리는 점을 감안할 때, 적절한 수의 진찰실을 이용할 수 있는 것은 임상 학습에 필수적이다. 

Physical space includes brick-and-mortar campus-based teaching and learning buildings, hospitals and clinics, and community sites. Students search for conducive spaces for study, discussion, and team learning. Small conference rooms are critical to clinical education in the midst of patient care. Availability of an adequate number of examination rooms is essential for clinical learning, given that students and residents typically take longer to examine patients than do board-certified physicians. 


물리적 공간과 관련된 LE를 개선하기 위해 설계된 개입에는 종단적 실습 또는 지역사회 배치가 포함된다.9 공간은 또한 시뮬레이션 시설, 해부 실험실, 컴퓨터화된 시험실 등 다양한 교육 자원의 핵심이다. LE의 공간 구성요소는 주로 특정 학습 활동에 관련된 공간의 양과 질에 대한 것이다.

Interventions designed to improve the LE associated with physical space include longitudinal and community placements.9 Space is also key to various educational resources, such as simulation facilities, anatomy labs, and computerized testing rooms. The space component of the LE directs attention to the quantity and quality of spaces relevant to specific learning activities.


가상 공간

Virtual spaces.


물리적 공간 외에도 학습자에게 콘텐츠를 전달하고 상호 작용과 학습을 위한 포럼을 제공하는 전자 학습 환경, 커리큘럼 관리 도구, 디지털 도우미가 모두 물질 차원에 속한다. 그러나 재료 차원에는 환경의 다른 어포던스(예: 전자 건강 기록 시스템에 내장된 적시 학습, 휴대용 장치, 컴퓨터 네트워크)도 포함된다.

In addition to physical space, the electronic learning environments, curriculum management tools, and digital assistants that deliver content to learners and provide forums for interaction and learning are all part of the material dimension. However, the material dimension also includes other affordances in the environment (e.g., just-in-time learning built into electronic health record systems, handheld devices, computer networks).


사회 물질성 이론과 일치하여 물질적 차원은 두 차원이 불가분의 상호작용을 할 수 없는 심리사회적 차원과 "실천에서 얽히게entangled in practice"된다.18,19 예를 들어 EHR은 가상공간에 존재하는 LE이지만, 이러한 환경은 일반적으로 학습자마다, 팀마다, 기관마다 다르게 정의되고 경험된다. 

In alignment with sociomateriality theory, the material dimension is “entangled in practice” with the psychosocial dimension such that the two dimensions inextricably interact.18,19 For example, the electronic health record is a virtual LE, but this environment is typically defined and experienced differently for the individual learner, the medical team, and the institution overall.


물리적 공간을 개선하고 온라인 강좌를 설계하는 데 전념하는 자원에도 불구하고, 문헌에서 물질 차원의 영향에 대한 연구는 충분하지 않으며, LE에 관련해서도 그렇다. 이는 LE의 물질적 차원이 연구자로 하여금 정신사회적 및 물질적 차원의 통합을 연구할 것을 강력히 권고하는 환경심리학, 비즈니스 및 고등교육에서 수행된 연구와 대조된다.18,26

Despite the resources devoted to improving physical spaces and designing online courses, the study of the impact of the material dimension is underrepresented in the literature25 and notably so in the study of the LE.9 This contrasts with studies undertaken in environmental psychology, business, and higher education where the material dimension of the LE has led researchers to strongly recommend studying the integration of the psychosocial and material dimensions.18,26


개념틀 적용

Applying the Conceptual Framework


지역사회 병원 실습

Community placements


서호주의 시골임상학교는 1학년 의대생을 10개의 다른 시골과 외딴 곳에 3-10명의 회원으로 구성된 세로 통합 사무소에 배치한다.27

The Rural Clinical School of Western Australia places first-year medical students in longitudinal integrated clerkships, in groups of 3 to 10 members, in 10 different rural and remote sites.27


소규모 사이트와 대규모 사이트 간에는 결과 차이가 없었다. 중간기간의 인터뷰는 학생들의 인식 면에서 DREEM 설문지의 조사 결과와 상당히 관련이 있는 것으로 나타났다. 소규모 사이트의 학생들은 더 큰 사이트의 학생들보다 그들의 교육 경험에 더 만족했다. 연말 성적과 학습자 만족도는 사이트 규모 간에 차이가 없었다.

There were no differences in results between smaller sites and larger sites. Midyear interviews were shown to correlate significantly with the findings from the DREEM questionnaire in terms of student perceptions. Students at small sites were more satisfied with their educational experience than those at the larger sites. End-of-year grades and learner satisfaction showed no differences among site sizes.


동료학습공동체와 웰빙

Peer learning community and well-being


한 국제 연구는 LE에 대한 호의적인 학생 인식과 삶의 질, 고갈, 공감에 대한 학생 보고서 사이의 관계를 조사했다.29 그들의 발견은 긍정적인 LE 인식이 웰빙과 밀접하게 연관되어 있고 동료 커뮤니티를 육성하는 것이 삶의 질을 향상시키고 고갈을 줄일 수 있다는 것을 보여주었다. 그러나 LE에 대한 인식과 공감은 밀접한 상관관계가 없었다.

An international study examined the relationship between favorable student perceptions of the LE and student reports on quality of life, burnout, and empathy.29 Their findings indicated that positive LE perceptions were closely associated with well-being and that fostering peer community may enhance quality of life and reduce burnout. However, perceptions of the LE and empathy were not closely correlated.


LE의 문제진단 예시

Diagnosing a problem in the LE


예를 들어, 의과대학은 3학년 학생들의 경험에 대한 일상적인 감시를 통해 전반적인 학생 스트레스가 갑자기 증가한다는 것을 발견할 수 있다.

For example, a medical school might discover through its routine surveillance of third-year student perceptions of their experiences that there is a sudden increase in overall student stress.


    • 우선 심리사회적 차원의 개인적 요소를 고려하면, 행정부는 이러한 갑작스런 스트레스의 증가에 기여하는 개인의 특성을 고려할 수 있다. 스트레스가 소수의 학습자에게만 국한된 경우, 공유 속성(예: 대학 1세대, 의학에서 잘 표현되지 않음, 경제적 지위, 회복력)이 있을 수 있다. 만약 스트레스가 광범위하게 분포되어 있다면, 개인의 특성은 덜 가능성이 있어 보일 것이다.

Considering first the personal component of the psychosocial dimension, the administration might consider individual characteristics that are contributing to this sudden rise in stress. If the stress is limited to a small number of learners, there may be a shared attribute (e.g., first generation in college, underrepresented in medicine, economic status, resilience). If the stress was broadly distributed, individual characteristics would seem less likely.


    • 심리사회적 차원의 사회적 또는 대인관계적 요소는 스트레스를 유발하는 역학 또는 사건의 발생원이 될 가능성이 있다. 학습자들 사이에 스트레스가 널리 퍼지면 사회적 요소가 일을 할 가능성이 더 높다. 이 경우에 고려해야 할 사회적 원인은 갑작스런 경쟁의 증가, 수업의 부분들 간의 갈등, 교직원과 학생들 간의 건강하지 못한 상호작용, 또는 학생 괴롭힘과 학대에 대한 널리 공유된 인식일 수 있다. 갑작스런 스트레스의 시작은 이러한 잠재적인 원인들 중 일부를 더 가능성 있게 만들 것이다.

The social or interpersonal component of the psychosocial dimension would be a likely source of stress-inducing dynamics or events. The social component is more likely to be at work if the stress is widely disseminated among learners. Social causes to consider in this case might be a sudden increase in competition, conflicts among segments of the class, unhealthy interactions between faculty and students, or broadly shared perceptions of student harassment and mistreatment. The sudden onset of stress would make some of these potential causes more likely.


    • 조직적 요소나 제도적 요소도 기여자가 될 수 있다. 원 소속 기관에서 떨어진 기관에서의 필수 로테이션, 교직원과 행정 사이의 갈등, 병원의 합병과 확장, 또는 새로운 리더십에 따라 교육과정 변화는 모두 환경이 위협적이거나 불확실한 톤을 취한다면 학생들의 스트레스에 영향을 미칠 수 있는 기관 수준의 사건들이다.

The organizational or institutional component may also be a contributor. Curriculum changes with required rotations away from home, strife between faculty and administration, mergers and expansions of hospitals, or new leadership are all institutional events that can trickle down to affect student stress if the environment takes on a threatening or uncertain tone.


    • 물질 차원에서도, 연구와 사회적 상호작용을 위한 공식적으로 접근 가능한 공간이 오프라인으로 전환되거나 건설이 접근과 수용량을 방해하는 경우(예: 도서관 시간 및 강의실 접속이 축소되는 경우) 물리적 공간은 스트레스에 기여할 수 있다. 마찬가지로 가상 인프라는 LE에서 스트레스를 유발할 수 있다.

On the material dimension, physical spaces may also contribute to the stress, if formally accessible spaces for study and social interaction are taken offline or construction interferes with access and capacity (e.g., library hours and classroom access curtailed). Similarly, virtual infrastructure can trigger stress in the LE.


이 예는 또한 작업 환경work environment과 LE 사이의 상호작용을 강조한다. 보건직업교육은 실생활에서의 학습과 밀접하게 연관되어 있기 때문에, workplace의 특성과 역학관계도 LE의 일부가 된다. 본 연구의 모델에서도 작업 환경의 영향을 연과지을 수 있다.

    • 개인 수준 요소의 경우, 작업 환경은 성능, 역량 및 실패의 결과에 대한 개인의 불안으로 인해 발생하는 스트레스를 강조할 수 있다. 

    • 작업 환경은 또한 연습과 학습을 위한 대인관계의 내용, 형식 및 속도에 큰 영향을 미치기 때문에 LE의 대인관계에 영향을 미친다. 괴롭힘과 학대가 없는 환영하고 포용적인 근무 환경은 긍정적인 LE를 창출한다. 

    • 그것은 아마도 조직 차원에서 작업 환경이 LE에 가장 큰 영향을 미치는 것이다. 임상 생산성, 조직 구조, 다른 임상 시스템과의 합병 및 경쟁에 관한 제도적 정책 및 많은 다른 측면은 모두 학습이 이루어지는 환경에 기여한다. 이것은 의사 소진이 자주 발생하는 곳으로, LE의 사회적 상호작용에 직접적인 영향을 미친다. 

    • 마찬가지로 작업 환경은 실습과 학습을 위한 물리적 공간 내에서, 학습자가 숙지하고 사용해야 하는 가상 공간과 시스템(예: 전자 의료 기록 시스템) 내에서 발생한다.

This example also highlights the interaction between the work environment and the LE. Health professions education is tightly tied to learning in practice, so the characteristics and dynamics of the workplace also become part of the LE. The influence of the work environment can be considered within each of the components of our model. 

    • For the personal component, the work environment may accentuate stress created by individual anxiety about performance, competence, and the consequences of failure. 

    • The work environment also affects the interpersonal component of the LE because it heavily influences the content, format, and pace of interpersonal interactions, both for practice and for learning. A welcoming and inclusive work environment, free of harassment and abuse, creates a positive LE. 

    • It is, perhaps, at the level of the organization that the work environment has its greatest impact on the LE. Institutional policies on clinical productivity, organizational structure, mergers and competition with other clinical systems, and many other facets all contribute to the environment in which learning takes place. This is where physician burnout often occurs, which has a direct impact on the social interactions of the LE. 

    • Similarly, the work environment takes place within the physical spaces for practice and learning and the virtual spaces and systems (e.g., electronic medical record system) that the learners must master and use.


마무리

Concluding Observations


우리의 정신 사회/물질적 프레임워크는 몇 가지 장점을 가지고 있다. LE의 사회적 측면과 물리적 측면을 통합함으로써 다른 개념적 프레임워크보다 더 포괄적이다. 그것은 사회적 상호작용이 ([심리사회적 차원]과 [특정 LE의 구성요소들 사이의 복잡한 상호작용을 생각하는 비계scaffold]를 따라) 다층적 수준(개인, 사회, 조직)에서 일어난다는 것을 인식한다. 

our psychosocial/materiality framework has several strengths. By incorporating the social and the physical aspects of the LE, it is more inclusive than other conceptual frameworks. It recognizes that social interactions take place at multiple levels (personal, social, organizational) along the psychosocial dimension and scaffolds thinking about complex interactions among the components of any given LE.


우리의 개념적 틀은 자연스럽게 많은 권고사항으로 이어진다. 

  • 첫째, 학술 저널은 저자가 LE를 정의하지 않은 경우 또는 저자가 자신들의 개념적 프레임워크와 구체적인 LE를 고려하지 않은 경우 논문을 발행해서는 안 된다.

  • 둘째, 연구자들은 LE의 전체 차원성을 정확하게 평가하기 위해 심리사회적, 물질적 차원를 반영하는 평가 방법을 개발할 필요가 있다. 

  • 셋째, 연구자들은 LE에 대한 [학습자 인식]마나 사용하는 현실을 넘어서야 한다. 대신 물리적 공간과 가상 공간을 평가하는 것은 물론 사회적, 조직적 차원에서 대책을 개발할 필요가 있다. 

  • 넷째, 교육자들은 이 구조의 중요성을 인식해야 하며, 교육 혁신을 제안하고 시험하기 위해 문헌에 기반할 필요가 있다.

Our conceptual framework naturally leads to a number of recommendations. 

  • First, academic journals should not publish articles on the LE without the authors having defined the LE, describing their conceptual framework and specific LE(s) under discussion. 

  • Second, researchers need to develop assessment methods that reflect the psychosocial and material dimensions to accurately assess the full dimensionality of LEs. 

  • Third, researchers need to move beyond the sole use of learner perceptions of the LE. Instead, they need to develop measures at the social and organizational level, as well as assess physical and virtual spaces. 

  • Fourth, educators need to recognize the importance of this construct and use the literature to propose and test educational innovations.



9 Gruppen L, Irby DM, Durning S, Maggio L. Interventions designed to improve the learning environment in the health professions: A scoping review. https:// www.mededpublish.org/manuscripts/1944. Published 2018. Accessed March 4, 2019.


29 Tackett S, Wright S, Lubin R, Li J, Pan H. International study of medical school learning environments and their relationship with student well-being and empathy. Med Educ. 2017;51:280–289.






, 94 (7), 969-974
 

Conceptualizing Learning Environments in the Health Professions

Affiliations 

Affiliation

  • 1L.D. Gruppen is professor, Department of Learning Health Sciences, University of Michigan Medical School, Ann Arbor, Michigan; ORCID: http://orcid.org/0000-0002-2107-012. D.M. Irby is professor emeritus, Department of Medicine, University of California, San Francisco, San Francisco, California. S.J. Durning is professor, Department of Medicine, and director, Graduate Programs in Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, Maryland. L.A. Maggio is associate professor, Department of Medicine, and associate director, Graduate Programs in Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, Maryland; ORCID: http://orcid.org/0000-0002-2997-6133.

Abstract

The learning environment (LE) is an important and frequently discussed topic in the health professions education literature. However, there is considerable inconsistency in how the LE is defined and described. The authors propose a definition of the LE and a conceptual framework to facilitate health professions educators in understanding, studying, and designing interventions to improve the LE. To arrive at this conceptual framework, the authors employed a living systems perspective that draws on various frameworks and theories, including ecological psychology, workplace learning, situated cognition, and sociomateriality theory. The conceptual framework identifies five overlapping and interactive core components that form two dimensions: the psychosocial dimension and material dimension. The psychosocial dimension comprises three components: the personal, social, and organizational. Intertwined with the psychosocial dimension at each level is the material dimension, which encompasses physical and virtual spaces. This theoretical lens can facilitate identifying and analyzing problems in the LE and guide development of interventions to mitigate them. The authors conclude with several practical suggestions for health professions educators, investigators, and editors.


임상교육 지도 상황에서 입다물기(MUM): 개인적 생각과 공공의 판단(Med Educ, 2019)

Keeping mum in clinical supervision: private thoughts and public judgements

Catherine E Scarff,1 Margaret Bearman,2 Neville Chiavaroli1 & Steve Trumble1





도입

INTRODUCTION


이 시나리오를 상상해보라. 바쁜 클리닉이나 긴 병동 회진의 끝이며, 당신은 직장 평가에서 훈련생을 관찰할 예정이다. 그렇게 할 때, 당신은 연습생이 그 일에 고군분투하고 있는 것을 보게 되고 당신은 줄 '부정적 피드백'을 갖게 된다. 무슨 생각을 하고 있는 거야? 그리고 나서, 너는 어떻게 생각하니?

Imagine this scenario. It is the end of a busy clinic or long ward round and you are scheduled to observe a trainee in a workplace assessment. As you do so, you see that the trainee is struggling with the task and you have ‘negative feedback’ to give. What goes through your mind? And then, what do you say?


많은 임상 감독자들은 학습자의 성과에 대한 바람직하지 않은 관점을 갖게 될 때, 감독자는 자신의 생각을 말하기를 꺼린다.12 이것은 학습자가 자신의 성과에 대해, 특히 뭔가 문제가 있을 때, 충분한 정보를 제공받지 못하는 '피드백 소실'로 이어질 수 있다. 3 극단적으로, 이것은 기준을 충족하지 못하는 학습자의 'failure to fail'를 초래한다.1,2,4 그러한 바람직하지 않은 평가 뉴스를 전달하기를 꺼리는 것은, 본질적으로 종합적이든 형태적이든, 때때로 'MUM 효과'라고 알려진 심리 현상에 직접적으로 연관될 수 있다.

Many clinical supervisors are reluctant to speak their mind when they have formed an unfavourable view of a learner’s performance.1,2 This can lead to ‘vanishing feedback’,3 where a learner is not given sufficient information about their performance, in particular that their work is unsatisfactory. At an extreme, this results in the ‘failure to fail’ those learners who do not meet standards.1,2,4 Such reluctance to communicate unfavourable assessment news, whether summative or formative in nature, can at times, be directly linked to a psychological phenomenon known as ‘the MUM effect’.


1970년대 이후, 다양한 심리학과 경영학 연구는 일반적으로, 사람들이 불쾌감을 주는 메시지에 대해 Mum(MUM)한다는 것을 확인시켜 주었다.5 이러한 경험적 연구의 focused body는 의학 교육 문헌에서 상대적으로 탐구되지 않은 영역이지만, 어떤 상황에서는 직접적으로 표현을 하지 못하는 "예의바름"에 대해서 설명하기 위해 구성주의적 관념을 사용해 왔다. 의학 교육은 MUM 효과 문헌에서 참고할 것이많은데, 특히 우리의 최선의 노력에도 불구하고 'failure to fail'이 임상 감독에서 지속될 경우 더욱 그러하다.

Since the 1970s, a range of psychological and management studies have confirmed that, in general, people are likely to keep Mum about Unpleasant Messages (MUM).5 This focused body of empirical research remains relatively unexplored in the medical education literature, although constructionist notions of politeness have been used to explain a lack of direct expression in some circumstances.6 The MUM effect literature has much to offer medical education, particularly when ‘failure to fail’ persists in clinical supervision, despite our best efforts.4


1970년 조지아대 심리학과에서 로젠과 테서는 '사람들은 긍정적인 정보보다 부정적인 정보 전달을 더 꺼릴 것'이라는 상식적 개념을 시험해 보려고 했다. 5 이 기념비적인 MUM 효과 실험은 메시지의 성격과 전달 방법 사이의 관계를 조사했다.5 급한 메시지를 전달할 기회가 주어졌을 때, MUM에 대해 연구되고 있다는 것을 알지 못했던 피험자들은, (좋은 소식에 비해서) 나쁜 소식을 완전히 전달하지 못했다.5 저자들은 그 후 '무소식은 희소식'이라는 진언론을 '무소식은 비소식'으로 다시 표현했다.

In 1970, in the Department of Psychology at the University of Georgia, Rosen and Tesser sought to test the ‘common sense notion that people will be more reluctant to communicate information which is negative rather than positive for the recipient’.5 This seminal MUM effect experiment examined the relationship between the nature of the message and how people deliver it.5 Subjects, who were unaware that they were being studied about MUM, when given an opportunity to deliver an urgent message, did not deliver it as completely when the news was bad compared with good.5 The authors subsequently rephrased the aphorism ‘no news is good news’ to ‘no news is bad news’.7


MUM은 의료 교육 문헌에 거의 나타나지 않는다. 단, 평가자의 rating이 학습자 성과를 어떻게 적절하게 반영하는지 이해하는 데 초점을 맞추고 있다.17 비록 '불쾌한 리퍼커션'18에 대한 우려가 rating에 영향을 미치는 것으로 알려져 있지만, 이것은 '맥락적' 요인17 또는 등급 '변동성variability'의 출처source로 간주된다.18 MUM 효과에서는 초점이 다르다. 여기서는 적절한 rating 판단을 하더라도 평가자가 이러한 판단(등급, 서면 의견 또는 구두 피드백 정보)을 학습자에게 전달하지 않을 수 있음을 의미한다.

MUM appears rarely in the medical education literature, except fleetingly as a possible explanation for rater bias.16 However, rater cognition literature is predominantly focused on understanding how assessors’ ratings appropriately reflect learner performance.17 Although concern about ‘unpleasant repercussions’18 is noted as influencing ratings, it is considered as a ‘contextual’ factor17 or a source of rating ‘variability’.18 The MUM literature has a different focus. It suggests that, even if the appropriate assessment judgements are made, the assessor may not communicate these judgements (as ratings, written comments or verbal feedback information) to the learner.


임상 감독관들이 [개인적 생각]을 [공적 판단]으로 변환시킬 수 없는 것은 임상 평가와 의료에 심각한 영향을 미친다. 

  • 첫째, 이는 평가자 인식 문헌에 기술된 바와 같이 학생평가에서 오류의 원인이 된다. 이것은 복수의 평가자를 사용함으로써 다소 개선될 수 있으며, 이를 위해 최근 의료 교육 평가에 대한 '프로그램적' 접근방식은 복수의 평가자로부터 빈번한 형성적 '저부담' 평가에 의존한다. 

  • 둘째로, 의학교육 피드백 문헌에 따르면 평가자들은 학습자의 수행능력에 대한 정보를 주지 않으며(관대함 편향), 이는 학습자의 적절한 학습 기회를 막는다. 30여 년 전, 엔데는 같은 문제에 주목했는데, 그는 이를 '사라지는 피드백'이라고 불렀다. '... 교사는 선의 때문에 학생의 문제를 둘러서 이야기하거나, 완전히 난해하게 할 정도로 간접적인 표현을 사용한다. 부정적인 평가를 두려워하는 학생은, 선생님의 이같은 회피 행위를 지지하고 강화한다. 그 결과 최고의 의도에도 불구하고, 어떤 실질적인 가치도 전달되지도, 수신되지도 않는다.'

  • 마지막으로, 아무리 극단적으로라도, 임상 감독관은 학습자가 필요한 기준을 아직 충족하지 못했을 때 합격하게 놔두게 한다. 'Failure to fail'는 제대로 수행하지 못한 연습생에 대한 교정조치나 추가 지원이 없는 것을 뜻하며, 이는 (환자에게 해를 입히는 등) 심각한 결과가 발생하기 전에 개입하여 성과를 개선할 수 있는 기회를 놓치게 만든다. 결정적으로, failure to fail을 해결하기 위한 개입은(교수개발 포함)아주 제한된 개선만을 가져왔다. 즉, FtF는 의료 교육 및 실천에서 광범위한 영향을 미치는, 지속적으로 발생하는 결과이다.

Clinical supervisors’ inability to turn private thoughts into public judgements has serious implications for clinical assessment and health care more broadly. 

  • Firstly, it is a source of error in rating learners, as is described in the rater cognition literature.18 This may be somewhat ameliorated by the use of multiple raters and to this end, recent ‘programmatic’ approaches to medical education assessment rely on frequent formative ‘low stakes’ assessments from multiple raters.19–21 

  • Secondly, the medical education feedback literature suggests assessors withhold information about performance (‘leniency bias’), which prevents trainees from learning appropriately.22 Over 30 years ago, Ende noted the same issue, which he called ‘vanishing feedback’: ‘... the well-intentioned teacher talks around the problem or uses such indirect statements as to obfuscate the message entirely. The student, fearing a negative evaluation, supports and reinforces the teacher’s avoidance. The result is that despite the best of intentions, nothing of any real value gets transmitted or received’.3 

  • Finally, at the most extreme, clinical supervisors let learners pass when they have not yet met the required standard.4 ‘Failure to fail’ denies remediation or extra support to poorly performing trainees and results in a missed opportunity to intervene and improve performance before a serious consequence occurs, such as harm to patients. Critically, interventions aimed at addressing failure to fail, including faculty development, have resulted in only limited improvements.4 In other words, this is a persistent problem with wide-ranging consequences for health care education and practice.


아래 우리가 약술한 바와 같이, MUM 문헌은 '입을 닫는 것'을 유지하는 상태가 팽배하다고 말한다.23 2626 더 유용하게, MUM 효과 연구는 또한 개개인마다 서로 다른 방식으로 침묵을 지킨다는 것을 지적한다. 또한 'Mum 행동을 engage하는 정도도 다양하다.'30

As we outline below, the MUM literature suggests that keeping mum is pervasive.23–26 More usefully, the MUM effect research also notes that individuals keep mum in different ways27–29 and ‘vary in the extent they engage in these behaviors’.30


기사에서 나온 연구결과는 세 가지 테마로 함께 묶였다. 즉, MUM 행동이 어떻게 생겼는지를 설명하는 주제, MUM 효과의 잠재적 이유를 탐구하는 주제, 그리고 MUM 행동에 영향을 줄 수 있는 요소를 고려하는 테마.

The findings from the articles were clustered together into three themes: 

  • those that describe what MUM behaviours look like, 

  • those that explore potential reasons for the MUM effect and 

  • those that consider factors that can influence MUM behaviours.



MUM효과의 행동적 표현

BEHAVIOURAL MANIFESTATIONS OF THE MUM EFFECT


미루기

Delaying behaviours


가장 초기의 연구는 MUM 효과가 나쁜 소식을 전달하는데 있어서 '미루기' 형태로 나타난다는 것을 지적한다.5,27,38 예를 들어, 테서,로젠,테서는 현장 연구에서 나쁜 소식 전달이 좋은 소식과 비교하여 지연되었다는 것을 보여주었다.27 비슷하게 베네딕트와 레빈도 성과 평가에 관한 실험에서 [시뮬레이션된 감독자들이 하위 성과자들에게 수행 등급을 부여하는 것을 지연시켰다는 것]을 보여주었다. .29

The earliest research notes the MUM effect manifests as a ‘delay’ in delivering bad news.5,27,38 For example, Tesser, Rosen and Tesser showed in a field study that bad news delivery (rejection of a disability financial aid application) was delayed compared with good.27 Similarly, Benedict and Levine showed in an experiment about performance appraisal that simulated supervisors delayed giving performance ratings to lower performers.29


어떤 상황에서는 지연이 의사소통에 도움이 될 수 있다. 왜냐하면, 어떤 메시지를 받게 될지에 대한 valence를 알리고, teller를 돕는 '사회적 기능'을 할 수 있다.

it is noted that delay may even be beneficial to communication in some situations, serving a ‘social function’ 26 of announcing the valence of the message to come and so helping tellers in their task.9,26


왜곡하기

Distorting behaviours


불쾌한 메시지를 왜곡하는 모습은 실험실 설정에서도 관찰되었으며 28,29,36 메시지의 왜곡은 비즈니스 환경에서 '설탕발림'으로 보고되었다.34,39

Distorting an unpleasant message has also been observed in laboratory settings28,29,36 and distortion of the message has been reported in business settings as ‘sugarcoating’.34,39


조직적 학습에서 '설탕발림'의 효과를 모델링하는 것은, 메시지에 대한 약간의 왜곡이 사실 의사소통을 촉진할 수 있지만, 특정 지점을 넘어서면 효과적인 의사소통이 악화될 수 있음을 시사한다.34 이것은 긴스부르크 등이 언급한 언어 분석과 일치한다. 임상 작업 기반 평가에서 서면 코멘트를 수행했으며, 이는 좋은 수행자와 나쁜 수행자 모두에 대해서 광범위한 '헷징'이 발생함을 보여준다.6

Modelling the effects of ‘sugarcoating’ in organisational learning suggests some small amount of distortion of the message may in fact promote communication but when present beyond a certain point, effective communication deteriorates.34 This aligns with the linguistic analysis that Ginsburg et al. have conducted on written comments in clinical work- based assessments, which shows extensive ‘hedging’ for both good and bad performers.6


회피하기

Avoidant behaviours


중요한 것은, 나쁜 소식을 전달하는 사람들은 부정적인 메시지를 전달하는 것을 회피할 수 있다는 것이다.5,11,33,39 예를 들어, 2006년 자연주의 연구에서 인터뷰한 교장들 중 절반 이상이 처음에 성적이 나쁜 교사들의 문제를 무시하거나 회피한 것을 인정했다. 교장이 학생들의 실패를 관리하지 않기 위해 학생들에게 행동을 해 달라고 애원하는 극단적인 예를 포함한다.

Significantly, communicators of bad news may avoid delivering some or all of a negative message.5,11,33,39 For example, over half of the principals interviewed in a 2006 naturalistic study admitted to initially ignoring or avoiding the problem of underperforming teachers, including an extreme example of a principal begging students to behave to avoid managing their teacher’s failings.11


MUM효과는 왜 발생하는가?

WHY DOES THE MUM EFFECT OCCUR?


의사소통자의 성격이나 조직 분위기가 부정적인 메시지 전달에 상당한 영향을 미칠 수 있다는 점도 주목할 필요가 있다.39,41,42

It is worth noting that there are also factors in play; the communicator’s personality or the climate of an organisation may have a significant impact on delivery of negative messages.39,41,42


자신에 대한 걱정

Self-concern


Rosen과 Tesser는 '불쾌한 메시지의 전송을 가능하게 하는 상황에 놓이는 것은, 그가 실제로 메시지를 전송하는지 여부에 관계없이 개인 내면의 긴장을 조성한다'.5 초기 실험 연구에서는 의사소통자들이 나쁜 소식을 공유할 때 죄책감을 경험할 수 있다는 것을 보여주었다.

MUM behaviours may result from a communicator’s desire to avoid bad feelings in themselves, although Rosen and Tesser highlight that ‘being put into a situation that makes transmission of unpleasant messages possible creates a tension system within the individual regardless of whether or not he actually transmits the message’.5 Early experimental studies5,43 showed that communicators may experience feelings of guilt when sharing bad news


메시지 전달자는 수신자가 소식을 어떻게 볼지를 명시적으로 고려할 수 있으며, 의도적으로 메시지를 지연시키는 것은 메시지를 전달하는 자신에 대한 부정적인 평가를 최소화하기 위한 것일 수 있다.23 MUM 행동에 대한 추가적인 이유는 나쁜 소식을 전달할 때 (또는 실제로 요구되는) 의사소통자의 기분 변화를 피하기 위함이다.35 이는 임상평가 문헌에 반영된다: 많은 연구에서 평가자도 trainee를 fail시킬 때, 정서적으로 댓가를 치름을 보고한다.4

Communicators may explicitly consider how their delivery of news will be viewed by receivers24 and the deliberate use of delay may be intended to minimise a negative evaluation of the communicator.23 A further reason given for MUM behaviours is to avoid the negative change in the communicator’s mood that occurs (or in fact is required) when delivering bad news.35 This resonates with the clinical assessment literature: many studies report the emotional toll on clinical assessors when failing a trainee.4


타인에 대한 걱정

Concern for others


메시지 전달자는 불쾌한 메시지를 받는 사람에 대한 우려를 하기 때문에 MUM 행동이 발생할 수 있다. 일반적으로 사람들은 [다른 사람이 좋은 소식을 받고 싶어할 것이고, 반대로 나쁜 소식을 받고 싶어하지 않을 것]이라고 가정하기에, 이것이 행동에 영향을 미칠 수 있다는 것이다.35

The communicator’s concern for the recipient of an undesirable message can also lead to MUM behaviours. The common assumption is that people will want to receive good news and, conversely, not want to receive bad news and this may influence the communicator’s behaviour.35


Conlee와 Tesser에 따르면, 나쁜 소식조차도 듣고 싶어하는 수신인의 욕구를 분명하게 밝힌 상황에서, 메시지 전달자가 이것을 알고 있더라도, 정보 전달을 증가시켰지만, 완전히 MUM 효과를 없앤 것은 아니라는 것을 발견했다.44

Conlee and Tesser tested the effect of clearly stating a recipient’s desire to be told news, even if bad. They found that although knowledge of the recipient’s desire to hear news did increase its transmission, it did not entirely eliminate the MUM effect.44


받는 사람이 부정적인 메시지에 어떻게 반응할 것인지에 대한 의사소통자의 믿음도 MUM 결정에 영향을 미칠 수 있다. '발신자는 수신자를 부정적인 감정 상태로 만들지 않는 것을 선호한다'35 그리고 '특정 메시지가 관련 받는 사람에게 미칠 정서적 영향에 민감하게 보인다'.35 이것들은 대부분 고통을 주고 싶어하지 않기 때문에 매우 자연스러운 공감 반응으로 보인다. 부정적인 메시지를 전달하기 위한 유혹은 다른 사람에게 불행을 야기시키지 않기를 바라는 메시지 전달자의 소망, (진정할 시킬 수 없을지도 모르는) 나쁜 소식에 화가 난 사람과 함께 있는 것에 대한 두려움, 또는 수신자가 발신자를 가혹하게 판단할 것이라는 두려움 때문일 것이다.35

A communicator’s belief of how a recipient may respond to a negative message can influence his or her decision to tell or not. ‘Communicators prefer not to put the recipient in a negative affective state’35 and appear sensitive to the ‘emotional impact a particular message would have on the relevant recipient’.35 These seem like very natural empathetic responses, as most do not wish to cause distress. Reluctance to deliver a negative message may be because of 

    • the communicator’s wish to avoid causing unhappiness in another, 

    • their fear of being with a person who is upset by bad news, whom they may be unable to calm down, or 

    • their fear that an emotional recipient will judge them harshly.35


규범에 대한 우려

The communicator’s concern with norms


사회 규칙이나 규범을 준수하려는 전달자의 욕구는 MUM행동에 관한 세 번째 가능한 설명을 나타낸다.35 이것은 임상평가에서 탐구된 '예의바름 이론'의 개념과 일치한다.6 여기서 좋은 소식을 주는 것은 '체면을 살리는 것'으로 보여지고 따라서 규범적인 것이다. 다시, 이것은 '의학 내에서 [훈련생]과의 비판적인 논의를 자주 피하는 문화가 있다'는 임상평가 설정에서 일어나는 것으로 보고된다.46

Communicators’ desires to conform to societal rules or norms represent a third possible explanation for MUM behaviours.35 This aligns with notions of ‘politeness theory’ explored in clinical assessment,6 where giving good news is seen as ‘face saving’ and therefore normative. Again, this is reported to occur in the clinical assessment setting: ‘there is sometimes a culture within medicine where the critical discussions with [trainees] are often avoided’.46


MUM행동은 무엇에 영향을 받는가?

WHAT CAN INFLUENCE MUM BEHAVIOURS?


의사소통 책임

Responsibility to communicate


의사소통자에게 부정적인 메시지를 전달하기 위한 책임을 명확하게 할당하는 것은 행동에 영향을 미치는 것으로 나타났다.

Clearly assigning responsibility to communicate a negative message to a communicator has been shown to affect behaviour.


참가자들에게 뉴스를 전달할 책임이 주어지는 실험에서, 그들은 그렇게 해야 할 의무가 있다고 느꼈고, 그들이 결정하지 않도록 요청받거나 어디에서 결정하도록 허용된 사람들과 비교했다.

in an experiment where participants were given the responsibility to communicate a piece of news, they felt more obliged to do so, compared with those who were asked not to or where they were allowed to decide;


메시지의 결과

Consequence of the message


결과에 대한 인식이 MUM 행동에 영향을 미칠 수 있다. 성과 평가의 중요성이 증가함에 따라, 성과 관리 환경에서 메시지 전달자의 불편함 수준도 증가했다.49

Perception of consequences may affect MUM behaviours. In a performance management setting, as the importance of a performance appraisal increased, so too did communicators’ levels of discomfort.49


결과에 대한 불확실성은 메시지의 전달에도 영향을 미칠 수 있다. Weenig의 실험적인 연구는 [뒤따르는 결과가 불확실한 나쁜 뉴스]가 [뒤따르는 결과가 확실한 가진 나쁜 뉴스]보다 더 쉽게 전달된다는 것을 암시한다. 그 결과 전자는 '더 급하고 더 도움이 된다'.51

Uncertainty about the consequence may also affect the delivery of the message. Weenig’s experimental work suggests that bad news with indefinite consequences is delivered more readily than bad news with definite consequences, as a result of the former being regarded as ‘more urgent and more helpful’.51


익명성

Anonymity


MUM 효과는 여전히 익명의 상황에서 발생할 수 있다.52 그러나 익명성이 MUM 행동에 미치는 영향에 대한 연구는 혼합되어 있다.23,53

The MUM effect may still occur in anonymous situations;52 however, studies are mixed as to the influence of anonymity on MUM behaviours.23,53


직무만족

Job satisfaction


의사소통자의 작업 상황에 대한 만족도가 영향을 미칠 수 있다.

A communicator’s level of satisfaction with their work situation may influence


콕스 등은 메시지 전달자의 직무만족도나, 전달자 자신의 감독관에 대해 갖는 신뢰의 수준이 스스로 보고된 MUM 행동과 부정적인 관계가 있음을 시사한다. 15 비젤은 고용 안정과 같은 요인들이 나쁜 소식을 전달하려는 의지에 영향을 미칠 수 있다고 지적한다.33

Cox et al. suggest levels of job satisfaction and trust in a supervisor are negatively related to self-reported MUM behaviours;15 Bisel notes that factors such as job security may affect willingness to deliver bad news.33


기존 관계

Pre-existing relationship


일반적으로, MUM 행동은 통신자와 수신자 사이에 기존에 존재하는 관계에 의해 바뀔 수 있다. 위에서 언급한 바와 같이, 감독자에 대한 신뢰는 MUM 행동의 가능성을 감소시킬 수 있다. Weenig 등은 둘 사이의 관계가 가까울수록 정보 교환이 발생할 가능성이 더 높지만, 다른 연구의 결과는 덜 확정적이다.8

In general, MUM behaviours may be modified by the presence of a pre-existing relationship between the communicator and the recipient. As noted above, trust in a supervisor may decrease the likelihood of MUM behaviours. Weenig et al. suggest that the closer the relationship between the two, the more likely that information exchange will occur,51,55 although results of other studies are less conclusive.8


(위계) 차이도 관련이 있다. 예를 들어, Ploeger, Kelly, Bisel은 부하들이 자신들보다 더 높은 직원에 대해 MUM을 유지할 가능성이 더 높다는 것을 보여주었다.40 이러한 관계 발견은 의학 교육과 매우 관련이 있다.

differences are also relevant. For example, Ploeger, Kelly and Bisel showed that subordinates were more likely to keep MUM to an employee senior to them.40 These relationship findings are highly relevant to medical education,


매체

Medium


어떤 매체로 전달되느냐도 중요할 수도 있지만, 이것은 여전히 논쟁의 대상이다.

The medium of the message may be significant, but this is still a matter for debate.


메타 분석 결과 응답자들이 전화 인터뷰의 질문에 매우 긍정적인 반응을 보일 가능성이 더 높았으며, 다른 덜 직접적인 방법과 비교하였다.59 대조적으로, Dibble은 전달 방식이 의사소통을 꺼리는 자기 보고 수준에 영향을 미치지 않는다는 것을 발견했다(대면 vs 전자 메일).26

a meta-analysis showed that respondents were more likely to give extremely positive responses to questions in telephone interviews, compared with other less direct methods.59 By contrast, Dibble found that mode of delivery did not affect the self- reported level of reluctance to communicate (e-mail in comparison with face to face),26


문화적 차이

Cultural differences


MUM 효과는 '광범위한' 경향으로 설명되어 왔으며, 60개의 MUM 행동에 대한 보고가 많은 환경에서 나왔다.

The MUM effect has been described as a ‘widespread’ tendency,60 and reports of MUM behaviours have come from many settings


의학교육의 실질적 함의

PRACTICAL IMPLICATIONS FOR MEDICAL EDUCATION


이 문헌 검토는 MUM 효과가 만연하고, 바람직하지 않은 메시지를 전달하거나 왜곡하는 것을 완전히 피할 수 있으며, 문화와 작업장에 걸쳐 지속된다는 것을 시사한다.

This literature review suggests that the MUM effect is pervasive, can lead to a complete avoidance of delivering or distortion of an undesirable message, and persists across cultures and workplaces.


임상 성과 평가 설정에 대한 이 작업의 즉각적이고 실질적인 함축은 5가지다.

There are five immediate, practical implications of this work for clinical performance assessment settings.


1 MUM 효과는 불가피하게 발생할 것이다. 

1 The MUM effect will inevitably occur. 


MUM 효과가 만연하하다면, 이는 프로그램적 평가의 가치를 뒷받침한다. 사람마다 그들의 MUM 행동의 범위에서 다양한 것으로 보인다. 따라서, 낮은 이해관계를 가지는 많은 다른 평가자들로부터 많은 평가 지점을 갖는 것은 MUM 효과의 발생을 제거하지는 않지만, MUM 효과의 영향을 줄여줄 것이다

If the MUM effect is pervasive, then this supports the value of the programmatic assessment movement.19–21 It appears that people vary in the extent of their MUM behaviours; therefore, having many points of assessment from many different assessors, each with low stakes, should reduce the impact of the MUM effect, although not eliminate its occurrence.


2 학습자를 위한 메시지의 이점에 초점을 맞추면 평가자와 관련 MUM 행동의 불편함을 줄일 수 있다. 

2 Focusing on the benefit of the message for the learner may reduce the discomfort for assessors and associated MUM behaviours. 

교육은 성과 평가와 같지 않다. 교육에서, 나쁜 퍼포먼스 메시지는 배울 수 있는 좋은 기회, 혹은 심지어 '좋은 소식'으로 생각될 수 있다. 이것은 교육 동맹의 개념과 일치한다. 학습자는 자신들에게 가장 큰 관심을 가지고 있다고 믿는 감독자를 신뢰하게 될 것이다.56 이는 기존 관계가 MUM 행동에 어떤 영향을 미칠 수 있는지를 이해하는 열쇠가 될 수 있다. [누군가에게 최고의 이익이 되고자 하는 것]은 분명히 [어떤 불편함으로부터 그들을 보호하는 것]과 같지 않다.

Education is not the same as performance appraisal. In education, poor performance messages can be thought of as good opportunities to learn, or even ‘good news’. This aligns with the notion of the educational alliance, where the trainee will trust a supervisor who they believe has their best interests at heart.56 This may be the key to understanding how a pre-existing relationship can affect MUM behaviours; working towards someone’s best interests is clearly not the same as protecting them from any discomfort.


3 [불편한 메시지 전달]이 job의 일부로 간주될 때 MUM은 감소한다. 

3 MUM manifestations reduce when delivery of an undesirable message is seen as a part of the job. 


임상의가 환자에게 나쁜 소식을 전달하는 것을 피하지 않는 것과 마찬가지로, 우리는 의료 감독자들이 스스로를 교육자로 보도록 장려하고 지원할 수 있으며, 이와 함께 불편한 메시지를 피드백 프로세스의 일부로 제공할 필요가 있다. 이는 일부 감독자들이 부정적인 피드백을 제공하는 것을 꺼린다고 보고하고, 일부는 교육과 평가 사이의 역할 충돌을 보고하기 때문에 중요하다.63

In the same way that clinicians don’t avoid delivering bad news to patients, we can encourage and support clinical supervisors to see themselves as educators, and with this comes the need to provide undesirable messages as part of feedback processes. This is important as some supervisors report reluctance to provide negative feedback62 and some report a role conflict between teaching and assessing.63


4 모든 MUM 행동이 해롭지는 않을 수 있다. – 정도는 관련이 있다. 

4 Not all MUM behaviours may be harmful – the extent is relevant. 


강조된 바와 같이, 메시지 전달이 다소 지연될 경우 이점이 있을 수 있다.9,26 일부 '설탕발림'이 메시지를 더 '맛있게' 만들 수도 있다. 설탕 코팅64의 효능을 의심하는 이유는 있지만, 진정성은 매우 중요하다.65 달달하게 만드는 것은 퍼포먼스에 대한 정보라기보다는, 동기부여적 격려로 볼 수 있다. 이것은 추가적인 조사가 필요한 영역이다.

As highlighted, there may be benefits to some delay in delivering messages.9,26 It may also be that some ‘sugarcoating’34 may make the message more ‘palatable’, although there is reason to doubt the efficacy of sugarcoating64 and sincerity is very important.65 It may be that sweetening can be seen as motivational encouragement rather than part of the information on performance; this is an area for further investigation, not just within the MUM literature.


5 우리는 우리의 평가자에게 더 관대해야 한다.

5 We should be more forgiving of our assessors. 


여러 연구에 따르면 MUM은 인간의 자연스러운 경향이며 따라서 세계의 모든 교수개발을 동원해도 불편한 메시지를 숨기는 침묵을 해소하지 못할 수도 있음을 시사한다. MUM 효과에 대한 정보를 임상 감독자에게 제공하는 것이 반드시 문제를 '수정'하는 것은 아닐 것이다. 그러나 그러나 평가자는 왜, 언제, 어떻게 그들이 훈련생들로부터 정보를 보류하는지 이해해야 하고, 자신의 행동을 조절하기 위한 조치가 필요한지 이해해야 한다. 또한 만약 그들이 MUM 효과가 너무 강력하다고 판단되면 피드백이나 평가 의무를 스스로 내려놓아야 한다. (어떤 시스템에서든) 평가자는 수행기준을 충족하지 못하는 연습생이 진행되지 않도록 보장하는 책임을 질 수 있음을 깨닫는 것이 중요하다.

This body of work suggests that MUM is a natural human tendency and therefore all the faculty development in the world may not resolve the reticence to deliver undesirable messages. Providing clinical supervisors with information about the MUM effect will not necessarily ‘fix’ the problem, but it may permit assessors to understand why, when and how they withhold information from trainees and therefore take steps towards regulating their behaviour or allow them to excuse themselves from feedback or assessment duties if they find the effect to be overpowering. It is important that assessors realise that, regardless of the system, they can take responsibility for ensuring that trainees who do not meet performance standards are not allowed to progress.


비록 MUM 효과가 만연할 수 있지만, 보편적인 것은 아니며 다른 평가 맥락은 특정한 행동을 구속하거나 가능하게 할 수 있다. 한 가지 심오한 차이점은 평가의 목적이 주로 피드백(형성적)인지 아니면, 주로 progress 판단을 기록하기 위한 것인지(총괄적)이다.

Although the MUM effect may be pervasive, it is not universal and different assessment contexts may constrain or enable certain behaviours. One profound difference is whether the assessment’s purpose is primarily as feedback (formative) or if it is primarily for recording a judgement of progress (summative).


임상 감독관들은 피드백이 그들의 소관의 핵심 부분이라는 것을 매우 잘 알고 있다; 보건 전문직 전반에서 임상 감독관들은 피드백을 교수 개발을 위한 가장 시급한 영역 중 하나로 식별한다.66 Bing-You 등은 적절한 감독관 몇 명이 피드백 역할을 전문화 해야한다고 제안한다. 이것은 MUM 효과를 감소시키는 한 가지 방법이 될 수 있다.

Clinical supervisors are acutely aware that feedback is a core part of their remit; across the health professions clinical supervisors identify feedback as one of the most urgent areas for faculty development.66 Bing-You et al. suggest22 that a few suitable supervisors should specialise in the feedback role and we should target our efforts to building these clinicians’ sense of identity as educators. This may be one way to reduce the MUM effect;


또한, 피드백이 단순한 메시지 이상의 것에 맞춘다면, [성과에 관한 정보]는 단지 더 큰 일련의 피드백 교환이나 관계의 한 부분이다; Bing-You의 비유로 보자면, 탱고 댄스의 한 스텝에 불과한 것이다.

Additionally, in line with feedback being more than just the message,67 this places provision of information on performance as just one part of a larger series of feedback exchanges or relationships; to use Bing-You’s analogy, just one step in the dance.22


때때로 평가 메시지는 발달적developmental이지 않다. 이러한 경우, 평가의 주된 목적이 progress에 대한 고부담 결정을 결정하는 경우, MUM 효과를 '제어'하는 다른 접근법이 있을 수 있다. 다시 한 번, 임상 감독관이 메시지 전달이 자신의 핵심 업무의 일부라는 것을 알게 하는 것은 매우 중요하다. 이것을 넘어, 복수의 메시지 전달자를 활용하면 MUM 효과를 개선시킬 수 있다. 이것은 두 가지 방법으로 가능하다.

Sometimes, assessment messages are not developmental. In these instances, when the primary purpose of assessment is making high- stakes decisions on progress, then there may be other approaches to ‘control’ the MUM effect. Once again, ensuring that clinical supervisors see that delivery of the message is part of their core job is very important. Beyond this, it may be that multiple message givers may ameliorate the MUMeffect. This is possible in two ways.


첫째, 프로그램적 평가에서와 같이 복수의 메시지를 수집할 수 있다. 그러나 MUM 문헌의 주요 통찰력 중 하나는 '나쁜 소식'이 충분히 표현되지 않을 것이라는 점이기 때문에, 단 한번의 좋지 않은 평가 결과가 다른 평가들을 더 세밀하게 조사하게 하는 결과를 초래해야 한다는 점을 고려할 가치가 있을 것이다. 물론 이는 단일한 평가 결과가 다소 정확하다는 것을 암시하지는 않는다. 그러나 전반적으로 평가자는 불편한 메시지를 전달하기보다 묵혀둘 가능성이 더 높기 때문에, (한두 건의) 부정적인 평가라고 해서 간과해서는 안 된다.

Firstly, multiple messages may be collated, as in programmatic assessment. However, as one of the key insights from the MUM literature is that ‘bad news’ will be under-represented, it may be worth considering that singular poor assessment results should result in other assessments being given stronger scrutiny. Of course, this does not suggest that a singular poor assessment result is more or less accurate; however, because, across the population, assessors are more likely to withhold undesirable messages than deliver them, a negative assessment should not be overlooked.


둘째로, 메시지 전달 자체가 패널이나 그룹을 통해 이루어질 수 있기 때문에, 나쁜 뉴스의 전달자가 되기 위해 개인에게 의존하기보다는, 합의를 통해 MUM 경향에 신경쓸 수 있다.

Secondly, delivery of the message itself can be through a panel or a group, so that the natural MUM tendencies can be attended to through consensus rather than relying on an individual to be the bearer of bad news.



LIMITATIONS OF THIS REVIEW


CONCLUSIONS


17 Kogan JR, Conforti L, Bernabeo E, Iobst W, Holmboe E. Opening the black box of clinical skills assessment via observation: a conceptual model. Med Educ 2011;45 (10):1048–60.


18 Gingerich A, Kogan JR, Yeates P, Govaerts MJB, Holmboe ES. Seeing the ‘Black Box’ differently: assesssor cognition from three research perspectives. Med Educ 2014;48:1055–68.


6 Ginsburg S, van der Vleuten C, Eva KW, Lingard L. Hedging to save face: a linguistic analysis of written comments on in-training evaluation reports. Adv Health Sci Educ 2016;21 (1):175–88.


66 Bearman M, Tai J, Kent F, Edouard V, Nestel D, Molloy E. What should we teach the teachers? Identifying the learning priorities of clinical supervisors Adv Health Sci Educ 2018;23 (1):29–41.





Review
 
, 53 (2), 133-142
 

Keeping Mum in Clinical Supervision: Private Thoughts and Public Judgements

Affiliations 

Affiliations

  • 1Department of Medical Education, Melbourne Medical School, University of Melbourne, Melbourne, Victoria, Australia.
  • 2Centre for Research in Assessment and Digital Learning, Deakin University, Geelong, Victoria, Australia.

Abstract

Context: The seemingly obvious claim that people prefer to keep mum about undesirable messages - termed 'the MUM effect' - was initially reported in the psychology literature in the 1970s. More recently, it has been discussed in contexts including performance appraisals and the reporting of unsuccessful projects in workplace settings, but only sparsely in educational ones. We wished to review the published literature on the MUM effect in order to understand the implications for clinical assessment.

Methods: We performed a narrative literature review on the MUM effect and clustered findings together into three themes: those that describe what MUM behaviours look like, those that explore potential reasons for the MUM effect and those that consider factors that can influence MUM behaviours.

Results: This paper summarises the extensive literature on the MUM effect, including its manifestations and modifiers and discusses how the effect may be used to consider issues faced by many clinical supervisors faced with delivering 'negative' assessment messages to trainees.

Discussion: We suggest, that as a pervasive phenomenon, the MUM effect can both help to explain the difficulties that some assessors face when delivering undesirable messages (including feedback or ratings) and offer new insights in how to deal with such issues.

의과대학생의 비전문직업적 행동UPB 프로파일의 2차원 모델(Adv Health Sci Educ Theory Pract, 2019)

Developing a two‑dimensional model of unprofessional behaviour profiles in medical students

Marianne C. Mak‑van der Vossen1 · Anne de la Croix1,2 · Arianne Teherani3 · Walther N. K. A. van Mook4 · Gerda Croiset5 · Rashmi A. Kusurkar1






도입

Introduction


의대생들의 전문직업적 성과를 평가하는 것은 어렵고 민감한 활동이다(Veloski et al. 2005; Ginsburg et al. 2009). 교육자들이 성적이 저조한 학생들을 낙제시키지 못하는 결과를 초래하는 경우가 많다(Yepes-Rios et al. 2016). Underperforming students를 파악하지 못할 경우, 성적 향상을 돕기 위한 지원을 제공할 수 없다(Ellaway et al. 2017). 의대생들의 열악한 전문직업적 성과를 쉽게 파악할 수 있는 연구기반 도구를 만들고, 교사가 어떤 어려움도 극복하기 위해 추가 지도에서 혜택을 받을 수 있는 학생들을 인정하도록 돕는 것이 학부 의대교육의 중요성이 있을 것이다(Arnold 2002; Hodges et al. 2011).

Evaluating medical students’ professional performance is a difficult and sensitive activity (Veloski et al. 2005; Ginsburg et al. 2009). It often results in educators’ failure to fail underperforming students (Yepes-Rios et al. 2016). When underperforming students are not identified, they cannot be offered assistance to help them improve their performance (Ellaway et al. 2017). It would be important for undergraduate medical education to create research-based tools to facilitate identification of poor professional performance of medical students, and help teachers recognize students who may benefit from extra guidance in order to overcome any difficulties (Arnold 2002; Hodges et al. 2011).


의대생들의 문제행동을 조기에 발견하고 교정하는 것이 필수적이다(Papadakis et al. 2005). 현재의 문헌은 이러한 학습자에게 피드백을 제공하고 교정조치가 필요한 학생을 식별하기 위해 전문적이지 않은 행동을 하는 학생을 탐지하는 전략에 초점을 맞추고 있다. 학생들의 비전문적 행동의 서술자 및 범주에 주의를 기울였는데, 여기에는 참여 부족, 정직성 결여, 타인과의 상호작용 문제, (피드백에 응답하지 않는 것을 포함하여) 서투른 자기인식 등이 포함된다(테헤라니 외). 2009; Mak-van der Vossen et al. 2017).

Early detection and remediation of poor performance of medical students is essential (Papadakis et al. 2005). Current literature has focused on strategies to detect students who behave unprofessionally, aiming to provide feedback to these learners and to identify students who need remediation. Attention has been given to descriptors and categories of students’ unprofessional behaviours, which include poor engagement, lack of integrity, poor interaction with others, and poor self-awareness, including not responding to feedback (Teherani et al. 2009; Mak-van der Vossen et al. 2017).


표준화된 내러티브나 프로파일이 보더라인 퍼포먼스를 보이는 레지던트에 대한 교직원의 의견을 효과적으로 나타낼 수 있다는 연구 증거가 있다(Regehr et al. 2012). 이전의 연구에서는, 학부 의대 교사들이 비전문적 행동을 식별하도록 돕기 위해, 학부 학생들을 위해 그러한 프로파일을 작성했다(Mak-van der Vossen et al. 2016). 이 이전의 연구는 세 가지 방법론적 단계로 구성되었다: 

  • 첫째로, 전문적이지 않은 행동의 본보기를 만들기 위해 문헌을 검토하였다. 

  • 두 번째 단계에서는 학생의 비전문적 행동을 이 템플릿을 사용하여 채점하고 이후 Latent Class Analysis를 사용하여 그룹화했다. (최전방(의사) 교육자가 첨부 종료 평가 양식과 같은 형태로)

  • 마지막 단계에서, 각 클래스에는 해당 클래스의 프로토타입 평가 양식에 대한 서술적 정보에 기초한 설명이 제공되었다. 

Research evidence shows that standardized narratives or profiles can effectively represent faculty opinions of residents with borderline performance (Regehr et al. 2012). In our earlier work, we generated such profiles for undergraduate students, in an attempt to aid undergraduate medical teachers to identify unprofessional behaviour (Mak-van der Vossen et al. 2016). This previous study consisted of three methodological steps: 

  • firstly, the literature was reviewed to construct a template of unprofessional behaviours. 

  • In the second step, students’ unprofessional behaviours, as described by frontline (physician) educators on end-of-attachment evaluation forms, were scored using this template, and subsequently grouped using Latent Class Analysis. 

  • In the last step, each class was provided with a description based on the narrative information on the evaluation forms of prototypes of that class. 


우리는 전문적이지 않은 행동으로 인용된 학생들의 행동을 과대평가한 세 가지 다른 수업이나 프로필을 발견했다. 프로필은 다음과 같았다: 

  • 낮은 신뢰성, 

  • 낮은 신뢰성, 낮은 통찰력, 

  • 낮은 신뢰성, 낮은 통찰력, 낮은 적응력. 

We found three different classes or profiles that hypothetically describe the behaviours of students who are cited for unprofessional behaviour. The profiles were: 

  • Poor reliability, 

  • Poor reliability and poor insight and 

  • Poor reliability, poor insight and poor adaptability. 


세 가지 프로파일의 내용에 기초하여, 세 가지 프로파일 사이의 구별 변수는 자기반성과 적응성을 위한 용량(그림 1과 온라인 부록 #1 참조)으로 기술되었다(Mak-van der Vossen et al. 2016).

Based on the content of the three profiles, the distinguishing variable between the three profiles was described as the Capacity for self-reflection and adaptability (see Fig. 1 and online appendix #1) (Mak-van der Vossen et al. 2016).




전문 교사들의 관점을 추가하면 이론적 개념에 경험 기반 계층을 추가하기 때문에 최종 모델이 실제로 사용될 가능성이 더 높아질 것이다(Pajares 1992; Turner 등). 2009). 전문가의 관점을 통합하는 접근방식은 합의된 그룹 방법의 사용이다. 컨센서스 그룹 방법은 일반적인 합의를 수집하기 위한 체계적인 수단을 제공하며, 지식 있는 참여자의 경험을 추가하여 연구로부터 불완전한 경험적 증거를 강화하는 데도 사용할 수 있다(Humphrey-Murto et al. 2017).

Adding expert teachers’ perspectives will make it more likely that the final model will be used in practice because of the addition of an experience-based layer to a theoretical concept (Pajares 1992; Turner et al. 2009). An approach to incorporating experts’ perspectives is the use of consensus group methods. Consensus group methods offer a systematic means to gather general agreement, and can also be used to strengthen incomplete empirical evidence from research by adding experience of knowledgeable participants (Humphrey-Murto et al. 2017).



방법

Methods


연구 설계

Study design


전문가 패널 방법이라고도 하는 명목 그룹 기술(NGT)을 채용하였으며(Humphrey-Murto et al. 2017; Waggoner et al. 2016) 이를 전문가 패널 토론의 주제 분석과 결합하였다(Ho et al. 2011). NGT에서, 회의 참가자는 특정 개념에 대한 그들의 관점을 공유하고 토론한 후, 이 개념에 대한 그들의 생각을 독립적으로 순위를 매긴다. NGT는 참가자가 조사 영역의 지식 있는 대표자이고, 실제 경험을 가지고 있으며, 다양한 환경에서 왔기 때문에 외부의 영향 없이 진정한 전문가의 의견을 밝히는 데 도움이 된다. 다른 합의 방법(델파이 기법 등)보다 NGT를 선택했는데, 이는 더 많은 아이디어의 발생으로 이어지기 때문이다(Humphrey-Murto et al. 2017). 더욱이, 참가자들이 서로 이러한 생각을 토론함에 따라, 각 참여자들은 유사한 전문지식을 가진 동료들과의 상호작용과 토론에 기초하여 소개된 모든 아이디어에 대한 개인적인 의견을 확립할 수 있다. 이 분야에서 인정받는 전문가여야 할 강력한 조력자가 회의를 주재하여 일부 참가자가 지나치게 그룹 토론을 지배할 가능성을 완화시킨다. NGT의 순위 절차는 최종 순위가 개별적으로 그리고 개인적으로 이루어지기 때문에 민주적인 결과를 보장한다.

We employed Nominal Group Technique (NGT), also called expert panel method, (Humphrey-Murto et al. 2017; Waggoner et al. 2016) and combined this with thematic analysis of expert panel discussions (Ho et al. 2011). In NGT, participants in a meeting share and discuss their perspectives on a certain concept and subsequently independently rank their ideas about this concept. NGT helps to reveal authentic expert opinion without any outside influence, since participants are knowledgeable representatives of the area of inquiry, have practical experience, and come from diverse settings. We selected NGT over other consensus methods (such as a Delphi technique) because it leads to generation of a larger number of ideas (Humphrey-Murto et al. 2017). Furthermore, as participants discuss these ideas among each other, each participant can establish their personal opinions about all introduced ideas based on interaction and discussion with colleagues with similar expertise. A strong facilitator, who should also be a recognized expert in the field, chairs the meeting, mitigating the potential for some participants to unduly dominate the group discussion. The ranking procedure in NGT ensures a democratic result, since final ranking takes place individually and privately.


성찰성

Reflexivity


이 연구는 참여자와 연구자의 살아 있는 경험에 기초하여 지식이 활발히 구성되고, 그들에 의해 그들의 상호작용과 관계의 산물로 공동작성되는 구조성의적 패러다임을 사용하여 설정되었다(Corbin과 Strauss 2008). 이 선택의 의미는 우리의 방법이 참여자, 연구자 및 연구된 현상 간의 상호작용과 담론을 허용해야 한다는 점이었고, 이는 NGT와 주제 분석 방법을 선택하고 이 둘을 결합하도록 만들었다(Varpio et al. 2017). 

This study was set up using a constructivist paradigm, in which knowledge is seen as actively constructed based on the lived experiences of participants and researchers alike, and co-created by them as the product of their interactions and relationships (Corbin and Strauss 2008). The implication of this choice was that our method had to allow for interaction and discourse between participants, researchers and the studied phenomenon, which led us to choose the NGT and thematic analysis methods, and combine these two (Varpio et al. 2017). 


구성주의적 패러다임을 사용하는 것의 또 다른 의미는 참여자들과 연구자들이 이 연구의 결과를 공동으로 만들었음을 인정해야 한다는 것이다. 최종 결과는 참여자들과 연구자들 사이의 공유된 지식과 일상적인 경험에 대한 상호작용과 토론에서 비롯된다.

Another implication of using the constructivist paradigm is that we must acknowledge that participants and researchers co-created the outcomes of this study: the final results originate from the interaction and discussion among participants and researchers about their shared knowledge and day-to-day experiences.


절차 및 참가자

Procedures and participants


2016년 10월부터 2018년 1월 사이에 네덜란드 각 의과대학의 전문가 패널과의 회의를 통해 양적·질적 자료를 수집했다. 각 학교에서는 네덜란드 의학 교육 협회(NVMO)의 프로페셔널리즘에 관한 국가 특별 이익 그룹의 구성원의 도움을 받아 전문가 패널 회의가 하나씩 조직되었다. 이러한 구성원들은 적어도 3년 동안 비전문적 행동을 가진 학생들의 평가 및/또는 교정조치를 담당한 의료 교육자로 정의되는 전문 행동 전문가를 학교에 초빙했다. 이 회원은 그들에게 소위 스노우볼 샘플링이라고 불리는, 참가 자격이 있는 전문가들의 다른 이름을 언급할 수 있는지 물었다. 이 개인들은 추가로 참여하도록 초청되었다. 

Between October 2016 and January 2018, we collected quantitative and qualitative data through meetings with panels of experts from different medical schools in the Netherlands. In each school one expert panel meeting was organised with the help of a member of the national Special Interest Group on Professionalism of the Netherlands Association for Medical Education (NVMO). These members invited professional behaviour experts at their school, defined as medical educators who had been responsible for the assessment and/or remediation of students with unprofessional behaviour for at least three years. The member asked them if they could mention any other names of experts who would be eligible to participate, so called snowball sampling (Berg 1998). These individuals were additionally invited to participate. 


NVMO 회원은 전문가들의 가용성에 근거하여 회의를 조직했다. 참가자는 다양한 환경에서 다양한 관점과 전문지식 관점을 포함하기 위해 임상 및 임상 학부 의학의 교육 중 하나 또는 둘 다에 대한 지식과 실제 경험을 목적으로 표본 추출되었다. 이 전문가들은 정규 일선 교사들보다 훨씬 더 자주 비전문적으로 행동하는 학생들과 접촉해 왔다. 전문가들은 비전문적으로 행동하는 학생들과 직면해 있다. 따라서, 그들은 그러한 학생들의 지도에서 특정한 경험을 발전시켰다. 

The NVMO member organized a meeting based on the availability of the experts. The participants were purposively sampled for their knowledge and practical experience, either or both in preclinical and clinical undergraduate medical education, to include a wide range of viewpoints and expertise perspectives from different settings. These experts had been in contact with students who behaved unprofessionally much more frequently than regular frontline teachers; the experts are confronted with a selection of students who have shown to behave unprofessionally. Thus, they had developed a specific experience in the guidance of such students. 


모든 참가자는 절차에 동의했고, 최종 일정은 가용성에 기초했다. 표본 크기는 연구를 앞두고 결정되지 않았다. 우리는 데이터의 충분성을 목표로 했는데, 이는 데이터가 연구의 목적을 달성할 수 있을 만큼 충분히 풍부해야 한다는 것을 의미한다(Varpio et al. 2017). 그 자료의 충분성은 전체 연구팀에서 합의에 도달함으로써 결정되었다.

All participants agreed with the procedures, and final scheduling was based on availability. The sample size was not determined ahead of the study. We aimed for sufficiency of the data, meaning that the data should be rich enough to accomplish the aim of the study (Varpio et al. 2017). The sufficiency of the data was determined by reaching consensus in the full research team.



자료 분석

Data analysis


A. 순위 결과

A. Ranking results


그룹 아이디어와 각 전문가 패널 회의에서 도출된 순위는 기존 프로필을 정비하는 데 대한 그룹 합의를 나타냈다(그림 1과 온라인 부록 1 참조). MM과 AdlC는 5개 그룹 모두의 그룹 아이디어를 최종 아이디어로 합성했는데, 이 아이디어는 전체 연구팀에 의해 확인되었다. 최종 아이디어의 순위는 각 그룹 아이디어에 대해 모든 참가자의 순위를 합산하여 설정되었으며, 모든 포인트의 백분율로 제시되었다.

The group ideas and the ranking originating from each expert panel meeting represented the group consensus about refining the pre-existing profiles (see Fig. 1 and online appendix #1). MM and AdlC synthesized the group ideas from all five groups into final ideas, which were confirmed by the full research team. The ranking of the final ideas was established by adding up the rankings from all participants for each group idea, and presented as the percentage of all points.


B. 질적 자료

B. Qualitative data


C. 기존 프로필 개념을 최종 모델로 개발

C. Developing the pre-existing profiles concept into a final model


D. 회원 조회

D. Member checking


결과

Results


1차 결과

Primary results


A. NGT 공정 순위 결과

A. NGT process ranking results


5개 그룹은 162개의 개별적인 아이디어를 만들어냈다. 참가자들 사이에서 토론과 순위를 매긴 후, 이 아이디어들 중 37개만이 적어도 한 표 이상을 얻었다. 37개의 아이디어 중 일부는 매우 비슷하여, 다른 그룹의 그룹 아이디어를 10개의 최종 아이디어로 통합시켰다. 세 가지 가장 우선순위가 높은 최종 아이디어는 합쳐서 모든 점수의 60%를 받았다. 프로세스를 생성하고 최종 아이디어로 순위를 매기는 아이디어는 그림 2를 참조하십시오.

The five groups generated 162 individual ideas. After debating and ranking among the participants, only 37 of these ideas got at least one vote. Some of the 37 ideas were very similar, leading to a synthesis of the group ideas from different groups into ten final ideas. Combined, the three most prioritized final ideas received 60% of all points. See Fig. 2 for the idea generating process and ranking into final ideas.



B. 전문가 패널 회의의 주제 분석

B. Thematic analysis of the expert panel meetings


(1) 프로파일과 프로파일을 구분하는 변수, (2) 시간에 따른 프로파일의 동적 특성, (3) 프로페셔널하지 못한 행동에 대한 인과 요인의 세 가지 주요 주제를 찾아냈다. 이 세 가지 주제는 아래에서 논의될 것이다. 

We found three main themes: (1) The profiles and the variable that distinguishes between profiles, (2) The dynamic nature of the profiles over time, and (3) Causal factors for the unprofessional behaviour. These three themes will be discussed below. 


(1) 프로파일과 프로파일을 구분하는 변수

(1) The profiles and the variable that distinguishes between profiles


(2) 프로파일의 동적 특성

(2) The dynamic nature of the profiles


(3) 비전문적 행동의 원인

(3) Causes for unprofessional behaviour


개인적인 사정

Personal circumstances


교육적 맥락에서 본 상황

Circumstances from the educational context


문화적 차이

Cultural differences


표 1에서 NGT-프로세스의 최종 아이디어 10개를 전문가 패널 회의의 인용문으로 예시한다.

In Table 1 the ten final ideas from the NGT-process are illustrated with quotes from the expert panel meetings.



C. 최종 모델 개발

C. Development of the final model


우리는 10가지 아이디어를 통합하여 기존 개념에서 프로파일을 구분하는 변수와 프로파일을 개선하고, 사본의 주제 분석 결과에 세심한 주의를 기울였다. 이 개정 내용은 표 2에 설명되어 있다.

We incorporated the ten ideas to improve the profiles and the variables that distinguish between the profiles in the pre-existing concept, paying close attention to the results of the thematic analysis of the transcripts. These amendments are described in Table 2.



전문가 패널 회의에서 가장 높은 순위의 아이디어는 성찰성과 적응성이 두 가지 구별되는 변수라는 것이었다. 이 때문에 우리는 두 변수로 구별되는 네 개의 프로파일의 2차원 모델을 고안하게 되었다(그림 3 참조). 기존의 프로파일은 우리의 참여자들에 의해 어떤 신뢰성도 정상적인 행동으로 보여지지 않으며, 직업적이지 않은 행동이 우발적으로 발생할 수 있다는 것을 반영한다. 학생이 직업적이지 않은 행동을 인정하고, 그것을 통해 배울 수 있다는 것을 증명하는 것은 중요하다. 따라서 이 프로파일은 최종 모델에서 우발적인 행동으로 설명된다. 기존의 프로파일은 신뢰성이 없고, 어떤 통찰력도 두 개의 별도 프로파일로 나누지 않았다. 한편으로는, 적응할 가능성이 없는 학생의 통찰력을 나타내는 학생들의 행동도, 고군분투하는 행동으로 묘사된 최종 모델에서 나타난다. 반면에, 시스템 게임 행위로 묘사된 최종 모델에서, 통찰력이 부족함에도 불구하고 개선을 보여주는 학생들의 행동. 기존의 프로파일은 신뢰도, 통찰력, 적응력 등이 없으며, 시간이 지남에 따라 반영성이나 적응력을 보여주지 않고 비전문적 행동을 보이는 학생을 기술하는 것은 변경되지 않았다. 최종 모델에서 이 프로파일은 경멸하는 행위로 묘사된다.

  • 기존의 프로필 "신뢰성이 없음"은 참여자들에 의해 정상적인 행동으로 보여지며, 비전문적 행동이 우발적으로 발생할 수 있음을 반영한다. 학생이 직업적이지 않은 행동을 인정하고, 그것을 통해 배울 수 있다는 것을 증명하는 것은 중요하다. 따라서 이 프로파일은 최종 모델에서 우발적인 행동으로 설명된다. 

  • 기존 프로파일 "신뢰성, 통찰력 없음"은 두 개의 별도 프로파일로 구분되었다. 

    • 한편으로는, 적응할 가능성이 없는 학생의 통찰력을 나타내는 학생들의 행동도, 고군분투하는 행동으로 묘사된 최종 모델에서 나타난다. 

    • 반면에, 시스템 게임 행위로 묘사된 최종 모델에서, 통찰력이 부족함에도 불구하고 개선을 보여주는 학생들의 행동. 

  • 시간이 지남에 따라 반사성이나 적응성을 보여주지 않고 비전문적 행동을 보이는 학생을 기술하는 기존의 프로파일 "신뢰성, 통찰력, 적응성 없음"은 변경되지 않았다. 최종 모델에서 이 프로파일은 경멸적 행위로 묘사된다.


The highest ranked idea from the expert panel meetings was that reflectiveness and adaptability are two distinct distinguishing variables. This prompted us to devise a two-dimensional model of four profiles distinguished by two variables (see Fig. 3). 

  • The preexisting profile no reliability is seen by our participants as normal behaviour, reflecting that unprofessional behaviour can accidentally happen. It is important that the student acknowledges the unprofessional behaviour, and demonstrates that he or she can learn from it. This profile is thus described as accidental behaviour in the final model. 

  • The pre-existing profile no reliability, no insight has been divided in two separate profiles. On the one hand, students’ behaviour that indicates a student’s insight without the possibility to adapt, in the final model described as struggling behaviour

  • On the other hand, students’ behaviour that show improvement, despite lacking insight, in the final model described as gaming-the-system behaviour

  • The pre-existing profile no reliability, no insight and no adaptability, describing a student displaying unprofessional behaviour without showing reflectiveness or adaptability over time, has not been changed. In the final model this profile is described as disavowing behaviour.




D. 회원 확인 결과 유효성 확인

D. Validation of the results by member checking


고찰

Discussion


본 연구의 목적은 다양한 맥락에서 전문직업성 전문가의 의견을 추가하여 기존의 연구 기반 개념을 구체화하여 학부 의대생들의 비전문적 행동 프로파일을 위한 모델을 개발하는 것이었다. 전문가 패널 회의에 참여하는 전문가 교육자들은 기존의 개념을 개선하기 위한 10가지 아이디어를 제안하였다. 결과는 프로필을 구별하는 변수가 반사성과 적응성임을 나타낸다. 게다가, 두 가지 추가적인 프로파일이 나타났다. 바로 게임-시스템 행동과 고군분투하는 행동이다.

The purpose of this study was to refine a pre-existing research-based concept by adding opinions of professionalism experts from different contexts, thus developing a model for unprofessional behaviour profiles of undergraduate medical students. Expert educators participating in expert panel meetings collectively proposed ten ideas to improve the pre-existing concept. The results indicate that the variables discriminating the profiles are reflectiveness and adaptability. Furthermore, two additional profiles emerged: gaming-the-system behaviour and struggling behaviour.


전문가들은 프로필의 유동성을 강조했는데, 이는 시간이 지남에 따라 학생들이 한 프로필에서 다른 프로필로 이동할 수 있다는 것을 의미한다. 놀랍게도, 전문적이지 않은 행동에 대한 구체적인 서술적 서술은 전문가들에게 중요하지 않은 것처럼 보였다. 우리는 이 연구 결과를 사용하여 네 개의 프로파일과 두 개의 구별 변수를 가진 최종 모델을 구성했다. 이 최종 모델은 의료 교육자가 학부생들의 비전문직업적 행동을 인식하도록 유도하여 전문성 역량이 부족한 학생을 쉽게 식별할 수 있도록 해야 한다. 또한 최종 모델은 학습자가 추가 훈련을 받지 못하도록 교정하거나 해고하는 의사결정 과정을 지원할 수 있다.

Experts stressed the fluidity of the profiles, which means that students can move from one profile to another over time. Surprisingly, specific narrative descriptions of unprofessional behaviours appeared not to be important to the experts. We used these findings to construct a final model of four profiles and two distinguishing variables. This final model should guide medical educators to recognize unprofessional behaviours of undergraduate students, thus facilitating the identification of students who underperform in the competency of professionalism. The final model could also support the decision-making process to remediate or dismiss learners from further training.


프로필을 구별하는 두 가지 변수는 성찰성과 적응성인 것으로 나타났다. 이는 성찰 능력이 전문적 행동에 대한 합격과 불합격 사이의 임계값을 설명하는 데 결정적인 역할을 한다는 이전의 연구 결과를 확인시켜 준다(Kalet et al. 2016, 2017; Hoffman et al. 2016) 이러한 초기 연구 결과에 적응성도 재교육을 할 것인지 제적할 것인지에 대한 의사결정 과정의 중요한 지침이 된다는 점을 추가한다. 그러나 여전히 남아 있는 질문은 "이 두 변수는 독립적인가, 아니면 서로 영향을 미치는가?"이다.

The two variables discriminating between the profiles appeared to be reflectiveness and adaptability. This confirms earlier findings that reflective ability plays a role as a determinant for describing the thresholds between pass and fail for professional behaviour (Kalet et al. 2016, 2017; Hoffman et al. 2016) We add to these earlier findings that adaptability is also an important guiding factor in the decision-making process on remediation strategies or dismissal. A question that still remains is: “Are these two variables independent, or do they influence each other?”


두 개의 새로운 프로파일이 설명되었다. 

  • 첫 번째 새로운 프로파일은 시스템 게임 행동의 프로파일이었다. 전문가들은 교사들이 분명히 이러한 행동을 인식하기 어렵기 때문에 이러한 행동을 감지하기 어렵다고 표현했다. 시스템적 행동은 전문성의 가치를 개인적으로 내재화하지 않고 외부 규범에 근거한 바람직한 직업적 행동을 보여주는 것으로 보인다. 이것은 시스템의 조작 또는 게임 행위가 전문성이 없는 것인지, 또는 학습 과정의 문턱 단계인지를 질문한다(Neve et al. 2016). 아니면 의과교육이라는 고도로 도전적인 환경 속에서 학생들이 탈진으로부터 자신을 보호하는 방법일까. 우리의 연구결과는 이 상황에 대한 학생들의 인식의 중요성을 보여준다. 학습자가 그것이 목적을 위한 수단이라는 것을 알고 있는 한, 효과적인 전략이 될 수 있을 때까지 페이크할 것이다(Larson과 Yao 2005; Patel et al. 2018). 

  • 두 번째 프로필, 군분투하는 행동은 의료 교육 문헌에서 많이 인정받고 있다(Dyrby et al. 2010). 또한 이 경우, 학생의 상황 인식이 더욱 발전하기 위해 매우 중요해 보인다.

Two new profiles were described.

  • The first new profile was the profile of gaming-the-system behaviour. Experts expressed that this behaviour is difficult to detect, since teachers obviously find it difficult to recognize this behaviour. Gaming-the-system behaviour seems to be the display of desired professional behaviour based on external norms, without having personally internalized the values of professionalism. This brings up the question if faking or gaming-the-system behaviour is unprofessional, or a threshold phase in the learning process (Neve et al. 2016). Or is it a way that students protect themselves from burn-out in the highly challenging environment of medical education? Our findings indicate the importance of the students’ awareness of this situation. Fake it till you make it can be an effective strategy, as long as the learner is aware that it is a means to an end (Larson and Yao 2005; Patel et al. 2018). 

  • The second new profile, struggling behaviour is widely acknowledged in the medical education literature about burnout (Dyrbye et al. 2010). Also in this case, the student’s awareness of the situation seems crucial for further development.


전문가들은 학생들이 시간이 지남에 따라 한 프로필에서 다른 프로필로 이동할 수 있다고 강조했다. 우리의 연구결과는 성찰력과 적응력이 전문성 결여의 심각성에 대한 결정을 내릴 때 고려해야 할 중요한 측면이라는 것을 보여준다. 피드백에 대한 학생들의 반응과 그 후의 개선은 어떤 프로필이 적합한지fitting 확인하는 것의 일부분이다. 교사들은 전형적으로 스냅 사진을 찍고, 그에 따라 행동한 후, 선택한 프로필을 확인하거나 수정하기 위해 학생의 성적을 재평가한다. 학생들의 프로필은 역동적일 뿐만 아니라, 그것에 대한 교육자들의 의견도 다양하다. 이것은 다른 교육자에 대한 평가를 결합하여 일정 기간 동안 성과를 평가하는 프로그램적 평가 방법이 필요함을 의미한다(Van der Vleuten과 Schuwirth 2005). 이는 또한 교정조치 활동이 정상적인 교육 과정의 일부여야 하며 의료 교육 프로그램에 통합되어야 함을 의미한다(Kalet et al. 2017).

Experts stressed that students can move from one profile to another over time. Our findings indicate that reflectiveness and adaptability are important aspects to consider in making decisions about seriousness of the professionalism deficiency. Students’ response to feedback, and improvement thereafter is part of establishing the fitting profile. Teachers typically take a snapshot, act accordingly, and later re-evaluate the student’s performance to ascertain or modify the profile chosen. Possibly, not only students’ profiles are dynamic, but also educators’ opinions about them. This warrants the programmatic assessment method, in which performance is assessed over a period of time, by combining assessments of different educators (Van der Vleuten and Schuwirth 2005). This also implies that remediation activities should be part of the normal educational process, and integrated in the medical education program (Kalet et al. 2017).


구체적인 행동들에 대한 서술은 문제 행동들을 잘 구분해주지 않는 것discriminative으로 보인다. 아마도 초기 프로파일과 함께 제공된 서술적 서술은 너무 상세하고 맥락에 따라 달라지기 때문일 것이다. 행동에만 치중하는 듯한 일선 교사들과는 달리 전문 교사들은 학생들의 성찰과 향상에 더 많은 관심을 기울인다. 이 발견은 행동, 행동의 귀속성 및 행동의 결과를 가지고 설명하는 detecting underperformance에 관한 기존 문헌에 공헌한다. 우리의 연구결과는 성찰성이 전문성 우려와 관련이 있다는 것을 입증한다(Hoffman et al. 2016). 우발적인 비전문적 행동은 문제가 되지 않지만, 관찰된 비전문적 행동에 대한 피드백 후 성찰의 부족과 개선의 부족은 학생이 교정조치를 필요로 하는 지표로 간주된다.

Descriptions of specific behaviours turned out to not be discriminative. Possibly the narrative descriptions that came with the initial profiles were too detailed and context-specific. In contrast with frontline teachers, who seem to focus on behaviours, expert teachers pay more attention to students’ reflectiveness and improvement. This finding is a contribution to the existing literature about detecting underperformance, in which behaviours, attributions for behaviours and consequences of behaviours have been described (Teherani et al. 2009; Ginsburg et al. 2009; Guerrasio et al. 2014). Our findings confirm that reflectiveness is related to professionalism concerns (Hoffman et al. 2016). Accidental unprofessional behaviour is not seen as problematic, but a lack of reflectiveness and a lack of improvement after feedback on observed unprofessional behaviour are seen as indicators that a student needs remediation.


기존 개념은 일선(의사)-교사의 평가 양식에 대한 전문적 행동 평가에 기초하였으며, 프로필의 최종 모델은 전문 교수진의 의견을 바탕으로 하였다. 우리는 기존의 개념과 최종 모델의 차이가 전문적이지 않은 행동을 인식하는 과정의 여러 단계에서 학생의 비전문적 행동에 대한 [일선(의사) 교육자]와 [전문가]의 접근방식 차이에 의해 설명될 수 있을 것이다(표 3 참조).

The pre-existing concept was based on frontline (physician)-teachers’ evaluations of professional behaviour on evaluation forms, and the final model of profiles is based on opinions of expert faculty. We hypothesize that the differences between the pre-existing concept and the final model could be explained by the different approaches of frontline (physician)-educators and experts to students’ unprofessional behaviour, in several phases of the process of recognizing unprofessional behaviour (see Table 3).



한계

Limitations


교육 및 향후 연구에 대한 시사점

Implications for education and future research


프로필은 일선 교사들에게 유용할 수 있다. 왜냐하면 특정 프로필의 식별은 교사 과정이 끝난 후 추가적 지침guidance을 위해 학생을 추천할 필요가 있는지를 결정하는 데 도움이 될 수 있기 때문이다. 일선 교사들은 신뢰성 문제뿐 아니라 전문 교수진의 전문성 필수 요소로 꼽히는 학생의 성찰력과 적응력에도 초점을 맞춰야 한다. 이러한 프로파일은 교정조치가 적용된 후 교정조치의 감시를 받은 개인이 학생의 개발, 특히 학생들의 성찰성과 적응성을 따르는 데 유용할 수 있다.

The profiles can be useful for frontline teachers because identification of a certain profile can help to decide if a student needs to be referred for further guidance after the teacher’s course has been finished. Frontline teachers should not only focus on reliability issues, but also on a student’s reflectiveness and adaptability, which are seen as essential aspects of professionalism by expert faculty. The profiles can be useful for individuals with remediation oversight to follow the student’s development after remediation has been applied, especially students’ reflectiveness and adaptability.


교육 연구자들은 프로파일이 효과적인 교정조치를 결정하기 위한 수단인지 조사해야 한다. 성찰성 및 적응성은 개발 중인 프레임워크에서 교정조치의 threshold로 통합될 수 있다(Ellaway et al. 2017; Kalet et al. 2017). 본 연구의 결과에 기초하여 결과 효과를 위해 추가적으로 연구해야 하는 각 프로파일에 대해 다음과 같은 교정조치 전략을 상정한다. 

Educational researchers have to investigate if the profiles are a means to determine effective remediation. Reflectiveness and adaptability could possibly be incorporated as thresholds for remediation in frameworks that are under development (Ellaway et al. 2017; Kalet et al. 2017). Based on the findings of our study, we postulate the following remediation strategies for each of the profiles that need to be studied further for outcome effectiveness. 


    • 우발적 행동: 학생은 누구나 개인적, 상황적, 문화적 인과적 요인의 결합에 기초하여 실수를 저지를 수 있으며, 그 목표는 개인이 실수로부터 배우도록 하고, 그렇게 함으로써 서로를 지지하고, 이러한 우발적 비전문적 행동으로부터 집단적으로 학습하도록 하는 것임을 알아야 한다. 

    • 시스템 게임 행동: 전문직업적 행동과의 관련성을 명확히 하여 전문적 가치를 내재화할 수 있어야 한다. 

    • 고군분투하는 행동: 비전문적 행동에 대한 내부적 또는 외부적 인과관계에 대한 지원이 필요하다. 여기에는 의대 밖의 자원에 도움을 받아 guidance가 필요할 수 있다. 멸시하는 행동이 교정하기 가장 어려운 것처럼 보인다. 이러한 학생들은 처음에는 성찰적 능력을 개발해야 하며, 그들에게 제공된 피드백을 바탕으로 대안적인 행동을 시도하도록 동기 부여되어야 한다. 우리는 이러한 가설을 차후의 연구에서 다룰 작정이다. 

    • For the profile of accidental behaviour the student needs to become aware that anyone can make a mistake based on the combination of personal, contextual and cultural causal factors, and that the goal is to let the individual learn from mistakes, support each other in doing so, and collectively learn from these accidental unprofessional behaviours. 

    • For students who display gaming-the-system behaviour the relevance of professional behaviour needs to be made clear, so that they can internalize the professionalism values. 

    • The student with struggling behaviour needs support for the internal or external causal factor for the unprofessional behaviour. This might include guidance from resources outside the medical school. The disavowing behaviour seems to be the most challenging to remediate. These students initially need to develop reflective skills, and be motivated to try out alternative behaviour based on the feedback provided to them. We intend to address these hypotheses in a future study. 

더욱이, 이 프로파일에 맞는 새로운 설명이나 비그넷이 연구를 통해 개발될 수 있다면 흥미로울 것이다. 표 3에 기술된 일선 교사와 전문 교사의 가설적 차이도 연구로 확인할 필요가 있다.

Furthermore, it would be interesting if new descriptions or vignettes that fit the profiles could be developed through research. The hypothesized differences between frontline teachers and expert teachers as described in Table 3 also need to be confirmed by research.













24 (2), 215-232
 

Developing a Two-Dimensional Model of Unprofessional Behaviour Profiles in Medical Students

Affiliations 

Affiliations

  • 1Department of Research in Education, VUmc School of Medical Sciences, Amsterdam UMC, PO Box 7057, 1007 MB, Amsterdam, The Netherlands. m.mak@vumc.nl.
  • 2Department of Research in Education, VUmc School of Medical Sciences, Amsterdam UMC, PO Box 7057, 1007 MB, Amsterdam, The Netherlands.
  • 3LEARN! Academy, Vrije Universiteit, Amsterdam, The Netherlands.
  • 4Center for Faculty Educators, School of Medicine, University of California San Francisco, San Francisco, USA.
  • 5Department of Intensive Care Medicine, Maastricht University Medical Center, Maastricht University, Maastricht, The Netherlands.
  • 6Faculty of Medical Sciences, University Medical Center Groningen, Groningen, The Netherlands.

Abstract

Standardized narratives or profiles can facilitate identification of poor professional behaviour of medical students. If unprofessional behaviour is identified, educators can help the student to improve their professional performance. In an earlier study, based on opinions of frontline teachers from one institution, the authors identified three profiles of medical students' unprofessional behaviour: (1) Poor reliability, (2) Poor reliability and poor insight, and (3) Poor reliability, poor insight and poor adaptability. The distinguishing variable was Capacity for self-reflection and adaptability. The current study used Nominal Group Technique and thematic analysis to refine these findings by synthesizing experts' opinions from different medical schools, aiming to develop a model of unprofessional behaviour profiles in medical students. Thirty-one experienced faculty, purposively sampled for knowledge and experience in teaching and evaluation of professionalism, participated in five meetings at five medical schools in the Netherlands. In each group, participants generated ideas, discussed them, and independently ranked these ideas by allocating points to them. Experts suggested ten different ideas, from which the top 3 received 60% of all ranking points: (1) Reflectiveness and adaptability are two distinct distinguishing variables (25%), (2) The term reliability is too narrow to describe unprofessional behaviour (22%), and (3) Profiles are dynamic over time (12%). Incorporating these ideas yielded a model consisting of four profiles of medical students' unprofessional behaviour (accidental behaviour, struggling behaviour, gaming-the-system behaviour and disavowing behaviour) and two distinguishing variables (reflectiveness and adaptability). The findings could advance educators' insight into students' unprofessional behaviour, and provide information for future research on professionalism remediation.

Keywords: Attitude; Consensus; Faculty; Medical schools; Medical students; Professional misconduct; Professionalism; Undergraduate medical education; Unprofessional behaviour.


의과대학생의 UPB 기술어: 분류와 체계적 종설(BMC Med Educ, 2017)

Descriptors for unprofessional behaviours of medical students: a systematic review and categorisation

Marianne Mak-van der Vossen1,2,3*, Walther van Mook4,5, Stéphanie van der Burgt1,2, Joyce Kors6,

Johannes C.F. Ket7, Gerda Croiset1,2 and Rashmi Kusurkar1,2





배경

Background


전문직업성을 평가하는 것은 어려운데, 부분적으로는 교육자들이 주관적인 것을 두려워하기 때문이기도 하지만, 비전문성을 묘사하기 위해 일반적으로 채택된 언어가 존재하지 않기 때문이다. 프로페셔널리즘 지침은 때때로 규범적 비전문직업적 행동을 기술하지만, 이는 의료 교육자, 의사, 기타 보건 요원, 환자 및 학생에 의해 입증된 것처럼 학생의 실제 비전문적 행동에 대한 체계적인 경험적 연구에 기초하지 않는다[2].

Evaluating professionalism is difficult, partly because educators are afraid to be subjective, but also because a commonly adopted language to describe unprofessionalism does not exist. Professionalism guidelines sometimes describe normative unprofessional behaviours, but these are not based on systematic empirical research on students’ actual unprofessional behaviours, as witnessed by medical educators, physicians, other health personnel, patients and students [2].


전문직업성을 가르치는 것은 학습자의 지식, 태도, 판단 및 기술을 암묵적으로 개발하는 전략을 필요로 하기 때문에 복잡하다[6]. 전문직업성의 명시적 가르침은 의과대학이 취한 결정적인 행동을 포함하며 암묵적 가르침은 감독관의 암묵적 모델링을 포함한다. 이러한 암묵적 모델링, 숨겨진 커리큘럼은 의료계 학생들의 사회화를 강화하고 촉진한다[7]. 가르치는 것 외에도, 교육자들은 학생들의 전문직업성을 평가해야 한다.

Teaching professionalism is complex, as it requires strategies that explicitly as well as implicitly develop a learner’s knowledge, attitudes, judgment and skills [6]. Explicit teaching of professionalism includes the decisive actions taken by the medical school, while implicit teaching includes supervisors’ tacit modeling. This tacit modelling, the hidden curriculum, reinforces and promotes the socialization of students in the medical profession [7]. Beside teaching, educators also have to evaluate their students’ professionalism.


전문직업성을 평가하기 위한 지배적인 프레임워크는 행동 기반이다[6, 9]. 행동은 학습자의 전문성을 관찰할 수 있는 전문성의 실용적이고 적절한 측면이다[10–12].

The dominant framework to evaluate professionalism is behaviour-based [6, 9]. Behaviour is the practical, relevant aspect of professionalism through which a learner’s professionalism becomes observable [10–12].


성과 평가는 여러 가지 이유로 어렵다. 

  • 첫째로, 의료 교육자들은 비전문적 행동을 라벨링하는데 어려움을 겪는다. 그들은 학생들의 행동을 전문적이지 않다고 분류하는 것을 꺼린. 부분적으로는 어떤 행동이 이 라벨을 부여할 수 있는지 모르기 때문이다[15]. 

  • 둘째로, 교육자들은 학생들에 대한 기대기준expected standard의 불확실성과 씨름할 뿐만 아니라, 그들의 우려를 어떻게 명확히 표현해야 하는지 알지 못한다[3]. 결과적으로 평가 양식에서 교육자의 언어는 모호하고 간접적이다[16]. 또한 교육자들은 형태별 또는 종합 교육 평가 보고서[ITER]에서 행동 기반 의견을 제공하도록 권고받지만 전문적이지 않은 행동의 정의는 부족하다. 

  • 마지막으로, 무엇이 비전문적인지는 시간과 문화적 맥락에 따라 달라지는데, 이것은 의료 교육 문헌에서 낮은 전문적 성과를 묘사하는 많은 용어를 사용하게 되었다[19].

The evaluation of performance is difficult for several reasons. 

  • Firstly, medical educators experience challenges in labelling unprofessional performance. They are reluctant to label students’ behaviours as unprofessional, partly because they do not know which behaviours can be assigned this label [15]. 

  • Secondly, educators not only struggle with the uncertainty of the expected standards for students, but also do not know how to articulate their concerns: what to document and how to document it [3]. As a result educators’ language in assessment forms is vague and indirect [16]. Furthermore, educators are advised to provide behaviour-based comments in formative or summative In Training Evaluation Reports [ITERs], but a definition of unprofessional behaviour is lacking [17, 18]. 

  • Finally, what is seen as unprofessional is dependent on time and cultural context, which has led to the use of a plethora of terms describing poor professional performance in the medical education literature [19].


비전문주의를 부정하는 것을 꺼린 결과, 교육자들이 항상 학생들에게 비전문적 행동을 인식시키지는 않는다. 결과적으로, 교육자들은 근본적인 원인적 개인, 대인관계 및/또는 조직적 요소를 밝혀냄으로써 전문직업성을 분명히 가르칠 기회를 놓친다. 이러한 거부감의 또 다른 결과는 비전문적 행동을 인정하지 않음으로써 교육자들은 암묵적으로 이러한 행동이 용인될 수 있다는 인상을 심어준다는 것이다. 이렇게 하면 교육자들은 바람직하지 않은 문화를 낳는다[6, 8, 20].

As a result of their reluctance in denominating unprofessionalism, educators do not always make students aware of their unprofessional behaviour. Consequently, they miss the opportunity to explicitly teach professionalism by revealing underlying causative personal, interpersonal and/or organisational factors. Another result of this reluctance is that by not acknowledging unprofessional behaviour, educators implicitly create the impression that this behaviour is acceptable. This way, educators give rise to an undesirable culture [6, 8, 20].


현재 통합적이고 체계적인 검토 연구는 행동 기반 전문성 프레임워크를 사용한다[6, 9].

The current integrative, systematic review study uses the behaviour-based professionalism framework [6, 9].



방법

Methods


일반적 방법

General methodology


텍스트 기반 데이터를 분석하기 위한 정성적 방법인 내용 분석이 사용된 체계적인 검토를 수행하여 사전 임상 및 임상 의대생의 비전문적 행동에 대한 설명을 식별하고, 학생이 시인하거나 이해관계자가 목격한 [21] 우리는 체계적 검토 및 메타 분석을 위한 선호 보고 항목에 기초한 검토 프로토콜을 개발했다[22].

We conducted a systematic review, in which content analysis was used, a qualitative method to analyse text-based data, to identify descriptions of unprofessional behaviours of preclinical and clinical medical students, admitted by students or witnessed by stakeholders [21]. We developed a review protocol based on the Preferred Reporting Items for Systematic Reviews and Meta-Analysis [PRISMA]statement [22].


자료 출처와 검색 전략

Data sources and search strategy


연구 선택

Study selection


자료 추출과 병합

Data extraction and synthesis


데이터는 행정 항목, 평가 방법 및 맥락과 같은 BEME 코딩 항목을 포함하여 BEME(Best Emergence Medical Education) 협업[23]에 기초한 코딩 시트를 사용하여 추출되었다. 내용분석 검토법에 근거하여, 이해관계자가 목격하거나 학생 스스로 인정한 의대생들의 비전문적 행동에 대한 설명이라는 코딩 시트에 다음과 같은 "분석 단위"가 추가되었다. 보고된 조사 결과를 코드 시트 위에 추출했다.

Data were extracted using a coding sheet based on the Best Evidence Medical Education (BEME) collaboration [23], including the following BEME coding items: the administrative item, the evaluation methods, and the context. Based on the content analysis review method the following “unit of analysis” was added to the coding sheet: descriptions of medical students’ unprofessional behaviours that were witnessed by stakeholders or admitted by students themselves. Reported findings were extracted onto the coding sheets.


기사의 방법론적 질은 다음과 같은 5가지 질적 질문에 답하여 평가하였다. 

  • [i] 연구문항이나 목적이 명확히 기술되어 있는가? 

  • [ii] 연구문제의 답변에 이용되는 방법이 적절한가? 

  • [iii] 방법과 결과를 명확히 기술하고 있는가? 

  • [iv] 분석방법이 적절한가? 

  • [v] 연구문제는 자료로 답하고 있는가? [24] 

더 많은 질문에 긍정적으로 대답할 수 있을 때 연구는 더 높은 품질로 여겨졌다.

The methodological quality of the articles was assessed by answering the following five quality questions: 

  • [i] Is the research question or purpose clearly stated?, 

  • [ii] Is the method used suitable for answering the research question?, 

  • [iii] Are the methods and results clearly described?, 

  • [iv] Is the method of analysis appropriate?, and 

  • [v] Is the research question answered by the data? [24] 

Studies were considered to be of higher quality when more questions could be answered positively.



결과

Results


검색 결과

Search results


그림 1 참조. 정당성을 가진 제외된 연구 목록은 추가 파일 2로 제공된다.

See Fig. 1. A list of excluded studies with justifications is provided as Additional file 2.




연구 특징

Study characteristics


이 검토에는 1977년 1월부터 2016년 5월까지 광범위한 국가의 연구가 포함되었다. 46개의 포함된 연구에 대한 개요는 추가 파일 3을 참조하십시오.

The review included studies from a wide range of countries, from January 1977–May 2016. See additional file 3 for an overview of the 46 included studies.


    • 1980년경 미국에서 시작된 의대에서의 직업적 행동에 대한 주의는 우선 사기행위에 중점을 두었고, 그 다음으로는 무례한 행동과 참여 실패에 대한 관심이 뒤따랐다. 

    • 우리는 2000년 이전에 출판된 다른 대륙에서 온 어떤 기사도 발견하지 못했다. 

    • 2000년경, 북미 연구자들은 서투른 자기 인식에 초점을 맞추기 시작했고, 다른 대륙에서는 부정직한 행동만 묘사되었고, 후에 다른 주제들이 뒤따랐다. 

    • 최근, 인터넷 사용에서 비롯되는 비전문주의, 사생활 침해와 다른 무례한 행동과 부정직한 행동에 대한 관심이 문헌에 집중되었다. 세 가지 기간 동안의 글로벌 추세는 그림 2를 참조하십시오.

Attention for professional behaviour in medical school started in the US around 1980, firstly emphasised on fraudulent behaviours, followed by attention for disrespectful behaviour and failure to engage. We did not find any articles coming from the other continents that were published before 2000. Around 2000, North-American researchers started to focus on poor self-awareness, while in other continents only dishonest behaviour was described, later followed by other themes. Recently, attention was paid in the literature to unprofessionalism originating from the use of the internet, which can lead to privacy violations and other disrespectful behaviour, as well as to dishonest behaviours. See Fig. 2 for global trends in three time periods.



UPB의 주제

Themes of unprofessional behaviour


네 가지 행동 테마: 참여 실패, 부정직한 행동, 무례한 행동, 그리고 나쁜 자기 인식. 그림 3을 보시오.

four behavioural themes: failure to engage, dishonest behaviour, disrespectful behaviour,and poor self-awareness. See Fig.3.


다음 단락은 네 가지 주제 각각에 대한 주요 결과를 제시한다. 테마, 설명자 및 행동의 전체적이고 자세한 목록은 추가 파일 4를 참조하십시오.

The next paragraphs present the primary findings for each of the four themes. See Additional file 4 for a complete and detailed list of themes, descriptors and behaviours.



참여 실패

Failure to engage


첫 번째 테마는 참여실패로서, 이는 과제task를 충분히 처리하지 못한 것으로 정의하였다.

The first theme can be described as failure to engage, one’s which was defined as insufficiently handling tasks.


여기에는 다음이 포함된다.

    • 회진 또는 기타 할당된 활동에 늦거나 부재 중 [283232] 

    • 낮은 신뢰성과 책임 [25, 31, 33, 34] 

    • 가용성이 낮음[32], 

    • 양심 부족 [35] 

    • 지각[32]과 서투른 진취성과 동기부여 [31, 32, 36 3838] 

    • 원칙 무시[39] 

    • 최소 허용 수준의 성능을 수용하거나 추구하는 경우 [25]. 

Failure to engage [25–27] included descriptions as 

    • being late or absent for rounds or other assigned activities [28–32], 

    • poor reliability and responsibility [25, 31, 33, 34], 

    • poor availability [32], 

    • lack of conscientiousness [35], 

    • tardiness [32] and poor initiative and motivation [31, 32, 36–38], 

    • cutting corners [39], and 

    • accepting or seeking a minimally acceptable level of performance [25]. 


    • 일반적인 무질서함이 언급되었다. [26, 27], 여기에는 읽기 어려운 필체, 마감일을 지키지 않는 빈약한 노트 등이 있었다[32]. 

    • 팀워크를 저하시키는 데 실패했음을 나타내는 행동은 [27], [40], 팀워크 언어의 어려움에서 벗어나고 다른 사람들에게 피드백을 주지 않는 것으로 설명되었다[37].

    • General disorganization was mentioned [26, 27], examples of which were illegible handwriting, and poor note keeping not meeting deadlines [32]. 

    • Behaviours indicating failure to engage leading to poor teamwork were described as avoiding [27], [40], work escaping teamwork language difficulties [37] and not giving feedback to others [30].


의과대학의 임상 단계에 참여하지 못하는 것은 

    • 환자 접촉의 회피 [27, 37], 

    • 환자 치료에 기여하지 못하는 형태[26, 37, 39], 

    • 교대 근무 중 퇴근 [41], 

    • 불만족스러운 참여[33, 36]로 나타났다.

Failure to engage in the clinical phase of medical school was seen in the form of avoidance of patient contact [27, 37], failing to contribute to patient care [26, 37, 39], leaving the hospital during a shift [41], and unsatisfactory participation [33, 36].



부정직 행동

Dishonest behaviours


이 주제는 학생들의 integrity 문제를 설명한다. 그것은 부정행위, 거짓말, 표절, 규칙과 규정을 따르지 않는 것을 포함한다.

This theme describes students’ integrity problems. It includes cheating, lying, plagiarism and not obeying rules and regulations.


속이기, 거짓말하기

Cheating and lying


수업시간에 일어나는 부정행위와 거짓말은:

    • 위조 서명 [40, 42, 43] 또는 

    • 결석 시 거짓 변명하기 [40, 43–47] 

    • 동료에게 출석부에 서명하도록 요청한다 [26, 41, 43, 45, 48]. 

    • 다른 학생들에게 당신의 일을 부탁하거나 다른 학생을 위해 일을 하라고 한다 [40, 41, 43]. 

Cheating and lying took place in class by 

    • forging signatures [40, 42, 43], or 

    • giving false excuses when absent [40, 43–47], 

    • asking a colleague to sign in on an attendance list [26, 41, 43, 45, 48], 

    • asking other students to do your work or doing work for another student [40, 41, 43]. 


시험에서의 부정행위는 광범위하게 설명되었고, 다음과 같이 구성되었다. 

    • 시험 문제에 불법적으로 접근하는 것 [40, 43–47] 

    • 다른 사람이 당신의 시험을 치르게 하는 것 [43, 46, 47] 

    • 크립 노트 사용 [43, 44, 46–49] 

    • 시험 중 답변 교환 [43–49] 

    • 휴대폰을 사용하여 답변 교환 [43, 45, 48] 

    • 지인의 도움을 받아 시험에 합격한다[43, 48, 50]. 

Cheating in exams [32] was extensively described, and consisted of: 

    • gaining illegal access to exam questions [40, 43–47], 

    • letting someone else take your exam [43, 46, 47], 

    • using crib notes [43, 44, 46–49], 

    • exchanging answers during an exam [43–49], 

    • exchanging answers by using mobile phones [43, 45, 48] and 

    • passing an exam by using help from acquaintances [43, 48, 50]. 


임상이나 연구 맥락에서 부정행위가 일어났다. 

    • 데이터 위조[26, 40, 41, 43–46, 49, 51–53] 및 

    • 데이터 변조 [25, 31, 32, 37, 40, 41, 43, 51–54] 

    • 때로는 실수를 가장한다[43]. 

    • 예: 학생이 실험실 시험 주문을 잊었거나 시험이나 신체검사 기록의 일부를 누락한 경우 [40, 41, 44, 46, 49, 59, 51, 55 

    • 또한, 환자의 임상 검사에 대한 동의를 구하지 않는 것이 언급되었다[56, 57]. 

Cheating in clinical or research context took place in the form of 

    • data fabrication [26, 40, 41, 43–46, 49, 51–53], and 

    • data falsification [25, 31, 32, 37, 40, 41, 43, 51–54], 

    • sometimes to disguise mistakes [43], 

    • e.g. when a student had forgotten to order a laboratory test or omitted a part of the history taking or physical examination [40, 41, 44, 46, 49, 51, 55]. 

    • Also, not asking consent for clinical examination of a patient was mentioned [56, 57]. 


한 연구는 병원의 전자 건강 기록 문서[EHRD]를 사용하는 부정행위를 보고하였다. 

    • 동료의 메모를 복사/붙여넣기 

    • 자동 삽입된 데이터 사용 또는 

    • EHRD에서 다른 사람의 이름으로 서명하는 동안 문서화 [58].

One study reported cheating in using the hospital’s electronic health record documentation [EHRD]: 

    • copy/pasting a colleague’s notes, 

    • using auto-inserted data, or 

    • documenting while signed under someone else’s name in the EHRD [58].


이미 1978년에 법학자인 심슨은 환자에게 학생을 "의사"로 소개하는 것이 환자 치료에 직접적으로 영향을 미치는 거짓말의 한 형태라고 강조했다. 이러한 유형의 잘못된 표현도 최근에 설명되었다[35, 57].

Already in 1978, a law scholar, Simpson, emphasised the phenomenon of deceptive introduction [59] Students being introduced as “doctors” to patients is a form of lying that directly influences patient care. This type of misrepresentation has also been described more recently [35, 57].


표절

Plagiarism


표절과 관련된 UPB는...

    • 자기 표절[43], 

    • 선배나 동료의 작품을 표절하는 것[46, 52], 

    • 참조를 인정하지 않고 다른 출처에서 표절하는 것으로 구성되었다[40, 42, 47, 60]. 

    • 출처가 참조 목록에 포함되었을 때에도 출판된 책이나 기사에서 직접 텍스트를 복사하는 것[43].

Plagiarism consisted of self-plagiarism [43], plagiarizing work of seniors or peers [46, 52], and plagiarizing from other sources without acknowledging the reference [40, 42, 47, 60]. Copying text directly from published books or articles was seen as unprofessional even when the source was included in the reference list [43].


규칙과 규정 미준수

Not obeying rules and regulations


언급된 비전문적 활동은 다음과 같다. 예를 들어, 감염관리 절차를 따르지 않고 제한구역에서 전화기를 사용함으로써 규칙과 규정을 준수하지 않는 것을 인정한다[43, 57].

Unprofessional activities mentioned were: acceptance of failing to obey rules and regulations [26] for example by not following infection control procedures [43, 57] and using phones in restricted areas [61].


포함된 조항에 언급된 무면허 활동은 다음과 같다: 

    • 중대한 위법 행위[32, 42], 

    • 절도[62], 

    • 타인의 재산을 훼손하거나, 

    • 대학 직원이나 동료 학생을 물리적으로 폭행하는 행위[43].

Unlicensed activities that were mentioned in the included articles were: 

    • significant misconduct [32, 42], 

    • stealing [62], 

    • damaging another’s property[62] or 

    • physically assaulting a university employee or fellow student [43].


무례한 행동

Disrespectful behaviour


또 다른 주제는 무례한 행동으로 밝혀졌는데, 이것은 다른 사람들에게 부정적인 영향을 미치는 행위로 정의되었다. 이 테마의 행동은 심각성이 매우 다양하다.

Another theme was found to be disrespectful behaviour, which was defined as behaviour that has a negative effect on other people. Behaviours in this theme vary widely in severity.


부적절한 언어적 또는 비언어적 의사소통이라고 묘사되었다. 

    • 부적절한 구어 [25, 26, 32, 56, 63] 

    • 부적절한 바디랭귀지 [26–28, 32] 

    • 이메일에 의한 무례한 통신[32] 및 

    • e-메일 또는 기타 형태의 연락은 무시한다 [26, 36]. 

Disrespectful behaviour was described as poor verbal or non-verbal communication: 

    • inappropriate spoken language [25, 26, 32, 56, 63] 

    • inappropriate body language [26–28, 32], 

    • disrespectful communication by email [32] and also 

    • ignoring emails or other forms of contact from teaching or administrative staff [26, 36]. 


Facebook이나 다른 소셜 미디어에서 전문적이지 않은 행동을 언급한 최근 기사 

    • 환자와의 임상 경험 논의 [64] 

    • 부정적인 시각으로 임상 현장이나 대학에 대해 논하는 것 [64] 

    • 동료 학생들의 사진을 게재하는 것 [63, 65]. 

Recent articles mentioned unprofessional behaviour on Facebook or other social media, for example 

    • discussing clinical experiences with patients [64] 

    • discussing a clinical site or the university in a negative light [64] and 

    • posting compromising pictures of peer students [63, 65]. 


다른 사람들의 요구에 대한 민감성이 결여된 것에 대한 모범적인 무례한 행동들은 

    • 문화 및 종교 관련[35], [33, 35], 

    • 불감증 차별 성희롱 [35, 43, 63]. 

Other disrespectful behaviours that are exemplary for the lack of sensitivity to others’ needs were 

    • cultural and religious [35], [33, 35], and 

    • insensitivity discrimination sexual harassment [35, 43, 63]. 


이러한 무례한 행동은 이 학생들이 교사와 다른 직원 또는 보건 요원, 환자와 그 가족, 또는 동료 학생과 상호작용하는 모든 사람들에게 영향을 미칠 수 있다.

These disrespectful behaviours can affect all persons with whom these students interact: teachers and other staff or health personnel, patients and their families, or fellow students.


교사는 수업 시간에 부정적인 반응이나 방해적인 행동에 의해 무례하게 취급될 수 있다[26, 34, 36, 66]. 시험지에 무례한/부적절한 의견을 쓰거나 시험 과정에 대한 존중을 나타내지 못함[28].

Teachers can be treated disrespectfully by negative responses or disruptive behaviour in teaching sessions [26, 34, 36, 66], writing rude/inappropriate comments on exam papers [26] or other failure to show respect for the examination process [28].


환자도 학생의 무례한 행동에 영향을 받을 수 있다. 

    • 공감 부족 [26, 28] 

    • 타인의 요구에 대한 불감증[25, 26, 62] 및 

    • 환자에 대한 갑작스럽고 무관심한 태도 [26] 

    • 경멸적인 방식으로 환자를 지칭하는 것 [29, 30, 39, 56, 57]. 

    • 환자 안전 위에 자체 학습 배치 [57] 

    • 시험 중 환자를 불편하게 만드는 것 [56] 또는 

    • 시뮬레이션 환자를 감정과 우려를 가진 사람으로서가 아니라 수동적인 대상으로 취급하는 것 [28] 

    • 감정이입의 결여로 보여진 행동들의 예들이다. 

Patients can be affected by a student’s disrespectful behaviour when the student shows 

    • a lack of empathy [26, 28], 

    • insensitivity to the needs of others [25, 26, 62], and 

    • abrupt and non-empathetic manner with patients [26], 

    • referring to patients in a derogatory way [29, 30, 39, 56, 57], 

    • placing own learning above patient safety [57], 

    • making a patient feel uncomfortable during an exam [56] or 

    • treating simulation patients as passive objects rather than as people with feelings and concerns [28] 

    • were examples of behaviours that were seen as a lack of empathy. 


    • 또한 지나치게 비공식적인 행동[27] 및 

    • 전문적 외관과 복장을 유지하는 데 실패 [25, 26, 28, 30, 37] 

    • 너무 지저분한 가운 [29, 30]도 이 주제에 속한다. 

    • Also, overly informal behaviour [27], and 

    • failure to maintain professional appearance and attire [25, 26, 28, 30, 37] and 

    • poor condition of white coats [29, 30] belong to this theme. 


더 나아가 

    • 공공 장소에서의 환자 논의 [29] 

    • 따라서 환자 기밀성을 존중하지 않음 [25, 30, 35, 56, 63] 또는 

    • 환자를 리서치하기 위해 구글을 사용하는 것은 전문적이지 않은 것으로 기술되었다.

Furthermore, 

    • discussing patients in public spaces [29] and 

    • therefore failing to respect patient confidentiality [25, 30, 35, 56, 63] or 

    • using Google to research patients [67] were described as unprofessional.


동료 학생들은 언어적, 서면적, 신체적 또는 행동적 학대로 구성된 또래들에 의한 괴롭힘이나 victimizing누군가의 존재를 무시하는 행동도 무례하게 취급될 수 있다[43, 62, 68, 69]. 

Fellow students can be treated disrespectfully through bullying by peers, which consist of verbal, written, physical or behavioural abuse and victimizing, which is the ignoring of someone’s existence [43, 62, 68, 69]. 


학생들은 또한 개인에게 접근하기 전에 동료의 부적절한 행동을 교수진에게 보고함으로써 동료의 비전문적 행동에 영향을 받을 수 있다[29, 30].

Students can also be affected by their peers‘ unprofessional behaviour by reporting a peer’s improper behaviour to faculty before approaching the person individually [29, 30].


자기인식 부족

Poor self-awareness


마지막 주제는 자신의 수행을 부적절하게 처리하는 것으로 정의한 자기 인식 부족이다. 서투른 자각은 다음과 같이 기술되었다. 

    • 피드백을 회피하고, 피드백을 수용하고 통합할 수 없음 [30, 31, 38] 

    • 비판에 대한 저항적 또는 방어적 행위 [25, 34, 37] 

    • 행동에 대한 통찰력 부족 [26, 28] 

    • 소유가 아닌 외부 요인 탓 [28] 

    • 행동에 대한 책임을 수락하지 않음 [25, 28]. 

The last theme is poor self-awareness, which was defined as inappropriately handling one’s own performance. Poor self-awareness was described as 

    • avoiding feedback, inability to accept and incorporate feedback [30, 31, 38], and 

    • resistant or defensive behaviour towards criticism [25, 34, 37], 

    • lack of insight into behaviour [26, 28], 

    • blaming external factors rather than own [28] and 

    • failing to accept responsibility for actions [25, 28]. 

더 나아가 

    • 한계를 인식하지 못함 [32] 

    • 자신의 능력 수준을 넘어선 행위 [56, 57] 또는 

    • 전문적 경계를 존중하지 않는 것[26, 63]은 이 테마로 분류되었다.


Furthermore, 

    • not being aware of limitations [32], 

    • acting beyond own level of competence [56, 57], or 

    • not respecting professional boundaries [26, 63] was categorised in this theme. 


이러한 행동은 자기계발에 대한 능력이 감소했음을 나타내는 것 같다 [32, 34, 37, 70].

These behaviours seem to indicate a diminished capacity for self-improvement [32, 34, 37, 70].


고찰

Discussion


검색 결과 및 연구 특성

Search results and study characteristics


대부분의 연구는 단일 기관에서 나왔으며, 이는 종종 제한된 수의 학생과 문화적 맥락에서 제한된 다양성을 낳았다. 기관과 국가 간의 협력은 비전문적 행동에 대한 연구에 큰 도움이 될 것이다.

Most studies came from a single institution, which often resulted in a limited number of students, and limited diversity in cultural context. Collaboration across institutions and countries would add greatly to the research of unprofessional behaviour.


프로페셔널리즘(Professionalism)은 시간과 장소에 따라 달라지는 개념으로, 동봉된 논문에서 조사되었던 주제로부터 명확해진다. 놀랍게도, UPB들에 대한 묘사는 대륙마다 크게 다르지 않았다. 비록 아시아와 아프리카에서는 부정직한 행동에 초점을 맞춘 것처럼 보이지만 말이다. 아마도 전문적이지 않은 행동에 대한 연구는 사기행위에 초점을 맞추는 것으로 시작되는데, 그것은 탐지하기 쉬운 심각한 문제로 보여지기 때문이다.

Professionalism is a concept that varies in time and place, which becomes clear fromthe subjects that were investigated in the included articles. Surprisingly, the descriptions of behaviours that were seen as unprofessional did not differ largely between the continents, although in Asia and Africa the focus seems to lay on dishonest behaviours. Probably, the research on unprofessional behaviour starts with a focus on fraudulent behaviour because it is seen as a serious problem that is easy to detect.


최근 의학 교육 문헌에 기술된 주제는 자기 인식과 성찰이며, 의사의 사람은 그/그/그 자신[2, 71]이다. 비전문적 행동에 대한 보다 긍정적인 접근을 나타내는 이러한 경향은 북아메리카에서 유럽, 호주로 넘어온 것으로 보이며, 이러한 추세가 앞으로 남아메리카, 아프리카, 아시아로 확산될지 주목된다.

Recently described topics in the medical education literature are self-awareness and reflection, and the person of the doctor him/herself [2, 71]. This trend, representing a more positive approach to unprofessional behaviour, seems to have come over from North America to Europe and Australia, and it will be interesting to see if this trend will spread to South America, Africa and Asia in the coming years.



UPB의 주제들

Themes of unprofessional behaviour


최근의 한 리뷰는 미래의 의사들의 비전문적 행동이 사기와 부정직한 행동이라는 주제로 보여진다는 것을 보여주었다[76]. 본 연구는 추가 기사를 포함시킴으로써 세 가지 주제를 추가하여 이러한 연구 결과를 확대한다.

A recent review revealed that unprofessional behaviours in future physicians are seen in the theme of fraud and dishonest behaviour [76]. The current study extends these findings with three additional themes by including additional articles.


이전의 연구는 전문성의 증거를 훈련 중인 의사로부터 기대할 수 있는 여섯 가지 영역, 즉 행동, 실천, 환자에 대한 윤리적 존중에 대한 책임, 반성/자각, 팀워크 및 사회적 책임[77]을 제안했다. 현재의 연구 결과는 4가지 주제만 구별되었지만 부분적으로 이 프레임워크와 일치한다. 사회적 책임감이 떨어진다고 볼 수 있는 학생들의 행동의 예는 발견되지 않았다. 이 영역은 학부 학생들보다 레지던트들에게 더 적합할 수 있다.

Previous research proposed six domains in which evidence of professionalism can be expected from doctors-in-training: 

    • actions, 

    • practice, 

    • responsibility for ethical respect for patients, 

    • reflection/self-awareness, 

    • teamwork, and 

    • social responsibility [77]. 

Current findings are partly consistent with this framework, although only four themes were distinguished. Examples of students’ behaviours that can be regarded as poor social responsibility were not found. This domain might be more relevant for residents than for undergraduate students.


GMC(General Medical Council)는 최근 의대생을 위한 최신 전문성 지침을 발표했는데, 이 지침에서 관심 영역이 설명된다[2]. 우리는 우리의 연구 결과를 이러한 규범적 설명에 매핑했고 많은 유사점들, 그러나 약간의 차이점을 발견했다. 추가 파일 5는 우리의 조사 결과가 어떻게 GMC의 관심 영역에 매핑되었는지 자세히 보여준다.

The General Medical Council (GMC) recently published an updated professionalism guidance for medical students, in which domains of concern are described [2]. We mapped our findings to these normative descriptions and found many similarities, but also some differences. Additional file 5 shows in detail how our findings were mapped to the GMC’s domains of concern.


중요한 질문은 학생들에게서 발견되는 행동들이 의사로서의 미래의 비전문적 행동들과 관련이 있느냐 하는 것이다. 부족한 이니셔티브와 책임감없는 행동은 자기계발을 위한 능력 저하와 연관된 것으로 밝혀졌지만, 이 연구에서 발견된 다른 행동들이 의사로서의 미래 성과를 예측하는지는 아직 알려지지 않았다[25, 70].

A crucial question is whether the behaviours found in students relate to future unprofessional behaviours as a physician. This has been shown for poor initiative, and irresponsibility diminished capacity for self-improvement, but it is not yet known whether the other behaviours found in this study also predict future performance as a physician [25, 70].



참여실패

Failure to engage


열악한 참여가 신체적 또는 정신 질환의 결과인 경우, 학생들은 이것을 인정하는데 있어서 지지를 받아야 하며, 그들의 연구를 계속하여 완료할 수 있는 가능성을 제시해야 한다[78]. 학생 동기의 질과 양과 관련된 참여 문제는 자기 결정 이론을 사용하여 해결할 수 있다. 이 방법은 의료 교육자가 클래스에서 적용할 수 있는 12가지 실천적 팁에 설명되어 있다[80].

When poor engagement is a consequence of physical or mental illness, students have to be supported in acknowledging this, and offered possibilities to continue and complete their studies [78]. Engagement problems related to the quality and quantity of student motivation could be addressed by using Self-determination Theory . This method has been described in twelve practical tips that medical educators can apply in class [80].


부정직 행동

Dishonest behaviour


가장 나쁜 행동은 그 사건만 고립되서 발생하는 경우가 거의 없으며, 한 가지 부정행위에 연루된 사람들은 다른 부정직한 행동에 더 많이 연루될 가능성이 더 높다[81]. 필수 과정 평가를 완료하지 못했거나, 면역 규정 준수를 보고하지 않은 것은 후속 과정에서 학생들의 비전문적 행동에 대한 중요한 예측 변수임이 밝혀졌다[82]. 따라서, 규칙과 규정을 준수하지 않고 부정직한 행동을 저지르지 않는 학생들에 대한 교직원의 인식을 높일 필요가 있어 보인다[52]. 표절을 탐지하는 소프트웨어는 이러한 행동 중 일부를 공개하는 데 도움이 될 수 있다[83].

Dishonest behaviours are rarely isolated events and individuals involved in cheating are more likely to be involved in other dishonest behaviours [81]. Failing to complete required course evaluations and failing to report immunization compliance were found to be significant predictors of students’ unprofessional behaviours in subsequent years [82]. Thus, it seems necessary to raise faculty’s awareness for students not obeying rules and regulations and committing dishonest behaviours [52]. Software to detect plagiarism can help to unveil some of these behaviours [83].


무례한 행동

Disrespectful behaviour


비록 무례한 행동은 다른 시대와 세계 각지에서 다르게 경험될 수 있지만, 무례한 행동을 묘사하는 데 사용되는 용어는 시간과 장소에 따라 놀라울 정도로 일치한다.

Although disrespectful behaviour might be experienced differently in different time periods and in different parts of the world, the terms that are used to describe disrespectful behaviour are surprisingly consistent over time and place.


동료에 대한 경멸은 동료와 팀워크를 억제하고, 환자에 대한 무례는 환자와의 공감대를 억제한다[84]. 괴롭힘과 인종 차별이 극단적인 예인 불경한 행동은 종종 용인되고 심지어 다른 사람들에 의해 강화된다[85 무례함은 대부분 학습된 행동이기 때문에 긍정적인 역할 모델링과 정규 교육을 통해 이를 해결할 수 있다[85]. 그러나 불행히도, 학생들은 때때로 무례한 행동을 보이면 매우 부정적이고 문제가 많은 역할 모델들에 노출된다. 보복에 대한 두려움은 학생이 전문적이지 않은 행동을 하도록 이끌 수 있다[87]. 학생들은 교사와 감독관의 비전문적 행동을 학교 경영에 보고할 기회를 가져야 한다. 또한 의대생들의 공감을 유지하고 강화하기 위한 교육적 개입이 적용될 수 있다[88].

Disrespect towards colleagues inhibits collegiality and teamwork, and disrespect towards patients inhibits empathic relations with patients [84]. Disrespectful behaviour, of which bullying and racism are extreme examples, is often tolerated and even reinforced by others [85]. As disrespect is mostly a learned behaviour, it is possible to tackle it with positive role modeling and formal education [85]. However, unfortunately, students are sometimes exposed to very negative and problematic role models who at times are disrespectful [86]. Fear of retaliation can lead a student to act unprofessionally him/herself too [87]. Students should have the opportunity to report unprofessional behaviour of their teachers and supervisors to the school management. Furthermore, educational interventions to maintain and enhance empathy in medical students could be applied [88].


사생활 침해도 일종의 무례한 행동이다. 이 연구에 따르면, 환자뿐만 아니라 학생과 의사의 프라이버시를 유지하기 위한 새로운 도전은 디지털 미디어와 전자 건강 기록 문서 시스템의 사용에서 비롯된다. 프로페셔널리즘은 역동적인 개념으로 [89]이며, "디지털 프로페셔널리즘"에 관해서 의사뿐만 아니라 학생에 대한 새로운 가치와 표준을 개발해야 하는 것 같다. [90–92].

Compromising privacy is also a form of disrespectful behaviour. According to this study, new challenges for maintaining privacy of patients, but also of students and physicians, come from the use of digital media and electronic health record documentation systems. Professionalism is a dynamic concept [89], and it seems that new values and standards for students as well as for physicians have to be developed regarding “digital professionalism.” [90–92].


부실한 자기인식

Poor self-awareness


이 테마의 행동은 자신의 부진한 퍼포먼스를 제대로 인식하지 못하는 학생들에 의해 나타난다: 학생은 외부 평가가 나타내는 것보다 더 잘 수행한다고 생각한다.

Behaviours in this theme are displayed by students who are insufficiently aware of their own poor performance: the student thinks to perform better than the external evaluation indicates.


성찰 능력의 감소는 전문직업성 문제와 관련된다. 자신의 행동에 대한 통찰력이 있어야, 행동을 변화시킬 필요성을 느끼게 되기 때문에 교정조치에도 문제가 된다[82, 95]. 전문성의 이러한 측면으로 어려움을 겪고 있는 학생들을 위해, 교육자들은 또래의 성과에 기초하여 명확하게 기대를 정할 필요가 있다[96].

A diminished reflective ability is related to professionalism lapses [94], and forms a challenge for remediation, since insight into one’ sbehaviour is regarded necessary to change it [82, 95]. For students struggling with this aspect of professionalism, educators need to clearly set expectations based on the performance of peers [96].



비전문적 행동의 맥락

Context of unprofessional behaviour


학생의 직업적 행동을 평가할 때 개인적, 대인 관계 및 제도적 상황을 고려해야 한다[97, 98]. 이 행동 목록은 어떤 행동이 학생과 토론을 해야 하는 이유가 되어야 하는지를 나타내며, 그 행동이 정말 비전문적이었는지를 밝힐 수 있는 맥락에서 해석을 목표로 한다. 우리는 학생들이 도전적인 작업 환경에 대비하기를 원하기 때문에, 학생들에게 (다른 사람의 비전문적 행동, 스트레스가 많은 조건 및 시간 제약과 같이) 그들이 미래에 겪게 될 가능성이 있는 어떤 어려운 상황을 효과적으로 처리하는 방법을 가르치는 것이 중요하다[3, 84, 99]. 학생들과 교사들은 어려운 상황에서 어떤 행동이 적절할 수 있는지에 대해 토론하고 협상해야 한다. (어려운 상황에서) 역할 모델링만으로는 충분하지 않다. (임상실습에서) 어려운 조건이 발생할 때 공식적인 가르침이 필요해 보인다.

Personal, interpersonal and institutional circumstances have to be taken into account when evaluating a student’s professional behaviour [97, 98]. This list of behaviours indicates which behaviours should be a reason to have a discussion with the student, aiming for an interpretation in the context that could reveal if the behaviour was indeed unprofessional. Since we want to prepare students for a challenging work environment, it is crucial to teach students how to effectively handle certain difficult contextual conditions that are likely to happen in their future work, like unprofessional behaviours of others, stressful conditions and time constraints [3, 84, 99]. Students and teachers have to discuss and negotiate what behaviours could be adequate in difficult circumstances. Role modeling is not enough; formal teaching when these difficult conditions occur [in the clerkships] is deemed necessary [100].


한계

Limitations


이 방법의 한계는 교사들과 학생들에 의해 인식되지 않거나 보고되지 않는 일부 비전문적 행동이 있을 수 있다는 것이다. 이러한 - 여전히 숨겨진 행동은 우리가 제안하는 용어를 사용하여 오류에 대해 말할 때 더 일반적으로 받아들여질 수 있다.

A limitation of this method is that there may be some unprofessional behaviours which go unrecognised or unreported by teachers and students. These -still hidden- behaviours might be revealed when speaking about lapses becomes more commonly accepted using the terminology that we propose.


우리의 방법은 연구 기사에 기술되지 않은 행동을 밝힐 수 없었다. 일부 지역에서 발췌한 연구 논문의 수가 제한되어, 결과적으로 특정 행동들에 대한 보고가 부족할 수 있기 때문에, 잠재적으로 세계의 일부 지역이 충분히 대표되지 못하고 있다는 것을 인정해야 한다.

our method could not reveal behaviours that were not described in research articles. It has to be acknowledged that potentially some parts of the world are underrepresented due to the limited number of original research papers originating from some regions, which consequently could have led to an underreporting of certain behaviours.


실질적 의미

Practical implications


이 검토의 결과는 의료 교육자와 의료 교육 연구자에게 임상 및 임상 학부 의학의 비전문적 행동을 기술하기 위한 공통의 언어를 제공한다. 학생들의 비전문적 행동의 성격과 정도에 대한 지식은 교사들을 자극할 수 있고, 교사들과 학생들 사이에서 이러한 행동들에 대한 인정과 논의를 촉진할 수 있다. 이 목록은 교사들이 비전문적 행동을 보고 보고하도록 하고, 따라서 "failure to fail"라는 문제를 해결하는 데 도움이 될 수 있다.

The results of this review provide medical educators and researchers in medical education with a common language for the description of unprofessional behaviour in preclinical and clinical undergraduate medical education. Knowledge of the nature and extent of students’ unprofessional behaviours could prompt teachers, and facilitate the acknowledgment and discussion of these behaviours among teachers and students. The list might facilitate teachers to see and report unprofessional behaviours, and thus help to solve the problem of “failure to fail”.


그러나 낙제만 주는 것으로는 충분하지 않다. 즉, 교육자들이 관찰된 행동에 대해 학생과 대화를 하는 것이 필요하다. 설명이 제시되고 맥락이 논의되는 그러한 대화는 공정한 평가와 학생에게 귀중한 형태 형성적 학습 경험 또는 비전문적 행동에 대한 대인관계 또는 제도적 원인을 개선하기 위해 필요한 기타 행동으로 이어질 수 있다[101, 102](표 1)

Yet, only giving a fail is not enough: it is necessary that educators conduct a conversation with the student about observed behaviours. Such a conversation, in which explanations are given and context is discussed, can lead to a fair assessment and to a valuable formative learning experience for the student, or to other actions needed to improve interpersonal or institutional causes for unprofessional behaviour [101, 102] (Table 1).



후속 연구

Further research


또 다른 조사가 필요한 과목은 또래 학생들에 대한 책임감이다. 최근, 미국의 한 전국적인 연구는 대다수의 학생들이 또래 학생들의 비전문적 행동을 보고해야 할 의무감을 느낀다고 말한 것을 발견했다[104]. 이는 다음과 같은 문제로 이어진다. 어떻게 하면 이런 학생들의 의도를 행동으로 바꾸도록 교육할 수 있을까?

Another subject that needs investigation is students’ accountability for their peers. Recently, a US nationwide study found that a significant majority of students said that they feel obligated to report unprofessional behaviour of their peers [104]. This leads to the question: How can we educate these students to change their intentions into actions?


80. Kusurkar RA, Croiset G, Ten Cate OT. Twelve tips to stimulate intrinsic motivation in students through autonomy-supportive classroom teaching derived from self-determination theory. Med Teach. 2011;33(12):978–82.










Review

 

, 17 (1), 164
 

Descriptors for Unprofessional Behaviours of Medical Students: A Systematic Review and Categorisation

Affiliations 

Affiliations

  • 1Department of Research in Education, VUmc School of Medical Sciences, Amsterdam, the Netherlands. m.mak@vumc.nl.
  • 2LEARN! Research Institute for Education and Learning, VU University, Amsterdam, the Netherlands. m.mak@vumc.nl.
  • 3Department for General Practice and Elderly Care Management, VU Medical Center, Amsterdam, the Netherlands. m.mak@vumc.nl.
  • 4Department of Intensive Care Medicine, Maastricht University Medical Center, Maastricht, the Netherlands.
  • 5Department of Medical Education Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands.
  • 6Department of Research in Education, VUmc School of Medical Sciences, Amsterdam, the Netherlands.
  • 7LEARN! Research Institute for Education and Learning, VU University, Amsterdam, the Netherlands.
  • 8AVAG Midwifery Academy Amsterdam Groningen, Amsterdam, the Netherlands.
  • 9Medical Library, University Library, Vrije Universiteit, Amsterdam, the Netherlands.

Abstract

Background: Developing professionalism is a core task in medical education. Unfortunately, it has remained difficult for educators to identify medical students' unprofessionalism, because, among other reasons, there are no commonly adopted descriptors that can be used to document students' unprofessional behaviour. This study aimed to generate an overview of descriptors for unprofessional behaviour based on research evidence of real-life unprofessional behaviours of medical students.

Methods: A systematic review was conducted searching PubMed, Ebsco/ERIC, Ebsco/PsycINFO and Embase.com from inception to 2016. Articles were reviewed for admitted or witnessed unprofessional behaviours of undergraduate medical students.

Results: The search yielded 11,963 different studies, 46 met all inclusion criteria. We found 205 different descriptions of unprofessional behaviours, which were coded into 30 different descriptors, and subsequently classified in four behavioural themes: failure to engage, dishonest behaviour, disrespectful behaviour, and poor self-awareness.

Conclusions: This overview provides a common language to describe medical students' unprofessional behaviour. The framework of descriptors is proposed as a tool for educators to denominate students' unprofessional behaviours. The found behaviours can have various causes, which should be explored in a discussion with the student about personal, interpersonal and/or institutional circumstances in which the behaviour occurred. Explicitly denominating unprofessional behaviour serves two goals: [i] creating a culture in which unprofessional behaviour is acknowledged, [ii] targeting students who need extra guidance. Both are important to avoid unprofessional behaviour among future doctors.

Keywords: Humanities; Medical education; Medical students; Professional misconduct; Professionalism; Systematic review; Unprofessional behaviour.


가이드라인: 의학교육에서 재교육에 대한 Dos 와 Don'ts (Perspect Med Educ, 2019)

Guidelines: The dos, don’ts and don’t knows of remediation in medical education

Calvin L. Chou · Adina Kalet · Manuel Joao Costa · Jennifer Cleland · Kalman Winston





할 것: 효과의 증거가 있는 교육 활동

하지 말기 것: 효과 또는 위해성이 없다는 증거가 있는 교육 활동 금지(부정 효과)

잘 모름: 효과의 증거가 없는 교육 활동

Do’s Educational activity for which there is evidence of effectiveness

Don’ts Educational activity for which there is evidence of no effectiveness or of harms (negative effects)

Don’t knows Educational activity for which there is no evidence of effectiveness


도입

Introduction


의료교육의 재교육은 ‘의사가 되기 위한 여정에 나섰지만 진로를 벗어난 훈련생들을 위한 시정을 촉진하는 행위’이다.

Remediation in medical education is ‘the act of facilitating a correction for trainees who started out on the journey toward becoming a physician but have moved off course’[1].


교정조치가 필요한 훈련생들의 누적 유병률에 대한 보고서는 외과 레지던스[2]의 2.0%에서 의과대학의 3.3%까지 다양했다[3]. 보고된 교정조치 성공률은 77% [2]에서 100% [3-5]까지 다양하다. 그러나 ‘성공’에 대한 표준적 정의는 없으며, 대부분의 프로그램은 단기적인 결과만을 보고한다. 예를 들어, 한 보고서는 교정조치 후 1학기에 합격한 학생의 91%가 1학기를 통과했지만, 2년 후[6] 전체 프로그램을 완료한 학생은 61%에 불과하다는 것을 보여주었다. 또한 교정조치가 필요한 학습자를 식별하기 위해 프로그램이 사용하는 기준은 같은 기관 내에서조차 매우 다양하다.

Reports of the cumulative prevalence of trainees in need of remediation have ranged from 2.0% in surgical residencies [2] to 3.3% in medical school [3]. The reported success of remediation has ranged from 77% [2] to 100% [3–5]. However, there is no standard definition of ‘success’, and most programs report only short-term outcomes. For example, one report showed that while 91% of students passed the first semester after remediation, only 61% had completed the entire program 2 years later[6]. Additionally, the criteria programs use to identify learners needing remediation vary widely, even within the same institution.


훈련생에 대한 요구가 의료 훈련 과정에 걸쳐 변화함에 따라 교정조치의 유형이 변경되는 것은 놀랄 일이 아니다. 

  • 초기 의대생들은 지식과 기술 격차, 사고방식, 자기 규제, 학습 접근방식에 어려움을 겪는 경향이 있다[7]. 

  • 임상실습 학생들은 불충분한 지식 외에도 환자 프레젠테이션 기술, 기초 커뮤니케이션 기술(예: 자기 소개), 신체 검사 기술, 개별화된 환자 계획을 작성하기 위한 지식의 적용 및 합성과 씨름할 수 있다[8, 9]. 

  • 인턴과 레지던트 시기에도 있어 지식은 계속해서 투쟁의 주요 영역이 될 수 있다[5, 10, 11]. 

또한 이러한 의료 훈련 단계에서 학습자는 임상적 판단[2, 5, 10, 11], 커뮤니케이션 [5], 전문성[2, 4, 5, 11, 12], 시간 관리 및 조직 능력[5, 10, 13]으로 어려움을 드러낼 수 있다.

Not surprisingly, as demands on trainees shift over the course of medical training, the types of remediation challenges change. Early medical students tend to struggle with knowledge and skills gaps, ways of thinking, self-regulation, and approaches to learning [7]. In addition to insufficient knowledge, students in clerkships can struggle with patient presentation skills, foundational communication skills (e.g. introducing oneself), physical examination skills, and the application and synthesis of knowledge to create individualized patient plans [8, 9]. For residents and foundation years (the 2 years immediately after medical school in the UK), knowledge can continue to be a major area of struggle [5, 10, 11]. In addition, learners at these stages of medical training can manifest difficulty with clinical judgment [2, 5, 10, 11], communication [5], professionalism [2, 4, 5, 11, 12], time management, and organization skills [5, 10, 13].


의대생과 의사들은 고군분투하는 데 익숙하지 않다. 의대 선정은 높은 학업 능력을 필요로 하며, 의대생들은 성취에 익숙해져 있다. 결과적으로, 학업적인 실패에 직면했을 때, 많은 사람들은 [문제를 악화시키고 신속하게 적응하고 교정 작업에 집중하는 능력을 제한할 수 있는] 불균형적인 감정 반응을 경험할 수 있다. 어떤 환경에서는 실패의 경제적 부담(예: 재시험이나 과정)이 상당할 수 있으며, 이는 주로 학생이나[14] 프로그램[15]이 부담한다. 우리는 또한 일부 학습자가 자신의 어려움을 최소화, 외부화하거나 학교나 교수를 비난하고 있다는 것을 알고 있다[16, 17]. 감독관과 기관이 효과적인 교정조치를 제공하는 것이 훨씬 더 어렵다.

Medical students and physicians are not accustomed to struggling. Selection into medical school requires high academic ability, and medical students are used to achieving. Consequently, when faced with academic failure, many may experience disproportionate emotional reactions that can exacerbate the problem and limit their ability to adapt quickly and focus on remedial work. In some settings, there may be a significant economic burden of failure (e.g. retaking exams or courses) which is mostly borne by the student [14] or the program[15]. We also know that some learners minimize, externalize, and blame faculty and the institution for their struggles [16, 17], making it even more challenging for supervisors and institutions to provide effective remediation.


고군분투하는 학습자에게는, 모니터링, 상담 및 기타 비용이 많이 드는 교정조치 전략이 필요하며, 이는 프로그램 및 교수진에 큰 부담tax이 될 수 있다. 또한 프로그램의 무결성을 훼손하거나 동료의 경험에 부정적인 영향을 미칠 수 있다[18-20]. 또한, 의료 교육에서 잘 문서화된 'failure to fail'도 문제인데, 왜냐하면 왜냐하면 이로 인해 [유능하다고 볼 수 없는 의사의 전문직 진입을 막아내지 못하여] 의학이 사회와 맺은 사회적 계약에 어긋나기 때문이다.  

the presence of a struggling learner requires increased monitoring, counselling, and other costly remediation strategies, which may tax program and faculty resources. It may also damage the integrity of the program or negatively influence the experience of peers [18–20]. In addition, the well-documented ‘failure to fail’ in medical education is troubling because it challenges the social contract medicine has with society by erring toward keeping marginally competent practitioners in the profession [21–23]. 


고군분투하는 학습자에게 근본적인 문제를 해결하지 않고, 그저 반복적으로 marginal pass를 주는 것이 일반적이다 [16, 24, 25]. 프로그램은 때때로 교정조치에 있어 학습자를 부적절하게 재평가하여 교정조치가 성공적이었는지 확인하지 못했다[26]. 그러나 궁극적으로 의료계는 높은 품질, 안전, 전문적 관리에 대한 사회적 책임을 다하는 학습자를 졸업시킬 책임이 있다[27].

It is common to give struggling learners repeated marginal passes that avoid addressing the underlying problems [16, 24, 25]. Programs sometimes inadequately reassess learners in remediation, failing to ensure remediation was successful [26]. Ultimately, however, the medical profession has a responsibility to ensure that it will graduate learners that fulfil its social responsibility for high quality, safe, professional care [27].


더욱이 훈련생과 미래 환자의 법적 결과에 대해 우려하는 기관[21]은 교정조치 및 보호관찰에 대한 공식적인 정책을 의도적으로 회피할 수 있다[32]. 이러한 현상은 전체 기관 문화에 함께 기여하며, 어려움을 겪고 있는 학습자의 효과적인 식별과 개입을 위한 장벽을 형성하며, 이들 대부분은 곧(또는 이미) 실제 의사가 될 것이다.

Moreover, institutions, concerned about legal consequences from trainees and future patients [21], may intentionally avoid having official policies on remediation and probation [32]. These phenomena, which together contribute to overall institutional culture, create barriers to effective identification of, and intervention with, struggling learners, most of whom will soon be (or are already) practising physicians.


방법

Methods


본 지침은 본 분야에서 장학금을 발행한 4개국에 기반을 둔 의료 교육자 전체의 전문가 의견의 일치에 기초하고 있으며, 의료 교육에서의 교정조치에 관한 문헌을 대상으로 한 검토로 보완되었다.

These guidelines are based on consensus of expert opinion across medical educators based in four countries who have published scholarship in this area, supplemented with a targeted review of the literature on remediation in medical education.




Results (Tab. 2)



Part I. System level/Contextual issues


우리는 ‘[기대를 설정하고 피드백을 제공하며 사려 깊고 지속적인 평가를 제공함으로써] 잠재적으로 발생가능한 많은 문제 상황을 방지할 수 있다’는 스타인어트의 주장에 동의한다[18]. 우리는 학습자들이 일반적으로 고군분투하는 이유는, 부분적으로 교육제도가 실패하게 만들기 때문이라는 것에 주목한다. 우리는 많은 경우에 학습자 투쟁의 근본적인 원인은 인간과 시스템 고장 사이의 인터페이스에서 환자 관리 오류가 발생할 수 있는 방법과 유사한 일련의 학습 컨텍스트에 위치한다고 주장한다[35]. 

We agree with Steinert’s statement: ‘Many potentially difficult situations can be prevented by setting expectations, giving feedback, and providing thoughtful, ongoing evaluation’ [18]. We note that it is common for learners to struggle partly because the educational system has failed them. We assert that, in many cases, the underlying cause of learner struggles is situated in a series of misalignments between them and the learning context, akin to how patient care errors may arise from the interface between human and systems failures [35]. 


예를 들어, 학생이 지식 시험이나 임상실습에 불합격할 때, "특정 시험을 위한 수업"과 같은 손쉬운 해결책을 가지고, 이것을 고립된 사건으로 취급하는 것은 거의 도움이 되지 않는다[7, 17, 36]. 교정조치는 development나 alignment의 부적응maldaptive 패턴을 감지하기 위한 분석에 기초할 때 가장 성공적이다. 교정조치는 대체로 개별 학습자에게 초점을 맞추지만, 이상적으로는 프로그램에 피드백을 주어야 하며, (궁극적으로 프로그램을 개선하여) 더 많은 학습자에게 이익이 되는 조정으로 이어져야 한다.

For example, when a student fails a knowledge exam or a clerkship, it is rarely helpful to treat it as an isolated event addressed by a quick fix, such as teaching to a specific exam [7, 17, 36]. Remediation is most successful when based on an analysis to detect patterns of maladaptive development or alignment. Though remediation work typically focuses on the individual learner, it should also ideally feed back to the program and lead to adjustments that ultimately benefit a larger group of learners.



가이드라인 1. 학습자가 일반적으로 교정조치가 필요하다는 것을 전체 의료 교육 커뮤니티에 광고하십시오. 이 정보는 모든 학습자에게 제공되며 제공됨(임시적)

Guideline 1. Do advertise to the entire medical education community that learners commonly need remediation, which is resourced and available to all learners (tentative)


[교정조치에 대한 예측 가능한 필요성을 개방적으로 인정하는지, 의료교육에서 교정조치의 낙인을 찍는지, 적절하게 자원을 조달하는지의 여부]는 해당 기관의 문화를 반영한다[37]. 의료 교육 프로그램은 전통적으로 교육에 대한 deficit에 기초한 접근방식을 사용해 왔으며, 그 결과 학습자는 부정적인 꼬리표를 피하기 위해 더 깊은 이해보다는 표면 성과에 초점을 맞추도록 유도되었다[38]. 

Whether or not an institution openly acknowledges the predictable need for remediation and works to destigmatize and adequately resource remediation in medical education is a reflection of the culture of that institution [37]. Medical education programs have traditionally used deficit-based approaches to education, which can encourage learners to focus on surface performance rather than deeper understanding to avoid negative labels [38]. 


보다 최근에는 프로그램들이 역량 기반 접근법의 채택을 증가시켰는데, 이 접근방식은 훈련에 소요되는 시간을 강조하지 않고, 역량 획득의 개발적, 어쩌면 시간적으로 변동할 수 있는 성격을 강조한다[39]. 이 모델에서, 대부분의 학생들은 한두 번의 지원은 필요할 수 있다. 

More recently, programs have increased adoption of competency-based approaches, which de-emphasize time spent in training and emphasize the developmental, possibly time-variable, nature of the acquisition of capacities [39]. In this model, many, if not most, students might need support at one time or another [27]. 


실제로, 우리는 현 시대에 모든 의료 전문가들이 필요로 하는 적응력을 개발하기 위해 학습, 자기 계발, 개인 개발, 복원력 구축 및 피드백으로 실천할 수 있는 기회로서 교정조치의 명시적 재구성을 지지하고 있다[27, 40, 41]. 이 목표는 프로그램 리더쉽과 교수진들이 실질적인 방법으로 이 접근법을 구현할 것을 요구한다. 학습자와 ‘교육 동맹’이 형성되는 문화를 채택하는 것은, 결손deficit에 기초한 접근보다는, 그 사람에 대한 무조건적인 긍정적 평가가 있는 문화를 채택하는 것은 성장 마인드를 지원할 수 있다[42-44].

Indeed, we advocate explicitly reframing, and thereby destigmatizing, remediation as a special zone of learning, self-improvement, personal development, resilience building, and an opportunity to practise with feedback, all to develop the adaptive capacity needed by all medical professionals in the current era [27, 40, 41]. This goal requires that program leadership and faculty embody this approach in substantial ways. Adopting a culture in which ‘educational alliances’ are formed with learners, where there is unconditional positive regard for the person rather than taking a deficit-based approach, can support a growth mindset [42–44].


제도 기반의 프로그래밍 방식에서는 교정조치가 정상화normalize된다. 예를 들어, 한 학교는 업무의 만족스러운 완료를 요구하는 투명한 학문적 정책을 수립하고 어려움을 겪고 있는 학생들의 조기 식별과 지원을 촉진할 때 자발적인 교정조치에 참여하는 학생들의 비율을 40%에서 거의 70%로 증가시켰다[45]. 따라서 우리는 교육과정에서 학습자가 교정조치 서비스를 필요로 할 수 있다는 기대를 명시적으로 광고하고, 이러한 서비스에 접근하는 방법을 학습자에게 지시할 것을 강력히 권장한다.

An institutionally-based programmatic approach normalizes remediation. For example, one school increased the percentage of students attending voluntary remediation sessions from 40% to nearly 70% when it instituted a transparent academic policy that required satisfactory completion of tasks and facilitated early identification and support of struggling students [45]. Accordingly, we strongly encourage programs to explicitly advertise an expectation that learners may require remediation services and to direct learners on how to access these services.


가이드라인 2. 학습자의 개선을 유도하는 강력한 피드백 문화를 개발하십시오.(중등도)

Guideline 2. Do develop a robust feedback culture that impels learner improvement (moderate)


강력한 피드백 문화의 중요성은 효과적인 교육의 가장 문서화된 측면 중 하나이다 [34, 4648]. 모든 학습자는 면밀한 관찰, 효과적인 피드백 및 지속적인 형태적 평가로부터 이익을 얻는다[34]. 학습자가 현재 진행 중인 피드백 프로세스에 완전하고 능동적으로 몰입하면 이상적인 의료 행위를 특징짓는 평생 학습에 대한 동기 및 참여가 증가한다 [31, 49]. 어떻게 임상 교사들이 학생들에게 피드백을 제공하도록 지원할 것인가는 여러 해 동안 연구 활동의 초점이었다[50, 51]. 불행히도, 학생들은 지속적으로 그들이 받는 피드백에 불만을 보고한다.

The importance of a robust feedback culture is one of the best-documented aspects of effective education [34, 46–48]. All learners benefit from close observation, effective feedback, and ongoing formative assessment [34]. Immersing learners fully and actively in ongoing feedback processes increases their motivation and engagement in the lifelong learning that characterizes ideal medical practice [31, 49]. Identifying how best to support clinical teachers in delivering feedback to students has been a focus of research activity for many years [50, 51]. Unfortunately, students consistently report dissatisfaction with the feedback they receive [52–54].


멀티소스 피드백은 개선을 위한 권고사항의 영향을 강화한다.

Multisource feedback enhances the impact of recommendations for improvement.


신뢰할 수 있고 대화적이며 학습자 중심적이며 투명한 프로그램 피드백 문화를 확립하는 것은 고군분투하는 학습자가 성능 향상을 달성하고 유지하는 데 특히 중요하다. 이렇게 해야, 의료 교육 프로그램의 모든 구성원이 프로그램의 다른 구성원으로부터 피드백을 주고 받을 것을 기대하고 존중하게 된다.

Establishing a trustworthy, dialogic, learner-focused and transparent programmatic feedback culture [56, 57], where all members of the medical education program are trained to give, receive, expect and respect feedback from all other members of the program, is especially important in helping struggling learners attain and maintain performance improvements.


가이드라인 3. 선발 및 평가 시스템을 원하는 결과 및 졸업 성과에 맞춰 조정(강함)

Guideline 3. Do align selection and assessment systems with desired outcomes and graduate qualities (strong)


앞에서 언급한 바와 같이 교정조치는 개별적인 수준에서 개입하는 것 이상을 포함한다. 세계적으로, 전통적으로 의학 교육에 참여하지 않은 그룹들을 통합하는 것에 대한 관심이 증가하고 있으며, 따라서 전문 교육으로 전환하는 데 도움이 필요할 수도 있다. 학생들의 다양성을 증가시키는 것은 ‘알아서 수영하거나 빠져죽거나’가 아닌 의료 교육에서 지원 문화를 보장하기 위해 선발, 평가 및 지원 시스템을 조정할 필요성을 강조해왔다.

As mentioned earlier, remediation involves more than intervening at an individual level. Globally, there is increasing interest in incorporating groups who have not traditionally participated in medical education and therefore may need help transitioning to professional education. Increasing the diversity of students has highlighted the need to align selection, assessment, and support systems, to ensure a culture of support in medical education rather than one of ‘sink or swim.’


선발은 의료 교육에서 첫 번째, 그리고 아마도 가장 중요한 평가다[58]. 필요한 학문적, 대인관계에 기초하여 지원자를 식별할 수 있는 공정하고 정확한 선발 과정을 개발하는 ‘비인지적’ 기준을 마련하는 것은 쉽지 않다[59, 60]. 이는 ‘좋은 의사’의 역량을 정의하고 이를 성과기반 선발절차의 기초로 사용함으로써 가장 잘 달성될 가능성이 높다[61-63].

Selection is the first, and perhaps most important, assessment in medical education [58]. Developing a fair and accurate selection process capable of identifying applicants based on the necessary academic and interpersonal, ‘noncognitive’ criteria is challenging [59, 60]. This is likely best achieved by defining the competencies of a ‘good doctor’ and using them as the basis of an outcome-based selection procedure [61–63].


이후의 모든 평가, 커리큘럼 및 가르침은 높은 수준의 공정성, 신뢰성 및 타당성을 포함해야 하며, 졸업생에게 기대하는 지식, 태도 및 행동과 이상적으로 일치해야 하며, 궁극적으로 실천하는 임상의[64, 65]

All subsequent assessments, curricula and teaching must incorporate high degrees of fairness, reliability, and validity, and should ideally align with the desired knowledge, attitudes, and behaviours expected from graduates, and ultimately practising clinicians [64, 65].


가이드라인 4. 재교육의 필요성을 줄일 수 있는 전략 수립(강함)

Guideline 4. Do construct strategies aimed at averting the need for remediation (strong)


교정조치의 필요성을 잠재적으로 방지할 수 있는 두 가지 특정 전략에 대한 강력한 증거가 있다: 인출 연습과 서포트 그룹.

there is strong evidence for two specific strategies that can potentially prevent the need for remediation: retrieval rehearsal and support groups.


자주 퀴즈를 내거나 리허설을 하면 지식 시험 성적이 향상된다[66, 67]. 한 연구는 광범위한 환경에서 지식을 보유하는 것에 대한 인출 연습을 뒷받침하는 강력한 증거[68-70] 외에, 강의 전후에 객관식 질문을 통해 시험을 치른 레지던트들이 이비인후과학 시험에서 그들의 성과를 향상시켰다는 것을 보여주었다. [71].

Frequent quizzing, or retrieval rehearsal, improves performance on knowledge exams [66, 67]. In addition to strong evidence in support of retrieval rehearsal on the retention of knowledge from a wide range of settings [68–70], one study showed that residents who were tested with multiple choice questions before and after didactic lectures improved their performance on an otolaryngology in-training examination. [71].


암묵적 커리큘럼에 의해 육성된 많은 스트레스 요인은 향후 교정조치의 필요성에 영향을 미칠 수 있다. [특히 성적에 대한 기준과 기대가 주관적이고 자의적이고 기발하게 보이는] 임상실습 환경에서, 학생들은 끊임없이 평가받고 있다고 느끼고 있다고 보고한다[38, 72, 73]. 이러한 스트레스 중 일부를 완화할 수 있는 잠재력이 있는 것으로 보이는 전략은 자기 인식, 자기 관리 및/또는 주의 훈련의 증가를 목표로 하는 세션이 있는 facilitated support group이다[74-76].

Many stressors, particularly those fostered by the implicit curriculum, can influence the need for future remediation. Students report feeling that they are constantly being evaluated, particularly in the setting of clerkships where the criteria and expectations for grades are subjective and appear arbitrary and whimsical [38, 72, 73]. A strategy shown to have potential to alleviate some of that stress is the facilitated support group with sessions aimed at increasing self-awareness, self-care, and/or mindfulness training [74–76].


가이드라인 5 고군분투하는 학습자들 사이의 공통된 패턴을 인식함과 동시에, 고도로 개별화된 재교육 프로세스 운영(중간)

Guideline 5. Do deliver remediation as highly individualized processes while recognizing common patterns across struggling learners(moderate)


학습자마다 어려움은 많은 원인과 징후를 가지고 있기 때문에, (비록 필수적이지만), 단 하나의 프로그램이나 remediator가 효과적인 교정조치를 수행하는 데 필요한 모든 기술을 synthesize할 수는 없다따라서 효과적인 교정조치의 책임은 보완적 전문지식과 제도적 역할을 포함하는 팀에 있다. 특정 학습자를 위해 구성된 재교육 팀은 특정 분야(예: 의사소통 기술, 임상 추론), 학습 전문가, 표준화된 환자 트레이너, 정신 건강 전문가, 연설 코치 등 많은 분야에서 심층적인 전문지식을 갖춘 교원으로 구성될 수 있다[77, 78]. 팀 기반 접근방식은 고도로 맞춤화되고 다원화된 교정조치가 가능하여 고군분투하는 학습자가 성공해야 할 수 있다. 

Because learner difficulties have a multitude of causes and manifestations, a single course/program director or remediator, while essential to guide and coordinate remediation, cannot adequately synthesize all the skills necessary to conduct impactful remediation. Therefore, the responsibility for effective remediation lies with teams that include complementary expertise and institutional roles. Remediation teams, assembled ad hoc for a particular learner, may comprise faculty with deep expertise in particular areas (e.g., communication skills, clinical reasoning), learning specialists, standardized patient trainers, mental health professionals, public speaking coaches, among many others [77, 78]. The team-based approach can allow for the highly customized, multipronged remediation that struggling learners need to succeed.


그러나 의료 학습자의 고군분투(지침 13 참조)에는 집단으로 효율적으로 대처할 수 있는 몇 가지 공통적인 패턴이 있다. 개별화된 경험과 집단 교정조치 경험은 모든 학생들에게 커리큘럼과 시스템 개선에 활용되어야 한다.

However, there are some common patterns to the struggles of medical learners (see Guideline 13) that can be addressed efficiently in groups. Both individualized and group remediation experience should informcurricular and systems improvements for all students.


가이드라인 6. 충분히 주의하여 교정 정보를 '피드 포워드' (중간)

Guideline 6. Do ‘feed-forward’ remediation information, with an abundance of caution (moderate)


학습자 인계는 때로는 '피드 포워드'라고도 한다. 그러나 후속 과정 감독자나 임상 감독자가 고군분투하는 학습자에 대한 정보를 받는 교정조치 관행의 논란의 여지가 있는 영역이다. 

    • 일부 학습자를 포함하는 이 관행의 주요 비판자는 학습자가 부당한 대우를 받는 명시적이든 암시적이든 낙인 및 편견에 시달릴 수 있다는 우려를 우선시한다[79]. 

    • 반면에, 다른 이들은 정보의 연속성이 부족하면 어려움을 겪고 있는 학생들을 조기에 식별하고 효과적으로 개입할 수 있는 교정자의 능력을 방해한다고 주장한다 [25, 29, 80-83]. 

Learner handover, sometimes termed ‘feeding forward’, is a controversial area of remediation practice where subsequent course directors or clinical supervisors receive information about struggling learners. The main detractors of this practice, which include some learners, prioritize their concerns that learners may suffer from stigmatization and bias, explicit or implicit, that result in unfair treatment [79]. On the other hand, others argue that lack of continuity of information hinders the early identification of struggling students and the remediators’ ability to intervene effectively [25, 29, 80–83]. 


학습자 인계에 대한 접근방식은 매우 다양해 보인다. 예를 들어, 미국 학교의 약 절반은 그들이 이 관행을 하고 있다고 주장하며, 많은 학교들은 이 문제에 대한 공식적인 정책이 없다[84]. 학습자 인계에 대한 프라이버시 우려가 제기될 수 있지만, 일부 환경에서는, 교육적 이해관계가 합법적인 대학 관계자들이 명시적인 학생 동의 없이 그러한 활동에 합법적으로 참여할 수 있다[85-87].

The approach to learner handover appears to be highly variable. For example, approximately half of US schools claim that they do (or don’t) engage in the practice, and many schools lack a formal policy on this issue [84]. Though privacy concerns about learner handovers may arise, in some settings, university officials with legitimate educational interests may legally engage in such activities without explicit student consent [85–87].


고군분투하는 학습자를 교육적 목적으로 인계하는 것에 대해서, 잠재적인 해악과 편익에 대한 증거가 있어, 그렇게 하는 것에 대한 판단을 복잡하게 만든다. 대부분 비의료적 환경에서 학습자 인도를 평가하는 최근의 범위 검토에서는 성과에 대한 사전 정보가 후속 등급에 편중되며 부정적인 사전 정보가 긍정적인 사전 정보보다 더 큰 영향을 미칠 수 있다는 일부 증거가 제시된다[88]. 그러나 정보를 공유하기 위해 특정 성능 표준을 사용하면 후속 판단의 편견을 완화할 수 있다[89]. 우리가 확인할 수 있는 한, 교육적인 목적을 위해 고군분투하는 학습자에 대한 정보를 공유하는 것에 반대하는 법적 사례는 미국에서 제기되지 않았다.

There is evidence for both potential harms and benefits of educational handovers about struggling learners, making the judgment about doing so complex. A recent scoping review evaluating learner handovers in a wide variety of mostly nonmedical settings, suggests that prior information about performance biases subsequent ratings, with some evidence that negative prior information may exert a larger effect than positive prior information [88]. However, using specific performance standards to share information may mitigate bias in subsequent judgments [89]. As far as we have been able to ascertain, there has been no legal case raised in the US against sharing information about a struggling learner for educational purposes.


사전 커리큘럼의 프로그램 리더들이 학생에 대한 정보를 후속 모듈 리더에게 전달할 때, 그것은 고군분투하는 학생들을 식별하는 데 도움이 되며, 학생 실패에 대한 책임을 분산시킴으로써 'failure to fail'을 줄이고, 일부 학생에 대한 우려를 감소시키며, 전문성 문제의 탐지를 증가시킨다[24]. 마지막으로, 단순히 위험에 처한 학생에 대한 정보를 공유하는 것(예: 저소득층 배경)은 고군분투하는 학습자에게 더 많은 자원을 제공하고 성적을 향상시켰다[90].

when program leaders of a pre-clerkship curriculum feed-forward information about students to the subsequent module leader, it helps identify struggling students, reduces ‘failure to fail’ by distributing responsibility for failing a student, reduces concerns about some students, and increases the detection of professionalism problems [24]. Finally, simply sharing information about students at risk (e.g. from low-income backgrounds) resulted in more resources for struggling learners and improved grades [90].


의료전문직의 사회적 계약에 따르자면, 우리는 학습자 인계는 대부분의 경우 정당화될 수 있는 관행이라고 믿는다. 따라서 우리는 프로그램이 이러한 관행을 다음과 같은 강력한 경고와 함께 공식적으로 제도화할 것을 권고한다. 

    • 학생의 지식에 대해서 인계하는 것이며, 사생활에 대해서 민감성을 갖는다.

    • 효과적인 교정조치 전략으로 이어질 가능성이 높은 특정 성능 표준에 근거한 low-inference 정보로 구성된다. 

    • 교정조치 목표를 지원할 수 있는 다른 교직원들과만 공유한다(지침 24 참조).

We believe that the learner handover is a practice which is in most cases justified by our profession’s social contract. We therefore recommend that programs formally institutionalize this practice with strong caveats: that it occurs with the student’s knowledge and sensitivity to the student’s privacy, consists of low-inference information based in specific performance standards that are likely to lead to an effective remediation strategy, and is shared only with other members of the faculty who can support the remediation goals (see Guideline 24).


가이드라인 7. 최전선 교육자에 대한 교수진 개발 및 가시적 지원 제공, 고군분투하는 학습자의 조기 식별, 효과적인 개입 및 적절한 의뢰 (임시적)

Guideline 7. Do provide faculty development and tangible support for frontline educators in early identification of, effective interventions for, and appropriate referral of struggling learners (tentative)


교수 remediator들은 일반적으로 교정조치 수행 능력에 대한 신뢰도가 낮다[91]. 특히 전문직업성에 대한 교정에 대해 그렇다[92]. 많은 교수진들은 무엇이 허용되고 무엇이 표준에 부합되지 않는지 확인하는 데 대해 확신하지 못하는 반면, 더 경험이 많은 교수진들은 더 효과적으로 교정할 수 있을 것이다 [93, 94].

Faculty remediators generally have low confidence in their ability to conduct remediation [91], particularly in professionalism[92]. Many faculty are unsure about identifying what is permissible and what does not meet the standard [22],while more experienced faculty likely remediate more effectively [93, 94].


교정조치는 대부분의 교직원에게 할당되거나, 교수들이 예상하는 것보다 훨씬 더 많은 시간, 전문지식 및 자원을 필요로 한다[95, 96]. 한 연구는 효율성과 조직력을 다루는 데 필요한 교수 시간의 수를 고군분투하는 거주자당 25-75시간으로 정했다[13]. 우리는 교정조치 참여가 자발적으로만 이루어질 수 없으며, 적절한 보수를 받는 고도로 숙련된 사람들에 의해 이루어져야 한다고 믿는다.

Remediation requires much more time, expertise and resources than most faculty allocate or expect [95, 96]. One study placed the number of faculty hours needed to address efficiency and organizational skills at 25–75hours per struggling resident [13]. We believe that remediation cannot be done solely on a voluntary basis and should be done by highly experienced people who are remunerated adequately.


교정조치와 관련한 교수개발은 개별적으로 그리고 제도적으로 초점을 맞춘 역량 구축 프로세스를 필요로 한다. 교정 작업에 특정한 역량, 교사 속성, 학습 이론 및 교육 전략의 집합이 제안되었다[97]. 교정 작업에 특정한 역량, 교사 속성, 학습 이론 및 교육 전략의 집합이 제안되었다[97]. 특히, 효과적인 교직원 교정자들은 다음을 할 수 있어야 한다.

    • 모든 역량에 걸쳐 학습자의 성과를 판단한다. 

    • 촉진 기술을 개발한다. 

    • 효과적인 교정 작업에 부합하는 정서지능, 용기 및 태도를 배양한다. 

우리는 특정 영역의 전문성 개발을 위하여, 선택적이고 의욕적인 교육자들의 실천공동체를 육성하기 위한 프로그램을 추천한다.

Faculty development for remediation requires both individually and institutionally focused capacity building processes. A set of specific competencies, attributes of teachers, theories of learning, and teaching strategies specific to remediation work have been proposed [97]. In particular, effective faculty remediators must be able to 

    • judge the performance of medical learners across a full range of competencies, 

    • develop facilitation skills, and 

    • cultivate emotional intelligence, courage, and attitudes consistent with effective remediation work. 

We recommend programs to build faculty development processes that nurture a community of practice of select, highly motivated educators that develop specialized domains of expertise.



가이드라인 8. [교정 프로세스를 수행하는 개인]과 [교정 결과를 결정하는 개인]을 분리한다.(임시적)

Guideline 8. Do separate the individuals conducting the remediation process from those who determine the outcome of remediation (tentative)


의학 교육에서 진급이나 제적 판단은 복잡하고 매우 중요한 것이다. 이상적으로, 경험 있는 교직원은 명시된 기대치에 대해 학습자의 성과를 신중하게 검토한 후 이러한 결정을 냉정하게 한다. 항상, 가용한 데이터에 상당한 불확실성이 존재한다.

Medical education promotion or dismissal judgments are complex and highly consequential. Ideally, experienced faculty make these decisions dispassionately, after careful contextual review of the learner’s performance against stated expectations. Invariably, significant uncertainty exists in the available data.


재교육자는 신뢰, 기밀성 및 경계 제한을 확립하기 위해 고군분투하는 학습자와 개인적으로 협력해야 한다[37, 41]. 따라서 본질적인 이해 상충을 피하고 방어 가능한 판단을 하기 위해, 연습생과 친밀한 교정조치를 수행하는 사람들은 최종 판결 결정을 내리는 동일한 사람이 되어서는 안 된다[37, 98]. 그러나 필요한 경험을 가진 교직원이 거의 없는 작은 기관에서는 난관이 될 수 있다.

Remediators must personally engage with the struggling learner in order to establish trust, confidentiality, and boundary limits [37, 41]. Therefore, to avoid inherent conflicts of interest and make defensible judgments, those conducting the intimate remediation with the trainee must not be the same people who make the final adjudication decisions [37, 98]. This can be a challenge in small programs with few faculty members with the necessary experience.


가이드라인 9. 적절한 과정을 보장하고, 개별 학생의 투쟁에 대한 공감을 사회에 대한 의료진의 책임과 균형을 유지하십시오(중등도).

Guideline 9. Do ensure due process, balancing empathy for individual students’ struggles with the medical profession’s responsibility to society (moderate)


학습자, 특히 도움을 가장 필요로 하는 일부 학습자들은 일반적으로 자신을 노출하는 것을 좋아하지 않으며 아마도 부당하게 'struggling'으로 분류되는 것을 두려워할 수 있다. 당황한 학습자들에게는, 개인의 프라이버시가 보호된다는 것을 아는 것이 도움이 될 수 있다[6, 83, 99]. 과정은 공정하고 기밀이어야 하며 학습자가 가능한 한 프로세스와 해고를 포함한 잠재적 결과에 대해 잘 알고 있어야 한다는 점에서 정보에 입각한 동의를 포함해야 한다. 

Learners, particularly some who most need help, commonly do not like to expose themselves and may fear they have been labelled, perhaps unfairly, as ‘struggling’. It can be helpful for the embarrassed learner to know that any individual’s privacy will be protected [6, 83, 99]. The process must be fair and confidential and include informed consent, in that the learner should know as much about the processes and potential outcomes, including dismissal, as possible. 


제도적 정책은 다음을 뒷받침해야 한다. 

    • 의사 결정과 교정조치의 이유를 기술하는 팀 구성원 간의 신중한 문서화 및 커뮤니케이션 

    • 또한 개별화된 교정조치 계획(목표, 교육 전략 및 평가 포함)과 진행될 일의 순서

    • 각 교정조치 영역, 보고 구조, 시간 프레임 및 의사결정을 책임지는 사람[22]. 

Institutional policies must support 

    • careful documentation and communication among team members delineating the decision and the reasons for remediation, 

    • a written individualized remediation plan (with goals, instructional strategies, and assessments) as well as the sequence of events, and 

    • who is responsible for each remediation area, reporting structure, time frame, and decision making [22]. 

Supporting data가 핵심이다. 여기에는 개입 계획 및 학습 계약, 관찰된 결과 및 학습자 및 동료와의 지속적인 토론 요약을 포함한다[37]. 개별 연습생에게 공정한 과정을 보장해야 할 책임이 있지만, 의료 교육이 유능한 의사를 배출하는 사회와의 계약을 이행하는 것도 마찬가지로 중요하다[37, 98].

Supporting data are key, including the intervention plan and learning contract, observed outcomes, and ongoing summaries of discussions with learners and colleagues [37]. While there is a responsibility to ensure fair process for the individual trainee, it is equally important that medical education fulfils its contract with society to produce competent physicians [37, 98].


가이드라인 10. 의료 교육을 선택하지 않거나 완료할 수 없는 자에 대한 동정적 대안 경로를 만들 것(임시적)

Guideline 10. Do create compassionate alternative pathways for those who do not choose to or cannot complete medical training (tentative)


대부분의 학생들이 입학한 모든 학습자가 자신이 시작한 보건 전문 프로그램을 졸업할 수 있거나 졸업해야 하는 것은 아니라는 것에 동의하지만, 이러한 학습이 교정조치 정책 및 관행에 어떻게 영향을 주고 어떻게 영향을 미치는지에 있어 지역적 차이가 크다.

While most would agree that not every learner who is admitted can, or should, graduate from the health profession program they start, there is great regional variation in how this manifests and impacts remediation policy and practice.


대체 진로에 대한 실행 가능한 옵션에 대한 카운셀링을 개발하여 모든 의료 훈련생이 이용할 수 있도록 해야 한다. [의과대학에 입학하는 많은 사람들이 졸업을 하지 못하는 나라에서 행해지는 대체 경로에 대한 연구]는 다른 나라에도 정책개발에 도움이 될 것이다[100, 101].

Counselling on viable options for alternative career paths must be developed and made available to all medical trainees. Studies of alternate pathways taken in countries where many who enter medical school do not finish would inform the development of such policies elsewhere [100, 101].


제2부. 재교육 적용 프로세스

Part II. The remediation process


위의 시스템 수준 지침은 매우 중요하지만, 궁극적으로 교정조치 프로세스는 어려움을 겪고 있는 특정 학습자의 요구에 따라 매우 개별화된다. 재교육이 효과적이려면 

  • 학습자를 식별해야 한다. 

  • 문제 영역이 명확해야 한다

  • 근본적인 원인 또는 설명을 탐구하고 이해해야 한다

  • 유연한 교정조치 개입을 만들고 시행해야 한다. 

  • 진척도를 평가해야 한다.

While the systems-level guidelines above are critically important, ultimately the remediation process is highly individualized to the needs of the particular struggling learner. For remediation to be effective, 

  • the learner must be identified; 

  • the areas of struggle clarified; 

  • underlying causes or explanations explored and understood [18]; 

  • a flexible remediation intervention crafted [3, 90, 102, 103] and implemented; and 

  • progress assessed. 


교정조치에 대한 책임은 과목 책임교수나 또는 프로그램 책임자에게서 시작한다. 설명과 개입의 작업은 대부분 remediator-learner dyad 내에서 수행된다. 마지막으로, 책임은 과정 또는 프로그램 책임자에게 돌아가 결과를 평가한다. 궁극적으로는 처분 판단이 필요하다(지침 8 참조).

Responsibility for remediation starts with course or program directors. The work of the clarification and intervention is mostly conducted within the remediator-struggling learner dyad. Finally, the responsibility returns to course or program directors for assessment of outcome. Ultimately a disposition judgment needs to be made (see Guideline 8).


뛰어난 교정조치 대응의 중심 요소는 숙련된 피드백을 통해 결함을 직접 해결하는 적절하고 달성 가능한 개입 또는 학습 계획의 수립이다[34]. 이것은 종종 임상 환경에서는 직접 관찰에 기초한다[104]. 그러나 어려움을 겪고 있는 개별 학습자를 위한 교정조치 계획은 결코 그것만 혼자서 존재하지 않는다. 앞서 언급한 바와 같이 교정조치는 교육과정의 다른 학생들에게도 정서적 영향과 자원적 비용을 유발한다. 

The centrepiece of excellent remediation responses is establishment of an appropriate, achievable intervention or learning plan that directly addresses the deficiencies via skilled feedback [34], often based on direct observation in clinical settings [104]. However, remediation plans for individual struggling learners never exist in isolation. As previously mentioned, remediation exerts emotional impacts on and resource costs to other individuals in the program. 


예를 들어, 한 학습자에 대한 교정조치 개입은 특히 고군분투하는 학습자의 교정조치 활동에 필요한 시간을 충당하기 위해 추가 의무를 부과해야 하는 경우에, 동료들에 의해 부당한 특별 대우로 인식될 수 있다. 우리는 프로그램 리더쉽이 고군분투하는 학습자의 프라이버시에 대한 존중을 유지하면서, 또래들에게 명확하고, 지지적이며, 공감할 수 있는 예상 지침을 제공할 것을 권고한다.

For example, remediation interventions for one learner may be perceived by peers as unfair special treatment, especially if it requires those peers to assume extra duties to cover the time needed for the struggling learner’s remediation activities. We recommend that program leadership provides clear, supportive, empathic anticipatory guidance to peers of struggling learners, while maintaining respect for the remediating learner’s privacy.


가이드라인 11. 재교육 적용의 필요성을 조기에 감지(중등도)

Guideline 11. Do aim to detect a need for remediation early (moderate)


많은 역량 영역에서, 어려움을 겪고 있는 학습자의 조기 식별은 교정조치의 성공을 극대화할 수 있다. 지식 결핍의 경우, 의과대학의 전임상실습 단계의 어떤 평가이든, struggle한 경우는 나중의 저조한 성과를 예측한다 [22, 105-107]. 

Early identification of learners who struggle in many competency areas can maximize the success of remediation interventions. For knowledge deficits, early struggle on any assessment in the pre-clerkship phase of medical school predicts later underperformance [22, 105–107]. 


영국의 한 의과대학에서 고군분투하는 학생들에 대한 분석은 시험 수행, 비전문적 행동, 건강 문제, 사회 문제 및 필요한 예방접종을 놓치는 것을 포함한 예측 변수의 조합이 전임상실습 단계에서 교정조치의 필요성을 증가시킬 수 있다고 제안했다[108]. 또 다른 영국의 의과대학에서는, 의과대학 시작 후 4, 7, 12개월에 고생하는 전임상 학생들의 조기 식별이 일어났을 때, 과거 통제와 비교해서 더 많은 학생들이 지원 서비스에 참여했고, 일대일 교정 서비스에 종사하는 학생들은 점원 전 연구를 성공적으로 완료할 가능성이 더 높았다[45].

Analysis of struggling students at one UK medical school suggested that a combination of predictors, including performance on examinations, unprofessional behaviour, health problems, social problems, and missed required vaccinations, may augur the need for remediation in the pre-clerkship phase [108]. At another UK medical school, when early identification of struggling preclerkship students occurred at 4, 7, and 12 months after starting, more students participated in supportive services, compared with historical controls, and those engaging in one-on-one remediation services were more likely to successfully complete pre-clerkship studies [45].


임상실습시기에 고군분투하는 학생들을 조기에 식별하는 데 영향을 미치는 매개변수를 규정하는 문헌도 있다. 전임상시기의 지식과 초기 임상 수행능력은 영국[97], 네덜란드[105] 및 아랍에미리트[109]의 의료 학교에서 worplace 기분 임상 성과를 예측한다. 낮은 임상실습 점수와 의사소통 기술 또는 전문성에 대한 학생의 발전 부족은 foundational clekrship 종료 시 주어지는 높은 수준의 임상 기술 검사의 환자-공급자 상호작용 부분의 실패를 예측한다[110]. 재교육에 refer된 학생들은 인턴쉽에서 낮은 점수를 받을 가능성이 높았고 USMLE 3단계 [111]에 불합격할 가능성이 더 높았다. 게라시오는 이전에 대인관계 기술 결손이 확인된 3명의 의대생들이 어떤 레지던트 프로그램과 일치하지 않았기 때문에 그들의 의료 훈련을 계속할 수 없었다고 보고했다[3].

There is some literature that defines parameters that influence early identification of struggling students in clerkships. Pre-clerkship knowledge and early clinical performance predict workplace-based clinical performance in medical schools in the UK [97], the Netherlands [105],and United Arab Emirates[109]. Low clerkship ratings and lack of student progress on communication skills or professionalism concerns predict failure on the patient-provider interaction portion of a high-stakes clinical skills examination given at the end of foundational clerkships [110]. Students referred for remediation after their internal medicine clerkship were more likely to receive poor ratings in internship and fail USMLE Step 3 [111]. Guerrasio reported that three medical students with previously identified interpersonal skills deficits did not match into any residency program and therefore could not continue their medical training [3].


프로페셔널리즘의 실수는 의과대학에서 미래에 발생할 struggle을 예측하며, 아마도 실제로는 그 이상일 것이다. Papadakis [112]는 의대 첫 2년 동안 낮은 MCAT 점수(예전 의대)와 낮은 성적은 후속 징계 조치의 7%의 위험을 수반하지만, 같은 기간의 비전문적 행동의 식별은 이 위험을 26%로 증가시킨다는 것을 보여주었다. [전임상실습 교육과정에서는 3회 이상의 출석 요구 세션의 무단결근 및 부정적 동료 평가]와 [임상실습 기간의 비전문적 행위]와 관련이 있다[113]. 

Professionalism lapses predict future struggles in medical school and probably much more. Papadakis [112] showed that while low MCAT scores (pre-medical school) and low grades during the first 2 years of medical school carry a 7% risk of subsequent disciplinary action as practising physicians, identification of unprofessional behaviour in that same period increases this risk to 26%. In a pre-clerkship curriculum, three or more unexcused absences from attendance required sessions and negative peer assessment correlate with unprofessional conduct during clinical years [113]. 


성격 척도는 학업적 struggle을 예측할 수 있는 힘이 거의 없는 것처럼 보이지만 [114, 115] 행동과 성격 사이에는 연관성이 있을 수 있다. 의과 대학 시절 비전문적 행동을 보인 의사는 캘리포니아 심리학 자료의 6가지 척도 중 4가지에서 낮은 점수를 받았다[116]. 마지막으로, 불충분한 전문직업성은 임상 기반 학습자나 개업의가 미국 한 기관의 공식적인 보호 관찰 상태에 배치되는 통계적으로 중요한 예측 변수였다[3].

While personality measures seem to have little power to predict academic struggles [114, 115], there may be an association between behaviour and personality. Physicians who demonstrated unprofessional behaviour during medical school scored lower on four out of six scales of the California Psychological Inventory [116]. Finally, poor professionalism was the only statistically significant predictor for placement of clinically-based learners or practitioners on official probationary status at one US institution [3].


이러한 영역에서 성능이 떨어지는 학습자에게 조기에 개입하기 위하여, 그리고 학습자를 'struggling'이라고 조기 낙인찍을 때 나타날 수 있는 부정적인 결과를 완화하기 위해 최선의 접근법을 식별하기 위해서는 더 많은 연구가 필요하다(가이드라인 25).

However, more work must identify the best approaches to intervene early with underperforming learners in these domains and to mitigate the potential negative consequences of early labelling of a learner as ‘struggling’. (Guideline 25).


가이드라인 12. 사례 컨텐츠 전반에 걸쳐 여러 소스에서 관련 데이터를 수집하십시오(강함).

Guideline 12. Do collect relevant data from multiple sources across case content (strong)


이상적으로, 다중 소스 피드백은 단일 관측 도구 또는 비공식 작업 공간 기반 관찰보다 정확한 식별과 효과적인 교정조치가 용이하다[117]. 그러나 [복수의 증거를 축적하기 위해 기다리는 것]은 [고군분투하는 학습자의 식별 지연의 위험]과 균형을 이루어야 한다. 일단 고군분투하는 학습자가, 대개 객관적인 측정(예: 불합격 시험)의 결과로 확인되거나, 학습자가 예상된 능력을 입증하지 못하고 있다는 임상 교사의 우려가 확인되면, 추가 성과 데이터를 검토하는 것이 필수적이다. 

Ideally, multisource feedback facilitates accurate identification and effective remediation more than a single-rater tool or informal workplace-based observation [117]. However, waiting to accumulate multiple pieces of evidence must be balanced against the risk of delayed identification of the struggling learner. Once a struggling learner is identified, usually as a result of an objective measure (for example, a failed exam) or a clinical teacher’s concern that a learner is not demonstrating the expected competency, it is imperative to review additional performance data. 


이 검토는 암묵적 편견의 잠재력에 대한 인식을 갖고 수행되어야 하며 [118] 임상 역량이 사례 특이성에 의해 크게 영향을 받으므로 단일 사례에 기초하여 결정되어서는 안 된다는 사실[119] 따라서 가능한 경우 하나 이상의 임상 영역에 걸쳐 둘 이상의 상황(예: 병원, 보행 클리닉)에서 복수의 직접 관찰을 권고한다. 그것은 또한 교정자가 퍼포먼스 패턴을 평가하기 위해 학습자의 학업 기록에 접근할 수 있는 경우에 도움이 될 수 있다.

This review must be done with awareness of potential of implicit bias [118]and the fact that clinical competence is greatly impacted by case specificity and should therefore not be determined based on a single case [119]. Accordingly, when possible, we recommend multiple direct observations in more than one context (e.g. hospital, ambulatory clinic) across more than one clinical domain. It can also help if remediators have access to the academic records of the learner in order to assess for performance patterns.


가이드라인 13. 교육 또는 직장 문제를 넘어서는 학습자 struggle의 여러 가지 원인을 탐구하십시오(강함).

Guideline 13. Do explore multiple causes of learner struggle beyond educational or workplace issues (strong)


비학업적 요인들은 일반적으로 학문적 struggle에 기여하거나 그 결과로서 나타난다. 여기에는 신체적(신규 의학 조건) 및 정신 건강 문제(정신적 질환, 성격 장애, 약물 남용 포함)와 이전에 진단되지 않은 학습 장애가 포함된다[78, 108]. 분명히, 젊은 성인들은 의료 훈련의 중요한 변종과 제약에 대처하는 법을 배우면서 가족과 재정적인 문제를 다루기, 문화와 공동체의 기대를 탐색하기, 계층 구조, 그리고 모든 것을 포함한 다른 스트레스 요인들을 경험할 위험에 처해 있다. 특히, 후배 의료 학습자들은 혼란스럽고 잘 조직되지 않은 의료 제공 시스템으로 자신의 고통과 좌절감을 관리하고, 잘 인식되거나 이해되지 않는 학습 환경[120], 윤리적 딜레마와의 인지 불협화음 [121, 122] 및 열악한 롤모델링 [94]에 적응해야 한다. 또한 여러 도메인에 걸친 평가를 통해서 기술 부족과 심각성 문제 사이에 overlap이 있는지 결정할 수 있다 [123]. 스트레스에 대한 반응은 적응적이거나 부적응적일 수 있기 때문에 [124, 125] 이러한 스트레스 요인에 직면하는 일부 학습자만이 학문적 struggle에 빠지게 된다.

It is common that non-academic factors contribute to or are a consequence of academic struggles. These include physical (new-onset medical conditions) and mental health issues (including psychiatric illness, personality disorders, substance abuse) and previously undiagnosed learning disabilities [78, 108]. Obviously, young adults are at risk of experiencing other stressors including juggling family and financial challenges, navigating cultural and community expectations, dealing with hierarchy, all the while learning to deal with the significant strains and constraints of medical training. In particular, junior medical learners must learn to manage their distress about and frustration with a chaotic and poorly organized healthcare delivery system and adjust to poorly perceived or understood learning environments [120], cognitive dissonance with ethical dilemmas [121, 122] and poor role modelling [94]. Assessment across multiple domains can also determine the overlap between skill deficits and attitudinal problems [123]. Because responses to stress can be adaptive or maladaptive [124, 125], only some learners facing these stressors may present with academic struggles.


국제 의료 졸업생, URM 훈련생, 기존에 fail을 경험한 연습생은 교정조치가 필요한 것으로 식별될 가능성이 더 높다[126]. 의학적으로 잘 표현되지 않은 소수 집단 학생들은 차별의 결과로 인한 스트레스의 위험에 처할 가능성이 있다. 의학의 저조한 소수민족 학생들은 불쾌하거나 해로운 심리적인 영향을 초래하는 명백한 차별뿐만 아니라 미미한 범죄의 정기적인 경험을 보고한다 [127 비백인 후보자들은 영국의 백인 후보들에 관해 충분히 수행하지 못했다[128]. 미국에서는 나이가 많거나, 아이를 갖거나, 미국 원주민이나 태평양 섬사람으로 자칭하는 의대생들이 중퇴하는 ‘serious thought’를 더 자주 한다. 이러한 집단들은 또한 중요한 정신사회적 스트레스 요인이 있는 학문적 문제의 더 큰 위험에 처해 있다[129]. 유사한 패턴은 다른 맥락에서 볼 수 있다[130].

International medical graduates, underrepresented minority trainees, older trainees, and trainees with prior failures are more likely to be identified as needing remediation [126]. Students from underrepresented minority groups in medicine are potentially at risk of stress from the consequences of discrimination. Underrepresented minority students in medicine report regular experiences of microaggressions as well as overt discrimination leading to unpleasant or harmful psychological impact [127]. Non-white candidates underperformed with respect to white candidates in the UK [128]. In the US, medical students who are older, have a child, or self-identify as Native American or Pacific Islander have more frequent ‘serious thoughts’ of dropping out. These groups are also at greater risk of academic problems with significant psychosocial stressors [129]. Similar patterns are seen in other contexts [130].


실제 능력과 무관하게, URM 학습자들은, 그들이 일반적으로 가지고 있는 부정적인 고정관념을 확인하는 것에 대해 불안해 할 때, 학업적 환경에서 저조한 성적을 낼 위험이 있다. 고정관념적 위협[131]이라고 불리는 이 현상이 의학 교육에서 작용한다는 것은 우리의 경험이었다. 고군분투하는 학습자 문제를 해결하기 위한 전략의 사전 검토에서, Steinert는 이 역동성에 대해 명시적으로 '누가 문제인가?'라고 질문한다[18]. 다양한 시스템 수준과 대인관계 개입은 고정관념을 부주의하게 강화하지 않기 위해 이러한 동적 평가와 구조 조정 평가에 대한 인식을 높이는 것을 포함하여 고정관념 위협의 영향을 감소시킨다. 사회, 제도 및 대인관계 개입이 차별을 감소시킬 때까지 교정자들은 이러한 역학 관계를 계속 알고 있어야 하며, 학생에 대한 지지도를 포함하여 성능 저하의 중요한 근본 원인을 다루는 교정조치 전략을 설계해야 한다[132].

Independent of actual ability, underrepresented minority learners are at additional risk of underperforming in academic settings when they become anxious about confirming commonly held negative stereotypes about them. It has been our experience that this phenomenon, called stereotype threat [131], is operative in medical education. In a prior review of strategies for addressing struggling learners, Steinert speaks to this dynamic by explicitly asking, ‘whose problem is it?’ [18]. A range of systems-level and interpersonal interventions reduce the impact of stereotype threat, including raising awareness of this dynamic and restructuring assessments to avoid inadvertently reinforcing stereotypes. Until societal, institutional, and interpersonal interventions reduce discrimination, remediators must remain aware of these dynamics and design remediation strategies which address the critical underlying causes of underperformance [132], including advocacy for a student.



가이드라인 14. 고군분투하는 학습자에게 선제적으로 개입 - 그들의 이니셔티브에 의존하지 않다(강함)

Guideline 14. Do intervene proactively with struggling learners—do not rely on their initiative (strong)


고군분투하는 학습자가 식별되는 경우에도 조기 개입이 뒤따르지 않을 수 있다 [118]. 학습자가 자신을 과대평가하는 경향이 있어서, 자기 평가가 부정확하다[99, 133]. 특히 교정조치 프로그램에서, 고군분투하는 학습자의 약 7%만이 정확하게 재교육 프로그램에 self-refer했다. 정작 프로그램에 참여한 대다수 학생은 성과에 대한 만성적인 불안감을 가진 성취도가 높은 사람이었다[3]. 학업적으로 약한 학생과 피로를 겪는 학생들은 도움을 구하지 않는 경향이 있기 때문에 [129, 134] 시스템은 이러한 학습자를 식별하고 지원하기 위해 최선을 다해야 하며, 프로그램은 고군분투하는 학습자를 교정조치에 강제할 수 있는 역량, 지원 및 의지를 가지고 있어야 한다[6]. 교정조치에 동의하는 학생들은 거부하는 학생들에 비해서, 장기간에 걸쳐 시험성적을 개선한다는 것을 보여준다 [135].

Even when the struggling learner is identified, early intervention may not follow [118]. Weaker learners inaccurately self-assess, tending to overrate themselves [99, 133]. In remediation programs specifically, only about 7% of struggling learners accurately self-referred to one guidance program; the majority of people in the program were high achievers with chronic anxiety about performance [3]. Academically weaker students and those suffering burnout tend to avoid seeking assistance [129, 134], so the system must do its best to identify and support these learners and the program must have the capacity, support, and willingness to compel struggling learners into remediation [6]. Students who accept remediation demonstrate longer-term improvement in test-taking than those who decline [135].


가이드라인 15. 문제 해결을 위한 연습생에게 집중적인 종단적 튜터링을 실시하도록 함. 연구 기술, 협력적으로 설계된 계획, 빈번한 고품질 피드백 및 개별화된 평가에 중점을 둠(강함)

Guideline 15. Do have trainees in remediation undergo intensive, longitudinal tutoring with emphasis on study skills, collaboratively designed plans, frequent high-quality feedback, and individualized assessment (strong)


대부분의 교정 대상 학생들은 여러 가지 어려움을 겪기 때문에 일반적으로 ‘시험에서 성적을 잘 받게 하기 위한 수업’과 같은 제한된 개입에 응답하지 않는다[3, 7]. 성공적인 개입은 [콘텐츠 개발]과 [자기조절 학습 전략]을 결합하는 전체적인 접근방식에 의존한다. 구체적으로는 그러한 전략은 학습의 인지적 영역과 영향력 있는 영역을 모두 대상으로 하며, 예로서 관련 학술적 내용을 이용한 연구 능력에 초점을 맞춘다[6, 7, 105, 136-138]. 

Most remediating students have multiple challenges and therefore generally do not respond to limited interventions, such as ‘teaching to the test’ [3, 7]. Successful interventions rely on a holistic approach that combines content development and improving self-regulated learning strategies. Specifically, such strategies target both cognitive and affective domains of learning, and focus on study skills using relevant academic content as exemplars [6, 7, 105, 136–138]. 


이러한 성공적인 프로그램의 일반적인 특징 중 하나는 목표의 진척과 성취도를 평가하기 위해 미리 계획된 정기 회의이다. 이 때 고품질의 피드백과 평가를 통해 중간에 과정을 수정할 필요가 있는지 결정하고, 허용 가능한 수준으로 개선이 없을 경우 어떤 결과가 따르는지 설명한다[6, 139, 140]. 의료지식 교정조치의 경우, 진행 중인 소규모 그룹 작업은 하나의 주제 또는 유형의 문제에만 초점을 맞추지 않고, 특정 스터디 세션에서 내용과 유형의 문제를 혼합하는 등의 증거 기반 전략을 사용하여 학습자의 학습 능력을 향상시킬 수 있다(‘지침 4’;[68]),설명하기, 그리고 학생들에게 그들 자신의 객관식 질문을 쓰도록 한다 [6, 7, 105, 137].

One common hallmark of these successful programs incorporates regular pre-arranged meetings to assess progress and achievement of goals, with high-quality feedback and assessments determining the need for mid-course corrections and/or consequences in the absence of acceptable improvement [6, 139, 140]. For medical knowledge remediation, ongoing regular facilitated small group work can enhance learners’ study skills using evidence-based strategies, such as retrieval rehearsal (Guideline 4), mixing content and types of problems in a given study session rather than focusing only on one subject or type of problem (‘interleaved practice’;[68]), generating explanations, and having students write their own multiple-choice questions [6, 7, 105, 137].


데이터에 따르면 종단적 개입 및 후속 조치가 효과적이다. 비의료 환경에서 효과적인 프로그램은 최소 12개의 세션을 포함한다[139]. 임상실습 전 교정조치 개입에서 Winston [6]은 최대 2년간 성공을 보장하기 위해 전체 학기 출석을 의무화할 수 있는 충분한 dose effect를 발견했다. 15개 이상의 세션에 참여한 경우, 10개 이하의 세션만 참여한 경우에 비해서 장기 합격률을 두 배로 높였으며, 이는 다른 관련 연구와 일치하는 통계적으로 유의한 결과였다[30, 104, 107, 1개].37]. 교정조치의 더 긴 지속시간과 더불어 장기 추적은 최적의 결과를 도출한다[141, 142] (지침 18 참조). 

Data support the benefits of longitudinal intervention and follow-up. In non-medical settings, effective programs encompassed at least 12 sessions [139]. In pre-clerkship remediation interventions, Winston [6] found a strong enough dose effect to mandate attendance for a full semester in order to ensure success for up to 2 years: 15 or more sessions doubled the long-term pass rates over 10 or fewer sessions, a statistically significant finding consistent with other relevant studies [30, 104, 107, 137]. In addition to longer duration of remediation, longer-term follow-up leads to optimal outcomes [141, 142] (see also Guideline 18). 


마지막으로, 어려움을 겪고 있는 학습자들과의 교직원의 대면 시간이 증가함에 따라 보호관찰의 확률은 시간당 3.1%, 모든 부정적인 결과는 시간당 2.6% 감소하였다[3]. 물론, 실용적 이유로 교정자는 예상 개선을 위한 시간대를 지정해야 한다[94]. 우리는 시간이 교정조치의 품질의 유일한 구성요소가 아니라는 점을 강조한다(지침 26 참조).

Finally, increased faculty face time with struggling learners decreased the probability of probation (referral to administrative leadership due to unsuccessful remediation) by 3.1%per hour spent, and of all negative outcomes, by 2.6%per hour [3]. Of course, for pragmatic reasons, remediators must specify a time frame for expected improvement [94]. We emphasize that time is not the only component of worth—quality of the remediation interventions matters (see Guideline 26).



가이드라인 16. 자기조절학습에 대한 기술 평가 및 개선(강함)

Guideline 16. Do assess for and improve skills in learning self-regulation(strong)


성취도가 높은 학생들은 동기부여가 증가하며 [143] [어려움을 효과적으로 배우고 대처하는 방법]에 대한 더 많은 인식을 갖는다[144]. 이와는 대조적으로, 연구에 따르면 고군분투하는 학생들을 전형적으로 

    • 자기조학습을 하지 않고

    • 서면 및 임상적 평가 형식에 대한 학습 전략을 부적절하게 선택하며, 

    • 실패에 대처하는 데 부적합한 전략을 사용하는 것으로 기술하고 있다. 

이러한 부적응 전략은 

    • 단순 암기에 의존하는 것, 

    • 이전에 다른 맥락에서 작용했던 이전 전략을 엄격히 고수하는 것, 

    • 실제 지식 습득과 이해의 향상보다 공부에 소비된 시간과 노력을 강조하는 것, 그리고 

    • 실패의 이유를 외부화하는 것을 포함한다[16, 99].

High-achieving students exhibit increased motivation [143] and have more awareness about how to effectively learn and cope with difficulty [144]. In contrast, the literature describes struggling students as typically not engaging in self-regulated learning, making inappropriate choices of learning strategies for written and clinical formats of assessment, and using maladaptive strategies for coping with failure. These maladaptive strategies include relying on rote memorization, adhering rigidly to prior strategies that previously worked in other contexts, emphasizing time and effort spent studying rather than actual knowledge acquisition and improvement of understanding, and externalizing reasons for failure [16, 99].


고군분투하는 학생들에게는 일단 실패에 대한 감정적인 반응이 지나가면, 실패를 정상적인 것(더 나아가서는 반드시 겪는 것이 더 바람직한 것)으로 재구성하는 것이 중요하다. 이렇게 함으로써,

    • 학습 접근방식을 재조정하고,

    • 상호작용의 문제를 다시 검토하고,

    • 성공을 향해 개선된 (학습)기술을 통합 할 수 있다.

In struggling students, once the emotional reaction to failure passes, it is important to reframe failure as a normal, even expected or desirable outcome, in order to allow for readjustment of study approaches, reexamination of interaction challenges, and incorporation of improved techniques toward success. 


그러나 일부 학습자는 비난을 외부화하는데, 이는 다음과 같이 나타난다. 

    • 피드백을 처리할 수 없었다.

    • 커리큘럼 및 평가 방법이 문제였다.

    • 프로그램에서 더 일찍 개입하지 않은 것이 불만족이다(따라서 효과적으로 가르치겠다는 암묵적 계약을 이행하지 못한 책임이 있음) 

    • (학습문제학생의 관리는) 치안 유지로 간주되기 때문에 공식적인 지원을 구하지 못했다

However, some learners externalize blame, which may manifest as an inability to process feedback, criticism of curriculum and assessment methods, dissatisfaction with programs that did not intervene earlier (and therefore are accountable for not upholding their implicit contract to teach effectively), and failure to seek formal support because it is viewed as policing. 


고군분투하는 학습자들이 그들의 곤경을 받아들이면서 종종 모순되는 부정적인 태도들의 범위를 오락가락하는 것은 흔한 일이다. Remediator가 고군분투하는 학습자와 신뢰관계를 구축할 수 있다면, 공감하는 정서적 지도를 제공하면서 현실 점검reality checks을 제공할 수 있다.

It is common for struggling learners to cycle through a range of these often contradictory negative attitudes as they come to terms with their predicament. Remediators who are able to establish a trusting relationship with the struggling learner can provide reality checks while providing empathic emotional guidance.


교정조치는 [교정조치에 대한 학습자의 믿음과 행동의 변화를 관찰하는 렌즈]로서 remediator가 통해서 자기조절학습적 관점을 채택할 때 가장 성공적이다[145]. 처음에 학습자가 부정적이거나 공개적으로 반항적인 태도를 나타내더라도 교정조치에 대한 교정조치 및 비관론과 관련하여 어려움을 겪고 있는 학습자의 자기 효율성에 대해 다루는 것이 중요하다. 교정조치 계획의 공동 설계(예를 들어 증거 기반 연구 전략을 도입하고 학생들이 이를 적용할 과정 자료를 선택하도록 권장)는 학습자 자율성을 뒷받침한다[6]. 학습자는 개인의 성찰과 개선된 성과에 대한 증거를 수집하기 위한 구체적인 전략을 사용하여 자신의 공식적인 교정조치 계획을 개발할 수 있다[146]. 

Remediation is most successful when remediators adopt a self-regulated learning perspective as a lens through which to view variations in learners’ beliefs and behaviours about remediation [145]. It is important to address a struggling learner’s self-efficacy with respect to remediating and pessimism about remediation, even if the learner expresses negative or openly defiant attitudes at first. Collaborative design of the remediation plan (for example, introducing evidence-based study strategies and encouraging students to select the course material to apply them to) supports learner autonomy [6]. Learners can develop their own formal remediation plans with personal reflections and specific strategies to gather evidence of improved performance [146]. 


우리는 위에서 언급한 바와 같이 많은 어려움을 겪고 있는 학습자가 자신의 상황을 받아들이는데 시간이 걸리기 때문에 교육과정에서 교정조치를 시작하기 위해 학습자의 동기에만 의존해서는 안 된다는 것을 반복한다. 그러나, 한 연구는 의무적인 교정조치의 경우에도 참여 학습자가 여전히 높은 동기부여를 가질 수 있다는 것을 보여주었고[7] 이는 인내심, 지지 관계, 시간을 가지고 이러한 학습자가 자기조절능력을 강화하고 진전을 이룰 수 있음을 시사했다.

We reiterate that because it takes many struggling learners time to accept their situation, as mentioned above, programs must not rely solely on learners’ motivations to initiate remediation. However, one study showed that even with mandatory remediation, participating learners can still report high self-motivation [7], suggesting that with patience, a supportive relationship, and time, these learners can strengthen their self-regulation skills and make progress.


경미한 정도의 전문직업적 과실은 흔하다. 우리의 경험상 자기조절을 지원하는 전략은 이러한 경우에 가장 효과적인 교정조치의 주체가 된다. 학습자가 경험 있는 개인이나 전문 위원회와 자신의 행동에 대한 지지적이고 비판단적인 대화에 참여하게 되면 자기반성을 변화시키는 깊고 행동을 유발할 수 있다[147, 148]. 기타 잘 알려진 전문성 교정조치 사례에는 의무적인 정신 건강 평가와 비판적 성찰적 글쓰기 과제가 포함된다[86]. 중요한 것은 전문성 결여가 연속체에서 발생하거나, 유난히 비전문적 행동의 패턴이 있거나, 심각한 성격학적 장애의 증거가 있는 경우, 두드러지게 비전문적 행동이 교정될 가능성이 훨씬 적다는 점이다. 각각의 경우를 개별적으로 고려하는 것이 중요하다[149].

Mild to moderate lapses in professionalism are common. In our experience, strategies that support self-regulation are the mainstay of the most effective remediation in these cases. Engaging learners in supportive, non-judgmental conversations about their behaviour with experienced individuals or a professionalism committee can impel deep and behaviour altering self-reflection [147, 148]. Other well-publicized professionalism remediation practices include mandated mental health evaluation and critical reflection writing assignments [86]. Importantly, it is generally acknowledged that lapses in professionalism occur on a continuum and that markedly egregious unprofessional behaviour is much less likely to be remediable, especially if there is a pattern of unprofessional behaviour and evidence of serious characterological disorder. It is critical to consider each case individually [149].


가이드라인 17. 소규모 그룹에서, 지식과 기술을 전문 조력자와 함께 개선(중등도)

Guideline 17. Do remediate knowledge and skills in small groups with expert facilitators (moderate)


사회 인지 이론은 집단 학습의 효과가 비판적 사고의 담화 및 발전에 기초한다고 주장한다[150, 151]. 의료 교육에서 교육적 설계의 수많은 예는 문제 기반 학습과 팀 기반 학습과 같은 이 이론에 기초한다. 특히 교정조치에 있어서, 어려움을 겪고 있는 학생들은 종종 'unskilled and unaware'고 하며, 자신의 약점을 인식하지 못할 수 있다[133]. 비슷한 어려움을 겪으면서 다른 종류의 대안적 해결책을 가진 다른 사람들을 만나는 것은 집단 정체성과 사회적 규제에 대한 감각을 발전시키는데 도움이 될 수 있으며, 이는 결국 자율규제를 지원할 수 있다[152-154]. 

Social cognitive theory posits that the effectiveness of group learning is based in discourse and development of critical thinking [150, 151]. Numerous examples of instructional designs in medical education are based on this theory, such as problem-based and team-based learning. Particularly in remediation, struggling students are often ‘unskilled and unaware’ [133] and may not recognize their own weaknesses. Seeing others with alternative solutions to similar challenges can help develop a sense of group identity and social regulation, which may in turn support self-regulation [152–154]. 


이러한 집단접근법은 자기 소속에 대한 자부심을 강조하고, 서로를 지지하며, 고립되기보다는 이해감을 느끼면서 오명을 줄이는 데 도움을 줄 수 있다[102, 103]. 추가 편익은 그룹이 피드백을 주고 받는 연습을 할 때 발생한다. 이것은 자기 평가, 피드백, 그리고 어쩌면 자기 조절 학습의 평생 기술을 개발한다. 우리는 소규모 그룹의 인지 기술에 대한 교정조치의 수행 경험이 있지만, 이 전략을 사용한 전문성 교정조치의 지원을 위한 그러한 증거는 없다는 점에 주목한다.

This group approach can help reduce stigma by emphasizing the pride of belonging, supporting each other, and feeling understood rather than isolated [102, 103]. Additional benefit arises when the group practises giving and receiving feedback. This develops lifelong skills of self-assessment, feedback, and possibly self-regulated learning. We note that while there is experience doing remediation for cognitive skills in small groups, there is no such evidence to support professionalism remediation using this strategy.


교정조치가 그룹으로 수행되어야 하는 경우 전문가 교수 촉진자가 매우 중요하다. 소규모 그룹 학습의 숙련된 촉진, 정서적 지원, 명시적 설명 및 높은 품질의 작업에 대한 인정 및 협업 장려는 임상 기술 교정조치뿐만 아니라 강의실 기반 모두에서 성공으로 이끈다[6, 76, 103, 143, 153]. 훈련된 촉진자는 집단 사고groupthink와 토론의 조기종결premature closure를 방지할 수 있는데, 이는 특히 고군분투하는 학생들에게 중요하다[93, 153]. 또한 인지적 갈등과 불일치를 강조하고, 파괴적인 질문을 하고, 지적 호기심을 모델링해야 한다[155, 156]일반적으로 학습자는 학습을 강화하기 위해 감독자가 있는 것을 선호한다.[156] Guidance가 없다면, 학생들은 나쁜 습관을 길러 ‘역량의 착각’을 일으킬 수 있다[157, 158].

Expert faculty facilitation is crucial if remediation is to be done in groups. Skilful facilitation of small group learning, allowing for emotional support, explicit description and recognition of high quality work, and encouraging collaboration leads to success in both classroom-based as well as clinical skills remediation [6, 76, 103, 143, 153]. Trained faculty can prevent groupthink and premature closure of discussion, which is especially important for struggling students [93, 153]. In addition, faculty must highlight cognitive conflict and inconsistency, ask disruptive questions, and model intellectual curiosity [155, 156]. In general, learners prefer supervisors to be present to enhance their learning [156]; without guidance, they can develop bad habits and form ‘illusions of competence’ [157, 158].


가이드라인 18. 업데이트 적용 기간의 예상 종료 후에도 학습자 후속 조치 수행(중간)

Guideline 18. Do follow-up with learners, even after the presumed end of the remediation period (moderate)


그 증거는 많은 (전부는 아니지만) 학습자에게 underperformance는, [고립된 쉽게 해결할 수 있는 문제]가 아니라 [(오랜)시간에 걸친 패턴]이라는 것이다[159]. 여기 관련된 요인은 여러가지이다. 개인은 처음에 의료 교육과 훈련의 요구에 적응하는 데 어려움을 겪을 수 있지만, 궁극적으로 이러한 요구에 적응하거나 또는 그 대안으로 결코 독립적인 능력을 얻지 못한다. 시간을 두고 관찰하는 것만이 말해 줄 것이다. 게다가, 가장 열심히 하는 학생들조차 복잡한 삶을 살고 있고, 학업 성적은 그들의 시간과 에너지에 대한 비학력적인 요구에 따라 변동할 수 있다. 지원 기관 문화는 학습자들이 자기 모니터링을 하고 새로운 도전에 적응하는 데 도움을 구하도록 장려하고, 성취목표에 부족한 경우 사적인 논의에 invite한다. 이러한 (사전) 논의는 학습자와 교수 모두에게 [언제 어떤 유형의 지원이 필요한지] 결정하는 데 도움이 될 수 있다. 전문직업성 향상을 위해서는 학생들이 새로운 태도와 기술을 내실화하도록 하기 위한 장기적인 참여가 필요하다.

The evidence is that for many (but not all) learners, underperformance is a pattern over time rather than an isolated easily resolvable problem [159]. This is likely multifactorial. An individual may initially have difficulty adjusting to the demands of medical education and training but ultimately acclimatize, or alternatively, never gain independent ability to accommodate to these demands. Only observation over time will tell. Additionally, even the most hardy learners have complex lives, and academic performance may fluctuate with non-academic demands on their time and energy. A supportive institutional culture encourages learners to self-monitor and seek help in adjusting to new challenges and invites private discussions about underachievement. These discussions can help both learners and faculty decide when and what type of support is necessary. For professionalism remediation, long-term engagement is needed to ensure that students have internalized new attitudes and skills.



하지말 것

Don’ts


가이드라인 19. 성과에 대한 양적 학문적 지표에만 의존하지 않음(중간)

Guideline 19. Don’t rely solely on quantitative academic markers of performance (moderate)


의대에서의 학업성취도 예측의 가장 좋은 요소는 의대 이전의 학업성취도 이지만, 의대에서의 경험과 성적은 여전히 중요하다. 입학 전 적성 검사와 등급점 평균이 의과대학의 지식 시험에서 약 1/4을 차지하지만 [128, 160-162] 의과대학 내에서 성장과 발전의 여지가 많이 남아 있다. (입학시험에서) 높은 점수를 받은 의대 지원자가 더 나은 의사가 된다는 것을 보여주는 장기 추적 데이터가 거의 없다는 점을 감안할 때, 입학 전 데이터에 기초하여 remedial support를 제공하는 것은 정당화되지 않으며, 일부 학생들에게 오명을 씌울 수 있다. 

The best predictor of academic performance in medical school is academic performance prior to medical school [160]; however, experiences and performance in medical school still matter. Though preadmission aptitude tests and grade-point average account for approximately one-quarter of the variance in knowledge testing in medical school [128, 160–162], much room for growth and development remains within medical school. Given that there are scant long-term follow-up data showing that medical school applicants with higher grades become better physicians, providing remedial support on the basis of pre-application data alone is not justified, and may stigmatize some students. 


한 연구는 표준화된 학술 지표metrics에 대한 성과가 향후 교정조치의 필요성을 예측하지는 않지만, 모호하거나 부정적인 논평 또는 과도한 텍스트 코멘트 길이와 같은 작업장 평가의 비정형적 특성은 교정조치 필요성을 예측했다는 것을 발견했다. 우리는 신흥 연구가 이러한 연구 결과를 뒷받침할 것이라고 믿는다. Holistic한 프로그래밍 방식 포트폴리오 기반 평가 접근법은 구현하기 어렵지만 어느 정도 장래성이 있다[164]. 의학 교육에 대한 다원적 평가 데이터와 역량 또는 결과 기반 프레임워크는 학문적 지도, 승진 및 교정조치 판단의 기초가 될 수 있는 훨씬 풍부하고 포괄적인 데이터 및 의과대학 및 그 이상의 성공 예측에 대한 보다 신뢰할 수 있는 기반을 제공할 가능성이 있다.

One study found that while performance on standardized academic metrics did not predict the need for remediation in the future, atypical characteristics of workplace assessments like ambiguous or negative comments or excessive length of text comments, did [163]. We believe emerging research will support these findings. Holistic programmatic portfolio-based assessment approaches hold some promise, although they are challenging to implement [164]. Multisource assessment data and competency or outcomes-based frameworks for medical education will likely provide much richer and more comprehensive data upon which to base academic coaching, promotion, and remediation judgments and a more reliable basis for the prediction of success in medical school and beyond.


가이드라인 20. 추가 지원 없이 단순히 시간을 더 주거나, 학습자 경험을 반복하거나, 일반적이거나 모호한 조언을 하거나, '테스트에 대한 학습'만 하지 마십시오(강함).

Guideline 20. Don’t merely give more time, repeat the learner experience, give general or vague advice, or just ‘teach to the test’ without additional support (strong)


추가 지원 없이 훈련생을 약간 감속하는 것은 dismissal rate에 큰 영향을 미치지 않는다[165].

Merely decelerating a trainee without additional support does not significantly affect dismissal rates [165].


모름

Don’t knows


가이드라인 21. 교정조치의 장기적인 결과는 무엇인가?

Guideline 21. What are the long-term outcomes of remediation?


우리는 교정 프로그램의 장기적인 결과에 대해 거의 알지 못한다. 우리는 처음에 OSCE에 실패했다가 단기적인 성공을 거둔 표준 교정조치 계획에 참여한 학생들을 위해 한 5년 연구에서는 종적 개선이 없었다는 것을 알고 있다[30]. 주민에 대한 또 다른 사례-통제 연구는 교정 학습자가 결국 평균과 유사한 역량 수준에 도달했지만 더 많은 시험과 더 긴 완료 시간이 필요하다는 것을 보여주었다[95]. 임상수행시험에 실패한 학생들 중에서, Klamen과 Williams는 개선 후 점수의 개선에 주목했다[96]. 프로그램 결과에 대한 이러한 종적 추적의 보다 많은 부분이 개입의 효과를 평가하기 위해 필요하며 [166] 우리는 교정조치를 받은 학생에 대한 장기 모니터링을 강력히 권고한다. 예를 들어 의대나 레지던트에서의 교정조치는 미래에 연습의 어려움을 예측한다는 것을 강조할 수 있다. 또한, 훈련생이 일반적으로 훈련 경로를 따라 한 기관의 맥락에서 다른 환경으로 이동한다는 점을 감안할 때, 그러한 맥락에서 학습자의 진척도를 추적하면 교정조치 관행과 시스템이 기관 고유의 것이며 종적으로 지속되는 정도를 더욱 밝혀줄 수 있다.

We know very little about long-term outcomes of remediation programs. We do know that there was no longitudinal improvement in one 5-year study, for students who initially failed OSCEs and then engaged in a standard remediation plan with short-term success [30]. Another case-control study of residents showed that remediating learners eventually reached competence levels similar to the mean but needed more exams and a longer time for completion [95]. Among students who failed a clinical performance exam, Klamen and Williams noted an improvement in post-remediation scores [96]. More of this longitudinal tracking of program outcomes is necessary to evaluate the efficacy of our interventions [166], and we strongly recommend long-term monitoring of students who have undergone remediation. This kind of prospective, longitudinal follow-up may highlight, for example, that remediation in medical school or residency predicts practice difficulties in the future. Additionally, given that trainees commonly move along the training path from one institutional context to another, tracking learner progress across such contexts may further illuminate the extent to which remediation practices and systems are institution-specific and longitudinally durable.


가이드라인 22. 업데이트 적용의 최적 조합과 지속 시간은?

Guideline 22. What is the optimal blend and duration of remediation?


특히 특정 상황과 어려움에 대해서는 학습자의 교정조치의 완료를 언제 결정해야 할지 모른다. 교정조치의 이유는 특정 학생에 따라 다르며, 보통 결핍 요소는 여러가지이다. 교정조치의 복잡성을 고려할 때 케이스-바이-케이스로 하는 것이 가장 적절하다.

Especially for specific situations and difficulties, we do not know when to determine the completion of a learner’s remediation. Reasons for remediation vary for any given student, and there is rarely a single deficit. Given the complexity of remediation work, it is likely best conducted and assessed on a case-by-case basis.


그렇긴 하지만, 이 교육적 근거에 따르면, 다양한 접근법의 툴박스를 가지고 고군분투하는 학습자들을 가르치는 것이 이치에 맞는다는 것을 뒷받침한다. 핵심은 고군분투하는 학습자의 교정조치 계획의 모든 구성요소에 대해 증거 기반 접근방식을 최대화하는 것이다. 이것들은 복잡하고 매우 개별화된 개입을 하는 경향이 있다. 따라서 개입의 특정 요소가 미치는 영향을 파악하기 어려우며, 일반적인 교정조치 규칙은 파악하기 어렵다[138].

That said, the educational evidence base supports that teaching struggling learners with a toolbox of approaches makes good sense. The key is to maximize the evidence-based approach for every component of a struggling learner’s remediation plan. These tend to be complex, highly individualized interventions. Therefore, it is difficult to tease out the impact of any specific element of the intervention, making general remediation rules elusive [138].


가이드라인 23. 교정조치는 CBME와 학습자 중심의 접근방식에 어떻게 부합하는가?

Guideline 23. How does remediation fit with CBME andits approach of learner-centredness and de-emphasis of time?


이상적으로, 시간적 변동이 가능한 역량 기반 의료 교육(CBME)은 별도의 교육 활동과 무관하게 교정조치를 할 수 있다. 그러나 연습생들은 예를 들어 직업적 적합성career fit에 대한 양면성을 포함하여 여러 가지 이유로 고군분투한다. 따라서 완전히 실현된 CBME 프레임워크에서도 normal curriculum과 exclusion 사이에 'zone of remediation'이 필요할 가능성이 있다[27]. 이 zone framework는 다른 구역의 교육 관행이 다른 규칙, 역할 및 책임에 기초하는 방법을 보여준다. 이 zone들 사이를 이동하기 위한 임계값은 명시적이고 투명한 정책과 교정조치에 대한 특정 전문지식이 필요할 것이다. 지금까지는 진정으로 time-variable하게 운영가능한 CBME의 예는 거의 없지만, 그러한 시스템의 학생들이 경험한 과제를 모니터링하여 교정조치 영역에서 정책과 실행이 어떻게 진화할 필요가 있는지를 이해하는 것이 중요할 것이다.

Ideally, time-variable competency-based medical education (CBME) would make remediation as a separate educational activity irrelevant. However, trainees struggle for many reasons including, for example, ambivalence about career fit. Therefore, even in a fully realized CBME framework, there is likely to be a need for a ‘zone of remediation’ between the normal curriculum and exclusion [27]. This zone framework demonstrates how educational practice in different zones is based on different rules, roles and responsibilities. Thresholds for moving between zones would require explicit and transparent policies and specific expertise in remediation. While currently there are very few examples of truly time-variable CBME, it will be important to monitor challenges experienced by students in such a system to understand how policy and practise in the zone of remediation will need to evolve.


CBME을 향한 움직임은 교정조치에 대한 현재의 식별 및 상호접속 접근방식에 대한 대안적 패러다임의 기회를 가져온다. 하지만 그러기 위해서는 문화의 변화가 필요할 것이다. 지금까지는 [필요한 역량을 갖추기 위해 남들보다 조금 더 오래 걸리는 사람들]이라고 생각했다면, 이제는 [학습 속도를 궁극적인 성공 요인]으로 생각해야 한다. 

The move towards CBME brings with it the opportunity for an alternative paradigm to the current identify-and-intervene approach to remediation. However, to do so will require a shift in culture, from regarding those who take a little longer than others to achieve the required competencies as struggling to thinking about learning pace as an individual factor in ultimate success in practice. 


하지만 이것은 본질적으로 time-based and competitive한 시스템에서는 상상하기 어렵다. CBME는 사회에 대한 높은 수준의 의무를 유지하면서 학습자를 좀 더 긍정적으로 고려하고 우리의 학습자가 직면하는 많은 어려움에 대해 더 넓게 볼 수 있는 기회를 제공할 수 있다.

This is difficult to conceive of in systems which inherently remain time-based and competitive. CBME may provide an opportunity to consider ‘struggling’ learners with more positive regard and take a broader view of the many challenges that our learners encounter, while maintaining our obligation of high standards to society.



가이드라인 24. 교육적 핸드오버의 이점과 이러한 핸드오버로 인해 발생할 수 있는 부정적인 편견으로부터 학습자를 보호할 필요성 사이의 최적의 균형은 무엇인가? (자세한 내용은 지침 6을 참조하십시오.)

Guideline 24. What is the optimal balance between the benefits of educational handovers and the need to protect learners from negative bias that may arise from such handovers? (See Guideline 6 for further discussion.)


가이드라인 25. 교정조치의 필요성을 예측하는 구체적인 조치는 무엇인가?

Guideline 25. What specific measures predict the need for remediation?


몇몇 연구는 많은 수치화할 수 있는 의료 훈련 초기의 정량화가능한 성과척도들은 고군분투하는 학습자를 식별하기 위한 정보로서 신뢰성이나 구체성이 부족하다는 것을 보여준다. 성격 및 학습 능력 인벤토리는 성과 예측에 거의 추가되지 않으며 [114, 167] facking에 취약하다. 학습 스타일 평가는 학문적 성과와 관련성이 거의 없고, 있다고 해도 매우 약하다. 그러나 일부 지표는 향후 연구에 유용할 수 있다. 예를 들어, 최근의 한 연구는 1학년 의대생들에서 [수업 참여에 대한 체계적인 교수 평가]는 underperform이 시작되기 전에 fail을 예측할 수 있었다. 

Several studies show that many quantifiable measures of performance carry neither reliable nor specific information to identify struggling learners early in medical training. Personality and study skills inventories add little to prediction of performance [114, 167] and are susceptible to faking [115]. Learning style assessments correlate weakly with academic performance [128], if at all [168, 169]. However, some indicators may be fruitful for future research. For example, one recent study found that systematic faculty ratings of in-class participation predicted failure of year 1 medical students before students began to underperform[170].


임상 성과에 대해서는, 미국 의과대학에서 초기에 실시한 면허 시험의 일부인 USMLE Step 1 점수는 의과대학에서의 낮은 임상 성과[171]와 낮은 지식을 약하게 예측했다. 그들은 레지던트에서의 전문직업성 문제를 예측하지 않았다[172].

For clinical performance, USMLE Step 1 scores, part of the licensing exam taken early in medical school in the US, weakly predicted low clinical performance in medical school [171] and low knowledge; they did not predict professionalism issues in residency [172].


가이드라인 26. 종단적 교정조치 프로그램(가이드라인 15)을 설정하는 것 외에 가장 효과적인 교정조치 관행은 무엇인가?

Guideline 26. Apart from establishing a longitudinal remediation program(Guideline 15), what are the most effective remediation practices?


궁극적으로 자원은 제한되며 가능한 교정조치 전략의 목록은 길며, 교정조치 정책 및 실무에 대한 정보를 제공하는 연구의 필요성을 강조한다[17].

Ultimately resources are limited, and the list of possible remediation strategies is long, highlighting the need for research that informs remediation policy and practices [17].


결론

Conclusion


교정조치는 학습자와 교수진, 개인, 시스템 및 사회적 요소가 포함된 매우 복잡한 과정이다. 좋은 소식은, 의학 교육자로서, 우리는 고군분투하는 학습자들을 위한 교육적 성과를 극대화할 수 있는 실천에 대한 인식과 전문성을 증가시키고 있다는 것이다. 이 논문은 우리가 현재 출판된 문헌에서 알고 있는 것과 교정조치에 관한 우리 자신의 광범위한 경험을 요약하고 있다. 우리는 이 분야에서 지속적인 개선을 필요로 하고 교정조치 연구에서 엄격한 가설 테스트가 여전히 도전적이지만, non-intervention으로 남기는 것은 윤리적 으로 위험하기 때문에, 낙관적일 이유가 있다고 믿는다.

Remediation is a highly complex process involving learners and faculty, individuals, systems and societal factors. The good news is that as medical educators, we have increasing awareness of and expertise in practices that can maximize educational outcomes for struggling learners. This paper summarizes what we currently know from the published literature and our own extensive experiences about remediation processes. We believe that whilst there is great need for ongoing improvement in this field, and whilst rigorous hypothesis testing in remediation studies remains challenging because of the ethical peril of a non-intervention condition, there is reason to be optimistic.


‘Do’ 가이드라인의 절반 이상이 개인 수준의 개입을 넘어선다. 이 지침은 다음과 같은 교육의 핵심 가치를 강조한다. 

  • 기대치 설정 및 투명한 교육 정책과 구조의 중요성 

  • 사회적 책임감을 동반한, 학습자에 대한 헌신과 연민의 균형

  • 피드백 문화의 중요성, 적절한 과정 및 학습자에 대한 비판단적 긍정적 고려 

  • 학습자가 자신의 struggle 수준을 인식하지 못하는 경우의 활동 

  • 학습자가 학업적 고난을 경험할 때 원인의 모든 범위를 이해하는 총체적 접근법 

우리는 우리의 지침이 의료 교육 관행의 이 영역에서 맥락, 예방 및 조기 발견의 중요성을 강조하도록 하는 것을 목표로 한다.

More than half of the ‘Do’s’ guidelines reach beyond individual interventions. These guidelines reflect the core values of education, highlighting 

  • the importance of expectation-setting and transparent educational policies and structures; 

  • balance of commitment to and compassion for our learners with our societal responsibility; 

  • the importance of a culture of feedback, due process, and non-judgmental positive regard for learners; 

  • proactivity when learners do not recognize their level of struggle; and 

  • a holistic approach to understanding the full range of causes when learners experience academic struggle. 

We aim to ensure that our guidelines underscore the importance of context, prevention, and early detection in this domain of medical education practice.


가장 일반적으로, 이 영역의 연구는 [학습자의 성과와 특정 후속 평가 및 성과 사이의 관계]와 [특정 교정조치 프로그램이 학습자가 특정 시험에 합격하는 데 어떻게 도움이 되는지] 테스트하는 데 초점을 맞추었다. 이러한 유형의 작업은 [맥락, 학습 환경 또는 재교육 인터벤션]이 특정 개인 또는 집단에 의도하지 않은 결과를 초래할 수 있는 방법에 대한 이해를 흐리게 하는 경향이 있다. 이는 교정조치 실무에서 선택을 하고 절충을 이해하는 우리의 능력을 제한한다.

Most commonly, research in this domain has focused on testing the relationship between learners’ performance on a particular assessment and performances on later assessments and how a particular remediation program assists in helping a learner pass a specific examination. This type of work tends to obscure our understanding of the ways in which the context, learning environment, or an individual remediation intervention may lead to unintended consequences for certain individuals or groups. This limits our ability to make choices and understand trade-offs in remediation practice.




34. Lefroy J, Watling C, Teunissen PW, Brand P. Guidelines: the do’s, don’ts and don’t knows of feedback for clinical education. PerspectMedEduc. 2015;4(284):99.












, 8 (6), 322-338
 

Guidelines: The Dos, Don'ts and Don't Knows of Remediation in Medical Education

Affiliations 

Affiliations

  • 1Department of Medicine, University of California and Veterans Affairs Healthcare System, San Francisco, CA, USA. calvin.chou@ucsf.edu.
  • 2Department of Medicine, New York University School of Medicine, New York, NY, USA.
  • 3Life and Health Sciences Research Institute, School of Medicine, University of Minho, Minho, Portugal.
  • 4Centre for Healthcare Education Research and Innovation (CHERI), University of Aberdeen, Aberdeen, UK.
  • 5Department of Public Health and Primary Care, Cambridge University, Cambridge, UK.

Abstract

Introduction: Two developing forces have achieved prominence in medical education: the advent of competency-based assessments and a growing commitment to expand access to medicine for a broader range of learners with a wider array of preparation. Remediation is intended to support all learners to achieve sufficient competence. Therefore, it is timely to provide practical guidelines for remediation in medical education that clarify best practices, practices to avoid, and areas requiring further research, in order to guide work with both individual struggling learners and development of training program policies.

Methods: Collectively, we generated an initial list of Do's, Don'ts, and Don't Knows for remediation in medical education, which was then iteratively refined through discussions and additional evidence-gathering. The final guidelines were then graded for the strength of the evidence by consensus.

Results: We present 26 guidelines: two groupings of Do's (systems-level interventions and recommendations for individual learners), along with short lists of Don'ts and Don't Knows, and our interpretation of the strength of current evidence for each guideline.

Conclusions: Remediation is a high-stakes, highly complex process involving learners, faculty, systems, and societal factors. Our synthesis resulted in a list of guidelines that summarize the current state of educational theory and empirical evidence that can improve remediation processes at individual and institutional levels. Important unanswered questions remain; ongoing research can further improve remediation practices to ensure the appropriate support for learners, institutions, and society.

Keywords: At-risk students; Feedback; Remediation; Struggling learner.


배우고자 하는 이유(동기): 현대 이론 개괄(Med Educ, 2016)

Motivation to learn: an overview of contemporary theories

David A Cook1,2,3 & Anthony R Artino Jr4




도입

INTRODUCTION


동기부여라는 개념은 우리의 전문적이고 개인적인 삶에 만연해 있다. 우리는 침대에서 일어나, 논문을 쓰고, 집안일을 하고, 전화를 받고, 그리고 물론 배우려는 동기를 구어적으로 말한다. 우리는 학습 동기가 (어법, 지적 발명 또는 에피포네이션이 아닌) 존재한다는 것을 감지한다. 학습 동기는 종속변수(특정 교육 활동에 따른 동기 중 상위 또는 하위 수준)이자 독립변수2(학습 향상을 위한 동기 조작)3-5로서 중요하다. 그러나 우리가 배우려는 동기 부여가 의미하는 것은 무엇이며, 동기 부여에 대한 더 나은 이해가 교육자로서 우리가 하는 일에 어떻게 영향을 미칠 수 있을까?

The concept of motivation pervades our professional and personal lives. We colloquially speak of motivation to get out of bed, write a paper, do household chores, answer the phone, and of course, to learn. We sense that motivation to learn exists (as opposed to being a euphemism, intellectual invention or epiphenomenon) and is important as both a dependent variable (higher or lower levels of motivation resulting from specific educational activities)1 and an independent variable2 (motivational manipulations to enhance learning)3–5. But what do we really mean by motivation to learn, and how can a better understanding of motivation influence what we do as educators?


인간의 동기를 설명하기 위해 수많은 이론들이 제안되어 왔다.6 비록 각자가 동기부여의 구체적인 측면을 조명하지만, 각각의 필요성은 다른 이론을 등한시한다. 다양한 이론들은 대부분 개념적 중첩과 함께 불일치 영역을 가지고 있는데, 많은 사람들이 동일한 개념에 대해 다른 단어를 사용하거나, 다른 개념에 대해 동일한 단어를 사용하는 독특한 어휘를 사용하기 때문에 혼란을 야기한다. 비록 이것이 당황스러울 수 있지만, 그럼에도 불구하고 각각의 현대 이론은 잠재적으로 새로운 통찰력과 실천과 미래 연구에 대한 뚜렷한 함축으로 독특한 관점에 기여한다.

Countless theories have been proposed to explain human motivation.6 Although each sheds light on specific aspects of motivation, each of necessity neglects others. The diversity of theories creates confusion because most have areas of conceptual overlap and disagreement, and many employ an idiosyncratic vocabulary using different words for the same concept and the same word for different concepts.7 Although this can be disconcerting, each contemporary theory nonetheless contributes a unique perspective with potentially novel insights and distinct implications for practice and future research.


우리의 목표는 최근의 증거에 대한 포괄적인 검토를 제시하는 것이 아니라 의학교육자들이 동기부여의 이론적 기초를 접근 가능하게 하는 것이다. 우리는 각각의 이론에 대해 우리가 표면을 긁을 수 없다는 것을 인정하며, 따라서 더 깊이 있게 연구하기를 원하는 사람들에게 더 많은 읽기를 제안한다(표 1 참조).

Our goal is not to present a comprehensive examination of recent evidence, but to make the theoretical foundations of motivation accessible to medical educators. We acknowledge that for each theory we can scarcely scratch the surface, and thus suggest further reading for those who wish to study in greater depth (see Table 1).


이 검토를 위해 우리는 동기부여를 ‘목표지향적 활동을 착수하고 지속하게 만드는 프로세스’,6(pg 5)으로 정의한다. 비록 다른 것들이 존재하지만, 이 정의는 

  • 동기부여는 과정이다

  • 동기부여는 목표에 초점을 맞추고 있다. 

  • 동기부여는 목표를 달성하기 위한 활동의 시작과 지속을 모두 다룬다.

For this review we define motivation as ‘the process whereby goal-directed activities are instigated and sustained’,6 (pg 5) Although others exist, this definition highlights four key concepts: 

  • motivation is a process; 

  • it is focused on a goal; and 

  • it deals with both the initiation and the continuation of activity directed at achieving that goal.


공통 주제

COMMON THEMES


표 1은 각 이론에 대한 간결한 요약과 중복되는 용어를 명확히 하려는 표 2의 시도를 제공한다.

Table 1 offers a concise summary of each theory and Table 2 attempts to clarify overlapping terminology.







모든 현대 이론은 능력에 대한 믿음과 관련된 개념을 포함한다. 성공, 자기 효과, 자신감, 자기 개념에 대한 다양한 기대치 라벨을 붙인 이 모든 믿음은 본질적으로 ‘내가 그것을 할 수 있을까?’라는 질문을 다룬다. 그러나, 아래에 상세히 기술된 바와 같이 이론과 이론 사이의 중요한 구별이 있다. 예를 들어, 

  • [자기개념]과 [성공 기대치]에 대한 이전의 개념(기대-가치 이론)은 이러한 믿음을 일반적인 용어로 보았다(예: '병법'이나 '임상의학'과 같은 넓은 영역에 걸친 것, 또는 여러 시간이나 상황에 걸쳐 일반화된 것). 

  • 이와는 대조적으로, [자기효능(사회 인식론)]과 이후의 기대치 개념은 이러한 믿음을 훨씬 더 과제와 상황에 따라 특정한 용어로 보았다(예: ‘동맥 협착증의 심각성을 평가할 수 있는가?’).

All contemporary theories include a concept related to beliefs about competence. Variously labelled expectancy of success, self-efficacy, confidence and self-concept, these beliefs all address, in essence, the question ‘Can I do it?’. However, there are important distinctions both between and within theories, as elaborated below. For example, 

  • self-concept and earlier conceptions of expectancy of success (expectancy-value theory) viewed these beliefs in general terms (e.g. spanning a broad domain such as ‘athletics’ or ‘clinical medicine’, or generalising across time or situations). By contrast, 

  • self-efficacy (social-cognitive theory) and later conceptions of expectancy of success viewed these beliefs in much more taskand situation-specific terms (e.g. ‘Can I grade the severity of aortic stenosis?’).


대부분의 이론은 또한 학습 과제의 가치나 예상 결과에 대한 개념을 포함한다. 이러한 믿음은 직무 가치, 결과 기대, 내적 동기 대 외적 동기 등과 같은 구체적인 용어를 포함한다. 모든 사람들은 "내가 그것을 하고 싶은가?" 또는 "내가 한다면 무슨 일이 일어날 것인가?"라는 질문을 다룬다. 다시, 이론들 사이에는 중요한 차이점이 있다. 예를 들어, 

  • 제 가치(기대-가치 이론)는 성공적인 작업 완성의 인식된 중요성 또는 유용성에 초점을 맞추는 반면, 

  • 과 기대(사회인지이론)는 전적인 노력을 기울인다면 어떤 행동의 발생가능성(예상된) 결과에 초점을 맞춘다.

Most theories also include a concept regarding the value or anticipated result of the learning task. These beliefs include specific terms such as task value, outcome expectation and intrinsic versus extrinsic motivation. All address the question, ‘Do I want do to it?’ or ‘What will happen (good or bad) if I do?’. Again, there are important distinctions between theories. For example, 

  • task value (expectancy-value theory) focuses on the perceived importance or usefulness of successful task completion, whereas 

  • outcome expectation (social-cognitive theory) focuses on the probable (expected) result of an action if full effort is invested.


대부분의 이론들은 믿음과 미래의 행동을 형성하는데 있어서 귀인(성)의 중요성에 대해 논한다. 학습자들은 종종 관찰된 사건이나 결과와 이러한 결과를 초래한 개인적 요인(즉, 근본적인 원인) 사이에 의식적이거나 무의식적인 연관성을 확립한다. 학습자가 근본적인 원인을 변경할 수 있고 통제할 수 있는 범위 내에서는, 초기 실패가 있더라도 지속할 가능성이 더 높을 것이다.

Most theories discuss the importance of attributions in shaping beliefs and future actions. Learners frequently establish conscious or unconscious links between an observed event or outcome and the personal factors that led to this outcome (i.e. the underlying cause). To the degree that learners perceive that the underlying cause is changeable and within their control, they will be more likely to persist in the face of initial failure.


마지막으로, 동기부여에 대한 모든 현대적 이론들은 이전의 몇몇 이론들과 대조적으로, 직접적으로 관찰할 수 없는 정신적 과정의 관여를 가정한다는 점에서 '인식적'이다. 더욱이 최근의 이론들은 동기부여가 개별적인 현상으로 충분히 설명될 수 없고 오히려 개인과 더 큰 사회적 맥락 사이의 상호작용을 수반하는 경우가 많다는 것을 점점 더 많이 인식하고 있다. 반두라는 자신의 이론을 '사회 인식론'이라고 이름 붙였지만, 아래에서 논의되는 모든 이론은 사회적 요소와 인지적 요소를 모두 포함한다.

Finally, all contemporary theories of motivation are ‘cognitive’ in the sense that, by contrast with some earlier theories, they presume the involvement of mental processes that are not directly observable. Moreover, recent theories increasingly recognise that motivation cannot be fully explained as an individual phenomenon, but rather that it often involves interactions between an individual and a larger social context. Bandura labelled his theory a ‘social-cognitive theory’ of learning, but all of the theories discussed below include both social and cognitive elements.



기대-가치 이론

EXPECTANCY-VALUE THEORIES


간단히 말해서, 기대 가치 이론20,21은 행동에 영향을 미치는 두 가지 주요 독립적 요인을 식별한다(그림1). 

  • 개인이 노력하면 성공할 것이라고 믿는 정도(성공 기대)와 

  • 그 일을 수행하는 데 개인적인 중요성, 가치 또는 본질적 관심이 있다고 인식하는 정도(과제 가치)

In a nutshell, expectancy-value theories20,21 identify two key independent factors that influence behaviour (Fig. 1): 

  • the degree to which individuals believe they will be successful if they try (expectancy of success), and 

  • the degree to which they perceive that there is a personal importance, value or intrinsic interest in doing the task (task value).



[성공에 대한 기대치] 성공에 대한 기대는 일반적인 능력에 대한 인식 그 이상이다. 그것은 예상된 임무를 완수할 수 있다는 미래지향적인 확신을 나타낸다. 내가 임무를 성공적으로 완수할 것이라고 믿지 않는다면, 나는 시작하지 않을 것 같다. 그러한 믿음은 일반적(예: 글로벌한 자기 개념)이면서 동시에 구체적일 수 있다(특정 기술이나 주제를 배우는 능력의 판단). 위그필드와 에클레스에 따르면, 성공의 기대치는 목표, 자기 개념, 과제 난이도의 세 가지 범주로 분류되는 동기적 신념에 의해 형성된다고 한다. 

  • 목표는 특정 단기 및 장기 학습 목표를 가리킨다. 

  • 자기 개념은 이 업무 영역에서 자신의 능력에 대한 일반적인 인상(예: 학업 능력, 운동 능력, 사교 능력 또는 잘생긴 외모)을 말한다. 

  • 과제 난이도는 특정 업무의 인지된(실제적인) 난이도를 말한다. 

Expectancy of success is more than a perception of general competence; it represents a future-oriented conviction that one can accomplish the anticipated task. If I do not believe I will be successful in accomplishing a task, I am unlikely to begin. Such beliefs can be both general (e.g. global self-concept) and specific (judgements of ability to learn a specific skill or topic). According to Wigfield and Eccles,20 expectancy of success is shaped by motivational beliefs that fall into three broad categories: goals, self-concept and task difficulty. 

  • Goals refer to specific shortand long-term learning objectives. 

  • Self-concept refers to general impressions about one’s capacity in this task domain (e.g. academic ability, athletic prowess, social skills or good looks). 

  • Task difficulty refers to the perceived (not necessarily actual) difficulty of the specific task. 

경험적 연구는 기대 믿음이 학습 활동과 학습 성과(예: 시험 점수 및 성적)에 대한 관여를 예측한다는 것을 보여준다. 사실, 성공의 기대는 과거의 실적보다 더 강력한 성공 예측 변수가 될 수 있다.20

Empirical studies show that expectancy beliefs predict both engagement in learning activities and learning achievement (e.g. test scores and grades). In fact, expectancy of success may be a stronger predictor of success than past performance.20


그러나 기대-가치 이론에 따르면, 동기부여는 내가 성공할 수 있다는 확신 이상의 것을 필요로 한다; 여기에 추가로 어느 정도 즉각적이거나 미래의 개인적인 이익이나 가치를 기대해야 한다. 성공의 기대치처럼, 업무 가치나 valence는 인식에 달린 것이며(꼭 실제적인 것은 아님) 때론 특이하다

According to expectancy-value theorists, however, motivation requires more than just a conviction that I can succeed; I must also expect some immediate or future personal gain or value. Like expectancy of success, task value or valence is perceived (not necessarily actual) and at times idiosyncratic. 


[과제 가치] 최소한 네 가지 요소가 과제 가치에 기여하는 것으로 간주되었다. 

  • 주어진 주제는 학습자에게 특히 흥미롭거나 즐거울 수 있다(관심이나 내적 가치)

  • 주제에 대한 학습이나 기술을 숙달하는 것이 실용적인 이유 또는 미래 목표(유용성 또는 외적 가치)를 향한 필요한 단계로 인식될 수 있다.

  • 기술을 쉽게 배우는 것은 그 자체에서 또는 학습자의 자기 개념(중요 또는 성취 가치)의 확인으로서 개인의 중요성을 가질 수 있으며, 

  • 한 과제에 시간과 에너지를 집중하는 것은 다른 업무가 소홀히 된다는 것을 의미한다(기회비용)

At least four factors have been conceived as contributing to task value

  • a given topic might be particularly interesting or enjoyable to the learner (interest or intrinsic value); 

  • learning about a topic or mastering a skill might be perceived as useful for practical reasons, or a necessary step toward a future goal (utility or extrinsic value); 

  • successfully learning a skill might hold personal importance in its own right or as an affirmation of the learner’s self-concept (importance or attainment value); and 

  • focusing time and energy on one task means that other tasks are neglected (opportunity costs). 


이 밖에 다른 비용과 잠재적인 부정적인 결과에는 불안, 노력 그리고 실패의 가능성이 있다. 예를 들어, 전공의 의사는 단순히 그것이 매혹적이라고 생각하거나, 그것이 환자들에게 더 나은 보살핌을 제공하는데 도움이 될 것이라고 믿거나, 혹은 이것을 의사로서 그의 인격의 근본적인 부분으로 인식하기 때문에 심근경화를 배우는데 여분의 시간을 할애할 수 있다. 아니면, 그는 외과 기술을 익히는 데 더 많은 시간을 보내기 위해서 혹은 단순히 그것이 노력의 가치가 있다고 느끼지 않기 때문에 이 기술을 배우는 데 더 적은 시간을 쓸 수도 있다. 

Other costs and potential negative consequences include anxiety, effort and the possibility of failure. For example, a postgraduate physician might spend extra time learning cardiac auscultation simply because he finds it fascinating, or because he believes it will help him provide better care for patients, or because he perceives this as a fundamental part of his persona as a physician. Alternatively, he might spend less time learning this skill in order to spend more time mastering surgical skills, or because he simply doesn’t feel it is worth the effort. 


비록 일부 증거가 이러한 네 가지 요소(이자, 효용, 중요도 및 비용)를 측정에서 서로 구별할 수 있다는 것을 제시하지만, 20 학습자들이 실제로 이러한 구분을 하는지 여부는 아직 알려지지 않았다. 과제 가치는 이론적으로, 주로 하나의 동기적 신념, 즉 [감정적인 기억(과거 경험과 관련된 반응과 감정)]에 의해 형성된다. 좋은 경험은 인지된 가치를 향상시키고, 좋지 않은 경험은 그것을 감소시킨다.

Although some evidence suggests that these four factors (interest, utility, importance and cost) are distinguishable from one another in measurement,20 it is not yet known whether learners make these distinctions in practice. Task value is, in theory, primarily shaped by one motivational belief: affective memories (reactions and emotions associated with prior experiences). Favourable experiences enhance perceived value; unfavourable experiences diminish it.


성공에 대한 기대(목표, 자기개념, 과제 난이도)과 과제 가치(감정적 기억력)를 결정하는 동기적 신념은 생활 사건, 사회적 영향(부모, 교사 또는 동료의 압력, 직업적 가치 등)과 환경에 의해 형성된다. 동기부여를 shaping하는 이러한 힘은 학습자의 개인적 관점과 인식(즉, 인지 과정)을 통해 해석된다. 동기부여적 신념을 지배하는 것은 인식이며, 이것은 반드시 현실과 같지는 않다.

The motivational beliefs that determine expectancy of success (goals, self-concept and task difficulty) and task value (affective memories) are in turn shaped by life events, social influences (parents, teacher or peer pressure, professional values, etc.) and the environment. These shaping forces are interpreted through the learner’s personal perspectives and perceptions (i.e. cognitive processes). It is perception, and not necessarily reality, that governs motivational beliefs.


경험적 연구(의학 교육 이외의 거의 모든 연구)는 [성공에 대한 기대]와과 [과제 가치] 둘 다 학습 주제 선택, 학습에 대한 참여 정도(참여와 끈기) 및 성취(성과)를 포함한 학습 성과와 관련이 있음을 보여준다직무 가치는 선택과 가장 강하게 연관되어 있는 것으로 보이는 반면, 성공의 기대치는 참여, 처리 및 학습 성과와 가장 강하게 연관되어 있는 것으로 보인다. 다시 말해서, 어떤 것을 배울 것인가를 선택할 때 업무의 가치task value는 가장 중요하다. 일단 그 선택이 이루어지면, 성공에 대한 기대expectancy of success는 실제 성공과 가장 강하게 연관된다.

Empirical studies (nearly all of them outside of medical education) show that both expectancy of success and value are associated with learning outcomes, including choice of topics to study, degree of involvement in learning (engagement and persistence) and achievement (performance). Task value seems most strongly associated with choice, whereas expectancy of success seems most strongly associated with engagement, depth of processing and learning achievement.20 In other words, in choosing whether to learn something the task value matters most; once that choice has been made, expectancy of success is most strongly associated with actual success.


귀인 이론

ATTRIBUTION THEORY


귀인 이론(그림 2)은 왜 사람들이 주어진 경험에 서로 다르게 반응하는지를 설명하며, 초기 결과의 인지된 원인의 차이에서 다른 반응이 발생한다는 것을 암시한다. 예를 들어, 새로운 기술을 습득하는 것의 성공이나 실패는 개인적인 노력, 타고난 능력, 다른 사람들(예: 교사) 또는 행운에 기인할 수 있다. 이러한 속성은 잠재의식적인 경우가 많지만, 향후 활동에 강하게 영향을 미친다. 능력 부족에 기인하는 실패는 미래의 노력을 저해할 수 있는 반면, 열악한 교육이나 불운에 기인하는 실패는 특히 교사나 운이 바뀔 것으로 예상되는 경우에 다시 시도할 필요성을 시사할 수 있다. 귀인attribution은 

  • 미래의 성공에 대한 기대치에 직접적으로 영향을 미치며, 

  • 성공이나 실패에 대한 학습자의 감정적 반응에 의해 매개되는 인식된 가치에 간접적으로 영향을 미친다.

Attribution theory (Fig. 2) explains why people react variably to a given experience, suggesting that different responses arise from differences in the perceived cause of the initial outcome. Success or failure in mastering a new skill, for example, might be attributed to personal effort, innate ability, other people (e.g. the teacher) or luck. These attributions are often subconscious, but strongly influence future activities. Failure attributed to lack of ability might discourage future effort, whereas failure attributed to poor teaching or bad luck might suggest the need to try again, especially if the teacher or luck is expected to change. Attributions directly influence expectancy of future success, and indirectly influence perceived value as mediated by the learner’s emotional response to success or failure.



기여 이론은 인간이 자신과 환경을 이해하고 숙달하는 암묵적인 목표를 가지고 있으며, 삶에서 일어나는 사건에 대한 인과관계를 확립하는 ‘나이브한 과학자’ 역할을 한다고 가정한다귀속 과정은 학점을 받거나 기술을 배우는 등의 사건으로 시작한다. 

  • 결과가 기대되고 긍정적일 경우 학습자는 만족하고 나이브한 과학자는 흥분하지 않는다(즉, 조사할 것이 없다). 

  • 반대로, 결과가 부정적이거나, 예상치 못했거나, 특히 중요한 경우, 과학자는 가설(예: 능력, 노력, 행운, 건강, 기분 등)을 고안하기 위해 개인적, 환경적 요인을 고려하여 설명을 검색하기 시작한다. 

Attribution theory postulates that humans have a tacit goal of understanding and mastering themselves and their environment, and act as ‘na€ıve scientists’ to establish cause-effect relationships for events in their lives. The process of attribution starts with an event, such as receiving a grade or learning a skill. 

  • If the result is expected and positive, the learner is content and the na€ıve scientist is not aroused (i.e. there is nothing to investigate). 

  • Conversely, if the result is negative, unexpected or particularly important, the scientist begins to search (often subconsciously) for an explanation, taking into account personal and environmental factors to come up with an hypothesis (i.e. an attribution: ability, effort, luck, health, mood, etc.). 

그러나 귀인은 직접적으로 행동에 동기를 부여하지 않는다. 오히려 심리적으로 의미 있는 (행동 가능한) 반응으로 해석되거나 재구성된다. 경험적 연구에 따르면 그러한 해석은 

  • 쿠스(학습자 또는 외부), 

  • 안정성(변경 또는 고정) 및 

  • 어 가능성(학습자의 통제 내 또는 외부)

...의 세 가지 개념적 차원을 따라 발생한다고 한다. 

However, attributions do not directly motivate behaviour. Rather, they are interpreted or reframed into psychologically meaningful (actionable) responses. Empirical research suggests that such interpretations occur along three distinct conceptual dimensions: 

  • locus (internal to the learner or external), 

  • stability (likely to change or fixed) and 

  • controllability (within or outside the learner’s control). 


예를 들어, 학습자의 상황 인식에 따라 낮은 교육 수준(외부 위치)이 안정적일 수도 있고(이 주제에 대한 유일한 교사), 불안정할 수도 있고(다른 여러 명의 교사가 이용할 수 있음), 통제할 수 없거나(학습자가 선택할 수 있음) 통제할 수 없을 수도 있다. 

  • 불운은 전형적으로 외적, 불안정하고 통제할 수 없는 것으로 해석된다. 

  • 개인적 노력은 내적, 변화 가능하고 통제할 수 있으며 

  • 선천적인 기술은 대부분 고정되고 통제할 수 없는 내적이다.

For example, poor instructional quality (external locus) might be stable (the only teacher for this topic) or unstable (several other teachers available), and controllable (selected by the learner) or uncontrollable (assigned by others), depending on the learner’s perception of the situation. 

  • Bad luck is typically interpreted as external, unstable and uncontrollable; 

  • personal effort is internal, changeable and controllable; and 

  • innate skill is internal, largely fixed and uncontrollable.


Weiner는 [성공 기대치]와 [과제 가치]의 구성을 통해 동기를 부여했다.22 [성공의 기대]는 주로 [안정성] 차원을 통해 지각된 원인에 의해 직접적으로 영향을 받는다: '

  • ‘만약 조건(원인의 유무)이 그대로 유지될 것으로 예상되면, 과거에 경험했던 결과가 다시 나타날 것으로 예상된다. ... 

  • 인과관계가 바뀔 가능성이 있다고 판단되면... 후속 결과에 대한 불확실성이 있을 수 있다.22 

Weiner linked attributions with motivation through the constructs of expectancy of success and task value.22 Expectancy of success is directly influenced by perceived causes, primarily through the stability dimension: 

  • ‘If conditions (the presence or absence of causes) are expected to remain the same, then the outcome(s) experienced in the past will be expected to recur. ... 

  • If the causal conditions are perceived as likely to change, then ... there is likely to be uncertainty about subsequent outcomes’.22 

[로커스]와 [관리가능성]은 성공의 기대치와 강하게 연계되지 않을 가능성이 있다. 왜냐하면 과거의 성공(위치 지향성 또는 관리가능성의 정도와 상관없이)이 조건이 안정되면 미래의 성공을 예측하기 때문이다. 

Locus and controllability are not strongly linked with expectancy of success, because past success (regardless of locus orientation or degree of controllability) will predict future success if conditions remain stable.


이와는 대조적으로, [귀인]과 ['목표적 인센티브'(즉, 업무 가치)] 사이의 연결은 덜 직접적이어서, [학습자의 감정이나 '감정적 반응'에 의해 매개]된다.  Weiner는 목표를 달성하는 목적적 가치(예: 1달러를 벌거나 기술을 배우는 것)와 그 성취의 주관적 또는 감정적 가치(예: 행복이나 자존심)를 구별한다. 또한 이렇게 주장한다. '객관적 가치가 인식된 인과관계에 의해 영향을 받는다고 믿을만한 명백한 이유는 없다. 그러나 [원인규정]은 정서적 반응 또는 목표 달성의 주관적 결과를 결정하거나 지도한다.22'

By contrast, the link between attributions and ‘goal incentives’ (i.e. task value) is less direct, being mediated instead by the learner’s emotions or ‘affective response’. Weiner distinguishes the objective value of achieving a goal (e.g. earning a dollar or learning a skill) from the subjective or affective value of that achievement (e.g. happiness or pride), and argues that there is ‘no blatant reason to believe that objective value is influenced by perceived causality ... but [causal ascriptions] do determine or guide emotional reactions, or the subjective consequences of goal attainment’.22 


다른 감정적 반응에는 감사, 평온, 놀라움, 분노, 죄책감, 절망감, 동정심, 수치심 등이 포함된다. 인지 프로세스는 사건, 인지된 원인 및 귀납된 감정 반응 사이의 상호 작용에 영향을 미치며 복잡하고 종종 특이한 결과(즉, 우리가 어떻게 생각하는지가 우리의 감정에 영향을 미친다)를 가지고 있다. '예를 들면, 

  • 행운 때문에 얻은 1달러는 놀라움을 유발할 수 있다. 

  • 열심히 일해서 벌어들인 1달러는 자부심을 가질 수 있다. 

  • 필요할 때 친구로부터 받은 1달러는 (수치심이나 죄책감을 가질 수도 있지만) 감사를 느낄 수 있다

Other emotional reactions include gratitude, serenity, surprise, anger, guilt, hopelessness, pity and shame. Cognitive processes influence the interplay between an event, the perceived cause and the attributed emotional reaction, with complex and often idiosyncratic results (i.e. how we think influences how we feel).  ‘For example, 

  • a dollar attained because of good luck could elicit surprise; 

  • a dollar earned by hard work might produce pride; and 

  • a dollar received from a friend when in need is likely to beget gratitude’,22 although it might also beget shame or guilt. 


와이너는 결과에 의존하는 감정과 귀속 의존적인 감정을 구별한다. 

  • [결과에 의존하는 감정]은 성공(예: 행복)이나 실패(예: 슬픔과 좌절)의 직접적인 결과다. 

  • [귀인에 의존하는 감정]은 이름에서 알 수 있듯이, 유추된 인과적 차원에 의해 결정된다

    • 자존심과 자존심('내적' 감정)은 [로커스]와 연관되어 있다; 

    • 분노, 감사, 죄책감, 연민과 수치심('사회적' 감정')은 [통제 가능성]과 연관되어 있으며, 

    • 절망감과 그 밖의 많은 감정의 강렬함은 [안정성]과 연관되어 있다 (즉, 변하지 않는 이유 때문에 더 큰 감사나 더 큰 수치심을 느낄 수 있다.)


Weiner distinguishes outcome-dependent and attribution-dependent emotions. 

  • Outcome-dependent emotions are the direct result of success (e.g. happiness) or failure (e.g. sadness and frustration). 

  • Attribution-dependent emotions are, as the name implies, determined by the inferred causal dimension: 

    • pride and self-esteem (‘internal’ emotions) are linked with locus; 

    • anger, gratitude, guilt, pity and shame (‘social’ emotions) are connected with controllability; and 

    • hopelessness and the intensity of many other emotions are associated with stability (i.e. one might feel greater gratitude or greater shame because of a stable cause).


기여 이론은 귀속 과정에 영향을 미치는 몇 가지 '선행 조건'을 제안한다. 

  • 경 선행조건에는 자신과 타인으로부터 받은 사회적 규범과 정보(예: 피드백)가 포함된다. 

  • 개인 선행조건는 인과관계 규칙, 귀인 편견 및 사전 지식의 차이를 포함한다. 기여적 편견 또는 오류는 다음을 포함한다. 

    • 하나의 사건이 개인의 보편적 특성으로 외삽되는 상황 또는 상황별 요인을 무시하는 '근본 귀인 오류' 

    • 성공이 내부 원인에 기인하고 실패가 외부 원인에 기인하는 자급자족 편향 

    • 자신의 행동이 상황별로 다르며 다른 사람의 행동이 일반적인 특성인 행위자-관찰자 바이어스.


Attribution theory proposes several ‘antecedent conditions’ that influence the attributional process. 

  • Environmental antecedents include social norms and information received from self and others (e.g. feedback). 

  • Personal antecedents include differences in causal rules, attributional biases and prior knowledge. Attributional biases or errors include: 

    • the ‘fundamental attribution error’, in which situation or context-specific factors are ignored, such that a single event is extrapolated into a universal trait of the individual; 

    • self-serving bias, in which success is ascribed to internal causes and failure is ascribed to external causes; and 

    • actor-observer bias, in which the learner’s actions are situation specific and the actions of others are a general trait.



사회인지이론

SOCIAL-COGNITIVE THEORY


사회 인식 이론은 대부분 학습 이론이다. 이 이론은 사람들이 단순히 행동의 직접적인 강화(학습의 행동주의 이론에 의해 제안됨)를 통해서가 아니라, 환경과 상호적인 상호작용을 통해 다른 사람들을 관찰함으로써 배운다고 주장한다.23 동기부여에 관해서, 이 이론은 인간은 보상과 처벌에 무의식적으로 반응하는 무분별한 행위자가 아니라, 인식은 개인이 자신의 환경을 어떻게 해석하고 자신의 생각, 감정, 행동을 스스로 규제하는가를 지배한다고 강조한다.

Social-cognitive theory is most generally a theory of learning. It contends that people learn through reciprocal interactions with their environment and by observing others, rather than simply through direct reinforcement of behaviours (as proposed by behaviourist theories of learning).23 As regards motivation, the theory emphasises that humans are not thoughtless actors responding involuntarily to rewards and punishments, but that cognition governs how individuals interpret their environment and self-regulate their thoughts, feelings and actions.


반두라23은 인간의 수행은 세 가지 요인(예: 믿음, 기대, 태도 및 생물학), 행동 요인 및 환경 요인(사회 및 물리적 환경 모두) 사이의 상호 작용에서 비롯된다고 이론화했다. 따라서 인간은 [환경에 의해서만 형성되는 사후 대응적인 유기체]가 아니며, 능동적이고 자기 조절적이다. 즉, ‘자기 환경과 자신의 사회 시스템에 의한 결과물이자, 환경과 시스템의 생산자’이다.24 

Bandura23 theorised that human performance results from reciprocal interactions between three factors (‘triadic reciprocal determinism’): personal factors (e.g. beliefs, expectations, attitudes and biology), behavioral factors, and environmental factors (both the social and physical environment). Humans are thus proactive and self-regulating rather than reactive organisms shaped only by the environment; they are ‘both products and producers of their own environments and of their own social systems’.24 


예를 들어, 매우 경쟁적인 동료들로 가득하고 실수를 거의 참지 못하는 의사가 운영하는 외과실습의 의대생을 생각해보자. 그러한 환경은 학생의 개인적 특성(예: 그의 자신감, 감정, 선행 지식)과 상호 작용하여 그가 어떻게 행동하고 배우는지 여부를 형성할 것이다. 동시에, 그의 행동 방식은 환경에 영향을 미칠 것이며, 그의 개인적인 요소들(예: 그의 생각과 감정)의 일부를 바꿀 수도 있다. 따라서 이 학생이 배우고 수행하려는 의욕의 정도는 자신의 생각과 느낌, 학습 환경의 성격과 행동의 상호 작용에 의해 결정된다.

Consider, for example, a medical student in a surgery clerkship that is full of highly competitive peers and is run by a physician with little tolerance of mistakes. Such an environment will interact with the student’s personal characteristics (e.g. his confidence, emotions and prior knowledge) to shape how he behaves and whether or not he learns. At the same time, how he behaves will influence the environment and may change some of his personal factors (e.g. his thoughts and feelings). Thus, the extent to which this student is motivated to learn and perform is determined by the reciprocal interactions of his own thoughts and feelings, the nature of the learning environment and his actions.


개인의 목표를 추구하기 위해 자신의 행동을 조절regulate하고 환경을 조작하는 적극적인 과정은 동기 부여된 개인으로서의 기능을 발휘하는 데 필수적이다. 사람들이 그들의 목표를 추구하기로 선택했는지 여부는, 상당 부분, 그들 자신의 능력, 가치와 이익에 대한 믿음에 달려 있다.24 이러한 자아신뢰들 중 가장 중요한 것은 자기효능이며, 자기효능감은 ‘사람들이 [자신의 삶에 영향을 미치는 사건]에 대해서 [지정된 수준의 성능을 생산할 수 있는 능력]에 대한 믿음'으로 정의된다.25 

The active process of regulating one’s behaviour and manipulating the environment in pursuit of personal goals is fundamental to functioning as a motivated individual. Whether or not people choose to pursue their goals depends, in no small measure, on beliefs about their own capabilities, values and interests.24 Chief among these self-beliefs is self-efficacy, defined as ‘People’s beliefs about their capabilities to produce designated levels of performance that exercise influence over events that affect their lives’.25 


자기효능은 자신의 신체적 또는 심리적 속성에 대한 개인적인 판단보다는 사람이 무엇을 할 수 있는지에 대한 믿음이다.26 반두라의 말에서, ‘사람들이 자신의 행동으로 원하는 효과를 낼 수 있다고 믿지 않는다면, 행동할 동기가 거의 없을 것이다’.27 따라서 자기효능은 동기부여 행동의 토대를 이룬다.

Self-efficacy is a belief about what a person can do rather than a personal judgement about one’s physical or psychological attributes.26 In Bandura’s words, ‘Unless people believe they can produce desired effects by their actions, they have little incentive to act’.27 Thus, self-efficacy forms the foundation for motivated action.


자기 개념이나 자부심에 대한 광범위한 개념과는 달리, 자기 효율성은 영역, 과제 및 상황에 따라 다르다. 예를 들어 의대생들은 단순한 봉합에 대해 상당히 높은 자기효율을 보고할 수 있지만 다른 외과적 시술에 대해서는 자기효율이 훨씬 낮거나 협력적인 수술보다 경쟁적인 환경에서 자기효율이 낮을 수 있다.

Unlike broader notions of self-concept or self-esteem, self-efficacy is domain, task and context-specific. For instance, a medical student might report fairly high self-efficacy for simple suturing but may have much lower self-efficacy for other surgical procedures, or might have lower self-efficacy in a competitive environment than in a cooperative one.


[자기 효능감]은 [결과에 대한 기대outcome expectancy]와 혼동되지 않아야 한다. 즉, [결과에 대한 기대]란 특정 결과가 주어진 행동에서 비롯될 것이라는 믿음이다(즉, 개인에게 예상되는 값). 한 사람의 자기효능감은 그 사람이 기대하는 결과를 결정하는 데 도움이 되기 때문에, 이 둘은 전형적으로 정적으로 상호 연관되지만, 때로는 자기효능성과 결과 기대치가 서로 다른 경우도 있다. 예를 들어, 성적이 좋고 효과가 뛰어난 대학생은 불합격을 예상하기 때문에 가장 엘리트적인 의대에 지원하지 않기로 선택할 수도 있다. 이 경우 학문적 자기효과는 높지만 결과적 기대는 낮다. 연구에 따르면 [자기 효능감]은 [결과에 대한 기대치]보다 행동의 더 나은 예측 변수라고 한다.26,27 그러나 궁극적으로 자기 효과성과 바람직한 결과 기대 모두 최적의 동기를 위해 요구된다.18

Self-efficacy should not be confused with outcome expectation – the belief that certain outcomes will result from given actions18 (i.e. the anticipated value to the individual). Because self-efficacy beliefs help to determine the outcomes one expects, the two constructs are typically positively correlated, yet sometimes self-efficacy and outcome expectations diverge. For example, a high-performing, highly efficacious college student may choose not to apply to the most elite medical school because she expects a rejection. In this case, academic self-efficacy is high but outcome expectations are low. Research indicates that self-efficacy beliefs are usually better predictors of behaviour than are outcome expectations.26,27 Ultimately, however, both self-efficacy and favourable outcome expectations are required for optimal motivation.18


Bandura, Zimmerman 및 Schunk는 인식, 동기, 영향 및 선택을 포함한 핵심 학습 프로세스를 활성화하는 데 있어 자기 효능감의 역할이 중요함을 식별했다. 학습자에게 어떤 학습 과제가 주어지면 되면, 과거의 경험, 적성 및 사회적 지원으로 자신의 과제 수행 전 자기효능감을 집합적으로 결정한다. 이후에 과제 수행 중에, 그리고 과제 수행 이후에 학습자가 여러 단서를 해석하여 자기효능감을 조금 더 shaping한다. 이러한 자기효능감의 원천들 중에서 가장 강력한 것은 학습자들이 이전의 경험들을 어떻게 해석하는가 하는 것이다. 일반적으로 말해서 성공은 사람의 자기효율을 강화하는 반면 실패는 그것을 약화시킨다. 또한 학습자는 다른 사람의 행동(모델링)의 결과를 해석한다. 

Bandura, Zimmerman and Schunk have identified the key role of self-efficacy in activating core learning processes, including cognition, motivation, affect and selection.6,25,28,29 Learners come to any learning task with past experiences, aptitudes and social supports that collectively determine their pretask self-efficacy. Several factors influence self-efficacy during the task (Fig. 3), and during and after the task learners interpret cues that further shape self-efficacy.27 Among these sources of self-efficacy, the most powerful is how learners interpret previous experiences (so-called enactive mastery experiences). Generally speaking, successes reinforce one’s self-efficacy, whereas failures weaken it. In addition, learners interpret the outcomes of others’ actions (modelling). 



학습자는 다른 사람의 행동(모델)이 자신과 유사하다고 인식하는 경우(예: 근사치) 그러한 대리 경험에 기초하여 자기효능감을 조정할 수 있다. 언어적 설득의 영향("할 수 있어!")은 기껏해야 한계가 있는 것 같다. 게다가, 비현실적이라고 증명되는 설득은 자기효율을 손상시키고 설득자의 신뢰를 떨어뜨릴 수 있다. 마지막으로, 생리적이고 감정적인 정보는 자기효능적 믿음을 형성한다: 열정과 긍정적인 감정은 전형적으로 자기효율을 향상시키는 반면 부정적인 감정은 그것을 감소시킨다.

Learners may adjust their own efficacy beliefs based on such vicarious experiences, particularly if they perceive the model as similar to themselves (e.g. a near-peer). The influence of verbal persuasion (‘You can do it!’) appears to be limited at best. Furthermore, persuasion that proves unrealistic (e.g. persuasion to attempt a task that results in failure) can damage self-efficacy and lowers the persuader’s credibility. Finally, physiological and emotional information shapes self-efficacy beliefs: enthusiasm and positive emotions typically enhance self-efficacy whereas negative emotions diminish it.24,27


사회적 인식 이론이 실용적 적용을 위해 운영되는 한 가지 방법은 학생들이 동기 부여와 학습을 관리하는 방법을 다루는 자기조절(SRL)의 개념을 포함한다. 짐머맨은 세 가지 주기적 단계로 구성된 자기 규제30 모델을 제안했는데, 이 모델은 자기효능성 평가, 목표와 전략 수립, 성과(과제 중, 자기감시 등), 자기반성(과제 후)이다. 자율규제는 의학교육에 있어서 적극적인 조사의 영역이다.

One way in which social-cognitive theory has been operationalised for practical application involves the concept of self-regulation, which addresses how students manage their motivation and learning. Zimmerman proposed a model of self-regulation30 comprising three cyclical stages: forethought (before the task, e.g. appraising self-efficacy, and establishing goals and strategies), performance (during the task, e.g. self-monitoring) and self-reflection (after the task). Self-regulation is an area of active investigation in medical education.14,15


목표지향성(성취목표) 이론

GOAL ORIENTATION (ACHIEVEMENT GOAL) THEORIES


목표 지향 이론에서 ‘목표’의 의미는 대부분의 다른 동기 이론에서와 다르다. 학습 목표('내 목표는 심장학에 대해 배우는 것')를 언급하기 보다는, 이 이론의 군집에서의 목표는 일반적으로 잠재의식인 학습에서의 넓은 방향이나 목적을 가리킨다. 

  • 성과목표에서 가장 큰 관심사는 다른 사람들보다 더 잘 하고 바보같이 보이는 것을 피하는 것이다: ‘좋은 점수를 받고 싶다’는 것이다. 

  • 반면, 숙달목표는 학습의 본질적 가치(즉, 새로운 지식이나 기술을 습득하는 것)에 초점을 맞춘다: ‘자료를 이해하고 싶다’

이러한 두 가지의 포괄적인 지향성이 이어지는 학습 행동이나 접근으로 이어진다. Dweck의 ‘지성의 암시적 이론’은 이러한 두 가지 방향을 더 진전시켜 학습자의 학습 능력에 대한 근본적인 속성(‘마음의 생각’ 또는 성향과 신념)을 반영한다는 것을 시사한다(그림 4).

The meaning of ‘goals’ in goal orientation theories31–34 (also called achievement goal theory) is different from that in most other motivation theories. Rather than referring to learning objectives (‘My goal is to learn about cardiology’), the goals in this cluster of theories refer to broad orientations or purposes in learning that are commonly subconscious. 

  • With performance goals the primary concern is to do better than others and avoid looking dumb: ‘I want to get a good grade’. 

  • Mastery goals, by contrast, focus on the intrinsic value of learning (i.e. gaining new knowledge or skills): ‘I want to understand the material’. 

These broad orientations lead in turn to different learning behaviours or approaches. Dweck’s theory of ‘implicit theories of intelligence’ takes these two orientations further, suggesting that they reflect learners’ underlying attributions (‘mindsets’, or dispositional attitudes and beliefs) regarding their ability to learn (Fig. 4).



성과목표를 가진 학습자는 지능이나 능력이 안정된 고정특성(entity mindset)이라는 자기이론을 가지고 있다. 사람들은 똑똑하거나(또는 농구나 예술에 능하다) 그렇지 않다. 이런 안정된 성질은 바꿀 수 없기 때문에 학습자들은 자신들이 잘해야 하는 ‘충분함’을 가지고 있는 것처럼 보이고 느끼는 것에 대해 우려하고 있다. 

  • 쉽고 낮은 성공이 그들을 더 똑똑하게 느끼게 하고 지속적인 학습을 장려한다; 

  • 도전적이고, 노력하며, 성과가 좋지 않은 것은 학습자들이 점차적으로 흥미를 잃고 결국 포기하도록 유도하는 것으로 해석된다. 

Learners with performance goals have a (subconscious) self-theory that intelligence or ability is a stable fixed trait (an ‘entity’ mindset). People are either smart (or good at basketball or art) or they’re not. Because this stable trait cannot be changed, learners are concerned about looking and feeling like they have ‘enough’, which requires that they perform well. 

  • Easy, low-effort successes make them feel smarter and encourage continued study; 

  • challenging, effortful tasks and poor performance are interpreted as indicating low ability and lead learners to progressively disengage and eventually give up. 

이러한 실체적 사고방식을 가진 학습자들은 실패를 확대하여 성공에 대한 기억을 잊어버리고, 도전에 직면하여 재빨리 포기하고, 방어적이거나 자기모순적인 행동을 취한다. 그들의 능력에 대한 강한 믿음 때문에 그들이 실패 후에도 (끊이지 않고) 인내하도록 이끌지도 모른다. 그러나, 낮은 자신감은 그들이 실패에 대해 지적 능력이 부족하기보다는 노력 부족(‘난 정말 노력하지 않았다’)을 탓하는 것이 심리적으로 더 안전하기 때문에 그들을 ‘불쌍한helpless’ 상태로 몰아가게 할 것이다. Dweck은 '똑똑해 보이는 것에 가장 관심이 있는 학생들이 바로 이런 이유로 불리하게 될 수 있다는 것은 아이러니하다'고 지적했다.32

Learners with this entity mindset magnify their failures and forget their successes, give up quickly in the face of challenge, and adopt defensive or self-sabotaging behaviours. A strong belief in their ability may lead them to persevere after failure. However, low confidence will cause them to disengage into a ‘helpless’ state because it is psychologically safer to blame failure on lack of effort (‘I wasn’t really trying’) than on lack of intelligence. Dweck noted, ‘It is ironic that those students who are most concerned with looking smart may be at a disadvantage for this very reason’.32


이와는 대조적으로, 숙달목표 지향의 학습자들은 학습을 통해 지성과 능력이 증가하거나 향상될 수 있다는 자기이론을 가지고 있다(증가적 사고방식). 사람들은 공부하고 연습함으로써 더 똑똑해진다. 이러한 사고방식은 사람들로 하여금 학습기회를 더 어렵게 만들 것이기 때문에 사람들이 학습기회를 찾도록 유도한다. 그들은 도전과 심지어 초기 실패에도 성공한다. 왜냐하면 그들은 암묵적으로 '고통 없이는 얻는 것도 없다'라는 믿음을 가지고 있기 때문이다. 사실, 현재의 능력에 대한 자신감이 낮은 학습자조차도 그들이 점진적인 사고방식을 가지고 있다면 도전적인 과제를 선택할 것이다. 점진적인 사고방식을 가진 학습자들은 학습에 완전히 관여하고 그들의 능력을 확장시킬 때 똑똑함을 느낀다. 쉬운 일은 거의 가치가 없고 실패는 더 나은 전략을 찾고 새로운 노력을 하기 위한 신호로 여겨진다.

Learners with a mastery goal orientation, by contrast, have a self-theory that intelligence and ability can increase or improve through learning (an ‘incremental’ mindset). People get smarter (or better at basketball or art) by studying and practising. This mindset leads people to seek learning opportunities because these will make them smarter. They thrive on challenge and even initial failure because they have an implicit ‘No pain, no gain’ belief. In fact, even learners with low confidence in their current ability will choose challenging tasks if they have an incremental mindset. Learners with an incremental mindset feel smart when they fully engage in learning and stretch their ability (the mastery goal orientation); easy tasks hold little or no value and failure is viewed as simply a cue to look for a better strategy and exert renewed effort.


마인드셋은 귀속 이론의 관리성 및 안정성 차원과 관련이 있다: 

  • 엔티티 마인드는 고정적이고 통제할 수 없는 원인(예: 능력)의 귀속성을 초래하는 반면, 

  • 점증적 마인드셋은 통제 가능하고 변경 가능한 원인(예: 노력)의 귀속성을 초래한다.31,35 

마인드셋은 전형적으로 흑백이 아닌 정도의 문제다., 그리고 특정 영역과 상황에 특정한 것으로 보인다: 학습자는 주로 절차적 작업에 대한 실체적 믿음을 가질 수 있지만 의사소통 기술에 대한 점진적 믿음을 가질 수 있다. 연령에 따라 마인드셋이 변화한다: 어린 아이들은 일반적으로 증가하는 마인드를 가지고 있는 반면, 대부분의 사람들은 12세까지 엔터티 마인드셋으로 옮겨갔다.

Mindsets are related to the controllability and stability dimensions of attribution theory: entity mindsets lead to attributions of fixed and uncontrollable causes (e.g. ability), whereas incremental mindsets lead to attributions of controllable and changeable causes (e.g. effort).31,35 Mindsets are typically a matter of degree, not black-and-white, and appear to be domain and situation specific: a learner might have predominantly entity beliefs about procedural tasks but incremental beliefs about communication skills. Mindsets change with age: young children typically have incremental mindsets, whereas most people have shifted toward entity mindsets by age 12.32


Dweck 등의 연구에 기반을 둔 연구자들은 성과 목표를 학습자를 

  • 지게 보이게 하는 목표(다른 사람을 능가하려고 노력하는 것과 같은 성과 접근 목표)와 

  • 쁜 모습을 피하려고 하는 목표(도전적이고 불확실한 과제를 회피하는 것과 같은 성과 회피 목표)로 구분했다.38,39 

Researchers building on the work of Dweck and others33,36,37 have separated performance goals into 

  • those that make the learner look good (performance ‘approach’ goals such as trying to outperform others) and 

  • those in which the learner tries to avoid looking bad (performance ‘avoidance’ goals such as avoiding challenging or uncertain tasks).38,39 


실제 환경에서 얻은 경험적 결과는 어떤 outcome이냐에 따라 다르다: 성과 목표는 숙달 목표보다 일관되게 더 높은 성과(예: 더 나은 성적)와 더 연관되어 있는 반면, 숙달된 목표는 더 큰 관심과 깊은 학습 전략과 관련이 있다. 이러한 경험적 관찰은 추가적인 설명이 필요하지만 숙달 위주의 연구 전략의 단점을 보여주는 것이거나, 피상적인 학습을 선호하는 채점 시스템을 보여주는 것일 수도 있다.40 반면 성과-회피 목표는 낮은 성과 및 다른 부정적 성과와 일관되게 연관되어 있다.

Empirical results from real-world settings differ for different outcomes: performance-approach goals are consistently more associated with higher achievement (e.g. better grades) than are mastery goals, whereas mastery goals are associated with greater interest and deep learning strategies. These empirical observations require further explanation but could reflect shortcomings in mastery-oriented study strategies (i.e. learners focus on areas of interest rather than studying broadly) or grading systems that favour superficial learning.40 Performance-avoidance goals, by contrast, are consistently associated with low achievement and other negative outcomes.


Dweck의 이론에서 가장 설득력 있는 발견 중 하나는 성장형incremental 사고방식이 가르칠 수 있다는 것이다. 무작위적인 실험은 학생들에게 두뇌가 고갈되고 무한한 학습 능력을 가지고 있다는 것을 가르치면 그들은 더 많은, 더 어렵고, 더 어려운 학습 기회를 추구하고 도전 앞에서 인내하게 된다는 것을 보여준다.32 이러한 효과의 지속과 미래 과제에 대한 이전이 불완전하게 설명된 상태로 남아있다.

One of the most compelling findings of Dweck’s theory is that the incremental mindset is teachable. Randomised trials demonstrate that teaching students that the brain is malleable and has limitless learning capacity leads them to seek more, and more difficult, learning opportunities and to persevere in the face of challenge.32 The duration of this effect and its transfer to future tasks remain incompletely elucidated.


불행히도, 고정형entity 사고방식 역시 가르칠 수 있거나, 최소한 의도하지 않게 (경쟁, 프레임 능력을 정적 또는 빠르고 쉬운 성공을 칭찬하는) 개인 및 학습 분위기에 의해서 강화되는 것으로 보인다. 학습자의 자신감을 북돋우기 위한 피드백("정말 잘했어, 정말 똑똑해야 해!")은 무심코 고정형 사고방식을 부추길 수 있다. 교사들은 선천적인 능력을 강조하기보다는 누구나 타고난 능력을 발휘하면 배울 수 있다는 자신감을 심어줘야 한다.

Unfortunately, the entity mindset also appears to be teachable, or at least unintentionally reinforced by individuals and learning climates that encourage competition, frame abilities as static or praise quick and easy success. Feedback intended to boost a learner’s confidence (‘You did really well on that test; you must be really smart!’) may inadvertently encourage an entity mindset. Rather than emphasising innate ability, teachers should instill confidence that anyone can learn if they work at it.


다른 동기 이론들은 [목표 설정]과 [목표 내용]과 같이, 목표의 다른 측면을 설명하려고 시도한다.6,41 

  • [목표 지향] 이론은 접근과 참여의 이유와 방법에 초점을 맞춘다. 

  • [목표 설정] 이론은 성과 기준에 초점을 맞추고, 목표 특성(근접성, 특이성 및 난이도)과 목표 선택에 영향을 미치는 요소, 목표 달성 수준 및 공약에 영향을 미치는 요인을 탐구한다.42 

  • [목표 내용] 이론은 달성하고자 하는 것(즉, 예상되는 결과)에 초점을 맞춘다. 

포드와 니콜스41은 그들이 사람 내 목표(예: 엔터테인먼트, 행복, 지적 창조성)로 분류한 24가지 기본목표와 사람과 환경 사이의 상호작용을 다루는 목표(예: 우월성, 소속성, 형평성, 안전성)의 콘텐츠 분류법을 개발했다.

Other motivation theories attempt to explain other aspects of goals, such as goal setting and goal content.6,41 

  • Goal orientation theories focus on the why and how of approach and engagement. 

  • Goal setting theories focus on the standard of performance, exploring issues such as goal properties (proximity, specificity and difficulty) and the factors that influence goal choice, the targeted level of performance and commitment.42 

  • Goal content theories focus on what is trying to be achieved (i.e. the expected consequences). 

Ford and Nichols41 developed a content taxonomy of 24 basic goals that they categorised as within-person goals (e.g. entertainment, happiness and intellectual creativity) and goals dealing with interactions between the person and environment (e.g. superiority, belongingness, equity and safety).


자기결정이론

SELF-DETERMINATION THEORY


자기결정론(그림 5)은 동기부여가 양(치수)뿐 아니라 질(유형, 방향)에서도 다양하다는 것을 실증한다. 

  • 인간은 본질적으로 자신의 환경과 상호작용하면서 자신의 의지(필요를 충족시키는 방법을 선택할 수 있는 능력)를 사용하기를 원하고, 자기가 본질적으로 즐긴다고 생각하는 활동을 추구하는 경향이 있다. 우리의 최고, 가장 건강하고 가장 창의적이고 생산적인 업적은 일반적으로 우리가 그 일에 대한 본질적인 관심에 의해 동기 부여될 때 일어난다. 

  • 불행히도, 비록 어린 아이들이 본질적으로 흥미롭지 않은 활동을 하기 위해 10대까지, 그리고 성인이 될 때까지 우리는 점차 외부적인 영향들에 직면하게 된다. 경력 목표, 사회적 가치, 약속된 보상, 기한 및 벌금의 형태로 오는 이러한 영향들은 반드시 나쁜 것은 아니지만 궁극적으로는 내재적 동기를 전복시킨다. 강력한 증거는 보상이 내적 동기를 감소시킨다는 것을 보여준다.43 

Deci와 Ryan은 내적 동기를 촉진하는 방법과 외적 압력이 작용했을 때 동기부여를 강화하는 방법을 설명하기 위한 자기결정 이론을 개발했다. 

Self-determination theory (Fig. 5) posits that motivation varies not only in quantity (magnitude) but also in quality (type and orientation). 

  • Humans innately desire to be autonomous – to use their will (the capacity to choose how to satisfy needs) as they interact with their environment – and tend to pursue activities they find inherently enjoyable. Our highest, healthiest and most creative and productive achievements typically occur when we are motivated by an intrinsic interest in the task. 

  • Unfortunately, although young children tend to act from intrinsic motivation, by the teenage years and into adulthood we progressively face external (extrinsic) influences to do activities that are not inherently interesting. These influences, coming in the form of career goals, societal values, promised rewards, deadlines and penalties, are not necessarily bad but ultimately subvert intrinsic motivation. Strong evidence indicates that rewards diminish intrinsic motivation.43 

Deci and Ryan developed self-determination theory to explain how to promote intrinsic motivation and also how to enhance motivation when external pressures are operative.



내재적 동기선천적인 인간의 성향이기 때문에 생기는 것이 아니라, 불리하거나 유리한 조건에 의해 억압되거나 조장된다. 자기결정 이론의 첫 번째 위 이론인 [인지 평가 이론]은 세 가지 기본적인 심리학적 필요를 충족시키는 것은 

  • 자율성(행동을 통제할 기회) 

  • 능력(자기효능감) 및 

  • 관련성(연관성이 있다고 느끼는 타인과의 관계 또는 소속감).

Intrinsic motivation is not caused because it is an innate human propensity, but it is alternatively stifled or encouraged by unfavourable or favourable conditions. Cognitive evaluation theory, a sub-theory of self-determination theory, proposes that fulfillment of three basic psychosocial needs will foster intrinsic motivation: 

  • autonomy (the opportunity to control one’s actions), 

  • competence (self-efficacy) and 

  • relatedness (a sense of affiliation with or belonging to others to whom one feels [or would like to feel] connected). 


  • 자율성은 선택의 기회를 제공하고, 감정을 인정하고, 판단을 피하고, 행동에 대한 개인적인 책임을 장려함으로써 추진된다. 보상, 처벌, 기한, 판단력 평가 및 기타 통제력 있는 행동은 모두 자율성을 훼손한다. 
  • 역량은 최적의 도전과 자기효율을 촉진하고(위 설명과 같이) 부정성을 회피하는 피드백에 의해 지원된다. 
  • 관계성은 진정한 배려, 상호 존중 및 안전성을 보여주는 환경을 통해 촉진된다.
  • Autonomy is promoted by providing opportunities for choice, acknowledging feelings, avoiding judgement and encouraging personal responsibility for actions. Rewards, punishments, deadlines, judgemental assessments and other controlling actions all undermine autonomy. 

  • Competence is supported by optimal challenge, and by feedback that promotes self-efficacy (as outlined above) and avoids negativity. 

  • Relatedness is promoted through environments exhibiting genuine caring, mutual respect and safety.


외부의 영향에 의해 동기가 부여된 활동에서는 동기부여의 성격과 결과적인 성과 모두 크게 다르다. 처벌을 두려워하여 숙제를 하는 의대생의 동기는 환자에게 최적의 치료를 제공하고자 하는 성실한 열망에 의해 촉발된 학습 의욕과는 매우 다르다. 데키와 라이언은 이러한 질적 차이는 외부 힘이 내실화되고 통합되는 정도(개인의 자아 의식에 따라 평가됨)의 차이로 인해 발생하는 것이라고 제안했다. 두 번째 하위이론인 [유기적 통합 이론]은 이러한 차이를 설명한다.

In activities motivated by external influences, both the nature of the motivation and the resultant performance vary greatly. The motivation of a medical student who does his homework for fear of punishment is very different from motivation to learn prompted by a sincere desire to provide patients with optimal care. Deci and Ryan proposed that these qualitative differences arise because of differences in the degree to which external forces have been internalised and integrated (assimilated into the individual’s sense of self). A second sub-theory, organismic integration theory, explains these differences.


[유기적 통합 이론]은 조절 스타일을 세 가지로 나눈다. 

  • 한 극단은 적 동기이다(매우 생산적이고 자발적임)

  • 사이에는 외적 동기가 있다(외부 힘 또는 규정에 의해 유발되는 조치)

  • 다른 극단은 무동기이다. (완전히 의지의 결여, 행동 실패 또는 동작만 거치는 것) 

Organismic integration theory identifies three regulatory styles: 

  • intrinsic motivation at one extreme (highly productive and spontaneous), 

  • amotivation at the other extreme (complete lack of volition, failure to act or only going through the motions) and 

  • extrinsic motivation in between (actions prompted by an external force or regulation). 


외향적 동기는 차례로 외부 규제가 내면화(가치나 규정을 취함)통합(그 조절 자체이 더 큰 변화로 이어지는 것)의 정도에 따라 변하는 4단계로 나뉜다.

  • 외부 규제: 가장 낮은 수위는 보상을 받거나 처벌을 피하기 위해 행동하는 외부 규제이다. 

  • 규제 내면화: 죄책감이나 불안을 피하기 위한 행동, 또는 자존심이나 자존심을 높이기 위한 행동이다. 그 규정은 부분적으로 내실화되었지만 개인적인 목표로 받아들여지지 않았다. 

  • 규제 인정: 외부적 압력이 개인적으로는 중요한 자기희망 목표가 되었음을 시사하지만, 그 목표는 본질적으로 바람직하기보다는 유용하기 때문에 그 가치를 인정한다.

  • 규제 통합: 함께 외부 영향력은 내부(내부적) 이익과 통합되어 개인의 정체성과 포부의 일부가 된다. 

Extrinsic motivation is divided, in turn, into four levels that vary in the degree to which the external regulation has been internalised (taking in a value or regulation) and integrated (further transformation of that regulation into their own self).44,45 

  • The lowest level is external regulation: acting only to earn rewards or avoid punishment. 

  • Next is introjected regulation: acting to avoid guilt or anxiety, or to enhance pride or self-esteem. The regulation has been partially internalised but not accepted as a personal goal. 

  • Identified regulation suggests that the external pressure has become a personally important self-desired goal, but the goal is valued because it is useful rather than because it is inherently desirable. 

  • Finally, with integrated regulation the external influences are integrated with internal (intrinsic) interests, becoming part of one’s personal identity and aspirations. 


규제력이 규제 인정 또는 규제 통합 단계가 되면 인과관계가 내면에 위치(통제)하게 되고, 행동은 대체로 자율적이고 스스로 결정한 것으로 여기게 된다. 반면, 외부 규제 및 규제 내면화는 인과관계가 외부에 위치함을 반영한다. ‘따라서, 헌신적이고 진정한 것은 내실화와 통합을 통해 이루어지지만, 여전히 개인이 외적으로 동기부여를 받을 수 있다'

Regulatory forces with identified and integrated regulation reflect an internal locus of causality (control) and behaviours are perceived as largely autonomous or self-determined, whereas both external and introjected regulation reflect an external locus of causality. ‘Thus, it is through internalisation and integration that individuals can be extrinsically motivated and still be committed and authentic.’45 


연구에 따르면 위에서 설명한 것과 동일한 세 가지 심리학적 요구가 다음과 같이 외적 동기의 내면화통합을 촉진한다고 한다. 

  • 내면화에는 관계성과 역량이 중요하고,

  • 통합에는 자율성이 중요하다.

Research suggests that the same three psychosocial needs described above promote the internalisation and integration of extrinsic motivations, with 

  • relatedness and competence being particularly important for internalisation, and 

  • autonomy being critical for integration.


최적의 동기부여와 웰빙은 세 가지 니즈 모두를 충족시켜야 하기 때문에, ‘기본적 욕구 사이의 갈등을 일으키는 사회적 맥락은 소외와 정신이상학의 조건을 설정한다’. 이러한 요구의 중요성은 교육뿐만 아니라 직장 성과, 환자 준수, 전반적인 건강과 웰빙에서도 확인되었다.46

Because optimal motivation and well-being require meeting all three needs, ‘Social contexts that engender conflicts between basic needs set up the conditions for alienation and psychopathology’.45 The importance of these needs has been confirmed not only in education, but also in workplace performance, patient compliance and overall health and well-being.46



이론 간 통합

INTEGRATION ACROSS THEORIES


지난 25년 동안, 현대의 동기 이론들은 점점 더 핵심 개념을 공유하고 차용해 왔다.17 예를 들어, 여기에서 논의된 다섯 가지 이론들은 모두 인간의 인식에 영향을 주고 강력한 동기적 통제력을 발휘하는 것으로 인정한다. 또한 모든 것은 개인과 그들의 사회-환경적 맥락 사이의 상호작용을 강조한다

  • Expectancy의 정의는 자기 효능감과 실질적으로 중복되는 것을 반영하도록 진화해왔다. 

  • 귀인 이론은 앞서 존재하던 기대-가치 이론에서 나왔으며, 기대와 가치의 기원과 선행(왜?)을 설명하기 위한 노력의 일환이다. 결국 사건의 일시적 순서와 감정의 중요성을 강조하였다. 

  • 목표 지향 이론은 초기 목표 이론과 암묵적 귀인 개념을 통합했다. 

  • 자기결정론은 자율성(속성 이론에서의 권리와 통제)과 능력(자율성과 매우 유사함)을 모두 강조한다. 

이러한 개념적 중첩으로, 각 이론 내에서 운용적으로 정의되는 용어와 혼동되기 쉽다. 표 2는 이러한 잠재적 혼동 영역을 명확히 하기 위한 시도다.

Over the past 25 years, contemporary motivation theories have increasingly shared and borrowed key concepts.17 For example, all five theories discussed herein acknowledge human cognition as influencing perceptions and exerting powerful motivational controls. All also highlight reciprocal interactions between individuals and their socio-environmental context. 

  • Definitions of expectancy have evolved to reflect substantial overlap with self-efficacy. 

  • Attribution theory emerged from earlier expectancy-value theories in an effort to explain the origins and antecedents (the ‘Why?’) of expectancies and values, ultimately emphasising the temporal sequence of events and the importance of emotions. 

  • Goal orientation theory merged early goal theories with the concept of implicit attributions. 

  • Self-determination theory emphasises both autonomy (locus and control in attribution theory) and competence (very similar to self-efficacy). 

With this conceptual overlap, it is easy to get confused with the terms as operationally defined within each theory. Table 2 attempts to clarify these areas of potential confusion.


이러한 노력을 통해 우리는 현대 이론들 중에서 역량 신념, 가치 신념, 귀속성 및 사회적 인식 상호작용의 네 가지 반복되는 주제를 확인했다. 우리는 이러한 이론들이 이 네 가지 개념으로 축소될 수 있다고 제안하는 것이 아니라, 이러한 기본 원칙들이 개별 이론에 대한 보다 미묘한 이해를 뒷받침한다고 제안한다. 한 이론적 프레임워크를 사용하여 수행된 연구는 다른 이론과 관련된 통찰력을 얻을 수도 있다.

Through this effort we have identified four recurrent themes among contemporary theories: competence beliefs, value beliefs, attribution and social-cognitive interactions. We do not suggest that these theories can be reduced to these four concepts, but that these foundational principles underpin a more nuanced understanding of individual theories. Research conducted using one theoretical framework might also yield insights relevant to another.


경계가 점차 모호해지고 개념적 중첩이 증가한다는 점을 고려하면, 동기부여에 대한 대통일 이론을 달성할 수 있는가? 우리는 각 이론이 더 큰 그림의 다른 영역에 빛을 비추고, 따라서 개별 학습자와 다양한 사회적 맥락, 주제 및 결과가 포함된 복잡한 현상에 대한 고유한 관점에 기여한다는 점에 주목한다. 게다가, 용어를 명확히 하려는 우리와 다른 사람들의 노력에도 불구하고, 이론들간의 개념적 차이는 사전적 정의가 해결할 수 있는 것보다 훨씬 더 깊다. 주어진 이론적 영역 내에서조차, 서로 다른 조사자들은 매우 다른 결론을 이끌어내는 미묘하지만 중요한 구분을 가진 운영상 정의 개념과 결과 측정치를 가지고 있다.31,37,39 이러한 차이들이 이론적으로나 경험적으로 조정될 수 있는 정도는 여전히 볼 수 있도록 한다.17중복되는 개념과 그들이 감당할 수 있는 풍요로움을 위한 명시적인 이론적 통합에 사려깊게 자본화하면서 이론적 구별을 유지한다.

Given the progressive blurring of boundaries and increasing conceptual overlap, can – or should – we ever achieve a grand unified theory of motivation? We note that each theory shines light on a different region of a larger picture, and thus contributes a unique perspective on a complex phenomenon involving individual learners and varying social contexts, topics and outcomes. Moreover, despite our and others’ efforts7,47 to clarify terminology, conceptual differences among theories run much deeper than dictionary definitions can resolve. Even within a given theoretical domain, different investigators have operationally defined concepts and outcome measures with subtle but important distinctions that lead to vastly different conclusions.31,37,39 The degree to which these differences can be both theoretically and empirically reconciled remains to be seen.17 For now, we encourage maintaining theoretical distinctions while thoughtfully capitalising on overlapping concepts and explicit theoretical integrations for the enrichments they afford.


함의 및 결론

IMPLICATIONS AND CONCLUSIONS


다른 저자들은 동기부여 이론의 실질적인 적용, 대부분의 경우 동기부여를 강화할 수 있는 교육적 변화를 확인했다.

표 S1(온라인에서 이용 가능)에서 우리는 이러한 제안들에 대한 간략한 개요를 제공하며, 거의 모든 제안들은 보건 직업 교육에 대한 조사를 보증한다. 교육자와 연구자는 이러한 개입과 기타 개입을 어느 정도로 적용할지 결정해야 한다.

  • 모든 학습자에게 적용할지(즉, 전반적인 학습 환경과 교육 품질을 개선하기 위해). 

  • 특정한 동기적 특성을 가지 학생에게만 적용할지(예: 낮은 자기효율성, 엔티티 마인드셋, 부적응 속성 또는 외부 동기)

Other authors have identified practical applications of motivation theory, most often instructional changes that could enhance motivation.3,4,6,16,32 In Table S1 (available online) we provide a short summary of these suggestions, nearly all of which warrant investigation in health professions education. Educators and researchers will need to determine whether to apply these and other interventions to all learners (i.e. to improve the overall learning environment and instructional quality) or only to those with specific motivational characteristics (e.g. low self-efficacy, entity mindsets, maladaptive attributions or external motivations).17,48,49


우리는 앞으로의 연구를 위한 고려사항으로 더 이상의 논의를 제한할 것이다. Pintrich50은 동기 연구에 대한 7가지 광범위한 질문을 식별하고 이러한 질문을 조사하기 위한 일반적인 연구 원칙을 제안했다. 우리는 표 S2(온라인에서 이용 가능)에 요약한다. 정교함이나 강조를 통해, 우리는 이론적, 방법론적 경계를 가로지르는 네 가지 넓은 고려사항으로 결론을 내린다.

We will limit our further discussion to considerations for future research. Pintrich50 identified seven broad questions for motivation research and suggested general research principles for investigating these questions; we summarise these in Table S2 (available online). By way of elaboration or emphasis, we conclude with four broad considerations that cut across theoretical and methodological boundaries.


첫째, 동기부여는 단일 구인와는 거리가 멀다. 이것은 분명해 보일 수 있지만, 일반 교육자와 연구자 모두 특정 이론이나 개념적 틀에 대해 명확하지 않은 채 일반적으로 '동기화'를 말한다. 비록 서로 다른 이론들이 서로 완전히 모순되는 경우는 거의 없지만, 각각의 이론들은 동기부여의 다른 측면, 학습의 다른 단계, 다른 학습 과제와 다른 결과들을 강조한다.17,19,51 개념적 혼란을 피하고 그들의 연구의 이론구축 잠재력을 최적화하기 위해, 우리는 연구자들이 명백하게 식별하도록 권장한다. 그들의 이론적 렌즈, 다른 동기적 구조를 정의하고 운용하는 데 정확하고, 연구 계획 초기에 이론별 문헌을 주의 깊게 검토한다.

First, motivation is far from a unitary construct. This may seem obvious, yet both lay educators and researchers commonly speak of ‘motivation’ without clarity regarding a specific theory or conceptual framework. Although different theories rarely contradict one another outright, each theory emphasises different aspects of motivation, different stages of learning, different learning tasks and different outcomes.17,19,51 To avoid conceptual confusion and to optimise the theory-building potential of their work, we encourage researchers to explicitly identify their theoretical lens, to be precise in defining and operationalising different motivational constructs, and to conduct a careful review of theory-specific literature early in their study planning.


둘째, 동기 부여 연구의 결과 측정은 적어도 두 가지 이유로 어렵다. 즉, [측정할 결과](심리적 구성)의 선택과 [선택된 결과를 측정하는 특정 척도]의 선택이다. 결과와 척도의 선택과 결과 평가 시점은 연구 결과에 상당한 영향을 미칠 수 있다. 예를 들어, 숙달 및 성과 접근 목표 방향에 대한 결과(따라서 결론)는 결과마다 다르다.39 Schunk는 네 가지 일반적인 동기 부여 결과(과제, 노력, 지속성 및 성취도 선택)를 식별하고 이 각각의 측정 도구를 제안했다.6 학습자들은 또한 과정을 얼마나 동기부여하는지를 평가 할 수 있다. 주어진 연구와 가장 관련이 있는 결과는 이론과 연구 질문에 따라 달라질 것이다. 차례로, 각 결과에 대해 일반적으로 복수의 측정 접근법과 특정 척도가 있는데, 각각 강도와 한계가 있다. 예를 들어, 행동 중심의 측정은 인지 과정의 중요성을 감소시키는 반면, 자기 보고 측정은 자기 인식의 정확성에 의해 제한된다모든 계측기에 대해 점수의 유효성을 뒷받침하는 증거는 의도적으로 계획, 수집 및 평가되어야 한다.53,54

Second, measuring the outcomes of motivation studies is challenging for at least two reasons: the selection of which outcomes (psychological constructs) to measure and the choice of specific instruments to measure the selected outcomes. The choice of outcomes and instruments, and the timing of outcome assessment, can significantly influence study results. For instance, results (and thus conclusions) for mastery and performance-approach goal orientations vary for different outcomes.39 Schunk identified four general motivation outcomes (choice of tasks, effort, persistence and achievement) and suggested tools for measuring each of these.6 Learners can also rate how motivating they perceive a course to be.52 The outcome(s) most relevant to a given study will depend on the theory and the research question. In turn, for each outcome there are typically multiple measurement approaches and specific instruments, each with strengths and limitations. For example, behaviour-focused measures diminish the importance of cognitive processes, whereas selfreport measures are limited by the accuracy of selfperceptions. For all instruments, evidence to support the validity of scores should be deliberately planned, collected and evaluated.53,54


셋째, 연구자들은 동기이론의 명확하고 실제적인 적용을 시험해야 한다.50,55,56위에서 논의된 각 이론은 예측 변수 조건(예: 더 높거나 낮은 성공 기대치)과 동기 관련 결과 사이의 이론-예측 연관성을 입증하는 경험적 증거를 가지고 있다. 그러나 이 연구들에서 인과관계가 항상 명확하지는 않다(실험적이라기 보다는 상관관계가 있는 경우가 많다) 더욱이, 발견의 실질적인 의의는 때때로 불확실하다. 예를 들어, 결과 측정의 변화는 학습자의 의미 있고 지속적인 변화를 반영하는가, 아니면 단지 연구 조건의 인공물인가? 잘 계획된 실험은 동기 조작과 결과 사이의 인과관계를 강화할 수 있다.57 

Third, researchers should test clear, practical applications of motivation theory.50,55,56 Each of the theories discussed above has empirical evidence demonstrating theory-predicted associations between a predictor condition (e.g. higher versus lower expectancy of success) and motivation-related outcomes, but the cause-effect relationship in these studies (often correlational rather than experimental) is not always clear. Moreover, the practical significance of the findings is sometimes uncertain; for example, does a change in the outcome measure reflect a meaningful and lasting change in the learner, or is it merely an artifact of the study conditions? Well-planned experiments can strengthen causal links between motivational manipulations and outcomes.57


우리는 자기효율을 최적화하기 위한 개입의 예를 찾을 수 있다. 과제 가치, 귀인, 사고방식 등. 그러나 동기적 조작에 대한 연구는 볼륨과 엄격함 모두에서 크게 제한되어 있다. 또한 컨텍스트(예: 강의실, 임상 또는 제어된 설정)와 학습자 경험 또는 전문 분야와 같은 매개적 영향을 미칠 수 있다. 동기 부여 개념을 특정 인지 프로세스와 연계시키는 것은 일관성이 없어 보이는 결과를 이해하는 데 중요한 역할을 할 수 있다. 마지막으로, 연구 기반 권고안의 실제 구현은 자원 제한, 물류 제약 또는 관리자 및 교사로부터의 buy-in 부족에 의해 어려움을 겪을 수 있다. Translation과 implementation에 대한 연구가 필수적일 것이다.


 We can find examples of interventions intended to optimise self-efficacy,28 task value,5 attributions17 and mindsets,32 but research on motivational manipulations remains largely limited in both volume and rigour.17 Moreover, moderating influences such as context (e.g. classroom, clinical or controlled setting) and learner experience or specialty can significantly impact results. Linking motivational concepts with specific cognitive processes may be instrumental in understanding seemingly inconsistent findings.17,39 Finally, real-world implementations of research-based recommendations may be challenged by resource limitations, logistical constraints or lack of buy-in from administrators and teachers; research on translation and implementation will be essential.58


마지막으로, 우리는 일반적으로 교육에 대한 동기 이론을 구축하고 확장하는 연구를 요구하고 있다. 특히 보건 전문직 교육. 이론 구축 연구는 ‘개입이 효과가 있는지’외에도 다음을 조사해야 한다. 

  • 왜 작동하는지(즉, 조정 메커니즘) 

  • 누구를 위해 그리고 어떤 조건(즉, 영향을 완화)에서 작동하는지 

Lastly, we call for research that builds and extends motivation theory for education generally50 and health professions education specifically. Theory-building research should investigate ‘not only that the intervention works but also 

why it works (i.e., mediating mechanisms) as well as 

for whom and under what conditions (i.e., moderating influences)’.17 


그러한 연구는 이론적 렌즈, 개입 및 결과를 명시할 뿐만 아니라 독립적이고 종속적인 변수가 서로 어떻게 상호작용하는지 그리고 주제, 과제, 환경 및 학습자 특성과 함께 고려(그리고 이상적으로 예측)한다. Harackiewicz는 동기 관련 변수들 사이에서 가능한 네 가지 관계와 상호작용을 확인했다.

Such research not only specifies the theoretical lens, interventions and outcomes, but also considers (and ideally predicts) how independent and dependent variables2 interact with one another and with the topic, task, environment and learner characteristics.59 Harackiewicz identified four possible relationships and interactions among motivationrelated variables:


1 첨가적(다양한 요인은 단일 결과에 대해 독립적인 첨가제 효과를 가진다.)

2 상호작용적(다른 요인이 단일 결과에 복잡한 영향을 미침)

3 특화적(특정 개입의 영향은 결과에 따라 달라짐) 및

4 선택적(일정한 개입에 대한 결과는 상황에 따라 달라진다. 예를 들어, 맥락이나 주제)39


1 additive (different factors have independent, additive effects on a single outcome),

2 interactive (different factors have complex effects on a single outcome),

3 specialised (the impact of a given intervention varies for different outcomes) and

4 selective (outcomes for a given intervention vary by situation, e.g. context or topic).39


우리는 예비 조사자가 개념적 뉘앙스, 현재 증거, 잠재적 상호작용, 중요한 결과 및 시기적절한 질문을 이해하기 위해 이론별 문학을 더욱 탐구할 것을 권장한다.47,60

We encourage would-be investigators to further explore theory-specific literatures to understand conceptual nuances, current evidence, potential interactions, important outcomes and timely questions.47,60


Table S1. Summary of practical applications of motivation theory.


Table S2. A research agenda for motivation in education.





, 50 (10), 997-1014
 

Motivation to Learn: An Overview of Contemporary Theories

Affiliations 

Affiliations

  • 1Mayo Clinic Online Learning, Mayo Clinic College of Medicine, Rochester, Minnesota, USA. cook.david33@mayo.edu.
  • 2Multidisciplinary Simulation Center, Mayo Clinic College of Medicine, Rochester, Minnesota, USA. cook.david33@mayo.edu.
  • 3Division of General Internal Medicine, Mayo Clinic, Rochester, Minnesota, USA. cook.david33@mayo.edu.
  • 4Division of Health Professions Education, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland, USA.

Abstract

Objective: To succinctly summarise five contemporary theories about motivation to learn, articulate key intersections and distinctions among these theories, and identify important considerations for future research.

Results: Motivation has been defined as the process whereby goal-directed activities are initiated and sustained. In expectancy-value theory, motivation is a function of the expectation of success and perceived value. Attribution theory focuses on the causal attributions learners create to explain the results of an activity, and classifies these in terms of their locus, stability and controllability. Social- cognitive theory emphasises self-efficacy as the primary driver of motivated action, and also identifies cues that influence future self-efficacy and support self-regulated learning. Goal orientation theory suggests that learners tend to engage in tasks with concerns about mastering the content (mastery goal, arising from a 'growth' mindset regarding intelligence and learning) or about doing better than others or avoiding failure (performance goals, arising from a 'fixed' mindset). Finally, self-determination theory proposes that optimal performance results from actions motivated by intrinsic interests or by extrinsic values that have become integrated and internalised. Satisfying basic psychosocial needs of autonomy, competence and relatedness promotes such motivation. Looking across all five theories, we note recurrent themes of competence, value, attributions, and interactions between individuals and the learning context.

Conclusions: To avoid conceptual confusion, and perhaps more importantly to maximise the theory-building potential of their work, researchers must be careful (and precise) in how they define, operationalise and measure different motivational constructs. We suggest that motivation research continue to build theory and extend it to health professions domains, identify key outcomes and outcome measures, and test practical educational applications of the principles thus derived.

스트레스 역설: 스트레스가 학습에 어떻게 도움이 되는가(Med Educ, 2019)

The stress paradox: How stress can be good for learning

Joy R. Rudland1 | Clinton Golding2 | Tim J. Wilkinson3




1 | 도입

1 | INTRODUCTION


이 논문은 스트레스가 학습에 나쁘다는 일반적인 가정을 탐구한다. 궁극적으로 스트레스를 악마화하는 신화를 거부하면서, 우리는 "스트레스"를 긍정적이거나 부정적인 결과를 낳을 수 있는 것으로 보다 넓게 본다. 우리는 스트레스가 항상 피해야 한다는 생각을 거부하며, 학습의 필수적인 부분으로 스트레스를 위치시키는 가상의 학습 경로를 제안한다: "스트레서"는 학습을 촉진한다. 

This paper explores the common assumption that stress is bad for learning. Ultimately rejecting the myth that demonises stress, we takea broader view of “stress” as something that can have either positive or negative outcomes. We reject the idea that stress is always to be avoided and propose a hypothetical learning pathway that positions stress as a necessary part of learning: a “stressor” prompts learning; 


2 | "스트레스"의 역사 및 현재 사용 

2 | HISTORICAL AND CURRENT USES OF “STRESS”


"스트레스"라는 용어는 대중문화와 학술문학에서 모두 사용되는데, 특히 심리학에서나 교육에서나 사용된다. 현대 대중문학에서 수많은 스트레스 관련 자기1 도움책에서 증명되듯이 스트레스는 흔히 병으로 간주되고 "스트레스"라는 용어는 종종 경험의 부정적 결과와 동일시된다.2

The term “stress” is used in both popular culture and the academic literature, notably that from psychology and education. In modern popular literature, as is evidenced by numerous stress-related self1 help books, stress is often considered to be a sickness and the term “stress” is frequently equated with an adverse outcome of an experience.2


원래 '스트레스'와 '디스트레스'라는 용어는 두 가지 다른 개념으로 보였다. "스트레스"라는 용어는 처음에 야금학, 물리학, 수학의 맥락에서 사용되거나 "특별히 강조하기 위해"를 의미하는 동사로 사용되었다. 이와는 대조적으로, 호흡기 및 심장 질환이나 소화기 질환과 같은 생물학적 징후를 설명하기 위해 "distress"라는 용어가 더 자주 사용되었다. 생물학적 시스템과 반대로 개인이 곤경에 처해 있다는 개념은 1950년대에 예를 들어 어려움에 처한 사람들, 학생들에 대한 괴로움, 그리고 괴로워하는 학생들에 대한 언급으로 명백해졌다.3

Originally, the terms “stress” and “distress” were seen as two different concepts. The term “stress” was initially used in the contexts of metallurgy, physics and mathematics, or as a verb meaning “to give particular emphasis”. By contrast, the term “distress” was used more frequently to describe biological manifestations such as respiratory and cardiac distress or digestive disorders. The concept of individuals being in distress, as opposed to biological systems, became evident in the 1950s with reference to, for example, people in distress, the distress of schoolchildren, and the distressed student.3


오늘날 보건 전문 교육에서는 "스트레스"와 "디스트레스"라는 단어가 무심코 동일시되게 되었다. 스트레스의 존재는 학습에 방해가 되는 것으로 묘사되는 경향이 있다. 보건 전문 교육의 수많은 기사들은 지식의 부족, 4,5 능력 부족, 4,6 환자 상호작용, 7 질문, 7 시험, 평가 및 과제, 4, 7, 8 그리고 직원과 교사와의 관계와 학습 환경을 포함한 다양한 자극과 관련하여 "스트레스"를 보고하였다.5,6 이러한 연구들은 무엇이 스트레스를 유발하는지를 보고 종종 스트레스가 나쁘고 피해야 한다는 뚜렷한 편견이나 가정을 가진다. 결과적으로, 스트레스 감소와 정신 건강 전략의 채택이 광범위하게 고려되었다.

In health professional education today, the words “stress” and “distress” have come to be casually equated. The presence of stress tends to be portrayed as a hindrance to learning. Numerous articles in health professional education have reported “stress” in relation to a variety of stimuli including deficiency of knowledge,4,5 lack of competence,4,6 patient interaction,7 questioning,7 examinations, assessments and assignments,4, 7, 8 and relationships with staff and teachers and the learning environment.5,6 However, most of these studies look at what causes stress and often have a distinct bias or assumption that stress is bad and should be avoided. Consequently, the reduction of stress and the adoption of mental health strategies have been widely considered.9


의대생이나 의사들이 교육에서 다른 학생이나 전문가에 비해 높은 수준의 고통을 인식할 수 있는 것은 사실이다. 이것은 학습자의 괴롭힘이나 굴욕과 관련된 "디스트레스"를 포함할 수 있다. 저자들은 학습 환경에서 불합리하거나 나쁜 행동, 학대를 받거나 받아들일 수 없는 차별과 같은 스트레스 요인을 과소평가하거나 감소시키지 않는다. 이러한 행동들은 보건 전문 교육에서 찾아볼 수 없으며, 그것 그 자체로 평가되어야 한다. 용납할 수 없고 학습에 해를 끼친다.13

It is true that medical students and doctors can perceive high levels of distress in education in comparison with other students10,11 and professionals.11 This can include “distress” associated with the bullying or humiliating of a learner.12 The authors do not underestimate or diminish those stressors that equate with unreasonable or poor behaviour, maltreatment or unacceptable discrimination in learning environments. These behaviours have no place in health professional education and should not be appraised for anything other than what they are: unacceptable and damaging to learning.13


그러나, 고통에만 집중하는 것은 건강 전문 교육에 있어서 스트레스의 긍정적인 이점에 대해 인식하지 못한다는 점에서 한계가 있다. Seye가 14년에 만든 "유스트레스"라는 용어는 "긍정적인 느낌과 관련된 스트레스에 대한 유익하거나 건강한 반응"을 의미하며, "최적적인 스트레스 양"으로 묘사된다.16 업무 기반 스트레스에 관한 문헌도 이와 유사하게 스트레스의 "최적량"17을 언급하고 있다. 스트레스의 긍정적인 결과로서의 유지는 스포츠18과 직장에서 높은 성과와 긍정적으로 연관되어 있다.19 스트레스 요인의 두 가지 다른 결과로서 "디스트레스"와 "유스트레스" 사이에는 분명한 구별이 있다.20

However, focusing only on distress may be limiting as it curtails recognition of the positive benefits of stress in health professional education. The term “eustress”, coined by Selye,14 means “a beneficial or healthy response to a stress, associated with positive feelings”15 and is described as “an optimal amount of stress”.16 Literature about workbased stress similarly refers to an “optimal amount”17 of stress. Eustress as a positive outcome of stress has been positively associated with high performance in sports18 and work.19 There is a clear distinction between “distress” and “eustress” as two different outcomes of a stressor.20


스트레스 수준을 측정하기 위한 다양한 척도가 개발되었지만, 이러한 척도는 긍정적인 효과와 부정적인 효과의 차이를 고려하지 않고 스트레스를 정량화한다. 건강 전문가와 관련되는 디스트레스와 유스트레스를 모두 살펴본 연구는 비교적 최근의 연구이며, 스트레스를 긍정적인 방식으로 식별하고 정량적으로 프레임할 수 있는 디스트레스-유스트레스 척도(테라드 "손상과 상승") 개발도 있다.

Various scales to measure levels of stress have been developed, but these quantify stress without considering the difference between positive and negative effects. Research looking at both distress and eustress, as they relate to health professionals, is relatively recent21 and has included the development of a distress–eustress scale (termed “hassles and uplift”),22 which opens the possibility of identifying and quantitatively framing stress in a positive manner.


스트레스가 디스트레스와 같지 않다는 많은 증거가 있다. 보건 전문 교육에서, 인식된 스트레스의 증가는 간호 학생들에 대한 개인적인 성취의 증가와 관련이 있다: 스트레스를 받은 학생들은 간호사로 등록하기 위해 더 많이 갈 가능성이 높았고, 소진되거나 과정을 떠날 가능성이 적었다.23 중요한 것은, 스트레스의 보고가 전반적인 디스트레스를 예측하지 못한다는 것이다.24 몇몇 일반적인 스트레스의 원천은 어려움이나 일의 양과 같은 고통과 관련이 없는 것으로 밝혀졌다. 또한, Distressed and Non-distressed 학생들이 모두 동일한 스트레스 요인을 경험할 수 있다.24 

  • 스트레스는 동기부여를 강화하고, 행동을 지지하며, 더 열심히 일하는 것과 연관되어 있다.25 

  • 스트레스는 정신기능을 향상시키고, 기억력을 향상시키고, 두뇌처리에 속도를 높이는 것으로 나타났다.27 

  • "감정이 동반된 내용"을 학습한 후 스트레스 요인이 기억력을 향상시킬 수 있다는 사실도 밝혀졌다.

There is much evidence that stress does not equal distress. In health professional education, increased perceived stress has been associated with increased levels of personal achievement in nursing students: those students with stress were more likely to go on to register as nurses, and less likely to burn out or to leave the course.23 Importantly, the reporting of stress does not predict overall distress.24 Some common sources of stress have been found to have no association with distress, such as difficulty and amount of work. Further, distressed and nondistressed students can experience the same stressors.24 Stress has been linked to enhanced motivation, support seeking behaviour and working harder. 25 Stress has been found to improve mental function, boost memory26 and speed up brain processing.27 It has also been found that a stressor after learning “emotionally laden content” can enhance memory.26


그러나 임상 추론에 대한 스트레스의 유해한 영향이 보고되었고 교육적 관점에서 스트레스는 주의력을 좁히고 수행 능력을 저하시키는 것과 관련이 있을 수 있다.27 높은 스트레스가 학업성취도 저하와 관련이 있지만 주관적 성과와 스트레스를 바라보는 연구는 여러 상충하는 결과가 보고되고 있다.

However, deleterious effects of stress on clinical reasoning have been reported28 and from an educational perspective stress may be associated with narrowing attention27, 29 and reduced performance ability.27 Although high levels of stress have been associated with poor academic performance, studies looking at subjective performance and stress have conflicting results.30


Yerkes-Dodson 법칙은 스트레스와 수행을 묘사하는 데 종종 사용된다. 그것은 자극과 학습 속도 사이의 선형과 반전된 U자형 관계를 제안하며, 그들이 둥지 박스로 돌아가려 할 때 다양한 전기 충격을 받는 생쥐의 관찰을 통해 개발되었다.31 학습율과 관련된 선형 관계는 일반적으로 무시되어 왔으나, 거꾸로 된 U자형 관계는 상당한 popularity를 얻었다. 뒤집어진 U모양의 관계는, 생리적 자극은 스트레스가 너무 커져서 성능이 저하되는 지점까지는 학습이 증가한다고 제안한다. 그러나 단순한 육체적 과제를 수행하는 설치류에 대한 충격은 복잡한 인간심리와 맥락적 스트레스와 유사하지 않으며, 이 법칙을 뒷받침할 인간학습에 있어서 경험적 증거가 거의 없기 때문에 이 법칙은 인간학습에 적용될 것 같지 않다. 주의력 등 인간학습의 단일요소에 관해서, 높은 수준의 스트레스는 인지능력을 향상시키거나 손상시킬 수 있다는 것은 분명한데, 예크스-도드슨법에서는 설명할 수 없다. 예크스-도드슨 법칙은 신화일 수도 있지만, 인간의 학습에 적용된다면, 우리는 그것을 언급하는 이유는 그것이 대중적이기 때문이고, 지나친 일반화나 이용을 경계하기 위해서다.

The Yerkes–Dodson law is often used to describe stress and performance. It proposes both a linear and an inverted Ushaped relationship between arousal and rates of learning, and was developed through observations of mice subjected to various electric shocks as they attempted to return to a nesting box.31 The linear relationship related to rates of learning has generally been ignored,32 but the inverted U gained huge popularity. The inverted U proposes that learning increases with physiological stimulation (stress) to a point at which the stress becomes too great and performance decreases. However, this law is unlikely to apply to human learning because the shocking of rodents performing simple physical tasks is not analogous to complex human psychology and contextrelated stress, and there is little empirical evidence in human learning to support this law. With reference to a single component of human learning, such as attention, it is clear that high levels of stress can both enhance and impair cognitive performance, which cannot be explained in terms of the Yerkes–Dodson law.32 Although the YerkesDodson law may be a myth, if applied to human learning, we mention it because it is popular and to guard against overgeneralisation or utilisation.


요컨대, "스트레스"의 원래 의미는 왜곡되었을 수 있으며, 그 결과 스트레스 요인의 잠재적 가치와 스트레스의 경험은 저하되고 축소되었다. 스트레스를 탐구하는 맥락에서 괴로움을 강조하는 것은 불완전한 그림을 제공한다.21 스트레스는 학습에 유용할 수 있지만 우리는 우선 스트레스의 잠재적 가치를 다시 포장해야 한다.

In summary, the original meaning of “stress” may have been contorted and as a consequence the potential values of stressors and the experience of stress have been undermined and diminished. Placing emphasis on distress in the context of exploring stress offers an incomplete picture.21 Stress may be useful for learning, but we first need to repackage the potential value of stress.



3 | 학습에 긍정적인 스트레스

3 | STRESS AS POSITIVE FOR LEARNING


우리는 교육적인 맥락에 대해 더 명확하고 정확한 정의를 제공하는 것으로 시작한다.

we start by providing clearer and more precise definitions for the educational context.


스트레스 요인 = 적용되는 힘.33 학습 맥락을 고려하여 이 힘은 도전이나 학습 기대(예: 침습적 절차를 수행하는 방법 학습, 교사 질문, 평가 준비 또는 학습 환경)로 다시 표현된다.

A stressor = a force that is applied.33 Considering the learning context, this force is rephrased as a challenge or learning expectation (eg learning how to perform an invasive procedure, being questioned by a teacher, preparing for an assessment, or the learning environment).


스트레스 = 스트레스 요인이 존재한다는 것을 학습자가 깨닫는 것(예: "검사 때문에 스트레스를 느낀다"). 이것은 자극(스트레스 요인)뿐만 아니라 학습자와 넓은 환경의 융합을 나타내는 것이다. 스트레스 요인에 대한 심리적, 생리적 또는 행동적 반응을 포함할 수 있다.

Stress = a realisation by the learner that a stressor(s) exists (eg “I feel stress[ed] because of the examination”). This is a manifestation of the convergence of not only the stimulus (the stressor), but also of the learner and the broader environment. It may include a psychological, physiological or behavioural response to the stressor.


결과 = 감정적 성향 + 학습. 감정적인 성질을 생성하고 학습을 달성한다.

Outcome = affective disposition + learning. The affective disposition is generated and learning is achieved.

디스트레스 = 스트레스의 결과로 인한 부정적인 영향

유스트레스 = 스트레스의 결과로 인한 긍정적인 영향

배움은 두 경우 모두 분명할수도, 아닐 수도 있다.

Distress = a negative affect as a result of stress.

Eustress = a positive affect as a result of stress.

Learning is either evident or not.


간단히 말해서, 스트레스는 어떤 상황을 도전적이거나 방해하는 것으로 해석함으로써 발생하며, 따라서 스트레스는 스트레스 요인과는 다르다. 또한 스트레스는 부정적인 영향을 주거나 긍정적인 영향을 줄 수 있으며, 학습에 영향을 주거나 그렇지 않을 수도 있다.

Put simply, stress results from the interpretation of a situation as challenging or hindering, and hence stress is different from the stressor. In addition, stress may result in negative or positive affect, and may or may not result in learning.


이 보다 정확한 정의는 학습을 위한 스트레스의 가치를 탐구하는 것을 가능하게 한다. 우리의 정의는 "스트레스"라는 용어를 원래 의도대로 되돌리고 그것을 스트레스의 결과와 구별한다. 스트레스에 대한 이러한 이해로 돌아가면서, 우리는 스트레스가 학습에 미칠 수 있는 영향을 다시 살펴볼 수 있다.

This more precise definition makes it possible to explore the value of stress for learning. Our definition returns the term “stress” to its original intent and differentiates it from the outcome, the result of stress. In returning to this understanding of stress, we can revisit the influence stress may have on learning.


4 | 스트레스를 포함하는 학습경로 가설

4 | A HYPOTHETICAL LEARNING PATHWAY INVOLVING STRESS


우리는 학습에 있어 특히 직장에서 학습 환경의 중요성을 인정한다(그림 1).

We acknowledge the importance of the learning environment, specifically in the workplace, on learning (Figure 1).



4.1 | 스트레스 요인 : 학습에서의 스트레스 원인

4.1 | The stressor(s): the cause of stress in learning


학습은 스트레스 요인으로부터 시작되어야 한다고 주장할 수 있다. 이것은 단순히 알려진 것과 배워야 할 것의 차이일 수 있다. 35 "스트레스 관련 성장"이라고 불리는 것을 초래하는, 스트레스나 위기의 자극 없이는 변혁적인 변화가 일어날 수 없다는 것이 제안되었다. 학습은 감정적인 사건(에피소드) 동안 자주 일어나기 때문에, 긍정적인 스트레스를 받는 것이 학습에 도움이 될 수 있다.

It may be argued that learning has to start with a stressor(s). This may simply be the difference between what is known and what needs to be learned. It has been proposed that transformative change cannot occur without the stimulus of stress or crisis,35 which results in what is termed “stress-related growth”. As learning often occurs during an emotional episode, feeling positively stressed may be beneficial for learning.


이 시점에서 학문의 이론을 고려하는 것은 유용하다. 구성주의와 변혁적 학습 이론은 이후의 학습 발전을 위한 필요성으로서 스트레스 요인의 개념과 잘 일치한다. 구성주의 학습 이론은 학습자가 의미나 지식을 구성하는 과정에 적극적으로 참여하도록 요구하는 반면, 변혁적 학습은 개인의 관점에 변화를 초래한다.35 이 두 이론 모두 학습자에게 잠재적인 내부 불협화음(스트레스 요인)을 일으킬 것을 요구한다.

It is useful to consider theories of learning at this juncture. Constructivism and transformative learning theories align well with the concept of a stressor as a necessity for the subsequent development of learning. Constructive learning theory requires a learner to be actively involved in the process of constructing meaning or knowledge,36 whereas transformative learning results in a change in a person's viewpoint.35 Both of these theories require the learner to engage with potential internal dissonance (a stressor).


스트레스 요인은 반드시 해야 할 학습의 "양"에 의해 결정되는 것은 아니며, 필요한 학습의 "유형"에 달려있을 수도 있다. 도전은 여러가지 모습을 갖는다. 어려운 주제에 대해 배우거나, 기술을 완성하거나, 복잡한 환자 병력 중 중요한 요소를 추출하는 것 등등이다. 학생과 교육자 모두 적용된 스트레스 요인의 양과 유형에 영향을 미칠 수 있다. 그러나 이는 주로 교육자가 dictate하지만, 작업 환경의 특징에도 영향을 미친다.

A stressor may not necessarily be determined by the “amount” of learning to be done, but may refer to the “type” of learning expected. Challenge may come in many guises, such as in learning about a difficult topic, completing a skill or extracting important elements from a complex patient history. Both the student and the educator may be able to influence the amount and type of stressor applied, although this is frequently dictated by the educator and also the features of a work environment.


스트레스 요인은 고립된 도전으로 간주될 수 있지만, 도전은 combine될 수도 있고 additive할 수도 있다. 스트레스 요인이 additive하다고 본다면, 개별 스트레스 요인은 부정적인 반응을 이끌어내지 못할 수도 있지만, [스트레스 요인의 축적되었을 때는 견딜 수 없는 수준의 스트레스를 유발할 수도 있다]는 점에서 인지 부하가 적절하다.37 스트레스 요인의 누적은 개별 스트레스 요인의 합계보다 더 클 수 있고, 그 결과 스트레스 요인의 영향이 challenging에서 hindering으로 바뀔 수도 있다.

A stressor can be considered as an isolated challenge, but challenges may be combined and be additive. In thinking about the additive effects of stressors, cognitive load is apposite in conjuring the idea that an individual stressor may not elicit a negative response, but an accumulation of stressors may result in an intolerable level of stress.37 The accumulation of stressors may be greater than the sum of the individual stressors and turn the effect of the stressors from being challenging to hindering.


특정 유형의 스트레스 요인이 피할 수 없고 피할 수 없는 상황의 보건 직업 관행에는 많은 예가 있다. 예를 들어, 임상 절차의 학습(예: 근육 주사)은 학생들에게 스트레스 요인이 될 수 있으며, 그들은 환자에게 처음 이 절차를 수행하려고 할 때 약간의 스트레스를 느낄 수 있다.

There are many examples in health professions practice of contexts in which a particular type of stressor cannot and should not be avoided. For example, the learning of a clinical procedure (eg intramuscular injection) may be a stressor for students, and they may feel some stress when they first attempt to perform this procedure in a patient.


보건 전문 교육에서 임상 환경은 학습과 환자 관리 사이의 복잡한 상호 작용으로 인해 스트레스 요인이 되기도 한다.7 의료전문직의 학습 환경에서 스트레스 요인을 줄이려는 것은 헛되고 비현실적이며, 오히려 성장을 방해할 수 있다.

In health professional education, the clinical environment is also a stressor5 because of the complex interactions between learning and patient care.7 Trying to reduce stressors in the health professional learning environment may be futile, unrealistic and detrimental to learning growth.


4.2 | 조정

4.2 | Moderation


학습 여정의 다음 단계는 학습자가 스트레스 요인을 완화하는 방법이다. 개개인은 의식적이든 무의식적이든 스트레스 요인에 대한 반응을 즉시 수정하기 시작할 것이다. 개인이 스트레스 요인의 영향을 어떻게 해석하는가는 [자신이 경험하는 스트레스의 종류]와 [학습이 일어나는지 여부]에 영향을 미칠 것이다. 생체검사사회적 모델에서 스트레스 요인은 도전적이거나 위협적인 것으로 해석된다.38 교육적 관점에서 스트레스의 가치는 장애물을 나타내는지 아니면 도전을 나타내는지에 따라 유용하게 평가될 수 있다.39-41 도전은 극복에 대해 개인이 자신할 수 있는 어려운 요구에서 비롯된다. 교육에서 

    • 도전은 긍정적인 것으로 정의되며 새로운 정신 모델의 획득에 필요한 것으로 정의된다.41 

    • 장애물hindrance은 학습을 위해 부정적이고 학습을 서포트하지 않는 것으로 정의된다. 

이 두 가지 용어는 가장 어려운 상황에서도 흔히 달성할 수 있는 학습의 실체에 중점을 두기 때문에 선호되는 용어다.

The next step in the learning journey refers to how the learner moderates the stressor. Individuals will start to modify their response to a stressor immediately, whether consciously or unconsciously. How an individual interprets the influence of the stressor will influence the kind of stress he or she experiences, and whether learning takes place. In a biopsychosocial model, a stressor is interpreted as either challenging or threatening.38 From an educational perspective, the value of stress can be usefully appraised according to whether it represents a hindrance or a challenge.39-41 Challenge results from difficult demands that a person may feel confident about overcoming. In education, challenge is defined as being positive and necessary to the acquiring of new mental models.41 Hindrance is defined as being negative and unsupportive for learning. These are the preferred terms as they focus on the reality of learning that can often be achieved even in the most difficult of circumstances.


개인이 스트레스를 도전적인 것으로 해석하든 방해하는 것으로 해석하든 여러 가지 요인에 의해 영향을 받게 될 것이다.

Whether an individual interprets stress as challenging or hindering will be influenced by a number of factors,


    • 평가: 스트레스 요인에 대한 대응은 스트레스 요인을 평가하거나 평가하는 방법, 특히 스트레스 요인이 인지적으로 매개되는 방법에 의해 큰 영향을 받는다.16 1차 평가와 2차 평가가 있는데, 1차 평가는 스트레스가 얼마나 중요한지에 대한 것이고, 2차 평가는 개인이 스트레스 요인에 "대응"할 수 있는지에 대한 것이다.

Appraisal: response to a stressor is heavily influenced by how the stressor is appraised or evaluated, specifically how it is cognitively mediated.16 It has been suggested that there is a primary appraisal related to the importance attached to the stressor and a secondary appraisal regarding whether an individual can “cope” with the stressor.16

    • 학습자의 동기: 학습자의 학습 동기는 학습의 발생 여부에 영향을 미치는데 중요하다.

Motivation of the learner: the motive of a learner to learn is crucial in influencing whether learning will occur.


    • 상황의 복잡성: 스트레스 요인에 대한 대응은 상황의 영향을 받을 수 있고, 환경이 바쁘든 조용하든, 그리고 문맥이 많은 사람들을 참여시키든, 일대일 상황이든 간에 영향을 받을 수 있다.

Complexity of the situation: the response to a stressor may be influenced by the situation, whether the environment is busy or quiet, and whether the context involves many people or a one-to-one situation.

    • 마인드셋: 스트레스를 받는 것이 유용하다는 사고방식이나 자기 믿음은 유익한 효과를 가져올 수 있다. 미국에서 행해진 큰 연구는 스트레스가 개인에게 나쁘다는 믿음이 자기 성취 예언의 역할을 한다는 것을 발견했다.42 스트레스가 건강에 나쁘다고 규정하는 사고방식은 나쁜 건강 결과와 연관되어 있었다.42 보다 최근의 교육 중심 연구는 스트레스의 적응적 편익에 대해 학생들을 교육한 것이 스트레스 테스트 상황에 대처하는 능력에 대한 학생들의 인식을 향상시킴으로써, 결과적으로 성과를 향상시키는 결과를 가져온다는 것을 발견했다.

Mindset: a mindset or self-belief that being under stress is useful may have beneficial effects. A large study conducted in the USA found that the belief that stress was bad for the individual served as a self-fulfilling prophecy.42 The mindset that decrees that stress is bad for the health was associated with poor health outcomes.42 A more recent and education-focused study found that instructions that educated students about the adaptive benefits of stress resulted in improved performance by enhancing the students’ perceptions of their ability to cope with the stressful testing situation.43

    • 성격 특성: 완벽주의적인 성격 유형, 44 실패나 내향적인 성격과 같이 스트레스 요인에 대한 부정적 또는 긍정적인 반응에 쉽게 영향을 미칠 수 있다. "cope"의 능력으로 정의되는 회복력은 특히 스트레스 요인에 대한 긍정적인 반응에 마음이 기울어지는 성격 특성이다.

Personality traits: a personality type that is predisposed to negative or positive responses to stressors, such as one that is perfectionist,44 subject to fear of failure or introverted, may influence a response to a stressor. Resilience, defined as the ability to “cope”, is a personality trait that is particularly disposed to a positive response to stressors.


    • 대응 전략: 대응 전략은 학습자가 스트레스에 대한 느낌을 수정할 수 있도록 한다. 개인은 저장소가 고갈될 때까지 대처할 수 있는 "대응 저장고"를 가질 수 있다.45 전략을 고려하는 것은 스트레스의 부정적인 가치에 잠재적으로 도움이 되지 않는 초점을 둔다: 그것은 스트레스가 수용되기 보다는 대처해야 한다는 것을 암시한다. 그러나, 임상 작업의 많은 성격에 있어서, 그 안에서 일어나는 어떠한 학습에도 관계 없이, 고갈될 수 있다는 점을 고려하면, 대처 저장소를 채우기 위한 전략의 중요성에 대한 인식은 갈채를 받아야 한다.

Coping strategies: coping strategies allow the learner to modify the feeling of stress. Individuals might have a “coping reservoir”, which allows them to cope until the reservoir is depleted.45 The consideration of coping strategies places a potentially unhelpful focus on the negative value of stress: it implies that stress is to be coped with rather than embraced. However, given that for many the nature of clinical work, irrespective of any learning occurring within it, can be depleting, recognition of the importance of strategies to fill the coping reservoir is to be applauded.


이 시점에서 스트레스의 형태로 나타나는 스트레스 요인에 대한 대응과 그 결과가 전적으로 개인의 양면ambit 안에 있다고 보는 것이 합리적일 것이다.17 그러나 스트레스에 따른 결과가 전적으로 학습자에게 달려있다는 입장을 채택하면 교육자 측의 어떠한 책임도 제거시키고 만다. 건강 전문 교육자들은 스트레스 요인을 해석하는 데 있어서 학습자들이 괴로움보다는 고충을 초래하도록 지원하는 역할을 한다.17

At this juncture, it would be reasonable to consider that a response to a stressor in the form of stress and the resultant outcome is totally within the ambit of the individual.17 However, adopting this stance removes any responsibility from the part of the educator. Health professional educators have a role in supporting learners in interpreting stressors so that they result in eustress rather than distress.17


교육자는 학습자가 학습 과제와 관련이 없는 스트레스 요인을 피하도록 도울 수 있다. 30 예를 들어, 교육자는 압박감 있는 병동에서 학습 경험이 발생하는지 또는 좀 더 편안한 교실의 맥락에서 발생하는지를 결정함으로써 상황의 복잡성을 변경할 수 있다.

The educator may help the learner to avoid stressors that are extraneous to the learning task because these will impair the achieving of the task.30 Educators may also alter the complexity of the situation by determining whether a learning experience takes place in a pressured ward or in the more relaxed context of a teaching room, for example.


4.3 | 실현

4.3 | Realisation


학습자에 의한 스트레스 요인의 조절은 신체적 스트레스 반응을 유발할 수 있다. 신체적 스트레스 반응은 스트레스 요인에 대한 자율적인 반응이며 "일반 적응 증후군"의 첫 단계로 알려져 있다.46 그 반응은 교감 신경계 활동과 코티솔 분비를 자극할 수 있다. 심장 박동이 빨라지고 땀이 날 수 있다.

The moderation of the stressor by the learner may trigger a physical stress response. A physical stress response is an autonomic reaction to that stressor and is known as the first phase of “generalised adaptation syndrome”.46 The response may stimulate sympathetic nervous system activity and cortisol release; the heart rate may accelerate, and sweating may occur.


이 대응은 처음에는 "전투 또는 비행 대응"으로 설명되었다. 그것은 위험에 대한 예민한 반응이다. 그러나 배움learning은 거의 위험하지 않기 때문에 '싸움이나 비행'이라는 해석이 학습에 적용 가능한지는 불분명하다. 

    • 첫째, 스트레스 요인에 대한 모든 자율적 반응이 싸움이나 비행 반응으로 이어지는 것은 아닐 수 있다. 왜냐하면 이 영역의 연구에 관련된 주체가 편향된 표본을 나타냈기 때문이다. 1995년까지 싸움 또는 비행 연구 주체의 17%만이 여성이었다.47 게다가 싸우거나 도망치는 것만이 유일한 반응은 아닐 수 있다. "얼어붙기"라든가, "돌보고 친하게 지낸다" 등의 반응은 제안되었다.47 

    • 스트레스 요인이 눈에 띄는 생리적 반응을 일으키지 않을 수 있으며 생리적 반응이 명백하더라도 반드시 두려워할 필요는 없다. 스트레스에 대한 자율적인 반응은 항공 교통 관제 업무의 성과를 향상시키는 것으로 나타났다. 스트레스를 받는다는 표시인 코르티솔의 증가는 능력에 대한 동료들의 높은 평가와 직무 만족도에 대한 자기 평가와 관련이 있는 것으로 밝혀졌다.48

This response was initially described as the “fight or flight response”. It is an acute response to danger. However, it is unclear whether a fight or flight interpretation is applicable to learning because learning is seldom dangerous. 

    • Firstly, it may not be that all autonomic reactions to stressors lead to a fight or flight response because the subjects involved in research in this area represented a biased sample: until 1995 only 17% of fight or flight research subjects were female.47 In addition, to fight or flee may not be the only possible reactions: alternatives including “freeze” and “tend and befriend” responses have been proposed.47 

    • In addition, a stressor may not evoke any noticeable physiological response and even if physiological responses are evident, they do not necessarily need to be feared. Autonomic reactions to stress have been shown to improve performance at work in air traffic control. An increase in cortisol, a marker of being stressed, was found to correlate with higher peer ratings on competency and self-ratings on job satisfaction.48


또한 마인드셋도 생리적 반응이 어떻게 인식되는지에도 영향을 미칠 수 있다. 스트레스에 대한 긍정적인 사고방식으로, 심장 박동수의 증가에 대한 인식은 해로운 것으로 여겨지지 않고 유익하게 받아들여질 수 있다.2

Mindset can also influence how any physiological response is perceived. With a positive mindset towards stress, the perception of an increase in heart rate may be welcomed as beneficial instead of being viewed as detrimental.2


교육자는 스트레스 요인이 학습으로 귀결될 가능성을 최적화하기 위해 학습 환경을 관리하는 중요한 역할을 한다. 스포츠에 관한 연구는 환경을 조작하는 것이 스트레스 요인에 대한 부정적인 반응을 완충시킬 수 있다는 것을 발견했다.49 교육 기관이 학습자에게 서포트를 제공한다면 학습자들은 더 긍정적인 스트레스를 경험할 가능성이 더 높을 것이다.

Educators have an important role in managing the learning environment to optimise the likelihood that a stressor will result in learning. Research in sport has found that manipulating the environment can buffer negative responses to stressors.49 If an education institution offers support to learners, its learners will be more likely to experience stress positively.


학습자가 스트레스를 받거나 늘어날 때 더 큰 학습이 이루어질 수 있는 잠재력은 ZPD라는 교육 개념에 부합할 수 있는데, ZPD란 [한 사람이 스스로 할 수 있을 만큼 쉬운 일]과 같은 [개인이 지원을 받아야만 완수할 수 있는 더 어려운 일]의 차이를 가리킨다. 지원을 통해 학습자는 더 어렵고 더 까다로운 학습 과제를 설정하거나, 다시 말해 더 큰 스트레스 요인을 처리할 수 있다.

The potential that greater learning may be achieved when the learner is stressed or stretched can be aligned with the educational concept of the zone of proximal development, which refers to the difference between what is easy enough for a person to do on his or her own, and harder tasks that the same individual can complete only with support.51 Support allows the learner to set harder and more demanding learning tasks or, in other words, to deal with greater stressors.50,51


4.4 | 실증: 결과

4.4 | Actualisation: the outcome


두 가지 뚜렷한 결과를 고려할 수 있다. 하나는 학습자가 [학습 경험에 대해 어떻게 느끼는지](유스트레스, 디스트레스, 아무것도 아님)와 다른 하나는 [학습이 달성되었는지 여부]에 대한 것이다.

Two distinct outcomes can be considered: one refers to how the learner feels about the learning experience (eustress or distress or nothing), and the other concerns whether learning has been achieved.


유스트레스나 디스트레스에 대한 느낌과 관련하여, 괴로움이 항상 제한된 학습으로 이어지고 최대화된 학습으로 이어지는지는 알려져 있지 않다. 디스트레스와 유스트레스가 하나의 연속체인지, 한 개인이 디스트레스와 유스트레스를 동시에 느낄 수 있는지조차 불확실하다.21

With respect to feelings of eustress or distress, it is not known whether distress always leads to limited learning and eustress to maximised learning. It is even unclear whether distress and eustress are on the same continuum or whether distress and eustress can be felt by the same individual simultaneously.21


디스트레스 상태에서 사람이 배울 수 있는지 없는지 역시 판단이 어렵다. 배우면서 괴로워하는 것은 바람직한 것도, 참을 수 있는 것도 아닌 것 같다. 유스트레스 상태는 일을 음미할 때 바람직하며 학습의 "일"을 음미할 가능성이 있다. 유스트레스(Eustress)는 경험적 학습과 연계되어 있다.21

Whether a distressed individual can learn represents a quandary. Being distressed while learning does not seem to be either desirable or tenable. The state of eustress is desirable in savouring work40 and likely in savouring the “work” of learning. Eustress has been linked to experiential learning.21



5 | 결론

5 | CONCLUSIONS


우리는 개인이 경험할 수 있는 학습 기대를 명확히 하기 위해 "스트레서"라는 용어를 명사로 사용할 것을 제안한다. 학습 스트레스 요인은 학습에 좋으 잠재력과 나쁜 잠재력을 모두 가지고 있다. 스트레스 요인과 함께 스트레스 요인에 대한 개인의 해석과 대응은 그것을 긍정적인 도전으로 만들 수도 있고 학습에 방해가 될 수도 있다.

We propose that the term “stressor” be used as a noun to clarify a learning expectation that may be experienced by an individual. A learning stressor has the potential to be good or bad for learning. Along with the stressor, an individual's interpretation of and response to the stressor can make it either a positive challenge or a hindrance to learning.


스트레스 요인과 스트레스는 학습에 중요하며, 우리는 우리가 스트레스 요인을 사용하는 방법에 신중하고 신중해야 한다.

stressors and stress are important for learning and that we should be careful and deliberate in how we use stressors.


이 글은 독자들이 스트레스를 악마화하는 것을 피하고 스트레스가 학습에 유익할 수 있는 가능성을 열어두도록 도전한다. 역설적으로, 스트레스를 부정적인 것으로 생각하는 것은 그것의 부정적인 영향을 야기할 수 있다. 또는 때로는 스트레스를 줄일 필요가 있더라도 스트레스의 가치를 어떻게 받아들이고 극대화하는가에 초점을 맞출 수 있다.

This article challenges the reader to avoid demonising stress and to be open to the possibility that stress can be beneficial for learning. Paradoxically, thinking about stress as being negative may contribute to its negative impact. Alternatively, we can focus on how we embrace and maximise the value of stress, even if we sometimes need to reduce stress.


보건 전문 교육자는 학습자가 경험하는 스트레스 요인의 유형과 양을 관리하고 학습자가 스트레스 요인을 잠재적으로 자극할 수 있는 것으로 볼 수 있도록 보다 적극적으로 돕는 역할을 지속적으로 수행한다. 이것은 학습자들이 스트레스 요인의 본성에 대해 생각하고 부정적인 사고방식을 재구성하도록 돕는 것에 의해 달성될 수 있다. 또한, 교육자들은 학습 환경이 관계없는 스트레스 요인으로부터 자유롭도록 보장하고, 강박증을 자극할 가능성이 더 높은 스트레스 요인을 촉진한다면 학습의 형태로 스트레스와 관련된 성장을 강화할 수 있다.

Health professional educators have continuing roles in managing the type and amount of stressors experienced by learners and in more proactively helping learners see stressors as potentially stimulating eustress. This may be achieved by helping learners to think about the nature of stressors and to reframe negative mindsets. In addition, educators may enhance stressrelated growth in the form of learning if they ensure that the learning environment is free from extraneous stressors and promote those stressors that are more likely to stimulate eustress.





, 54 (1), 40-45
 

The Stress Paradox: How Stress Can Be Good for Learning

Affiliations 

Affiliations

  • 1Education Unit, University of Otago, Wellington, New Zealand.
  • 2Higher Education Development Centre, University of Otago, Dunedin, New Zealand.
  • 3Education Unit, University of Otago, Christchurch, New Zealand.

Abstract

Context: This article explores the myth that stress is always bad for learning. The term "stress" has been narrowed by habitual use to equate with the negative outcome of distress; this article takes an alternative view that ultimately rejects the myth that demonises stress. The avoidance of distress is important, but a broader view of stress as something that can have either positive or negative outcomes is considered.

Proposal: We propose that stress is important for learning and stress-related growth. We explore the little-mentioned concept of eustress (good stress) as a counter to the more familiar concept of distress. We further consider that the negative associations of stress may contribute to its negative impact. The impact of stress on learning should be deliberately and carefully considered. We offer a hypothetical learning journey that considers the cause of potential stress, a stressor, and how a stressor is moderated to result in stress that may influence learning either by positively challenging the learner or by functioning as a hindrance to learning.

Conclusions: In thinking more positively about stress, health professional educators may better support the student's learning journey.

비판적 사고, 편향, 이중처리: 일반화가능한 스킬이라는 죽지않는 신화(Med Educ, 2019)

Critical thinking, biases and dual processing: The enduring myth of generalisable skills

Sandra Monteiro1,2 | Jonathan Sherbino2,3 | Matthew Sibbald2,3 | Geoff Norman1,2





1 | 소개

1 | INTRODUCTION


사실상 모든 사람들이 (이루어지기는 했지만 충분히 충족되지 않은) 가장 중요한 학교교육의 목표는 학생들이 비판적으로 생각할 수 있도록 하는 것이라는 데 동의할 것이다. (Willingham, 20071)

Virtually everyone would agree that a primary, yet insufficiently met, goal of schooling is to enable students to think critically. (Willingham, 20071)


모두가 그렇지는 않다. 우리는 동의하지 않는다. 본 논문에서 우리는 위의 주장(교육의 중심 초점은 비판적 사고, 문제 해결, 임상적 추론과 반성과 같은 일반적인 기술을 주입하는 것이어야 한다는 것)이 사실 신화라는 입장을 옹호한다.

Not everyone. We do not agree. In this paper, we defend the position that the above assertion (ie that the central focus of education should be to inculcate general skills like critical thinking, problem solving, clinical reasoning and reflection) is indeed a myth.


우리의 중심적 주장은 의학 교육과 인지심리학에서 상당부분의 증거가 이 주장을 뒷받침하지 못한다는 것이다. 대신에, 증거에 따르면, 전문성의 본질은 어떤 종류의 일반적인 사고 기술이 아니라, 대규모의, 조직화된, 회상가능한retrievable 공식적이고 경험적인 지식이라는 을 계속해서 증명한다.

Our central claim is that the preponderance of evidence, in medical education and cognitive psychology, does not support this assertion. Instead, the evidence demonstrates again and again that the essence of expertise is the possession of a large, organised and retrievable body of both formal and experiential knowledge, not any kind of general thinking skills.


당연히 가르침과 배움은 지식이 아닌 사고에 관한 것이어야 한다는 고귀한 생각은 의학에만 있는 것이 아니다. 그것이 두드러지게 특징지었던 한 분야는 지난 세기가 시작될 무렵의 미국 교육이었는데, 그 때 고전 유럽 교육에서와 마찬가지로 라틴어, 그리스어, 논리학의 학습으로 대변되는 "정신적 능력"의 발달에 중점을 두었다. 그 반대의 증거는 1906년에 Thorndike에 의해 제시되었는데, 그는 상이한 업무에 대한 일반적인 전이transfer 효과가 매우 낮다는 것을 보여주었다(Leman et al2에서 설명됨): 일반적 기술("정신적 능력")이란 존재하지 않는다. 그러나 라틴어의 과목은 그 존재의 근거가 사라진 지 한참 후까지도 공립학교 교과과정에 남아 있었다.

Not surprisingly, the noble idea that teaching and learning should be about thinking, not knowledge, is not unique to medicine. One area in which it featured prominently was American education around the turn of the last century, when, as in classical European education, the emphasis was on the development of “mental faculties” exemplified by the study of Latin, Greek and logic. Evidence to the contrary was presented by Thorndike in 1906, who showed that typical transfer effects across dissimilar tasks were very low (described in Lehman et al2): general skills (“mental faculties”) did not exist. However, the course in Latin remained in the public school curriculum long after the rationale for its existence had disappeared.


심리학에서 "정신적 능력"은 특히 미국에서 과학심리를 지배하는 행동주의로 대체되었다. 그러나 20세기 후반에 이러한 기계론적, 환원주의적 이론적 관점은 결국 인지적 심리로 대체되었다. 동시에, 건강 전문가 교육의 초점은 행동 목표에서 근본적인 사고 과정의 개발을 향해 나아갔다.

In psychology, “mental faculties” were replaced by behaviourism, which dominated scientific psychology, particularly in the USA, to midcentury. However, in the latter decades of the 20th century, this mechanistic and reductionist theoretical perspective was eventually superseded by cognitive psychology. Concurrently, the focus of health professions education moved away from behavioural objectives towards the development of underlying thinking processes.


2 | 르네상스: 1960-1980

2 | THE RENAISSANCE: 1960-1980


2.1 | 정보처리 모델의 출현

2.1 | The emergence of information-processing models


2.1.1 | 인지심리학

2.1.1 | Cognitive psychology


인지혁명의 원동력은 인간의 "정보처리"에 대한 은유로서 컴퓨터의 발전이었다. 마음의 은유로서 '기계'가 침입하면서, 초기에는 뉴웰과 사이먼의 "일반적인 문제 해결사(이름이 모든 것을 보여준다)"와 같은 인공지능에 대한 연구로 이어졌다. 이것은 인간(과 기계)의 문제 해결은, 문제를 해결하기 위해 특정한 지식 기반을 동원할 수 있는 일반적인 전략을 채택하는 문제라는 전제에 기초한다. 여러 문헌에 브레인스토밍, 측면서고, 연관성 등과 같이, "내용과 무관하게" 문제 해결과 창의성 향상으로 이어지는 수많은 전략이 스며들었지만, 결과는 그렇지 못했다. 우리는 이제 그 은유가 너무 지나치게 문자 그대로 받아들여졌다는 것을 안다. 인간의 마음은 1970년대와 1980년대에 디자인된 컴퓨터와 같은 방식으로 작용하지 않는다.

A driving force behind the cognitive revolution was the development of computers as a metaphor for human “information processing.” Early forays into the machine as a metaphor of the mind led to research in artificial intelligence such as Newell and Simon's “general problem solver” (the name says it all), based on the premise that human (and machine) problem solving was a matter of adopting general strategies that could then be mobilised with specific knowledge bases to solve problems.3,4 The lay literature was permeated by numerous contentfree strategies—brainstorming, lateral thinking, synectics—that purported to lead to large increases in problem solving and creativity, but did not. We now know that the metaphor was taken too literally; human minds do not work in the same way as the computers that were designed in the 1970s and 1980s.5


2.1.2 | 의학 교육

2.1.2 | Medical education


전문가 진단 추론 연구의 기원은 1970년대에 실시된 대표적 연구이다.

The origins of research on expert diagnostic reasoning are credited to seminal work conducted in the 1970s


처음에는, 일반적인 과정이 나타났다. 처음 몇 초 또는 몇 분 이내에 발생하는 초기 "가정 생성" 단계와 추가적인 확인 데이터를 위한 길고 순차적이며 체계적인 검색의 두 단계로 구성되었다.

A general process did emerge from these studies. It consisted of two stages: an initial “hypothesis generation” stage occurring in the first few seconds or minutes of the encounter, followed by a long, sequential and systematic search for additional confirmatory data.


그러나 세 가지 추가 연구 결과가 발생하여 근본적인 가정에 심각한 도전을 제기하였다. 

    • 첫째로, 그 과정은 너무 일반적이었다. 의대 1학년 학생부터 전문 임상의사에 이르기까지 모든 사람들은 기본적으로 동일한 가설의 생성과 테스트 과정을 사용하고 있었다. 전문가들이 그것을 더 잘 하고 있다는 것은 간단히 언급되었다. 

    • 둘째로, 진단 정확도라는 그 프로세스의 성과를 조사했을 때, 주로 "가설의 내용"이라는 하나의 변수와 관련이 있는 것으로 밝혀졌다. 참가자들이 일찍부터 이 진단에 대해 생각했다면, 그들은 정확한 결과를 얻었고, 그렇지 않았다면, 글쎄, 그들은 그렇지 않았다. 

    • 지막으로, 그리고 결정적으로, 한 문제에 대한 성공은 다른 문제에 대한 성공을 보장하지 않았다. 문제에 대한 전형적인 상관관계는 0.1~0.3이었다. 따라서 일반적인 문제 해결 전략의 개념은 경험적 테스트에 실패했다.

However, three additional findings arose which presented a serious challenge to the underlying assumption. 

    • Firstly, the process was too general. Everyone, from firstyear medical student to expert clinician, was essentially using the same process of generating and testing hypotheses; it was simply noted that experts were doing it better. 

    • Secondly, when the outcome of the process—diagnostic accuracy—was examined, it was found to relate primarily to only one variable: the content of the hypothesis. If participants thought of the diagnosis early on, they got the correct outcome; if they didn't, well, they didn't. 

    • Finally, and critically, success on one problem was no guarantee of success on another. The typical correlation across problems was 0.10.3. Thus, the notion of general problem-solving strategies failed an empirical test.


Elstein 등은 후기 논문에서 이러한 발견을 우아하게 요약했다: 

"맥락과 내용을 배제한 임상 추론의 purely formal syntax는 생성된 가설에 대한 품질의 차이도, 사례에 따른 임상의사의 변동성도 설명할 수 없다. 오히려 구체적 사례에서 더 나은 가설을 만들어내는 능력 뒤에는 도메인 고유의 지식의 차이가 있는 것처럼 보였다."

Elstein et al, in a later paper, summarised these findings elegantly: “A purely formal syntax of clinical reasoning stripped of context and content could account neither for difference in the quality of hypotheses generated nor for clinicians’ variability across cases. It seemed, rather, that differences in domain-specific knowledge must lie behind the ability to generate better hypotheses in specific cases.”


3 | 계몽기: 1980-2000

3 | THE ENLIGHTENMENT: 1980-2000


3.1 | 지식의 역할과 기술의 특수성

3.1 | The role of knowledge and specificity of skills


3.1.1 | 인지심리학

3.1.1 | Cognitive psychology


곧 인간의 문제 해결은 정교한 기술을 습득하는 문제가 아니라 광범위하고 풍부한 지식 네트워크에서 운영되는 상당히 단순한 전략에 해당한다는 것을 알게 되었다.4

It soon emerged that human problem solving was not a matter of acquiring elaborate skills; rather, it amounted to fairly simple strategies operating on extensive and rich knowledge networks.4


추론에서 이러한 핵심적 지식의 역할은 다른 영역의 전문지식을 이해하는 것에 기초한 새로운 연구 분야로 이어졌다. 이러한 발견에서 바로 "의도적 연습"과 같은 현상이 나타났다. 이러한 견해에 따르면 전문지식은 일반적인 전략과도, 무수한(진짜로 수천개에 달하는) 문제를 가지고 실천에서 얻은 경험적 지식과는 아무런 상관이 없다.

This central role of knowledge in reasoning then led to a new field of research based on understanding expertise in different domains. Phenomena such as “deliberate practice” emerged directly from these findings.10 In this view, expertise has nothing to do with general strategies and everything to do with experiential knowledge acquired from practice with many, indeed, thousands of problems.


인지 기술의 제한된 일반화가능성은 또 다른 연구 영역인 전이 연구에서 나타났다. 전이에 대한 무수한 연구 프로그램은 far transfer는 하는 것은 매우 어렵다는 것을 일관되게 보여주었다.11 전이란 한 맥락에서 습득한 지식을 다른 맥락에서 동일한 개념 구조를 가진 문제를 해결하는 데 활용하는 것이다.

The limited generalisability of cognitive skills emerged in another research domain: studies of transfer. An extensive research programme examining transfer—using knowledge acquired in one context to solve problems with the same conceptual structure in a different context—revealed consistently that far transfer was exquisitely difficult.11


마지막으로, 인간의 문제 해결을 시뮬레이션하기 위해 컴퓨터를 계속 사용하는 것은 "수단-목적 분석"과 같은 일반적인 방법을 사용하는 프로그램들이라는 것을 보여주었다. 단순한 문제에 유용한 반면, 지식이 풍부한 영역에서는 효과적이지 않았고, "취약한 방법"이라고 불렸다. "전문가 시스템"이라고 불리는 전문가 지식을 바탕으로 한 대안들은 구체적 영역specific domain에서 훨씬 뛰어났다.12

Finally, the continued use of computers to simulate human problem solving revealed that programs using general methods like “means–end analysis,” while useful for simple problems, were ineffective in knowledge-rich domains and were referred to as “weak methods.”4 Alternatives based on expert knowledge, called “expert systems,” were far superior in specific domains.12


3.1.2 | 의학 교육

3.1.2 | Medical education


[지식의 중심성]을 지적하는 초기의 발견은 임상추론 연구에 있어서 강조의 변화를 가져왔다. 연구자들은 어떤 일반적인 추론 기술을 더 추구하기 보다는 전문가들이 사용하는 지식 구조의 종류를 탐구하기 시작했다.

The early findings pointing to the centrality of knowledge led to a change of emphasis in the study of clinical reasoning. Instead of further pursuing some generalisable reasoning skill, researchers began to explore the kinds of knowledge structures that experts use.


실제로, 지식에 대해서 단일한 중심적인 형태는 없을 가능성이 높다; 오히려, 전문 지식의 한 가지 특징은 분석적인 것에서 경험적인 것에 이르는 광범위한 지식영역이다.

Indeed, it is likely that there is no one central form of knowledge; rather, one hallmark of expertise is the mastery of vast domains of knowledge ranging from analytical—base rates and physiological mechanisms—to experiential.


4 | 반계몽주의: 2000년부터 현재까지

4 | THE COUNTERENLIGHTENMENT: 2000 TO THE PRESENT


4.1 | 사고력의 부활

4.1 | The reemergence of thinking skills


새 천년은 일반 교육과 심리학, 그리고 의학 교육에서 일반적인 사고 전략에 대한 관심이 되살아나는 것을 발견했다. 그러나 이름은 바뀌었다. 비판적 사고, 메타인지, 성찰과 같은 용어가 등장했다. 게다가, 의사결정의 "이중 프로세스" 이론은 문제 해결과 진단에 관한 담론을 지배하게 되었다.

The new millennium found a resurgence of interest in general thinking strategies, both in general education and psychology, and in medical education. However, the names changed. Terms like “critical thinking,” “metacognition” and “reflection” entered the lexicon. Moreover, “dual process” theories of decision making came to dominate discourse on problem solving and diagnosis.


4.2 | 인지심리학

4.2 | Cognitive psychology


4.2.1 | 비판적 사고

4.2.1 | Critical thinking


비판적 사고는 흔히 학생들이 지식 습득과 병행하여 개발할 수 있는(그러나 반드시 연결되어 있는 것은 아니다) 기술로 묘사된다.18

Critical thinking is often described as a skill that students can develop in parallel with (but not necessarily connected to) knowledge acquisition.18


대다수의 문헌은 비판적 사고는 일반적이고 맥락에 구애받지 않는 기술이라고 가정하고 있다. "판단, 분석, 평가, 추론"과 태도 "양심적이고, 잘 알고, 열린 마음" 유연성... 신중성..." 등.19. 일반적인 비판적 사고 교육의 효과는 일반적인 비판적 사고 프로세스를 테스트하기 위해 설계된 왓슨-글레이저 비판적 사고 평가(WGCTA)와 같은 척도로 평가된다.20

By far the majority of the literature assumes that critical thinking is a general, context-independent set of skills: “judgement, analysis, evaluation, inference” and attitudes “inquisitive, well-informed… open-minded,

flexible… prudent…” and so on.19 The effect of general critical thinking instruction is commonly assessed by measures such as the Watson–Glaser Critical Thinking Appraisal (WGCTA), designed to test general critical thinking processes.20


4.2.2 | 메타인지

4.2.2 | Metacognition


메타인지(metacognition)는 자신의 생각을 인식하는 것을 말한다. 메타인지에 대한 대부분의 연구는, 메타인지는 지식과는 구별되며, [학습을 할 수 있는 일반적인 자기조절활동]으로 구성되어 있다고 가정한다. 그리고 이 능력은 "학생들이 학습과 문제 해결을 위한 전략을 감시하고, 반성하고, 개선하도록 돕는다." 

Metacognition refers to awareness of one's thinking. Most research on metacognition assumes that it consists of general selfregulatory activities that can be learned distinct from knowledge and that “help[ing] students monitor, reflect upon, and improve their strategies for learning and problem solving.”21 


그러나 브랜스포드와 슈워츠는 다음과 같이 지적한다. 

"연구 결과에 따르면, 메타인지적 활동에는 지식이 강력하게 요구된다. 메타인지는 "한 번에, 모든 것을 배울 수 있는" 일반적인 기술이 아니다예를 들어 특정 과제의 수행요건에 대해 잘 구분된 지식이 없으면, 사람들은 자신이이 그 과업을 수행할 준비가 되어 있는지 여부를 정확하게 평가할 수 없다."

However, Bransford and Schwartz point out: “Research also suggests that metacognitive activities have strong knowledge requirements; they are not general skills that people learn “once and for all.” For example, without welldifferentiated knowledge of the performance requirements of a particular task, people cannot accurately assess whether they are prepared to perform that task.”11


4.2.3 | 이중 프로세스 이론과 인지적 편견

4.2.3 | Dual process theories and cognitive biases


이중 프로세스 이론은 신속하고 무의식적이며 맥락적으로 한정된 프로세스(시스템 1 또는 유형 1)와 느리고 의식적이며, 노력하며, 탈맥락화된 프로세스(시스템 2 또는 유형 2)의 두 가지 기본적 사고 프로세스를 제시한다이러한 이론들은 예측이 아니라 서술적이다; 그들은 어떻게 해결해야 하는지를 규정하거나 어떻게 해결될지를 예측하기 보다는 어떻게 애매한 문제가 해결되는지를 묘사한다.

Dual process theories posit two underlying thinking processes: a fast, unconscious, contextually bound process (System 1 or Type 1) and a slow, conscious, effortful, decontextualised process (System 2 or Type 2).22 These theories are descriptive, not predictive; they describe how ambiguous problems are solved rather than prescribing how they should be solved or predicting how they will be solved.


"기본 중재자default-interventionist"라고 불리는 지배적인 이중 프로세스 이론은 시스템 1을 기본 전략으로, 시스템 1의 불가피한 오류를 수정하기 위해 적절히 개입할 백업으로 시스템 2를 제시한다. 시스템 1 추론은 인지적 지름길이나 "휴리스틱"을 주로 이용하며, 이것은 인간 정보 처리가 제한된 결과이다. 그 결과, 시스템 1에서는 오류가 발생하기 쉽고 편견으로 이어질 것으로 예상된다.23 대부분의 오류는 시스템 1의 편견의 결과로 시스템 1에서 발생하는 것으로 추정되며 시스템 2를 통해서만 해결할 수 있다고 생각한다. 진단에 대한 이중 프로세스 모델은 국지적 내용 및 상황별 지식(시스템 1)에 의존하는 전략에 대한 일반 분석 방법(시스템 2)의 효과에 대한 직접 테스트에 해당한다.

The dominant dual process theory, called “default-interventionist,” posits System 1 as the default strategy and System 2 as a backup with which to intervene as appropriate to correct the inevitable errors of System 1. System 1 reasoning makes heavy use of cognitive shortcuts or “heuristics” as a consequence of the limitations of human information processing. These in turn are expected to be error-prone and to lead to bias.23 Most errors are presumed to arise in System 1 as a consequence of biases in System 1 and can only be resolved using System 2. Dual process models of diagnosis amount to a direct test of the effectiveness of general, analytical methods (System 2) against strategies that depend on local content and contextual knowledge (System 1).


그러나, 오류는 시스템 1에서 비롯되고 시스템 2에 의해 수정된다는 가정은 앞 섹션에서 설명한 결과와 직접적으로 배치된다. , [정교한 특정 지식을 바탕으로 한 간단한 전략]이 [보다 일반적이고 지식-무관련 전략]을 일관되게 능가한다.

The assumption that errors originate in System 1 and are corrected by System 2 runs directly counter to the findings discussed earlier in the Enlightenment section, in which simple strategies based on elaborate specific knowledge consistently outperform more general, knowledge-lean strategies.


오류는 시스템 1에서 고유하게 발생한다는 주장은 일부 "이중 처리" 이론가들에 의해 제기되었다. 에반스와 스타노비치 주지사는 분명히 "아마도 가장 끈질긴 오류는 1타입 프로세스(직관적이고, 휴리스틱한)가 모든 나쁜 사고에 책임이 있고 2타입 프로세스(반사적이고, 분석적)가 반드시 올바른 반응을 이끌어 낸다는 생각이다. 따라서 다양한 형태의 이중 프로세스 이론은 추론과 판단 연구의 인지적 편견을 1형 프로세싱 탓으로 돌렸다... 그에 상응하는 논리적 추론, 합리적인 의사결정 및 비철학적 판단은 2형 프로세싱에 귀속되었다."22

The claim that errors arise uniquely in System 1 has been challenged by some “dual processing” theorists. Evans and Stanovich state unequivocally: “Perhaps the most persistent fallacy… is the idea that Type 1 processes (intuitive, heuristic) are responsible for all bad thinking and that Type 2 processes (reflective, analytic) necessarily lead to correct responses. Thus, various forms of dual process theory have blamed Type 1 processing for cognitive biases in reasoning and judgement research… Correspondingly, logical reasoning, rational decision making, and nonstereotypical judgements have been attributed to Type 2 processing.”22


비록 오류는 시스템 1에서 비롯되고 시스템 2에서 개선된다는 개념이 만연하지만, 최근의 이론과 증거가 시사하는 바와는 전혀 다르다.

Although the notion that errors originate in System 1 and are ameliorated in System 2 is pervasive, recent theory and evidence suggest otherwise.



4.3 | 의학 교육

4.3 | Medical education


4.3.1 | 비판적 사고

4.3.1 | Critical thinking


심리학 문헌과 유사하게, 일부 연구는 (비판적 사고가 성격과 유사하다고 암묵적으로 가정하여) 비판적 사고 시험의 점수와 임상적 의사결정 또는 사무적 성과와 같은 결과 사이의 관계를 조사한다. 대신에, 연구는 수년간의 교육으로 비판적 사고방식의 향상을 찾고 있는데, 그것은 그것이 기술과 같다고 가정하고, 시간이 지남에 따라 점차적으로 증가하고 있다. 일반적으로 연관성은 미약하고, 리뷰 기사의 주요 저자들은 "동시적 타당성은 제한적"이라고 결론내리며, "증거는... 아직 근거가 없다", "결과...혼합되고 모순된다."28라고 말한다.

Similar to the psychology literature, some studies examine the relationship between scores on a critical thinking test and outcomes such as clinical decision making or clerkship performance,24-26 implicitly assuming that critical thinking is trait-like. Alternatively, studies look for improvement in critical thinking with years of education,27 which presumes it is skill-like, gradually increasing over time. In general, associations are modest, leading authors of review articles to conclude “limited concurrent validity,”28 “evidence… is still unsubstantiated,”24 and “results… are mixed and contradictory.”28


4.3.2 | 메타인지

4.3.2 | Metacognition


의학 내에서는 자기 자신의 사고에 대한 인식이 성찰 행위로 번역되어 왔다. 많은 교육 프로그램들은 전문성과 관련된 기술 개발을 돕기 위해 공식적이고 비공식적인 성찰 활동을 통합한다. 형식적으로, 성찰적 실천가가 되거나 성찰적인 전문적 실천을 하는 것은 도날드 숄의 고전적인 작업과 관련이 있는데, 이들은 자신의 행동과 생각을 가까운 최근의 "행동에서의 반성"이나 먼 과거의 "행동에서의 반성"으로부터 검토할 수 있는 활동을 강조한다.29. 일반적으로 이 활동은 복잡성, 모호성 또는 불확실성에 대응하여 유기적으로 발생한다. 일부 저자들은, 이는 일상적으로 사용되는 메타 인식과 성찰의 일반적인 전략이 성과를 향상시킬 것으로 해석한다.

Within medicine, awareness of one's own thinking has been translated into the act of reflection. Many education programmes incorporate formal and informal reflective activities to help develop skills related to professionalism. Formally, being a reflective practitioner or having a reflective professional practice is associated with the classic work of Donald Schön, who emphasises activity that allows examination of one's actions and thoughts from the near “reflection in action” or distant “reflection on action” past.29 Typically, this activity occurs organically, in response to complexity, ambiguity or uncertainty.30 This has been interpreted by some authors to suggest that a general strategy of metaawareness and reflection used routinely will improve performance.31,32


그러나 우리는 성찰을 실행하고 그 효과에 대한 체계적인 연구를 실시하려는 시도를 거의 알지 못한다.

We are aware of very few attempts to operationalise reflection and conduct systematic study of its effectiveness.


구조화된 전략33-37은 비교적 일관된 결과를 보여준다. 즉, 학생의 경우 단순한 사례, 레지던트의 경우 복잡한 사례에 대해 도움이 된다. 덜 구조화된 접근법을 평가하는 다른 연구들(즉, 단순히 다른 모양을 취하거나 실제적인 실천 제약조건과 일관되도록 체계적으로 하기 위한 지침)은 단순하거나 복잡한 사례에 아무런 영향을 주지 않았다.38,39

The structured strategy33-37 shows relatively consistent results—a benefit for simple cases with students and complex cases with residents. Other studies evaluating a less structured approach (ie instructions to simply take another look or to be systematic, consistent with realistic constraints of practice) have shown no effect for simple or complex cases.38,39


게다가 의사와 학생들은 실수를 했을 때 인지하는 데 어려움을 겪는다.38 예를 들어, 몬테이로 외 연구진이 실시한 연구에서 의사들은 어떤 경우에 더 많은 반성을 필요로 하는지 결정할 수 없었다. 마찬가지로, Friedman 등은 학생, 레지던트, 의사가 지속적으로 그들의 진단에 대해 지나치게 자신하고 있다는 것을 발견했다.17, 17, 40

Moreover, physicians and students have difficulty recognising when they have made an error.38 For example, in a study by Monteiro et al,38 physicians were unable to determine which cases required further reflection. Similarly, Friedman et al found that students, residents and physicians were consistently overconfident in their diagnoses.17, 40


추론을 개선하기 위한 메타인지 전략은 문헌에서 어느 정도 주목을 받았으며, 자주 자가 모니터링 훈련을 하면 결과가 개선될 것이라고 제안한다.41,42 그러나 자세히 살펴본 결과 이러한 성과 개선이 진단 정확도로 이어지지는 않는다.

Metacognitive strategies to improve reasoning have received some attention in the literature, often with suggestions of improved outcomes resulting from training in selfmonitoring.41,42 However, upon closer inspection these improved outcomes do not transfer to diagnostic accuracy.


4.3.3 | 이중 프로세스 이론과 인지적 편견

4.3.3 | Dual process theories and cognitive biases


지적한 바와 같이 이중 처리 모델은 임상추론에서 받아들여지게 되었다. 이 이론의 중심은 성공적인 추론이 효과적인 사고 과정을 반영한다는 개념이며, 반대로, 오류는 인지적 휴리스틱스에서 비롯되는 결함 있는 추론의 결과라는 개념이다. 여기에는 임상 추론의 성격에 대한 두 가지 강력한 가정이 수반되며, 두 가정 모두 경험적 시험의 대상이 된다.

As indicated, a dual process model of thinking has become the accepted theory of clinical reasoning. Central to the theory is the notion that successful reasoning reflects effective thinking processes and, conversely, that errors are a consequence of flawed reasoning, originating in cognitive heuristics. This involves two strong assumptions about the nature of clinical reasoning, both of which are subject to empirical testing.


[가정 1] 거의 모든 진단 오류는 시스템 1 사고에서 비롯되는 인지적 편견의 결과물이다.43

Assumption 1 Almost all errors of diagnosis are a consequence of cognitive biases originating in System 1 thinking.43


시스템 1 사고와 인지적 편견이 진단 오류의 주요 원인이라는 개념은 많은 저자와 의학연구소 보고서에 의해 설명되었다. 그러나 뒷받침되는 증거는 약하다. 문헌에 기술된 편견의 수는 30개에서 130개까지 다양하지만, 의학에서 인지적 편견에 대한 세 가지 체계적인 검토는 증거가 있는 총 24개의 편견을 식별한다.48-50 그러나 이는 진단 오류뿐만 아니라 관리 및 예후의 오류와 환자 관련 편견을 포함한다. 단 7개만이 진단 오류와 관련이 있다. 더욱이, 세 가지 체계적인 검토에서 오직 세 가지 편견, 즉 가용성, 확인, 사후 판단만이 공통적으로 인용된다.48-50

The notion that System 1 thinking and cognitive biases are primary causes of diagnostic error has been described by many authors43-46 and features in the Institute of Medicine report.47 However, the supporting evidence is weak. Although the numbers of biases described in the literature range from 30 to 130, three systematic reviews of cognitive biases in medicine identify a total of 24 biases for which there is evidence.48-50 However, these encompass not just diagnostic errors, but also errors of management and prognosis, as well as patientrelated biases; only seven are related to diagnostic error. Moreover, only three biases—availability, confirmation and hindsight—are cited in all three systematic reviews.48-50


여기서, 우리는 세 가지 공통된 편향에 대한 확립된 정의를 검토한다.

Here, we examine the established definitions of three common biases.


가용성 편향: 사물이 쉽게 떠오를 경우, 더 가능성이 높거나 자주 발생하는 것으로 판단하는 성질. 따라서, 최근 질병에 대한 경험은 질병이 진단될 가능성을 부풀릴 수 있다.43

Availability bias: the disposition to judge things as being more likely, or frequently occurring, if they readily come to mind. Thus, recent experience with a disease may inflate the likelihood of its being diagnosed.43


가용성(Availability)은 관리자의 에피소드에서 발생하는 진단 오류에 대한 검토자에 의해 식별된 가장 일반적인 인지적 편견 중 하나이다.51, 52 그러나 이는 논리적으로 불가능하다. 관찰자, 즉 서면 사례를 검토하는 감사자는 임상의사에게 "신기하게 떠오른 것"이 무엇인지 알 길이 없다. 따라서, 시스템 1의 사고는 무의식적이고 직관적인 과정으로 특징지어지므로, (관찰자 뿐만 아니라) 환자를 관리했던 임상의도 알 길이 없다.

Availability is one of the commonest cognitive biases identified by reviewers of diagnostic errors occurring in episodes of care.51, 52 However, this is logically impossible. An observer, or an auditor reviewing a written case, has no way of knowing what “readily came to mind” to the clinician. For that matter, as System 1 thinking is characterised as an unconscious, intuitive process, neither does the clinician who managed the patient.


확인 편향: 반박할 증거를 부정하기보다 진단을 뒷받침할 증거를 확인하는 경향이 있다. 비록 후자가 종종 더 설득력 있고 확정적이긴 하지만.43

Confirmation bias: the tendency to look for confirming evidence to support a diagnosis rather than look for disconfirming evidence to refute it, despite the latter often being more persuasive and definitive.43


확증 편향은 분석 규칙에 의해 생성된 숫자 시퀀스 세트를 사용하여 Wason53에 의해 처음 연구되었다. 임상적 맥락에서, 정의가 시사하는 바와 같이, 이는 가설을 우선적으로 뒷받침하기 위한 근거의 체계적인 수집과 가중치 부여에서 발생한다. 이것은 시스템 1 추론의 결과가 아니다.

Confirmation bias was first studied by Wason53 using sets of number sequences generated by an analytical rule. In a clinical context, as the definition suggests, this arises in the systematic gathering and weighting of evidence to preferentially support hypotheses. This is not a consequence of System 1 reasoning.


사후확신 편향: 결과를 아는 것은 과거의 사건에 대한 인식에 큰 영향을 미칠 수 있고 실제로 일어난 일에 대한 현실적인 평가를 방해할 수 있다.43

Hindsight bias: knowing the outcome may profoundly influence the perception of past events and prevent a realistic appraisal of what actually occurred.43


결과가 알려질 때 힌트가 생긴다. 따라서 오류의 근본원인의 결정은 임상사례를 검토하는 사람들에게 중심적인 문제지만 진단을 추구하는 임상의에게는 문제가 되지 않는다. 사후확신 편향은 시스템 1 사고와 관련이 없다.

Hindsight arises when the outcome is known. Thus, the determination of underlying causes of error is a central issue for those reviewing clinical cases, but is not a problem for a clinician seeking a diagnosis. Hindsight bias is not related to System 1 thinking.


[가정 2] 오류는 인지적 편견의 결과이기 때문에, 오류 감소 전략은 임상의사가 인지적 편견을 식별하고 시스템 1 사고에 내재된 오류를 수정하기 위해 시스템 2 추론을 효과적으로 사용하는 접근에 초점을 맞추어야 한다(예: 인지적 강제 전략).

Assumption 2 Because errors are a consequence of cognitive biases, error reduction strategies should focus on approaches that help clinicians identify cognitive biases and effectively use System 2 reasoning to correct the errors inherent in System 1 thinking (eg cognitive forcing strategies).43, 51, 60


인지강화전략은 "지금 이 순간"에 대한 인식과 추론을 개선하기 위한 일반적인 전략이다.61 인지강화전략의 기본 개념은 자신의 생각의 자기인식을 높이고 일반적인 인지편견을 피함으로써 잠재적 오류를 식별하는 것이다.43,60,61

Cognitive forcing strategies are general strategies for improving metacognition and reasoning “in the moment.”61 The basic concept is to increase selfawareness of one's own thinking and identify potential errors by avoiding common cognitive biases.43,60,61


아마도 가장 간단한 "인지적 강제력 전략"은 임상의사에게 체계적으로 주의를 주거나, 속도를 늦추거나, 대안을 고려하라는 일종의 지시일 것이다. 많은 연구에서 신속한 진단이 느린 체계적 성찰와 비교되었다.38,39,62-64 균일한 발견은 "체계적이고 철저하게 하라는 지침이 결과 처리 시간을 늘리지만, 진단 오류에는 아무런 영향을 미치지 않는다"는 것이다.

Perhaps the simplest “cognitive forcing strategy” is some form of instruction to caution the clinician to be systematic, to slow down or to consider alternatives. In a number of studies, rapid diagnosis has been compared with slower systematic reflection.38,39,62-64 A uniform finding is that instructions to be systematic and thorough result in longer processing time, but have no impact on diagnostic errors.


몇몇 리뷰는 학생들에게 편견을 인식하도록 가르치기 위해 고안된 전략의 효과를 조사하였다.32, 49, 50, 65 편견에 대한 훈련은 인지적 편견에 대한 인식을 증가시킨다.66-68 그러나, 진단 오류에 대한 차감 효과에 대한 연구는 마이너스였다.69-71

Several reviews have examined the effectiveness of strategies designed to teach students to recognise biases.32, 49, 50, 65 Training increases awareness of cognitive biases.66-68 However, studies of the effect of debiasing on diagnostic errors have been negative.69-71


4.4 | 요약

4.4 | Summary


여러 증거는 (탈편견, 성찰 등 무엇이든간에) 오류를 줄이기 위한 "일반화된 내용-무관 전략"은 효과가 없거나 미미한 효과 뿐임을 보여준다. 이는 오류가 [불충분한 사고 능력]이 아니라 [불충분한 지식]에서 비롯된다는 단순한 이유 때문이다. 성찰 전략은 효과가 균일하지 않지만 작은 편익을 가질 수 있다..65 탈편향 전략은 균일하게 아무 효과가 없었다.65 따라서, 임상의로 하여금 과정이나 추론을 성찰하거나, 일반적인 분석적 접근법을 적용하도록 권장하는 시도는, 의사들로 하여금 지식이 아니라, 분석적 기술이나 약한 방법에 초점을 맞추게 하기 때문에 단순한 이유 때문에 효과적이지 않을 수 있다.

The evidence shows that generalised, content-independent strategies—debiasing, reflection or whatever—to reduce errors have no or minimal effectiveness for the simple reason that errors derive not from inadequate thinking skills but from inadequate knowledge. Reflection strategies may have a small benefit, although effects are uneven.65 Debiasing strategies have shown uniformly null effects.65 Thus, attempts to encourage clinicians to reflect on the process or reasoning, or to apply general analytical approaches, may not be effective for the simple reason that they focus on analytical skills, or on weak methods, not knowledge.


달리왈이 말했듯이, "중증근무력증에 대해 듣지 못했다면, 인지적으로 그 진단에 방해가 되는 편향을 없앨 수 없다. [...] 전문가 수행의 영역에서는 지식이 왕이다."72

As Dhaliwal said: “If you have not heard about myasthenia gravis, you cannot cognitively debias your way into that diagnosis. […] In the realm of expert performance, knowledge is king.”72


5 | 고찰

5 | DISCUSSION


축적된 증거에 비추어, 우리는 일반 기술의 신화가 왜 의학 교육에 반세기 동안 지속되어 왔는지 설명해야 한다. 한 가지 이유는 그것이 의학의 실천에 필요한 많은 지식의 영역을 숙달하는 지름길을 제공하기 때문일 것이다. 2002년에 크로스케리는 다음과 같이 썼다. "...우리는 [과연 축적된 경험의 혜택과 함께 제공되는 판단의 개선을 기다리지 않고서] 임상의사를 더 나은 의사결정자로 만드는 것이 가능한 일인지 알아야 한다."60

In light of the accumulated evidence, we must address why the myth of general skills has persisted in medical education for half a century. One reason may be that it offers a shortcut to mastery of the many areas of knowledge required in the practice of medicine. In 2002, Croskerry wrote: “…we need to know whether we can make clinicians better decision makers without simply waiting for the improved judgement that comes with the benefit of accumulated experience.”60


의학교육 커리큘럼은 제한된 시간과 자원에 시달린다아마도 의료 교육자와 커리큘럼 설계자들은 필연적으로 전이가 될 것이라는 환상을 가지서는, 일반화 가능한 기술들에 끌리게 되고, 따라서 무수한 다른 지식 영역에서 학습과 실천의 필요성을 피하게 될 것이다. 모두가 너무 바쁘기 때문에 그 신화는 계속된다.

Medical education curricula suffer from restricted time and resources. Perhaps medical educators and curriculum designers are inevitably drawn towards generalisable skills that have the illusion of transfer, thereby avoiding the necessity of learning and practice in myriad different knowledge domains. The myth persists because everyone is too busy.


역량 기반 교육을 향한 움직임은 신화의 만연함을 보여준다. 비록 어떤 역량은 요추 구멍이나 삽관 같은 특정한 지식에 바탕을 두고 있지만, "완전하고 체계적인 역사 수행"이나 "전문간 협업 기술 시연"과 같이, 프레임워크는 맥락과 무관하게 습득해야 하는 역량에 따라 짜여져 있다. "좋은 병력청취"라는 말의 밑바탕은 일반화가능성을 암시하는 가정이다. 만약 그렇다면, 접근방식이 특정 임상 내용과 어떻게 또는 심지어 결합되더라도 문제가 되지 않아야 한다. 접근방식은 쉽게 전이되어야 한다. 그러나, 우리가 제시한 증거는 심리학과 의학 교육 양쪽으로부터 인지기술이 무엇이든 그것의 일반화가능성에 의문을 제기한다.

The movement towards competency-based education illustrates the pervasiveness of the myth. Although some competencies are based on specific knowledge, such as a lumbar puncture or intubation, many are framed around content and the context-free competencies to be acquired, such as “performing a complete and systematic history” or “demonstrating interprofessional collaboration skills.” Underlying the “good history” is an implicit assumption of generalisability. It should not matter how or even if the approach is paired with specific clinical content; the approach should transfer easily. However, the evidence we have presented, from both psychology and medical education, casts doubt on the generalisability of any cognitive skill.


마지막으로, 탈편향 전략이 가정하는 것은 오류의 근본 원인이 인지적 편견이라는 점이다. 이것은 약간의 호소력을 가지고 있다: 그것은 임상의사를 비난으로부터 해방시킨다; 인지적 편견은 단순히 인간 상태의 일부일 뿐이다. 그러나 만약 인지편향이 진단오차의 핵심이라면, 비판적 사고나 인지적 차이에 대한 훈련을 받으면 추론능력이 향상되고 오류가 감소되어야 한다. 그러한 효과에 대한 증거는 명확히 없다.

Finally, the assumption of debiasing strategies is that the root cause of error is cognitive bias. This has some appeal: it absolves the clinician from blame; cognitive bias is simply part of the human condition. However, if cognitive bias is so central to diagnostic error, then training in critical thinking or cognitive debiasing should result in improved reasoning skill and reduced error. Evidence for such an effect is conspicuously absent.


신화가 지속된다면 결국 효과적이지 않은 개입을 숙달하는 데 귀중한 교육 시간과 학습 시간이 바쳐질 것이다. 진단 오류의 유행을 주목하는 것이 유용할 수 있지만, 인지적 편견의 긴 리타니는 아무런 부가 가치도 없다. 편견을 식별하는 것은 오류를 줄이는 것과 같지 않다는 것을 충분한 증거가 반복적으로 입증했다.

The consequence of the persistence of the myth is that valuable instructional and learning time may be devoted to mastering interventions that, in the end, are not effective. Although it may be useful to draw attention to the prevalence of diagnostic error, the long litany of cognitive biases has no added value. Ample evidence has demonstrated repeatedly that identifying biases is not equivalent to reducing error.


오류율을 낮추는 것은 칭찬할 만한 목표다. 그러나 직관적 추론의 인식된 결함을 보완하기 위해 [일반적인 문제해결 프로세스]를 조정함으로써 이것이 달성될 수 있다는 광범위한 가정에 기초한 전략은 비효과적인 것으로 나타났다. 이 영역의 진전은 시스템 1 추론의 힘을 받아들이고 시스템 1에서 사용하는 경험적 지식의 폭과 깊이를 향상시키기 위한 인터리브 연습과 같은 전략을 고안함으로써 발생할 가능성이 더 높다.

Reducing error rates is a laudable goal. However, strategies based on the broad assumption that this can be achieved by tuning up a general problemsolving process in order to compensate for the perceived defects of intuitive reasoning have been shown to be ineffective. Progress in this area is more likely to arise from accepting the power of System 1 reasoning and devising strategies such as interleaved practice to improve the breadth and depth of the experiential knowledge used by System 1.


6 | 결론

6 | CONCLUSIONS


우리는 의학 교육에서 대중화된 현재의 추론과 사고방식의 모델들이 심리학에서 1세기 이상, 의학에서 반세기 이상 축적된 증거에 비교하자면 [모순되는 이론적 입장]을 자행한다는 것을 보여주었다. 전문가들에 의해 사용되는 지식의 효율적 전략이 [일반적인 분석적 접근법, "합리적" 접근법]보다 열등하다고 볼 수 있는 입장에 대한 명분이 없다.

We have shown that the current models of reasoning and thinking popularised in medical education perpetrate a theoretical position that is inconsistent with the evidence accrued for over a century in psychology and half a century in medicine. There is no justification for the position that knowledge-rich, efficient strategies, as used by experts, can be viewed as inferior to general analytical and “rational” approaches.


우리는 이성적인 일반화 규칙이 사례 경험에서 도출된 휴리스틱스보다 더 효과적이라는 주장에 이의를 제기하는 것은 처음이 아니다.73,74 인공지능의 구루로 인정받은 드레퓌스는 이렇게 썼다: 플라톤에서 ...피아제트 ... 촘스키...까지 이어지는 [초심자가 구체적인 사례에서 시작하여 점점 더 능숙해짐에 따라, 점점 더 정교한 규칙들을 추상화하고 내실화할 것] 관점을 버릴 준비가 되어있어야 한다. 그러나 기술 습득은 아마 반대 방향으로 진행된다고 밝혀질 것이다. 추상적인 규칙에서 특정 사례로 움직일 것이다"

We are not the first to challenge the assertion that rational generalisable rules are more effective than heuristics derived from case experience.73,74 Dreyfus, acknowledged as the guru of artificial intelligence, wrote: “We must be prepared to abandon the traditional view that runs from Plato to… Piaget … Chomsky… that a beginner starts with specific cases and… as he or she becomes more proficient, abstracts and interiorises more and more sophisticated rules. It might turn out that skill acquisition moves in just the opposite direction: from abstract rules to particular cases.”75


[합리적이며, 탈맥락화된 전략]의 신격화는 상황별 휴리스틱 접근법으로부터 진화적 적응을 나타낸다는 일부 주장과 일관된다. 인간의 인식이 순수하게 정신적 노력을 통해 진화할 수 있다면 실로 경이로운 일일 것이다. 전문화된 전문지식의 현 시대에, 교육의 중심 초점은 비판적 사고, 문제해결, 임상적 추론, 반성과 같은 일반적인 기술을 주입하는 것이어야 한다는 이 논문의 시작 부분에서 우리가 소개한 주장에 이의를 제기해야 할 모든 이유가 있다. 아마도 호모 사피엔스-"현명한 사람"-은 "호모 사이언스"(알고 있는 사람)이라는 진화의 정점으로 대체되어야 할 것이다.

The deification of rational, decontextualised strategies is consistent with some claims that they represent an evolutionary adaptation from contextualised heuristic approaches. It would be a marvel indeed if human cognition were able to evolve purely through mental effort. In the current era of specialised expertise, there is every reason to challenge the assertion we introduced at the beginning of this paper: that the central focus of education should be to inculcate general skills like critical thinking, problem solving, clinical reasoning and reflection. Perhaps Homo sapiens—“wise man”—should be replaced by “Homo sciens”—“knowing man”—at the apex of evolution.





48. Blumenthal-Barby JS, Krieger H. Cognitive biases and heuristics in medical decision making: a critical review using a systematic search strategy. Med Decis Making. 2015;35(4):539-557.


49. Saposnik G, Redelmeier D, Ruff CC, Tobler PN. Cognitive biases associated with medical decisions: a systematic review. BMC Med Inform Decis. 2016;16(1):138.


50. Lambe KA, O'Reilly G, Kelly BD, Curristan S. Dualprocess cognitive interventions to enhance diagnostic reasoning: a systematic review. BMJ Qual Saf. 2016;25:808-820.







, 54 (1), 66-73
 

Critical Thinking, Biases and Dual Processing: The Enduring Myth of Generalisable Skills

Affiliations 

Affiliations

  • 1Health Research Methods, Evidence and Impact, McMaster University, Hamilton, Ontario, Canada.
  • 2McMaster Education Research, Innovation and Theory Programme, McMaster University, Hamilton, Ontario, Canada.
  • 3Department of Medicine, McMaster University, Hamilton, Ontario, Canada.

Abstract

Context: The myth of generalisable thinking skills in medical education is gaining popularity once again. The implications are significant as medical educators decide on how best to use limited resources to prepare trainees for safe medical practice. This myth-busting critical review cautions against the proliferation of curricular interventions based on the acquisition of generalisable skills.

Structure: This paper begins by examining the recent history of general thinking skills, as defined by research in cognitive psychology and medical education. We describe three distinct epochs: (a) the Renaissance, which marked the beginning of cognitive psychology as a discipline in the 1960s and 1970s and was paralleled by educational reforms in medical education focused on problem solving and problem-based learning; (b) the Enlightenment, when an accumulation of evidence in psychology and in medical education cast doubt on the assumption of general reasoning or problem-solving skill and shifted the focus to consideration of the role of knowledge in expert clinical performance; and (c) the Counter-Enlightenment, in the current time, when the notion of general thinking skills has reappeared under different guises, but the fundamental problems related to lack of generality of skills and centrality of knowledge remain.

Conclusions: The myth of general thinking skills persists, despite the lack of evidence. Progress in medical education is more likely to arise from devising strategies to improve the breadth and depth of experiential knowledge.

피드백 신화에 도전하다: 가치, 학습자 참여, 즉각적 과제를 넘어선 효과(Med Educ, 2018)

Challenging feedback myths: Values, learner involvement and promoting effects beyond the immediate task

Elizabeth Molloy1 | Rola Ajjawi2 | Margaret Bearman2 | Christy Noble3,4,5 | Joy Rudland6 | Anna Ryan1





1 | 도입

1 | INTRODUCTION


어떤 교육 의식은 너무 깊이 배어 있고 이념적으로 유혹적이어서 우리는 그것들을 도전할 필요가 없는 관행으로 받아들인다. 보건 전문가 또는 보건 전문가 학습자에게 제공하는 "균형잡힌" 피드백은 그러한 전통 중 하나를 대표하며, "펜들턴 시스템"과 "피드백 샌드위치"와 같은 모델을 통해 더욱 합법화되고 실제로 내재되어 있다. 지난 20년 동안의 연구, 특히 Workplace에 기초한 피드백에 대한 연구는 [피드백이 학습자에게 항상 우리가 희망하는 영향을 미치지는 않는다]는 것을 보여준다.1

Some educational rituals are so deeply ingrained and so ideologically seductive that we accept them as practices that don't need to be challenged. The provision of “balanced” feedback to health professionals or to health professional learners represents one of those traditions, further legitimised and embedded in practice through models such as the “Pendleton system” and the “feedback sandwich.” Research over the last 20 years, particularly in workplacebased feedback, reveals that feedback does not always have the effects on learners we would hope for.1


피드백 에피소드를 자세히 살펴보면 "피드백 샌드위치"가 구미를 증가시키는 바람직한 효과를 가지지 않을 수 있지만, 오히려 학습자와 교육자 모두에게 잘못된 장소에 에너지를 투자하는 결과를 가져올 수 있다는 것을 알 수 있다.2 

  • 교육자들은 그들이 민감한 코멘트이라고 생각하는 것을 만들어, 교육자 자신 이외의 누구에게도 해독하기 어려운 방식으로 전달하는 반면, 

  • 학습자들은 이러한 일방적 서술들을 해독하는 데 에너지를 쓰거나 칭찬에만 집중한다. 

  • 설상가상으로, 교육자와 학습자 모두 피할 수 없는 쓰라림을 피하기 위해 피드백을 회피하거나 왜곡할 수 있다.

Close examination of feedback episodes suggests that the “feedback sandwich” may not have the desired effect of increasing palatability, but may, rather, result in both learners and educators investing energy in the wrong places.2 

  • Educators craft what they think are sensitive comments and deliver these in ways that may be hard to decipher by anyone other than the educators themselves, 

  • whereas learners expend energy on decoding these oneway narratives or focus only on praise. Worse still, both educators and learners may avoid or deflect feedback all together3-5 to avoid the inevitable bitterness.


우리는 피드백 과정에 학습자를 참여시키는 것이 일방적 정보 전송에 의해 특징지어지는 교사 주도 피드백 의식에 보고된 감정적 반응을 탐색하는 가장 좋은 방법이라고 주장한다. 이것은 피드백 이해력을 가진 학습자를 무장시키는 것, 이는 "정보를 파악하여 업무나 학습 전략을 강화하기 위해 필요한 이해, 역량 및 성향"을 의미한다7 학습자 피드백 이해능력의 일부는 (대인)관계 활동에서 감정을 예측하고 감정을 관리하는 방법을 배우는 것이다. 특히 특히 학습자와 "다른 사람들" 사이의 성과에 대한 이질적인 관점이 있을 때, 그것이 교사든 동료든 환자든 말이다.

we argue that involving the learner in feedback processes is the best way to navigate the emotional responses that are reported in teacher led feedback rituals characterised by oneway information transmission. This means arming learners with feedback literacy, or the “understandings, capacities and dispositions needed to make sense of information and use it to enhance work or learning strategies.”7 Part of learner feedback literacy is indeed learning how to anticipate emotion and manage emotions in relational activities, particularly when there are disparate perspectives on performance between the learner and the “other,” whether that is the teacher, peer or patient.4


우리는 또한 "피드백 규칙"이 문맥을 깔아뭉게지 않도록, 피드백의 위치적이고 관계적인 성격에 더 명확하게 초점을 맞출 것을 주장한다. 우리는 피드백의 개념을 다음과 같은 정의로 표현된다.

We also argue for a clearer focus on the situated and relational nature of feedback, in which “feedback rules” do not stack up across contexts. Our conceptualisation of feedback is represented by the definition:


피드백은 학습자가 [개선된 작업]을 생성하기 위해 [주어진 작업에 대한 적절한 기준]과 [작업 자체의 품질] 사이의 [유사성 또는 차이를 인식]하기 위한 목적으로 [자신의 작업에 대한 정보]를 얻는 과정이다.8

Feedback is a process whereby learners obtain information about their work in order to appreciate the similarities and differences between the appropriate standards for any given work, and the qualities of the work itself, in order to generate improved work.8


피드백에 대한 이러한 광범위한 이해는, 교사로부터 학습자로의 일회적인 정보 교환이 아니라, 시간에 따라 제정된 과정으로서 피드백이 입력, 전형적으로 말하기의 입력이라는 개념에 도전한다. 이러한 피드백의 정의를 이용한다면, 

  • 학습자는 자신의 업무의 질에 대한 판단을 내리는 데 필요한 정보를 찾는 데 적극적이어야 하며

  • 학습 전략이나 미래 작업을 개선하기 위해 스스로 생성되고 외부적으로 생성된 이 정보를 이용해야 한다

  • 필연적으로, 이 루프를 닫기 위해 학습자는 이러한 새로운 이해를 실제로 변환하기 위한 후속 퍼포먼스 기회가 필요하다. 

이러한 피드백의 관점은 우리가 교사들이 그들을 위해 무엇을 하는지 보다는 학습자의 판단, 우선순위, 행동에 초점을 맞출 것을 요구한다.

This broader understanding of feedback as a process enacted over time, rather than as a oneoff exchange of information from teacher to learner, challenges the notion that feedback is an input, typically, an input of telling. Using this definition of feedback, the learner is active in seeking the information he or she needs to make judgements about the quality of his or her own work, and uses this selfgenerated and externally generated information to improve learning strategies or future work. By necessity, in order to close this loop, learners need to access a subsequent performance opportunity in order to translate these new understandings into practice. This view of feedback demands that we focus on learners’ judgements, priorities and actions, rather than on what teachers do for them.9


2 도전하고자 하는 신화

2 | MYTHS READY FOR CHALLENGING


1 피드백은 칭찬과 비판의 균형을 위한 규칙을 필요로 한다(가치들은 무시된다).

2 피드백은 교사의 기술이다(배우는 사람은 무시된다).

3 피드백은 입력일 뿐이다(효과 무시).


1 Feedback needs rules for the balancing of praise and criticism (values are ignored).

2 Feedback is a teacher skill (learners are ignored).

3 Feedback is an input only (effects are ignored).


3 | 제 1편 : 프레이즈-크리틱 밸런싱 룰의 필요성

3 | MYTH 1: THE NEED FOR PRAISE-CRITICISM BALANCING RULES


연구에 따르면 학습자도 피드백에서 어려움을 겪는 것으로 나타났다.10-12 학습자 또한 피드백을 받을 때 부정적인 감정 반응을 보고하는데, 이는 교육자의 의도는 물론 episode of engagement를 넘는 효과를 가져올 수 있다.13 교육자는 이를 "피드백 메시지"를 열심히 제작하여, [학습자의 성과를 향상]시키고 [학습자의 자신감과 교육 파트너십에 대한 자신감을 유지]하려는 이중 목표를 갖고 전달한다. 학습자의 체면과 자신감을 보존하려는 시도는 [칭찬]과 [건설적 또는 "부정적" 피드백]을 동등한 정도로 제공하거나, 피드백 샌드위치의 경우 학습자를 평정 상태로 둘 목적으로 찬사를 '탄수화물 케이싱'하는 의식으로 이어졌다.

Research suggests that learners struggle to implement feedback in practice.10-12 Learners also report negative emotional reactions when receiving feedback, which may have effects beyond the educator's intent, and beyond the episode of engagement.13 Educators painstakingly craft “feedback messages” and deliver these to recipients with the dual goal of improving learners’ performance and maintaining learners’ selfconfidence and their confidence in the educational partnership. Attempting to preserve learner face and confidence, has resulted in recognisable rituals of providing praise and constructive or “negative” feedback in equal measure, or, in the case of the feedback sandwich, a carbohydrate-rich casing of praise with the intent of leaving the learner in a state of equanimity.


이른바 "균형잡힌" 피드백 전달 방법은 건설적인 피드백이 어렵다고 생각하는 교사에게 도움이 되는 것으로 홍보된다. 이 뒤의 의도는 학습자의 감정을 배려하고 교육자의 양심을 보호하는 것이다.

So-called “balanced” methods of feedback delivery, are promoted as helpful for the teacher who finds constructive feedback difficult. The intention behind the ritual is to be considerate of the learner's feelings and to protect the educator's conscience


그러나 샌드위치는 긍정적인/부정적인/긍정적인 것에 초점을 맞추고 있기 때문에 정보가 작업이나 학습 전략을 개선하기 위해 사용되는 과정이 아니라 정보로서의 피드백의 개념화를 강조한다.

However, through its very focus on positive/negative/ positive, the sandwich highlights a conceptualisation of feedback as information rather than as a process whereby information is used to improve work or learning strategies.


코칭 문헌에서 샌드위치에 대한 초점은 다른 함축적 의미를 갖는다: 존 워든은 1970년대에 기술 시연에 대한 샌드위치 접근법으로 알려져 있었는데, 그 때 그는 

  • 이상적인 형태를 보여주고, 

  • 그 뒤에 잘못된 형태를 보여주며, 

  • 다시 올바른 수행을 강화하기 위한 방법으로 이상적인 형태를 완성했다(부정적인 피드백은 보이지 않는다; 단순히 잠재적 오류를 분명히 보여주는 것이다).16 

In the coaching literature, the focus on sandwiching takes on different connotations: John Woden was known for a sandwich approach to skills demonstration in the 1970s, when he 

  • demonstrated ideal form, 

  • followed by incorrect form, and 

  • finished with ideal form as a way of reinforcing correct performance (no negative feedback in sight; simply a clear demonstration of potential errors).16 


이 기법은 이후 Docheff에 의해 긍정적인 문구를 포함하는 피드백 샌드위치의 다른 버전에 적응되었고, 그 다음에 구체적인 성과 관련 정보가 뒤따랐고, 그 다음에 동기가 부여되었다.17 샌드위치에 부정적인 것이 없다는 것에 주목하라: 그것은 긍정적인 것, 특정한 것, 동기 부여적인 것으로 구성된다.

This technique was subsequently adapted by Docheff to a different version of the feedback sandwich that included a positive statement, followed by specific performance-related information and then motivation.17 Note the absence of negative from the sandwich: it consists of something positive, something specific and something motivating.


피드백 전달을 위한 펜들턴 외 연구진의 규칙은 일반 연습생과 감독자 사이의 지속적인 관계에서 관찰된 환자 상담 후 피드백 제공을 지원하기 위해 개발되었다.

Pendleton et al's18 rules for the delivery of feedback were developed to support the provision of feedback after patient consultations observed in the context of ongoing relationships between general practice trainees and supervisors.


피드백 샌드위치와 일관되게, 펜들턴 외 18은 인출(비판적 진술)에 앞서 예금(긍정적 진술)의 중요성을 강조하며, 어떤 의미에서는 이 또한 균형에 초점을 맞춘다.

Consistent with the feedback sandwich, Pendleton et al18 highlight the importance of making deposits (positive statements) before withdrawals (critical statements) and, in a sense, also focus on balance.



3.1 | 리프레이밍: "가치 주도" 피드백의 가치

3.1 | Reframing: the value of “values-led” feedback


샌드위치나 다른 규범적 모델을 통해 피드백을 "전달"하는 방법에 대한 우려되는 결과 중 하나는 피드백 전달 기술에 집착하는 것이다. 이것은 우리가 적절한 시기에 올바른 말을 하는 것이 우리의 학습자들이 나아지는데 필요한 전부라는 잘못된 결론으로 이어질 수 있다. 이에 대한 많은 결과들이 있는데, 이는 교육적으로 의도된 것이 공식화되기 때문이다.19 학습자에게 긍정적인 피드백과 부정적인 피드백의 균형을 주는 것 외에 우리가 할 수 있는 일은 무엇인가?

One of the consequences of our concern with how we “deliver” feedback through sandwiches or other prescriptive models is that we become obsessed with our feedback delivery skills. This may lead us to the erroneous conclusion that saying the right words at the right time is all that is necessary to help our learners improve. There are many consequences to this, not least tokenism, whereby what is intended to be educative becomes formulaic.19 What might we do other than “give” learners a balance of positive and negative feedback?


시뮬레이션 기반 학습 문헌은 유용한 조언의 원천이 될 수 있다. 디브리핑과 피드백은 "동전의 다른 측면"으로 볼 수 있다. 디브리핑은 "경험적 학습의 주기에 있어서, 지식과 기술의 차이를 식별하고 좁히는 데 도움이 되는 성찰"으로 포지셔닝된다.21 이에 발맞추어, 디브리핑이 이루어지는 방식은 신화적 피드백과는 다르다. "디브리핑하자"는 "내가 피드백을 좀 줄게"와는 현저하게 다른 요청이다.

The simulation-based learning literature may be a source of useful advice. Debriefing 20 and feedback can be viewed as “different sides of the same coin.” Debriefing is positioned as “a facilitated reflection in the cycle of experiential learning to help identify and close gaps in knowledge and skills.”21 In line with this, debriefing practices come without some of the unwelcome associations of mythic feedback. “Let's debrief” is a request markedly different from “Let me give you some feedback.”


2015년 디브리핑 전문가의 특성을 조사한 면접연구

A 2015 interview study investigating practice features of expert debriefers


헌신, 정직, 진정한 호기심, 학습중심성과 같은 전문가들에 의해 평가된 자질들은 중요한 영향을 미쳤다. 전문가들은 또한 그들이 학습자들과 그들의 상황에 동적으로 적응하는 "스스로 생각하는 것"에 관련된 것을 포함한 보고의 예술성에 대해서도 설명했다. 마지막으로, 그들은 실행 계획 개발, 학습자 반영 촉진 및 학습 목표 관리와 같은 구체적인 기법을 설명했다. 그러나, 크로그 외 연구진 24는 이러한 것들이 가장 중요하지 않다고 보고, 보고자의 교육적 가치가 그들의 전반적인 접근법의 기초를 형성한다고 제안했다.

The qualities valued by experts, such as dedication, honesty, genuine curiosity and learner-centredness, were significant influences. Experts also described the artistry of debriefing, including that involved in “thinking on their feet,” whereby they dynamically adapted to their learners and their context. Finally, they described specific techniques such as developing a plan of action, promoting learner reflection and managing learning objectives. However, Krogh et al24 saw these as the least significant and suggested that debriefers’ educational values formed the foundation for their overall approach.


이 연구24는 피드백 관행과 프로세스에 대한 귀중한 통찰력을 제공한다. 중요한 첫 번째 단계는 피드백 교환의 기초를 이루는 가치에 대해 생각하는 것이 될 수 있다. 디브리핑에서는, 시뮬레이션 세션이 시작될 때 학습자에게 핵심 교육 가치를 선언하는 것이 일반적이다. 예를 들면, "학습자를 존중하고 그들의 관점을 이해하려는 약속"과 같은 것이다. 이 commitment가 은 앞으로 해야 할 일의 토대를 마련한다.

this study24 provides valuable insights for feedback practices and processes. Thinking about the values that underpin feedback exchanges may be a critical first step. In debriefing, it is common to declare the core educational values to learners at the start of any simulation session, such as by articulating “a commitment to respecting learners and understanding their perspective.”25 This is done before any debriefing or even any task is undertaken that might generate feedback information. This commitment lays the ground for work that is to follow.


크로흐 외 연구진은 디브리핑 전문가들은 끊임없이 자기의 발전을 추구한다는 사실을 발견했다. 그들은 "불편함에 대한 편안함"을 깨닫게 되었고, 불편한 디브리핑 내용을 학습 기회로 사용하기 시작했다.24 이것은 상호 취약성이 개발을 위한 메커니즘으로 작용할 수 있는 피드백 교환에 참여하는 교사들에게 직접적인 유사성을 가지고 있다.26

Krogh et al24 found that expert debriefers were constantly seeking to develop themselves. They had come to find “comfort with discomfort” and had begun to use uncomfortable debriefings as learning opportunities.24 This has direct parallels for teachers who engage in feedback exchanges in which reciprocal vulnerability can work as a mechanism for development.26


4 | MYTH 2: FEEDBACK는 TEACHER SKILL

4 | MYTH 2: FEEDBACK IS A TEACHER SKILL


우리가 현재 "피드백"으로서 당연하게 여기는 의식은 [학습자로 하여금 지식, 기술, 정체성의 변화를 가능하게 하는 과정]으로서의 피드백의 목적을 손상시키거나 심지어 파괴할 수 있다. 학습자는 많은 경우 공식에서 빠져 있다. 가끔 피드백 기회(작업)에 대한 자극을 제공하는 정도 뿐이다.

The rituals we now take for granted as “feedback” may detract from, or indeed sabotage, the very purposes of feedback as a process that enables learner changes in knowledge, skill and identity. Learners are relatively absent from the equation, other than providing the stimulus for a feedback occasion (work).


전 세계의 고등 교육 이니셔티브는 교사의 "피드백텔링" 기술 향상에 초점을 맞추고 있으며, 매우 적은 기관만이 학습자가 피드백 과정에 참여하도록 돕는 방법에 초점을 맞추고 있다.7, 27

Higher education initiatives worldwide focus on improving the “feedbacktelling” skills of teachers, and very few institutions focus on how to help learners to engage in feedback processes.7, 27


피드백을 "제공"하는 방법은 직무 중심 철학을 부주의하게 강화했을 수 있는 초점을 가정한다. 피드백텔링에 초점을 둔 접근방식은 장기적으로는 실천에 더 유익할 수 있는 전문적 정체성 형성 및 자율 규제와 같은 개발의 더 개인적인 측면을 충족하지 못할 수 있다.

Methods of “giving” feedback, assume a focus that may have inadvertently reinforced a taskfocused philosophy. Such an approach may not meet more personal aspects of development, such as professional identity formation and selfregulation, which in the long term may be more beneficial to practice.



4.1 | 리프레이밍: 관계 기반 접근법이 더 유용할 수 있음

4.1 | Reframing: relationship-based approaches may be more useful


피드백 샌드위치를 피하고 의학 교육에서 우위를 점하고 있는 두 가지 관계 기반 접근방식은 "교육 동맹"과 관계, 반응, 내용, 코치(R2C2) 접근방식이다. 이러한 두 가지 접근방식은 피드백을 복잡한 사회적 상호 작용으로 인식하고 상호작용이 발생하는 관계, 문화 및 맥락으로 인식하여 보다 역동적이고 대응적인 피드백 대화를 목표로 한다.

Two relationship-based approaches that eschew the feedback sandwich and are gaining ascendency in medical education are the “educational alliance” and the relationship, reactions, content, coach (R2C2) approach. Both these approaches aim for a more dynamic and responsive feedback dialogue in recognition of feedback as a complex social interaction, influenced by those involved and the re-9 lationship, culture and context in which the interaction occurs.


교육 동맹는 치료 동맹의 강도에 대한 환자의 인식과 상관관계가 있다는 것을 확인한 심리치료학에서 작업을 확장한다.29 의료 교육에 적용되는 교육 동맹은 

    • (a) 공동의 목표 의식 

    • (b) 공유 활동 

    • (c) 유대 

...의 세 가지 주요 측면으로 구성된다.

The educational alliance extends work in psychotherapeutics which identified that outcomes correlated to patients’ perceptions of the strength of the therapeutic alliance.29 Applied to medical education, the educational alliance consists of three key aspects: (a) a shared sense of goals; (b) shared activities; and (c) bond.


공유된 목표와 활동을 확립함으로써, 교육 동맹이 강화되고 행동 변화에 활용될 수 있다.30 세 가지 요소는 다음과 같은 의미에서 상호 작용한다. 교육자가 시간을 내어 목표를 논의하고 협상하며 목표를 향해 일하는 방법에 대한 합의를 이끌어 낸다면, 이것은 감독자가 학습자에게 투자되어 신뢰와 존중의 인식(유착)을 강화한다는 것을 증명한다.

Through establishing shared goals and activities, an educational alliance is strengthened and can then be leveraged for behaviour change.30 The three components interplay in the sense that if an educator takes the time to discuss and negotiate goals and an agreement about how to work towards the goals, this demonstrates that the supervisor is invested in the learner and thereby strengthens perceptions of trust and respect (ie the bond).


예비 연구는, 학습자에 의해 교육 동맹이 강하다고 판단될 경우, 연습생들이 자신에 대해 더 많이 공개하고 피드백을 구하는 것과 같은 긍정적인 피드백 행동을 할 가능성이 더 높다는 것을 보여준다.5 중요한 것은, trainee들은 강력한 교육 동맹이라는 맥락에서는 (아주 부정적으로 표현되더라도) 건설적인 피드백에 따라 행동할 가능성이 높다고 보고한다.5

if the educational alliance is judged to be strong by the learner, preliminary research shows that trainees are more likely to disclose about themselves and to engage in positive feedback behaviours such as feedback seeking.5 Importantly, trainees report that they are more likely to act on constructive feedback (even if it is worded very negatively) in the context of a strong educational alliance.5


R2C2 접근방식은 

(a) 휴머니즘, 

(b) 정보에 입각한 자기평가, 

(c) 행동변화의 과학의 세 가지 이론적 관점에 의해 알려진 의료교육의 피드백에 관한 연구를 통해 개발되었다.31 


네 단계가 있다.

(a) 관계 형성

(b) 피드백에 대한 반응 탐구, 

(c) 피드백 내용 탐구, 

(d) 변화를 위한 코

대화를 용이하게 하기 위해 각 단계에 대한 유도 질문이 있다.

The R2C2 approach was developed through research on feedback in medical education informed by three theoretical perspectives: 

    • (a) humanism; 

    • (b) informed selfassessment; and 

    • (c) the science of behaviour change.31 

There are four phases: 

    • (a) building the relationship; 

    • (b) exploring reactions to feedback; 

    • (c) exploring feedback content; and 

    • (d) coaching for change. 

There are guiding questions for each of the phases to facilitate the conversation.


이 두 가지 접근방식에 걸쳐 공유된 교육 원칙에는 

    • 관계의 수립(및 재설정)의 중요성 인정, 

    • 목표의 논의와 설정

    • 학습자의 능동적 참여

    • 반복적 피드백 루프 및 학습자 개발에 초점

...이 포함된다. 둘 다 규범적이지 않지만, 교육자들이 높이 평가하는 구조를 제공한다.30,33

Shared educational principles across these two approaches include acknowledgement of the importance of establishing (and reestablishing) relationships, discussion and setting of goals, the active engagement of the learner, iterative feedback loops and a focus on learner development. Neither is prescriptive in flavour, but they offer structure, which is appreciated by educators.30,33


5 | MYTH 3: FEEDBACK는 입력만 가능

5 | MYTH 3: FEEDBACK IS AN INPUT ONLY


고등교육에서 현대의 피드백 관행은 "유용하길 바라는 마음으로 정보를 주는 것"8으로서, "그저 바라는 것hoping"이 정보의 효과를 감시하지 않는 환경에서 우리가 할 수 있는 최선의 방법이라고 묘사되어 왔다. 교육에서 피드백의 구현enactment은 [정해진 기준점이나 표준, 입력과 산출물]이 있는 생물과 공학에서의 피드백 메커니즘에서 상당히 벗어났다.8 교육에서, '입력'으로서의 피드백에 과도한 투자가 있었고, 출력(또는 효과)을 보장할 책임은 "학습"이라고 불리는 다른 분야에 맡겨두고 있었다.

Contemporary feedback practice in higher education has been described as the “provision of hopefully useful information”8 as “hoping” is about the best we can do in a climate in which the effect of the information is not monitored. The enactment of feedback in education has morphed considerably from the mechanism of feedback in biology and engineering, in which there are set points or standards, an input and an output.8 In education, there has been an overinvestment in feedback as input, with the responsibility for ensuring output (or effect) perhaps residing in another field called “learning.”


일정량의 telling을 처방하는 것은 피드백에 있어서 교사의 적응적 전문성을 간과하게 만든다. 적응적 전문성은 학습자의 단서, 학습자의 진행 상황 및 개인의 목표에 민첩하게 대응하는 교사(또는 동료)를 말한다. 지난 20년 동안 수행된 대규모의 연구는 다음과 같이 시사한다. 말하기(sensitive telling조차)로 특징지어지는 ritual은 원하는 효과를 가지지 못한다. "학습자들은, 심지어 가능한 친절하게 반복해서 말을 들을 때에도, 순전히 듣는 것 만으로는 그다지 많이 배우지 않는다."36

A prescriptive “dose” of telling deemphasises teachers’ adaptive expertise in feedback. Adaptive expertise would involve the teacher (or peer) responding nimbly to learner cues, knowledge of the learner's progress and his or her individual goals. A large body of research carried out over the past two decades suggests that rituals characterised by telling (even sensitive telling) do not have the desired effect: “Learners do not always learn much from purely being told, even when they are told repeatedly in the kindest possible way.”36


"피드백은 학생들이 그들의 일에 대한 정보를 가지고 무엇을 하는지, 그리고 이것이 그들의 일과 학습 전략에 어떻게 증명할 수 있는 개선이 되는지 살펴봄으로써 평가되어야 한다."37

“feedback should be judged by looking at what students do with information about their work, and how this results in demonstrable improvements to their work and learning strategies.”37



5.1 | 리프레이밍: 피드백 프로세스에 대한 학습자의 참여는 (즉각 과제를 넘어) 효과를 낳는다.

5.1 | Reframing: learner engagement with feedback processes produces effects (beyond the immediate task)


5.1.1 | 피드백의 복수 출력

5.1.1 | The multiple outputs of feedback


많은 피드백 연구는 기술 또는 지식 평가를 수행하고, 학습자에게 그들의 성과에 대한 정보를 제공한 다음, 짧은 시간 내에 동일하거나 밀접하게 관련된 과제를 다시 시험한다. 비록 좋은 피드백 정보가 성과를 변화시킬 수 있다는 것을 인식하지만(그리고 그 퍼포먼스 향상이 중요하다), 구체적인 지식 습득이나 기술 성과에 대한 초점은 전체 그림의 한 부분에 불과하다.

Many feedback studies take a skill or knowledge assessment, provide learners with information about their performance, and then retest that same or a closely related task within a short time frame. Although we recognise that good feedback information can change performance (and that improved performance is important), a focus on specific knowledge attainment or skill performance is only one part of the picture.


그렇다면 우리는 피드백이 가장 넓은 의미에서 학습자에게 어떻게 영향을 미치는지에 대해 무엇을 알고 있는가? 피드백과 성능 사이에는 단순한 관계가 없다.39 신학적인 메타 분석에서 클루거와 데니시40은 피드백 개입의 3분의 1 이상은 후속 수행능력을 악화시키는 것과 관련이 있음을 발견했다.

So what do we know about how feedback influences learners in the broadest sense? There is no simple relationship between feedback and performance.39 In a seminal meta-analysis, Kluger and Denisi40 found that more than a third of feedback interventions were associated with worse subsequent performance. 


우리가 피드백을 고려할 때, 우리는 무엇이 개발을 필요로 하는지, 즉 과제인지, 과정인지 사람인지에 주의를 기울일 필요가 있다.41

when we consider feedback, we need to pay attention to what requires development: the task, the process or the person.41


우리가 피드백을 더 장기적이고 폭넓게 이해한다면 다른 산출물을 고려할 수 있다. 여기에는 다음이 포함될 수 있다. 

    • 작업표준에 대한 이해도 향상,2 

    • 향상된 기술 또는 학습 전략,11 

    • 업무 품질(평가 판단)을 위한 학습자 능력 향상(42,43 

    • 학습자 직업 정체성의 변화44 및 

    • 학습 동기의 변화40 

이러한 이득은 애당초 피드백 정보를 촉발한 [과제]라는 초점을 넘어서 더 오래 가는 가치를 지닐 수 있다.

Other outputs may be considered if we take a longer-term and broader understanding of feedback. These may include 

    • improved understanding of standards of work,2 

    • improved skills or learning strategies,11 

    • improved learner capability for judging the quality of work (ie evaluative judgement),42,43 

    • changes in learner professional identity44 and 

    • changes in learner motivation.40 

It may be that these gains or outputs have a life beyond the focus of the task that triggered the feedback information in the first instance.


5.1.2 | 피드백의 산출물로서의 전문적 정체성 전망

5.1.2 | Foregrounding professional identity as an output of feedback


직업적 정체성(또는 가능한 정체성)은 고정되거나 단일화된 것이 아니라, 개인이 평가적이고 감정적인 과정을 통해 다양한 경험, 상황, 사람들에게 반응한다는 점에서 관계적이다.

Professional identity (or possible identity) is neither fixed nor unitary; rather, it is relational in that an individual responds to various experiences, situations and people through an evaluative and emotional process.


개인들은 피드백 경험을 통해 자신의 직업적 자아에 대한 의미를 발전시킨다.47 반대로, 정기적인 피드백의 부재는 전문직 정체성 형성을 방해하는 것으로 밝혀졌다.44

Individuals develop meaning about their professional selves through feedback experiences.47 Conversely, the absence of regular feedback has been found to hamper professional identity formation.44


전문 동료와 고객 또는 환자를 포함한 다양한 소스의 피드백은 전문적 아이덴티티에 영향을 미칠 수 있다.46,48-50 그러나, 전문직 정체성 형성에 대한 피드백 프로세스의 기여는 입맛에 맞는 메시지의 단순한 수신과 그에 따른 응답에 의해 암시되는 것보다 더 뉘앙스가 있다. 오히려, 전문적 정체성을 형성하는데 도움을 주는 것은 "다른 사람의" (거부적) 반응이다. 

Feedback from a range of sources, including professional peers and clients or patients, can influence professional identity.46,48-50 However, the contribution of feedback processes to professional identity formation is more nuanced than implied by the simple receipt of a palatable message and an according response. Rather, it is “others” reactions’ that help to shape professional identity.51, 52 


Ibarra는 다음과 같은 두 가지 방법으로 "다른 사람"의 반응이 피드백 프로세스를 통해 정체성을 형성하는 방법을 식별했다. 

(a) 다른 사람들이 새로운 학습자 행동을 검증(또는 보증하지 않음)한다. 

(b) 다른 사람들이 개선 방법향에 대한 신호를 보낸다.

Ibarra51 identified two ways in which the reactions of “others” shaped identity through feedback processes that occur when: 

(a) others validate (or fail to endorse) new learner behaviours; and 

(b) others signal ways to improve.


외부 당사자들은 "(학습자가) 어떤 사람이 되어가고 있는지"에 대한 사회적 신호를 제공함으로써 정체성을 부여한다. 학습자들은 자신의 행동에 대한 다른 사람들의 반응을 측정함으로써 자신이 누구인지, 자신이 되고 싶은 사람은 누구인지를 이해하기 시작한다.

External parties confer identity by providing social signals about who one is becoming. By gauging others’ reactions to their behaviour, learners begin to understand who they are and who they want to be.53


반대로, 환자에 의해 잘 받아들여진 것과 같은 피드백 반응은 학습자의 전문적 자아의식을 검증할 수 있다.47 이러한 광범위하고 사회적으로 위치하는 용어의 피드백에 대해 생각하는 것은 학습자가 "무슨 말을 듣든" 임상 환경에서 다르게 행동하기 시작하는 이유를 설명할 수 있다.

Conversely, feedback reactions such as those generated by being well received by patients can validate a learner's sense of professional self.47 Thinking about feedback in these broader and socially situated terms may explain why learners start to act differently in clinical environments, no matter what they are “told.”


마찬가지로, 전문직 정체성은 개선 방법을 알려주는 피드백 단서에 의해 형성된다. 레지던트의 전문직 정체성 구축을 연구하면서, Pratt 등은 롤모델로부터 받은 피드백은, 그들을 관찰하고 상호작용하는 것과 합해져서, 행동을 형성하게 되고, 이것이 전문직 정체성을 개발하는 데 도움이 된다는 것을 발견했다.

Equally, professional identity is shaped by feedback cues that signal ways to improve.50,52 When examining medical residents’ construction of professional identity, Pratt et al52 found that residents’ interactions with, and observations of, role models, combined with feedback, helped to develop professional identities by shaping behaviour.


Pratt 등은 다음과 같은 점에서 경험들이 행동을 형성함으로써 정체성을 형성하고 있다고 주장한다. "...그들과 다른 사람들이 무엇을 잘못하고 있고, 결과적으로 그 일을 어떻게 해야 하는지를 알게 됨으로써, 의사로서 자신을 바라보는 방식을 바꾸었다."52

Pratt et al argue that experiences were shaping identities by shaping behaviour, in that: “…by learning what they, and others, were doing wrong and consequently how the work should be performed, they changed how they viewed themselves as physicians.”52


"Feedback as telling"은 과거에 머무르며 학습자에게 주체성을 거의 두지 않는 역방향의 오리엔테이션을 가지고 있다. 아주 짧은 만남에서조차, 연구는 ("acting as consultant"이나 미래 직업 전문 선택과 같은) 효과에 초점을 맞추는 것이 피드백 대화를 통해 그리고 상호 작용하는 목표와 관련하여 가능하다는 것을 강조한다.30 피드백이 양 당사자가 관점과 전략을 제공하는 중첩된 작업을 포함하는 반복적 과정으로 더 잘 설계된다면, 교육자 입장에서는 "언어적 재주"부려야 할 필요성일 줄어들 것이며, 학습자 입장에서는 학습자 정체성에 대한 위협의 위험이 줄어들 것이다.

“Feedback as telling” has a backward-facing orientation that lingers on the past and leaves the learner with little agency. Even within brief encounters, research highlights that a focus on effects such as “acting as a consultant” or future career specialty choices are possible through feedback dialogue and in reference to coconstructed goals.30 If feedback were to be better designed as an iterative process involving nested tasks whereby both parties offer perspectives and strategies, there might well be less of an imperative for linguistic gymnastics on the part of the educator, and less risk of threat to learner identity.


6 | 결론

6 | CONCLUSIONS


우리는 피드백의 사회적 내재성을 조사하고, 학습자 및 교사 취약성 및 지식의 부정확성과의 대화에서 신뢰의 역할을 특권화하는 데 더욱 집중적인 노력을 기울여야 한다고 주장한다. 우리의 실천이 규칙보다 가치에 의해 뒷받침된다면, 교수자와 학습자 모두 "인간 개발"이라는 사업에서 불가피한 울퉁불퉁하고 생소한 지형을 항해할 수 있는 더 많은 융통성을 갖게 될 것이다

We argue for more concentrated efforts in examining the socially embedded nature of feedback, privileging the role of trust in dialogues with remits of learner and teacher vulnerability and coconstruction of knowledge. If our practices are underpinned by values, rather than rules, both parties are granted more flexibility to navigate the bumpy and unfamiliar terrain that is inevitable in the business of developing people. 


최근의 대규모 연구는 학습자들과 교사들이 여전히 피드백을 [선생님이 요리해야 할 것]으로 보고 있다는 사실을 뒷받침한다. 훌륭한 요리사들은 재료를 다루는 데 능숙하지만, 동시에 고객(학습자)들이 수용해야 할 식욕과 알레르기를 가지고 있다는 것도 인지하고 있다. 우리는 학습자들이 그 테이블에 참여할 때라는 증거를 제시했다. 잘 확립된 의식과 생존의 원칙보다는 교육적 원리를 이용한 재교육적 실천은 우리가 추구하는 효과를 줄 수 있다.

Recent largescale studies reinforce the finding that learners and teachers still see feedback as something the teacher needs to cook up (or assemble when it comes to the sandwich). Good chefs are expert in handling ingredients and are also cognisant that their customers (learners) have appetites and allergies that need to be accommodated. We have presented evidence to suggest that it is time for learners to join the table. Puncturing the well-established rituals and reframing practice using educational principles, rather than survival principles, may give us the effects we are after.






, 54 (1), 33-39
 

Challenging Feedback Myths: Values, Learner Involvement and Promoting Effects Beyond the Immediate Task

Affiliations 

Affiliations

  • 1Department of Medical Education, University of Melbourne, Melbourne, Victoria, Australia.
  • 2Centre for Research in Assessment and Digital Learning, Deakin University, Melbourne, Victoria, Australia.
  • 3Department of Education, Gold Coast University Hospital, Southport, Queensland, Australia.
  • 4School of Medicine, Griffith University, Parkwood, Queensland, Australia.
  • 5School of Pharmacy, University of Queensland, Woolloongabba, Queensland, Australia.
  • 6Education Development and Staff Support Unit, Otago Medical School, Wellington, New Zealand.

Abstract

Context: Research suggests that feedback in the health professions is less useful than we would like. In this paper, we argue that feedback has become reliant on myths that perpetuate unproductive rituals. Feedback often resembles a discrete episode of an educator "telling," rather than an active and iterative involvement of the learner in a future-facing process. With this orientation towards past events, it is not surprising that learners become defensive or disengaged when they are reminded of their deficits.

Methods: We tackle three myths of feedback: (a) feedback needs praise-criticism balancing rules; (b) feedback is a skill residing within the teacher; and (c) feedback is an input only. For each myth we provide a reframing with supporting examples from the literature.

Conclusions: Equipping learners to engage in feedback processes may reduce the emotional burden on both parties, rendering techniques such as the feedback sandwich redundant. We also highlight the benefits for learners and teachers of conceptualising feedback as a relational activity, and of tracing the effects of information exchanges. These effects may be immediate or latent, and may manifest in different forms such as changes in learner evaluative judgement or professional identity.

PBL의 가설연역적추론에서 논증의 역할(IJPBL, 2018)

The Role of Argumentation in Hypothetico-Deductive Reasoning During Problem-Based Learning in Medical Education: A Conceptual Framework

Hyunjung Ju (Inje University College of Medicine) and Ikseon Choi (The University of Georgia)





도입

Introduction

 

문제 기반 학습(PBL)은 학습자가 먼저 문제에 부딪힌 다음 문제를 이해하고 해결하는 학생 중심의 질의 과정을 계속하는 학습 방법이다(Barrows & Tamblyn, 1980; Schwartz, Mennin, 2001). PBL 방법은 학생들이 문제의 맥락에서 규율의 기본 개념을 습득할 수 있을 것으로 예상하는데, 이는 그들의 전문적 실무에서 나중에 이러한 지식의 검색과 적용을 지원할 수 있고, 학생들의 추론과 문제 해결 능력을 개발할 수 있을 것이다(Barrows & Tamblyn, 1980; Savery, 2006).

Problem-based learning (PBL) is a method of learning in which the learners first encounter a problem and then continue with the student-centered inquiry process of understanding and solving the problem (Barrows & Tamblyn, 1980; Schwartz, Mennin, & Webb, 2001). The PBL method expects students to acquire basic concepts of a discipline in the context of problems, which can support the retrieval and application of this knowledge later in their professional practice, and to develop students’ reasoning and problem-solving skills (Barrows & Tamblyn, 1980; Savery, 2006).


PBL의 필수적인 요소들 중 하나는 그룹 토론이다: 4~8명의 작은 그룹으로 이루어진 학생들은 그들의 아이디어를 만들고 교환하고 다른 사람들의 생각, 믿음, 그리고 인식에 도전하도록 장려된다. (Hmelo-Silver & Barrows, 2008) 소규모 그룹 토론을 통해 학생들은 주어진 complex and ill-structured 문제에 대해서 원인을 탐구하고, 여러 해결책을 생성하고, 문제에 대한 대안적인 해결책을 협상하며, 필수적인 지식의 본질을 구축한다(Hmelo-Silver, 2004; Johnson, Johnson & Smith, 2007). 이러한 그룹 토론 동안 학생들은 문제를 합리적으로 해결하고 합리적인 결정을 내리기 위해 자신의 생각에 대한 정당성을 제공하는 타당한 주장을 구성할 수 있어야 한다(Jonassen, 2011). 즉, 논쟁은 소그룹 문제 해결에서 학생들 사이의 증거 기반 통신을 중재하는 핵심 메커니즘 중 하나이다(Jonassen, 2011; Kuhn, 1992; Walton, 2007).

One of the essential elements of PBL is group discussion: students in small groups of four to eight are encouraged to construct and exchange their ideas and challenge others’ thoughts, beliefs, and perceptions (Hmelo-Silver & Barrows, 2008). Through small group discussions, students explore causes of a given problem that is complex and ill structured, generate multiple solutions, negotiate alternative solutions to the problem, and build an essential body of knowledge (Hmelo-Silver, 2004; Johnson, Johnson, & Smith, 2007). During these group discussions, the students should be able to construct valid arguments, providing justifications for their ideas in order to rationally resolve the problem and make reasoned decisions (Jonassen, 2011). In other words, argumentation is one of the key mechanisms for mediating evidence-based communications among students in their small group problem solving (Jonassen, 2011; Kuhn, 1992; Walton, 2007).


교육학적으로 논쟁에 중점을 두는 것은, 학생들의 추론 능력을 향상시키려고 하는 일반적인 교육 목표와 일치하는데, 여기에는 원인reasons에 주의를 기울이고, 그러한 원인들의 질과 타당성을 평가하고, 그러한 이유에 기초한 유효한 생각이나 신념의 형성이 포함된다(Siegel, 1995). 이것은 학생들의 논쟁을 지원하는 것은 PBL에서 그들의 추론과 문제해결을 촉진하는 것을 포함한다(Cerbin, 1988; Jonassen, 2011). 컴퓨터 지원 협력 논술 소프트웨어(예: 조앤 조너슨, 2002) 사용 또는 질문(예: McNeill & Pimentel, 2010) 사용과 같은 비정형 문제 해결을 위한 학생들의 논술 능력을 배양하기 위한 교육 전략을 탐구하였다. 

A pedagogical emphasis on argumentation is consistent with general educational goals that seek to enhance students’ reasoning abilities, including paying attention to reasons, evaluating the quality and relevance of those reasons, and formulating valid ideas or beliefs based on those reasons (Siegel, 1995). This suggests that supporting students’ argumentation involves promoting their reasoning and problem solving in PBL (Cerbin, 1988; Jonassen, 2011). Several studies have explored instructional strategies for fostering students’ argumentation skills for ill-structured problem solving, such as using computer-supported collaborative argumentation software (e.g., Cho & Jonassen, 2002) or questioning (e.g., McNeill & Pimentel, 2010). 


논쟁 촉진 전략의 개발 외에도, PBL의 특정 분야에서는 어떤 추론 전략이나 문제해결 과정이 적용되는지를 파악한 다음, PBL의 문제해결 각 단계 내에서 어떤 1차적인 내용을 논쟁에 포함시켜야 하는지를 결정하는 것이 필수적일 것이다. 이것은 PBL의 특정 분야에서의 주장의 구조structure of argumentation를 위한 프레임워크의 구축을 지도할 수 있으며, 학생들에게 각 문제 해결 과정의 관점에서 건전한 논쟁을 만드는 방법에 대한 지침을 제공할 것이다. 

In addition to developing argumentation promotion strategies, it would be essential to identify what reasoning strategies or problem-solving processes are applied in a specific discipline of PBL, such as medical education, and then to determine what primary content should be included in arguments within each phase of problem solving in PBL. This can guide the construction of a framework for the structure of argumentation in the specific discipline of PBL, which will provide students with guidance as to how to generate sound arguments in terms of each problem-solving process. 


논쟁의 일반적인 구조로서, 주장, 자료, 영장 등 논쟁의 일차적 요소를 규정하는 툴민(1958년)의 논거모델은 주로 과학 교육(예를 들어, 과학 교육)을 포함한 많은 분야에서 문제 해결을 위한 논쟁을 용이하게 하기 위해 채택되어 왔다. 친앤 오스본, 2010). 그러나 논증 이론과 영역별 추론 또는 문제해결 과정을 통합하는 독특한 틀이나 모델에 초점을 맞춘 연구는 특히 드물다.

As the generic structure of argumentation, Toulmin’s (1958) argumentation model that specifies primary components of argumentation, such as a claim, data, and a warrant, as well as the mechanisms for generating arguments, has been mostly employed to facilitate argumentation for problem solving in many disciplines, including science education (e.g., Chin & Osborne, 2010). However, research focusing on a unique framework or model integrating argumentation theory and domain-specific reasoning or problem-solving processes is especially scarce.


PBL은 의료, 법률, 공학 교육을 포함한 다양한 전문 분야로 구현되었다(Sortret, 2006; Jonassen, 2011). 1960년대 후반 PBL이 의학 교육에 처음 도입된 이후, 전세계의 많은 의대들은 교과 과정의 일부로 PBL 접근 방식을 채택했다(Khoo, 2003; Neville, 2009; Savery, 2006). 이 논문은 의학 교육의 맥락에서 PBL에 초점을 맞출 것이다.

PBL has been implemented in a variety of professional disciplines, including medical, legal, and engineering education (Savery, 2006; Jonassen, 2011). Since PBL was initially introduced in medical education in the late 1960s, many medical schools around the world have adopted the PBL approach as part of their curricula (Khoo, 2003; Neville, 2009; Savery, 2006). This paper will focus on PBL in a medical education context. 


의대 PBL은 학생들이 기본적인 과학과 임상 지식을 적용하여 환자의 문제의 원인을 탐구하고 문제 관리에 대한 결정을 내릴 수 있는 능력을 포함하는 임상 추리 기술, 특히 가설연역적추론(HDR) 기술을 개발할 수 있도록 돕는다(Barrows, 1985, 1994; Barrows & Tamblyn, 1980). HDR 과정에서, 소그룹의 학생들은 

  • 문제의 영역에서 연구가 발생하기 전에 먼저 종이, 비디오 또는 표준화된 환자를 통해 환자의 의료 문제를 제시해야 한다. 

  • 그들은 환자의 문제의 원인을 설명하기 위해 여러 가설을 만들어낸다. 

  • 그 가설을 검증하기 위해 조사를 하다. 

  • 마침내 환자를 위한 진단 결정 및 치료 계획을 수립한다(Barrows, 1985, 1994, Barrows & Tamblyn, 1980).

(Barrows, 1985, 1994; Barrows & Tamblyn, 1980). 따라서 HDR은 학습 모델뿐만 아니라 임상 추론 모델로도 간주된다(Barrows, 1985, 1994; Barrows & Tamblyn, 1980; Groves, 2007; Hmelo, 1998; Patel, Arocha & Zhang, 2005). 

PBL in medical schools helps students develop their clinical reasoning skills, especially hypothetico-deductive reasoning (HDR) skills, that involve the ability to explore causes of a patient’s problem and make decisions about the management of the problem, applying basic science and clinical knowledge (Barrows, 1985, 1994; Barrows & Tamblyn, 1980). In the HDR process, students in a small group are 

  • first presented with a patient’s medical problem through a paper, video, or standardized patient before any study occurs in the area of the problem, and 

  • they generate multiple hypotheses to explain the causes of the patient’s problem, 

  • conduct inquiries to test their hypotheses, and 

  • finally make a diagnostic decision and treatment plan for the patient (Barrows, 1985, 1994; Barrows & Tamblyn, 1980). 

Thus, HDR is considered as a clinical reasoning model as well as a learning model (Barrows, 1985, 1994; Barrows & Tamblyn, 1980; Groves, 2007; Hmelo, 1998; Patel, Arocha, & Zhang, 2005). 



PBL은 전통적인 방법과 비교했을 때 이론상 학생들의 임상추론기술, 특히 HDR 기술을 촉진할 것으로 기대되지만, 이론적인 결과와 실제로 실제로 획득한 것 사이에는 차이가 있었다(Hung, 2011). 

  • Patel과 그녀의 동료들(1993)은 임상 사례를 설명할 때 PBL 커리큘럼의 학생들이 비 PBL 커리큘럼의 학생들보다 더 광범위한 생물 의학 정보를 생성했지만, 이들의 정교함이 일관성이 떨어지고 때로는 진단추론오류가 발생했다고 보고했다. 

  • 주 외 연구진(2016년)은 또한 의대생들이 PBL(예: 환자의 문제에 대한 특정 진단으로 뛰어드는 것) 동안 체계적인 임상 추론 과정에 관여하는 데 어려움을 겪었다는 것을 발견했다. 

Although PBL is expected to promote students’ clinical reasoning skills, especially HDR skills, in theory when compared to traditional methods, there have been gaps between theoretical outcomes and those actually obtained in practice (Hung, 2011). 

  • Patel and her colleagues (1993) reported that when explaining clinical cases, students in PBL curricula generated more extensive elaborations of biomedical information than students in the non-PBL curriculum did, but their elaborations were less coherent and sometimes resulted in the generation of diagnostic reasoning errors. 

  • Ju et al. (2016) also found that medical students had difficulties engaging in systemic clinical reasoning processes during PBL (e.g., jumping to a specific diagnosis for a patient’s problem). 


HDR은 PBL에서 학습과 문제해결에서 핵심적인 역할을 하기 때문에 PBL에서 학생들의 HDR에 힘을 실어줄 수 있는 방법을 모색할 필요가 있다. 앞에서 논의한 바와 같이 논증 능력이 추론 능력과 관련이 있다는 점을 고려할 때 학생들은 기본적인 과학적 지식을 임상적 맥락에 통합하고 진단 연구에 일관성 있는 접근법을 취하고 HDR 과정 중 환자의 질병에 대한 집단적 모델을 구축할 수 있도록 논쟁에 참여하도록 권장해야 한다. (Frederiksen, 1999; Hmelo-Silver & Barrows, 2008). 

As HDR plays a key role in learning and problem solving in PBL, it is necessary to explore ways to empower students’ HDR in PBL. Considering that argumentation ability is related to reasoning ability, as discussed earlier, students should be encouraged to engage in argumentation so that they can integrate basic scientific knowledge into clinical contexts, take a coherent approach to diagnostic inquiry, and build a collective model of a patient’s illness during HDR processes (Frederiksen, 1999; Hmelo-Silver & Barrows, 2008). 


의대생들이 PBL 동안 이성적인 주장을 생성하기 위해서는 HDR 프로세스에서 논쟁의 역할을 이해하고 HDR의 각 단계에 따라 주장을 구성하는 방법을 배우도록 돕는 것이 중요하다. 또한 의대생들의 논쟁 기술 발달의 중심은 비계인데, 이것은 더 많은 지식을 가진 사람 또는 교육 도구와 자원이 학습자가 학습자의 능력을 벗어나는 작업을 수행하는 데 도움을 주는 과정으로 정의된다. 그러나 PBL에서의 HDR 프로세스와 관련하여 의대생들의 건전한 논쟁의 건설을 지원하기 위한 구체적인 비계 전략에 대한 연구는 거의 없었다.

In order for medical students to generate reasoned arguments during PBL, it is important to help them understand the role of argumentation in the HDR process and learn how to structure arguments according to each phase of HDR. Also central to the development of medical students’ argumentation skills is scaffolding (Andriessen, 2006; Belland, Glazewski, & Richardson, 2011; Cho & Jonassen, 2002), defined as the process by which more knowledgeable persons (Wood, Bruner, & Ross, 1976) or instructional tools and resources (Puntambekar & Hubscher, 2005) help learners accomplish a task that would otherwise be beyond the learners’ abilities. However, there has been little research on specific scaffolding strategies to support medical students’ construction of sound arguments with regard to the process of HDR in PBL. 


따라서 본 논문의 목적은 PBL 동안 HDR 프로세스의 맥락에서 논쟁 구조를 의학 교육 환경에서 설명하고 HDR 프로세스에서 학생들의 주장을 강화하기 위한 가능한 비계를 제공하기 위한 개념적 프레임워크를 개발하는 것이다. 이러한 목적을 위해 본 논문은 PBL에서의 HDR의 성격과 HDR의 역할에 대해 논할 것이다. 마지막으로, 우리는 의학적 교육 환경에서 논거를 HDR 프로세스에 통합하는 개념적 프레임워크를 제안하고 강사와 도구에 의해 배열된 비계를 포함하여 제안된 프레임워크에 대한 교육적 권고를 논의할 것이다. 본 논문은 의학 교육 분야에서 사용되는 PBL 동안 학생들의 논쟁에 초점을 맞추고 있지만, 개념적 프레임워크는 다른 분야의 문제 해결이나 추론 과정과 관련하여 논쟁의 구조를 구성하는 것을 조명할 것이다.

Thus, the purposes of this paper are to develop a conceptual framework for explaining the structure of argumentation contextualized in HDR processes during PBL in a medical education context and to provide possible scaffolding for enhancing students’ argumentation in the HDR process. For these purposes, this paper will discuss the nature of HDR and the role of HDR in PBL in terms of medical education as well as the nature of argumentation. Finally, we will propose a conceptual framework that integrates argumentation into the HDR process in a medical education context and discuss instructional recommendations for the proposed framework, including scaffolding arranged by tutors and tools. Although this paper focuses on students’ argumentation during PBL used in the medical education field, the conceptual framework will shed light on constructing the structure of argumentation in relation to the problem solving or reasoning process in other disciplines.

 

가설연역적추론

Hypothetico-Deductive Reasoning (HDR)

 

추론은 주어진 문제를 해결하고 결정을 내리기 위한 일련의 논리적 단계를 통해 관측 데이터에 대한 관련 설명을 제공하는 과정이 포함한다(Feinstein, 1973a). HDR은 과학 분야에서 널리 사용되는 과학적 추론 접근법이다(Lawson, 2000; Patel et al., 2005). HDR은 "가설을 제안하고 그들의 논리적 결과가 관측된 데이터와 일치하는지 여부를 결정함으로써 그들의 수용성이나 거짓성을 시험하는 방법에 관계, 존재 또는 이용"으로 정의된다(Florida University of Florida, 2012). 

Reasoning involves the process of providing relevant explanations for observational data through a series of logical steps to solve a given problem and make a decision (Feinstein, 1973a). Hypothetico-deductive reasoning is a scientific reasoning approach widely used in the field of science (Lawson, 2000; Patel et al., 2005). Hypothetico-deductive reasoning (HDR) is defined as “relating to, being, or making use of the method of proposing hypotheses and testing their acceptability or falsity by determining whether their logical consequences are consistent with observed data” (University of Florida, 2012). 


HDR로서의 의학적인 추론은 내재된 과학적 방법으로 특징지어진다(Barrows & Tamblyn, 1980; Patel, Evans, & Groen, 1989). 의학에서 HDR은 의사가 익숙하지 않은 환자 사례를 접할 때 "환자의 의료 문제를 평가하고 관리"하기 위하여 사용된다(Barrows & Tamblyn, 1994; Barrows & Tamblyn, 1980; Seft on, Gordon, & Field, 2008). 의사들의 HDR은 다음과 같은 단계를 포함할 수 있다(Barrows, 1985, 1994; Barrows & Tamblyn, 1980).

Medical reasoning as hypothetico-deductive is characterized as the embodied scientific method (Barrows & Tamblyn, 1980; Patel, Evans, & Groen, 1989). In medicine, HDR is used to “evaluate and manage a patient’s medical problems” (Barrows & Tamblyn, 1980, p. 19) when physicians encounter unfamiliar patient cases (Barrows, 1985, 1994; Barrows & Tamblyn, 1980; Seft on, Gordon, & Field, 2008). Physicians’ hypothetico-deductive reasoning may incorporate the following phases (Barrows, 1985, 1994; Barrows & Tamblyn, 1980): 


(1) 문제 프레이밍. 의사가 불충분한 정보를 가진 알 수 없는 환자와 마주쳤을 때, 그들은 환자의 초기 불평을 듣고, 그들의 관찰이나 의사의 질문에 대한 환자의 발언과 반응에서 얻은 다양한 단서(예: 외모, 나이, 또는 개인적인 상황)를 지각한다. 눈은 식별자의 초기 신호의 합성으로서 환자의 문제의 초기 개념을 형성한다.

(1) Problem framing. When physicians encounter a patient as an unknown with insufficient information, they listen to the patient’s initial complaint and perceive a variety of cues (e.g., appearance, age, or personal circumstances) taken from their observations or the patient’s remarks and responses to the physicians’ own questions. They form an initial concept of a patient’s problem as a synthesis of the identified initial cues. 


(2) 가설 생성, 확인된 신호에 기초하여, 의사들은 브레인스토밍과 다른 사고를 사용하여 환자의 문제를 설명하기 위해 가능한 한 많은 가설을 생성한다. 이러한 가설들은 특정한 진단적 실체, 병리학적 과정, 해부학적 위치 또는 생화학적 변이일 수 있다. 가설을 만들고 순위를 매길 때, 그들은 질병의 유병률과 환자 상태의 심각성을 고려한다(Kovacs & Croskerry, 1999). 가설을 수정할 수도 있고, 가설의 순위를 변경할 수도 있고, 조사가 계속됨에 따라 새로운 가설이 만들어질 수도 있다.

(2) Hypothesis generation. Based on the identified cues, the physicians generate as many hypotheses as possible to explain the patient’s problem, using brainstorming and divergent thinking. These hypotheses can be specific diagnostic entities, pathophysiological processes, anatomical locations, or biochemical derangements. When generating and ranking hypotheses, they consider the prevalence of disease and the acuity of the patient’s condition (Kovacs & Croskerry, 1999). Hypotheses may be modified, the ranking of hypotheses can be changed, or new hypotheses may be created as the inquiry continues. 


(3) 조사(자료수집) 전략. 의사들은 병력청취, 신체검사 또는 실험실 검사를 통해 가설을 강화, 보강 또는 배제하는 더 많은 정보를 얻기 위해 조사를 수행한다. 조사를 위해, 그들은 의사소통 기술과 기술 또는 정신 운동 기술과 같은 임상 기술을 채택할 필요가 있다.

(3) Inquiry strategy. Th e physicians carry out an inquiry to obtain more information that will strengthen, refine, or rule out hypotheses through history taking, physical examinations, or laboratory tests. For the inquiry, they need to employ clinical skills, such as communication skills and technical or psychomotor skills. 


(4) 데이터 분석 및 통합. 그들은 자료수집 전략으로부터 데이터를 얻으면서, 모든 증상, 징후 또는 실험실 결과에 책임이 있는 기본적인 메커니즘의 관점에서, (수집한) 데이터가 고려되는 가설을 강화시키거나 약화시키는지 또는 새롭고 예상치 못한 가설을 제안하는지 결정하기 위해 수집된 가설에 대한 데이터를 분석한다. 획득한 중요한 데이터는 의사가 환자의 문제에 대해 마음속에 축적하고 있는 정보에 추가된다. 이 단계는 환자의 문제를 지속적으로 요약하는 것을 말한다.

(4) Data analysis and synthesis. Aft er obtaining data from the inquiry strategy, they analyze the data against the hypotheses entertained in order to determine whether the data strengthens or weakens any of the hypotheses being considered or suggests new and unsuspected hypotheses, in terms of basic mechanisms responsible for all symptoms, signs, or laboratory findings. Any significant data obtained is added to the information the physicians are accumulating in their minds about the patient’s problem. This refers to the ongoing summary of the patient’s problem. 


(5) 진단 결정. 의사들은 습득한 데이터들의 일관성을 위해 각 가설을 평가하고 경쟁 가설들을 제거한다. 현재의 만남에서 더 이상 도움이 되는 데이터를 수집할 수 없다는 결론에 따라/그들은 환자의 문제와 관련된 근본적인 메커니즘이나 병리 생리학에 관해 가장 가능성이 높은 임상 진단에 도달한다.

(5) Diagnostic decisions. Th e physicians evaluate each hypothesis for consistency with the obtained data and eliminate competing hypotheses. Upon the conclusion that no more helpful data can be collected from the present encounter, they come to the most likely clinical diagnosis/es as to the underlying mechanisms or pathophysiology involved in the patient’s problem. 


(6) 치료 결정. 그들은 환자의 상태를 개선하기 위해 적절한 관리 계획(예: 수술 또는 약물)을 수립하거나 정확한 기초 메커니즘을 확인하거나 증폭하기 위해 추가 조사(예: 실험실 또는 방사선 검사)에 대한 결정을 내릴 수 있다. 

(6) Therapeutic decisions. They can make appropriate management plans (e.g., surgery or medication) to improve the patient’s condition or make a decision on further inquiry (e.g., laboratory or radiology tests) to verify or amplify the correct underlying mechanisms.

 

HDR에는 여러 단계가 있지만 프로세스는 다소 반복적이다(그림 1 참조). HDR의 일부 단계(가설 생성, 조회 전략, 데이터 분석/합성)는 의사가 필요한 모든 데이터를 얻었으며 여러 가설 중 하나가 다른 가설보다 상당히 가능성이 높다고 결정할 때까지 반복된다(Barrows, 1985, 1994; Barrows & Tamblin, 1980).

Although HDR has several phases, the process is rather iterative (see Figure 1). Some phases of HDR (hypothesis generation, inquiry strategy, and data analysis/synthesis) repeat until physicians decide that they have obtained all the data they need and that one of multiple hypotheses is significantly more likely than the others (Barrows, 1985, 1994; Barrows & Tamblyn, 1980).


HDR 프로세스는 도메인 지식과 경험이 부족하거나 문제의 해결책에 불확실성이 있을 때 종종 사용될 수 있다(Patel et al., 2005). 예를 들어, 의사는 이전에 보았던 환자와 유사한 임상 프레젠테이션을 가진 새로운 환자를 만났을 때 패턴 인식을 채택할 수 있는 반면, 더 복잡하고 알려지지 않은 환자 사례에 직면했을 때 HDR에 의존할 수 있다. HDR 모델은 의료 학생들에게 진단 문제를 해결하기 위한 유용한 절차 지침을 제공할 수 있다. 대부분의 임상 상황은 그들에게 친숙해 보이지 않고 일상적인 문제 해결 방법에 대한 경험이 부족하기 때문이다(Elstein, 1995). 의대생들이 문제 해결 능력을 개발하도록 돕기 위한 적절한 접근방식으로서의 HDR 모델은 PBL에 통합되어 있다(Groves, 2007; Hmelo, 1998; Patel et al., 2005). 

The HDR process can often be used when domain knowledge and experience are insufficient or when there is uncertainty about a problem’s solution (Patel et al., 2005). For example, physicians may employ pattern recognition when encountering a new patient who has similar clinical presentations to patients seen previously, whereas they may resort to HDR when confronted with more complex and unknown patient cases. The HDR model can provide medical students with a useful procedural guideline to solve a diagnostic problem, because most clinical situations do not seem to be familiar to them and they lack experience with routine methods of problem solving (Elstein, 1995). The HDR model as an appropriate approach for helping medical students develop their problem-solving skills is incorporated in PBL (Groves, 2007; Hmelo, 1998; Patel et al., 2005).


 

PBL에서의 HDR

Hypothetico-Deductive Reasoning (HDR) in PBL

 

PBL은 학생들에게 주어진 문제 상황에 기본 개념, 이론 또는 원칙을 적용할 수 있는 기회를 제공함으로써, 문제에 대한 합리적인 설명을 구성하고 문제에 대해 실행 가능한 해결책을 제시하며, 이는 기존의 지식 기반 구조 조정과 새로운 지식 구축에 도움이 될 수 있다(Hmelo-Silver, 2004; Savery)., 2006). 의학 교육에서의 PBL의 경우, 의대생들은 임상 문제로서 제기되는 특정 사례의 맥락에서 기초적인 과학적 지식을 습득하도록 장려되어 그들이 미래의 임상 사례에서 지식을 더 잘 보존, 적용 및 회수할 수 있게 된다. PBL은 [학생들의 추론이 임상 정보를 과학 원리와 이론에 연결시키게 하여] 의대생들이 생물학적 지식과 임상적 지식을 통합하는 능력을 개발하도록 되어 있다(Barrows, 1994; Barrows & Tamblyn, 1980; Prince, Van de Wiel, Schherpbier, Van der Vleuten, & Boshuizen, 2000). 

PBL provides students with opportunities to apply basic concepts, theories, or principles to a given problem context in order to construct reasonable explanations underlying the problem and generate viable solutions to the problem, which can assist in restructuring their existing knowledge base and building new knowledge (Hmelo-Silver, 2004; Savery, 2006). For PBL in medical education, medical students are encouraged to acquire basic scientific knowledge in the context of specific cases posed as clinical problems so they can better retain, apply, and retrieve the knowledge in their future clinical practices; PBL is supposed to develop medical students’ abilities to integrate biomedical and clinical knowledge in a way that students’ reasoning links clinical information to scientific principles and theories (Barrows, 1994; Barrows & Tamblyn, 1980; Prince, van de Wiel, Scherpbier, van der Vleuten, & Boshuizen, 2000). 


  • 임상 지식은 질병의 증상, 징후, 치료, 관리와 관련된 질병의 속성에 대한 지식으로 정의된다. 대조적으로, 

  • 생물의학 지식은 질병의 표현에 관련된 해부학적, 생화학적, 병리학적, 생리학적 원리 또는 메커니즘에 대한 지식을 포함한다(Boshuizen & Schmidt, 1992; Diemers et al., 2011; Patel et al., 1989). 

  • Clinical knowledge is defined as the knowledge of the attributes of diseases, which relates to its symptoms, signs, treatments, and managements (Diemers, van de Wiel, Scherpbier, Heineman, & Dolmans, 2011; van de Wiel, Boshuizen, & Schmidt, 2000). 

  • In contrast, biomedical knowledge includes the knowledge of anatomical, biochemical, pathological, and physiological principles or mechanisms involved in the representations of diseases (Boshuizen & Schmidt, 1992; Diemers et al., 2011; Patel et al., 1989). 


  • 학생의 경우, 임상 경험이 거의 없거나 전혀 없으므로, 환자의 문제를 이해하는 데 주로 생명 의학 지식이 활성화될 것이다(van de Wiel et al., 2000). 

  • 의료전문가의 경우, 주로 환자의 문제를 표현하고 진단하기 위해 생물학적 지식이 아닌 임상경험에서 축적된 임상지식을 사용한다(Patel et al., 1989) 그러나 낯선 환자의 경우, 그들은 쉽게 설명되지 않는 임상적 특징을 연결하기 위해 그들의 생물의학 지식을 사용한다.

  • For students who have little or no clinical experience, biomedical knowledge would be mainly activated in comprehending a patient’s problem (van de Wiel et al., 2000). 

  • For medical experts, they predominantly use clinical knowledge accumulated from their clinical experiences, rather than biomedical knowledge, to represent and diagnose a patient’s problem (Patel et al., 1989), but when faced with an unfamiliar patient’s case, they employ their biomedical knowledge for connecting clinical features that are not easily explained (van de Wiel et al., 2000; Woods, Brooks, & Norman, 2007).


HDR의 과정에서는 "기본 과학 규칙(생리학적)을 중간 규칙(병리학적)으로 전환한 다음 임상 규칙(환자 중심)으로 전환해야 한다"(Patel, Groen, & Scott, 1988, 페이지 402) 

  • 기본적인 과학적 설명은 학생들이 특정 질병(Feinstein, 1973b; Woods et al., 2007)에서 특정한 징후나 증상이 발생하는 이유를 이해하고 임상적 추론에서 가설이 확산되는 것을 통제하는 역할을 한다(Feinstein, 1973b; Scholovits, Patil & Schwartz, 1988). 

  • 생리적 과정이나 질병 메커니즘에 대한 병리학적 지식은 기계적으로 여러 계층으로 구성되어야 한다(Szolovits et al., 1988). 이 계층은 임상적 특징이 흐트러졌을 때 학생들이 임상 케이스의 일관된 정신 표현을 만들도록 도울 수 있다(Boshuizen & Schmidt, 1992; Woods e).t al., 2007). 환자 문제의 원인, 병리학적 메커니즘은 환자의 문제에 책임이 있는 가설을 설명하고 검증하는 데 유익하다(Miller & Geissbuler, 2007). 

In the process of HDR, “the basic science rules (physiological) have to be converted into intermediate rules (pathophysiological) and then into clinical rules (patient-oriented)” (Patel, Groen, & Scott, 1988, p. 402). 

  • Basic scientific explanations help students understand why a particular sign or symptom occurs in a specific disease (Feinstein, 1973b; Woods et al., 2007) as well as play a role in controlling the proliferation of hypotheses in clinical reasoning (Feinstein, 1973b; Szolovits, Patil, & Schwartz, 1988). 

  • The pathophysiological knowledge about physiological processes or mechanisms of diseases should be mechanistically organized into multiple hierarchies (Szolovits et al., 1988), which can assist students in creating a coherent mental representation of a clinical case when the clinical features become disorganized (Boshuizen & Schmidt, 1992; Woods et al., 2007). Causal, pathophysiological mechanisms of a patient’s problem are beneficial in explaining and validating hypotheses responsible for the patient’s problem (Miller & Geissbuler, 2007). 

HDR 프로세스에 참여하는 동안 학생들은 환자의 문제를 분석하도록 권장되어야 하며, 기초 과학 지식을 사용하고 검색하며, 근본적인 책임 메커니즘에 초점을 맞추어야 한다(Barrows, 1985, 1994). 즉, 장기, 조직, 세포 또는 분자 수준과 같은 적절한 수준에서 환자 문제의 병리 생리학적 메커니즘뿐만 아니라 관련 시스템의 정상적인 구조와 기능을 이해할 수 있어야 한다(Barrows, 1994).

While engaging in HDR processes, students should be encouraged to analyze the patient’s problem, using and retrieving basic science knowledge and focusing on the underlying responsible mechanisms (Barrows, 1985, 1994). In other words, they should be able to understand the normal structure and function of the systems involved as well as pathophysiological mechanisms of the patient’s problem at the appropriate level, such as organ, tissue, cellular, or molecular levels (Barrows, 1994). 


그러나, 몇몇 연구는 의대생들이 생물 의학적 지식을 임상 사례로 옮기기 위해 애쓰고 있다고 보고했다. (Boshuizen & Schmidt, 1992; Diemers et al., 2011; Prince et al., 2000) 학생들이 [학습]을 [문제 해결]로 전이하는 데 어려움을 겪는 것은 기본 개념에 대한 이해(개념과 이론의 정의만 간단히 암기), 추론 기술 또는 이전 경험 부족 등 다양한 요인에 기인할 수 있다(Dixon & Brown, 2012; Jonassen, 2011). 

However, several studies have reported that medical students struggle to transfer biomedical knowledge to clinical cases (Boshuizen & Schmidt, 1992; Diemers et al., 2011; Prince et al., 2000). Students’ difficulties in transferring their learning into problem solving can be attributed to diverse factors, such as their incomprehension of underlying concepts (simply memorizing definitions of concepts and theories), lack of reasoning skills, or previous experiences (Dixon & Brown, 2012; Jonassen, 2011). 


파텔 외 연구진(1988년)의 연구에서는 8명의 1학년과 2학년 의대생에게 3개의 기초과학 문헌을 읽고, 그 다음 임상 사례를 읽고 나서 진단을 내리고, 이 사건의 근본적인 병리학적 과정을 설명하도록 하였다. 

  • 1학년 학생들은 두 영역의 정보의 피상적 유사성에 근거하여 주어진 임상 문제에 기초적인 과학 정보를 적용하는 경향이 있었다. 예를 들어, 학생들은 정상 체온이 정상 체온조절과 연관되어 있기 때문에 환자의 비정상 체온을 비정상 체온조절과 연관시켰다. 그들은 그들의 개인적인 경험에 근거하여 병리학적 설명을 만들었다. 

  • 2학년 학생들은 광범위한 기초과학 지식을 사용하여 임상 사례의 병리학을 설명했지만, 그들의 인과적 설명은 때때로 부정확하고 일관성이 없어 보였다. 이것은 학생들이 HDR 과정 동안 환자의 사례에 관련된 병리학적 과정을 명확히 하기 위해 학습된 관련 정보를 통합하는, 환자 사례에 대한 인과적 과학적 설명을 구축할 수 있도록 교육 전략이 필요할 수 있음을 나타낸다. 

In Patel et al.’s (1988) study, eight first-year and eight second-year medical students were asked to read three basic science texts, followed by a clinical case, then make a diagnosis, and explain the underlying pathophysiological processes of the case. 

  • The first-year students tended to apply basic science information to the given clinical problem based on the superficial similarity of the information in the two domainsfor example, students related the patient’s abnormal temperature to abnormal body thermoregulation, because normal temperature is associated with normal body thermoregulationand they constructed pathophysiological explanations based on their personal experiences. 

  • The second-year students used extensive basic science knowledge to explain the pathophysiology of the clinical case, but their causal explanations sometimes seemed incorrect and inconsistent. This indicates that instructional strategies may be needed so that students can build a causal, scientific explanation of a patient’s case that integrates the relevant information learned to clarify the pathophysiological processes involved in the patient’s case during HDR processes. 


개념 매핑은 기본 과학 개념과 임상 컨텍스트(예: Rendas, Fonseca, 2006; 자세한 내용은 교육 권장 섹션 참조) 사이의 학생들의 과학적 연결을 촉진하기 위한 전략 중 하나로 사용되어 왔다. 더욱 중요한 것은 환자의 문제에 대한 설명을 진전시키기 위한 과학적 개념과 문제 또는 데이터의 조정을 포함한 HDR 프로세스는 이성적인 논쟁의 담론 내에 일련의 명제와 추론을 수반한다(Duschl & Osbert, 2002). HDR 프로세스 중에 의대생들이 자신의 주장을 명시적으로 제시하게 된다. 이 때, 학생들은 [환자의 사례에 기초적인 과학 지식을 적용하는 것]뿐만 아니라 [과학적 조사 과정과 환자의 사례에 대한 일관성 있는 설명]에 근거해야 한다. 이것은 다음 절에서 논의될 논쟁을 포함한다. 

Concept mapping has been used as one of the strategies to facilitate students’ scientific connections between basic science concepts and clinical contexts (e.g., Rendas, Fonseca, & Pinto, 2006; see the instructional recommendation section for more detail). More importantly, the HDR process, including the coordination of scientific concepts and problems or data to advance an explanation of a patient’s problem, entails a series of propositions and inferences within a discourse of reasoned arguments (Duschl & Osborne, 2002). During HDR processes, engaging medical students in explicitly presenting their claims based on reasons can support not only the application of basic science knowledge to a patient’s case but also scientific inquiry processes and coherent explanations of the patient’s case. Th is involves argumentation that will be discussed in the following section.

 

논쟁

Argumentation

 

Argumentation은 두 명 이상의 개인이 클레임을 구성하고, 교환하고, 평가하고, 클레임에 대한 정당성을 제공하는 대화에 참여하는 사회적 과정을 말한다. 논쟁은 문제 해결이나 의사결정에 중요한 역할을 하는 추론과 관련이 있다. PBL에서 학생들은 그들이 문제를 어떻게 조사했는지, 무엇이 문제를 야기했는지, 그리고 바람직한 문제 해결을 위해 어떤 해결책이 필요한지에 대한 유효한 논쟁을 구성하도록 장려되어야 한다. 또한 학생들의 논거 능력을 결정하는 것은 그들의 문제 해결 능력이나 추론 능력을 평가하는 수단을 제공할 수 있다(Jonassen, 2011; Nussbaum, 2011).

Argumentation refers to a social process in which two or more individuals engage in a dialogue where they construct, exchange, and evaluate claims and provide justifications for the claims (Blair, 2011; Cho & Jonassen, 2002; Jonassen, 2011; Nussbaum, 2011; Walton, 2007). Argumentation is associated with reasoning that plays a key role in problem solving or decision making (Cerbin, 1988; Jimenez- Aleixandre & Rodriguez, 2000; Jonassen, 2011; Kuhn, 1992; van Eemeren et al., 1996). In PBL, students should be encouraged to construct valid arguments about how they investigated a problem, what caused the problem, and what solutions are necessary for quality problem solving. Also, determining students’ argumentation ability can provide a means for assessing their problem-solving or reasoning abilities (Jonassen, 2011; Nussbaum, 2011). 


Argumentation theory는 사회적 및 인지적 관점에서 협력적 문제 해결의 이해를 위한 이론적 프레임워크를 제공할 수 있다(Anderson et al., 2001; 드라이버, 뉴턴, 2000). 2011; Siegel, 1995). 툴민의 모델(1958년)은 논쟁 이론 분야에서 대표적인 것으로 여겨져 왔다(안드루스, 2005년; 지메네즈-알리산드레 & 로드리게스, 2000년; 조나센, 2011년; 누스바움, 2011년). 툴민 모델(1958)은 argumentation의 구성 요소를 설명하고 그들 사이의 기능적 관계를 나타낸다(그림 2 참조). Toulmin(1958)은 논쟁에 기여하는 세 가지 필수 구성요소를 다음과 같이 식별했다.

Argumentation theory can provide a theoretical framework not only for understanding collaborative problem solving from both social and cognitive perspectives (Anderson et al., 2001; Driver, Newton, & Osborne, 2000) but also for developing tools to analyze and evaluate students’ thinking and reasoning (Driver et al., 2000; Jonassen, 2011; Nussbaum, 2011; Siegel, 1995). Toulmin’s model (1958) has been considered to be seminal in the field of argumentation theory (Andrews, 2005; Jimenez-Aleixandre & Rodriguez, 2000; Jonassen, 2011; Nussbaum, 2011). Toulmin’s model (1958) describes the constitutive elements of an argument and represents the functional relationships among them (see Figure 2). Toulmin (1958) identifi ed three essential components which contribute to an argument: 


(1) 주장: 장점이 확립되어야 하는 주장 또는 결론 

(1) a claim: an assertion or conclusion whose merits need to be established; 


(2) 데이터: 주장에 대한 지원을 제공하는 사실fact 

(2) data: facts to provide support for the claim; and 


(3) 이유: 데이터에서 주장로 이행하는 것을 정당화하고, 주장에 대한 자료의 관련성을 밝히는 사유(예: 규칙, 원칙 또는 추론 규칙).  

(3) a warrant: a reason that justifies the transition from the data to the claim and reveals the relevance of the data for the claim (e.g., rules, principles, or a rule of inference). 


타당한 argument의 핵심은 주장을 지지하는 데이터이며, 데이터와 주장 사이의 추론을 이어주는 다리로서의 이유이다, 데이터나 이유가 없다면, 주장이나 결론이 적절하고 정당하기는 불가능해질 것이다(Toulmin, 1958). 더욱이, Toulmin(1958) 식별자는 보다 복잡한 주장에서 다음과 같은 세 가지 추가 요소를 편집한다. 

Central to the soundness of arguments is data that supports claims and warrants that act as inferential bridges between data and claims; without data and warrants, it would become impossible for claims or conclusions to be appropriate and legitimate ones (Toulmin, 1958). Furthermore, Toulmin (1958) identifi ed three additional components in more complex arguments: 


(1) 백킹: 영장에 대한 근거를 제공하는 기본 가정(예: 사실 정보, 원칙, 가치 또는 믿음) 

(1) a backing: a basic assumption that provides a rationale for the warrants (e.g., factual information, a principle, value or belief); 


(2) 반박문: 주장을 약화시키거나 무효화하는 문구 

(2) a rebuttal: a statement that weakens or invalidates the claim; and 


(3) 클레임의 확실성을 제한하는 한정자. 일반적으로 "대부분", "아마도" 또는 "가능성"과 같은 모달 부록을 포함한다. 

(3) a qualifier that limits certainty of the claim, which usually includes a modal adverb, such as “most,” “perhaps” or “probably.” 



모든 arguments에 반드시 이러한 구성요소가 포함되어 있지는 않다. 일부 인수 구성요소는 존재하지 않거나 암묵적으로 남아 있을 수 있다(Nussbaum, 2011; Toulmin, 1958). 툴민의 모델(1958년)은 논쟁의 구조를 결정하고 논쟁의 질을 평가하기 위한 프레임워크를 제공하기 위해 사용되었다(Andrews, 2005; Duschl & Osbon, 2002; Newton, Driver, 1999; Nussbaum, 2011). 또한, 이 모델을 가르치는 것은 학생들이 토론에서 논쟁이 어떻게 전개되어야 하는지를 배우고 그들의 정당성을 더 명확히 하는 데 도움이 될 수 있다(Hewson & Ognnniyi, 2010; Newton et al., 1999; Nussbaum, 2011).

All arguments do not necessarily contain these components; some argument components may be absent or left implicit (Nussbaum, 2011; Toulmin, 1958). Toulmin’s model (1958) has been used to determine the structure of arguments and to provide a framework for evaluating the quality of argumentation (Andrews, 2005; Duschl & Osborne, 2002; Newton, Driver, & Osborne, 1999; Nussbaum, 2011). Also, teaching this model can help students learn how an argument should unfold in discussion and make more explicit their justifications (Hewson & Ogunniyi, 2010; Newton et al., 1999; Nussbaum, 2011).


몇몇 연구들(예: Berland & Reiser, 2009)은 학생들이 건전한 논쟁을 구성하는 데 어려움을 겪는다는 것을 발견했다. 예를 들어, 학생들은 자신의 주장을 뒷받침할 증거를 거의 제공하지 않고, 반론이나 상충하는 근거대한 고려를 거의 하지 않는다(Cerbin, 1988; Driver et al., 2000; Reznitskaya, Anderson, & Kuo, 2007). 또한 학생들은 그들의 주장과 증거를 정당화하기 위해 warrants이나 backing을 명확히 하는 데 어려움이 있다(Jimenez-Aleixandre & Rodriguez, 2000; McNeill, Lizotte, Krajcik, 2006). 

Several studies (e.g., Berland & Reiser, 2009) have found that students have difficulty constructing sound arguments; for example, students provide little evidence to support their claims and give little or no consideration to counterarguments or conflicting evidence (Cerbin, 1988; Driver et al., 2000; Reznitskaya, Anderson, & Kuo, 2007) or students have challenges in articulating warrants or backings to justify their claims and evidence (Jimenez-Aleixandre & Rodriguez, 2000; McNeill, Lizotte, Krajcik, & Marx, 2006). 


논쟁에 대한 학생들의 어려움은 학생들이 논쟁 구조에 대한 개념에 부족이나(Cerbin, 1988; Zeidler, 1997), 문제나 주제에 대한 지식이 부족에 기인할 수 있다(Cerbin, 1988; McNeill 등, 2006; von Aufschannaiter, Erduran, Osbon, 2008), 또는 교사들이 학생들의 논쟁에 대한 지지 능력이 부족하기 때문이다. 강의실(Driver et al., 2000; Newton et al., 1999). 학생들의 어려움을 극복하고 그들의 주장을 강화하기 위한 전략을 개발할 필요가 있다.

Students’ challenges with argumentation can be attributed to students’ naive conceptions of argument structures (Cerbin, 1988; Zeidler, 1997), their lack of knowledge about the issue or topic (Cerbin, 1988; McNeill et al., 2006; von Aufschnaiter, Erduran, Osborne, & Simon, 2008), or teachers’ lack of skills in supporting students’ argumentation in the classroom (Driver et al., 2000; Newton et al., 1999). It is necessary to develop strategies to overcome the students’ difficulties and foster their argumentation.

 

HDR 프로세스에 논쟁을 통합하기 위한 프레임워크

A Conceptual Framework to Integrate Argumentation into the HDR Process


HDR과 논쟁에 대한 이전의 논의에 근거하여, 본 섹션은 다음과 같은 프레임워크에 대해 자세히 설명할 것이다. 

의학적 분야의 HDR의 각 단계에서 일반적인 논쟁 구조가 문맥화 될 수 있는 방법.

Based on the previous discussion on HDR and argumentation, this section will elaborate on a framework that explains how the generic structure of argumentation can be contextualized in each phase of HDR in the medical field. 


HDR 과정의 맥락 안에서, 의대생들은 그들의 주장에 대한 증거와 생물 의학 및 임상 지식을 통합하여 [claim와 증거로부터 추론하는 것을 포함하여] 논쟁에 참여하는 것이 중요하다. 학생들의 주장은 환자의 문제에 대한 과학적, 인과적 설명을 만들고 환자의 상태에 대한 문제 해결을 위한 과학적 조사의 질을 개선하는 데 도움이 될 것이다. 

Within the context of HDR processes, it is important for medical students to engage in argumentation, including relating evidence for their claims and reasoning from the claims and evidence by integrating biomedical and clinical knowledge. The students’ argumentation will help build scientific, causal explanations for a patient’s problem and improve the quality of their scientific inquiry for problem solving about a patient’s condition. 


학생들이 HDR 과정 동안 건전한 논쟁을 구성하기 위해서는, 그들의 주장에서 툴민의(1958) 논쟁 모델의 최소 세 가지 기본 요소를 제공하는 것이 필수적이다. 

  • 클레임, 

  • 데이터(증거) 및 

  • 워런트 

In order for the students to construct sound arguments during HDR processes, it is essential to provide at least three basic components of Toulmin’s (1958) argumentation model in their arguments: 

  • a claim, 

  • data (evidence), and 

  • a warrant. 


  • 클레임은 본래의 질문이나 문제에 답하는 진술이 될 수 있다. 

  • 데이터는 학생들의 주장을 뒷받침하는 것으로서관찰 자료, 학생들에게 주어진 읽기 자료 또는 면접, 신체검사 또는 진단시험을 포함한 조사와 같은 몇 가지 출처에서 얻을 수 있다. 

  • 워런트는 왜 데이터가 주장을 뒷받침하는지에 대한 논리로서, 병리학적, 생리학적 원리나 메커니즘 또는 임상적 특징의 기초가 되는 프로세스 등이 있다.

  • The claim can be a statement that answers the original question or problem. 

  • The data that supports students’ claims can come from several sources, such as observations, reading materials given to students, or investigations, including interviews, physical examinations, or diagnostic tests. 

  • The warrant used to articulate the logic behind why the data support the claim can include pathological and physiological principles, mechanisms, or processes underlying clinical features. 


예를 들어, 환자의 문제와 함께 제공된 경우, 학생들은 청구, 데이터 및 영장을 포함한 논쟁을 구성하여 그림 3에서와 같이 환자의 문제에 대한 가설을 생성할 수 있다.

For example, when provided with a patient’s problem, students can construct an argument, including a claim, data, and a warrant, to generate a hypothesis responsible for the patient’s problem as illustrated in Figure 3.


 

다음은 HDR의 Barrows(1994) 모델에서 채택된 HDR의 6단계와 관련하여 Toulmin의 (1958) 모델(청구, 데이터 및 영장)에 기초한 인수의 3가지 필수 요소를 포함한 논쟁의 구조를 논한다.

— 문제 프레임, 가설 생성, 조회 전략, 데이터 분석 및 통합, 진단 결정 및 치료 결정 - 

이는 인수 통합 HDR 모델에 통합되어 있다(다음 페이지 그림 4 참조).

The following discusses the structure of argumentation, including the three essential components of an argument based on Toulmin’s (1958) model (a claim, data, and a warrant), in relation to the six phases of HDR adapted from Barrows’s (1994) model of HDRproblem framing, hypothesis generation, inquiry strategy, data analysis and synthesis, diagnostic decision, and therapeutic decision — which are integrated in The Argumentation- Integrated HDR Model (see Figure 4, next page): 


(1) 문제 프레이밍. 

  • 학생들은 식별된 환자 정보 또는 중요한 것으로 간주되는 단서의 초기 해석으로서 환자의 문제에 대한 초기 개념을 형성하며, 이는 이 단계에서 주장이 될 수 있다. 

  • 이러한 주장을 뒷받침하기 위해, 그들은 관찰에서 얻은 초기 정보나 단서 또는 환자와의 처음 만남에서 언급된 환자의 발언을 사용한다. 

  • 학생들은 확인된 정보나 단서가 환자 자신의 청구와 데이터의 관련성을 정당화하는 데 있어 영장으로서 중요한 것으로 간주되는 이유를 설명한다.

(1) Problem framing. 

  • Students form an initial concept of a patient’s problem as an initial interpretation of identified patient information or cues considered important, which can be a claim in this phase. 

  • To support the claim, they use initial information or cues taken from observations or the patient’s remarks mentioned in the initial encounter with the patient. 

  • The students explain why the identified information or cues are regarded as important for the patient as warrants for justifying the relevance of their claims and data. 


(2) 가설 생성. 

  • 학생들의 주장은 기본 메커니즘(예: 생리적 메커니즘)이나 환자의 문제의 원인이 될 수 있는 질병 실체 같은 가설이다. 

  • 이러한 주장에 대한 데이터(증명)로서 학생들은 환자와 처음 만났을 때 나타나는 환자의 불만이나 증상을 설명한다. 

  • 데이터가 왜 주장을 뒷받침하는 것으로 간주되는지를 보여주는 정당성을 제공하기 위해 학생들은 환자의 문제와 관련된 병리 생리학적 메커니즘을 사용하여 영장을 제공한다. 

학생들은 기초과학을 장기, 조직, 세포 또는 분자 수준에서 환자의 문제를 근본적으로 이해하도록 권장된다(Barrows, 1985).

(2) Hypothesis generation. 

  • Students’ claims are hypotheses, such as basic mechanisms (e.g., physiological mechanisms) or disease entities that can be causes for the patient’s problem. 

  • As data (evidence) for the claims, students describe a patient’s complaints or symptoms presented in their initial encounter with the patient. 

  • To provide a justification that shows why the data are considered to support the claim, students provide warrants using pathophysiological mechanisms involved in the patient’s problem. 

Students are encouraged to relate basic sciences to a fundamental understanding of the patient’s problem at the organ, tissue, cellular or molecular level (Barrows, 1985). 


(3) 자료수집 전략. 

  • 주장에는 가설을 검증하는 데 필요한 조치(수집, 신체검사 항목, 실험실 또는 진단 시험) 또는 추가 정보가 포함된다. 

  • 이러한 주장을 뒷받침하기 위해 학생들은 고려된 가설에 의해 구성된 환자의 정보나 단서를 제공한다. 

  • Warrant는 그들의 가설을 강화하거나 약화시키는 데 도움이 되는, 실험이 중계하는 것 또는 어떤 종류의 정보에 관한 정보를 접하는 기본적인 메커니즘을 포함한다.

(3) Inquiry strategy. 

  • Students’ claims include what actions (questions, physical examination items, and laboratory or diagnostic tests) or further information can be necessary for validating their hypotheses. 

  • To support the claims, students provide the patient’s information or cues organized by the hypotheses considered. 

  • Warrants involve basic mechanisms underlying hypotheses entertained or information about what the tests relay or what kind of information the actions will produce that would be helpful in strengthening or weakening their hypotheses. 


(4)데이터 분석과 합성

  • 주장은 고려하고 있는 환자 데이터 가설과의 관계에서 중요한지 여부이다; 즉, 청구는 조사 전략에서 얻은 환자의 데이터에 대한 해석이다.

  • 데이터(증거), 질문에 대한 환자의 답변, 신체 검사 결과 또는 실험실 또는 진단 테스트 결과가 포함된다. 

  • 청구와 데이터(증거)의 연관성을 확립하기 위해 학생들은 생리적 또는 생화학적 메커니즘과 같은 기본적인 메커니즘에 대한 지식(기관, 조직, 세포 또는 분자)을 이용하여 warrant를 구성한다.

(4) Data analysis and synthesis. 

  • Students’ claims involve whether the patient’s data is significant in relation to the hypotheses considered; in other words, the claims are interpretations of the patient’s data obtained from the inquiry strategies. 

  • As data (evidence), the patient’s answers to questions asked, the findings of the physical examinations, or the results of laboratory or diagnostic tests are included. 

  • To establish the connections between the claims and data (evidence), students construct warrants, using the knowledge of basic mechanisms, such as physiological or biochemical mechanisms, at the appropriate level (organ, tissue, cellular, or molecular). 


(5) 진단 결정

  • 학생들은 가설 중에서 환자의 문제에 책임이 있을 가능성이 가장 높은 것을 결정하여 주장한다. 

  • 그들의 주장에 대한 데이터(증거)로서, 학생들은 분석/합성 과정에서 획득한 중요한 환자 데이터와 해석을 사용한다. 

  • 주장과 증거를 연결하기 위해, 그들은 환자의 문제와 관련된 메커니즘을 설명하며, 관련된 사건, 프로세스 및 구조의 인과관계를 설명하거나 환자의 가장 가능성이 높은 질병에 대한 진단 기준을 제시한다.

(5) Diagnostic decision. 

  • Students make claims about decisions on the hypotheses most likely to be responsible for the patient’s problem. 

  • As data (evidence) of their claims, students use significant patient data and its interpretations acquired in the analysis/synthesis process. 

  • To link the claims and evidence, they explain underlying responsible mechanisms involved in the patient’s problem, describing the cause-effect chain of events, processes, and structures involved or present diagnostic criteria for the most likely disease of the patient. 


(6)치료적 결정

  • 학생들은 환자의 문제 치료나 관리 전략에 결정에 대해 주장한다. 

  • 자신의 주장을 뒷받침하는 증거로서, [환자의 관련 증상, 징후 또는 임상 결과와 함께] 진단 결정을 사용한다. 

  • Warrant로서, 그들은 치료적 개입에 관련된 생물학적 지식과 병리생리학적 메커니즘을 명확히 하거나, 증거 기반 의학과 관련하여 같은 질병을 진단 받은 환자에게 수술이나 방사선 같은 표준적인 의료 치료가 효과적인지 여부를 보여주는 연구 결과를 참조한다(디킨슨, 1998; Sackett, Rosenberg, Gray, Haynes, & Richardson, 1996.) 

이 단계에서 학생들은 기본적인 병리학적 메커니즘의 관점에서 치료적 결정을 하도록 장려되어야 한다(Barrows, 1985).

(6) Therapeutic decision. 

  • Students make claims about decisions on treatment or management strategies of the patient’s problem. 

  • As evidence to support their claims, they use their diagnostic decisions with the relevant patient’s symptoms, signs, or clinical findings. 

  • As warrants, they articulate pathophysiological mechanisms relating biomedical knowledge to therapeutic interventions or refer to results of research showing whether or not standard medical treatments, such as surgery or radiation, are effective for patients who are diagnosed with the same disease in relation to evidence-based medicine (Dickinson, 1998; Sackett, Rosenberg, Gray, Haynes, & Richardson, 1996). 

In this phase, students should be encouraged to make therapeutic decisions in terms of basic pathophysiological mechanisms (Barrows, 1985).


 

협력적 논쟁

Collaborative Argumentation

 

PBL이 학생들에게 소규모 그룹 토론을 통해 문제를 해결하기 위해 협력할 것을 요구한다는 점에서(Barrows, 1985; Barrows & Tamblyn, 1980; Hmelo-Silver & Barrows, 2008), 이러한 맥락에서 논쟁은 문제 해결과 의사결정을 위한 협력 과정으로 간주된다(Baker, 2003). Means와 Voss(1996)는 학생들이 더 나은 추론을 만들고 문제해결 과정에 참여하도록 도울 수 있는 지식의 인식과 회수를 자극함으로써 학생들 사이의 상호작용 형태의 논쟁이 학생들의 추론과 학습에 중심적인 역할을 한다고 제안했다. 즉, 지지적인 대화형 환경에서 논쟁은 그룹 구성원들이 자신의 생각을 공식화하고 공유하고, 문제에 대한 여러 관점을 고려하고, 자신과 다른 사람들의 주장을 질문, 정당화, 평가하기 위한 수단으로 사용된다(Baker, 2003; Brown & Redmond, 2007; Golanics & Nussbaum, 2008).

Given that PBL requires students to work together to solve problems through small-group discussions (Barrows, 1985; Barrows & Tamblyn, 1980; Hmelo-Silver & Barrows, 2008), argumentation in this context is regarded as a collaborative process for problem solving and decision making (Baker, 2003). Means and Voss (1996) proposed that argumentation in the form of interactions between students plays a central role in students’ reasoning and learning by stimulating the recognition and retrieval of knowledge, which can help them generate better inferences and engage in the problemsolving process. In other words, argumentation in a supportive dialogical setting is used as a vehicle for group members to formulate and share their ideas, to consider multiple perspectives on an issue, and to question, justify, and evaluate their own and others’ arguments (Baker, 2003; Brown & Redmond, 2007; Golanics & Nussbaum, 2008). 


HDR 프로세스 중에 소규모 그룹의 개별 학생들은 argumentation-integrated HDR 모델을 적용하여 청구, 데이터 및 영장을 포함한 유효한 주장을 스스로 생성할 수 있다또한 그룹 구성원의 주장에서 누락된 특정 요소를 제공하거나 질문을 통해 타인이 건전한 주장을 구성하는 데 도움을 줌으로써 협력적 논쟁 구성에 기여한다

During HDR processes, individual students in a small group can generate valid arguments, including a claim, data, and a warrant, by themselves, applying the argumentation-integrated HDR model, as well as contribute to collaborative argument construction by providing certain components that are missing in their group members’ arguments or assisting others in constructing sound arguments through questioning. 


예를 들어, "EKG[전심전도]가 환자에게 필요할 것 같다"와 같은 조사 전략 단계에서 그룹 내 한 학생이 자료와 영장 없이 청구만 했을 때, 다른 학생들이 데이터(예: "심근경색 가설을 테스트해야 한다") 또는 청구에 대한 영장(예: "EKG의 ST 세그먼트 상승 또는 우울증은 일반적으로 심근경색을 나타낸다.)을 추가하거나, 또는 "왜 검사가 필요하다고 생각하는가?"와 같은 질문을 할 수 있다.

For example, when one student in a group only offered a claim without data and warrants during the inquiry strategy phase, such as “I think an EKG [electrocardiogram] would be necessary for the patient,” other students could add data (e.g., “We need to test the myocardial infarction hypothesis”) or warrants (e.g., “ST segment elevation or depression on EKG is typically indicative of myocardial infarction”) for supporting the claim, or ask a question, such as “Why do you think the test is necessary?” 


더욱이, 논쟁 통합 HDR 모델에 따르면, 협력적인 논쟁은 학생들이 무엇을 모르거나 어떤 추가적인 정보나 지식이 필요한지 인식하도록 자극할 것이다. 예를 들어, 위에서 언급한 상황에서 그룹 내 어떤 학생도 왜 테스트(EKG)가 환자를 위해 수행되어야 하는지에 대한 warrant을 제공할 수 없거나 테스트에 대한 자신의 지식이나 정보에 대해 확신을 가질 수 없다면, 그들은 탐색해야 할 그룹 학습 문제를 스스로 결정할 것이다.

Moreover, collaborative argumentation, according to the argumentation-integrated HDR model, will stimulate students to be aware of what they do not know or what additional information or knowledge is needed. For example, if in the situation mentioned above no students in the group could provide a warrant about why the test (an EKG) should be performed for the patient or feel certainty about his or her knowledge or information about the test, they would then determine their own group learning issues that need to be explored.

 

통합형 HDR 모델의 지침적 권장사항

Instructional Recommendations of the Argumentation-integrated HDR Model

 

우리가 만든 논거 통합 HDR 모델은 학생들이 PBL에서 HDR 프로세스 동안 건전한 논쟁을 생성하는데 도움을 줄 수 있는 교육 및 학습 전략의 필요성을 추가적으로 제시할 수 있다. 다음 절에서는 이전 연구를 바탕으로 다양한 유형의 비계(예: 강사와 도구에 의해 제공되는 지원)를 포함하여 학생들의 주장을 촉진하기 위한 4가지 교육 전략을 권고하고 PBL에서 의대생의 HDR 프로세스에 각 전략을 어떻게 적용할 수 있는지 논의한다.

The argumentation-integrated HDR model that we constructed can further suggest the need for teaching and learning strategies to assist students in generating sound arguments during HDR processes in PBL. The following section will recommend four instructional strategies for promoting students’ argumentation, including different types of scaffolding (e.g., supports provided by tutors and tools) based on previous studies and discuss how each strategy can be applied to the HDR processes of medical students in PBL.

 

타당한 논쟁의 구조설정에 관한 연구

An Aid for Understanding the Structure of Sound Arguments

 

학생들이 건전한 논쟁을 구성할 수 있도록 논쟁의 주요 요소와 다른 요소와의 관계를 이해하는 것은 필수적이다. 논쟁 구조의 발달되지 않은 정신적 모델을 가진 일부 학생들은 청구 지원 관계를 인식하지 못하고 누락되거나 혼란스러운 요소들로 논쟁을 일으킬 수 있다(Cerbin, 1988; Sampson & Clark, 2008; Zeidler, 1997). 

It is essential for students to understand the primary components of an argument and their relationships with the other components so that they can construct sound arguments. Some students who have an undeveloped mental model of an argument structure may fail to recognize the claim support relationship and produce arguments with missing or confused elements (Cerbin, 1988; Sampson & Clark, 2008; Zeidler, 1997). 


논거 구조에 대한 학생들의 이해를 지원하기 위한 검증된 전략 중 하나는 "업무에 대한 일반적인 학생 어려움에 기초"하도록 설계된 딱딱하거나 고정된 비계 역할을 하는 그래픽 논쟁 도구의 사용이다. 논쟁의 그래픽적 표현 전략은 학생들이 논쟁의 구조를 시각화할 뿐만 아니라 사고나 추론의 핵심 요소들을 더 명확하게 하는데 도움이 되며, 이것은 더 엄격한 논쟁 구조를 이끌 수 있다.

One of the validated strategies for supporting students’ understanding of argument structures is the use of graphical argumentation tools, which serve as hard (Saye & Brush, 2002) or fixed (Azevedo, Cromley, & Seibert, 2004) scaffolds that are designed “based on typical student difficulties with a task” (Saye & Brush, 2002, p. 81). The strategy of graphically representing arguments helps students not only visualize the structure of arguments but also make the key elements of thinking or reasoning more explicit, which can guide a more rigorous argument construction (Buckingham Shum, MacLean, Bellotti, & Hammond, 1997; Chin & Osborne, 2010; Jonassen, 2011; Toth, Suthers, & Lesgold, 2002). 


진과 오스본의 (2010) 연구는 학생들이 툴민(1958년)의 논증 모델에 기초한 논증 도표의 종이 기반 방식을 사용하는 것이 학생들이 시각적, 언어적으로 생각을 정리하고, 그들 자신의 논증의 성격을 이해하고, 그들의 논증의 장점과 단점을 파악하는 데 도움이 된다고 제안했다. 서더스와 헌드하우젠(2003)의 연구에 따르면 대학생들은 주어진 과학 문제의 원인을 탐구하는 동안 자신의 가설, 자료, 그리고 가설과 자료 사이의 관계를 나타내기 위해 컴퓨터 기반 도구인 세 가지 중 하나를 사용했고, 그 후 그들의 조사 결과에 대한 에세이를 쓰도록 요구받았다. 이 연구는 다이어그램 사용자가 매트릭스와 텍스트 사용자보다 에세이에서 가설과 데이터 사이에 더 일관된 관계를 형성한다는 것을 발견했다.

Chin and Osborne’s (2010) study suggested that students’ use of a paper-based mode of an argument diagram based on Toulmin’s (1958) model of argumentation assisted the students in organizing their thinking visually and linguistically, comprehending the nature of their own arguments, and identifying the strengths and weaknesses of their arguments. According to Suthers and Hundhausen’s (2003) study, college students used one of three computer-based toolsa diagram, matrix, and text formto represent their hypotheses, data, and relations between the hypotheses and data, while exploring causes of given science problems, and then were asked to write an essay about the results of their inquiry. The study found that the diagram users constructed more consistent relations between hypotheses and data in their essays than the matrix and text users did. 


논쟁 다이어그램은 PBL에서 HDR 과정 동안 의대생들의 논쟁의 질을 촉진하는 잠재적인 해결책을 제공한다. 예를 들어, 학생들은 HDR 단계와 관련된 논쟁 구조를 배우고 종이 기반 또는 컴퓨터 기반 주장 다이어그램을 사용하여 개별적으로 또는 소규모 그룹으로 논쟁을 생성하는 연습을 하도록 권장되어야 한다. 학생들의 노력 외에도, 교사들이 HDR 과정에 대한 논쟁의 구조를 이해하는 것을 돕기 위해 PBL 튜터 교육 프로그램이나 워크숍이 필요할 것이며, 이 프로그램은 HDR 과정 동안 학생들의 주장을 뒷받침하는 기술을 개발할 수 있다. 그림 5(다음 페이지)는 논거 통합 HDR 모델에서 채택된 HDR의 각 단계에 대한 인수에 포함할 3가지 필수 구성요소(청구, 데이터 및 영장)를 학생 및 강사가 식별하는 데 사용할 논거 다이어그램의 예를 보여주고 있다. 

Argument diagrams offer a potential solution in promoting the quality of medical students’ argumentation during HDR processes in PBL. For example, students should be encouraged to learn the structure of argumentation in relation to HDR phases and practice generating arguments individually or in small groups, using a paper-based or computer- based argument diagrams. In addition to the students’ efforts, a PBL tutor training program or workshop would be needed to help tutors understand the structure of an argument for the HDR process and exercise argumentation using argument diagrams, which can develop their skills to support students’ argumentation during HDR processes. Figure 5 (next page) shows an example of an argument diagram to be used for students and tutors to identify each of the three essential components (a claim, data, and a warrant) to be included in an argument for each phase of HDR, that was adapted from the argumentation-integrated HDR model.


 

질문을 통한 적시적 안내

Just-in-Time Guidance Through Questioning

 

질문은 학생들의 추론을 촉진할 수 있는 "가장 근본적인 인지 구성요소 중 하나"(Jonassen, 2011, 페이지 285)로 간주된다(Graesser, Bagget, & Williams, 1996). PBL과 같은 문제해결 학습 환경에서 교사들은 지식이나 설명을 제공하기 보다는 질문을 함으로써 자극의 역할을 하고 문제해결 과정에 학생들을 참여시켜야 한다(Hmelo-Silver & Barrows, 2008). 그러한 교사들의 질문은 [학생의 학습진행이나 과제성과에 대한 교사들의 지속적인 모니터링에 기초한 적시성 지원을 통해] 학생들의 논쟁 기술의 발전을 비계scaffold할 수 있다. (Andriessen, 2006; Jonassen, 2011). 

Questioning is regarded as “one of the most fundamental cognitive components” (Jonassen, 2011, p. 285) that can promote students’ reasoning (Graesser, Bagget, & Williams, 1996). In problem-solving learning environments such as PBL, teachers should serve as stimuli and engage students in problem solving processes by asking questions rather than providing knowledge or explanations (Hmelo-Silver & Barrows, 2008). Such teachers’ questioning can scaffold the development of students’ argumentation skills through just-in-time supports based on teachers’ ongoing monitoring of their students’ learning progress or task performance (Andriessen, 2006; Jonassen, 2011). 


  • 예를 들어, McNeill과 Pimentel의 (2010) 연구에서, 주어진 과학 문제에 대한 토론 중에 교사가 종종 개방형 질문(학생들에게 그들의 생각을 표현하고 그들의 추론을 설명하도록 요청함)을 사용하는 학생들은 과학적 논쟁에 관여할 가능성이 더 높았고, 자료(증명)와 그들의 클리닝을 정당화하기 위한 영장을 제공했다. 

  • 또한, Hmelo-Silver와 Barrows(2008)는 PBL 세션 동안 학생들이 병리학적 메커니즘에 대한 지식을 활용하여 환자의 문제에 대한 인과적 설명을 구축하는 데 도움이 되는 PBL의 심층적인 추론과 설명을 필요로 하는 PBL의 촉진자의 질문을 제안했다.

  • For example, in McNeill and Pimentel’s (2010) study, students whose teacher frequently used open-ended questions (asking students to express their ideas and explain their reasoning) during discussions about the given science problem were more likely to engage in scientific argumentation, providing data (evidence) and warrants to justify their claims. 

  • Additionally, Hmelo-Silver and Barrows (2008) suggested that PBL facilitators’ questions that required medical students’ deep reasoning and explanations, such as causal antecedent and consequence questions, during PBL sessions helped students build causal explanations of a patient’s problem, employing knowledge of pathophysiological mechanisms. 


의대생들이 PBL에서 HDR 과정에 참여할 때, 교사들은 학생들이 환자의 문제의 원인에 대한 그들의 생각을 설명하기 위해 증거와 영장을 제공할 수 있도록 의도적으로 그들의 주장에 주의를 기울이고 적절한 질문을 함으로써 학생들의 주장을 비계화scaffold해야 한다(Barrows, 1985; Hmelo-Silver & Barrows, 2).008). HDR의 각 단계 중 학생들의 주장을 촉진하기 위해 강사가 사용할 수 있는 가능한 질문은 표 1에 제시되어 있다. 

When medical students engage in HDR processes in PBL, tutors should scaffold the students’ argumentation by deliberately paying attention to their arguments and asking just-in-time questions so that the students can provide evidence and warrants to explain their ideas about the causes of a patient’s problem (Barrows, 1985; Hmelo-Silver & Barrows, 2008). Possible questions tutors can use for promoting students’ argumentation during each phase of HDR are presented in Table 1.


 

구조지식 및 추론에 대한 협력

Supporting Elaboration on Structural Knowledge and Reasoning

 

학생들이 그들의 구조적 지식을 상세히 설명하도록 하는 것은 학생들의 과학적 논쟁을 촉진하기 위한 효과적인 교육 전략으로 사용될 수 있다. 과학적 논쟁은 개념들 사이의 관계를 이해하고 설명하는 것을 포함한다(Duschl & Osborn, 2002). 이것은 "도메인 내의 개념들이 어떻게 상호 관련되는지에 대한 지식"으로 정의되는 구조적 지식과 관련이 있다. 

Engaging students in elaborating on their structural knowledge can be used as an effective instructional strategy for promoting students’ scientific argumentation. Scientific argumentation involves understanding and explaining relationships between concepts (Duschl & Osborne, 2002), which is related to structural knowledge defined as “the knowledge of how concepts within a domain are interrelated” (Jonassen, Beissner, & Yacci, 1993, p. 4). 


개념 매핑(개념의 구조화 및 정리, 연계 명제화 과정)은 학습자가 자신의 구조적 지식을 활성화하고 표현하는 데 도움이 되는 도구가 될 수 있다. 문제 해결에서 개념 매핑 접근방식은 학생들이 조사 중인 문제에 대한 근본적인 설명을 제공하면서 개념 관계의 동적 네트워크를 두드러지게 만들 수 있다(Gonzalez, Palencia, Umana, Galindo & Villafrade, 2008; Rendas 등, 2006).

Concept mapping a process of structuring and organizing concepts and making a propositional statement to link them— can be a tool for assisting learners in activating and representing their structural knowledge (Edmondson, 1994; Jonassen et al., 1993; Novak & Gowin, 1984; Rendas et al., 2006; Watson, 1989). In problem solving, the concept mapping approach can enable students to make salient the dynamic network of conceptual relationships, providing underlying explanations for a problem being investigated (Gonzalez, Palencia, Umana, Galindo, & Villafrade, 2008; Rendas et al., 2006). 


슈의 연구(2004년)에 따르면, 간호 강좌에서 PBL 토론 중에 컨셉 맵핑을 사용한 실험 그룹과, 컨셉 맵핑을 사용하지 않은 제어 그룹은 최종 테스트에서 임상 사례에 관한 컨셉 맵을 그려달라는 요청을 받았다. 연구 결과, 실험 그룹은 통제 그룹보다 개념 지도에서 더 높은 점수를 얻었으며, 이는 개념 매핑이 학생들이 환자 데이터를 조직하고, 간호 과정에 제시된 개념을 임상 사례에 적용하고, 문제에 대한 해결책을 도출하는 데 용이하게 한다고 나타냈다. 렌다스 외 (2006) 또한 PBL 병리학 강좌에서 의대생들의 개념 매핑 사용이 환자의 문제와 관련된 관련 병리 생리학적 개념에 대한 학생들의 이해를 촉진시키고, 그 문제를 해결하기 위한 가설을 만들고 정보를 모으는 데 도움을 주었다.

According to Hsu’s (2004) research, an experimental group, who used concept mapping during PBL discussions in a nursing course, and a control group, who did not use concept mapping, were asked to draw a concept map about a clinical case on their final test. Th is study revealed that the experimental group had higher scores for their concept maps than the control group, which indicated that concept mapping facilitated the students in organizing patient data, applying concepts presented in nursing courses to a clinical case, and generating solutions to problems. Rendas et al. (2006) also found that medical students’ use of concept mapping in a PBL pathophysiology course promoted the students’ understandings of the relevant pathophysiological concepts involved in a patient’s problem, and assisted them in generating hypotheses and gathering information for solving the problem. 


따라서 PBL에서 개념 매핑은 기초과학의 정보를 구조화하고 체계화하고 환자의 임상발표와 연관시켜 의대생들의 임상추리를 돕는 인지적 도구가 될 수 있으며, 이는 환자의 문제에 대한 병리학적 이해를 향상시킬 수 있다(Ad대, Wilson, & Carrington, 2012; Azer, 2005; Dee, Haugen, & Kreiter, 2014; Guerrero, 2001; Rendas et al., 2006). 다음은 환자 문제의 메커니즘의 도표로 개념 지도를 작성하는 것이 HDR 과정 중 학생들의 일관성 있는 논거 구축을 지원하기 위해 고정된 비계(Saye & Brush, 2002; Azevedo et al., 2004)로 사용될 수 있음을 보여준다.

Thus, in PBL, concept mapping can be a cognitive tool to assist medical students with clinical reasoning by helping them structure and organize information and relate concepts in the basic sciences to a patient’s clinical presentations, which can enhance a pathophysiological understanding of a patient’s problem (Addae, Wilson, & Carrington, 2012; Azer, 2005; Dee, Haugen, & Kreiter, 2014; Guerrero, 2001; Rendas et al., 2006). The following shows that creating a concept map as a diagram of the mechanisms of a patient’s problem can be used as fixed scaffolding (Saye & Brush, 2002; Azevedo et al., 2004) to support students’ coherent argument building during HDR processes: 


(1) 가설 생성. 개념 매핑은 학생들이 병리학적 메커니즘의 관점에서 데이터(증명)와 청구권(가설)을 명확히 할 수 있도록 할 수 있다.

(1) Hypothesis generation. Concept mapping can facilitate students to articulate data (evidence) and warrants for claims (hypotheses) in terms of pathophysiological mechanisms. 


(2) 자료수집 전략. 학생들은 자신의 가설을 검증하기 위한 추가 임상 조사에 대한 제안을 토론하는 동시에, 그들의 연구 전략에 대한 자신의 생각을 정당화하기 위해 개념 지도에서 도출된 가설과 병리 생리학적 메커니즘을 재검토할 수 있다.

(2) Inquiry strategy. Students can discuss suggestions for further clinical investigations to validate their hypotheses while revisiting the hypotheses and pathophysiological mechanisms elicited in the concept map to justify their ideas about inquiry strategies. 


(3) 데이터 분석 및 통합. 학생들은 질문 전략에서 얻은 환자 데이터가 향응하는 가설 및 병리학적 메커니즘과 어떻게 관련되는지 결정하기 위한 주장을 생성하기 위해 개념 지도에 포함된 가설과 병리학적 메커니즘을 사용할 수 있다. 그들은 또한 이전 개념 지도에 중요한 환자 데이터와 상세한 병리 생리학적 메커니즘을 추가하여 개념 지도에 상세히 기술할 수 있다.

(3) Data analysis and synthesis. Students can use the hypotheses and pathophysiological mechanisms included in the concept map to generate arguments for determining how the patient data obtained from inquiry strategies relate to the hypotheses and pathophysiological mechanisms entertained. They can also elaborate on the concept map, adding the significant patient data and detailed pathophysiological mechanisms to the previous concept map. 


(4) 진단 및 치료 결정. 최종 가설을 중심으로 한 정교한 개념 지도는 학생들이 환자 문제에 대한 진단 및 치료 개입에 대한 주장을 구성하도록 유도할 수 있으며, 이는 환자 문제에 대한 종합적인 기계론적 도표 구축을 촉진할 수 있다.

(4) Diagnostic and therapeutic decisions. The elaborated concept map that is focused around the final hypothesis can guide students in constructing arguments about diagnosis and therapeutic interventions for the patient’s problem, which can promote building a comprehensive mechanistic diagram of the patient’s problem. 


환자 사례에 대한 기계론적 시퀀스의 시각적 표현을 통해 학생들의 과학적 논쟁을 향상시키기 위해서는, 강사들이 PBL에서 HDR 프로세스 동안 학생들에게 자신의 개념 매핑에 대해 질문하거나 피드백을 제공함으로써 적시에 지원을 사용할 필요가 있을 것이다(Azer, 2005; Torre, Durning, 2013). 

In order to enhance students’ scientific argumentation through a visual representation of mechanistic sequences for a patient’s case, it would be necessary for tutors to employ timely supports by asking the students questions about or providing feedback on their concept mapping during HDR processes in PBL (Azer, 2005; Torre, Durning, & Daley, 2013).

 

HDR 과정에서의 학생논쟁 품질 평가

Assessing the Quality of Students’ Argumentation in the HDR Process

 

HDR 과정 중 학생들의 논쟁의 질을 평가하는 것은 그들의 주장을 진단하고 그들의 주장을 촉진하기 위한 효과적인 지침을 제공하는 데 필수적이다(Jonassen, 2011). 툴민(1958년)의 논법 모델은 다양한 분야의 논법의 질을 분석하고 평가하는 일반적인 틀로 이용되어 왔다. 예를 들어, 조와 조나센(2002)은 경제학 강좌에서 문제해결 세션 동안 구성된 학생들의 주장을 평가했고, 진과 오스본(2010)은 과학 수업에서 유사한 평가를 수행했다. 둘 다 툴민(1958년)의 논거 모델을 기반으로 한 스크럼을 사용했다.

Assessing the quality of students’ argumentation during HDR processes is essential for diagnosing their argumentation and providing effective guidance for promoting their argumentation (Jonassen, 2011). Toulmin’s (1958) argumentation model has been used as a generic framework for analyzing and assessing the quality of argumentation in diverse disciplines. For example, Cho and Jonassen (2002) assessed students’ arguments constructed during problem-solving sessions in an economics course, and Chin and Osborne (2010) performed a similar assessment in a science class; both used rubrics based on Toulmin’s (1958) argumentation model. 


앞서 제안된 argumentation-integrated HDR 모델은 HDR 과정 동안 구성된 의대생들의 주장을 평가하는 데 효과적인 도구가 될 수 있다. 모델에 제시된 HDR의 각 단계에 따른 논쟁 구조는 각 추론 단계에서 생성된 학생들의 각 주장에 어떤 인수 요소(청구, 데이터 또는 영장)가 포함되었는지 결정하는 데 사용될 것이다. 

Meanwhile, the argumentation-integrated HDR model previously proposed can be an effective tool for assessing medical students’ arguments constructed during HDR processes. The structure of argumentation according to each phase of HDR represented in the model will be used for determining which components of an argument (a claim, data, or a warrant) were included in each of the students’ arguments generated during each reasoning phase. 


예를 들어, 가설 생성 단계에서 "환자가 혈류분해와 호흡곤란을 호소하기 때문에 폐암에 걸릴 수 있다"와 같은 주장을 만든다면, 그 주장은 가설 생성 단계의 argument structure 측면에서는 청구(환자. . 폐암)와 데이터(그. . 호흡곤란)의 두 가지 요소로 해부될 것이다.  

For example, if a student produced an argument during the hypothesis generation phase such as, “The patient may have lung cancer, because he complains of hemoptysis and dyspnea,” the argument would be dissected into two components a claim (The patient . . . lung cancer) and data (because he . . . dyspnea)— in terms of the argument structure for the hypothesis generation phase. 


그런 다음, 학생들의 논쟁에서 세 가지 주요 요소의 조합이 발생하는지 확인한다. 1 청구, 2 데이터와 관련된 청구, 3 데이터 및 영장과 결합된 청구와 같은 청구는 학생들의 논거의 품질을 확인하는 데 도움이 될 수 있다. 세 가지 요소를 모두 포함하는 논쟁의 질은 주장만 포함하는 논쟁의 질보다 더 높은 것으로 간주된다. 

Then, identifying what combinations of the three primary components of an argument occur in the students’ arguments, such as a claim, a claim coupled with data, and a claim coupled with data and a warrant, can be helpful for ascertaining the quality of the students’ arguments; the quality of an argument including all of the three components is regarded as higher than the quality of an argument that only includes a claim. 


이 평가는 학생들이 HDR의 각 단계에 대해 일관성 있는 접근법을 취하는지 여부뿐만 아니라 학생들의 논쟁의 장단점을 감지할 수 있게 해 줄 수 있으며, 이는 학생들에게 효과적인 피드백을 제공하는 데 도움이 된다. 또한, 개념적 프레임워크는 HDR 과정 동안 학생들의 자기반성과 자기평가에 있어 그들의 논쟁의 질을 향상시키기 위한 노력으로 안내할 수 있다. 그러므로 argumentation-integrated HDR 모델을 사용하여 HDR 과정 중 학생들의 논쟁의 질을 평가하는 것은 학생들의 주장을 촉진하는 데 중심적인 역할을 할 것이다.

This assessment can allow for detecting the strengths and weaknesses of the students’ argumentation as well as seeing if the students take coherent approaches to each phase of HDR, which helps to provide effective feedback for the students. Furthermore, the conceptual framework can guide students in self-reflection and self-assessment on their own argumentation during the HDR process in an effort to enhance the quality of their argumentation. Thus, assessing the quality of students’ argumentation during HDR processes through the use of the argumentation-integrated HDR model will play a central role in promoting students’ argumentation.

 

시사 및 결론

Implications and Conclusion

 

건전한 주장을 구성하고 합리적 사고를 강화하는 것은 증거와 영장(Lu, Chiu, & Law, 2011; Von Aufschannaiter et al., 2008)과 같은 자신의 주장에 대한 정당성을 제공하는 능력에 달려 있다. 이러한 논쟁 기술은 학생들이 PBL에서 이성적인 토론을 수행하는데 필수적이며, 이것은 질적인 추론과 문제 해결로 이어질 수 있다. 그러나 의학 교육 환경에서 학생들은 PBL(예: Ju et al., 2016) 동안 의미 있는 논쟁과 임상적 추론 과정을 통해 어려움을 겪는 것처럼 보였다. 이것은 HDR과 같은 임상적 추론 과정에서 문맥화된 학생들의 주장을 개발하고 검토하는 방법에 대한 명확한 지침이 필요하다는 것을 시사하였다. 본 연구에서는 툴민(1958년) 모델에 기초한 논거의 3가지 필수요소(청구, 자료, 영장)를 포함한 논쟁의 구조를 바로우스(1994년)의 임상 추론 모델에서 채택된 HDR의 각 단계에 통합하는 개념적 프레임워크를 제안했다.

Constructing sound arguments and enhancing rational thought depends on the ability to provide justifications for one’s claims, such as evidence and warrants (Lu, Chiu, & Law, 2011; von Aufschnaiter et al., 2008). Such argumentation skills are essential for students to carry out reasoned discussions in PBL, which can lead to quality reasoning and problem solving. However, in a medical education context, students seemed to have challenges with meaningful argumentation and clinical reasoning processes during PBL (e.g., Ju et al., 2016). This has suggested the need for explicit guidance on how to develop and examine students’ argumentation contextualized in clinical reasoning processes, such as HDR. In this study, we proposed a conceptual framework integrating the structure of argumentation, including the three essential elements of an argument (a claim, data, and a warrant) based on Toulmin’s (1958) model, into each phase of HDR adapted from Barrows’s (1994) model of clinical reasoning. 


프레임워크로 설명한 argumentation-integrated HDR 모델은 의대생들이 HDR 프로세스의 논쟁 구조를 식별하고 PBL의 HDR 프로세스 동안 의대생들의 주장을 분석하고 평가하는 수단으로 사용될 수 있다. 또한, 논거 구조 이해, 질문, 구조 지식의 상세화, 논거 평가 등 PBL 중 HDR 프로세스에 관한 학생들의 주장을 촉진하기 위한 모델에 기초한 교육 권고안을 논의하였다. 특정 비계 예제와 함께 권장되는 이러한 전략은 PBL 이전에 교직원 전문 개발 및/또는 학생 오리엔테이션에서 구현될 수 있으며 PBL 중에 적용할 수 있다. 

The argumentation-integrated HDR model articulated in the framework can be used as a means to help medical students identify the structure of argumentation for HDR processes and to analyze and assess medical students’ argumentation during HDR processes in PBL. In addition, we discussed instructional recommendations based on the model for promoting students’ argumentation concerning HDR processes during PBL, such as understanding argument structures, questioning, elaborating on structural knowledge, and assessing argumentation. These recommended strategies with specific examples of scaffolding can be implemented in faculty professional development and/or students’ orientation prior to PBL and applied during PBL. 


예를 들어, 논쟁 통합 HDR 모델에 대한 지침을 포함하여 PBL 이전에 PBL 강사와 학생들에게 제공되는 교육 세션은 PBL 동안 학생들을 논쟁에 참여시키고 HDR을 향상시키기 위한 지침을 제공할 수 있다. 또한 모델로부터 개발된 질문 프롬프트를 강사에게 제공하면 PBL 동안 HDR의 각 단계에 따라 학생들에게 질문을 하는 데 도움이 될 수 있다. 추천된 전략이 학생들의 논쟁의 질과 그들의 HDR 능력에 미치는 영향을 조사하기 위한 향후 연구가 필요하다.

For example, a training session offered to PBL tutors and students prior to PBL, including instruction on the argumentation- integrated HDR model, can provide guidelines for engaging students in argumentation and enhancing their HDR during PBL. Moreover, providing tutors with question prompts developed from the model can assist tutors in asking students questions according to each phase of HDR during PBL. Future research is needed to investigate the effects of the recommended strategies on the quality of students’ argumentation and their HDR abilities.


비록 우리의 개념적 프레임워크가 의학 교육 상황에 초점을 맞추었지만, 그것은 주요 추론 전략의 하나로 HDR을 사용하는 다른 학문에 적용될 수 있다. HDR 접근방식은 화학 및 생물학과 같은 과학 교육에 사용되었다(Lawson, 2000; Patel et al., 2005). 예를 들어 생물학에서 PBL에 대한 논쟁 구조는 생물학적 문제 상황에 따라 본 논문에서 제안된 논쟁 통합 HDR 모델을 채택하고 수정함으로써 개발될 수 있다.

Although our conceptual framework focused on a medical education context, it can be applicable to different disciplines using HDR as one of the primary reasoning strategies. The HDR approach has been used in science education, such as chemistry and biology (Lawson, 2000; Patel et al., 2005). For example, the structure of argumentation for PBL in biology may be developed through adapting and modifying the argumentation- integrated HDR model proposed in this paper in accordance with the biological problem context. 


또한, 개념적 프레임워크는 의학적 교육 분야를 넘어서는 분야별 추론 또는 문제 해결 모델과 논쟁 구조를 결합하는 프레임워크 또는 모델을 구축하는 데 모범적일 수 있다. 

  • 예를 들어, 법교육에서의 PBL은 "문제 발견, 문제 해결 접근법의 예비 고려, 질의 전략, 발행 식별, 연구, 법률 분석 및 해결책, 상담이나 사례 관리"와 같은 법적 문제 해결 과정을 포함한다(Kurtz, Wylie, & Gold, 1990, 페이지 804). 각 프로세스의 성격과 과제를 파악함으로써, 툴민의(1958년) 주장 모델을 법적 문제해결 프로세스에 통합하는 개념적 프레임워크나 모델을 개발할 수 있다. 

  • 마찬가지로, 공학 교육에서 학생들은 엔지니어가 고객과 사용자의 요구를 충족시키기 위한 효과적인 해결책을 고안하기 위해 적용하는 설계 사고를 개발하도록 권장된다(Dym, Agogino, Eris, Frey, & Leifer, 2005). 설계 사고 과정에는 " 강조, 정의, 이상, 프로토타입 및 테스트"를 포함한 몇 가지 단계가 포함된다(d.school, 2013). 논쟁 모델과 설계 사고 과정을 결합한 프레임워크는 학생들이 설계 과정 동안 의미 있는 토론에 참여하도록 유도할 수 있으며, 따라서 더 높은 품질의 문제 해결을 제공할 수 있다.

Moreover, the conceptual framework can be exemplary for building a framework or model combining an argumentation construct with a discipline-specific reasoning or problem- solving model beyond the medical education field. 

  • For example, PBL in legal education includes the following legal problem-solving processes: “problem finding, preliminary consideration of approaches to the problem, inquiry strategy, issue identification, research, legal analysis and solutions, and counselling or case management” (Kurtz, Wylie, & Gold, 1990, p. 804). Through identification of the nature and task of each process, a conceptual framework or model that integrates Toulmin’s (1958) argumentation model into legal problemsolving processes can be developed. 

  • Likewise, in engineering education, students are encouraged to develop design thinking that engineers apply to devise effective solutions for meeting the needs of clients and users (Dym, Agogino, Eris, Frey, & Leifer, 2005). The design thinking process involves several phases, including “emphasize, define, ideate, prototype, and test” (d.school, 2013). A framework combining an argumentation model with design thinking processes may guide students in engaging in meaningful discussions during the process of design and thereby yield higher quality problem solving.  




Abstract

One of the important goals of problem-based learning (PBL) in medical education is to enhance medical students’ clinical reasoning—hypothetico-deductive reasoning (HDR) in particular—through small group discussions. However, few studies have focused on explicit strategies for promoting students’ HDR during group discussions in PBL. This paper proposes a novel conceptual framework that integrates Toulmin’s argumentation model (1958) into Barrows’s HDR process (1994). This framework explains the structure of argumentation (a claim, data, and a warrant) contextualized in each phase of HDR during PBL. This paper suggests four instructional strategies—understanding argument structures, questioning, elaborating on structural knowledge, and assessing argumentation—for promoting medical students’ argumentation in relation to HDR processes. Further implications of the proposed framework for other disciplines, such as science, legal, and engineering education, are also discussed.

Available at: https://doi.org/10.7771/1541-5015.1638

의학교육에서 예술의 힘을 최대화하기 위한 가이드 프레임워크: 체계적 문헌고찰과 메타통합(Med Educ, 2016)

A guiding framework to maximise the power of the arts in medical education: a systematic review and metasynthesis

Paul Haidet,1,2,3,4 Jodi Jarecke,1 Nancy E Adams,5 Heather L Stuckey,2,4 Michael J Green,2,3 Daniel Shapiro,3 Cayla R Teal6 & Daniel R Wolpaw2,3





'우리 모두는 예술이 진실이 아니라는 것을 알고 있다. 예술은 진실을 깨닫게 하는 거짓말이며, 적어도 그 진실은 우리가 이하도록 주어진 것이다'(파블로 피카소)1

‘We all know that Art is not truth. Art is a lie that makes us realize truth, at least the truth that is given us to understand.’ (Pablo Picasso)1


도입

INTRODUCTION


의학 교육에서 예술을 사용하는 것은 새로운 것이 아니다.2 풍부한 문헌은 임상 기술과 인본주의적 실천을 촉진하는 방법으로 예술에 시간과 자원을 투자하는 것을 정당화하는 많은 혁신적인 프로그램과 연구를 설명한다.예를 들어, 교육자들은 의사소통, 관찰 그리고 다양한 인문학적 주제를 가르치기 위해 연극 훈련, 미술관 견학 및 영화 리뷰를 사용한다.9–16 그렇다면 왜 예술의 통합이 더 널리 확산되지 않는가? 

  • 한 가지 이유는 예술에 기반을 둔 교육학들이 과정 감독이나 커리큘럼 위원회의 전략적 결정보다는 종종 개별 교사들의 개인적 이익과 열정에 의존하는 특이한 경향이 있기 때문일 것이다. 

  • 두 번째 이유는 커리큘럼 설계와 평가를 안내하고 광범위한 의료 교육 결과에 대한 예술의 기여를 지원하기 위해 일반적으로 인정되는 개념적 프레임워크가 없기 때문이다.17,18 

Using the arts in medical education is not new.2 A rich literature describes many innovative programmes and studies that justify investing time and resources in the arts as a way to promote clinical skills and humanistic practice.3–8 For example, educators use theatre training, art museum field trips and film review to teach communication, observation and a variety of humanistic topics.9–16 Why, then, is the incorporation of the arts not more widespread? 

  • One reason may be that arts-based pedagogies tend to be idiosyncratic, often dependent on the personal interests and enthusiasm of individual teachers, rather than on strategic decisions made by course directors or curriculum committees. 

  • A second reason is the absence of a generally accepted conceptual framework to guide curriculum design and evaluation and to support the contribution of the arts to a broad range of medical education outcomes.17,18 


이러한 지침이 없다면, 예술에 기반을 둔 많은 교사들은 예술이 어떻게 의학의 실천과 교차하는지에 대한 그들 자신의 관찰과 개인적인 경험에 기초하여 과정을 설계하면서, 그저 '맞다고 느끼는 것'을 한다. 이러한 접근방식이 개별 환경에서는 효과적일 수 있지만, 체계적이지도 않고 증거 기반도 아니며, 따라서 의학 교육에서 예술의 완전한 잠재력을 실현하는 데 도움이 되지 않는다. 따라서 우리는 이 연구를 통해 예술 기반 교육에 대한 현실성을 검토하고 학습한 교훈을 질적으로 종합하였다. 우리는 다음과 같은 두 가지 광범위한 연구 질문을 사용하여 작업에 접근했다.

Without the presence of such guidance, many arts-based teachers simply do what ‘feels right’, designing courses based on their own observations and personal experience about how art intersects with the practice of medicine. Although this approach can be effective in individual settings, it is neither systematic nor evidence based and as such does not lend itself to realising the full potential of the arts in medical education. We therefore undertook this study to review the realisature on arts-based education and qualitatively synthesise the lessons learned. We approached our work using two broad research questions:


1 예술을 기반으로 한 교육학들이 의학 및 기타 비예술적 맥락에서 학습을 촉진하는 방법 및 이유는 무엇인가?

1 How and why do arts-based pedagogies promote learning in medical and other non-arts contexts?


2 예술 기반 교육에 있어서 어떤 일반적인 개념이 작용하고 있으며, 이러한 개념들을 어떻게 의료 교육 설계 및 평가 과정에 통합할 수 있는가?

2 What general concepts are operant in arts-based education, and how can these be incorporated into medical education design and evaluation processes?


우리의 전체적인 목표는 의학교육에서 휴머니즘과 다른 학습 성과를 촉진하기 위한 예술의 사용을 설계, 평가 및 연구하기 위한 개념 모델을 제공하는 것이었다.

Our overall goal was to provide a conceptual model to inform design, evaluation and research of the use of the arts to promote humanism and other learning outcomes in medical education.


방법

METHODS


우리의 두 가지 광범위한 연구 질문의 안내를 받아, 우리는 데이터 분석이 완료되는 시기를 결정하기 위해 포화의 원리를 이용하여 49개 포함된 기사의 내용을 주제적으로 분석하였다.32

Guided by our two broad research questions, we then performed a thematic analysis of the content of the 49 included articles, using the principle of saturation to determine when data analysis was complete.32


결과

RESULTS


예술이 사용되는 방식도 다양했다. 예를 들어, 많은 작가들은 학생들이 초상화, 그림, 사진, 춤 또는 시를 보고 평가하는 예술 기반 과정, 세미나 또는 워크숍을 상세히 설명했다. 다른 과정들은 학생들이 연극에 대해 배우고, 대본을 개발하고, 포럼 극장과 독자의 극장을 포함한 극적인 작품들에 참여하는 것을 포함했다. 어떤 강좌들은 다양한 예술 형태나 창조적인 글, 그림, 만다라, 콜라주, 미술 사당 같은 특정한 지정된 예술 형태를 창조하는 것을 통해 학습자들을 안내했다.

The ways in which the arts were used were also variable. For example, a number of authors detailed arts-based courses, seminars or workshops wherein students witnessed and evaluated portraits, paintings, photographs, dance or poetry. Other courses involved students learning about the theatrical arts, developing scripts and engaging in dramatic productions, including forum theatre and reader’s theatre. Some courses guided learners through creating various art forms of their choosing or specific assigned art forms, such as creative writings, paintings, mandalas, collages and art shrines.


네 가지 공통의 주제 

(i) 학습을 촉진할 수 있는 예술의 고유한 특성, 

(ii) 학습자가 예술을 다루는 특정한 방법, 

(iii) 예술 기반 교육에서 발생한 단기 및 장기 학습 결과를 문서화한 경우 

(iv) 전문 교육 환경에서 가르치기 위해 예술을 사용하기 위한 특정한 교육학적 고려사항


four common themes 

(i) unique qualities of the arts that can promote learning, 

(ii) particular ways in which learners engage with art, 

(iii) documented short- and long-term learning outcomes that arose from arts-based teaching, and 

(iv) specific pedagogical considerations for using the arts to teach in professional education contexts.



예술의 특징

Qualities of the arts


예술의 몇 가지 독특한 특성은 풍부한 학습 경험을 촉진시킬 수 있다. 여기에는 

    • 예술의 은유적이고 대표적인 성격, 

    • 예술에 포함된 주관성, 

    • 예술의 모호하고 복잡한 자질, 

    • 예술의 보편성 

...등이 포함된다.

Several unique qualities of the arts can promote rich learning experiences. These include 

    • the metaphorical and representational nature of the arts, 

    • subjectivity contained in the arts, 

    • the ambiguous and complex qualities of the arts, and 

    • the universality of the arts.


첫째로, 많은 형태의 예술은 본질적으로 표현적이거나 은유적이다.40,47,76 위키스트롬이 시사하는 바와 같이, 예술가들은 어떤 종류의 객관적인 현실 안에서 경험하는 모든 것을 소통하거나 묘사할 능력이나 욕구를 가지고 있지 않다. 오히려 ‘어떤 식으로도 말할 수 없는’ 의미와 감정을 수용하고 전달하기 위해 다양한 형태의 표현을 선택한다몇몇 저자들은 예술의 은유적이고 표현적인 성격이 학생들의 집중력이나 시선을 바꾸는데 도움이 되어, 그들이 평소의 전문 영역에서 새로운 탐구 영역으로 효과적으로 끌어냈다고 언급했다.

First, arts of many forms are representational or metaphorical in nature.40,47,76 As Wikstrom suggests, artists have neither the ability nor the desire to communicate or portray everything they experience within some sort of objective reality. Rather, they select various forms of expression to embrace and convey meanings and emotions that ‘cannot be said in any other way’.76 Several authors noted that the metaphorical and representational nature of the arts helped to alter the focus or gaze of students, effectively pulling them out of their usual professional sphere into a new realm of exploration.


두 번째 자질은 예술의 주관성이다. 좀 더 구체적으로 말하면 예술의 의미는 예술 형식과 마주치는 개인뿐만 아니라 개인 예술가에게도 독특하다. 따라서 viewer를 위한 의미구성은 예술가의 문화와 경험, 보는 이의 문화와 경험, 그리고 예술이 마주치는 시간과 장소에 의해 형성된다.

A second quality is the subjectivity of the arts. More specifically, the meaning of art is unique to the individual artist, as well as to the individual who encounters the art form. The construction of meaning for a viewer is therefore shaped by the culture and experiences of the artist, the culture and experiences of the viewer, and the time and place in which the art is encountered.


예술의 주관성은 교사들이 구체적이거나 문자 그대로의 사고에 도전하도록 도왔으며, 또한 다양한 주제를 다루는데 있어서 학습자들의 개인적 경험과 감정을 정당화하는 데 기여했다.

The subjectivity of the arts helped teachers to challenge concrete or literal thinking, and also served to legitimise learners’ personal experiences and emotions in dealing with a variety of topics.


주관성과 더불어, 예술은 대체로 애매모호하고 복잡하다. 흔히 볼 수 있는 관찰은, 학습자이 예술과 마주쳤을 때 느끼는 불확실성과 예술을 만들었을 당시 예술가의 의도에 대한 학생들의 질문이었다. 수많은 저자들은 다양한 예술 형태에 존재하는 모호성과 복잡성이 그러한 불확실성의 감정을 뒷받침한다고 제안했고, 학습자들이 의미를 찾고 다양한 다른 관점을 탐구하는 발견 과정으로 이어졌다.34,35,47,76

In addition to subjectivity, the arts are generally both ambiguous and complex. A common observation among authors was the uncertainty of learners when encountering art and their questions about the intention of the artist at the time of construction. Numerous authors suggested that the ambiguity and complexity present within various art forms underpin such feelings of uncertainty, and led to a discovery process where learners search for meaning and explore various diverging perspectives.34,35,47,76


이전의 연구에서는 그림의 모호함이 상상력을 자극하는 데 사용되었다. 예술적 대화들은 참가자들을 현실세계에서 벗어나 기호와 이미지로 이루어진 마법의 세계로 실어 나르고, 억제될 수 있는 생각들에 자유로운 고삐를 부여했다.'75

In a previous study, ambiguity in paintings was used to stimulate imagi-nation. The art dialogues transported the participants out of the real world and into a magic world of symbols and images, and gave free rein to thoughts that could have been inhibited.’75


마지막으로, 예술은 보편적이다. 좀 더 구체적으로, 예술은 문화적, 언어적 장벽을 뛰어넘을 수 있는 능력을 가진 것으로 논의되었다 한 저자가 제안한 바와 같이,

Finally, the arts are universal. More specifically, the arts were discussed as having an ability to transcend cultural and linguistic barriers. As one author suggested:


'예술은 세계 모든 문화에 내재되어 있기 때문에 문화적으로 적절하다고 주장할 수 있다.'40

‘It can be argued that the arts are culturally appropriate because they are universal, inherent to every culture in the world.’40


세계적인 범위와 적용 가능성을 넘어, 일부 저자들은 [예술의 보편성]이 그들의 [주관적이고 모호한 성격]과 결합되어 사람들을 서로 다른 관점을 제시하면서 동시에 '새로운 문화간 대화의 문'을 여는 방법을 가지고 있다고 제안했다. 보편성은 모든 학습자가 지위나 순위에 무관하게 접근가능하게 만들어주는 요인이기에, 예술의 이러한 특징이 학습 커뮤니티의 발전을 촉진하며, 그 결과 학습자 사이의 권력 위계를 감소시키는 경향이 있다.

Beyond their global reach and applicability, some authors suggested that the universality of the arts, in combination with their subjective and ambiguous nature, has a way of both drawing people in and at the same time presenting divergent perspectives and opening ‘new cross-cultural conversational doors’.40 This quality is also attributed to facilitating the development of learning communities as the universality helps to give all learners access, regardless of their status or rank, and thus tends to reduce power hierarchies among learners.


예술에 대한 참여

Engagement with the arts


예술의 독특한 특성은 학습자들 사이에 몇 가지 유형의 참여로 귀결되는 경향이 있다. 여러 연구에서는 예술이 다른 사람의 작품을 경험하거나 예술 자체를 창조하는 과정에서, 학습자들을 그들 자신의 주관적인 경험과 생각 속으로 끌어들임으로써 반성과 해석을 장려하는 방법에 대해 토론했다.

The unique qualities of the arts tend to result in several types of engagement among learners. Authors discussed the ways in which the arts encourage reflection and interpretation by drawing learners into their own subjective experiences and thoughts during the process of either experiencing the artworks of others or creating art themselves.


반성과 해석은 주로 인지적 과정인 경향이 있다. 그러나, 본 연구의 기사에서는 다음과 같은 여러 가지 비인정적 참여형태에 대해서도 논의하였다.

Reflection and interpretation tend to be mainly cognitive processes. However, the articles in our study discussed a number of non-cognitive forms of engagement as well:


이러한 다양한 학습 영역을 다루는 특정 형태의 참여는 문헌 전반에 걸쳐 독특한 방식으로 인식되고 개념화되었다. 몇 가지 예로는 공감적 상상력, 38 구현, 38,42,49 미적 지식64,75,76 및 감정적 경험 등이 있다.72

Specific forms of engagement that addressed these various learning domains were recognised and conceptualised in unique ways throughout the literature. Several examples include: empathetic imagination,38 embodiment,38,42,49 aesthetic knowing64,75,76 and the affective experience.72


이러한 다양한 형태의 참여 안에서 중요한 근본적인 주제는 감정의 역할이었다. 여러 가지 면에서, 감정의 결합은 다른 모든 참여 관행engagement practice을 초월했고, 교육과정에 도입된 많은 예술 형태로부터 포용하게 되고, 배우게 되는 핵심 요소였다.

An important underlying theme within these various forms of engagement was the role of emotions. In many ways, the engagement of emotion transcended all other engagement practices, and was a key component of embracing and learning from the many art forms that were employed.


'작곡가, 예술가, 댄서, 그리고 다른 창조적인 사람들은 기쁨, 슬픔, 두려움 또는 혼란의 감정적인 상태를 이용할 때 최선을 다한다. 우리는 학습을 유발하고 자극하는 우리 자신의 감정 상태로부터 이 작업에 연결된다.'58

‘Songwriters, artists, dancers, and other creative people do their best work when they tap into their emotional states of joy, grief, fear, or confusion. We make connections to this work from our own emotional states, which provoke and stimulate learning.’58


이러한 감정의 역할은 의대생들과 함께 일할 때 특히 중요한 구성 요소로 강조되었다. 왜냐하면 학생들은 종종 질병illness이란 전문적인 연습의 감정적 경험을 부정하면서 객관적 수단을 통해 해결해야 할 문제라고 배워왔기 때문이다.

This role of emotions was particularly emphasised as an important component when working with medical students, who are often taught that illness is a problem to be solved through objective means, denying the emotional experience of professional practice.


단기 및 장기 학습 성과

Short- and long-term learning outcomes


우리가 검토한 대부분의 기사들은 다양한 단기 또는 프로세스 기반 학습 결과를 논의했고, 많은 기사들은 또한 예술 기반 교육으로 인한 장기적 결과나 영향에 포함되거나 언급되었다. 단기 및 프로세스 기반 결과에는 자기 인식의 발달, 다른 관점에 대한 개방성 증가, 모호함에 대처하는 능력 강화, 선택된 개념이나 학습 주제에 대한 보다 미묘한 또는 더 깊은 이해 등이 포함되었다.

Most of the articles in our review discussed a variety of short-term or process-based learning outcomes, and many also included or alluded to longer-term outcomes or impacts resulting from arts-based teaching. Short-term and process-based outcomes included 

    • development of self-awareness

    • increased openness to other perspectives, 

    • an enhanced ability to cope with ambiguity, and 

    • more nuanced or deeper understanding of selected concepts or learning topics.


'학생들은 자신의 선입견에 사로잡히기 보다는 다른 사람들에게 집중하기 위한 계획적이고 지속적인 노력을 하도록 격려받는다고 묘사했다. 워크샵은 그들이 다른 사람들의 관점과 경험을 더 잘 알고, 다양성과 차이를 인식하고, 다른 사람들을 더 폭넓게 볼 수 있게 해주었다.'44

‘Students described being encouraged to make a deliberate, sustained effort to focus on others, rather than becoming preoccupied by their own preconceptions. Workshops enabled them to become more aware of other people’s perspectives and experiences, appreciate diversity and difference, and gain a broader view of others.’44


많은 저자들이 관찰한 단기 및 프로세스 결과는 장기적 결과와 학습 영향의 기반을 제공하는 데 도움이 되었다. 이 연구의 기사들은 많은 관계적 속성을 기록했는데, 가장 흔한 것은 감정이입이다.

The short-term and process outcomes that many authors observed helped to provide a foundation for longer-term outcomes and learning impacts. The articles in this study documented a number of relational attributes, the most common being empathy.


'공감 그 자체가 상상력의 창조적 행위라면, 창조성을 길러주지 못할 때, 공감은 제한적일 수도 있다. 여기서, 워크숍은 두 가지 모두를 발전시킬 수 있는 실질적인 기회를 제공했던 것으로 보인다.'42

‘If empathy itself is a creative act of the imagination, without the fostering of creativity, empathy might be limited. Here, it appears that the workshop provided real opportunities to develop both.’42


또한, 저자들은 관찰, 의사소통, 비판적 사고, 윤리적 추론과 창의적 사고 능력을 포함한 기술의 향상을 언급했다. 장기간에 걸쳐 학습자를 추척한 연구는 거의 없었지만, 많은 기사들은 그러한 학습에 대한 영향이 예술 기반 장소를 넘어 학습자 자신의 실천 영역 내에서 적용된다는 것을 암시했다.

In addition, the authors documented enhancement of skills, including observation, communication, critical thinking, ethical reasoning and the ability to think creatively. Although very few articles followed learners long term, many implied that such impacts on learning extended beyond the arts-based venue to application within learners’ own spheres of practice.


'예술은 인간의 상태를 통찰할 수 있게 해준다...학생들은 신체적인 표현뿐만 아니라 감정과 서술에 대한 관찰 기술을 개발하는 데 도움을 받을 수 있다.'46

‘Art allows insight into the human condition... students can be helped to develop skills of observation, not only of physical representation but also of emotion and narrative.’46


예술 기반 교육 과정에 대한 교육적 고려사항

Pedagogical considerations for arts-based coursework


예술과 접근의 다양성에도 불구하고, 우리는 예술을 사용할 때 학습을 용이하게 하기 위해 교육 전략에 대한 통찰력을 제공하는 공통점을 관찰했다. 우리는 이러한 전략을 참여 전략, 의미 결정 전략 및 번역 전략의 세 가지 주요 유형으로 분류했다.

Despite the diversity of arts and approaches, we observed commonalities that offer insight into educational strategies to facilitate learning when using the arts. We categorised these strategies into three main types: engagement strategies, meaning-making strategies and translation strategies.


흔한 참여 전략에는 투명성, 학습자의 불편 인식과 대처, 코스의 공동 학습자 참여 등이 포함되었다. 그러한 전략의 일차적인 목적은 강사, 학습자 및 상호간의 권력의 차이를 최소화하고, 안전하고 신뢰할 수 있는 학습 환경을 조성하는 것이었다. 작가들은 많은 학생들이 예술에 기반한 활동에 참여하는 것에 불편하거나 불안해하고 있다는 것을 인식하고, 학생들의 관점과 참여에 가치를 두는 동시에 이러한 불편함을 해소하는 것이 중요하다고 강조했다.

Common engagement strategies included transparency, recognising and addressing learner discomfort, and participating in the course as a co-learner. A primary purpose for such strategies was to minimise power differentials between instructors, learners and each other, and to create a safe and trusting learning environment. Authors recognised that many students were uncomfortable or anxious about participating in arts-based activities, and emphasised the importance of addressing this discomfort while also valuing students’ perspectives and participation.


'그리기 연습을 시작하기 전에 참가자들의 저항을 극복하는 데 약간의 시간이 필요하다.'69

‘You need to spend a bit of time overcoming participants’ resistance before you start the drawing exercise.’69


'해법은 중립을 가장하는 것이 아니라, 자신의 배경과 가정과 관점에 대해 학습자들과 가능한 한 자기 인식과 투명성을 갖추는 것이다.'67

‘The solution is not to pretend to neutrality, but rather to be as self-aware and transparent as possible with learners about one’s background, assumptions and perspective.’67


학생들이 예술과의 교류가 쉽게 악용될 수 있는 자기 공개 과정임을 직감적으로 인식하기 때문에 강사의 투명성과 과정 참여는 신뢰 형성에 매우 중요하다. 저자들이 안전한 학습 환경을 조성하기 위해 사용한 구체적인 전략에는 코스의 기본 규칙을 개발하고 합의된 계약을 만드는 것이 포함되었다. 이러한 전략들은 특정한 맥락을 정립할 뿐만 아니라, 사람들을 한데 모이게 하고 학습자들의 공동체를 형성할 수 있는 예술적 능력을 기화시키는 방법으로 보여졌다.

Instructor transparency and participation in the process are both critical for creating trust, because students intuitively recognise that their engagement with the arts is a process of self-disclosure that can easily be abused.69 Specific strategies that authors used to create a safe learning environment included developing a set of ground rules for the course7,47 and creating contract agreements.69 These strategies were seen as not only setting a particular context, but also a way of capitilising on the arts’ ability to bring people together and to create a community of learners.


두 번째 교육 전략은 의미 만들기에 초점을 맞추었다. 참여전략이 예술과 서로에 대한 학습자 참여의 장을 마련하는 데 중요했다면, 의미 부여 전략은 다음을 목적으로 한다.

    • 자신의 관점에 대한 학습자의 인식을 높이기 위해, 

    • 현상에 의문을 제기하고 대체적인 관점에 대한 인식을 제고하기 위해 

    • 모호한 상황에 대처하는 데 도움이 되도록 

    • 관계에서 '다름'의 가치를 인식하도록 돕는다. 

    • 교육 내용과 관련한 학습자의 이해를 돕는다.

The second set of educational strategies focused on meaning making. Although engagement strategies were important for setting the stage for learner engagement with the arts and each other, meaning-making strategies were suggested 

    • to raise learners’ awareness of their own perspectives, 

    • to question the status quo and foster appreciation of alternate perspectives, 

    • to help cope with ambiguity, 

    • to help value differences in relationships, and 

    • to help evolve learners’ own understandings with respect to the content being taught. 


의미 형성 전략에는 성찰의 기회를 제공하고 공유와 관계 구축의 맥락을 지원하는 것이 포함되었다. 

    • 성찰의 기회를 제공하는 것은 종종 학습자들이 새롭고 새로운 방식으로 아이디어와 서로 참여하도록 격려하는 과제나 활동을 수반했다. 그것은 또한 대화를 촉진하고 권력의 문제를 다루면서 성찰 활동에 협력하는 것을 포함했다. 

    • 공유와 관계 형성에 대한 맥락을 창조하는 것은 종종 학습자들이 그들의 다양한 견해와 의미를 서로 이야기하고 공유하며 새로운 이해를 발전시킬 수 있는 공간과 시간을 만들도록 요구하였다.

Meaning-making strategies included providing opportunities for reflection and supporting a context for sharing and relationship building. 

    • Providing opportunities for reflection often entailed making assignments or activities that encouraged learners to engage with ideas and each other in new and novel ways. It also involved coengaging in reflection activities, facilitating dialogue and addressing issues of power. 

    • Creating a context for sharing and relationship building often required the teacher to create space and time for learners to talk and share their various perspectives and meanings with one another and to develop new understandings.


마지막으로, 저자들은 학생들이 예술을 통해 습득한 지식과 기술을 전문적인 실천으로 이전하는 것을 돕기 위한 많은 중개 전략에 대해 토론했다. 중개전략은 포함 '새로운 지식을 실천에 적용하는 것을 촉진하는 활동'이나 '예술 기반 학습과 전문적 실천의 교차점을 목표로 추가 반성의 기회를 제공하는 것'을 포함한다. 그러한 전략은 성찰적 실천과 결합된 임상 맥락에서 새로운 기술을 연습할 기회를 강조하는 경향이 있었다.

Finally, authors discussed a number of translational strategies to help students transfer knowledge and skills learned through the arts to professional practice. Translational strategies involved activities that facilitated the application of new knowledge to practice and providing opportunities for additional reflection aimed at the intersection of arts-based learning and professional practice. Such strategies tended to emphasise opportunities to practice new skills in the clinical context combined with reflective practice.


'성찰적 실천은 임상 교육에서 자주 사용되는데, 행동 당시 행해진 성찰과 실천력 향상이라는 목표와 함께 무엇이 전달되었는지를 비판적으로 고려할 수 있게 하는 작용에 따른 성찰이 모두 그것이다. 이것은 예술과 문학에서 선택된 콘텐츠를 사용하여 향상될 수 있다.'48

‘Reflective practice is used frequently in clinical teaching, both the reflection that is done at the time of the action, and the reflection following the action that allows students to critically consider what transpired with the goal of improving practice. This can be enhanced using selected content from the arts and literature.’48


고찰

DISCUSSION


우리는 주제를 정리하고, 그것들 사이의 관계를 제안하며, 교육 설계, 평가 및 연구를 안내하기 위해 그림 2의 개념 모델을 제안한다. 예술의 질, 예술과의 관여, 새로운 의미의 구축, 의료행위에 대한 번역과 관련된 네 개의 주요 상자는 개별 학습자와 그들의 의료행위에 대한 예술의 영향을 설명하는 '스텝 스톤'을 나타낸다.

We propose the conceptual model in Fig. 2 to organise our themes, suggest relationships between them, and guide educational design, evaluation and research. The four main boxes pertaining to qualities of the arts, engagement with the arts, construction of new meanings and translation to medical practice represent ‘stepping stones’ describing the impact of the arts on individual learners and their medical practices.



각 메인 박스는 다음 박스의 이벤트가 실현될 수 있는 조건을 만들지만, 다른 개입 없이 다음 일련의 사건을 직접 발생시키기에 반드시 충분하지는 않다. 예를 들어, 특정 예술은 모호하고 복잡한 특성을 가질 수 있지만, 이러한 모호함 그 자체는 학습자가 해석적 또는 성찰적 방법으로 의미 있게 그것과 관여하게 하지 않을 수 있다. 모호성과 복잡성은 단지 상황들이 그것을 선호한다면 해석이 일어날 수 있는 조건들을 만들어 낼 뿐이다.

Each main box creates the conditions for the events of the next box to be realised, but is not necessarily sufficient to directly cause the next set of events without other intervention. For example, a particular art may have ambiguous and complex qualities, but this ambiguity in itself may not cause learners to engage meaningfully with it in an interpretive or reflective way. The ambiguity and complexity merely create the conditions under which interpretation could happen, if the circumstances favoured it.


이것이 선생님의 행동이 중요한 영향을 미치는 지점이다. 교육 전략의 세 가지 유형은 모델의 중요한 요소로서, 예술 기반 교육의 디딤돌과 관련하여 전략적으로 발생한다.

This is where the actions of the teacher, have an important influence. The three types of educational strategies are critical elements of the model, and occur strategically in relation to the stepping stones of arts-based education.


  • 참여 전략은 학습자가 예술이 학습에 제공하는 특정한 독특한 특성을 수용하도록 돕는다

  • 일단 참여하게 되면 의미 만들기 전략학습자가 예술 안에서 마주치는 것을 이해하도록 돕고, 학습자가 새로운 통찰력을 얻고 새로운 존재 방법을 발견하도록 돕는다. 

  • 그러나 새로운 통찰력에 대해서, 학습자들에게는 종종 흥분하지만, 만약 교사가 학생들이 '일상의 실천에서 이뤄지는 행동에 대해서 이러한 새로운 통찰력을 조작하는 구체적인 방법을 계획하는 것'을 도와주기 위한 특정한 번역 전략을 사용하지 않는다면, 학생들은 뒤이어 경험하는 의료의 속도와 경직성에 압도되기 쉽다. 


Engagement strategies help learners to embrace the specific unique qualities that the arts offer for learning. Once engaged, meaning-making strategies help learners to make sense of what they are encountering within the arts, and help learners gain new insights and discover new ways of being. Such new insights, while often exhilarating in the moment for learners, are likely to get overwhelmed in the pace and rigidity of subsequent medical care if the teacher does not use specific translational strategies to help learners plan specific and concrete ways in which they can operationalise these new insights into actions in everyday practice.


교육 전략은 각각 개별 학습자를 위해 맞춤화할 수 있지만, 우리가 검토한 많은 기사에서 언급된 중요한 아이디어는 그룹 참여와 처리에 관한 것이었다. 적절한 참여, 의미 만들기, 그리고 번역 전략을 고려할 때 학습자들은 그들 스스로 발판을 통과할 수 있다. 그러나, 그러한 작업이 지지적 그룹의 맥락에서 이루어질 때, 이것은 개별 학습자와 그룹 모두에게 영향을 미칠 수 있다. 많은 저자들은 위계가 축소되고, 예술 기반 교육의 맥락에서 학습자들의 상호 관계가 지지적이고 nurturing하게 된다는 것을 관찰했다. 이것이 예술 자체의 결과인지 아니면 교사들의 행동인지는 더 많은 연구를 위한 의문으로 남아 있지만, 그러한 집단 참여는 학습자들이 참여하여 새로운 의미를 만들고 직업적 관행으로 그것들을 번역하는 능력을 향상시켰다는 것은 분명하다.

Although the educational strategies can each be tailored for individual learners, an important idea mentioned in many of the articles we reviewed was that of group engagement and processing. It is possible that learners can move through the stepping stones on their own, given appropriate engagement, meaning making and translational strategies. However, when such work is done in the context of a supportive group, this can have effects on both the individual learner and the group. Many authors observed that hierarchies were reduced and learners’ relationships with each other were supportive and nurturing in the context of arts-based education. Whether this was a result of the arts themselves or the actions of the teachers remains a question for further research, but it is clear that such group engagement enhanced the ability of learners to engage, construct new meanings and translate these to professional practice.


결론적으로, 우리는 예술 기반 교육에 관한 문헌을 검토했고 의료 교육자들에게 몇 가지 중요한 통찰력을 발견했다. 특히 교사들이 안전하고 투명한 학습 환경을 보장하는 특정한 참여 전략을 채택할 때, 예술은 의학 학습자들을 참여시키는 새로운 방법을 창조하는 데 도움이 될 수 있는 독특한 자질을 가지고 있다. 이러한 참여는 학습자가 특히 그러한 의미를 만들기 위한 교육 활동에 참여할 때 새로운 의미를 형성하는 발판을 제공할 수 있다. 새로운 의미와 통찰력은 더 나은 의학적 실천으로 이어질 수 있다. 특히 학습자가 그러한 의미를 향후 행동을 위한 구체적인 계획으로 어떻게 번역할 수 있는지에 초점을 맞춘다면 더욱 그러하다. 마지막으로 학습자가 집단의 맥락에서 자신의 생각을 관여하고 처리할 때 전체 과정이 향상될 수 있으며, 집단 자체가 변화적인 변화를 겪을 수 있다. 향후 작업은 이 모델을 사용하여 예술 기반 교육의 과정과 결과를 측정하고 다른 예술과 주제에 걸쳐 존재하는 개념을 조명하는 데 초점을 맞춰야 한다.

In conclusion, we reviewed the literature on arts-based education and discovered several important insights for medical educators. The arts have unique qualities that can help create novel ways to engage medical learners, particularly when teachers employ specific engagement strategies that ensure a safe and transparent learning environment. Such engagement can provide a stepping stone for learners to construct new meanings, particularly when they engage in educational activities aimed at such meaning making. New meanings and insights can lead to better medical practice, particularly if learners focus on how such meanings can be translated into concrete plans for future actions. Finally, the whole process can be enhanced when learners engage and process their thoughts in the context of a group, and the group itself can undergo transformative change. Future work should focus on using this model to measure the processes and outcomes of arts-based education, and to illuminate concepts that exist across different arts and topics.


'최고의 음악은 듣는 이의 창의성을 자극한다는 의미에서 자극적이다. 그것은 듣는 사람이 자신의 해석을 할 수 있게 하고, 이야기의 일부가 되게 한다.' 허비 핸콕81

‘The best music is stimulating, in the sense that it stimulates the listener’s creativity. It allows the listener to make his or her own interpretation, to be part of the story.’ Herbie Hancock81







 2016 Mar;50(3):320-31. doi: 10.1111/medu.12925.

guiding framework to maximise the power of the arts in medical education: a systematic review and metasynthesis.

Author information

1
Office for Scholarship in Learning and Education Research, Pennsylvania State University College of Medicine, Hershey, Pennsylvania, USA.
2
Department of Medicine, Pennsylvania State University College of Medicine, Hershey, Pennsylvania, USA.
3
Department of Humanities, Pennsylvania State University College of Medicine, Hershey, Pennsylvania, USA.
4
Department of Public Health Sciences, Pennsylvania State University College of Medicine, Hershey, Pennsylvania, USA.
5
George T Harrell Health Sciences Library, Pennsylvania State University College of Medicine, Hershey, Pennsylvania, USA.
6
Office of Undergraduate Medical Education, Baylor College of Medicine, Houston, Texas, USA.

Abstract

CONTEXT:

A rich literature describes many innovative uses of the arts in professional education. However, arts-based teaching tends to be idiosyncratic, depending on the interests and enthusiasm of individual teachers, rather than on strategic design decisions. An overarching framework is needed to guide implementation of arts-based teaching in medical education. The objective of this study was to review and synthesise the literature on arts-based education and provide a conceptual model to guide design, evaluation and research of the use of the arts in medical education.

METHODS:

systematic literature review using the PubMed and ERIC databases. Search terms included humanism, art, music, literature, teaching, education, learning processes, pedagogy and curriculum. We selected empirical studies and conceptual articles about the use of creative arts, imagery and symbolism in the context of professional education. Data synthesis involved a qualitative content analysis of 49 included articles, identifying themes related to educational characteristics, processes and outcomes in arts-based education.

RESULTS:

Four common themes were identified describing (i) unique qualities of the arts that promote learning, (ii) particular ways learners engage with art, (iii) documented short- and long-term learning outcomes arising from arts-based teaching and (iv) specific pedagogical considerations for using the arts to teach in professional education contexts.

CONCLUSIONS:

The arts have unique qualities that can help create novel ways to engage learners. These novel ways of engagement can foster learners' ability to discover and create new meanings about a variety of topics, which in turn can lead to better medical practice. At each of these steps, specific actions by the teacher can enhance the potential for learners to move to the next step. The process can be enhanced when learners participate in the context of a group, and the group itself can undergo transformative change. Future work should focus on using this model to guide process design and outcome measurement in arts-based education.

PMID:
 
26896017
 
DOI:
 
10.1111/medu.12925


하나보단 둘이 낫다? (Adv Health Sci Educ Theory Pract, 2019)

Two heads are better than one?

Geoff Norman1




강의에 대한 소규모 그룹 강의의 우위는 교육자들이 모이는 거의 모든 장소에서 교직원 개발 워크숍과 컨퍼런스에서 반복적으로 되풀이되는 만트라다. 전형적으로, "강의에서 배우는 사람은 아무도 없다"는 단호한 진술로 시되는데, 이 "axiom"을 산문화한 바로 그 사람들이 강의로부터 사실상 모든 자신의 교육(또는 그렇지 않은)을 받았을 가능성이 높기 때문에, 인지부조화의 심각한 사례를 만들어낸다.

The superiority of small group instruction over lectures is a mantra repeated over and over at faculty development workshops and conferences, almost any place that educators assemble. Typically, it is prefaced by a flat statement that “No one learns anything from lectures”, which creates a serious case of cognitive dissonance, since the very folks who are proselytizing this “axiom” were likely to have received virtually all their own education (or not) from lectures.


놀랄 것도 없이, 소규모 집단 지도에 대한 증거는 상당히 광범위하지만, 전혀 일관되진 않다. 체계적인 검토에서 나온 일부 증거는 소규모 그룹 지도의 효과 크기가 중간 수준(Lipsey와 Wilson 1993)이지만, 특정되지 않은 통제 조건과 쿡(2009)이 보여준 것처럼 어떤 교육(강의조차)도 없는 것보다 우수하다는 것을 보여주었다. 더욱이, 일부 연구는 non-expert 강사가 운영하는 소규모 그룹의 부정적인 영향을 보여주었다(Eagle et al. 1992; Davis et al. 1992).

Not surprisingly, the evidence about small group instruction, while fairly extensive, is far from uniform. Some evidence from systematic reviews showed that the effect size of small group instruction is moderate (Lipsey and Wilson 1993), however the control condition as not specified and as Cook (2009) showed any education (even lectures) is superior to no education. Moreover, some studies have shown a negative effect of small groups with non-expert tutors of about the same magnitude (Eagle et al. 1992; Davis et al. 1992).


최근의 광범위한 검토는, unguided instruction(발견 학습)는 열등한 교육 전략이며, worked example이 우월하다고 주장했다(Kirschner et al. 2006). 이것 역시 논쟁거리가 되었다(Hmelo- (2007); 슈미트 외 (2007). 하지만 결국 누가 옳았든 간에, 그룹 교수법이 여러 사람이 주장하는 것처럼 배움의 마법의 총알은 아니다.

A recent extensive review claimed, with evidence, that unguided instruction (discovery learning) is an inferior instructional strategy, and that worked examples are superior (Kirschner et al. 2006). This too was contested (Hmelo-Silver et al. (2007); Schmidt et al. (2007). Still whoever eventually turns out to be right, small groups are not the magic bullet for learning that they are purported to be.


그러나 소그룹들은 그들의 교육적 효과에 대해 유일한 필수적 요소로 간주되지 않는다. 우리는 모두 해결하기 어려운 문제는 작은 그룹에 의해 더 잘 해결될 수 있다는 생각을 가지고 성장했다. "함께 모여서 그것을 브레인스토밍하자"는 모든 질병의 해결책으로 여겨진다. 성공적인 브레인스토밍 전략에 관한 책들이 쓰여져 왔다. 소그룹의 전성기 시절이던 60년대에, 우리가 모든 것을(문자 그대로 모든 것을) 소그룹으로 했던 때에, "창조적 문제 해법synectics"과 같은 불명확한 이름로 불렸던 elaborate ritual은 소그룹들이 모든 것을 제대로 할 수 있다는 것을 보여주는 듯 했다.

However, small groups are not viewed only as a sine qua non for their educational effects. We have all grown up with the idea that any problem that is tough to solve can be solved better by a small group. “Let’s get together and brainstorm that” is viewed as the solution to all ills. Books have been written about successful strategies for brainstorming. In the heyday of small groups, the sixties, where we did everything—EVERYTHING—in small groups, elaborate rituals called obscure names like “synectics” evolved to ensure that the small group would do everything just right.


그러나 문제가 있었다. 나는 증거를 검토한 작은 책을 읽었던 것을 분명히 기억한다. 특히 한 연구는 정말로 황제의 옷을 벗겨냈다. 그들은 브레인스토밍 그룹에 대한 문제 해결책과 분리된 방에 갇혀서 어쩔 수 없이 스스로 생각해 낸 같은 종류의 사람들을 비교했다. 각 개개인이 자기 나름대로 솔루션을 생성하게 한 경우, 브레인스토밍 그룹보다 더 많은(놀랍지 않다) 더 나은(놀랍다) 솔루션을 가지고 있었다.

There was a small fly in the ointment however. I distinctly remember reading a small book that reviewed the evidence. One study in particular really stripped off the emperor’s clothes. They compared problem solutions on brainstorming groups to solutions by the same number and kind of people who were locked in separate rooms and forced to come up with them on their own. When you looked at solutions generated by individuals left to their own devices, they had more (no surprise) and better (surprise) solutions than the brainstorming groups.


사람들을 각각 따로 분리해두고, 아이디어를 생각해 낸 다음, 결과를 종합한다는 생각이 완전히 사라진 것은 아니다. 그것은 이제 "NGT"라고 불린다. 즉, 이는 이름뿐인 그룹이다. 전략은 최종 최적 솔루션 집합에 도달하기 위해 여러 번 반복하면서 그러한 접근법을 수행하도록 진화했다. 최근의 검토 기사(Van De와 Delbecq 1971)는 정확히 같은 결론에 도달한다.

the idea of leaving people alone to come up with ideas and then aggregating results has not been entirely lost. It is now called the “nominal group process”—that is, a group in name alone. Strategies have evolved to conduct such an approach over multiple iterations to arrive at a final optimal set of solutions. A recent review article (Van De and Delbecq 1971) comes to precisely the same conclusion:


...문제 해결 위원회를 위한 그룹 프로세스의 최적 조합: 

(1) 1단계: 사실 조사, 아이디어 생성, 초기 주관적 가능성 추정을 위한 명목상의 그룹 프로세스 사용 

(2) 2단계: 구조화된 피드백을 사용하고, 상호작용적 논의

(3) 3단계: 최종 독립적 개별 판단에 대한 명목 그룹 투표.

…the optimal combination of group processes for a problem-solving committee is: 

(1) the use of nominal group processes for fact-finding, idea generation, or initial subjective probability estimation in the first phase of a committee’s work; 

(2) the use of structured feedback and interacting discussion in the second phase; and 

(3) nominal group voting for final independent individual judgments in the final phase.


그러나, 이러한 결과는 대부분 눈에 띄지 않게 되었다. 반대로, 건강 관리 시스템의 변화로 인해 "건강 관리 팀"과 같은 다분야 그룹에 의해 점점 더 많은 보살핌이 전달되면서 그룹의 우월성에 대한 일부 아이디어들이 최근에 다시 태어났다. 실제로 국립의학원은 진단 오류에 대한 하나의 해결책은 협력적 팀 기반 진단이라고 제안했다(Ball et al. 2015).

However, these results have gone largely unnoticed. Conversely, some of the ideas about superiority of groups have been reborn recently as changes in the health care system result in more and more care being delivered by multidisciplinary groups like “health care teams.” The National Academy of Medicine has, in fact, proposed that one solution to diagnostic errors is collaborative, team-based diagnosis (Ball et al. 2015).


최근까지, 많은 헬스케어가 그룹이나 팀 단위로 이뤄졌다는 증거는 많았지만, 이것이 좋은 일이라는 증거는 많지 않았다. 그러나 3월에 JAMA에 집단진단이 개인진단보다 확실히 우수하다는 것을 보여주는 연구가 나타났다(Barnett et al. 2019).

Until recently, while there was lots of evidence that much health care was delivered in groups or teams, there was not much evidence that this was a good thing. But in March, a study appeared in JAMA that purported to show that group diagnosis was demonstrably superior to individual diagnosis. (Barnett et al. 2019).


...군집단은 접근방식에 관계없이 지속적으로 개인보다 높은 성과를 거두었다. 2명의 사용자(77.7% 정확도)에서 9명의 사용자(85.5% 정확도)로 구성된 그룹은 하위 전문 분야에서 개별 전문가(66.3% 정확도, P < .001년)를 능가했다.

…groups consistently outperformed individuals regardless of approach…. Groups from 2 users (77.7% accuracy) to 9 users (85.5% accuracy) outperformed individual specialists in their subspecialty (66.3% accuracy; P < .001).


큰 표본 크기에 근거하여 얻은 이러한 이득은 실로 인상적이다. 그것은 정말로 당신이 서둘러서 모든 진단은 적어도 두 명의 의사가 해야 한다고 요구하기를 원한다. 그러나 이것은 사실이 아니다.

These gains, based on large sample sizes, are truly impressive. It really wants you to rush out and demand that every diagnosis should be done by at least two physicians. What a pity that they’re not true.


실제로 일어난 일은 다음과 같다. 이 연구는 의사와 레지던트가 표준화된 형식으로 사례를 제출할 수 있고 데이터 뱅크의 사례를 진단할 수 있는 온라인 플랫폼 "휴먼 Dx"를 포함했다.

Here’s what actually happened. The study involved an online platform “Human Dx” where physicians and residents could submit cases in standardized format and could also attempt to diagnose cases in the data bank.


"그룹"이라는 꼬리표가 명목이라는 점이 주목할 만하다. 실제 그룹 프로세스는 없었고, 개개인의 기여에 대한 사후 평균화만 있었다. 이와 같이, 그것은 소규모 그룹의 효과에 대해서는 아무 것도 언급하지 않는다. 오히려, 우리가 이미 알고 있는 크라우드소싱이 효과가 있다는 증거로 볼 수도 있다.

It is notable, that the label “group” is nominal. There was no actual group process; only post hoc averaging of independent contributions. As such, it says nothing about the effectiveness of small groups; rather, it might be viewed as evidence that crowdsourcing works, which we already know.


조금 더 정교한 수준에서, 당신이 그것들을 종합하기로 선택하더라도, 어떤 단일 추정치보다 정보에 입각한 임상의 "n"명이 추정한 확률의 평균이 진실에 더 가까울 것이라는 것은 이치에 맞는다. 그것은 단순히 평균의 표준오차와 표준편차 사이의 "1/√n" 관계를 반영한다.

On a slightly more sophisticated level, it stands to reason that the average of “n” informed clinicians’ estimates of probability is going to be closer to the truth than any single estimate, however you choose to aggregate them. That simply reflects the “1/√n” relation between the standard error of the mean and the standard deviation.


요컨대, 그 논문은 잘못된 질문에 대한 확고한 답을 만들어 낸다. 그들이 해야 할 일은 독립적으로 획득한 "n" 진단(사용한 것과 같은 방법을 사용함)의 정확성을 한 방에서 싸웠던 "n" 집단의 일치로 얻은 단일 차등 진단과 비교하는 것이다.

In short, the paper yields a robust answer to the wrong question. What they should have done is compare the accuracy of “n” diagnoses obtained independently (using methods like the one they did use) to a single differential diagnosis obtained by consensus of a group of “n” who fought it out in a room.


"1954~2014년 기간에 걸쳐 6,500만 개의 논문, 특허 및 소프트웨어 제품을 분석한 결과, 이 기간 동안 

  • 소규모 팀은 새로운 아이디어와 기회로 과학기술에 지장을 주는 경향이 있는 반면, 

  • 더 큰 팀은 기존 것을 개발하는 경향이 있었다."(Wu 등,2019년). 

그룹 규모와 생산성의 역관계는 보편적인 것으로 보인다.

a study that appeared in Nature that week, based on an analysis of “65 million papers, patents and software products that span the period 1954–2014 and demonstrate that across this period 

  • smaller teams have tended to disrupt science and technology with new ideas and opportunities, whereas 

  • larger teams have tended to develop existing ones.” (Wu et al. 2019). 

It seems that the inverse relation between group size and productivity is universal.


예로 이것 발견을 확인할 마지막으로, 나는 1964년(1964년 힉스)에 피터 힉스에 의해, 혼자 발표된 이 원래 이론적인 기사로 힉스 입자를 제안하고, 찾았다. 그 당시 나는 문서에서는 2012년 이상 3000명의 작가들(ATLAS검출기를 공동 작업(알.,(알.,(알., 끝도 없이 지겹도록)다로 힉스 입자의 존재를 확인하라셔.

Finally, to confirm this finding by example, I sought out the original theoretical article proposing the Higgs boson, which was published by Peter Higgs, alone, in 1964 (Higgs 1964). I then located the article confirming the existence of the Higgs boson, which appeared in 2012 and had over 3000 authors (ATLAS Collaboration et al., et al., et al., ad infinitum ad nauseam).


결론적으로, 이 editorial의 제목은 거의 옳다. 보다 정확하게 말하면 이렇다. 두(독립적) 머리는 하나의(그룹으로 이뤄진 두 개의)머리보다 낫다.

To conclude, my title is almost right. A more accurate revision: Two (Independent) Heads are Better Than One (Group of Two Heads).




 2019 May;24(2):195-198. doi: 10.1007/s10459-019-09888-3.

Two heads are better than one?

Author information

1
McMaster University, Hamilton, ON, Canada. norman@mcmaster.ca.
PMID:
 
31025268
 
DOI:
 
10.1007/s10459-019-09888-3


네스티드 영역: 임상학습환경의 최적화를 위한 글로벌 개념 모델(Am J Med, 2019)

Nested Domains: A Global Conceptual Model for Optimizing the Clinical Learning Environment

Rebecca C. Jaffe, MDa Christina R. Bergin, MDb Lawrence K. Loo, MDc Simran Singh, MDd Brian Uthlaut, MDe

Susan A. Glod, MDf Emily Fondhan, MDg Alyssa McManamon, MDh Sara L. Wallach, MDi Karen Hamad, MDj

Katherine Walsh, MDk Bethany Gentilesco, MDl



[교육목표가 직접 환자 진료와 교차하는] 학습 및 작업환경(LWE)은 다양한 전문, 교육 및 임상조직의 소견purview에 속한다.1–4

The Learning and Working Environment (LWE), where educational objectives intersect with direct patient care, falls under the purview of a range of professional, educational, and clinical organizations.1–4


비용 절감, 품질 향상, 환자 경험 향상, 공급자 웰니스 보장이라는 '사중 목표'는 의료 교육자가 다룰 것으로 예상되는 콘텐츠의 범위를 동시에 확대했다.5–8

The ‘quadruple aim’ of 

  • decreasing cost, 

  • increasing quality, 

  • improving patient experience, and 

  • ensuring provider wellness 

...has simultaneously expanded the scope of content that medical educators are expected to address.5–8


이러한 도전에도 불구하고, LWE가 임상 교육의 핵심으로 남아 있는 것이 필수적이다. 임상 및 교육 목표를 모두 충족하기 위해 LWE를 평가하고 최적화하기 위한 신뢰할 수 있거나 일반적인 전략은 말할 것도 없고, LWE에 대해 승인된accepted 개념 모델은 없다.9 

Despite these challenges, it is imperative that the LWE remain the heart of clinical education. There is no single accepted conceptual model for the LWE, let alone reliable or generalizable strategies for assessing and optimizing the LWE to meet both clinical and educational objectives.9 


LWE는 종종 개별 부분을 중심으로 설명되어 왔다. LWE에 대한 이러한 모듈식 이해에서 따르는 최적화 시도는 각 요소를 전체에서 분리된 부분으로 개선하는 경향이 있다. 그 결과, 개선 노력은 범위와 실효성이 제한되며, 다양한 규제나 이해관계자 사이에 의도하지 않은 긴장감을 조성할 수 있다. 시스템 접근법으로 LWE를 최적화하려면 LWE의 다양한 요소들이 어떻게 관련되는지 더 깊이 이해할 필요가 있다.

The LWE has often been described by identifying its parts. Optimization attempts that follow from this modular understanding of the LWE tend to improve each element as an isolated piece of the whole. As a result, improvement efforts are limited in scope and efficacy and may create unintended tension between various regulations or stakeholders. Optimizing the LWE with a systems approach requires a deeper understanding of how the LWE’s various elements relate.


모델 개발 프로세스

MODEL DEVELOPMENT PROCESS


협력적 개발

Collaborative Formation



개념모델 개발

Development of a Conceptual Model


개념 모델은 [정의와 대조적으로] 4가지 기본 목표를 달성한다. 

  • 그것은 시스템에 대한 이해를 향상시키고, 

  • 이해관계자들 사이에서 시스템 세부사항에 대한 의사소통을 용이하게 하며, 

  • 시스템을 만들거나 개선하고자 하는 사람들을 위한 참조점을 제공하고, 

  • 향후 참조reference를 위해 시스템을 문서화한다.11 

A conceptual model, in contrast to a definition, accomplishes 4 fundamental goals—it 

  • improves understanding of a system, 

  • facilitates communication of system details between stakeholders, 

  • provides a point of reference for those seeking to create or improve the system, and 

  • documents the system for future reference.11 


임상 LWE의 성공적인 개념 모델은... 

  • 국지적 환경에 대한 미묘한 이해를 허용한다. 

  • 잠재적 개선 전략을 개별 프로그램의 요구와 연계한다. 

  • 더 일반적인 교육 환경과는 달리 특히 임상 환경에 적용된다

  • 양한 프로그램 및 학습자 유형에 걸쳐 안정성을 입증한다.

A successful conceptual model of the clinical LWE would 

  • allow for a nuanced understanding of local environments, 

  • link potential improvement strategies to the needs of individual programs, 

  • apply specifically to clinical settings as opposed to educational settings more generally, and 

  • demonstrate stability across a diverse range of program and learner types.


(Table 1).


학습 환경의 개념적 모델은 1970년대로 거슬러 올라갈 수 있다.12 가장 영향력 있는 프레임워크는 인간이 살고 일하고 배우는 모든 환경에 대해 3개의 기본 도메인을 제안했던 13세의 Rudolph H. Moos에 의해 개발되었다.

Conceptual models of learning environments can be traced back to the 1970s.12 The most influential framework was developed by Rudolph H. Moos,13 who proposed 3 underlying domains for any setting where humans live, work, and learn.


  •   프로그램 학습 목표와 개인 목표 설정으로 나타날 수 있는 개인적 발달 또는 목표 지향 차원.

  •   학생 간 또는 학생과 교사 간의 지원 등 관계 차원.

  •   교육 시스템과 물리적 작업 환경 자체의 측면을 모두 포함할 수 있는 시스템 유지 보수 및 시스템 변경 차원.


  •   Personal development or goal direction dimensions, which might manifest as both program learning objectives and personal goal setting.

  •   Relationship dimensions, such as support among students or between students and teachers.

  •   System maintenance and system change dimensions, which may include aspects of both the educational system and the physical working environment itself.


결과

RESULTS


개념모델

The AAIM Collaborative LWE Conceptual Model


The AAIM collaborative conceptual model of the LWE is presented in Figure 1 and Table 2.



고찰

DISCUSSION


협력자는 이 개념적 모델이 LWE의 이전 정의나 모델에 통합되지 않은 주요 요소들을 성공적으로 해결한다고 믿는다.

즉, 

  • 도메인의 상호 연결성, 

  • 환자의 역할, 

  • 다층적 학습자의 존재, 

  • 사회문화적 맥락의 영향.


The collaborative believes that this conceptual model successfully addresses key factors not incorporated in prior definitions or models of the LWE—namely, the interconnectedness of domains, the role of the patient, the existence of multiple learners, and the influence of the sociocultural context.


상호연결성 

Interconnectedness


AAIM 모델은 UME와 GME 학습자 모두에게 학습 환경과 작업 환경은 서로 얽혀 있고 불가분의 관계에 있음을 강조한다. 내포된 도메인의 개념은 본질적으로 시너지 효과가 있다. 개인 영역은 LWE의 중심에 있으며, 관계 영역, 커리큘럼 및 구조 영역은 이 코어에서 방사된다. 각 영역은 모두 서로 연결되어 있고, 서로 다른 영역들에 영향을 미친다19 따라서 학습 환경을 구축하거나 개선할 때 단일 영역에 대한 집중은 불충분하다.

The AAIM model emphasizes that, for both UME and GME learners, the learning environment and the working environment are intertwined and inseparable. The concept of nested domains is intrinsically synergistic. The personal domain is at the center of the LWE, and the relational, curricular, and structural domains radiate out from this core. They are all interconnected, and each domain influences the others19; therefore, a focus on a single domain is insufficient when building or improving the learning environment.


모델을 이해하고 효과적으로 사용하기 위해 교육자와 이해관계자는 도메인에 대한 일반적인 이해에서 시작해야 한다. (문제에 접근하거나 LWE 내에서 새로운 요소를 설계할 때), 주어진 도메인에 요소를 올바르게 할당하는 것보다, 모든 도메인과 이들의 상호작용을 고려해야 한다는 것을 기억하는 것이 더 중요하다. 예를 들어, 평가는 커리큘럼 설계의 핵심 요소이기 때문에 학습자 평가 과정은 교육과정적 차원으로 간주될 수 있다.20 학습자 평가는 LWE 내에서 2명 이상의 개인 간에 이루어지는 과정이기 때문에 관계적 차원이 있다고 주장할 수도 있다. 이처럼 평가를 어떤 차원에 배치하냐를 보면 어느 것도 늘 정확하지 않다. 당면한 상황에 따라 평가의 관계적 측면이 교육과정적 측면보다 중요할 수도 있고 그 반대일 수도 있다.

To understand and effectively use the model, educators and stakeholders should start with a general understanding of the domains. The correct assignment of a factor to a given domain is less important than remembering to consider all domains and their interactions when approaching a problem or designing a new element within the LWE. For example, the process of learner assessment could be considered curricular, because assessment is a key element of curriculum design.20 Learner assessment could also be argued to be relational, as it is a process that occurs between 2 or more individuals within the LWE. Neither of these domain assignments is universally correct. Depending on the situation at hand, the relational aspects of assessment may be more important than the curricular aspects or vice versa.


다층적 학습자

Multiple Learners


2018년 건강 직업 학습 환경 개선에 관한 총회에서 요시야 메이시 주니어(Josiah Macy Jr.)는 다음과 같이 권고했다. Foundation14는 "학습자"를 광범위하게 정의하면서 "지속적인 학습과 개선된 건강 시스템에서, 모든 참가자는 학습자일 뿐 아니라 교사일 수 있다"고 말했다. LWE 영역은 전문적 정체성 형성의 변화적 여정의 모든 단계에서 학습자들에 의해 통과traversed된다. "학습자"는 전문직 내의 전통적인 위계에서 모든 수준의 학습자를 포함하며, 그리고 임상에서 마주치는 수많은 직업의 사람들을 포함한다.

In its 2018 Conference Recommendations on Improving Environments for Learning in the Health Professions, the Josiah Macy Jr. Foundation14 defined “learners” broadly, stating that “in a continuously learning and improving health system, every participant is both a learner and a teacher.” The LWE domains are traversed by learners from all stages of the transformative journey of professional identity formation,21 including learners from all levels of the traditional hierarchies within professions, and those from the myriad of professions encountered during clinical care.


학습자가 LWE를 통해 능동적으로 이동하려면 영역 간 균형에 유동성이 필요하다. 어떤 학습자 또는 학습자 그룹은 특정 도메인에서 더 많은 지원을 필요로 하거나 더 많은 영향을 받을 수 있다. 어떻게 균형이 맞춰어져야 하는지는 학습자의 훈련 수준, 개인 학습 선호도, 문화적 또는 세대적 배경, 과거 훈련 경험, 미래 목표, 누적 생존 경험 등 다양한 기여 요인에 의해 결정된다. 이러한 균형의 변화는 의료 교육의 지속에 걸쳐 모델에 유연성을 부여하고 의사 교육을 넘어 다른 보건 전문가로까지 확대한다. 또한 "학습자가 학습 환경을 횡단한다"는 개념은 개별 학습자가 LWE의 "비영구적impermanent" 구성원임을 인정하며, 그렇기에 개개의 학습자는 LWE를 samplng하고 influencing하며, 동시에 LWE에 의해서 molded된다.

Active movement by learners through the LWE requires a fluidity in the balance of the domains. Different learners or groups of learners may require more support from or may be more heavily influenced by a given domain. The necessary balance is determined by a range of contributing factors, including the level of training of the learner, personal learning preferences, cultural or generational background, past training experiences, future goals, and cumulative lived experiences. This variation in the balance of domains lends flexibility to the model across the continuum of medical education and extends beyond physician education to other health professionals. The concept of traversing the learning environment also acknowledges that individual learners are impermanent members of the LWE, each sampling and influencing it, as well as molded by it, for a discrete period.


환자의 역할

The Role of the Patient


환자 진료가 없다면 의학 교육의 역할이 없기 때문에 환자는 LWE의 축이다. 학습은 환자의 필요를 충족시키는 데 중점을 두고, 학습자를 그들이 돌보게 될 사람과 본질적으로 연결시킨다. 이 juxtaposition은 교육(학습자에게만 초점을 맞춘다)과 서비스(환자에게만 초점을 맞춘다)라는 이분법적 사고가 틀렸음을 강조한다.22,23 AAIM 모델은 이러한 긴장상태를 해결하고자 한다. 환자를 위하여 work하는 것은 teaching and learning의 수단이다.

The patient is the axis of the LWE, as there would be no role for medical education in the absence of patient care. Learning centered on meeting the needs of patients intrinsically links learners to those for whom they care. This juxtaposition underscores the false dichotomy of education (implying a focus only on the learner) vs service (implying a focus only on the patient).22,23 The AAIMmodel seeks to resolve this tension. Work on behalf of patients is a means for teaching and learning.


사회문화적 맥락

Sociocultural Context


LWE를 하나의 시스템으로 고려할 때, 외부 경계를 정의하는 것이 중요하다.26 LWE에 대한 경계는 기능에 의해 정의될 수 있다. 

    • 환자/인구 관리 또는 학습자 교육과 관련된 일차적인 목적을 가진 요인은 LWE에 속한다. 

    • 어떤 요소가 주로 다른 목적(예: 의료 금융 또는 국가 재해 대응 정책)과 관련되는 경우, 그것은 주변 맥락의 일부분이다.

When considering the LWE as a system, it is important to define an outer boundary.26 The boundary to the LWE can be defined by function. Factors with a primary purpose pertaining to the care of patients/populations or the education of learners fall within the LWE. If a factor pertains predominantly to another purpose (eg, health care finance or national disaster response policy), then it is part of the surrounding context.


상황적 요인은 상호연결된 상태로 형태와 기능에 영향을 미치지만 LWE 시스템의 내부적 측면은 아니다. 도메인 간의 분할과 마찬가지로, LWE와 주변 사회문화적 맥락 사이의 구분은 부정확하다. 가장 중요한 개념은 LWE가 무한하지 않다는 것이다. 의료 금융, 이민 또는 학자금 대출 상환과 관련된 국가 정책의 영향을 고려한다. 유사한 상황적 요인은 환자와 건강, 문화적 규범 및 신념 또는 자연적 또는 사회적 재해에 대한 사회적 결정요인을 포함하여 LWE에 영향을 미친다. 비록 교육자들이 사회문화적 맥락을 바꾸기 위해 옹호advocacy나 행동activism에 참여할 수 있지만, LWE 내에서 일할 때, 의료 교육자들은 대개 4개 영역 중 하나 이상을 적응adapt시킴으로써 맥락적 요인에 대응한다.

Contextual factors are not internal aspects of the LWE system, although they remain interconnected and exert influence on form and function. Much like the divisions between domains, the division between the LWE and the surrounding sociocultural context is inexact. The most important concept is that the LWE is not boundless. Consider the influence of national policy relating to health care finance, immigration, or student loan repayment. Similar contextual factors influence patients and what they bring into the LWE, including social determinants of health, cultural norms and beliefs, or natural or social disasters. Although educators may engage in advocacy or activism to change the sociocultural context, when working within the LWE, medical educators usually respond to contextual factors by adapting 1 or more of the 4 domains.


예를 들어, 교육 프로그램이 (미시간 주 플린트의 스크리닝과 노출 완화 관련 내용을 통합하는 것과 같은) 특정 지역 공공 보건 위협을 반영하기 위해 커리큘럼 영역에서 적응adapt해야 할 수 있다. 마찬가지로 프로그램은 의료 및 의료 서비스 센터 문서 요건을 반영하도록 의료 학생 역할을 설계하는 것과 같은 국가 정책 변화에 대응하여 LWE 구조를 수정할 수 있다. 문화적 규범이 관계영역에 영향을 미칠 수도 있다.

For example, a program might have to adapt in the curricular domain to reflect specific local public health threats, such as incorporating content relating to lead screening and exposure mitigation in Flint, Michigan. Similarly, programs might modify the LWE structure in response to changes in national policy, such as designing the medical student role to reflect Centers for Medicare and Medicaid Services documentation requirements. Cultural norms might influence the relational domain.


특정 학습자가 자신의 문화적 기대를 LWE에 가져올 때, 그 또는 그녀는 [개인적 영역]의 일부로서 그렇게 한다. 사회문화적 맥락을 개념적 모델에 통합하는 것은, LWE를 유지하고 형성하는 atmosphere가 있음을 인정하면서, 동시에교육자들의 즉각적인 통제 범위를 넘어서는 요소를 고려할 수 있도록 한다.

When a unique learner brings his or her own cultural expectations into the LWE, he or she does so as part of the personal domain. The incorporation of the sociocultural context into the conceptual model acknowledges the atmosphere that sustains and shapes the LWE while allowing educators to consider some factors beyond their immediate locus of control.


개념모델의 적용

Application of the Conceptual Model


우리는 그 모델을 다음의 세 가지 방법으로 적용할 것을 제안한다.

We propose that the model can be applied in 3 ways:


  • 반응적: 특히 LWE 챌린지 또는 부작용과 관련하여 현재 상태에 기여하는 요인을 이해하십시오.

  • 전체적: 공유된 정신 모델을 생성하여 이해관계자 간의 정렬alignment을 달성하십시오.

  • 예방적: 새로운 성공적 프로그램 또는 개선 전략을 설계하십시오.

  •   Reactive: Understand the factors contributing to the current state, especially as related to an LWE challenge or adverse event.

  •   Holistic: Achieve alignment between stakeholders through creation of a shared mental model.

  •   Proactive: Design newsuccessful programs or improvement strategies at any scale.


이러한 사례들은 모형이 과거 사건을 분석하기 위해 적용되는지 또는 미래의 변화를 계획하기 위해 적용되는지에 대해 주로 다르다. 전체적holistic 적용은 현재 상태에 대한 평가와 원하는 미래 상태에 대한 고려를 수반한다는 점에서 사전 예방적 적용과 유사하다. 이러한 애플리케이션은 의도한 결과에 따라 다르다. Proactive한 적용의 결과는 미래 변화를 위한 계획인 반면, Holistic 적용의 결과는 이해관계자들 사이의 이해와 공감을 더 크게 한다.

These cases differ predominantly with respect to whether the model is applied to analyze past events or to plan for future change. The holistic application is similar to the proactive application in that it involves an assessment of the current state and consideration of a desired future state. These applications differ in their intended outcomes. The outcome of proactive application is a plan for future change, whereas the outcome of the holistic application is greater understanding and empathy between stakeholders.


개인적

Personal


학습자가 LWE를 경험하는 렌즈, 학습자가 LWE에 첨가하는 고유한 특성. 학습자 본인 확인 및 학습자가 보유한 태도, 편견, 기술, 경험 및 취약점 포함.

The lens through which a learner experiences the LWE and the set of intrinsic qualities the learner adds to the LWE. Includes the learners self-identification and the attitudes, biases, skills, experiences and vulnerabilities they possess.


관계적

Relational


개인 또는 그룹이 상호작용하는 방법, 이러한 상호작용이 학습자와 시스템으로서의 LWE에 미치는 영향. 동료, 직원, 환자, 감독자, 멘토, 교육자 및 개인적 관계(예: 친구, 가족) 간의 상호작용을 고려해야 한다. 이 영역은 독특한 관계뿐만 아니라 LWE 문화와 행동 규범을 포함한다.

The ways in which individuals or groups interact and the impact of these interactions upon learners and the LWE as a system. Interactions between peers, staff, patients, supervisors, mentors, educators, and personal relationships (e.g., friends, family) are to be considered. This domain encompasses unique relationships as well as LWE culture and behavioral norms.



교육과정적

Curricular


명시적으로 명시하지 않더라도, 적어도 하나의 학습 목표와 학습자 평가 및 피드백 프로세스로 구성된 공식 및 비공식 교육 경험과 관련된 요소. 숨겨진 커리큘럼도 이 도메인의 일부분이지만 다른 세 도메인과 크게 겹친다.

Factors relating to formal and informal educational experiences consisting of at least one learning objective and a process of learner assessment and feedback, even if not overtly stated. The hidden curriculum is also part of this domain, though overlaps significantly with the other three domains.


구조적

Structural


임상 학습이 발생하는 조직, 프로그램 및 물리적 컨텍스트. 구성요소는 작업 공간, 전자 의료 기록, 직원 수준, 팀 구조 및 기관 정책과 같은 국지적 LWE에 특정될 수도 있으며, 근무시간, admitting caps, 또는 면허 요건과 같은 외부적으로 정의될 수 있다.

The organizational, programmatic and physical context within which clinical learning occurs. Components 

    • may be specific to the local LWE such as workspace, the electronic medical record, staffing levels, team structures, and institutional policies or 

    • may be externally defined such as work hours, admitting caps, or licensure requirements.




CONCLUSIONS




14. Josiah Macy Jr. Foundation. Improving Environments for Learning in the Health Professions: Recommendations from the Macy Foundation Conference. Atlanta, GA: Josiah Macy Jr. Foundation. 2018: 1-16.


25. Lehmann LS, Sulmasy LS, Desai S. Hidden curricula, ethics, and professionalism: optimizing clinical learning environments in becoming and being a physician: a position paper of the American College of Physicians. Ann Intern Med 2018;168(7):506-8.







 2019 Jul;132(7):886-891. doi: 10.1016/j.amjmed.2019.03.019. Epub 2019 Apr 3.

Nested Domains: A Global Conceptual Model for Optimizing the Clinical Learning Environment.

Author information

1
Department of Medicine, Thomas Jefferson University, Philadelphia, Pa. Electronic address: Rebecca.Jaffe@jefferson.edu.
2
Department of Internal Medicine, University of Arizona College of Medicine, Phoenix.
3
Department of Medicine, Loma Linda University School of Medicine, Loma Linda, Calif.
4
Department of Medicine, Case Western Reserve University School of Medicine, Cleveland, Ohio.
5
Department of Medicine, University of Virginia, Charlottesville.
6
Penn State College of Medicine/Penn State Health, Hershey, Pa.
7
Department of Internal Medicine, Division of Medical Education, Washington University School of Medicine, St Louis, Mo.
8
Department of Medicine, Uniformed Services University of the Health Sciences, Wright-Patterson Medical Center (Cancer Care), Wright-Patterson Air Force Base, Ohio.
9
Department of Medicine, Hackensack Meridian School of Medicine, St Francis Medical Center, Seton Hall University, Trenton, NJ.
10
Department of Internal Medicine, Florida State University College of Medicine, Sarasota Memorial Hospital, Sarasota.
11
Department of Internal Medicine, Division of Hematology, Ohio State University College of Medicine, Columbus.
12
Department of Medicine, Warren Alpert Medical School of Brown University, Division of Hospitalist Medicine, The Miriam Hospital, Providence, RI.

KEYWORDS:

Graduate medical education; Learning environment; Medical education; Undergraduate medical education

PMID:
 
30953633
 
DOI:
 
10.1016/j.amjmed.2019.03.019


자기조절학습 SRL : 신념, 테크닉, 환상 (Annu Rev Psychol, 2013)

Self-Regulated Learning: Beliefs, Techniques, and Illusions

Robert A. Bjork,1 John Dunlosky,2 and Nate Kornell3

1Department of Psychology, University of California, Los Angeles, California 90095, 2Department of Psychology, Kent State University, Kent, Ohio 44242, 3Department of Psychology, Williams College, Williamstown, Massachusetts 01267; 

email: rabjork@psych.ucla.edu, jdunlosk@kent.edu, nkornell@gmail.com




도입

INTRODUCTION


이 검토에서 우리는 다음에 대한 최근의 연구를 요약한다. 

  • 사람들이 학습 활동에 대해 무엇을 이해하고 이해하지 못하는지, 

  • 그리고 이해, 보존 및 전송을 촉진하는 프로세스

In this review we summarize recent research on what people do and do not understand about the learning activities and processes that promote comprehension, retention, and transfer.


사람들은 우리의 직관과 실천이 "매일의 삶과 학습에서 벌어지는 실수와 오류"로부터 향상되리라 예상할 수도 있지만, 실제로는 그렇지 않은 것으로 보인다.

One might expect that our intuitions and practices would be informed by what Bjork (2011) has called the “trials and errors of everyday living and learning,” but that appears not to be the case.


어떤 사회적 태도와 가정은 또한 우리가 [최대한 효과적인 학습자가 되는 방법]을 배우지 않는 데에도 역할을 하는 것처럼 보인다. 그러한 가정 중 하나는 아이들과 성인들이 그들의 학습 활동을 관리하는 방법을 배울 필요가 없다는 것 같다. 예를 들어 코넬 & 비요크(2007)와 하트비히 & 던로스키(2012년)의 대학생들을 대상으로 한 설문조사에서 약 65%에서 80%의 학생들이 "누군가가 알려준 학습법대로 공부하느냐"는 질문에 대해 "아니오"라고 대답했다(반대로 20~35%가 "그렇다"라고 대답하는 것도 중요하다.)

Certain societal attitudes and assumptions also seem to play a role in our not learning how to become maximally effective learners. One such assumption seems to be that children and adults do not need to be taught how to manage their learning activities. In surveys of college students by Kornell & Bjork (2007) and Hartwig & Dunlosky (2012), for example, about 65% to 80% of students answered “no” to the question “Do you study the way you do because somebody taught you to study that way?” (Whether the 20%to 35%who said “yes” had been taught in a way that is consistent with research findings is, of course, another important question.)


학습 방법에 대한 지침의 부재는 정말로 사람들이 스스로 점차적으로 학습 능력을 습득할 것이라는 가정을 반영하는 것 같다.

It seems likely that the absence of instruction on how to learn does indeed reflect an assumption that people will gradually acquire learning skills on their own


예를 들어 사람마다 자신의 학습 스타일을 가지고 있다는 개념은 모든 개인에게 적용되는 학습 방법에 대한 교육을 제안하는 것이 불가능하다는 생각을 암묵적/명시적으로 하게 만든다. (학습 스타일 개념과 증거에 대한 검토는 Pashler et al.을 참조)

The notion that individuals have their own styles of learning, for example, may lead, implicitly or explicitly, to the idea that it is not possible to come up with training on how to learn that is applicable to all individuals (for a review of the learning-styles concept and evidence, see Pashler et al. 2009).



학습자로서 정교해지는 법

BECOMING SOPHISTICATED AS A LEARNER


우리의 관점에서는, 진짜 효과적인 학습을 하려면 다음이 필요하다

  • (a) 인간의 학습과 기억을 특징짓는 기능 아키텍처의 주요 측면을 이해하는 것 

  • (b) 습득해야 할 정보 및 절차의 저장 및 후속 검색을 강화하는 이해 활동 및 기법 

  • (c) 이러한 모니터링에 대응하여 학습 상태를 모니터링하고 학습 활동을 제어하는 방법을 알고 있어야 한다. 

  • (d ) 후기의 회상 및 전이를 지원할 학습이 달성되었는지 여부에 대한 판단을 저해할 수 있는 특정 편견을 이해하는 것.

In our view, as we sketch below, becoming truly effective as a learner entails 

  • (a) understanding key aspects of the functional architecture that characterizes human learning and memory, 

  • (b) knowing activities and techniques that enhance the storage and subsequent retrieval of to-be-learned information and procedures, 

  • (c) knowing how to monitor the state of one’s learning and to control one’s learning activities in response to such monitoring, and 

  • (d ) understanding certain biases that can impair judgments of whether learning has been achieved that will support later recall and transfer.


1. 인간 기억의 관련 특성 이해

Understanding Relevant Peculiarities of Human Memory


학습자로서 최대의 효과를 얻기 위해서는 부분적으로 비요크 & 비요크(1992)가 인간의 학습과 기억력을 특징짓는 저장과 인출 과정의 "중요한 특성"이라고 규정한 것을 이해해야 한다.

To become maximally effective as a learner requires, in part, understanding what Bjork & Bjork (1992) labeled “important peculiarities” of the storage and retrieval processes that characterize human learning and memory.


예를 들어, 사람은 정보를 문자 그대로 기록함으로써 장기 기억 속에 정보를 저장하지 않고, 대신에 이미 알고 있는 것과 새로운 정보를 연관시킴으로써 정보를 저장한다는 것을 이해하는 것이 중요하다. 우리는 이미 기억 속에 존재하는 정보에 대한 관계선 및 의미적 연관성에 의해 정의된 바와 같이, 새로운 정보를 그 의미 면에서 저장한다. 그것은 무엇보다도, 우리가 단순히 녹음하는 것이 아니라, 해석, 연결, 상호 관계, 그리고 정교하게 함으로써, 학습 과정에 적극적인 참여자를 끌어들여야 한다는 것을 의미한다. 기본적으로, 정보는 우리의 기억에 저절로 각인되지 않을 것이다.

It is important to understand, for example, that we do not store information in our long-term memories by making any kind of literal recording of that information, but, instead, we do so by relating new information to what we already know. We store new information in terms of its meaning to us, as defined by its relation-ships and semantic associations to information that already exists in our memories. What that means, among other things, is that we have tobean active participant in the learning process—by interpreting, connecting, interrelating, and elaborating, not simply recording. Basically, information will not write itself on our memories.


또한 배워야 하는 정보나 절차를 저장할 수 있는 우리의 능력은 본질적으로 무한하다는 것을 이해할 필요가 있다. 사실, 정보를 기억에 저장하는 것은 용량을 창출create하는 것으로 보인다. 즉, 기억공간을 써버리는 것이 아니라 추가 연결과 저장 기회를 창출한다. 기존의 지식과 장기 기억으로 상호 연관되어 한때 저장되었던 정보는, 반드시 접근 가능하지는 않더라도 저장되어 있는 경향이 있다는 것도 이해하는 것이 중요하다. 그러한 지식은 다시 쉽게 접근할 수 있게 되어 새로운 학문의 자원이 된다.

We need to understand, too, that our capacity for storing to-be-learned information or procedures is essentially unlimited. In fact, storing information in human memory appears to create capacity—that is, opportunities for additional linkages and storage—rather than use it up. It is also important to understand that information, once stored by virtue of having been interrelated with existing knowledge in long-term memory, tends to remain stored, if not necessarily accessible. Such knowledge is readily made accessible again and becomes a resource for new learning.


또한, 특정한 단서가 주어진다면 기억 속에 저장된 정보에 접근하는 것이 일반적인 기록 장치처럼 기록된 내용의 literal한 "재생"에 해당하지 않는다는 점을 이해하는 것도 필요하다. 저장된 정보나 절차를 인간의 기억에서 검색하는 것은 literal한 과정이 아니라, 추론과 재구성을 하는 fallible한 과정이다. 바틀렛(1932)의 고전적 연구로 거슬러 올라가는 연구는 종종 자신감에 차서 우리가 어떤 이전 에피소드를 회상하는 것이 실제로 에피소드의 특징들이 에피소드 자체에서가 아니라 우리의 가정, 목표 또는 이전 경험에서 파생된 특징들과 결합되거나 대체될 수 있다는 것을 반복적으로 보여주었다. 우리가 과거를 기억할 때, 우리는 의식적이지는 않더라도 우리의 기억들이 우리의 배경 지식, 우리의 기대, 그리고 현재의 맥락에 맞도록 불러온다.

To be sophisticated as a learner also requires understanding that accessing information stored in our memories, given certain cues, does not correspond to the “playback” of a typical recording device. The retrieval of stored information or procedures from human memory is a fallible process that is inferential and reconstructive—not literal. Research dating back to a classic study by Bartlett (1932) has demonstrated repeatedly that what we recall of some prior episode, often confidently, can actually be features of the episode combined with, or replaced by, features that derive from our assumptions, goals, or prior experience, rather than from the episode itself. When we remember the past, we are driven, if not consciously, to make our recollections fit our background knowledge, our expectations, and the current context.


중요한 것은, 인출도 신호cue에 의존한다는 것이다. 학습 과정 중에 (일부 학습해야 할) 정보가 쉽게 호출될 수 있다는 사실이 학습 과정이 끝난 후 반드시 다른 시간과 장소에서도 비슷하게 쉽게 호출할 수 있다는 것을 의미하지는 않는다.

Importantly, retrieval is also cue dependent. The fact that some to-be-learned information is readily recallable during the learning process does not necessarily mean it will be re-callable in another time and place, after the learning process has ended.


학습자가 우리의 기억에서 정보를 검색하는 것에 따르는 결과가 발생한다는 것을 이해하는 것도 중요하다. 컴팩트 디스크와 같은 일부 인공 장치로부터 정보를 재생하는 것과는 대조적으로, 인간의 기억에서 정보를 검색하는 것은 "기억 변조활동"이다(Bjork 1975). 검색된 정보는, 동일한 상태로 남겨지기 보다는, 접근하지 않았을 때보다, 미래에 더 손쉽게 인출할 수 있게 된다. 실제로 학습 이벤트로서, 특히 장기적 리콜을 용이하게 한다는 관점에서, 정보를 인출하는 연습는 반복 학습보다 상당히 강력하다(학습 이벤트로써의 검색에 관한 연구의 리뷰는 Roediger & Butler 2011, Roediger & Karpicke 2006 참조).

It is critical, too, for a learner to understand that retrieving information from our memories has consequences. In contrast to the playback of information from some man-made device, such as a compact disk, retrieving information from human memory is a “memory modifier” (Bjork 1975): The retrieved information, rather than being left in the same state, becomes more recallable in the future than it would have been without having been accessed. In fact, as a learning event, the act of retrieving information is considerably more potent than is an additional study opportunity, particularly in terms of facilitating long-term recall (for reviews of research on retrieval as a learning event, see Roediger & Butler 2011, Roediger &Karpicke 2006).


포괄적으로 말해서, 정교한 학습자가 되기 위해서는 학습할 정보에 대한 지속적이고 유연한durable and flexible 접근을 만드는 것은 [부분적으로 그 정보의 의미 있는 인코딩을 달성하는 문제]이고 [부분적으로 검색 프로세스를 연습하는 문제]라는 것을 이해해야 한다. 

    • 인코딩 측면에서, 목표는 상호 관련 개념과 아이디어의 광범위한 프레임워크의 일부인 인코딩을 달성하는 것이다. 

    • 검색 측면에서는 검색 프로세스를 연습하는 것이 중요하다.

Broadly, then, to be a sophisticated learner requires understanding that creating durable and flexible access to to-be-learned information is partly a matter of achieving a meaningful encoding of that information and partly a matter of exercising the retrieval process. 

    • On the encoding side, the goal is to achieve an encoding that is part of a broader framework of interrelated concepts and ideas. 

    • On the retrieval side, practicing the retrieval process is crucial.


비요크(1994)가 예를 든 것처럼, 

    • 응급 상황에서 실제로 그 절차를 정확하게 수행할 수 있는 가능성 측면에서,

    • 부풀릴 수 있는 구명 조끼를 실제로 착용, 고정 및 팽창할 수 있는 한 번의 기회는

    • 보다 자주 비행기를 자주 타서 승무원이 그 과정을 수행하는 것을 지켜보는 것보다 더 큰 가치가 있을 것이다. 

To repeat an example provided by Bjork (1994), one chance to actually put on, fasten, and inflate an inflatable life vest would be of more value— in terms of the likelihood that one could actually perform that procedure correctly in an emergency—than the multitude of times any frequent flier has sat on an airplane and been shown the process by a flight attendant.



2. 저장 및 인출 기능을 향상시키는 활동 및 기법 파악

Knowing Activities and Techniques that Enhance Storage and Retrieval



인간의 학습과 기억을 특징짓는 저장 및 검색 프로세스에 대한 일반적인 이해를 달성하는 것 외에, 진정으로 효과적인 학습자는 새로운 정보의 저장과 그 정보에 대한 후속 접근을 촉진하는 활동에 참여할 필요가 있다.

Beyond achieving a general understanding of the storage and retrieval processes that characterize human learning and memory, a truly effective learner needs to engage in activities that foster storage of new information and subsequent access to that information.


학습자로서 정교해지는 것은 또한 자신의 학습 조건을 관리하는 것을 포함한다.

Becoming sophisticated as a learner also involves learning to manage the conditions of one’s own learning.


따라서 예를 들어, 학습해야 할 주제에 대해 간격을 둔 연습은 몰아치는 공부보다 학습 효과를 높일 수 있다(예: Cepeda et al. 2006). 마찬가지로, [학습의 환경적 맥락을 일정하고 예측 가능한 상태로 유지하는 것]보다는 [자신의 학습 조건을 스스로 변화시켜야 한다는 것을 아는 것]도 더 효과적인 학습자로 만들어준다. 또한 정보 또는 프로시저를 단순히 찾아보기look up만 하는 것보다, 정보를 능동적으로 생성하고자generate 시도해야 한다는 것도 마찬가지다.

Thus, for example, knowing that one should space, rather than mass, one’s study sessions on some to-be-learned topic can increase one’s effectiveness as a learner, as can knowing that one should interleave, rather than block, successive study or practice sessions on separate to-be-learned tasks or topics (see, e.g., Cepeda et al. 2006). Similarly, knowing that one should vary the conditions of one’s own learning, even, perhaps, the environmental context of studying (Smith et al 1978, Smith & Rothkopf 1984), versus keeping those conditions constant and predictable, can make one a more effective learner, as can knowing that one should test one’s self and attempt to generate information or procedures rather than looking them up (e.g., Jacoby 1978).


그러한 정교함을 획득하는 것을 어렵게 만드는 것은 (간격, 변동, 인터리빙, 생성과 같은 조작을 도입함으로써 얻는) 단기적 결과는 결코 유익하지 않은 것으로 보일 수 있다는 점이다. 그러한 조작은 학습자에게 어려움과 도전을 초래하며 현재의 수행으로 측정했을 때 학습 속도를 늦추는 것으로 보일 수 있다. 그들은 종종 학습할 정보와 절차의 장기 보존과 전송을 향상시키기 때문에 바람직한 어려움으로 불려왔지만(Bjork 1994), 그럼에도 불구하고 학습자에게 난이도감과 느린 진행을 만들어 낼 수 있다.

What makes acquiring such sophistication difficult is that the short-term consequences of introducing manipulations such as spacing, variation, interleaving, and generating can seem far from beneficial. Such manipulations introduce difficulties and challenges for learners and can appear to slow the rate of learning, as measured by current performance. Because they often enhance long-term retention and transfer of to-be-learned information and procedures, they have been labeled desirable difficulties (Bjork 1994), but they nonetheless can create a sense of difficulty and slow progress for the learner.


3. 학습을 모니터링하고 학습 활동을 효과적으로 제어

Monitoring One’s Learning and Controlling One’s Learning Activities Effectively


기본적으로 학습과정은 다음과 같은 지속적인 평가와 결정을 수반한다. 

    • 다음에 무엇을 학습해야 하고 어떻게 학습해야 하는지, 

    • 어떤 정보, 개념 또는 절차에 대한 향후 access을 지원하는 학습이 달성되었는지 여부, 

    • 회상한 것이 정확한지 등

Basically, the learning process involves making continual assessments and decisions, such as 

    • what should be studied next and how it should be studied, 

    • whether the learning that will support later access to some information, concept, or procedure has been achieved, 

    • whether what one has recalled is correct, and on and on. 


그림 1에서 포착한 바와 같이 감시와 통제 사이에는 중요한 상호작용이 있다. 학습자로서 정교하고 효과적으로 되기 위해서는 

    • 학습의 상태를 정확히 평가할 수 있을 뿐만 아니라, 

    • 그러한 모니터링에 대응하여 학습 과정과 활동을 제어할 수 있어야 한다.ns.

As captured in Figure 1, there is an important back and forth between monitoring and control. To become sophisticated and effective as a learner requires not only being able to assess, accurately, the state of one’s learning (as illustrated by the monitoring judgments listed in the top of the figure), but also being able to control one’s learning processes and activities in response to such monitoring (as illustrated by the control decisions).


    • (a) 학습자는 학습이 달성되었는지에 대해 쉽게 오해할 수 있으며, 일반적으로 과신(과신)을 야기할 수 있다. 

    • (b) 사람들이 학습에 효과적이거나 효과적이지 않은 활동에 대해 믿는 경향이 있는 것은 종종 현실과 상충된다. 

    • (a) learners can easily be misled as to whether learning has been achieved, typically resulting in overconfidence, and 

    • (b) what people tend to believe about activities that are and are not effective for learning is often at odds with reality. 

학습의 상태를 평가하는 것이 어려운 이유는, 현재의 성과나 습득한 정보를 인코딩하거나 검색하는 데 있어서 친숙함이나 유창함 같은 평가의 기초가 될 수 있는 객관적이고 주관적인 지표가 학습이 달성되었는지와 무관한 요인을 반영할 수 있기 때문이다. 현재의 성과—그리고 주관적인 회수 유창함은 학습 중에 존재하지만 나중에 나타나지 않을 재조명, 예측 가능성, 단서 등의 요인에 의해 크게 영향을 받을 수 있으며, 친숙함 또는 지각성 독감의 주관적인 감각은 학습의 유효한 척도가 되기 보다는 프라이밍과 같은 요인을 반영할 수 있다.

Assessing the state of one’s learning is difficult because the objective and subjective indices on which one might base such assessments, such as current performance or the sense of familiarity or fluency in encoding or retrieving to-be-learned information, can reflect factors unrelated to whether learning has been achieved. Current performance—and the subjective sense of retrieval fluency, can be heavily influenced by factors such as recency,predictability, and cues that are present during learning but will not be present later, and the subjective sense of familiarity or perceptual fluency can reflect factors such as priming rather than being a valid measure of learning.


마지막으로, 자신의 학습을 평가하는 데 효과적이 되기 위해서는 우리가 나중에 배울 정보를 생산할 수 있을지를 판단하는 데 있어 사후 판단 편향과 선견지명 편향의 대상이 된다는 것을 알아야 한다. 

    • 사후판단 편향(Fischhoff 1975)은 일단 정보가 우리에게 제공되면 우리가 그것을 내내 알고 있었다고 생각하는 경향을 말한다. 

    • 선견지명 편향(Koriat &Bjork 2005)은 "이미 알고있었지"가 아니라 "미래에도 분명히 알겠지"라고 생각하는 경향을 반영한다.

Finally, to be effective in assessing one’s own learning requires being aware that we are subject to both hindsight and foresight biases in judging whether we will be able to produce to-be-learned information at some later time. 

    • Hindsight bias (Fischhoff 1975) refers to the tendency we have, once information is made available to us, to think that we knew it all along. 

    • Foresight bias (Koriat &Bjork 2005), on the other hand, rather than reflecting a knew-it-all-along tendency, reflects a will-know-it-in-the-future tendency.



학생들은 '어떻게 배우는지'에 대해 무엇을 믿는가?

WHAT DO STUDENTS BELIEVE ABOUT HOW TO LEARN?


학생들의 학습전략 이용실태와 공부에 대한 믿음

Surveys of Students’ Strategy Use and Beliefs About Studying


가장 자주 사용되는 학생 자율 규제의 평가 중 하나는 학습 설문지를 위한 동기식 전략이다(MSLQ; Pintrich 등 1993).

One of the most frequently used assessments of student self-regulation is the Motivated Strategies for Learning Questionnaire (MSLQ; Pintrich et al. 1993).


MSLQ 척도와 학생 성적 사이의 관계는 낮았고 때로는 유의하지 않았다.

The relationships between these subscales and student grades were low and sometimes non-significant.


이러한 낮은 상관관계는 여러 가지 이유로 발생할 수 있다. 그 관계는 선형적이지 않을 수 있으며, 몇몇 전략은 평균적인 학생들이 주로 사용하고 있다. 게다가, 이러한 일반적인 전략은 모든 종류의 시험에 효과적이지 않을 것이다; 다른 제한은 척도의 일반적인 문구가 모든 학생들에 의해 같은 방식으로 해석되지 않을 수 있다는 것이다(Crede & Phillips 2011).

these low relationships may arise for multiple reasons. The relationships may not be linear, with some strategies being used largely by average students. Moreover, these general strategies will not be effective for all kinds of exams; Other limitations are that the general wording of the scale items may not be interpreted the same way by all students (Cred´e & Phillips 2011),


자가 테스트는 많은 학생들이 (하트위그 & 던로스키 2012, 카피크 외)를 사용하여 보고하는 플래시 카드의 사용에 내재되어 있다. 2009년) 그러나 학생들은 플래시카드를 효과적으로 사용하는가?

Self-testing is intrinsic to the use of flashcards that many students report using (Hartwig & Dunlosky 2012, Karpicke et al. 2009), but do students use them effectively?


거의 모든 학생들이 시험을 위한 자료를 배우기 위해 플래시카드를 한 번 이상 사용할 것이라고 보고했지만, 그들은 또한 사용하는 날이 시험 하루나 이틀 전에 대부분 제한되어 있다고 보고했다. 이러한 종류의 주입식 주입구는 인기가 있으며(Taraban et al. 1999) 학생들이 학습에 효과적인 방법이라고 믿음에도 불구하고 확실히 보존을 최적화하지 않는다(Kornell 2009).

Almost all the students reported that they would use flashcards more than once to learn materials for an exam, but they also reported that such use was largely limited to just a day or two before the exam. This kind of cramming is popular (Taraban et al. 1999) and certainly does not optimize retention, although students believe it is an effective way to learn (Kornell 2009).


학습 관리를 위한 결정의 지표가 되는 학생들의 믿음

Students’ Beliefs as Indexed by Decisions They Make in Managing Their Learning


셋째, 학생들은 학습 시간을 할당하기 위한 안건, 즉 학습계획을 개발하며, 때로는 이러한 학습계획은 discrepancy-reduction 모델과는 반대로 가장 학습이 어려운 내용에 우선순위를 두지 않는다(아리엘 외). 2009).

Third, students develop agendas—that is, plans—for the allocation of their study time, and sometimes these agendas, in contrast to the discrepancy-reduction model, do not prioritize the most difficult items for study (Ariel et al. 2009).


마찬가지로 메트칼페(2009, Kornell & Metcalfe 2006)는 어떤 조건에서는 학생들이 가장 공부하기 쉬운 아이템을 먼저 선택하고 가장 쉬운 아이템을 공부하는 데 더 많은 시간을 보낸다고 보고했다. 쉬운 항목에 우선 초점을 맞추는 것은 메탈프가 "proximal learning지역의 학습"이라고 부르는 것으로서, 학생들이 학습 시간을 할당하기 위해 개발할 수 있는 많은 의제 중 하나이며, 그렇게 하는 것은 심지어 학습을 증진시킬 수 있다(Atkinson 1972, Kornell & Metcalfe 2006).

Similarly, Metcalfe (2009, Kornell &Metcalfe 2006) reported that under some conditions students choose the easiest items first for study and spend more time studying the easiest items. Focusing on the easier items first (which Metcalfe calls studying within the region of proximal learning) is one of many agendas that students can develop to allocate their study time, and doing so can even boost their learning (Atkinson 1972, Kornell & Metcalfe 2006).


습관적인 편견은 효과적인 공부 시간 할당을 저해할 수 있다. 따라서, 예를 들어, 시험을 준비하는 학생은 단순히 교과서를 열고, 그들의 공부를 이끌 수 있는 어떤 종류의 공격 계획을 가지고 있는 것과 대조적으로, 할당된 내용만 읽어나갈 수 있다. 이러한 수동적 reading은, 심지어 그것을 반복해서 읽더라도, 자가 설명 또는 자가 테스트와 같은 능동적 처리보다 훨씬 덜 효과적이다.

habitual biases can undermine the development of effective agendas for study time allocation. Thus, for example, a student preparing for a test might simply open a textbook and read through the assigned pages versus having any kind of plan of attack that might guide their studying. Such passive reading— and even rereading—is much less effective than active processing, such as self-explanation or self-testing.


학생들이 새에 대한 공부를 마쳤을 때, 그림 2에 묘사된 인터페이스가 제시되었다. 자율 학습 단계 동안 참가자들은 최종 테스트에서 새 새를 분류하는 데 가장 도움이 되는 순서로 새를 연구하도록 지시 받았다. 평균적으로, 참가자들은 57마리의 새를 다시 연구하기로 선택했고, 상당수의 참가자들이 인터리브(또는 공간) 대신 블록(또는 몰아치기)을 선호했다.

when they finished studying this bird, the interface depicted in Figure 2 (see color insert) was presented. During the self-paced phase, the participants were instructed to study the birds in an order that would best help themto classify new birds on the final test. On average, participants chose to restudy 57 birds, and a sizable majority of participants (75%) preferred to block (or mass) instead of interleave (or space).



요약하자면, 학생들은 자기 테스트와 같은 학습을 위한 몇 가지 효과적인 전략을 사용하여 지지하며, 때때로 실험실 실험에서는 시간을 어떻게 관리해야 하는지에 대해 좋은 결정을 내린다. 그럼에도 불구하고, 다른 결과는 학생들이 이러한 효과적인 전략의 이점을 충분히 얻지 못한다는 것을 암시한다. 시험과 관련하여, 많은 학생들은 재독서의 장점이 기껏해야 미미하지만(Dunloskey et al. 2012, Fritz et al.) 재독은 시험보다 우수한 전략이라고 믿는다. 2000년, Rawson & Kintsch 2005). 더욱이 대부분의 학생들은 학습을 평가하기 위해 시험을 사용하므로 학습을 향상시키기 위한 전략으로 더 광범위하게 사용하지 않을 수 있다. 간격 연습과 관련하여, 비록 학생들이 때때로 실험실 실험에서 간격을 둔 학습를 선호하지만, 그러한 간격은 단일 세션 내에서만 발생한다. 안타깝게도, 학생들이 주입식 교육을 지지하고 그렇게 하는 것이 효과적이라고 믿는다면, 그들은 여러 세션에서 간격 연습이 일어날 때 발생하는 장기적인 혜택을 얻지 못할 것이다(예: Bahrick 1979, Rawson &Dunlosky 2011).

In summary, students do endorse using some effective strategies for learning, such as self-testing, and they sometimes make good decisions about how to manage their time in laboratory experiments. Nevertheless, other outcomes suggest that students do not fully reap the benefits of these effective strategies. With respect to testing, many students believe that rereading is a superior strategy to testing (McCabe 2010), even though the benefits of rereading are modest at best (Dunloskey et al. 2012, Fritz et al. 2000, Rawson & Kintsch 2005). Moreover, most students use testing to evaluate their learning and hence may not use it more broadly as a strategy to enhance their learning. With respect to spaced practice, even though students sometimes prefer to space study in laboratory experiments, such spacing occurs within a single session. Unfortunately, given that students endorse cramming and believe doing so is effective, they will not obtain the long-term benefits that arise when spacing practice occurs across multiple sessions (e.g., Bahrick 1979, Rawson &Dunlosky 2011).


왜 학생들은 효과적인 전략을 잘 사용하지 않고 비효율적인 것이 실제로 효과적이라고 생각하는가? 그들이 효과적인 전략을 충분히 사용하지 못할 수 있는 한 가지 이유는 아마도 아이들과 어른들이 학습전략 같은 것은 가르칠 필요가 없다고 사회적 태도를 갖고 가정하기 때문일 것이다. 맥나마라(2010년)가 지적한 바와 같이, "우리 교육 시스템에는 "학생들에게 전달해야 할 가장 중요한 것은 내용"이라고 하는 압도적인 가정이 있다"(원본 341쪽, 이탤릭체). 실제로, 대부분의 대학생들은 어떻게 공부하느냐가 교사나 다른 사람들에게 어떻게 공부해야 하는지를 배운 결과물이 아니라고 보고한다(K

Why might students underuse effective strategies and believe that ineffective ones are actually effective? One reason why they may underuse effective strategies is that many students are not formally trained (or even told) about howto use effective strategies, perhaps because societal attitudes and assumptions indicate that children and adults do not need to be taught them. As noted by McNamara (2010), “there is an overwhelming assumption in our educational system that the most important thing to deliver to students is content” (p. 341, italics in original). Indeed, most college students report that how they study is not a consequence of having been taught howto study by teachers or others (Kornell &Bjork 2007).


아마도 더 나쁜 것은, 학생들이 전략을 사용한 경험이 때때로 비효율적인 기술이 실제로 더 효과적인 것이라고 믿게 할 수도 있다(예: 코넬 & 비요크 2008a, 사이먼 & 비요크 2001). 예를 들어, 여러 실험에서, 코넬(2009)은 대학생 참가자의 90%가 매스작업보다 간격을 두고 더 나은 성과를 보였다고 보고했다. 그러나, 연구 세션이 끝났을 때, 참가자의 72%가 간격보다 질량이 더 효과적이라고 보고했다. 이러한 인지적 착각은 연구 중 처리가 간격보다 질량화를 위해 더 쉬우거나 더 유창하기 때문에 발생할 수 있으며, 일반적으로 사람들은 더 쉬운 처리가 더 나은 처리를 의미한다고 믿는 경향이 있다(Alter &Oppenhemer 2009). 불행하게도, 다음 절에서 자세히 설명하듯이, 이러한 인지적 환상은 학생들에게 나쁜 전략이 오히려 좋다고 믿게끔 속일 수 있고, 그 자체가 잘못된 자기 조절과 낮은 수준의 성취로 이어질 수 있다.

Perhaps even worse, students’ experience in using strategies may sometimes lead them to believe that ineffective techniques are actually the more effective ones (e.g., Kornell & Bjork 2008a, Simon & Bjork 2001). For instance, across multiple experiments, Kornell (2009) reported that 90%of the college student participants had better performance after spacing than massing practice. When the study sessions were over, however, 72%of the participants reported that massing was more effective than spacing. This metacognitive illusion may arise because processing during study is easier (or more fluent) for massing than spacing, and people in general tend to believe that easier processing means better processing(Alter &Oppenheimer 2009). Unfortunately, as the next section explains in more detail, these metacognitive illusions can trick students into believing that a bad strategy is rather good, which itself may lead to poor self-regulation and lower levels of achievement.


학습에 대한 학습자의 판단에 어떤 영향을 주며, 미래 수행능력을 어떻게 예측하는가?

WHAT INFLUENCES LEARNERS’ JUDGMENTS OF LEARNING AND PREDICTIONS OF FUTURE PERFORMANCE?


올바른 학습 결정을 내리는 것은 성공적인 학습자가 되기 위한 전제 조건이다. 이러한 결정은 학생들이 자신이 공부하는 자료를 얼마나 잘 알고 있는지에 대한 학생들의 판단에 달려 있다. 학생들은 종종 그들이 받아들일 수 있는 수준의 지식에 도달할 때까지 공부한다. 2009년, Kornell & Metcalfe 2006, Thiede & Dunlosky 1999)—예를 들어, 그들은 3장을 다 이해할 때까지 공부한다. 그들은 다가오는 시험에서 그것이 무엇을 다루는지 기억하고 나서 4장으로 돌아간다.

Making sound study decisions is a precondition of being a successful learner. These decisions depend on students’ judgments of how well they know the material they are studying. Students often study until they have reached what they deem to be an acceptable level of knowledge (Ariel et al. 2009, Kornell & Metcalfe 2006, Thiede & Dunlosky 1999)—for example, they study chapter 3 until they judge that they will remember what it covers on an upcoming test, then turn to chapter 4, and so forth.


학습의 판단(JOL)이라는 용어는 미래의 기억 성능에 대한 그러한 예측을 설명하기 위해 사용된다. 일반적인 JOL 과제에서 참가자들은 다가오는 시험에서 공부하고 있는 정보를 기억할 확률을 판단한다. JOL의 정확성은 어떻게 적응적(또는 부적응적) 학습 결정이 내려지는지에 큰 역할을 할 수 있다(Kornell & Metcalfe 2006, Nelson & Narens 1990).

The term judgment of learning ( JOL) is used to describe such predictions of future memory performance. In a typical JOL task, participants judge the probability that they will remember the information they are studying on an upcoming test. The accuracy of JOLs can play a large role in determining how adaptive (or maladaptive) study decisions end up being (Kornell & Metcalfe 2006, Nelson & Narens 1990).



믿음 기반 VS 경험 기반 판단 및 예측

Belief-Based Versus Experience-Based Judgments and Predictions


학습의 판단은 단서에 근거한 추론이지만, 어떤 단서일까? 믿음과 경험이라는 두 가지 광범위한 범주의 단서가 있는 것으로 보인다. (Jacoby & Kelley 1987, Koriat 1997).

Judgments of learning are inferences based on cues, but what cues? There appear to be two broad categories of cues—beliefs and experiences ( Jacoby & Kelley 1987, Koriat 1997).


  • 믿음 기반 단서(이론 기반 또는 지식 기반 단서라고도 함)는 "공부함으로써 배운다"와 같이 기억력에 대해 의식적으로 믿는 것을 말한다. 

  • 기반 단서에는 답이 얼마나 친숙해 보이는지, 화자가 얼마나 큰 소리를 내고 있는지, 단어가 얼마나 발음 가능한지 등 학습자가 직접 경험할 수 있는 모든 것이 포함된다.

  • Belief-based cues (which are also known as theory-based or knowledge-based cues) refer to what one consciously believes about memory, such as “I learn by studying.” 

  • Experience-based cues include anything learners can directly experience, including how familiar an answer seems, how loud a speaker is talking, how pronounceable a word is, and so forth.



경험 기반과 신념 기반 단서 간의 경쟁과 상호작용.

Competition and interactions between experience-based and belief-based cues.


깊은 심리적 차이는 믿음과 경험을 나누는 것으로 나타난다. 비록 사람들은 그들의 기억력에 대해 확실히 믿음을 가지고 있지만, 그들은 종종 JOLs를 내릴 때, 즉 그들은 심지어 (특히 아마도) 믿음 기반 단서에 무감각하고, 동시에 경험 기반 단서에 매우 민감하다(예: Kelley & Jacoby 1996 참조).

A deep psychological difference appears to divide beliefs from experience. Although people clearly hold beliefs about their memories, they frequently fail to apply those beliefs when making JOLs—that is, they are insensitive to belief-based cues even (and perhaps especially) when they are, at the same time, highly sensitive to experience-based cues (see, e.g., Kelley & Jacoby 1996).


사람들은 경험 기반 단서에 민감하며, 그 반대가 옳은 상황에서도 믿음 기반 단서에 민감하지 않다.

people are sensitive to experience-based cues and not belief-based cues, even in a situation where the opposite should be true.


안정성 편견의 증거.

Evidence of a stability bias.


미래의 공부가 자신의 지식에 영향을 미칠 것이라고 예측하지 못하는 것은 Kornell & Bjork(2009)가 메모리의 안정성 편향, 즉, 기억력이 미래에 변하지 않는 것이라고 생각하는 편견의 한 예다(Kornell 2011, 2012 참조). 코넬과 비요크는 참가자들이 단어 쌍 목록을 한 번 연구한 다음 0~3번의 추가 연구 시험 후 최종 시험 성과를 예측하도록 요청했을 때, 미래에 학습 능력이 부족하여 안정성 편향을 보여주지만 동시에 현재의 지식 수준에서도 과신임을 알게 되었다. 이 패턴은 최적의 방식으로 공부하지 않는 두 가지 이유를 동시에 제공하는 것으로 보이기 때문에 문제가 된다.

Failing to predict that future studying will affect one’s knowledge is an example of what Kornell & Bjork (2009) labeled a stability bias in memory—that is, a bias to act as though one’s memory will not change in the future (see also Kornell 2011, 2012). Kornell and Bjork found that participants, when asked to study a list of word pairs once and then to predict their final test performance after 0– 3 additional study trials, were underconfident in their ability to learn in the future, demonstrating a stability bias, but were also, at the same time, overconfident in their current level of knowledge. This pattern is troubling because it appears to provide dual reasons not to study as much as would be optimal.


안정성 편견은 골치 아픈 의미를 가지고 있다. 학생들이 어려운 상황에서도 공부에 굴복하지 않는 한 가지 이유는 궁극적으로는 그들이 발전할 것이라고 생각하기 때문이다. [공부로 얼마나 발전할 수 있는지]를 과소평가하는 학생들은 포기하기 이를 때에조차 희망을 포기할 수도 있다. 망각을 무시하는 것도 위험하다. 학생들은 무의식적으로 만약 오늘날 무언가를 안다면, 다음 주나 다음 달에도 그것을 알 것이라고 생각할 수도 있다(꼭 그렇지는 않다). 그리고 그 결과 조기에 공부를 중단할 수도 있다. (교사들은 학생들의 지식을 판단할 때 같은 오류에 취약하다.) 사실, 망각하는 것을 고려하지 못하는 것은 엄청난 양의 장기적인 과신( over神)을 낳을 수 있다(Kornell 2011). 과신 및 저신뢰에 대한 안정성 편견의 효과는 그림 3에 나타나 있다.

The stability bias has troubling implications. One reason students donot give upon studying, even in the face of difficulty, is the knowledge that eventually they will improve. Students who underestimate how much they can improve by studying may give up hope when they should not. Ignoring forgetting is also dangerous. Students may unconsciously assume that if they know something today, they will know it next week or next month—which is not necessarily true—and stop studying prematurely. (Teachers are vulnerable to the same error when judging their students’ knowledge.) Indeed, failing to account for forgetting can produce extreme amounts of long-term over-confidence (Kornell 2011). The effects of the stability bias on over and under-confidence are illustrated in Figure 3.


따라서, 사람들은 [공부가 배움을 낳고], [망각은 시간에 걸쳐 발생한다]는 믿음과 같이 가장 분명한 인지적 믿음조차도 무시 할 수 있는 것으로 보인. 믿음에 기초한 단서가 무시되는 이유는 일반적으로 현재의 경험에 영향을 미치지 않는 단서 범주에 속하기 때문인 것으로 보인다. 선견지명 편향, 즉 앞에서 논의했던 자신의 기억을 어떻게 시험할 것인지를 고려하지 못한 것도 이 범주에 속한다. [미래의 시험]이라는 것은 현재의 경험에 영향을 미치지 않는다.

Thus, it appears that people can ignore even the most obvious of metacognitive beliefs, such as the beliefs that studying produces learning and forgetting happens over time. The reason belief-based cues are ignored appears to be that, in general, they fall into the category of cues that do not impact one’s current experience. The foresight bias—that is, the failure to take into account how one’s memory will be tested, which was discussed previously—falls into this category as well. The form taken by a future test does not affect current experience.




현재 수행능력의 목표 지표 해석: 휴리스틱스 및 일루시스

Interpreting Objective Indices of Current Performance: Heuristics and Illusions


반응 정확도.

Response accuracy.


답을 떠올릴 수 있느냐가 JOLs에 강력한 영향을 미친다는 것은 분명하다. 지금까지 제시된 증거에 비추어 볼 때 현재의 경험이 JOLs에 대한 독점적인 지배력을 가지고 있어 보인다. 즉, 과거의 사건은 현재의 경험에 영향을 미칠 수 있지만, 현재의 경험만이 JOLs에 영향을 미친다. 그러나 핀&메트칼프(2007, 2008년)가 보여준 바와 같이(King et al. 1980도 참조), 과거에 시험이 있었고 그 사이에 추가 연구 시험이 발생했더라도, 사람들은 가장 최근의 테스트를 기초로 JOL을 판단하는 경향이 있다. 이러한 판단 전략은 과거 시험 휴리스틱에 대한 기억이라고 한다. 따라서 경험이 JOL을 제어하는 것으로 보이며, 그 경험이 꼭 현재의 경험은 아닌 경우도 있다.

It is clear that whether one can recall an answer has a powerful influence on JOLs. It seems possible, given the evidence presented thus far, that current experience has exclusive control over JOLs. That is, past events can influence current experience, but only current experience influences JOLs. As Finn & Metcalfe (2007, 2008) have shown (also see King et al. 1980), however, people tend to base their JOLs on their most recent test, even if the test occurred in the past and additional study trials have occurred in the meantime. This judgment strategy is referred to as the memory for past test heuristic. Thus, it appears that experiences, not necessarily current experiences, control JOLs.



응답 시간.

Response time.


질문에 대답할 수 있는 능력처럼, 답이 떠오르는 속도는 JOLs에 중요한 경험에 기초한 영향을 미친다. 벤자민 외 연구진(1998)은 이 주장에 대한 뚜렷한 증거를 발견했다.

Like the ability to answer a question, the speed with which an answer comes to mind has an important experiencebased influence on JOLs. Benjamin et al. (1998) uncovered striking evidence for this claim.


결과는 놀라웠다. 자신이 있는 참가자들일수록 답을 떠올릴 가능성이 낮았다. 이 결과는 참가자들이 빠르게 대답하는 질문에 더 높은 JOL을 주었기 때문에 발생했지만, 그들은 오랫동안 생각한 문제에 대해서 답을 free-recall할 가능성이 가장 높았다(그림 4 참조).

The results were surprising: The more confident participants were that they would recall an answer, the less likely they were to recall it. This outcome occurred because participants gave higher JOLs to questions that they answered quickly, but they were most likely to free-recall answers that they had thought about for a long time (see Figure 4).





주관적 성과 지표 해석: 휴리스틱스 및 일루젼

Interpreting Subjective Indices of Performance: Heuristics and Illusions



응답 시간과 검색 성공은 객관적으로 측정할 수 있는 단서지만, JOL은 보다 주관적인 근거인 유창함과 밀접한 관련이 있다

    • 정보의 지각 처리 중의 유창함이란 처리하기 쉽거나 빠르다는 것이며, 

    • 정보의 검색 중 유창함은 정보가 얼마나 쉽게 "생각"되는가에 대한 감각이다. 

정보를 처리하거나 정보를 검색할 때 주관적인 유창함은 경험 기반 단서 범주에 속하기 때문에 유창함은 인지적 판단에 강력한 영향을 미친다.

Response time and retrieval success are objectively measurable cues, but they are closely related to a more subjective basis for judgments: fluency. 

    • Fluency during the perceptual processing of information is the sense of ease or speed of processing; 

    • fluency during the retrieval of information is the sense of how readily information “comes to mind.” 

Because the subjective sense of fluency, either in processing information or in retrieving information, falls squarely in the category of experience-based cues, fluency has powerful effects on metacognitive judgments



인출 유창성.

Retrieval fluency.


인출 유창성은 메모리에서 정보를 검색하는 것이 쉽고 빠른 것이다.

Retrieval fluency, as mentioned above, is the ease and speed with which information is retrieved from memory


일반적으로 인출 유창함은 어떤 것이 얼마나 잘 알려져 있는지를 판단하는 측면에서 유용한 휴리스틱스지만, 그것이 priming과 같이 학습 정도와 관계없는 요인에 의한 결과일 때 [아는 것에 대한 환상]을 불러일으킬 수 있다.

In general, retrieval fluency is a useful heuristic in terms of judging how well something is known, but it can be misleading and create illusions of knowing when it is the product of factors unrelated to degree of learning, such as priming.


정보가 유창하게 떠오를수록 학생들은 그것을 알고 있다고 판단하고, 따라서 공부를 중단하게 된다.

The more fluently information comes to mind, the more likely students are to decide they know it, and therefore put it aside and stop studying.


인코딩 유창성

Encoding fluency.


인코딩 유창성(즉, 정보를 배우기가 쉽거나 어렵다는 주관적 느낌)은 공부에 관한 결정에 대한 또 다른 중요한 영향이다(예: Miele et al. 2011).

Encoding fluency—that is, the subjective feeling that it is easy or difficult to learn a piece of information—is another important influence on decisions about studying (e.g., Miele et al. 2011).


그러나 인코딩 유창성은 recall이 fluency와 상관관계가 없기 때문에 문제의 소지가 있다(Castel et al. 2007 참조). 따라서 인출 유창성과 마찬가지로 인코딩 유창성은 오해의 소지가 있지만 높은 인코딩 유창성은 학생이 해당 항목을 다시 학습할 가능성을 감소시킬 수 있다.

Yet, encoding fluency was misleading (see also Castel et al. 2007) because recall was not correlated with fluency. Thus, like retrieval fluency, encoding fluency can be misleading, but high encoding fluency may decrease the chance that a student will restudy the item.



지각 유창성

Perceptual fluency.


인지적 판단은 지각적 유창성이 더 큰 항목, 즉 주관적으로 지각적 수준에서 처리하기 쉬운 항목의 경우 더 높은 경향이 있다.

Metacognitive judgments tend to be higher for items with greater perceptual fluency—that is, items that are subjectively easier to process at a perceptual level.


예를 들어, 레더(1987년)는 질문에 핵심 단어를 미리 노출하는 것(골프 1언더파를 치는 용어의 용어는 무엇인가?)이 주어진 질문에 대한 답을 만들어낼 수 있을 것이라는 피실험자들의 자신감을 높인다는 것을 발견했다. 또한 앞에서 언급한 바와 같이 더 큰 글꼴로 표시된 단어가 더 기억에 남는다고 잘못 판단되었다(Kornell et al. 2011, Rodes & Castel 2008). 더 큰 음량으로 제시된 단어들도 더 기억에 남는 것으로 잘못 평가되었다(Roades & Castel 2009). 최근의 한 연구는 지각적 유창함이 학습을 감소시킬 수 있다고 제안하기도 했다. 학생들은 같은 PowerPoint 프레젠테이션과 유인물을 유창성을 감소시키는 글꼴로 변환했을 때 더 많은 것을 배웠다(Diemand-Yauman et al. 2011). 정보가 더 유창해 보일 때 학생들이 더 많이 배웠다고 판단하는 것을 감안하면 걱정스러운 결과다.

Reder (1987), for example, found that simply pre-exposing key words in a question (such as the words “golf ” and “par” in the question “What is the term in golf for scoring one under par?”) increased subjects’ confidence that they would be able to produce the answer to a given question. Also, as mentioned previously, words presented in larger fonts have been incorrectly judged to be more memorable (Kornell et al. 2011, Rhodes & Castel 2008). Words presented at a louder volume were also incorrectly rated as more memorable (Rhodes & Castel 2009). A recent study even suggested that perceptual fluency can decrease learning: Students learned more when in-class PowerPoint presentations and handouts were converted to fonts that decreased fluency (Diemand-Yauman et al. 2011). This is a worrying outcome given that students judge that they have learned more when information seems more fluent.


귀납 유창성

Fluency of induction.


자기 규제 학습은 한 가지 유형의 학습에만 국한되지 않는다. 많은 연구들은 암기 자료들을 포함하고 있지만, 그러한 자료들은 귀납적 학습을 포착하지 못한다. 귀납적 학습이란 사례를 관찰함으로써 개념이나 범주를 배우는 것이다. 예를 들어 느릅나무를 오크나무와 단풍나무와 구별하는 것을 배우는 것은 각 종류의 나무의 예를 볼 필요가 있다.

Self-regulated learning is not limited to one type of learning. Most of the research on the topic involves materials that can be memorized, but such materials do not capture inductive learning—learning a concept or category by observing examples. For example, learning to differentiate elm trees from oaks and maples requires seeing examples of each kind of tree.


블록 학습으로 인해 특정 예술가의 그림에서 유사성을 쉽게 알아차릴 수 있었을 수 있지만, 인터리빙의 가치는 적어도 부분적으로는 범주 간의 차이를 강조하는데 있어 있는 것으로 보인다(Kang & Pashler 2012, Wahlheim et al. 2011). 인터리빙의 이점은 비유동적 학습(예: 세페다 외, 2006, 뎀프스터 1996)에서 간격적 연습의 이점에 관한 많은 문헌과 일치한다(인터리빙이 학습을 강화시키는 이유? 참조).

Blocking may have made it easier to notice similarities within a given artist’s paintings, whereas the value of interleaving appears to lie, at least in part, in highlighting differences between categories (Kang & Pashler 2012, Wahlheim et al. 2011). The benefit of interleaving is consistent with a large literature on the benefits of spaced practice in noninductive learning (e.g., Cepeda et al. 2006, Dempster 1996) (see sidebar Why Does Interleaving Enhance Learning?).


그림 5(컬러 삽입 참조)에서 알 수 있듯이, 코넬 & 비요크(2008a) 참가자의 대다수는 블록 학습이 인터리빙 학습보다 더 효과적이었다고 잘못 믿었다(비슷한 결과는 코넬 외, 2010, Wahlheimet al. 2011, Zulkiply 외, 2012 참조).

As Figure 5(see color insert) shows, the majority of Kornell &Bjork’s (2008a) participants incorrectly believed that blocking had been more effective than interleaving (for similar results, see Kornell et al. 2010, Wahlheimet al. 2011, Zulkiply et al. 2012).


블록 스케줄에서, 방금 제시된 범주의 이전 예는 매우 유창하지만, 인터리브 스케줄에서는 그렇지 않다. 따라서 블록으로 학습하는 것이 인터리빙보다 더 효과적인 것으로 평가된다. 이러한 인지적 오류는 비유인적 학습에서도 발생한다(Dunlosky &Nelson 1994, Kornell 2009, Simon &Bjork 2001, Zechmeister & Shaughnessy 1980).

In a blocked schedule, the previous example of a category, which was just presented, is highly fluent, whereas it is not in an interleaved schedule. Thus blocked studyingis ratedas more effective than interleaving. This metacognitive error occurs in noninductive learning as well (Dunlosky &Nelson 1994, Kornell 2009, Simon &Bjork 2001, Zechmeister & Shaughnessy 1980), although, as mentioned previously, students do tend to space their studying at least to some degree (see Son & Kornell 2009 and section What Do Students Believe About How to Learn?).



주관적인 경험이 예측의 가장 좋은 근거일 때.
When subjective experience is the best basis for predictions.

왜 교차연습이 학습을 향상시키는가?

WHY DOES INTERLEAVING ENHANCE LEARNING?


별도의 학습 주제 또는 절차에 대한 학습 세션 인터리빙은 주어진 주제 또는 절차에 대한 스터디 또는 연습 세션의 간격을 도입하지만 lnterleaving의 이점은 spacing의 이점 이상인가? 인터리빙은 학습해야 할 별도의 주제 또는 절차 사이의 간섭(검토의 경우, Lee 2012 참조)을 도입하고, 모터 기술 영역에서, 몇 번의 스트로크처럼 학습해야 할 별도의 기술에 대한 인터리빙 연습이 모터에게 요구된다는 생각에 대한 상당한 지원이 있다. 이러한 기술에 대응한 프로그램은 반복적으로 반복해서 실행되지 않고 다시 로드되며, 이는 학습 이점이 있다. 

Interleaving study sessions on separate to-be-learned topics or procedures introduces spacing of the study or practice sessions on a given topic or procedure, but do the benefits of interleaving go beyond the benefits of spacing? Interleaving introduces contextual interference, that is, interference among the separate topics or procedures to be learned (for a review, see Lee 2012), and in the domain of motor skills there is substantial support for the idea that interleaving practice on separate skills to be learned, such as the several strokes in tennis, requires that motor programs corresponding to those skills be repeatedly reloaded, rather than executed over and over again, which has learning benefits. 


그러나 다른 연구결과는, 특히 학습개념과 범주의 영역에서, 상호작용에 의해 도입된 상황적 간섭이 비교와 대조를 촉발하여, 다른 개념이나 범주가 서로 어떻게 관련되는지 상위 순서로 정신적 표현을 하게 하고, 그 결과 보존과 전이가 촉진된다는 것을 시사한다. 그러한 관점에서 interleaving의 이점은 실제로 spacing의 이점을 넘어서지만, 문제는 현재의 관심사와 연구 문제로 남아 있다(예: 강앤파슬러 2012, 테일러 & 로어 2010 참조).

Other findings, though, especially in the domain of learning concepts and categories, suggest that contextual interference introduced by interleaving triggers comparisons and contrasts that result in a higher-order mental representation of how different concepts or categories relate to each other, which then fosters retention and transfer. In that view, the benefits of interleaving indeed go beyond the benefits of spacing per se, but the issue remains a matter of current interest and research (see, e.g., Kang &Pashler 2012, Taylor &Rohrer 2010).


바람직한 어려움에 대한 학습 성과 및 직관적이지 않은 이점

Learning Versus Performance and the Unintuitive Benefits of Desirable Difficulties


사람들은 공부하는 동시에 공부에 대한 결정을 내리기 때문에, 그들은 공부하는 동안 최고의 성과로 이어지는 기술에 끌리는 경향이 있다. 예를 들어, 몰아치기 학습을 통해 스터디 활동을 더 쉽게 하는 것은 더 잘 배우고 있다는 판단을유도하는 경향이 있는데, 이는 학습을 더 편안하게 만드는 조건이 실제로 장기 학습을 감소시킬 수 있기 때문에 문제가 될 수 있다. 간격과 인터리빙, 답안 생성, 자기 시험, 학습 조건 변경과 같은 활동은 바람직한 어려움으로 알려져 있다(Bjork 1994, Bjork & Bjork 2011). 그들은 습득하는 동안 성과, 따라서 명백한 학습을 손상시키지만 장기 학습을 강화한다. 연구 결정의 기초로 유창성을 사용하는 것의 근본적인 문제는 학습자들이 종종 높은 유창성을 실제로, 어떤 상황에서는, 그 반대의 신호를 보낼 수 있을 때 높은 개선율을 나타내는 것으로 해석한다는 것이다.

Because people make study decisions while they are studying, they tend to be drawn to techniques that lead to the best performance during study. Making study activities easier—by, for example, massing practice—tends to increase judgments of learning, which is problematic because conditions that make learning seem easier can actually decrease long-term learning. Activities such as spacing and interleaving, generating answers, testing oneself, and varying the conditions of learning are known as desirable difficulties (Bjork 1994, Bjork & Bjork 2011). They impair performance—and, hence, apparent learning—during acquisition, but enhance long-term learning. The fundamental problem with using fluency as a basis for study decisions is that learners often interpret high fluency as signaling a high rate of improvement when it can actually, under some circumstances, signal just the opposite.




자기조절학습을 손상시킬 수 있는 태도와 가정들

ATTITUDES AND ASSUMPTIONS THAT CAN IMPAIR SELF-REGULATED LEARNING


[오류와 실수]의 의미와 역할 오해

Misunderstanding the Meaning and Role of Errors and Mistakes


오류와 실수는 일반적으로 학습 과정 중에 피해야 할 것으로 간주되며, 이는 부분적으로 학습자로서 자신의 부족함을 문서화하는 것으로 해석될 것을 우려하기 때문이다.

Errors and mistakes are typically viewed as something to avoid during the learning process,in part out of fear that they will be interpreted as documenting our inadequacies as a learner


이와는 대조적으로, 다양한 연구 결과는 오류를 만드는 것이 종종 효율적인 학습의 필수적인 요소라는 것을 암시한다.

A variety of research findings suggest, by contrast, that making errors is often an essential component of efficient learning.


반대로 오류를 제거하는 조작은 종종 배움을 없앨 수 있다. 따라서, 예를 들어, 습득해야 할 정보의 검색이 수선, 강력한 신호 지원 또는 다른 요인에 의해 성공을 보장할 정도로 쉽게 이루어질 때, 학습 이벤트로서의 그러한 retrieval의 이점은 대부분 또는 완전히 제거되는 경향이 있다(예: Landauer & Bjork 1978, Rawson & Kintsch 2005, Whitten & Bjork 1977).

Conversely, manipulations that eliminate errors can often eliminate learning. Thus, for example, when retrieval of to-be-learned information is made so easy as to insure success, by virtue of recency, strong cue support, or some other factor, the benefits of such retrieval as a learning event tend to be mostly or entirely eliminated (e.g., Landauer & Bjork 1978, Rawson & Kintsch 2005, Whitten & Bjork 1977).


오류를 범하는 것은 학습의 기회를 창출하는 것으로 보이며, 놀랍게도 높은 자신감과 오류가 동반될 때 특히 그러하다. 버터필드 & 메트칼프(2001)는 높은 자신감 상태에서의 오류와 낮은 자신감 상태에서의 오류를 비교하여, 높은 자신감 상태에서 뒤따를 때 특히 효과적이라는 것을 발견하고 이를 hypercorrection effect라고 불렀다. 교육적으로 현실적일 만큼 긴 보존 간격을 포함하여 현재 여러 번(예: Butler et al. 2011, Metcalfe & Pin 2011) 복제된 효과다.

Making errors appears to create opportunities for learning and, surprisingly, that seems particularly true when errors are made with high confidence. Butterfield &Metcalfe (2001) found that feedback was especially effective when it followed errors made with high confidence versus errors made with low confidence, a finding they labeled a hypercorrection effect. It is an effect that has now been replicated many times (e.g., Butler et al. 2011, Metcalfe & Finn 2011), including at retention intervals long enough to be educationally realistic.


기본적 메시지는, 정교한 학습자가 되기 위해서는, 단순히 낙담하기보다는, 오류를 범하고 고군분투하는 것도 학습의 중요한 기회로 보아야 한다는 것이다.

From the standpoint of becoming sophisticated as a learner, the basic message is that making errors and struggling, rather than being simply discouraging, should also be viewed as important opportunities for learning.


성능의 차이를 과대평가하여 능력의 차이점 식별

Overattributing Differences in Performance to Innate Differences in Ability


우리의 견해에 따르면, 우리 사회에는 무엇을 배울 수 있고 얼마나 배울 수 있는지를 결정함에 있어, [개인들 사이의 선천적인 차이]의 역할을 과대평가하는 경향이 있으며, 이러한 과대평가는 훈련, 실천, 경험의 힘에 대한 과소평가와 결합되어 있다. 타고난 차이를 과대평가하고, 노력과 실천의 역할을 과소평가하는 이러한 조합은 개인들로 하여금 그들이 배울 수 있는 것에 일정한 한계가 있다고 가정하게 하고, 결과적으로 그들 자신의 학습 능력을 과소평가하게 할 수 있다. 기본적으로 듀크의 (2006) 용어를 사용하기 위해서는 학습자가 고정된 사고방식이 아니라 성장형 마인드를 가질 필요가 있다. 

There is, in our view, an overappreciation in our society of the role played by innate differences between individuals in determining what can be learned and how much can be learned, and that overappreciation is coupled with an underappreciation of the power of training, practice, and experience. This combination of overappreciating innate differences and underappreciating the roles of effort and practice can lead individuals to assume that there are certain limits on what they can learn, resulting in an underestimation of their own capacity to learn. Basically, to use Dweck’s (2006) terms, learners need to have a growth mindset, not a fixed mindset. 


개인간의 차이는 중요하지만, 이것은 주로 new learning은 old learning에 바탕을 두고 있기 때문이다. old learning의 수준은 new learning에 필요한 것으로서 정말로 중요한 것이며, 개개인의 가정과 문화적 역사는 학습에 관한 개개인의 열망과 기대에 깊은 영향을 미치기 때문이다.

Differences between individuals do matter, but mostly because new learning builds on old learning, so the level of old learning an individual brings to new learning really matters, and because our personal family and cultural histories have a profound effect on our aspirations and expectations with respect to learning.


학습이 쉬워야 한다고 가정하는 것

Assuming That Learning Should Be Easy


마지막으로, 역효과를 낼 수 있는 또 다른 일반적인 가정은 배움이란 쉬운 것이고, 쉬워야 한다는 것이다. 그러한 가정은 

    • 다양한 "made-easy" 핸드북, 

    • 교실 내에서의 성과를 높이는 것이 중요하다는 일반적인 가정(그렇게 하는 것이 실제로 장기 학습을 손상시킬 수 있음에도), 

    • 그리고 우리 각자가 자신만의 학습 스타일을 가지고 있다는 생각에 의해 부채질된다. 

Finally, another common assumption that can be counterproductive is that learning can be, and should be, easy. Such an assumption is fueled by various “made-easy” self-help books, by the common assumption that it important to increase performance in classrooms (when doing so can actually damage long-term learning), and by the idea that we each have our own style of learning. 


매우 영향력 있는 학습스타일이라는 아이디어는 패슬러가 meshing hypothesis라고 이름붙인 것으로, 학습자가 학습 스타일과 맞물리는 방식으로 자료를 제시하면 학습이 효과적이고 쉬울 것이라는 가설이다. 기존의 증거를 검토하는 과정에서, 파슬러 등은 meshing hypothesis에 대한 지지를 찾을 수 없었고, 심지어 정반대를 시사하는 몇 가지 증거까지 발견하였다(예를 들어 시각/공간적 능력 점수가 높은 사람은 언어적 가르침에서 가장 많은 이익을 얻을 수 있는 반면, 대화자는 언어적 완화를 위해 높은 시험하는 개인에게는 진실일 수 있다).

The very influential styles-of-learning idea involves what Pashler et al. (2009) labeled a meshing hypothesis—namely, that learning will be effective and easy if material is presented to the learner in a way that meshes with his or her learning style. In their review of the existing evidence, Pashler et al. could find no support for the meshing hypothesis and even found some evidence that suggests the opposite—that, for example, someone with high visual/spatial ability scores may profit most from verbal instruction, whereas the converse may be true for individuals testing high for verbal abilities.


우리의 리뷰는 효과적인 배움이 재미있을 수 있고, 보람을 줄 수 있고, 시간을 절약할 수 있지만, 좀처럼 쉽지 않다는 것을 암시한다. 가장 효과적인 인지 과정에는 학습자가 연결과 연결, 예제 및 백표 작성, 생성 및 검색 등의 노력을 기울이는 것이 포함된다. 요컨대 효과적인 학습은 학습자의 적극적인 참여를 필요로 한다.

Our review suggests that effective learning can be fun, it can be rewarding, and it can save time, but it is seldom easy. The most effective cognitive processes involve some effort by the learner—to notice connections and linkages, to come up with examples and counterexamples, to generate and retrieve, and so forth. In short, effective learning requires the active participation of the learner.


어떻게 공부해야 하는가에 대한 FAQ

CONCLUDING COMMENTS ON SOME FREQUENTLY ASKED HOW-TO-STUDY QUESTIONS


"앞으로 있을 시험의 형식은 무엇인가요?"

“What Is the Format of the Upcoming Test?”


이것은 아마도 학생들이 가장 많이 하는 질문일 것이다. 그것은 "저것이 시험에 나올 것인가?"라는 질문과 유사하게 내용에 관한 것이 아니기 때문에 교사들을 짜증나게 할 수 있다. 그러나 이것은 학생이 자신의 학습을 규제하기를 원한다는 것을 의미하기 때문에 스스로 규제하는 학습의 관점에서 통찰력 있는 질문이며, 예를 들어 시험이 객관식 대 논술 형식을 가질 것인가에 따라 아마도 다르게 공부할 것으로 추측된다. 전자의 경우 단순히 관련 자료를 생략하기로 결정할 수 있는 반면 후자의 경우 논술을 반영하기 때문에 연습 시험을 시도할 수 있다. 

This may be the most common question students ask. It can annoy teachers because it is not about content, similar to the question “Will that be on the test?” It is, however, an insightful question from the standpoint of self-regulated learning because it implies that the student wants to regulate his or her own learning—and will presumably study differently depending on whether the test will have, say, a multiple-choice versus an essay format. For the former, they may decide to simply skim the relevant materials, whereas for the latter, they may attempt practice testing because doing so reflects essay writing. 


불행하게도, 이런 방식으로 제기된 질문은 학생들이 학습에 대해 가지고 있는 잘못된 인식을 더욱 부각시킨다. 왜냐하면 시험이 객관적 선택인지 에세이인지에 상관없이, 학생들은 학습할 자료를 elaborating하고, self-testing을 사용함으로써, 적극적으로 학습에 참여한다면, 원하는 정보를 더 잘 보존retain할 것이기 때문이다. (물론 어떤 유형의 시험이 있을지를 알면 성적이 더 높아지긴 한다; Lundeberg & Fox 1991). 

Unfortunately, the question posed in this manner further highlights misconceptions students have about learning, because regardless of whether the test is multiple choice or essay, the students will retain the sought after information better if they actively participate in learning, such as by elaborating on the to-be-learned material and by using self-testing (although knowing what type of test to expect can increase students’ grades; Lundeberg & Fox 1991). 


따라서 우리가 흔히 하는 대답은, 만약 시험이 당신이 '진정으로 이해했는지'를 확인하는 것이라고 가정한다면 당신은 최선의 결과를 얻을 것이다. 당신은 더 잘 기억해낼 수 있을 것이고, 필요한 정보를 생각해낼 것이다. 이는 시험문제가 사실의 회상에 대한 것이든, 이해했는지를 확인하는 문제이든, 문제를 해결하는 것이든 무관하다.

Thus, the answer we often give is that you will do best if you assume the exam will require that you truly understand, and can produce from memory, the sought-after information, whether doing so involves recalling facts, answering comprehension questions, or solving problems.



"나는 노트를 복사하여 공부한다. 그거 좋은 생각이야?"

“I Study by Copying My Notes. Is That a Good Idea?”


이 질문에 대한 답은 복사가 무엇을 의미하느냐에 달려 있다. 들은 그대로 copying하는 것은 수동적인 과정이기 때문에, 또한 그다지 효과적이지 않다. 그러나 노트를 다시 쓰거나 재편성하는 것은 적극적인 조직적이고 정교한 처리를 행하는데, 모든 입문 심리학 학생들은 교과서에서 알아야 할 가치가 있다(예: Schacter et al. 2011). 자신의 노트를 공부하고 나서 노트를 보지 않은 상태에서 재생산reproduce하려고 하는 것은 또 다른 능동적인 과정이며, 검색 연습의 학습 편익을 이용한다. 따라서 이 질문에 대한 대답은 해당 학생들이 노트를 복사할 때 정확히 무엇을 하는지 알아내야 한다.

The answer to this question depends on what is meant by copying. Because verbatim copying is a passive process, it is also not very effective. Rewriting one’s notes, however, or reorganizing them, exercises active organizational and elaborative processing, which all introductory psychology students should know from their textbook is valuable (e.g., Schacter et al. 2011). Studying one’s notes and then trying to reproduce them without the notes being visible is another active process and takes advantage of the learning benefits of retrieval practice. The answer to this question, therefore, requires finding out exactly what the students in question do when they copy their notes.


"벼락치기는 효과가 있나?"

“Does Cramming Work?”


반사적인 "아니오"는 이 질문에 대한 올바른 대답처럼 보이지만, 이 경우에도 대답은 그렇게 간단하지 않다. 우선, 만약 그 학생이 시험 전날 그 자료를 모른다면, 벼락치기는 벼락치기를 하지 않는 것보다 더 좋은 결과를 낼 것이다. 이 질문에 대한 가장 좋은 대답은 아마도 "무엇을 위해 일하는가?"일 것이다. 만약 그 학생의 목표가 다가오는 시험에 합격할 충분한 정보를 얻는 것이라면, 벼락치기 시험은 잘 볼 수 있을 것이다. 심지어 자주 벼락치기를 하면서도 학교에서 잘 하는 학생들도 있다(예: 하트비히 & 던로스키 2012). 장기적으로는 나쁘지만 벼락치기massing study session를 하는 것은, 단기적으로는 양호한 회수율을 얻을 수 있으며, 어떤 상황에서는 간격 학습 세션보다 훨씬 더 좋다(예: Rawson & Kintsch 2005). 

A reflexive “no” seems the right answer to this question, but even in this case the answer is not so straightforward. For one thing, if the student doesn’t know the material the day before the exam, cramming will produce a better outcome than will not cramming. The best answer to this question is probably “Work for what?” If the student’s goal is merely to obtain enough information to pass (or even do well on) an upcoming test, then cramming may work fine. There is even a subset of students who do well in school who frequently cram for tests (e.g., Hartwig &Dunlosky 2012). Massing study sessions, though bad in the long-term, can yield good recall at a short retention interval, even better than spacing study sessions under some circumstances (e.g., Rawson & Kintsch 2005). 


그러나, 만약 학생의 목표가 그들이 배우는 것을 더 오랜 기간 동안 유지하는 것이라면(예를 들어, 같은 주제에 대해 더 진보된 과정을 밟을 때까지), 벼락치기는 다른 기술에 비해 매우 효과적이지 않다. 다가오는 시험에서 좋은 성적을 내고 좋은 장기 유지가 목표라면, 학생들은 미리 공부를 하고 며칠에 걸쳐 학습 시간을 확보한 다음, 시험 전날 밤에 공부해야 한다(예: Kornell 2009, Rawson &Dunlosky 2011). 물론 교사들은 숙제, 주간 시험, 종합 기말고사를 이용하여 그러한 간격을 두고 공부하는 것을 장려할 수 있다.

If, however, a student’s goal is to retain what they learn for a longer period of time (e.g., until they take a more advanced course on the same topic), cramming is very ineffective compared to other techniques. If good performance on an upcoming test and good long-term retention is the goal, then students should study ahead of time and space their learning sessions across days, and then study the night before the exam (e.g., Kornell 2009, Rawson &Dunlosky 2011). Teachers, of course, can use homework assignments, weekly exams, and comprehensive finals to encourage such spaced studying.


"나는 내가 예상했던 것보다 훨씬 더 성적이 나빴다. 어떻게 된 거야?"

“I Did So Much Worse Than I Expected. What Happened?”


학습을 과대평가하는 많은 방법들이 있으며, 어떤 사람들은 시험 준비 상태를 일관되게 과대평가한다. 앞서 이 검토에서 논의한 바와 같이, 그러한 과대평가로 가는 두 가지 경로는 

    • 사후판단 편향으로서, 시험 대상 자료를 보고 그것을 이미 알고있었다고 생각하는 것과 

    • 선견지명 편향이며, 해답이 존재하지 않고 시험에 요구될 때 다른 가능한 해답이 떠오를 것이라는 것을 알지 못하는 것이다. 

As summarized in our review, there are many ways to overestimate one’s learning, and some of us consistently overestimate our preparedness for exams. Two routes to such overestimation, as discussed previously in this review, are hindsight bias, looking at to-be-tested material and thinking that it was known all along, and foresight bias, not being aware that when the answer is not present and required on the test other possible answers will come to mind. 


아마도 이 질문에 대한 가장 좋은 대답은 간단하다. 완전히 알 때까지 정답을 확인하지 않고 의미 있는 자가 테스트를 수행하십시오. 그래야만 정보를 알고 있다는 확신을 가질 수 있다(그리고 그때도 망각은 여전히 일어날 수 있다).

Perhaps the best answer to this question is a simple one: Take a meaningful self-test without checking the answers until you are done. Only then can you be confident that you know the information (and even then, forgetting can still occur).


“How Much Time Should I Spend Studying?”


이것은 사실 학생들이 결코 하지 않는 질문이지만, 아마도 이런 질문도 해야 할 것이다. 단순히 공부에 많은 시간을 보내는 것만으로는 충분하지 않다. 왜냐하면 그 시간은 매우 생산적이지 않게 소비될 수 있기 때문이다. 하지만 학생들은 효과적인 공부와 그렇게 하는 데 충분한 시간을 소비하지 않고는 뛰어날 수 없기 때문이다. 상황을 더 어렵게 만드는 것은, 자신의 학습 시간을 모니터링하는 것 자체가 어렵다는 사실이다. 왜냐하면 학습 세션, 심지어 수업에 출석하는 것조차 이메일, 온라인 쇼핑, 소셜 네트워크, 유튜브 등에 쓰는 시간도 포함할 수 있기 때문이다.

This is actually a question students never ask, but perhaps should. Simply spending a lot of time studying is not enough, because that time can be spent very unproductively, but students cannot excel without both (a) studying effectively and (b) spending enough time doing so. Compounding the problem, it is difficult to monitor one’s own study time—because study sessions, even attending class, can include email, online shopping, social networks, YouTube, and so on.


"좋은 성적을 받고 학교에서 성공하기 위해서는 어떻게 공부해야 할까?"

“How Should I Study To Get Good Grades and Succeed in School?”


이 질문은 정말 기본이고 대답에 할 말이 많다. 비록 단 한 가지 대답도 없다. 자가 테스트와 연습 간격과 같은 일부 전략은 일반적으로 광범위한 자료와 맥락에서 효과적이라 보이지만, 많은 전략은 그렇게 광범위하게 효과적이지 않으며 항상 유용하지는 않을 것이다. 예를 들어, 어떤 사람이 읽고 있는 것을 요약하는 것이 타당하지만, 필기 요약은 항상 학습과 이해에 도움이 되지 않으며 요약 작성에 어려움을 겪는 학생들에게 덜 효과적이다(Dunlosky et al. 2012). 더욱이 물리학 문제 집합을 요약하는 것은 적절하지 않을 수 있다. 

This question is truly basic and there is much to say in response, though not any single answer. Some strategies, such as self-testing and spacing of practice, do seem generally effective across a broad set of materials and contexts, but many strategies are not so broadly effective and will not always be useful. It makes sense to summarize what one is reading, for example, yet writing summaries does not always benefit learning and comprehension and is less effective for students who have difficulty writing summaries (Dunlosky et al. 2012). Moreover, summarizing a physics problem set may not be appropriate. 


다른 학생들과 함께 공부하는 것은 잘 되면 효과적일 수 있지만(예: 학생들이 교대로 서로 시험하고 피드백을 제공한다면) 그러한 세션이 사회적 사건social event으로 바뀌거나 한 그룹 구성원이 앞장서서 다른 모든 사람들이 수동적인 관찰자가 된다면 분명 잘 되지 않을 것이다.

Studying with other students may be effective if done well (e.g., if students take turns testing one another and providing feedback), but certainly will not work well if such a session turns into a social event or one group member takes the lead and everyone else becomes a passive observer.



배움에 대해 배울 것이 많다.

There is much to learn about learning.


요약

SUMMARY POINTS


1. 우리의 복잡하고 급변하는 세계는 점점 더 자기 주도적이고 자기 관리적인 학습을 요구하는데, 이는 단순히 공식적인 학교 교육과 관련된 몇 년 동안만이 아니라, 평생에 걸친 것이다.

1. Our complex and rapidly changing world increasingly requires self-initiated and self-managed learning, not simply during the years associated with formal schooling, but across the lifespan.


2. 배우는 법을 배우는 것은 그러므로 중요한 생존 도구지만, 학습자, 기억, 인지 과정에 대한 연구는 학습자가 학습자로서 그들의 효과를 향상시키기 보다는 손상시킬 수 있는 학습에 대한 직관과 믿음을 갖기 쉽다는 것을 보여주었다.

2. Learning how to learn is, therefore, a critical survival tool, but research on learning, memory, and metacognitive processes has demonstrated that learners are prone to intuitions and beliefs about learning that can impair, rather than enhance, their effectiveness as learners.


3. 학습자로서 정교해지는 것은 저장소의 특성과 학습할 지식 및 절차에 대한 후속 접근을 특징짓는 인코딩 및 검색 프로세스에 대한 기본적인 이해뿐만 아니라, 어떤 학습 활동과 기법이 장기적인 보존과 전송을 지원하는지를 알아야 한다.

3. Becoming sophisticated as a learner requires not only acquiring a basic understanding of the encoding and retrieval processes that characterize the storage and subsequent access to the to-be-learned-knowledge and procedures, but also knowing what learning activities and techniques support long-term retention and transfer.


4. 진행 중인 학습을 효과적으로 관리하려면 학습이 달성된 정도에 대한 정확한 모니터링이 필요하며, 그 모니터링에 대응한 학습 활동의 적절한 선택과 제어와 결합되어야 한다.

4. Managing one’s ongoing learning effectively requires accurate monitoring of the degree to which learning has been achieved, coupled with appropriate selection and control of one’s learning activities in response to that monitoring.


5. 학습 중 성과를 높이는 조건이 장기 보유와 전이를 지원하지 못할 수 있는 반면, 어려움을 일으키고 획득 과정을 늦추는 것으로 보이는 다른 조건들은 장기 보유와 전이를 향상시킬 수 있기 때문에 배움의 달성 여부를 평가하는 것은 어렵다.

5. Assessing whether learning has been achieved is difficult because conditions that enhance performance during learning can fail to support long-term retention and transfer, whereas other conditions that appear to create difficulties and slow the acquisition process can enhance long-term retention and transfer.


6. 학습자 자신의 학습 정도에 대한 판단도 학습자가 습득한 정보를 인지하거나 상기하는 유창함 같은 주관적 지수의 영향을 받지만, 그러한 유창함은 학습이 달성되었는지 여부와 무관한 낮은 수준의 프라이밍과 기타 요인의 산물이 될 수 있다.

6. Learners’ judgments of their own degree of learning are also influenced by subjective indices, such as the sense of fluency in perceiving or recalling to-be-learned information, but such fluency can be a product of low-level priming and other factors that are unrelated to whether learning has been achieved.


7. 학습자로서 최대의 효과를 거두기 위해서는 오류와 실수를 학습자로서의 자신의 부족함을 반영하는 것이 아니라 효과적인 학습의 필수 요소로서 해석해야 한다.

7. Becoming maximally effective as a learner requires interpreting errors and mistakes as an essential component of effective learning rather than as a reflection of one’s inadequacies as a learner.


8. 최대의 효과를 거두기 위해서는 인간이 배워야 할 믿을 수 없는 능력에 대한 감상도 필요하며, 자신의 학습 능력이 고정되어 있다는 사고방식을 피해야 한다.

8. To be maximally effective also requires an appreciation of the incredible capacity humans have to learn and avoiding the mindset that one’s learning abilities are fixed.









 2013;64:417-44. doi: 10.1146/annurev-psych-113011-143823. Epub 2012 Sep 27.

Self-regulated learningbeliefstechniques, and illusions.

Author information

1
Department of Psychology, University of California, Los Angeles, California 90095, USA. rabjork@psych.ucla.edu

Abstract

Knowing how to manage one's own learning has become increasingly important in recent years, as both the need and the opportunities for individuals to learn on their own outside of formal classroom settings have grown. During that same period, however, research on learning, memory, and metacognitive processes has provided evidence that people often have a faulty mental model of how they learn and remember, making them prone to both misassessing and mismanaging their own learning. After a discussion of what learners need to understand in order to become effective stewards of their own learning, we first review research on what people believe about how they learn and then review research on how people's ongoing assessments of their own learning are influenced by current performance and the subjective sense of fluency. We conclude with a discussion of societal assumptions and attitudes that can be counterproductive in terms of individuals becoming maximally effective learners.


불확실성에 대한 편안함: 어떻게 의사들은 복잡한 임상상황을 해쳐나가는가에 대한 개념 재정립(Adv Health Sci Educ Theory Pract, 2018)

Comfort with uncertainty: reframing our conceptions of how clinicians navigate complex clinical situations

Jonathan S. Ilgen1 · Kevin W. Eva2 · Anique de Bruin3 · David A. Cook4 ·

Glenn Regehr5




실제 임상상황에서의 추론을 위해서 의사는 실시간으로 불완전한 데이터를 수집하고 해석해야 합니다. 복잡하고 모호한 환경에서 안전하고 효과적인 조치를 취하는 방법을 배우는 것은 환자 안전과 양질의 진료에 필수적이다(파기슨 외 1997; 하트만 1998; 루터 및 크랜드스타인 2011; 심프킨과 슈워트). 따라서, 보건직업 교육자들은 학생들이 모호성과 불확실성으로 어려움을 겪는다는 우려를 표명하는 경우가 많다. 그 결과, 학습자가 불확실성과 모호성에 대해 "긍정적인" 반응 개발을 도와야 한다는 요청이 진행 중이다(White and Williams 2017).

Authentic clinical reasoning requires practitioners to collect and interpret imperfect data in real time. Learning how to take safe and effective action in these complex and ambiguous settings is essential for patient safety and high-quality care (Fargason et al. 1997; Hartmann 1998; Luther and Crandall 2011; Simpkin and Schwartzstein 2016). Thus, health professions educators often express concerns that students struggle with ambiguity and uncertainty (Fargason et al. 1997; Luther and Crandall 2011; White and Williams 2017), and instead strive to impose certainty on inherently ambiguous situations (Geller 2013; Lingard et al. 2003; Simpkin and Schwartzstein 2016). As a result, there are ongoing calls to help learners develop “positive” responses to uncertainty and ambiguity (White and Williams 2017).


불확실성을 유지하면서도 동시에 자신감 있게 행동하는 것은 전문가의 실천을 전형적으로 보여주는 역설이다. 따라서 숙련된 임상의사가 이러한 모순을 얼마나 잘 구현할 수 있는지를 이해하는 것은 교육자가 trainee의 임상추론 발달을 지원하는 데 필요한 지침을 제공하는 데 있어 중요한 첫 번째 단계를 제공할 수 있다.

To act with confidence while simultaneously remaining uncertain is a paradox that epitomizes expert practice. Thus, understanding how skillful clinicians are able to enact this paradox could offer an important first step toward providing educators with the guidance they need to support trainees’ development of clinical reasoning.


불확실성은 "서로 다른 해결책으로 이어질 수 있는 상충되는 가정, 증거 및 의견이 발생하는" 복잡하고 잘 정의되되지 않은 문제로부터 발생한다. (Kitchener 1983, 페이지 223)

uncertainty arising from complex, ill-defined problems where “there are conflicting assumptions, evidence, and opinion which may lead to different solutions” (Kitchener 1983, p. 223).


Cristancho et al. 2017은 이러한 [잘 정의되지 않은 문제(ill-defined problems, IDP)]는 "임상의들이 문제를 해결하려고 노력하면서도 문제에 대한 그들의 이해를 지속적으로 재구성하고 재정의할 필요"로 특징지어진다고 주장했다. 그러나 정의되지 않은 문제IDP에서 불확실성의 순간을 계속해 나갈 때 임상의사가 편안함을 유지할 수 있도록 하는 프로세스와 메커니즘은 대부분 설명되지 않았다. 따라서 질문은 어떻게 임상의들이 "불확실한 임상의 비좁은 저지대"에서 충분히 편안해 질 수 있는가이다(Schön 1983, 페이지 42).

Cristancho has argued that these ill-defined problems are characterized by the need for clinicians to continuously reconstruct and redefine their understanding of the problem, even as they are trying to solve it (Cristancho et al. 2017). Yet the processes and mechanisms that enable clinicians to maintain a sense of comfort (or not) when continuing along in these moments of uncertainty in ill-defined problems remains largely unexplored. Thus the question is: how do clinicians become sufficiently comfortable dwelling in these “swampy lowlands of indeterminate practice” (Schön 1983, p. 42),


방법

Method


비록 포괄성이 비판적 종합(Grant and Boe 2009)의 목표는 아니지만, 우리는 출판된 문헌을 체계적으로 검색하여 사전 지식을 넘어 경험적이고 이론적인 작업을 추구했다.

Although comprehensiveness is not the goal in critical synthesis (Grant and Booth 2009), we nonetheless sought empiric and theoretical work beyond our a priori knowledge by methodologically searching published literature.


결과

Results


불확실성에 대한 편안함의 정의

Defining comfort with uncertainty


'불확실성에 대한 편안함'이라는 문구를 탐색하면서, 출판된 문헌에 '불확실성'과 '편안함'이라는 용어가 어떻게 사용되는지에 대한 구체성이 부족하다는 것을 발견했다.

In exploring the phrase ‘comfort with uncertainty,’ we found a lack of specificity in how the terms ‘uncertainty’ and ‘comfort’ are used in published literature.


잘 정의되지 않는 문제에 대해 '불확실성'이라는 용어는 흔히 [상황의 특성]과 [개인의 '경험']을 충분히 구분하지 않다.

The term ‘uncertainty,’ as applied to ill-defined problems in medicine, is frequently used in ways that do not sufficiently distinguish between the properties of the situation and the ‘lived experience’1 of the individual


1 "경험"이라는 단어는 개인적으로 관찰하고, 마주치거나, 무언가를 경험하는 과정과 관찰하고, 마주치고, 경험하는 것으로부터 얻은 지식과 실용적인 지혜를 나타내기 위해 영어로 사용된다. 이 두 가지 의미를 명확히 하기 위해, 우리는 'lived experience'은 특정 순간의 경험을, '축적된 경험'은 그 순간들의 역사적 축적을 나타내는 의미로 사용할 것이다.

1 The word “experience” is used in the English language to represent the process of personally observing, encountering, or undergoing something as well as the knowledge or practical wisdom gained from what one has observed, encountered, or undergone. For the purposes of clarifying these two meanings, we will use ‘lived experience’ to describe experiences in the moment, and ‘accrued experience’ to represent the historical accumulation of such moments.


사실 '불확실성'이라는 용어는 흔히 '모호함'이라는 용어와 상호 교환적으로 사용된다. '상황'과 'lived experience'의 중요한 차이를 더 명확하게 묘사하기 위해, 우리는 상황의 특성을 나타내기 위해 '모호함ambiguity'을 사용하고 개인의 lived 경험을 나타내기 위해 '불확실성uncertainty'을 사용할 것을 제안한다. 

In fact, the term ‘uncertainty’ is often used interchangeably with the term ‘ambiguity’ (Geller 2013; White and Williams 2017). To draw this important distinction between the situation and the lived experience more explicitly, we propose using ‘ambiguity’ to represent the properties of the situation and ‘uncertainty’ to represent the lived experience of an individual. 


따라서, 우리는 '모호함'이란 이미지, 소리, 무수한 임상 결과가 서로 다른 사람에게 둘 이상의 방법으로 해석될 수 있는 경우, 또는 동일한 개인이라도 시간 흐름에 따라 다르게 해석될 수 있는 경우를 본질적으로 모호한 것으로 볼 것이다. 예를 들어, murmur을 나타낼 수도 있고 그렇지 않을 수도 있는 심장 소리는 '모호한 것'이다.

Thus, we will consider some thing, be it an image, a sound, or a constellation of clinical findings, to be inherently ambiguous if it can be interpreted in two or more distinct ways by different individuals, or by the same individual at different moments in time (Dogra et al. 2007; Levine 1985; Rensink et al. 1997; Simons and Chabris 1999). For example, a heart sound that might or might not indicate a murmur is ‘ambiguous.’


대조적으로, 우리는 '불확실성'이란 개인의 살아있는 경험에 대하여, 특정 문제나 상황의 근본적인 원인(예: 질병)을 묘사하는 것에 대한 자신감의 정도를 기술하기 위해 사용할 것이다. 임상의사가 "이 환자의 otitis media는 항생제 없이 좋아질 것"이라고 말하는 것은 '확실성'의 표현이다. 대조적으로, '불확실성'은 환자의 증상의 근본적인 원인에 대한 개념에 관한 '망설임'의 상태를 나타낸다. 이것은 상황이 모호하다는 것에 대한 인식(Babrow et al. 1998; Lazarus and Followman 1984), 자신의 지식에서 인지된 한계(Fox 1957), 정보가 불완전하다는 인식 등에서 발생할 수 있다.

In contrast, we will preserve the term ‘certainty’ to reference the lived experience of the individual, describing the extent to which one feels confident in one’s representation of the underlying cause of a particular problem or situation (e.g., the pathology causing a patient’s illness). Certainty is expressed whenever a clinician says things like “this patient’s otitis media will get better without antibiotics.” In contrast, ‘uncertainty’ represents a state of tentativeness with regard to one’s conception of the underlying causes of a patient’s symptoms. This can arise from recognizing that a situation is ambiguous (Babrow et al. 1998; Lazarus and Folkman 1984), from perceived limitations in one’s own knowledge (Fox 1957), or from recognition that one has incomplete information (Light 1979).


만약 '확실성'이 임상적 상황을 해석하는 데 대한 자신감을 나타낸다면, '편안함'은 특정 상황에서 안전하고 효과적으로 행동(또는 기다리기로 결정)할 수 있다는 자신감을 나타낸다. 따라서 예를 들어, 환자를 관찰하는 동안, 의사가 자신 있게 처방을 작성하거나, 특정 술기를 시행하거나, 행동을 보류하도록 선택하는 경우에 편안함이 표현될 수 있다. 각 경우에 있어서, 개인은 적어도 가장 시급한 단계를 통해 '문제를 관리'하려는 의지를 보이고 있다.

If ‘certainty’ represents one’s confidence in interpreting a clinical situation, ‘comfort’ references the confidence one feels in being capable of acting (or deciding to wait and watch) safely and effectively in a given situation (Barbalet 1993; Eva and Regehr 2005). Thus, for example, comfort is expressed when a clinician confidently chooses to write a prescription, enact a particular procedure, or withhold action while observing a patient. In each case, the individual is exhibiting a willingness to ‘manage a problem,’ at least through its most imminent stages.


이와는 대조적으로, '불안함'은 주로 상황의 요구가 그것을 처리할 수 있는 능력보다 앞서갈 것을 우려하기 때문에 발생한다(LeBlanc 2009; LeBlanc et al. 2015). 예를 들어, 임상의사는 특정 문제를 (또는 오랜 기간 동안) 경험해본 적이 없거나, 왜냐하면 임상의는 뭔가 해야 한다고 느끼는데, 동시에 특정 관리 계획의 적합성이 알고 있는 것에 기반해야 한다고 믿지만, 아직 문제의 근본 원인은 모르는 상태이기 때문일 수 있다.

By contrast, ‘discomfort’ is likely to arise because one is concerned that the demands of the situation outstrip one’s capacity to deal with it (LeBlanc 2009; LeBlanc et al. 2015). This can occur, for example, because a clinician has not dealt with a particular problem before (or for a long period of time), or because a clinician feels that something needs to be done while simultaneously believing the appropriateness of a particular management plan is dependent on knowing the yet unknown root cause of the issue (Light 1979).


요컨대, 이 분석의 목적을 위해, 우리는 '확실성'을 임상 상황에 대한 해석에 대한 자신감으로 정의하고, '편안함'은 어자신의 행동능력에 대한 신뢰(또는 직접 행동 없이 상황을 계쏙 모니터하기로 선택하는 것)으로 정의한다. 따라서, '불확실성에 대한 편안함'은 [근본적인 원인에 대한 이해에 대한 완전한 자신감]이 없는 상황에서, [문제에 대해 행동할 수 있는 (또는 기다리거나 관찰하는) 자신감]을 갖는 현상학적 lived 경험으로 정의될 수 있다. 부연하자면, '확실하지만 불편한' 상태란 어떤 사람이 [문제를 명확하게 이해하면서] 동시에 [그것을 관리할 능력이 없다는 것을 깨닫는 것]의 상태임을 인정할 수 있게 해 줄 것이다.

In short, for the purposes of this analysis, we will define ‘certainty’ as the confidence in one’s interpretation of a clinical situation and we will define ‘comfort’ as the confidence in one’s ability to act (or choose to continue monitoring the situation without direct action). Accordingly, ‘comfort with uncertainty,’ can be operationally defined as the phenomenological lived experience of having the confidence to act on a problem (or wait and observe) in the absence of full confidence in one’s understanding of the underlying cause of the issue. Parenthetically, we note that this also would allow us to acknowledge the state of being ‘certain but uncomfortable’ in which one perceives a clear understanding of the problem and realizes that one is not capable of managing it.


불확실성에 대한 편안함을 보이는 상태

Circumstances that embody comfort with uncertainty


진단에 대한 불확실성과 치료계획에 대한 불확실성

uncertainty regarding the diagnosis and uncertainty regarding the treatment plan.


"꼭 알아야 한다"라는 생각 버리기

Letting go of the need to know


진단에 관한 불확실성에 당면한 경우. 어떤 상황에서, 이것은 [비용이 많이 들거나 위험한 진단 테스트를 통해서만 배제할 수 있는] 덜 일반적이거나 드문 진단의 끊임없는 가능성을 받아들이는 것을 포함한다. 이러한 낮은 진단은 이론적으로는 가능하지만, 이러한 진단을 심각하게 고려하게 되면 의사는 실현불가능한 길을 택해야 하거나 환자의 최선의 이익에 부합하지 않는 길을 택해야 한다(Jha 2014). 따라서 숙련된 임상의사는 이러한 드문 진단에 대해 "의식적 비행동conscious inaction"을 선택하는데 편안함을 갖는다(Jha 2014; Smith and Pauw 2000). 숙련된 의사는 관리 계획을 "보다 가능성 있고 제한적인 진단 하위 세트를 대상으로" 다듬는다. 다만 동시에 [발생 가능성이 낮은 진단을 더 심각하게 고려해야 하는] 환자 임상 상태의 변화(또는 그 변화 부족)에 민감하게 주의를 기울인다.

the face of uncertainty regarding the diagnosis. In some cases, this involves accepting the ongoing possibility of a less common or rare diagnosis that could only be excluded through expensive or risky diagnostic tests. Although these less likely diagnoses are theoretically possible, seriously considering them would likely take clinicians down paths that are neither feasible nor in patients’ best interests (Jha 2014). Skillful clinicians thus comfortably adopt the position of conscious inaction toward these rare diagnoses (Jha 2014; Smith and Paauw 2000). They hone their management plans towards a more probable and limited subset of diagnoses while remaining alert to changes (or lack thereof) in patients’ clinical status that would suggest the need to more seriously consider improbable diagnoses.


진단과 관련하여 '불확실성에 대한 편안함'을 가질 수 있는 또 다른 경우는, 유사한 증상으로 나타나는, 헷갈리는 질병을 구별할 필요가 없는 경우로서, 그 이유가 정말한 진단을 하지 않아도 '어떤 치료가 들을work 것인가'에 초점을 맞춘 증상 중심의 관리 전략을 손쉽게 사용할 수 있기 때문인 경우이다즉, 임상의는 [실용적인 치료 위주]로 질병을 분류하는 방식을 편안하게 선택할 수 있으며, 가능한 진단들을 [자신 있게 경험적 치료를 시작할 수 있는 방법]에 따라 가능한 일부 진단들을 그룹화하여, 치료 성공 가능성은 높으면서, 실제 진단에 대해서는 불확실할 수 있다. 이러한 상황에서 [진단에 관한 완벽한 확실성]은 목표가 되지 않는데, 왜냐하면 어떤 조치를 취하는데 진단이 꼭 필요하지는 않기 때문이다. 대신, 이 경우에 의사는 환자의 진행 상황을 모니터링함으로써 환자가 실제로 예상 결과를 달성하고 있는지 확인하고, 질병 진행이 예상 경로에서 벗어날 경우 추가적 evaluation이나 management를 변경한다.

In other cases that involve ‘comfort with uncertainty’ regarding diagnosis, it is not necessary to tease apart confusable diseases that manifest with similar symptoms because one can comfortably use symptom-focused management strategies that focus on ‘what will work’ without the need for diagnostic precision (Bordage and Lemieux 1991; Bowen 2006). That is, clinicians can comfortably adopt a pragmatic treatment-oriented categorization of illness, grouping a subset of possible diagnoses in ways that allow them to confidently initiate empiric therapies that have a high probability of success while remaining uncertain about the actual diagnosis. In these situations, perfect certainty regarding diagnosis is not a goal because it is not necessary for action. Instead, clinicians monitor their patients’ progress to ensure they are indeed achieving the anticipated outcomes, and pivot towards further evaluation or a change in management if the illness progression deviates from the anticipated path.


문제를 통해서 자신만의 방식으로 느끼기

Feeling your way through a problem


두 번째 형태의 '불확실성에 대한 편안함'은 확정적인 환자관리 전략이 덜 명확하여, 모호함, 복잡함, acuity가 높은 상황에서 발생한다. 질병의 다양한 개념화가 가능한 이러한 상황(Cristancho et al. 2017)에서도, multiple한 관리 접근 방식이 합리적입니다. 이러한 상황에서 임상의사가 '편안함'을 가질 수 있다는 것은 [원하는 결과가 나올지 여부가 확실치 않더라도] 그 상황을 관리하는 데 있어 합리적인 다음 단계를 밟을 수 있다는 느낌을 보여준다. 실제로 임상의사는 [선택한 초기 환자관리 방법이 상황에 대한 이해를 높이는 추가적 데이터를 제공할 가능성이 높다는 점]을 인식하면서, 의식적으로 불확실성을 유지할 수 있다.

A second form of ‘comfort with uncertainty’ takes place under circumstances of greater ambiguity, complexity, and acuity where definitive management strategies are less clear. In these situations where multiple conceptualizations of an illness remain possible (Cristancho et al. 2017), multiple management approaches also remain reasonable. Clinicians’ ‘comfort’ in these settings reflects feeling able to take a reasonable next step in managing the situation at hand despite not being certain that it will lead to the desired outcome. Indeed, clinicians might consciously remain uncertain, recognizing that their initial steps in management will likely provide additional data that will enhance their understanding of a situation.


임상의사가 이렇게 행동할 때, 그들은 증상의 변화와 치료에 대한 반응을 문제의 frame and reframe을 위한 추가 데이터로 사용함으로써, "실용적 경험주의"를 실천하는 것이다.

When clinicians act in this way they are engaging in an exercise of “pragmatic empiricism” (Atkinson 1984, p. 954), using symptom evolution and treatment responses as additional data to frame and reframe problems, and shifting management strategies based upon how a patient’s illness evolves under their care (Cristancho et al. 2013a, 2016). 


상황을 [구체적인 진단]이 아니라 [잘 정의되지 않은 문제]로 분류함으로써 즉각적인 조치(예: 맥박 산소측정기, 심장 모니터링)에 대한 초기 로드맵을 가질 수 있으며, 미래에 잠재적으로 필요한 조치를 계획하는 데 도움이 됩니다(예: 미리 인튜베이션 장비를 가져다둔다). 또한 임상의사가 상황을 더 잘 이해하기 위해 사용하는 임시 치료tentative treatment에 대한 프레임워크를 제공한다. 

Classifying the situation as an ill-defined problem rather than a specific diagnosis provides an initial roadmap for immediate actions (e.g., pulse oximetry, cardiac monitoring) and helps to plan for future potentially-necessary actions (e.g., bringing intubation equipment to the bedside; Zilbert et al. 2015a). It also provides a framework for tentative treatments, the response to which clinicians use to better understand a situation. 


따라서 이러한 형태의 불확실성에 대처하는 것은 익숙한 어두운 길을 걷는 것과 유사하다. 비록 문제를 정의하는 것은 어렵더라도, 여전히 나 자신의 전문 분야 내의 문제라는 인식을 갖는 것이다(Zilbert et al., 2015). 따라서 숙련된 임상의사는 이러한 [잘 정의되지 않은 문제]에 관여할 위험을 가정하고, 다양한 잠재적인 문제, 위험, 관리 경로 남아 있더라도, 스스로가 가진 skillset으로 이러한 복잡성을 안전하고 효과적으로 관리할 수 있을 것이다.

Engaging with this form of uncertainty is thus akin to walking down a familiar dark path: it involves the recognition that even if a problem definition remains elusive, it is a problem within one’s realm of expertise (Zilbert et al. 2015b). Skillful clinicians therefore assume the risks of engaging with these ill-defined problems, feeling comfortable that even if a multitude of potential problems, risks, and management paths remain possible, their skillset will enable them to manage these complexities safely and effectively in the absence of certainty.


불확실성에 대란 편안함을 촉진해주는 조건과 프로세스

Conditions and processes that facilitate comfort with uncertainty


여기에서 Koriat의 지각적 판단에 대한 이중 기본 관점은 특히 도움이 된다. 자신의 학습에 대한 개인의 판단을 설명하기 위해 개발된 이 모델은, 사람들은 [그들이 일련의 자료들을 배웠는지 아닌지를 판단하기 위해서] 다음의 두 가지에서 추출한 단서들을 사용한다는 것을 암시한다. 

    • 그 순간에 겪은 자신의 실제 경험(예: 과제를 수행할 때 나타나는 현재 주관적인 감정) 

    • 황에 대한 자신의 이론(예: 이전 경험의 발생으로부터 만들어진 가정에 기초한 기억의 작동 방법에 대한 그들의 믿음) 

Koriat’s dual-basis view of metacognitive judgments proved particularly generative. This model, developed to explain individuals’ judgments of their own learning (Koriat 1997), suggests that people use cues drawn from both 

    • their lived experience in the moment (e.g., their current subjective feelings that manifest when engaging in a task) 

    • and their theories about the situation (e.g., their beliefs about how memory works based on assumptions built from the accrual of previous experiences) 

...to make a judgment about whether or not they have learned a set of materials. 


Koriat의 경우, 

    • "경험 기반 큐"자료를 읽으면서 점차 편안해지는 것을 말하는데, 이는 자료를 읽는 순간의 유창함을 그 자료의 숙달로 해석하는 경우에 그러하다(Koriat 2005; Koriat et al., 1997). 

    • "이론 기반 큐"학습자료를 여러 번 읽으면 그것을 기억할 수 있다는 믿음에서 생겨나는데, 즉 어떤 자료를 여러 번 읽는다면, 그 자료를 반드시 알 것이라는 자신감을 가지게 된다.

For Koriat, 

    • an “experience-based cue”2 might be the ease with which the material is read, with individuals interpreting their reading fluency in the moment of reading as mastery of the material (Koriat 1997; Koriat et al. 2005). 

    • A “theory-based cue” might be drawn from the belief that reading the material multiple times enables one to remember it, such that if one has read the material several times, one feels increased confidence that one must know it (Koriat et al. 2005). 


불확실성에 대한 우리의 '불확실성에 대한 편안함'에 대한 문헌 검토는, 그러한 경험 기반 및 이론 기반 단서들이 불확실성에 직면한 상황에서 편안함에 대해 판단할 때에도 비슷하게 영향을 미칠 가능성이 있음을 시사한다.

Our review of the literature around ‘comfort with uncertainty,’ suggests that such experience-based and theory-based cues are likely to be similarly influential when making judgments about one’s comfort when facing uncertainty.


불확실성에 대한 편안함을 느끼게 해주는 경험 기반 단서

Experience‑based cues that influence feelings of comfort with uncertainty


경험 기반 단서현재의 임상추론 상황에 대한 개인의 내적 경험으로부터 직접 나타난다. 예를 들어, 인지심리학에 따르면 인식된 유창함perceived fluency(얼마나 쉽게 텍스트를 읽고 이해할 수 있는가)은 그 사람이 사람이 배우고자 하는 하는 새로운 자료를 얼마나 숙달했는지에 대한 하나의 guide로 사용된다. 마찬가지로, 의사들은 환자의 문제를 쉽게 듣고 생각할 수 있는지를 "그 상황을 얼마나 숙달하였는지에 대한 단서"로 사용하게 된다. 이는 (비록 최종단계end game에 대해 아직 확실하지 않더라도) '잘 진행되고 있군'와 '이렇게 될 것이라고 예상했어'와 같은 인식에 기반한다.(Cristancho et al. 2017; de Bruin et al. 2017) 

Experience-based cues come directly from an individual’s internal lived experience when engaging in a clinical reasoning situation in the moment. For example, the cognitive psychology suggests that perceived fluency (i.e., how easily one is able to read and understand a text) is used as a cue for the extent to which one has mastered new material that one is trying to learn (Begg et al. 1989; Rawson and Dunlosky 2002). In a similar way, clinicians likely use the ease with which they are able to listen to and think about patients’ problems as cues for the extent to which they have mastery of the situation, drawing on perceptions that ‘this is going well’ and ‘this is what I expected to happen’ (Cristancho et al. 2017; de Bruin et al. 2017), even if they are as yet uncertain of the end game.


광범위한 경험 축적, 자동화의 발달, 요약 프로세스은 이러한 유창성 인식을 결정하는 데 중요한 요소일 가능성이 있다(Reber and Greifener 2017). 경험이 축적되면, 다양한 가능성에 대해서 광범위한 타당한 설명 모델, 가능한 조치, 다수의 함의 등이 떠오를 가능성이 더 높으며, 이는 왜 노련한 임상의들이 불확실성에 직면하는 초심자보다 더 편안함을 느끼는지를 부분적으로 설명한다.

A broad set of accrued experiences, the development of automaticity, and processes of encapsulation are likely important factors in determining this perception of fluency (Reber and Greifeneder 2017). With accrued experience, a range of plausible explanatory models, possible actions, and implications of these various possibilities are more likely to arise, in part explaining why seasoned clinicians are likely to feel more comfortable than novices in the face of uncertainty.


이러한 경험 기반 단서는 모니터링이라는 construct로 표현된다.

these experience-based cues is represented under the construct of monitoring.


예를 들어, Moulton 등은 "자동성에 대한 경계attentive in automaticity"를 유지하는 과정을 기술하면서, 상황 인식과 메타 인식을 결합하였다. "자동성에 대한 경계"는 "전체 상황을 파악하고, 발생하는 상황을 때 모니터링하고, 대안적 가능성에 대해 결정이 내려져야 할지를 심사숙고하는" 방법이라고 말했다 (Dunphy and Williamson 2004, 페이지 108). 

Moulton and colleagues, for example, have described a process of remaining “attentive in automaticity”(Moulton et al. 2010b), combining situational awareness with meta-cognition as a means to “remain aware of the whole situation, to monitor events as they occur, [and] to reflect on alternative possibilities should a decision need to be made” (Dunphy and Williamson 2004, p. 108). 


마찬가지로, Eva와 Regehr는 [자신의 사실적 지식과 관련된 매 순간의] 자기 모니터링 과정을 "(자료를) 찾아봐야 할 때를 아는" 메커니즘이라고 설명했다. (Eva and Regehr 2007). 이러한 모니터링 및 자동성에 대한 경계를 유지한다는 아이디어는 편안함이 '경계의 부족'이나 '늘어진 상태'를 의미하지는 않는다는 것을 의미한다. 오히려 경계 없는 편안함은 "부주의한 자동성"과 유사하며, 조기 진단종료에 해당하는 것으로 간주될 수 있다(Croskerry 2003).

Similarly, Eva and Regehr have described a moment-by-moment self-monitoring process regarding one’s factual knowledge as a mechanism for “knowing when to look it up” (Eva and Regehr 2007). This idea of monitoring and staying attentive in automaticity suggests that comfort does not imply a ‘lack of vigilance’ or a ‘relaxed state.’ Rather, comfort without vigilance is akin to automaticity without attention, and might be considered the management equivalent of premature diagnostic closure (Croskerry 2003).


불확실성에 대한 편안함에 영향을 주는 이론 기반 단서

Theory-based cues that influence feelings of comfort with uncertainty


이론 기반 단서는 메타인지적 믿음의 deliberate한 적용에서 나온 것이다. 

Theory-based cues are those that come from the deliberate application of metacognitive beliefs (Koriat 1997). 


타 분야에서 전문성에 대한 연구에 따르면, 전문가는 추론된 경험을 가지고 상황을 신속하게 추측하며, 그리고나서 그 상황이 어떻게 진화해나갈 것인지에 대한 합리적 추론을 한다. 이러한 예측은 전문가들이 "주어진 상황에서 발생하는 모든 것을 관리할 수 있다"라는 편안함을 느끼게 해준다. 간단히 말해서, '편안함'에 대한 기론 기반 단서는 자신이 이론적으로 가능한 모든 시나리오에 대한 충분한 경험을 가지고 있고, 상황적 요구가 가용자원을 벗어나는 상황이 발생하는 것을 막을 수 있는 수준까지의 통제능력을 가지고 있다는 믿음이다.

Studies of experts in other fields suggest that they draw from accrued experiences to quickly surmise a situation (Chase and Simon 1973) and then attempt to make reasonable predictions for how a situation is likely to evolve (de Bruin et al. 2017; Ericsson et al. 2000; Ilgen and Brydges 2017; Koriat 1997). These predictions then contribute to experts feeling comfortable that they can manage whatever arises in a given situation. In short, the theory-based cue for ‘comfort’ is a belief that one has sufficient accrued experience with all of the reasonably probable scenarios, and the ability to control the situation in ways that will avoid instances where evolving situational needs will likely outstrip the resources available.


불확실성의 순간에 임상의사는 이러한 형태의 전향적 계획forward planning에 참여하고, 이 때 의사는 다양한 관리 계획 및 잠재적으로 발생할 수 있는 결과를 고려합니다(Moulton et al. 2010c). '올바른 진단'이 최고의 능력이 되는 의사결정 분석과는 대조적으로(Friedman et al. 2005), [잘 정의되지 않은 문제에서 발생하는 불확실성의 순간]에서의 전향적 계획forward planning은 대신 유사한 문제에 대해서 가지고 있는 축적된 경험에서 얻은 지식을 활용하여, 충분히 가능성이 있는 다양한 잠재적 사건을 예측한다.

Clinicians engage in these forms of forward planning in moments of uncertainty by considering a range of management plans and potential outcomes that might result (Moulton et al. 2010c). In contrast to decision-making analyses, where ‘getting the diagnosis right’ is tantamount to high performance (Friedman et al. 2005), forward planning in moments of uncertainty arising from an ill-defined problem instead employs knowledge from accrued experiences with similar problems to predict various potential events that are sufficiently probable. 


전문성과 함께 향상되는 "예측 능력"은 기술이나 인력과 같은 자원을 선제적으로 배치할 수 있게 해준다(Novick et al. 2015). 이 자원은 특정 치료 상황에서 어떤 사건이 임상의사의 능력을 초과하는 상황으로 이어질 가능성이 높아질 위험을 최소화한다(LeBlanc et al. 2015; Zilbert et al. 2015a, b). 따라서 자원을 적절히 배치함으로써 임상의는 편안히 앞으로 나아갈 수 있다. 

The ability to anticipate, which tends to arise with expertise (Ericsson et al. 2000), allows one to preemptively put resources such as technology or personnel in place (Novick et al. 2015). These resources minimize the risk of reasonably probable events that would lead to situations that exceed a clinician’s abilities given their particular treatment context (LeBlanc et al. 2015; Zilbert et al. 2015a, b). Putting these resources in place, therefore, allows clinicians to move forward with comfort. 


반대로, 불편함은 임상의사가 상상해본 가능한 시나리오가 자신의 지식이나 기술을 넘어선다고 있다고 인지하거나, 기대되는 문제가 가용자원을 초과하는 경우에 발생한다. 이러한 감정은 궁극적으로 

    • 의료전문가가 도움을 요청할 것인지의 여부, 

    • 문제의 모호성을 줄여나갈 수 있는 방법을 탐색할지 여부(Eva 및 Regehr 2007), 

    • 자신과는 다른 스킬이나 자원을 가진 동료에게 문제를 triage할지 여부 등을 고려하게 한다.

Discomfort occurs, in contrast, when clinicians can imagine likely scenarios that they perceive to be outside of their knowledge or skills, or if the anticipated problems outstrip the available resources (LeBlanc et al. 2015). This sentiment may ultimately prompt clinicians to consider whether they ask for help (Jin et al. 2012; Novick et al. 2015), look for ways to further disambiguate a problem (Eva and Regehr 2007), or triage the problem to colleagues with different skillsets or resources (Zilbert et al. 2015b).



'불확실성에 대한 편안함'을 둘러싼 사회적 복잡성

Social complexities around ‘comfort with uncertainty’


전문의가 '불확실함을 동반한 위안'이라는 감정에 영향을 미칠 수 있는 인지적 요소를 우선적으로 고려해보았지만, 사회적, 사회적 감정적 단서 또한 역할을 할 가능성이 높다. 위험에 대한 내성, 부작용에 대한 반응, 동료에 대한 취약성 등과 같은 지역 특이적 혹은 분야 특이적 문화는 모두 어떤 의사가 독립적으로 문제를 관리함에 있어 느끼는 편안함에 영향을 미칠 가능성이 높다(진 외, 2012년, 케네디 외, 2009년). 이는 특히 환자나 동료가 서로의 행동이나 행동하지 않음을action or inaction 후향적으로 판단할 때 그러하다(Lung et al. 2012; Novick et al. 2015). 마찬가지로, 어떤 의사가 의료행위를 하는 의료시스템이 설계된 방식 역시 가용한 외부 자원(예: 다른 임상의사의 백업을 쉽게 받을 수 있거나 검사를 쉽게 이용할 수 있는 것)을 결정할 뿐만 아니라, 한 의사가 관리해야 하는 외부 압력에도 영향을 미친다.

—(Plebani 1999)

While we have prioritized consideration of cognitive factors that are likely to influence skillful practitioners’ feelings of ‘comfort with uncertainty,’ it is likely that social and social-emotional cues will also play a role. Local and discipline-specific cultures around risk tolerance, reactions to adverse events, and vulnerability to peers are all likely to impact clinicians’ comfort with managing problems independently (Jin et al. 2012; Kennedy et al. 2009b; Luu et al. 2012; Novick et al. 2015), particularly when considering how patients or colleagues retrospectively judge each other’s actions or inactions (Leung et al. 2012; Novick et al. 2015). Similarly, the design of the health system in which one works will determine the external resources that clinicians have available—such as when backup from another clinician is easily accessible (Williams et al. 2007) or when tests are more readily available (Plebani 1999)—as well as the external pressures they are managing (Cristancho et al. 2013b).


고찰

Discussion


환자 문제가 잘못 정의되거나 불완전하게 개념화된 환경에서 작업할 때(즉, 문제의 원인이 불확실한 경우), 임상의는 문제에 대한 행동 지향적 분류와 "실질적 경험주의" (Atkinson 1984, 페이지 954)를 이용하여 관리 접근 방식을 시작한다. 그런 다음 이러한 접근 방식을 지속적 미래계획ongoing forward planning 및 집중적인 모니터링과 연계하여, 당면한 상황을 명확히 하고 재개념화합니다.

When working within settings where patients’ problems are ill-defined or incompletely conceptualized (i.e., where the cause of the problem is uncertain), clinicians harness action-oriented categorizations of problems and “pragmatic empiricism” (Atkinson 1984, p. 954) to get started with their management approaches, then couple these approaches with ongoing forward planning and intensive monitoring to clarify and re-conceptualize the situation at hand.


불확실성이란 무릇 Working hypothesis에 대한 지속적인 회의감의 촉매 역할을 하기 때문에, 불확실성을 유지하는 와중에 편안함을 갖는 것은 중요하다. 편안함을 갖기 위해서는 임시적 가설들이 지속적으로 수정될 것이라는 예상을 하고 있어야 한다. 불확실성을 유지하고 있는 것은 의사로 하여금 [충분히 가능성이 있는 문제를 둘러싼 위험]을 최소화하기 위해 자원을 투입하도록 촉발한다.

Becoming comfortable in maintaining uncertainty in these settings is important because uncertainty serves as a catalyst for ongoing skepticism about working hypotheses, thereby setting an expectation that these tentative hypotheses will be continually revised. Remaining uncertain additionally triggers clinicians to put resources in place to minimize risk around problems that remain sufficiently possible.


교육자에 대한 함의

Implications for educators


우리는 '불확실성에 대한 편안함'이라는 이 탐험에서 비롯되는 세 가지 예비 교육적 의미를 제공한다. 

We offer three preliminary educational implications that follow from this exploration of ‘comfort with uncertainty.’ 


첫째, '정보에 기반한 추측informed speculation'이라는 개념적 공간에 존재하려면 임상의사는 환자의 문제를 정의, 접근 및 관리하는 방법에 대해 의도적으로 반복적이고 유연한 구조를 채택해야 한다. 그러므로 학생들을 '불확실성에 대한 편안함'을 가능하게 하는 마음가짐을 갖도록 하기 위해서는, 교육자들이 먼저 임상 지식이라는 것이 "앎"과 "모름"이라는 2진법 형식으로 존재한다는 생각을 버려야 한다. 

First, to exist in this conceptual space of ‘informed speculation’ clinicians must adopt a deliberatively iterative and flexible construction of how patients’ problems are defined, approached, and managed. To get students into a mindset where ‘comfort with uncertainty’ is possible thus requires educators to first disabuse their trainees of the notion that clinical knowledge exists in a binary format of ‘knowing’ and ‘not knowing’ (Ilgen et al. 2016). 


우리는 현재와 같이 [진단을 중심으로 임상적 추론을 가르치는] 방식은 학습자가 당면한 challenge에 기여할 수 있다고 믿는다(Bordage and Lemieux 1991; Bowen 2006). 이러한 모델은 암묵적으로 '모름'의 상태에서는 행동을 할 수 없으며, '앎'은 어떤 행동을 해나감에 있어서 '확고한 신념'의 면허를 준다고 말한다.

We believe that widely-used formulations for teaching clinical reasoning that are centered around diagnosis may contribute to learners’ challenges (Bordage and Lemieux 1991; Bowen 2006). These models implicitly suggest that ‘not knowing’ precludes taking action, while ‘knowing’ provides license for unwavering certitude when moving forward. 


우리의 교육 모델을 '불확실성에 대한 편안함'을 강조하는 방식으로 바꿈으로써, 학생들에게 숙련된 임상의는 

    • 문제-정의와 문제-해결을 병행하여 사용하며

    • 가능한 진단을 단지 행동을 용이하게 하는 임시적 개념적 프레임워크로 대할 뿐이고 

    • 조치에 따라 확인된 반응을 환자의 문제에 대한 이해를 더욱 명확히 하기 위한 수단으로 사용한다

...는 것을 가르칠 수 있다(Cristancho et al. 2017). 

Shifting our instructional models towards an emphasis on ‘comfort with uncertainty’ would instead teach students that skillful clinicians use problem-definition and problem-solving in parallel (Cristancho et al. 2017), treating possible diagnoses as merely provisional conceptual frameworks that facilitate action, and using responses to these actions as a means to further clarify their understanding of their patients’ problems.


둘째, '편안함'과 '불편함'이라는 용어를 사용함으로써 trainee에게 "무엇이 해도 안전한 것인가"에 대한 한계를 찾아내는 데 도움을 주고, 또한 forward planning과 모니터링을 통해 안전이 촉진될 것이라는 점을 보다 잘 이해하게 해줄 것이다. 교육자는 [(만약 고위험 사건이 발생할 것으로 예상되는 경우) trainee로 하여금 필요한 리소스를 사전에 고려하도록 유도함으로써] forward planning skills를 강화할 수 있습니다. 또한 Koriat가 말한 바와 같이, 교육자들은 훈련생들이 단서를 모니터링하도록 권장할 수 있다. 그러한 단서는 그들이 '옳은 경로on track' 있다는 신호이거나, 또는 현재 조건이 통제 및 관리할 수 없는 위험한 지역으로 방향을 틀고 있다는 신호일 수 있다(Moulton et al. 2010b).

Second, we believe our treatment of the terms ‘comfort’ and ‘discomfort’ can help trainees better identify the limits of what is safe to do (Kennedy et al. 2009a, b; Novick et al. 2015; Stewart 2008), and better understand that safety will be facilitated by forward planning and monitoring. Educators can reinforce forward planning skills by prompting trainees to preemptively consider the resources they may need if any number of anticipated high-risk events were to take place (e.g. “what will we do if X happens?”; Moulton et al. 2010a). Further, consistent with Koriat’s work (Koriat 1997; Koriat et al. 2005), educators can encourage trainees to monitor for cues that might signal that they are ‘on track’ or that they are veering into dangerous territory where conditions are beyond their abilities to control or manage (Moulton et al. 2010b).


마지막으로, 우리는 임상 강사들이 불확실한 상황에서 그들 자신의 '편안함'의 토대에 대해 숙고하도록 권한다. Koriat이 주장하듯이, '편안함'과 같은 단서는 [어떻게 축적된 경험과 그 경험에 대한 신념이 의사가 행동을 취하게끔 준비시키는지]에 의해 생성된다. (Koriat 1997; Koriat et al. 2005). 그러므로 이러한 '편안함'을 교육자가 느낀다고 해서, 훈련생도 같은 방식으로 느껴야 함을 의미하지는 않는다. Trainee의 경우에는 [사전에 유사한 문제에 노출된 경험이 제한적이기 때문에(따라서 forward planning이 제한적이고), 가능한 후속 시나리오를 상상하는 훈련자의 능력이 떨어질 수 있다. 또한 초심자는 자동성이 부족하고 비축된 주의력이 제한적이어서 자기모니터 능력이 떨어질 가능성이 있다(Moulton et al. 2010b). 

Lastly, we would encourage clinical preceptors to reflect upon the underpinnings of their own ‘comfort’ in uncertain situations. As Koriat argues, cues such as ‘comfort’ are enabled by the rich accrual of experiences and beliefs about how these experiences prepare clinicians to take action (Koriat 1997; Koriat et al. 2005). So, just because this impulse is triggered in a preceptor does not mean that a trainee should feel the same way. Trainees’ abilities to imagine the multitude of possible downstream scenarios are limited given their lack of prior exposure to similar problems (thus restricting forward planning) and novices’ lack of automaticity and limited attentional reserves are likely to impair their abilities to self-monitor (Moulton et al. 2010b). 


종합해 보면, 학습자의 '불확실성에 대한 불안함(이는 망설임과 같은 형태로 드러난다)'이란 것은 수련단계에서는 발달적으로 적절한 반응이기 때문에, 슈퍼바이저들이 훈련생과 'out of sync'를 느끼는 것은 전혀 놀랄 일이 아니다. 학생들에게 불확실성을 '인내tolerate'하도록 권장하는 교육 프로그램(Cook et al. 2017)은 

    • 자기 모니터링의 중요성을 강조하지 않고, 

    • 경계하지 않을 것을 장려하고, 

    • trainee로 하여금 행동을 하려면 "확실한 진단"이 필요하다고 생각하는 모델에 의지하게 한다. 

이러한 교육은 잘 정의되지 않은 문제에 대해서 premature closure에 빠뜨릴 위험이 있으며, 전혀 환자중심적이지 않게 과도한 검사over-testing를 하게 만들 위험이 있다. 

Taken together, it is not at all surprising that super visors frequently feel ‘out of sync’ with their trainees (Moulton et al. 2010a) as learners’ ‘discomfort with uncertainty’—manifested as behaviors such as hesitation (Ott et al. 2018)—is a developmentally appropriate response for their stage of training. Educational programs that encourage students to generically ‘tolerate’ uncertainty (Cooke et al. 2017)deemphasize the importance of self-monitoring, encourage a lack of vigilance, or prompt trainees to fall back into models where diagnostic certainty is necessary for action (Ilgen et al. 2016). These pitfalls risk premature closure around problems that are still ill-defined and risk over-testing in ways that are not patient-centered. 


대신, 관리자들에게 이러한 'out of sync' 상황을 중요한 학습 기회로 사용하도록 권장합니다. '불확실성에 대한 편안함'라는 틀 안에서 일하는 것은 감독자와 훈련생으로 하여금 [환자에게 위험을 초래하는 다운스트림 사건에 대해 함께 추측하게 해주고(앞으로 계획하는 기술 강화)], 동시에 이러한 설정에서 진행 상황을 지속적으로 모니터링하면서 안전하게 앞으로 이동할 수 있는 구체적인 조치를 고려하게 해준다..

Instead, we would encourage supervisors to use these ‘out of sync’ instances as critical opportunities for learning. Working within a framework of ‘comfort with uncertainty’ allows supervisors and trainees to instead speculate together about the possible downstream events that pose risk to their patients (thereby enriching skills in forward planning), while concurrently considering the specific actions that allow them to move forward safely while continually monitoring their progress in these settings.


연구를 위한 함의

Implications


기존 연구는 이미 수련을 마친 임상의사가 자신의 기술skillset과 잘못 일치할 가능성이 있는 문제를 어떻게 선제적으로 회피하는지 검토하였다(Zilbert et al. 2015a, b). 그러나 임상의사에가 매 순간마다 편안함이란 것에 대한 판단을 어떻게 내리고, 그것을 기반으로 어떻게 행동하며, 언제 편안함의 한계에 다다르는지는 잘 알려져있지 않다. Koriat의 메타인지적 판단에 대한 dual-basis view은 임상의사가 현재 사용하는 단서 유형을 분류하기 위한 발판을 제공할 수 있다(Koriat 1997; Koriat et al 2005). 그리고 그 단서들은 [궁극적으로 이러한 단서들이 바람직한 결과에 대한 예측 가능한지 여부를 설명하기 위한 수단으로서] 다운스트림 사건과 연계될 수 있다(Deb Bruin et al. 2017).

Existing research examines how established clinicians preemptively steer clear of problems that are likely to misalign with their skillset (Zilbert et al. 2015a, b), but there has been less work directed toward understanding how clinicians’ moment-to-moment appraisals of comfort are both enacted and acted upon, as well as when they reach the limits of their comfort. Koriat’s dual-basis view of metacognitive judgments may provide helpful scaffolding to categorize the types of cues that clinicians use in the moment (Koriat 1997; Koriat et al. 2005), and these can ultimately be linked to downstream events as a means to illustrate whether or not these cues are predictive for desired outcomes (de Bruin et al. 2017).


또한 의료전문가가 불확실성을 효과적으로 관리하는 방법에 대한 연구를 보완하기 위해 

  • 초심자에 의해 어떻게 개념화되었는지 

  • 그게 어떻게 그들의 살아 있는 경험과 일치하는지. 

  • 학습자가 연습 자체를 배우는 동안 연습 영역의 가장자리edge를 어떻게 정의합니까? 

  • 초보자용 안전 구역의 가장자리는 다른 감독자와 다른 환경에서 작업하는 맥락에서 어떻게 경험할 수 있는가? 

  • 불편함을 경험하는 것이 연습의 제한 또는 학습의 기회로 간주되는가? 

  • 그러한 인식은 교육 프로그램과 임상 교훈으로부터 그들이 받는 암묵적 메시지로부터 파생된 것인가?

Further, as a supplement to research exploring how clinicians manage uncertainty effectively, there is need for an exploration of 

  • how this framework is conceptualized by novices, 

  • and how it aligns with their lived experiences. 

  • How do learners define the edges of their zones of practice while still learning the practice itself? 

  • How are the edges of a novice’s comfort zone experienced in the context of working with different supervisors and in different settings? 

  • Are lived experiences of discomfort viewed as limitations of practice or opportunities for learning? 

  • Are such perceptions derived from the implicit messages they receive from their training programs and clinical preceptors?

불확실성이나 불편한 순간에 어떻게 초심자가 반응하는지가 entrustable practice and learning에 관여하는 정도, 또는 환자 안전을 해칠 수 있는 방식으로 감정을 숨기는 것을 결정할 것이다.

How novices respond in moments of uncertainty or moments of discomfort will determine the extent to which they engage in entrustable practice and learning (Ten Cate et al. 2016) or hide their feelings in a manner that could compromise patient safety (Moulton et al. 2010a).


마지막으로, 편안함과 불편함이 불확실성 관리를 안내하는 전체적인 인지 체계를 반영하는 경우, 

  • 학습자가 '과도한 자신감'을 느낀다는 것은 무엇을 의미합니까? 

  • 슈퍼바이저들은 어떻게 이러한 속성을 파악하는가? 

과거 연구에서, 과도한 자신감과 부족한 자신감의 정의는 전문가 합의나 병리 결과나 부검 결과에 얼마나 잘 맞았는지를 후향적으로 봄으로써 결정하였다.

Finally, if comfort and discomfort reflect holistic cognitive frameworks that guide the management of uncertainty, 

  • what does it mean for learners to be ‘overconfident,’ and 

  • how do supervisors identify these attributes in trainees? 

In past work, definitions of over- and under-confidence were based upon retrospective alignment or misalignment with measures of diagnostic accuracy as determined by expert consensus (Friedman et  al.  2005; Potchen 2006), pathology results (Dreiseitl and Binder 2005), or autopsy findings (Landefeld et al. 1988). 


우리가 '옳은 진단을 내리는 것'에서 벗어나서 '진료 계획에 대한 다양한 대응에 참여하고 예상하면서 합리적인 다음 단계를 밟는 것'이라는 목표로 변화해간다면, 자신감에 대한 정의도 바뀔 것이다. 따라서 훈련생들의 '편안함'의 뿌리를 발견하는 것은 교직원들이 훈련생들이 불확실한 상황에서 '과도하게 자신감을 갖는다'하다고 말할 때 의미하는 바를 더 자세히 설명하는 데 도움이 될 수 있다. 이를 통해 교육자들이 불확실한 상황에서 학생이 보이는 "카우보이" (위험 감수형) 또는 지나치게 "소심이"(위험-불내형) 같은 행동을 이해하도록 도와줄 것이다.

Our definition of confidence is likely to change if we move away from a goal of ‘getting a diagnosis right’ towards ‘taking a reasonable next step while attending to and anticipating varied responses to management plans.’ Thus, unearthing the roots of trainees’ ‘comfort’ might help to further elaborate what faculty members mean when they say trainees are ‘over-confident’ in uncertain settings. This will help us understand the behaviors that give supervisors the perception that trainees are acting as “cowboys” (taking undue risk) or being overly “timid” (risk-intolerant) in settings of uncertainty (Cassell 1991; Zilbert et al. 2015b).


결론

Conclusion


'불확실성에 대한 편안함'은 임상의사가 [문제의 근본 원인에 대한 이해를 완전히 신뢰할 수 없는 상태]에서 [문제에 대해 조치를 취할 수 있는(또는 기다리고 관찰하는) 상황]를 설명한다.

‘Comfort with uncertainty’ describes instances where clinicians have the confidence to act on a problem (or wait and observe) while lacking full confidence in their understanding of the underlying cause of the issue.


Cristancho, S., Lingard, L., Forbes, T., Ott, M., & N of ‘problem de nition’ in complex clinical judgement


de Bruin, A., Dunlosky, J., & Cavalcanti, R. (2017). cation: The need for predictive cues. Medical Education, 51, 575–


Ilgen, J. S., & Brydges, R. (2017). Cues for self-regulation: it’s difficult to make predictions, especially about the future. Medical Education, 51, 566–568.


White, G., & Williams, S. (2017). The certainty of uncertainty: Can we teach a constructive response? Medical Education, 51, 1200–1202.



 2018 Nov 2. doi: 10.1007/s10459-018-9859-5. [Epub ahead of print]

Comfort with uncertaintyreframing our conceptions of how clinicians navigate complex clinicalsituations.

Author information

1
Department of Emergency Medicine and Center for Leadership and Innovation in Medical Education, University of Washington School of Medicine, Seattle, WA, USA. ilgen@uw.edu.
2
Department of Medicine and Centre for Health Education Scholarship, University of British Columbia, Vancouver, BC, Canada.
3
Department of Educational Development and Research, School of Health Professions Education, Maastricht University, Maastricht, The Netherlands.
4
Department of Medicine and Office of Applied Scholarship and Education Science, Mayo Clinic College of Medicine and Science, Rochester, MN, USA.
5
Department of Surgery and Centre for Health Education Scholarship, University of British Columbia, Vancouver, BC, Canada.

Abstract

Learning to take safe and effective action in complex settings rife with uncertainty is essential for patient safety and quality care. Doing so is not easy for trainees, as they often consider certainty to be a necessary precursor for action and subsequently struggle in these settings. Understanding how skillful clinicians work comfortably when uncertain, therefore, offers an important opportunity to facilitate trainees' clinicalreasoning development. This critical review aims to define and elaborate the concept of 'comfort with uncertainty' in clinical settings by juxtaposing a variety of frameworks and theories in ways that generate more deliberate ways of thinking about, and researching, this phenomenon. We used Google Scholar to identify theoretical concepts and findings relevant to the topics of 'uncertainty,' 'ambiguity,' 'comfort,' and 'confidence,' and then used preliminary findings to pursue parallel searches within the social cognition, cognition, sociology, sociocultural, philosophy of medicine, and medical education literatures. We treat uncertainty as representing the lived experience of individuals, reflecting the lack of confidence one feels that he/she has an incomplete mental representation of a particular problem. Comfort, in contrast, references confidence in one's capabilities to act (or not act) in a safe and effective manner given the situation. Clinicians' 'comfort with uncertainty' is informed by a variety of perceptual, emotional, and situational cues, and is enabled through a combination of self-monitoring and forward planning. Potential implications of using 'comfort with uncertainty' as a framework for educational and research programs are explored.

KEYWORDS:

Ambiguity; Clinical reasoning; Comfort; Complexity; Expertise; Medical decision-making; Uncertainty

PMID:
 
30390181
 
DOI:
 
10.1007/s10459-018-9859-5


성과(역량)바탕교육: 근원, 이론적 토대, 실증적 근거 (Adv in Health Sci Educ, 2012)

Outcome (competency) based education: an exploration of its origins, theoretical basis, and empirical evidence

Anne Mette Morcke • Tim Dornan • Berit Eika

 

 

 

도입

Introduction

 

성과 기반 교육 및 역량 기반 교육이라는 용어는 교육 모델을 기술하는 용어로서, 디테일에 있어서는 차이가 있을지 몰라도, 의학교육이 사전 결정된 성과에 의해 주도되어야 한다는 가정을 공유한다. OBE가 학부 의학교육에 10여 년 전에 도입된 이후, 이 접근법은 국제적으로 채택되어 현재 널리 사용되고 있다.

The terms outcome based education and competency based education describe educational models, which differ in detail but share the assumption that medical education should be guided by predetermined outcomes. Since the introduction of OBE to undergraduate medical education more than a decade ago, the approach has been adopted internationally and is now widely used.

 

그러나 모든 저자가 OBE가 의학 교육의 미래를 위한 포괄적인 해결책을 제공한다고 확신한 것은 아니다. 예를 들어, Norman(2006)은 "교육, 학습, 퍼포먼스 성과 사이의 연관성이 얼마나 강한가?"라고 질문했다. Malone과 Supri(2012)는 40년의 경험을 통해 OBE의 무분별한 적용은 의도한 목적을 달성하지 못할 수 있음을 시사했다. 페르난데스 외 연구진(2012)은 '역량'이라는 용어가 단순해 보이지만, 실제로는 상당히 다른 방식으로 해석되었음을 입증했다.

Not every author has been convinced, however, that OBE provides a comprehensive solution for the future of medical education. Norman (2006), for example, asked ‘‘How strong is the link between teaching, learning, and performance outcomes?’’ Malone and Supri (2012) wrote that experience from 40 years’ suggests that the uncritical application of OBE to medical curricula may not achieve the intended aims. Fernandez et al. (2012) demonstrated that the deceptively simple term‘competency’ has been interpreted in importantly different ways

 

OBE의 진화 과정에서 역사적 랜드마크에 대한 고찰

Review of historical landmarks in the evolution of OBE

 

옹호와 비평의 첫 번째 사이클 - 1960년대와 1980년대

The first cycle of advocacy and critique—the 1960s through to the 1980s

 

1957년, 소련은 첫 번째 인공위성인 스푸트니크 1호를 지구 궤도를 향해 발사했다. 미국이 우주 경쟁에서 뒤쳐졌다는 것을 깨닫는 것은 미국 사회를 통해 충격파를 보냈고, 미국 사회는 이 실패에 대해 교육 시스템이 책임지게 했다. 그 결과, 교육에 많은 돈이 투입되었고 교육과 훈련에 대한 연방 정부의 적극적인 개입이 있었다. 이어지는 토론과 연구는 OBE의 개발과 학교 및 교사 훈련에서의 OBE의 실행을 촉발시켰다. 초기 OBE의 이론적 방향은 Watson, Pavlov, Thorndike, Skinner와 같은 실험 심리학자의 작품에서 나타난 행동주의로 대변되는 것이었다.

In 1957, the Soviet Union launched the first satellite—Sputnik I—into orbit around the Earth. Realisation that the USA had fallen behind in the space race sent shock waves through American society, which held its educational system accountable for this failure (Hodge 2007). As a result, large sums of money were directed into education and there was vigorous federal intervention in education and training. The ensuing debate and research ignited the development of OBE and its implementation in schools and teacher training. The theoretical orientation of early OBE was towards behaviourism as represented in the works of experimental psychologists like Watson, Pavlov, Thorndike, and Skinner, whose legacy was a focus on observable behaviours.

 

교육목표를 강조하는 기본적인 생각은 타일러에 의해 1949년에 최종적인definitive 형태로 주어졌다. 그는 커리큘럼 설계는 [학습이 학생들의 행동에서 발생시켜야 하는 변화]의 측면에서 표현된 명확한 목표에 의해 결정되어야 한다고 주장했다. Tyler의 전 PhD 학생인 Bloom이 그 뒤를 이었다. Bloom은 인지 영역에서 교육목표의 분류 체계를 발전시켰다. (Bloom 1956). 그는 그들을 지식, 기술, 그리고 태도로 분류했고 그들이 소통가능해야 한다고 강조했다. 1970년대 초에 있었던 OBE를 향한 최초의 지지의 물결은 마거의 교육적 목표(Mager 1997), 블룸의 mastery learning에 대한 지지(Bloom 1968), 그리고 가네의 instructional design 등에 의해 대두된 것으로 보인다.

The basic idea of emphasizing educational objectives had been given its definitive form by Tyler as early as 1949 (Tyler 1949). He argued that curriculum design should be determined by explicit objectives expressed in terms of changes the learning was supposed to produce in the behaviour of students. Tyler was followed by Bloom (Tyler’s former PhD student), who developed a taxonomy of educational goals in the cognitive domain (Bloom 1956). He classified them into knowledge, skills, and attitudes, and stressed that they should be communicable. It seems that the first wave of advocacy OBE came to a head in the early 1970s with Mager’s instructional objectives (Mager 1997), Bloom’s endorsement of mastery learning (Bloom 1968), and Gagne´’s work on instructional design (Gagne´ and Briggs 1974).

 

1970년대 중반, OBE에 대한 분위기는 행동적 목표 커리큘럼 모델에 비판적으로 돌아섰다. Stenhouse는 매우 영향력 있는 비평가로서, 커리큘럼을 조직하는 유일한 방법은 학생 행동의 측정 가능한 변화 측면에서 결과를 미리 구체화하는 것이라는 견해를 거부했습니다. 사실적 지식과 간단한 기술에 관한 목표를 배우는 것은 좋은 말이지만, [가치, 통찰력, 판단력 개발에 영향을 주기 위한] 교육 프로세스가 행동 목표에만 엄격하게 초점을 맞춘 커리큘럼 모델로 단순화subsume될 수 없다고 그는 주장했다.

By the mid-1970s, the tide was turning against the behavioural objectives curriculum model. Stenhouse was a very influential critic, who rejected the view that the only way to organise a curriculum was to pre-specify outcomes in terms of measurable changes in student behaviour (Stenhouse 1975). Whilst learning objectives concerning factual knowledge and simple skills made good sense, he argued that educational processes, which influenced the development of values, insight, and judgement, could not be subsumed into a curriculum model that focused strictly on behavioural objectives.

 

학생들이 경험으로부터 정서적으로, 사회적으로, 문화적으로, 미적으로, 또는 윤리적으로 학습한다고 본다면, 목표를 명시하거나 객관적으로 평가하는 것은 불가능한 것이지만, 그렇다고 해서 이러한 학습이 중요하지 않다는 것을 의미하지는 않았다. Stenhouse(1975년)는 산출물이나 성과를 측정하는 것보다 학생들의 학습을 최적화하는 것을 더 강조하였고, 훈련training대비되는 의미로, 교육education(문학적으로, 단어의 라틴어 기원으로부터, 학생들에게서 배우는 것을 이끌어내기)을 강조했다.

When students learned affectively, socially, culturally, aesthetically, or ethically from experience, it was not possible to specify goals or assess them objectively but that did not mean such types of learning were unimportant. By placing more emphasis on optimising students’ learning than on measuring outputs or outcomes, Stenhouse (1975) was emphasising education (literally, from the Latin origins of the word, drawing learning out from students) as opposed to training (putting intended learning outcomes into students).

 

OBE의 부활은 1980년대에 시작되었는데, 이것은 어떠한 새로운 이론적인 통찰에 기초하지 않았으며, 초기 역량 운동의 행동주의 원칙에 밀접하게 따랐. 특히 영향(태도, 감정 및 가치)에 관해서는 더 제한적이었다restrictive. Spady (1994, 페이지 55–60)는 affects의 중요성을 인정하면서도, 그 자체로는 성과가 아니며, 성과의 전제조건이라고 간주했다. 그는 affects를 '목적'이라고 불렀으며, 이것은 '성과'와는 구분되는데, 왜냐하면 affects는 직접 관찰할 수 없고, 따라서 결과 기반 커리큘럼의 사양specification에 포함될 수 없기 때문이다. 따라서 새로이 부활한 OBE는 학습 성과로서 affects를 배제하였다.

A revival of OBE began in the 1980s (Spady 1988, 1994), which was not based on any new theoretical insights and adhered closely to the behaviourist principles of the earlier competency movement. It was in some respects more restrictive, particularly regarding affects (attitudes, emotions, and values). Spady (1994, pp 55–60) acknowledged their importance but regarded them as preconditions for outcomes rather than outcomes in themselves. He called affects ‘goals’, which he distinguished from ‘outcomes’ because they were not directly observable and could not, therefore, be included in the specification of an outcome-based curriculum (Spady 1988, 1994, p55 et seq). So, the revival of OBE specifically excluded affects as learning outcomes.

 

두 번째 옹호 단계—20세기 말

Second phase of advocacy—the end of the twentieth century

 

주로 스파디로부터 영감을 받은 하덴 외 연구진(1999)은 OBE를 "의료 교육을 개혁하고 관리하는 강력하고 매력적인 방법을 제공하는 커리큘럼 개발의 최첨단 성과 기반 접근법"라 칭하는 보고서를 발행했다. 알바니아 등 (2008)에 따르면 1999년은 "역량 운동의 진화에서 pivotal한 해"였는데, 이는 비단 하덴과 동료의 지지 때문만은 아니었다. 다른 두 가지 중요한 이벤트가 발생했습니다. 

    • AAMC(American Medical Colleges Association)의 의과대학 목표 프로젝트(MSOP)는 역량 기반 교육을 옹호하는 보고서를 작성했습니다.  
    • 또한 대학원 의학 교육 인증 위원회(ACGME)와 미국 의학 전문 위원회(American Council of Medical Specialties)는 6개의 인증 능력에 대해 공동으로 합의했습니다. 
    • 불과 1년 전만 해도 국제적으로 널리 퍼져나간 CanMEDS 역량 프레임워크의 개발을 촉발한 Educating Future Physicians for Ontario Project도 발표되었다(Neufeld et al. 1998).

Inspired primarily by Spady, Harden et al. (1999) published a report describing OBE as ‘‘a performance-based approach at the cutting edge of curriculum development (that) offers a powerful and appealing way of reforming and managing medical education’’ 1999 was, according to Albanese et al. (2008), ‘‘pivotal in the evolution of the competency movement’’ and not just because of the advocacy of Harden and colleagues. Two other important events took place: the Medical School Objectives Project (MSOP) of the Association of American Medical Colleges (AAMC) produced a report advocating competency based education; and the Accreditation Council for Graduate Medical Education (ACGME) and the American Board of Medical Specialties jointly agreed on six competencies for certification. Only 1 year previously, the groundbreaking Educating Future Physicians for Ontario Project that sparked the development of the internationally widespread CanMEDS competency framework had also been published (Neufeld et al. 1998).

 

하덴과 동료들은 OBE가 교육 과정보다는 '어떤 유형의 의사를 길러야 하는가'를 강조했기 때문에 의학 교육에 대한 선견지명이 있는 새로운 접근 방식이었다고 썼다(Harden et al. 1999). 커리큘럼 내용 및 구조, 교육 및 학습 활동, 교육 환경, 평가 및 프로그램 평가는 모호하지 않은 outcome specification으로부터 논리적으로 도출되었다. Harden et al. (1999)의 말에서, "OBE는 두 가지를 갖추어야 한다. 먼저 학습 성과를 식별하고, 명시하고, 모든 관련자에게 전달해야 한다. 둘째, 교육과정에 관한 결정에서 교육 성과가 가장 중요한 이슈가 되어야 합니다."

Harden and colleagues wrote that OBE was a visionary new approach to medical education because it emphasised the type of doctor produced rather than the process of education (Harden et al. 1999). Curriculum content and structure, teaching and learning activities, educational environments, assessments, and programme evaluation followed logically from an unambiguous outcome specification. In the words of Harden et al. (1999): ‘‘OBE has two requirements. First that the learning outcomes are identified, made explicit and communicated to all concerned (…). Second, the educational outcomes should be the overriding issue in decisions about the curriculum.’’

 

비판에 뒤따른 OBE의 도입-새로운 세기로

Implementation of OBE followed by critique—into the new millennium

 

새 천년의 첫 10년 동안의 보고서와 출판물은 OBE의 첫 번째 요구사항을 충족하고 학습 성과를 정의하는 것이 가능하다는 것을 보여주었다. 예를 들어 스코트랜드 교육과정 그룹은 12개의 주요 결과 영역을 정의했는데, 이 영역은 86개의 학습 성과로 세분화되어 개별 학교는 커리큘럼의 필요에 따라 이러한 영역을 더 세분화했다(Simpson et al.

Reports and publications over the first decade of the new millennium showed it was possible to meet the first requirement of OBE, to define learning outcomes. The Scottish Deans’ Medical Curriculum Group, for example, defined 12 key outcome domains, which were subdivided into 86 learning outcomes, leaving individual schools to break them down further according to the needs of their curricula (Simpson et al. 2002).

 

심슨 외 연구진(2002)은 교육과정이 매우 다른 학교들도 학습 성과에 대한 합의에는 도달할 수 있다고 결론지었다. 다른 그룹들도 같은 결론에 도달했다

    • CanMEDS 역량 프레임워크는 캐나다뿐만 아니라 전 세계(Frank and Danoff 2007)에서 광범위하게 채택되었으며, 
    • Tuning Project for Medicine도 범유럽 학습 성과 프레임워크(Cuming 2007)를 개발하는 데 성공했다. 

의과대학이 중복되거나 상충하는 성과 프레임워크를 조정해야 한다는 우려가 2007년에 발표된 보고서에서 제기되었다(Elaway et al. 2007).

Simpson et al. (2002) concluded that even schools with very different styles of curriculum could reach consensus on learning outcomes. Other groups reached the same conclusion. The CanMEDS competency framework was extensively adopted, not only in Canada, but around the world (Frank and Danoff 2007) and the Tuning Project for Medicine also succeeded in developing a pan-European learning outcomes framework (Cumming and Ross 2007). Concern that medical schools would have to reconcile overlapping or competing outcome frameworks was addressed in a report published in 2007 (Ellaway et al. 2007).

 

그러나 OBE를 적극적으로 채택하고 있었떤 이 때에도 비판적 의견도 들을 수 있었다. Rees (2004)는 커리큘럼의 교육과정보다 성과에 초점을 맞추는 것은 좋은 교육적 실천과 반대되는 것이라고 주장했다.

Critical opinions were also to be heard, however, at this time when OBE was being so avidly adopted (Prideaux 2004; Rees 2004; Talbot 2004). Rees (2004), argued that a focus on the outcomes rather than educational processes of curricula was antithetical to good educational practice;

 

플렉스너 100주년 권고—2010년과 그 이후

Flexner centenary recommendations—2010 and onwards

 

2010년 Cooke 등(2010년)의 영향력 있는 보고서는 황금표준으로 커리큘럼 개발에 대한 역량 기반 접근방식을 채택했다. 이 보고서는 OBE의 광범위한 채택을 권고했고 프로그램 리더들에게 학습자들에 대한 명확하고 점진적인 기대(성과)를 설정할 것을 요청했다. OBE의 채택은 의학 졸업생들이 복잡한 상황에서 효과적으로 대응할 수 있도록 더 잘 준비할 것이며 필요한 역량의 깊이와 폭을 계속해서 확장할 것이다. 그러나, 보고서에 따르면, 이러한 이상적인 모습은 학습자들이 최소한의 역량 기준을 달성했는지를 판단하는 평가 없이는 이루어질 수 없다고 한다.

In 2010 an influential report by Cooke et al. (2010) endorsed a competency based approach to curriculum development as a gold standard. It recommended widespread adoption of OBE and asked programme leaders to set clear, progressive expectations of learners. Adoption of OBE would better equip medical graduates to respond effectively in complex situations and efficiently continue to expand the depth and breadth of the requisite competencies. That, according to the report, could not happen without assessment, which must determine that learners had achieved benchmarked standards of competence.

 

Flexner centenary 보고서는 성과바탕교육의 필요성을 주장하였지만 두 가지 문제에 대해서는 답을 내놓지 못했다. 하나는 어떻게 휴머니즘, 책무성, 이타성 등을 정의하고 평가할 것인가의 문제이다. 이러한 특질들은 사람마다 unique한 것이며, 따라서 ("표준화된 성과"의 달성을 추구하는) 성과바탕교육과는 애초에 조화되기에 어려운 측면이 있다. 이미 비슷한 이유로 약 30년 전에 Spady는 교육성과를 정의하면서 정서적 측면(affective domain)을 배제하였음을 떠올리게 한다. Flexner 100주년 보고서에 따르면 프로페셔널리즘의 affective 측면의 요소들은 "오랜 시간 동안 관심을 갖고 성찰해야 하는 것"이다. 두 번째는 기대하는 성과는 "적당한 수준(good enough)"에 맞춰놓으면서, 어떻게 동시이 수월성(excellence)를 추구할 수 있겠냐는 문제이다. 이미 Sir John Tooke는, "적당히 좋은 것은 충분히 좋은 것이 아니다(Good enough is not good enough)"라고 지적한 바 있다.

Whilst strongly endorsing OBE, the Flexner centenary report noted two important, unresolved issues. The first was how to define and assess humanism, accountability, and altruism, which are unique to individuals and thus difficult to reconcile with an OBE framework. That concern is reminiscent of Stenhouse’s critique over 30 years earlier (Stenhouse 1975), which Spady (1994) resolved by excluding the affective domain from the formulation of curriculum outcomes. Affective elements of professionalism, the Flexner centenary report stated, would ‘‘need to be kept in focus and reflected on over time.’’ The second issue was how to promote excellence when competencies are targeted at ‘‘good enough’’ performance (Talbot 2004), captured in Sir John Tooke’s aphorism, ‘‘Good enough is not good enough’’ (Tooke 2008).

 

Hodges(2010년)에 따라 학습 결과의 표준화는 '(대량)생산 담론'에 기초한다. 그것은 산업계에서 지배적이며 매력적인 담론인데, 교육 비용과 훈련 시간을 줄일 것을 약속하기 때문이다. 문제는 개인화는 표준화와 상당한 거리가 있다는 것이다모호한 것에 대한 인내력, 복잡성에 직면하여 민첩성, 호기심, 혁신, 평생학습에 대한 헌신과 같은 마음 습관을 가르치려고 할 때, 교육과정은 풍부한 연습과 피드백 기회가 있어야 하며, 지속적인 형성적 평가 및 단계적 개발 접근방식을 제공해야 한다. 호지(2010년)는 또한 "미래의 의사들에 대한 담론을 형성함에있어, 우리는 사람의 성장과 발달을 강조하는 언어와 개념을 사용해야 한다"고 주장했다.

standardization of learning outcomes, according to Hodges (2010), is based on a ‘‘production discourse’’, which is dominant in industry and appeals because it promises to reduce education costs and training time. Individualization, however, is a substantial distance away from standardization. For doctors-in-training to learn tolerance of ambiguity, agility in the face of complexity, habits of mind such as curiosity, innovation, and a commitment to lifelong learning, curricula have to be rich in practice and feedback and provide continuous formative assessment and a stepwise developmental approach. Hodges (2010) further pleaded that ‘‘in fashioning discourses about future physicians, we should try to use language and concepts that emphasize the growth and development of people.’’

 

발명, 실행, 거부, 부활, 지지 그리고 비평 주기가 시작된 지 40년이 넘도록 OBE에 대한 논의가 얼마나 활발하고 생생하게 살아있는지는 무척 놀랍다.

It is striking how vigorous and alive the discussion of OBE remains more than 40 years after the invention, implementation, rejection, revival, advocacy and critique cycles began.

 

OBE의 담론의 주목할 만한 특징은 객체로서 규제 대상으로 논의되는 때를 제외하면, 그 담론 안에 개별 교사들과 학습자들은 underrepresent되어있다는 것이다. 예를 들어, 

    • OBE 채택을 위한 Cooke 등(2010)의 근거는 교육과 학습에 대한 직접적인 연관성은 거의 없이 평가 및 책임의 측면에서 거의 전체적으로 표현되어 있습니다. 
    • 마찬가지로, OBE의 것으로 알려진 편익에 대한 Hodge의 분석은 평가 및 책임성의 담론에 의해 지배된다(Hodges 2010).

A striking feature of the discourse of OBE is that individual teachers and learners are more or less unrepresented in it, except as objects of regulation. The rationale of Cooke et al. (2010) for adopting OBE, for example, is almost entirely expressed in terms of assessment and accountability, with little direct link to teaching and learning. Hodges’ analysis of the purported benefits of OBE is, likewise, dominated by the discourses of assessment and accountability (Hodges 2010).

 

OBE의 진화에서 역사적 랜드마크에 대한 이러한 검토를 요약하자면, 1940년대의 행동주의 심리학과 OBE의 현대적 advocacy 사이에는 끊어지지 않는 inheritance의 선이 있는 것으로 보인다.

To summarise this review of historical landmarks in the evolution of OBE, there appears to be a more or less unbroken line of inheritance between behaviourist psychology of the 1940s and contemporary advocacy of OBE.

 

OBE는 1970년대에 널리 도입되었고, 그 후 OBE가 가치, 통찰력, 판단을 단순한 행동 목표에 축소시켜버리고, 정서적, 문화적, 미학적, 윤리의 학습 과정을 핵심 교육에 두지 않는 것에 대해 심하게 비난 받았다.

It was widely implemented, then heavily critiqued in the 1970s for reducing values, insight, and judgement to simple behavioural objectives and for not placing affective, social, cultural, aesthetic, and ethic learning processes at the core of education.

 

OBE는 1980년대에 부활했고 새 천년 이전과 이후까지 의학 교육을 소리 높여 옹호했다. 부활은 교육과정 설계, 평가, 프로그램 평가 및 책임에 대한 교육 결과를 강조하는 것과 동일한 혜택에 초점을 맞추었다.

OBE was revived in the 1980s and vociferously advocated for medical education before and on into the new millennium. The revival focused on just the same purported benefits of emphasising the product of education—an unambiguous outcome specification—to curriculum design, assessment, programme evaluation, and accountability.

 

프레임워크와 이론 검토

Review of frameworks and theories

 

용어 검토

Review of terminology

 

Shumway와 Harden(2003)은 MSOP, AAMC, ACGME, CanMEDS, 스코틀랜드 의과대학과 같은 기관에 의해 지정된 학습 성과가 "유사점을 가지고 있거나 유사한 역량이나 능력을 포함한다." 고 말했다. 알바니아인 외 연구진(2008)에 따르면 성과와 역량의 차이는 "want"과 "need"라는 단어에 있다. 

    • 성과는 우리가 학생들이 어떤 기술과 자질을 갖기를 원하는지를 정의하는 반면want, 
    • 역량은 의사들이 환자를 돌보기 위해 어떤 기술과 자질을 필요로 하는지need 결정하는 것이다.

Shumway and Harden (2003) wrote that the learning outcomes specified by bodies like MSOP, AAMC, ACGME, CanMEDS, and the Scottish medical schools ‘‘have similarities and embrace a similar set of competencies or abilities.’’ According to Albanese et al. (2008), the difference between outcomes and competencies is in the words ‘‘want’’ and ‘‘need’’. An outcome defines what skills and qualities we want students to have, whereas a competency is a determination of what skills and qualities doctors need to have to care for patients.

 

튜닝 프로젝트(Cumming and Ross 2007)는 결과, 목표, 역량을 구분한다. 

    • 학습 목표는 교육 담당자에 의해 설정 및 설명되며 특정 구성 요소와 관련이 있습니다. 
    • 학습 성과는 최상위 수준이 큰 도메인으로 구성되는 hierarchy of levels으로 설명된다. 이러한 영역 내에서 보다 상세한 성과는 평가 프로그램을 blueprinting하는 데 유용한 수준으로 설명된다. 
    • 마지막으로, 역량은 (교사보다는) 학생이나 졸업생에 속한다. 학위 프로그램을 성공적으로 완료한 사람의 역량은 최소한 규정된 학습 결과와 동등해야 한다. 이 용어는 튜닝 프로젝트에서 다소간 상호 교환적으로 사용됩니다. 

The Tuning Project (Cumming and Ross 2007) distinguished between outcomes,objectives, and competencies in this way: 

    • Learning objectives are set and described by teaching staff and relate to a particular component. 
    • Learning outcomes are described with a hierarchy of levels, with the top level consisting of large domains. Within those domains,more detailed outcomes are described to a level that is useful for blueprinting assessment programmes. 
    • Finally, competencies belong to students or graduates rather than teachers.The competencies of someone who has successfully completed a degree programme should be at least equivalent to the prescribed learning outcomes. The terms are used more or less interchangeably in the Tuning Project. 
 

페르난데스 외 연구진(2012)의 최근 리뷰는 보건 과학 교육자들이 이 용어를 사용하는 방법에 있어서, 저자들 사이에 분명한 차이를 발견했음에도 불구하고, 역량이 지식, 기술 및 기타 요소로 이루어져 있다는 것에 동의한다고 결론지었다. 실제로 결과 및 역량 기반 교육 간에 근본적인 차이를 발견하지 못하였으므로, 이 논문에서는 Hodge(2010)와 마찬가지로 OBE라는 용어를 사용할 것이다.

A recent review by Fernandez et al. (2012) concluded that health science educators agree that competence is composed of knowledge, skills and other components, though they found clear differences between different authors in how they used the term. Having found no essential difference between outcome and competency based education in practice; this article has aligned itself with Hodges (2010) in using the termOBE to refer to both.

 

학습 이론 검토

Review of learning theory

 

OBE는 지금까지의 분석에서 결론지을 수 있듯, OBE는 평가와 자연스럽게 연결되는 반면, 교육 및 학습 활동과는 그리 자연스럽게 연관되지는 않는다. OBE에서 [성과를 정의하는 것]과 [커리큘럼의 교육 및 학습 활동에 대한 서포트] 사이에는 갭이 있는 것 같다. 우리만 이것을 관찰한 것이 아니다; 이미 프라이도(2004)와 노먼(2006)은 학습 성과와 교수/학습 사이의 연관성의 본질에 의문을 제기했다. 또 다른 차이는 행동주의에 뿌리를 둔 OBE(시대에 뒤떨어진 이론 지향으로 여겨짐)와 현대적 학습 이론 사이의 gap이다.

OBE, it may be concluded from the analysis thus far, links naturally with assessment but not so naturally with teaching and learning activities. It seems there is a gap in OBE between defining outcomes and supporting the teaching and learning activities of medical curricula. We are not alone in making that observation; Prideaux (2004) and Norman (2006), before us, questioned the nature of the link between learning outcomes and teaching/learning. Another gap is between the roots of OBE in behaviourism, which could be considered an outdated theoretical orientation, and modern learning theory.

 

OBE의 가능성과 한계를 더 폭넓게 생각하는 데 도움이 될 수 있는 접근법은 Biggs와 Tang의 건설적인 정렬 커리큘럼 프레임워크로, 

    • 이는 평가뿐만 아니라 교수/학습을 함께 강조하며, 이것들이 모두 학습 성과와도 align될 것을 요구한다. 
    • OBE와 마찬가지로 건설적인 정렬은 의도된 학습 성과를 명확하고 모호하지 않게 명시할 것을 요구한다. 
    • 또한 OBE와 마찬가지로 학습자가 의도한 학습 성과에 대한 숙련도를 입증해야 하는 평가 시스템에 중점을 둡니다. 
    • 건설적인 정렬의 관점에서 교수-학습 활동은 학생들이 학습 성과에 평가적으로 능숙해질assessably proficient 가능성을 높이는 방식으로 계획되어야 한다.

An approach that seemed able to help us think more widely about affordances and limitations of OBE was Biggs and Tang’s constructive alignment curriculum framework

    • which emphasises teaching/learning processes as well as assessment and aligns them both with learning outcomes (Biggs and Tang 2007). 
    • Like OBE, constructive alignment calls for intended learning outcomes to be stated clearly and unambiguously. 
    • Like OBE, also, it puts a strong emphasis on assessment systems that call for learners to demonstrate proficiency in the intended learning outcomes. 
    • Teaching–learning activities, from a constructive alignment perspective, should be planned in such a way as to increase the likelihood of students being assessably proficient in the learning outcomes.
 

그러나 Biggs와 Tang의 이론의 한계는 '학습'을 관찰 가능한 행동으로 축소시켜버리고, affects과 professional attributes에 관련된 학습의 요소들을 배제한다는 것이다. 그들의 체제는 구성주의자로 특징지어질 수 있다. 그러나 OBE가 구성주의 이론과 조화될 수 있다는 사실이 OBE가 행동주의자들의 기원을 넘어섰다는 설득력 있는 증거가 되지는 못한다,

however, that Biggs and Tang’s theory also narrows learning to observable behaviours and leaves out elements of learning related to affects and professional attributes. Their framework may be characterised as a constructivist one. The fact that OBE could be reconciled with a constructivist theory is not, however, convincing evidence that OBE has moved beyond its behaviourist origins.

 

Cooke 등(2010년)은 ACGME와 같은 기관에 대한 권위를 인용하였으나 이론이나 경험적 증거를 인용하지 않았다.

Cooke et al. (2010) quoted authority statements of bodies like ACGME, but did not cite theory or empirical evidence.

 

Review of empirical literature

 

Review question and approach

 

탐색적 검토 질문: 사전 정의된 학습 성과는 학부 의과대학에서 학습과 교육에 어떤 영향을 미칩니까?

the exploratory review question: How do predetermined learning outcomes affect learning and teaching in undergraduate medical education?

 

Method

 

Results

 

The eight included papers are presented in Table 1.

 

연구 설계

Study designs

 

Seven of the papers concerned students and one concerned teachers.

 

결과

Findings

 

학습성과, 교수, 가르침

Learning outcomes, teachers, and teaching

 

극히 적은 수의 연구가 어떻게 학습 성과가 의사 선생님들의 가르침에 영향을 미치는지에 대해 명확하게 다루었다. 

Very little research explicitly addressed how learning outcomes influenced medical teachers’ teaching.

 

학습성과, 학생, 배움

Learning outcomes, students, and learning

 

일부 학생들은 복강경 트레이너에서 적극적인 학습을 촉진하기 위해 한 연구에서 학습 성과가 주어지는 것을 좋아했다. 비록 참가자의 수가 적고 결과는 통계적으로 유의하지 않았다. (곤잘레즈 외 2004)

Some students liked to be given learning outcomes, which were shown in one study to promote active learning in a laparoscopy trainer, although the number of participants was small and the result was not statistically significant (Gonzalez et al. 2004).

 

(McLaughlin et al. 2005). 오직 34%의 학생들만이 코스 목표를 사용했고 그들은 평균 이상의 시험 점수를 가질 가능성이 상당히 낮았다.

(McLaughlin et al. 2005). Only 34 % of students used the course objectives and they were significantly less likely to have above-average test scores.

 

고찰

Discussion

 

주요 결과와 의미

Principal findings and meaning

 

지난 50년 동안 OBE의 두 가지 분명한 지지 순환, 그 다음에는 비판이 있었다. 지난 10년 동안 OBE는 학부 의과에서 지지되고 시행되었지만, 학습 성과가 교수법과 학습 의학에 미치는 영향에 대한 실질적인 연구가 뒤따르지 않았다.

The last 50 years have seen two clear cycles of advocacy, then critique, of OBE. In the last decade OBE has been advocated and implemented in undergraduate medical education, but this has not been followed by substantial research on the impact of learning outcomes on teaching and learning medicine.

 

타당도 위협

Threats to validity

 

우리가 발견한 증거의 부족은 그 불완전성의 증거로 보여질지도 모른다. 그러나 의학 교육의 영역에서 evidence review를 보면, '정상'으로 간주되는 것이 실제로는 경험적 증거가 거의 없다는 것을 일관되게 발견한다. 유익한 증거가 누락되었을 수 있다는 것을 인정하면서도, 우리의 연구 결과를 무효화할 만큼 충분한 증거를 놓쳤을 가능성은 거의 없어 보입니다.

The paucity of evidence we found might be seen as evidence of its incompleteness. Evidence reviews in the domain of medical education, however, consistently find that what is taken to be ‘normal’ rests, in reality, on little empirical evidence. Whilst acknowledging that informative evidence might have been missed, it seems unlikely we missed enough strong evidence to invalidate our findings.

 

다른 출판물과의 관계

Relationship to other publications

 

우리의 분석은 영어 출판물에 한정되어 있다. 스칸디나비아와 독일의 교육 관련 출판물(건뎀과 홉만 1998)은 '빌둥Bildung'이라는 단어로 대표되는 다소 다른 교육적 담론을 제시한다. Bildung의 관점에서 교육은 기술과 지식을 습득이상이다. 클로프키(1995)와 같은 독일 언어 작가들은, humanities의 출발점으로 비판과 자기 비판의 능력과 의지를 갖추는 것과 같은 이상적인 목표에 초점을 맞추고 있다. 이 프레임워크에서 교육 및 커리큘럼은 주로 빌둥(Bildung)과 관련이 있습니다. 지식과 기술을 습득하는 것은 단지 프로세스 내에서의 도구일 뿐이며, 그 자체로 학습의 종착점이 아니다.

Our analysis is confined to English language publications. Scandinavian and German language publications about education (Gundem and Hopmann 1998) present a rather different discourse of education, epitomised by the word ‘Bildung’. Education, from that point of view, extends far beyond acquiring skills and knowledge. German language authors such as Klafki (1995), with a starting point in the humanities, clearly focus on ideal goals like developing ability and willingness to critique and self-critique, to argue, to be empathic, and to think contextually and coherently. In this framework, education and curriculum mainly concerns Bildung (the process of striving towards such ideal goals); acquiring knowledge and skills are tools in that process, not the endpoint learning outcomes in themselves.

 

학부의학교육만 주로 다뤘다.

our evidence review was confined to just one part of the medical education continuum—undergraduate medical education.

 

Implications

 

For practice

 

OBE가 학부 의과 교육에 적합하지 않거나 적절하지 않은 위치로 이끌기 보다는, 이 검토는 OBE가 어떤 측면에 대해서는 다른 측면에 대해서보다 더 적합할 수 있음을 나타낸다. 이는 OBE가 특히 관찰 가능한 행동에 대해서 역량 평가를 위한 blueprint를 위한 논리적 근거를 제공한다는 분석에서 비롯됩니다. 반면에, 하덴 외 연구진(1999)의 권고를 쓴 이론가조차도 affects를 관찰 가능한 행동으로 환원할 수 없다고 말했다. 그러므로 교육을 통해 발전하는 개인적, 전문적 특성을 교육에 의해 개발되는 능력과 동일한 과정에 포함시키는 것은 비논리적인 것처럼 보인다.

Rather than leading to a position that OBE is or is not appropriate for undergraduate medical education, this review indicates that it may be more appropriate to some than other aspects of it. It follows fromour analysis that OBE provides a logical basis for blueprinting assessments of competence, particularly those that assess observable behaviours. On the other hand, even the theorist on whose writing the recommendations of Harden et al. (1999) said affects cannot be reduced to observable behaviours. It seems illogical, therefore, to subsume personal and professional attributes that develop through education into the same process as competences that are developed by training.

 

For scholarship

 

우리는 "OBE가 효과적인가?"라는 질문에 답하는 연구 설계들은 별로 쓸모가 없을 것이라고 제안한다. 왜냐하면 이 의학교육 분야는 그 질문에 답하기에는 너무 복잡하기 때문이다. 오히려, "어떻게, 누구를 위해, 그리고 어떤 상황에서 OBE가 효과가 있는가?"라는 질문에 답하는 "명확화" 연구들이 절실히 필요하고, 그러한 연구가 교육과정 내에서 수행된 행동연구 또는 디자인 기반 연구에 스스로 도움이 될 것이다. 우리는 OBE가 어떤 경우에 좋은지 거의 알지 못한다. 학습 성과와 교육 사이에 어떤 연관성이 있는지, 결과가 교사들에게 도움이 될 때, 그리고 언제 그리고 어떻게 자기 주도적인 학습에 유용한지를.

Research designs answering the question ‘‘does OBE work?’’, we suggest, will be of little use because the field is just too complicated for that. Rather, ‘‘clarification’’ (Cook et al. 2008) studies answering the question ‘‘how does OBE work, for whom, and in what circumstances?’’ are sorely needed and lend themselves to action or design based research conducted within curriculum implementations. We know little about 

    • what OBE is good for; 
    • what the connections are between learning outcomes and teaching; 
    • when outcomes are helpful for teachers and when not; 
    • when and how they are useful for self-directed learning.

 

Conclusion

 

Harden et al. (1999)이 다음과 같이 말한 것은 옳았다: "OBE는 명백한 매력을 가지고 있지만, 그 효과를 문서화하는 연구는 상당히 드물다." Harden(2007년)이 언급한 바와 같이, 많은 "공작"들은 성과의 구체적 세트를 내놓았지만, 그 성과를 교육과정 관련 의사결정의 토대로 사용한 "비버"는 거의 찾아보기 힘들다.

Harden et al. (1999) were right when they said: ‘‘Although OBE has obvious appeal, research documenting its effects is fairly rare.’’ As stated by Harden (2007), many ‘‘peacocks’’ have specified sets of outcomes but few ‘‘beavers’’ have used learning outcomes as a basis for curriculum related decisions (Harden 2007).

 

 

 

 


 2013 Oct;18(4):851-63. doi: 10.1007/s10459-012-9405-9. Epub 2012 Sep 18.

Outcome (competencybased education: an exploration of its originstheoretical basis, and empirical evidence.

Author information

1
Centre for Medical Education, Aarhus University, Brendstrupgaardsvej 102, 8200, Aarhus, Denmark, amm@medu.au.dk.

Abstract

Outcome based or competency based education (OBE) is so firmly established in undergraduate medical education that it might not seem necessary to ask why it was included in recommendations for the future, like the Flexner centenary report. Uncritical acceptance may not, however, deliver its greatest benefits. Our aim was to explore the underpinnings of OBE: its historical originstheoretical basis, and empiricalevidence of its effects in order to answer the question: How can predetermined learning outcomes influence undergraduate medical education? This literature review had three components: A review of historical landmarks in the evolution of OBE; a review of conceptual frameworks and theories; and a systematic review of empirical publications from 1999 to 2010 that reported data concerning the effects of learning outcomes on undergraduate medical education. OBE had its origins in behaviourist theories of learning. It is tightly linked to the assessment and regulation of proficiency, but less clearly linked to teaching and learning activities. Over time, there have been cycles of advocacy for, then criticism of, OBE. A recurring critique concerns the place of complex personal and professional attributes as "competencies". OBE has been adopted by consensus in the face of weak empirical evidence. OBE, which has been advocated for over 50 years, can contribute usefully to defining requisite knowledge and skills, and blueprinting assessments. Its applicability to more complex aspects of clinical performance is not clear. OBE, we conclude, provides a valuable approach to some, but not all, important aspects of undergraduate medical education.

Comment in

PMID:
 
22987194
 
DOI:
 
10.1007/s10459-012-9405-9

 

효과적인 학습기법을 통한 학생의 학습 증진: 인지심리학과 교육심리학으로부터 (Psychol Sci Public Interest. 2013)

Improving Students’ Learning With Effective Learning Techniques: Promising Directions From Cognitive and Educational Psychology 

John Dunlosky1, Katherine A. Rawson1, Elizabeth J. Marsh2, Mitchell J. Nathan3, and Daniel T. Willingham4

1Department of Psychology, Kent State University; 2Department of Psychology and Neuroscience, Duke University;

3Department of Educational Psychology, Department of Curriculum & Instruction, and Department of Psychology,

University of Wisconsin–Madison; and 4Department of Psychology, University of Virginia




도입

Introduction


우리는 학생들이 다양한 콘텐츠 영역에서 자신의 성공을 향상시키기 위해 사용할 수 있는 10가지 학습 기법의 효능을 탐구했다.1

we explored the efficacy of 10 learning techniques (listed in Table 1) that students could use to improve their success across a wide variety of content domains.1


우리는 학생들에게 도움없이 실행될 수 있는 기술들로 우리의 선택을 제한했다. (예를 들어, 교사가 준비해야 하는 첨단 기술이나 광범위한 자료가 필요하지 않은 것)

we limited our choices to techniques that could be implemented by students without assistance (e.g., without requiring advanced technologies or extensive materials that would have to be prepared by a teacher).


표 2. 자료는 학생들이 배우고, 기억하고, 이해할 것으로 예상되는 특정 내용과 관련이 있다. 학습 조건은 학생들이 학습된 자료와 상호작용하는 맥락과 관련이 있다.

Table 2. Materials pertain to the specific content that students are expected to learn, remember, or comprehend. Learning conditions pertain to aspects of the context in which students are interacting with the to-belearned materials.


어떤 학생 특성이든 주어진 학습 기술의 효과에 영향을 미칠 수 있다.

Any number of student characteristics could also influence the effectiveness of a given learning technique.


각 학습 기법의 유효성이 긴 보유 간격에 걸쳐 획득되고 서로 다른 기준 과제에 걸쳐 일반화하는 정도는 매우 중요하다.

The degree to which the efficacy of each learning technique obtains across long retention intervals and generalizes across different criterion tasks is of critical importance.






학습 기술 리뷰

Reviewing the Learning Techniques


1 열심히 설명해보기

1 Elaborative interrogation


1.1 일반기술

1.1 General description of elaborative interrogation and why it should work.


정교한 질문 효과에 대한 일반적인 이론적인 설명은 정교한 질문이 기존의 사전 지식과의 새로운 정보의 통합을 지원함으로써 학습을 향상시킨다는 것이다. 정교한 질문에서 학습자들은 아마도 "스키마타 활성화..."를 할 것이다. 이 스키마는 검색을 용이하게 하는 새로운 정보를 구성하는데 도움을 준다. (윌비 & 우드, 1994년 140년). 새로운 사실을 이전 지식과 통합하면 해당 정보의 조직(헌트, 2006년)이 쉬워질 수 있지만, 조직만으로는 충분하지 않으며, 2006년에 배운 정보를 식별하거나 사용할 때 정확히 관련 사실을 구별할 수 있어야 한다(Hunt). 이 설명과 일관되게, 가장 정교한 질문들은 관련 entity들 사이의 유사성과 차이(예: 한 지방 대 다른 지방에 대한 사실인 이유)의 처리를 명시적으로 또는 암시적으로 초대한다는 점에 주목한다. 

The prevailing theoretical account of elaborative-interrogation effects is that elaborative interrogation enhances learning by supporting the integration of new information with existing prior knowledge. During elaborative interrogation, learners presumably “activate schemata . . . These schemata, in turn, help to organize new information which facilitates retrieval” (Willoughby & Wood, 1994, p. 140). Although the integration of new facts with prior knowledge may facilitate the organization (Hunt, 2006) of that information, organization alone is not sufficient—students must also be able to discriminate among related facts to be accurate when identifying or using the learned information (Hunt, 2006). Consistent with this account, note that most elaborative-interrogation prompts explicitly or implicitly invite processing of both similarities and differences between related entities (e.g., why a fact would be true of one province versus other provinces). 


아래에서 강조하는 바와 같이, 익힐 수 있는 사실들 사이의 유사성과 차이점 처리 또한 발견을 설명한다. 정교하고 정확한 해석은..

    • 부정확하기 보다는 정확할 때 더 효과적이다. 

    • 사전 지식이 높은 경우(기존 지식이 독특한 처리를 촉진하여 기억력을 향상시킨다는 연구(예: Rawson & Van Overschelde, 2008)에 효과적이고, 

    • elaboration이 자가 생성되었을 때(특징 효과가 자가 생성 항목별 단서, 헌트 & 스미스, 1996년) 효과적이다.

As we highlight below, processing of similarities and differences among to-be-learned facts also accounts for findings that elaborative-interrogation effects are often larger when elaborations are precise rather than imprecise, when prior knowledge is higher rather than lower (consistent with research showing that preexisting knowledge enhances memory by facilitating distinctive processing; e.g., Rawson & Van Overschelde, 2008), and when elaborations are self-generated rather than provided (a finding consistent with research showing that distinctiveness effects depend on self-generating item-specific cues; Hunt & Smith, 1996).


정교한 질문의 초기 체계적 연구들 중 하나인 프레스리, 맥다니엘, 턴ure, 우드, 그리고 아마드는 대학생들에게 특정한 남자의 행동을 묘사한 문장들의 목록을 제공했습니다. 정교한 대화 집단에서, 각 문장에 대해, 참가자들은 "왜 그 특정한 남자가 그런 짓을 했을까?"라고 설명하라는 질문을 받았다. 대신 다른 참가자들에게 각 문장에 대한 설명이 제공되었고(예: "배고픈 남자가 식당으로 가기 위해 차 안으로 들어갔음") 세 번째 그룹은 각 문장을 단순히 읽는다. 참가자들에게 각 행동을 수행한 각 사람을 상기하도록 지시한 최종 시험에서(예: "누가 차에 탑승했습니까?"), 정교 대화 그룹은 다른 두 그룹의 정확도 그룹(콜랩)보다 약 72% 더 뛰어났다. 이와 유사한 연구를 통해 세이퍼트(1993)는 0.85 - 2.57의 평균 효과 크기를 보고했다.

In one of the earliest systematic studies of elaborative interrogation, Pressley, McDaniel, Turnure, Wood, and Ahmad (1987) presented undergraduate students with a list of sentences, each describing the action of a particular man (e.g., “The hungry man got into the car”). In the elaborative-interrogation group, for each sentence, participants were prompted to explain “Why did that particular man do that?” Another group of participants was instead provided with an explanation for each sentence (e.g., “The hungry man got into the car to go to the restaurant”), and a third group simply read each sentence. On a final test in which participants were cued to recall which man performed each action (e.g., “Who got in the car?”), the elaborative-interrogation group substantially outperformed the other two groups (collapsing across experiments, accuracy in this group was approximately 72%, compared with approximately 37% in each of the other two groups). From this and similar studies, Seifert (1993) reported average effect sizes ranging from 0.85 to 2.57.



위에 설명된 것처럼, 정교한 질문의 핵심은 학습자가 명시적으로 언급한 사실에 대한 설명을 생성하도록 유도하는 것입니다. 설명 프롬프트의 특정 형식은 연구마다 다소 다르다. 예에는 "왜 말이 되는가?"왜 이것이 사실입니까?" 그리고 간단히 "왜?" 그러나 대부분의 연구는 "이 사실은 다른 [X]가 아닌 이 [X]에 왜 해당될까요?"라는 일반적인 형식에 따른 프롬프트를 사용해 왔습니다.

As illustrated above, the key to elaborative interrogation involves prompting learners to generate an explanation for an explicitly stated fact. The particular form of the explanatory prompt has differed somewhat across studies—examples include “Why does it make sense that…?”, “Why is this true?”, and simply “Why?” However, the majority of studies have used prompts following the general format, “Why would this fact be true of this [X] and not some other [X]?”



1.2 How general are the effects of elaborative interrogation?


1.3 Effects in representative educational contexts.


1.4 Issues for implementation.


정교한 질문의 한 가지 장점은 분명히 최소한의 훈련을 필요로 한다는 것이다. 정교한 질문 효과를 보고한 대다수의 연구에서 학습자는 간단한 지시를 받은 후 3-4개의 연습 사실(때로는 항상 그렇지는 않지만, 주요 과제의 품질에 대한 피드백 포함)을 만들기 위해 연습했다. 일부 연구에서, 학습자들은 주요 과제 이전에 어떠한 연습이나 실례를 제공받지 못했다. 게다가, 정교한 질문은 시간 요구에 관해서 상대적으로 합리적인 것처럼 보인다. 거의 모든 연구들이 사실을 읽고 정교함을 생성하는 데 할당된 시간(예: 각 사실에 대해 할당된 15초)을 합리적으로 제한한다. 자기 페이스 학습을 허용하는 몇 가지 연구 중 하나에서, 정교한 질문 및 읽기 전용 그룹 간의 작업 시간 차이는 상대적으로 최소화되었다. (32분 대 2010년, B. L Smith 등) 마지막으로, 여러 연구에서 사용되는 프롬프트의 일관성을 통해 학생들에게 연구 중 사실에 대해 상세히 설명할 때 사용해야 하는 질문의 특성에 대한 비교적 간단한 권고를 할 수 있다.

One possible merit of elaborative interrogation is that it apparently requires minimal training. In the majority of studies reporting elaborative-interrogation effects, learners were given brief instructions and then practiced generating elaborations for 3 or 4 practice facts (sometimes, but not always, with feedback about the quality of the elaborations) before beginning the main task. In some studies, learners were not provided with any practice or illustrative examples prior to the main task. Additionally, elaborative interrogation appears to be relatively reasonable with respect to time demands. Almost all studies set reasonable limits on the amount of time allotted for reading a fact and for generating an elaboration (e.g., 15 seconds allotted for each fact). In one of the few studies permitting self-paced learning, the time-on-task difference between the elaborative-interrogation and reading-only groups was relatively minimal (32 minutes vs. 28 minutes; B. L. Smith et al., 2010). Finally, the consistency of the prompts used across studies allows for relatively straightforward recommendations to students about the nature of the questions they should use to elaborate on facts during study.


위에서 언급한 한 가지 한계는 별도의 사실성 진술에 대한 정교한 질문의 적용 가능성을 좁게 하는 것이다. 해밀턴(1997)이 지적했듯이 사실적인 문장 목록에 초점을 맞출 때 협력적인 질문은 상당히 규정돼 있다. 그러나 더 복잡한 결과에 초점을 맞출 때, '왜' 질문을 지시하는 것이 무엇인지 명확하지 않다.(p.308) 예를 들어, 복잡한 인과 과정이나 시스템에 대해 배울 때(예: 소화 시스템) 정교한 조사를 위한 적절한 곡물 크기는 공개 질문입니다(예: 전체 시스템에 신속하게 초점을 맞춰야 하는가, 아니면 단지 작은 부분에 집중해야 하는가? 더욱이, 사실 목록을 다룰 때, 구체화되어야 할 사실들은 명확하지만, 더 긴 텍스트에 포함된 사실들에 대한 자세한 설명은 학생들이 그들 자신의 목표 사실을 식별하도록 요구할 것이다. 그러므로, 학생들은 정교한 조사가 성과 있게 적용될 수 있는 내용의 종류에 대한 약간의 교육이 필요할 수 있다. dosage는 또한 보다 긴 텍스트에 대한 우려사항이기도 하다. 일부 증거는 정교한 질문 효과가 (Callender & McDaniel, 2007) 매우 희석되거나 심지어 역방향(Ramsay, Sper)이라는 일부 증거를 제시한다.

With that said, one limitation noted above concerns the potentially narrow applicability of elaborative interrogation to discrete factual statements. As Hamilton (1997) noted, “elaborative interrogation is fairly prescribed when focusing on a list of factual sentences. However, when focusing on more complex outcomes, it is not as clear to what one should direct the ‘why’ questions” (p. 308). For example, when learning about a complex causal process or system (e.g., the digestive system), the appropriate grain size for elaborative interrogation is an open question (e.g., should a prompt focus on an entire system or just a smaller part of it?). Furthermore, whereas the facts to be elaborated are clear when dealing with fact lists, elaborating on facts embedded in lengthier texts will require students to identify their own target facts. Thus, students may need some instruction about the kinds of content to which elaborative interrogation may be fruitfully applied. Dosage is also of concern with lengthier text, with some evidence suggesting that elaborative-interrogation effects are substantially diluted (Callender & McDaniel, 2007) or even reversed (Ramsay, Sperling, & Dornisch, 2010) when elaborative-interrogation prompts are administered infrequently (e.g., one prompt every 1 or 2 pages).



1.5 Elaborative interrogation: Overall assessment.




2 자기 설명

2 Self-explanation


2.1 General description of self-explanation and why it should work.


자가 설명에 대한 정수의 연구에서 베리(1983)는 Wason card selection 작업을 사용하여 논리적 추론에 미치는 영향을 탐구했다. 이 과제에서 학생은 "A", "4", "D" 및 "3"이라는 라벨이 붙은 네 개의 카드를 보고 "한 쪽에 A가 있을 경우" 규칙을 테스트하기 위해 어떤 카드를 뒤집어야 하는지를 나타낼 수 있습니다. 학생들에게 먼저 규칙의 구체적인 인스턴스화(예: 항아리의 한쪽은 잼 맛, 다른 쪽에서는 판매가격)를 풀도록 했다. 정확도는 0에 가까웠다. 그런 다음 "if P, 그 다음 Q" 규칙을 해결하는 방법에 대한 최소한의 설명을 제공받았고, 이 규칙 및 기타 논리 규칙(예: "if P, then Q"가 아닌)의 사용과 관련된 일련의 구체적인 문제를 제공받았다. 이러한 일련의 구체적인 연습 문제 때문에, 한 그룹의 학생들이 각각의 카드를 선택하느냐의 이유를 말함으로써 각각의 문제를 해결하는 동안 스스로 설명하도록 유도되었다. 또 다른 그룹의 학생들은 세트의 모든 문제를 해결했고, 그 후에야 그들이 문제를 어떻게 해결했는지 설명해 달라는 요청을 받았다. 대조군 그룹의 학생들은 어떤 시점에서든 자기 설명을 하도록 요청받지 않았다. 연습 문제의 정확도는 세 그룹 모두에서 90% 이상이었다. 그러나 논리적 규칙이 후속 전송 테스트에서 제시된 일련의 추상적 문제에서 인스턴스화되었을 때, 두 자기 설명 그룹은 대조군 그룹보다 실질적으로 우세했다(그림 2 참조). 두 번째 실험에서, 또 다른 대조군은 그들이 방금 해결했던 구체적인 실행 문제와 다가올 추상적인 문제 사이의 논리적 연결에 대해 명확하게 말했지만, 그들은 더 나은 결과를 얻지 못했다.

In the seminal study on self-explanation, Berry (1983) explored its effects on logical reasoning using the Wason card-selection task. In this task, a student might see four cards labeled “A,” “4,” “D,” and “3" and be asked to indicate which cards must be turned over to test the rule “if a card has A on one side, it has 3 on the other side” (an instantiation of the more general “if P, then Q” rule). Students were first asked to solve a concrete instantiation of the rule (e.g., flavor of jam on one side of a jar and the sale price on the other); accuracy was near zero. They then were provided with a minimal explanation about how to solve the “if P, then Q” rule and were given a set of concrete problems involving the use of this and other logical rules (e.g., “if P, then not Q”). For this set of concrete practice problems, one group of students was prompted to self-explain while solving each problem by stating the reasons for choosing or not choosing each card. Another group of students solved all problems in the set and only then were asked to explain how they had gone about solving the problems. Students in a control group were not prompted to self-explain at any point. Accuracy on the practice problems was 90% or better in all three groups. However, when the logical rules were instantiated in a set of abstract problems presented during a subsequent transfer test, the two self-explanation groups substantially outperformed the control group (see Fig. 2). In a second experiment, another control group was explicitly told about the logical connection between the concrete practice problems they had just solved and the forthcoming abstract problems, but they fared no better (28%).


위에 설명된 것처럼, 자기 설명의 핵심 구성 요소는 학생들이 학습 중 처리 과정의 몇 가지 측면을 설명하도록 하는 것입니다. 정교한 질문의 관련 기법에 대한 기본적인 이론적 가정과 일관되게, 자기 설명은 기존의 사전 지식과의 새로운 정보의 통합을 지원함으로써 학습을 강화할 수 있다. 그러나, 정교한 대화 문헌에 사용된 일관된 프롬프트와 비교하여, 자기 설명을 유도하는 데 사용되는 프롬프트는 연구마다 훨씬 더 다양했다. 사용되는 프롬프트의 변화에 따라 자기 설명 효과의 기초가 되는 특정 메커니즘이 다소 다를 수 있습니다. 자가 설명이 나타나는 주요 연속성은 내용 없음과 내용별 등급에 따라 달라집니다. 예를 들어, 많은 연구에서 익힐 자료에서 특정 내용에 대한 명시적인 언급이 없는 프롬프트를 사용했다(예: "문장이 여러분에게 무엇을 의미하는지 설명). 즉, 그 문장은 당신에게 어떤 새로운 정보를 제공하는가? 그리고 여러분이 이미 알고 있는 것과 어떤 관계가 있을까요?") 연속체의 다른 쪽 끝에서, 많은 연구들은 다른 항목에 대해 서로 다른 프롬프트가 사용되는 것과 같이 훨씬 더 콘텐츠에 특정한 프롬프트를 사용했다. "이 단계에서 왜 숫자 14와 분모 7이 되는가?" 현재, 우리는 상대적으로 내용이 없는 프롬프트를 사용한 연구로 우리의 검토를 제한한다. 비록 많은 내용별 프롬프트가 설명을 이끌어내지만, 상대적으로 구조화된 이러한 프롬프트의 특성으로 인해 교사는 학생들이 스스로 사용할 수 있는 보다 일반적인 기법을 포착하기 보다는 실천하기 위해 특정 프롬프트 세트를 구성해야 할 것이다. 더욱이, 자기 설명 문헌에 위치했던 일부 연구에서, 프롬프트의 특성은 연습 시험의 성격과 더 밀접하게 기능한다.

As illustrated above, the core component of self-explanation involves having students explain some aspect of their processing during learning. Consistent with basic theoretical assumptions about the related technique of elaborative interrogation, self-explanation may enhance learning by supporting the integration of new information with existing prior knowledge. However, compared with the consistent prompts used in the elaborative-interrogation literature, the prompts used to elicit self-explanations have been much more variable across studies. Depending on the variation of the prompt used, the particular mechanisms underlying self-explanation effects may differ somewhat. The key continuum along which selfexplanation prompts differ concerns the degree to which they are content-free versus content-specific. For example, many studies have used prompts that include no explicit mention of particular content from the to-be-learned materials (e.g., “Explain what the sentence means to you. That is, what new information does the sentence provide for you? And how does it relate to what you already know?”). On the other end of the continuum, many studies have used prompts that are much more content-specific, such that different prompts are used for different items (e.g., “Why do you calculate the total acceptable outcomes by multiplying?” “Why is the numerator 14 and the denominator 7 in this step?”). For present purposes, we limit our review to studies that have used prompts that are relatively content-free. Although many of the content-specific prompts do elicit explanations, the relatively structured nature of these prompts would require teachers to construct sets of specific prompts to put into practice, rather than capturing a more general technique that students could be taught to use on their own. Furthermore, in some studies that have been situated in the self-explanation literature, the nature of the prompts is functionally more closely aligned with that of practice testing.


여기서 검토를 위해 선택된 일련의 연구들에서도, 상당한 변동성은 사용된 자가 설명 프롬프트에 남아 있다. 더욱이, 자기 설명을 탐구하는 데 사용된 작업과 조치의 범위는 상당히 크다. 이 범위를 문헌의 강점으로 보더라도, 자가 설명 프롬프트, 작업 및 조치의 다양성은 자기 설명 효과를 뒷받침하는 메커니즘에 대한 일반적인 요약 설명을 쉽게 뒷받침하지 않는다.

Even within the set of studies selected for review here, considerable variability remains in the self-explanation prompts that have been used. Furthermore, the range of tasks and measures that have been used to explore self-explanation is quite large. Although we view this range as a strength of the literature, the variability in self-explanation prompts, tasks, and measures does not easily support a general summative statement about the mechanisms that underlie self-explanation effects.


2.2 How general are the effects of self-explanation?


2.3 Effects in representative educational contexts.


2.4 Issues for implementation.


위에서 언급한 바와 같이, 자기 설명 전략의 특별한 강점은 광범위한 태스크 및 콘텐츠 영역에 걸친 광범위한 적용 가능성이다. 또한, 자기 설명의 상당한 효과를 보고하는 거의 모든 연구에서, 실험 과제를 완료하기 전에 참가자들에게 최소한의 지시와 자기 설명으로 거의 또는 전혀 연습하지 않는 최소한의 지시가 제공되었다. 따라서 대부분의 학생들은 최소한의 훈련으로 자기 설명으로 이익을 얻을 수 있다.

As noted above, a particular strength of the self-explanation strategy is its broad applicability across a range of tasks and content domains. Furthermore, in almost all of the studies reporting significant effects of selfexplanation, participants were provided with minimal instructions and little to no practice with self-explanation prior to completing the experimental task. Thus, most students apparently can profit from self-explanation with minimal training.


그러나 일부 학생들은 성공적인 자기 설명을 구현하기 위해 더 많은 교육이 필요할 수 있다. Didierjean과 Cauzinille-Marméche의 연구에서, 대수학이 좋지 않은 9학년생들은 대수학 문제를 해결하면서 자기 설명을 하기 전에 최소한의 훈련을 받았다. 여러 연구에서 최종 테스트 성과와 학습 중 학생들이 생성하는 설명의 양과 질 사이에 긍정적인 상관관계가 보고되었으며, 더 나아가 자가 설명의 이점은 효과적으로 자신을 설명하는 방법을 교육하는 방법을 통해 강화될 수 있다는 것을 암시합니다.ng methods, Ainsworth & Burcham, 2007; R. M. F. Wong 등, 2002을 참조한다. 그러나, 적어도 이러한 연구들 중 일부에서, 더 많거나 더 나은 품질의 자기 설명을 만든 학생들은 더 많은 도메인 지식을 가지고 있었을 수 있다. 만약 그렇다면, 이 기술을 이용한 추가 훈련이 더 형편없는 성적을 낸 학생들에게 도움이 되지 않았을 것이다. 자기 설명의 유효성에 대한 이러한 요인의 기여도를 조사하는 것은 이 기법을 사용하는 방법과 시기에 중요한 영향을 미칠 것이다.

However, some students may require more instruction to successfully implement self-explanation. In a study by Didierjean and Cauzinille-Marmèche (1997), ninth graders with poor algebra skills received minimal training prior to engaging in self-explanation while solving algebra problems; analysis of think-aloud protocols revealed that students produced many more paraphrases than explanations. Several studies have reported positive correlations between final-test performance and both the quantity and quality of explanations generated by students during learning, further suggesting that the benefit of self-explanation might be enhanced by teaching students how to effectively implement the self-explanation technique (for examples of training methods, see Ainsworth & Burcham, 2007; R. M. F. Wong et al., 2002). However, in at least some of these studies, students who produced more or better-quality self-explanations may have had greater domain knowledge; if so, then further training with the technique may not have benefited the more poorly performing students. Investigating the contribution of these factors (skill at self-explanation vs. domain knowledge) to the efficacy of self-explanation will have important implications for how and when to use this technique.


미결 문제는 자가 설명과 관련된 시간 요구 사항과 작업 시간 증가로 인한 자기 설명 효과의 범위에 관한 것입니다. 불행하게도, 자기 설명 조건을 다른 전략이나 활동과 관련된 조건을 통제하기 위해 비교할 때 과제에 대한 시간을 일치시키는 연구는 거의 없었고, 자기 중심적 실무와 관련된 대부분의 연구는 참가자의 직무 시간을 보고하지 않았다. 직무에 대한 보고 시간에서, 자기 중심적인 행정은 보통 다른 조건에 비해 자기 설명 조건에 대해 학습하는 데 소요되는 시간에서 불필요한 증가(30–100%)를 초래했는데, 이는 아마도 높은 수준의 결과일 것이다. 예를 들어, Chi 외 연구진(1994)은 설명문 각각의 문장을 읽은 후 학습자가 스스로 설명하도록 유도했다. 이는 그룹이 대조군(125분, 66분)과 비교하여 텍스트를 연구한 시간을 각각 두 배로 증가시켰다. 그와 함께, 슈worm과 렌클(2006)은 직무 시간이 그룹 간 성과와는 상관관계가 없다고 보고했고, 아인스워스와 버팀목(2007)은 연구 시간에 대한 통제가 자기 설명의 영향을 제거하지는 않았다고 보고했다.

An outstanding issue concerns the time demands associated with self-explanation and the extent to which self-explanation effects may have been due to increased time on task. Unfortunately, few studies equated time on task when comparing selfexplanation conditions to control conditions involving other strategies or activities, and most studies involving self-paced practice did not report participants’ time on task. In the few studies reporting time on task, self-paced administration usually yielded nontrivial increases (30–100%) in the amount of time spent learning in the self-explanation condition relative to other conditions, a result that is perhaps not surprising, given the high dosage levels at which self-explanation was implemented. For example, Chi et al. (1994) prompted learners to self-explain after reading each sentence of an expository text, which doubled the amount of time the group spent studying the text relative to a rereading control group (125 vs. 66 minutes, respectively). With that said, Schworm and Renkl (2006) reported that time on task was not correlated with performance across groups, and Ainsworth and Burcham (2007) reported that controlling for study time did not eliminate effects of self-explanation.


과제 시간이 동일한 소수의 연구들 내에서, 결과는 다소 엇갈렸다. 과제에 대한 시간을 동일시하는 세 가지 연구(d Bruin et al., 2007; de Koning, Tabbers, Rikers & Paas, 2011; O'Lilly, Symons. 이와는 대조적으로 매튜와 리틀 존슨(2009)은 3학년에서 5학년 사이의 그룹에게 자기 설명으로 수학 문제를 해결하는 연습을 시키고 대조군은 자가 설명 없이 두 배의 연습 문제를 해결했다. 분명히, 강력한 규범적 결론을 내리기 전에 자기 설명으로 제공된 책임에 대한 책임을 확립하기 위해 추가적인 연구가 필요하다.

Within the small number of studies in which time on task was equated, results were somewhat mixed. Three studies equating time on task reported significant effects of selfexplanation (de Bruin et al., 2007; de Koning, Tabbers, Rikers, & Paas, 2011; O’Reilly, Symons, & MacLatchy-Gaudet, 1998). In contrast, Matthews and Rittle-Johnson (2009) had one group of third through fifth graders practice solving math problems with self-explanation and a control group solve twice as many practice problems without self-explanation; the two groups performed similarly on a final test. Clearly, further research is needed to establish the bang for the buck provided by self-explanation before strong prescriptive conclusions can be made.



2.5 Self-explanation: Overall assessment.



3 요약

3 Summarization


3.1 General description of summarization and why it should work.


요약과 관련된 문제에 대한 소개로서, 시제품 실험의 설명부터 시작합니다. 브레칭과 쿨하비(1979)는 고교 3학년생들에게 가상의 부족에 대한 2,000단어짜리 글을 공부하도록 했다. 학생들은 5가지 학습 조건 중 하나에 배정되었고 본문을 공부하기 위해 최대 30분을 할애했다. 각 페이지를 읽은 후, 요약 그룹의 학생들은 그 페이지의 주요 내용을 요약한 세 줄의 텍스트를 쓰라는 지시를 받았다. 노트 필기를 하는 그룹의 학생들은, 그들이 읽는 동안 각 페이지의 노트를 3줄까지 읽도록 지시 받았다는 것을 제외하고는 비슷한 지시를 받았다. 언어 복사 그룹에 속한 학생들은 각 페이지에서 가장 중요한 세 줄을 찾아 복사하라는 지시를 받았다. 문자 검색 그룹의 학생들은 본문의 대문자를 모두 베꼈고, 또한 세 줄을 채웠다. 마지막으로, 대조군 그룹의 학생들은 아무것도 기록하지 않고 단순히 텍스트를 읽는다. (글쓰기와 관련된 네 가지 조건의 학생 중 일부는 자신이 쓴 내용을 복습할 수 있었지만, 현재 목적상 우리는 최종 시험 전에 복습할 기회를 얻지 못한 학생들에게 초점을 맞출 것이다.) 학생들은 1주일 후에 학습하거나 시험을 치렀다.원문을 가로질러서 즉시 및 지연된 테스트 모두에서, 요약 및 노트 작성 그룹의 학생들이 가장 잘 수행했고, 서신 검색 그룹에서 가장 나쁜 수행으로 언어 복사 및 제어 그룹의 학생들이 그 뒤를 이었다(그림 3 참조).

As an introduction to the issues relevant to summarization, we begin with a description of a prototypical experiment. Bretzing and Kulhavy (1979) had high school juniors and seniors study a 2,000-word text about a fictitious tribe of people. Students were assigned to one of five learning conditions and given up to 30 minutes to study the text. After reading each page, students in a summarization group were instructed to write three lines of text that summarized the main points from that page. Students in a note-taking group received similar instructions, except that they were told to take up to three lines of notes on each page of text while reading. Students in a verbatim-copying group were instructed to locate and copy the three most important lines on each page. Students in a letter-search group copied all the capitalized words in the text, also filling up three lines. Finally, students in a control group simply read the text without recording anything. (A subset of students from the four conditions involving writing were allowed to review what they had written, but for present purposes we will focus on the students who did not get a chance to review before the final test.) Students were tested either shortly after learning or 1 week later, answering 25 questions that required them to connect information from across the text. On both the immediate and delayed tests, students in the summarization and note-taking groups performed best, followed by the students in the verbatim-copying and control groups, with the worst performance in the letter-search group (see Fig. 3).


브레칭 및 Kulhavy(1979)의 결과는 요약이 자료의 상위 수준의 의미와 요지를 연구하고 추출하는 것을 포함하기 때문에 학습과 유지를 강화한다는 주장에 잘 맞습니다. 실험의 조건은 학습자가 의미를 추출할 필요가 없는 텍스트의 얄팍한 처리와 관련된 문자 검색 조건(Craik & Lockhart, 1972)과 함께 학생들이 얼마나 의미에 대해 처리하는지를 조작하기 위해 특별히 설계되었다. 요약본은 저 얕은 과제보다 더 유익했으며 학습을 촉진하는 것으로 알려진 또 다른 과제인 노트 채닝과 유사한 이익을 낳았다(예: 브레칭 앤 쿨하비, 1981; 1925a). 단, 텍스트의 요점을 추출하는 것은 단순히 개별 구성 요소를 평가하는 것(동일한 방식으로)이 아니라, 학습자가 텍스트의 서로 다른 부분을 연결해야 하기 때문에, 요약은 조직적 처리를 촉진해야 한다.싱; 아인슈타인, 모리스, 스미스. 

Bretzing and Kulhavy’s (1979) results fit nicely with the claim that summarization boosts learning and retention because it involves attending to and extracting the higher-level meaning and gist of the material. The conditions in the experiment were specifically designed to manipulate how much students processed the texts for meaning, with the letter-search condition involving shallow processing of the text that did not require learners to extract its meaning (Craik & Lockhart, 1972). Summarization was more beneficial than that shallow task and yielded benefits similar to those of note-taking, another task known to boost learning (e.g., Bretzing & Kulhavy, 1981; Crawford, 1925a, 1925b; Di Vesta & Gray, 1972). More than just facilitating the extraction of meaning, however, summarization should also boost organizational processing, given that extracting the gist of a text requires learners to connect disparate pieces of the text, as opposed to simply evaluating its individual components (similar to the way in which note-taking affords organizational processing; Einstein, Morris, & Smith, 1985). 


마지막으로 브레칭과 쿨하비(1979)의 결과에 대해 언급해야 한다. 즉, 요약과 메모는 모두 구두 복사보다 더 유익했다. 언어 복사 그룹의 학생들은 여전히 텍스트에서 가장 중요한 정보를 찾아야 했지만, 그들은 그것을 요약으로 통합하거나 그들의 노트에 다시 써넣지 않았다. 따라서, 자신의 말로 중요한 요점을 쓰는 것은 중요한 정보를 선택하는 것보다 더 많은 이점을 낳았다; 학생들은 요약과 고지에 관련된 보다 적극적인 과정으로부터 이익을 얻었다(Wittrock, 1990, Chi, 2009년, Wittgenerative 리뷰 참조). 이 모든 설명은 요약이 학생들이 본문의 주요 아이디어를 식별하고 정리하는 데 도움이 된다는 것을 암시한다.

One last point should be made about the results from Bretzing and Kulhavy (1979)—namely, that summarization and note-taking were both more beneficial than was verbatim copying. Students in the verbatim-copying group still had to locate the most important information in the text, but they did not synthesize it into a summary or rephrase it in their notes. Thus, writing about the important points in one’s own words produced a benefit over and above that of selecting important information; students benefited from the more active processing involved in summarization and notetaking (see Wittrock, 1990, and Chi, 2009, for reviews of active/generative learning). These explanations all suggest that summarization helps students identify and organize the main ideas within a text.


그렇다면 요약이 유익한 학습 전략이라는 증거는 얼마나 강력한가? 이 질문에 답하기 어려운 한 가지 이유는 요약 전략이 여러 가지 연구 방식에서 구현되었기 때문에 그 효과에 대한 일반적인 결론을 도출하기가 어렵다. 프레스리와 동료들은 "요약은 하나의 전략이 아니라 일군의 전략"이라고 언급했을 때 상황을 잘 설명했다. 주어진 특정 지침에 따라, 학생들의 요약은 단일 단어, 문장 또는 더 긴 단락으로 구성될 수 있다. 길이로 제한되거나, 전체 텍스트 또는 일부만 캡처하거나, 기억으로 소리내어 작성할 수 있다.

So how strong is the evidence that summarization is a beneficial learning strategy? One reason this question is difficult to answer is that the summarization strategy has been implemented in many different ways across studies, making it difficult to draw general conclusions about its efficacy. Pressley and colleagues described the situation well when they noted that “summarization is not one strategy but a family of strategies” (Pressley, Johnson, Symons, McGoldrick, & Kurita, 1989, p. 5). Depending on the particular instructions given, students’ summaries might consist of single words, sentences, or longer paragraphs; be limited in length or not; capture an entire text or only a portion of it; be written or spoken aloud; or be produced from memory or with the text present.


실제로 많은 연구가 어떤 형태로든 요약에 포함되었지만, 일부 증거는 요약이 효과가 있다는 것을 보여준다(예: L. W. Brooks, Dansereau, Holly, Holly, 1983). 670)은 오래되지 않습니다. 연구원들은 요약이 언제 어떻게 작동하는지 발견하는데 초점을 맞추는 대신, 그 자체와 훈련 없이 학생들이 더 나은 요약(예: 친구, 2001; Hare & Borchardt)을 쓰도록 훈련시키는 방법을 탐구하는 경향이 있다. 그러나 다른 이들은 단순히 이것을 더 큰 개입의 구성요소로서 포함하는 요약이 효과가 있다고 가정했다. (예: Carr, Bigler, 2009; Lee, Lim, and Grabowski, 2010; Pals). 모든 형태의 요약과 관련된 조사 결과에 대해 결론이 내려질 때 요약은 학생들에게 도움이 되는 것처럼 보이지만, 전략의 한 순간화에 대한 증거는 덜 설득력이 있다.

A lot of research has involved summarization in some form, yet whereas some evidence demonstrates that summarization works (e.g., L. W. Brooks, Dansereau, Holley, & Spurlin, 1983; Doctorow, Wittrock, & Marks, 1978), T. H. Anderson and Armbruster’s (1984) conclusion that “research in support of summarizing as a studying activity is sparse indeed” (p. 670) is not outmoded. Instead of focusing on discovering when (and how) summarization works, by itself and without training, researchers have tended to explore how to train students to write better summaries (e.g., Friend, 2001; Hare & Borchardt, 1984) or to examine other benefits of training the skill of summarization. Still others have simply assumed that summarization works, including it as a component in larger interventions (e.g., Carr, Bigler, & Morningstar, 1991; Lee, Lim, & Grabowski, 2010; Palincsar & Brown, 1984; Spörer, Brunstein, & Kieschke, 2009). When collapsing across findings pertaining to all forms of summarization, summarization appears to benefit students, but the evidence for any one instantiation of the strategy is less compelling.


학생들이 요약하도록 훈련하는 것에 대한 초점은 요약의 질이 중요하다는 믿음을 반영한다. 요약이 텍스트의 주요 요점을 강조하지 않거나 잘못된 정보가 포함된 경우, 학습과 유지에 도움이 될 것으로 예상되는 이유는 무엇입니까? Bednall과 Kehoe(2011, 실험 2)의 연구에 따르면, 학부생들은 서로 다른 논리적인 오류를 설명하고 각각의 예를 제공하는 여섯 개의 웹 단위를 연구했다. 현재 목적에서 관심 있는 것은 두 개의 그룹, 즉 단순히 단위를 읽는 그룹과 학생들이 마치 그것을 친구에게 설명하듯이 내용을 요약하도록 요청 받은 그룹이다. 두 그룹 모두 다음과 같은 시험을 받았다. 웹 단위에 직접 언급된 정보를 테스트한 복수 선택 퀴즈; 제시된 각 진술 목록에 대해 최종적으로 "하나의 특정 오류"를 기재하지 않은 단답형 시험. 학생들이 논리적인 오류에 대한 설명을 연구한 예(근접 전송)와 새로운 예(근접 전송)의 오류에 대한 설명을 쓰도록 요구했는지 테스트합니다. 요약본은 전반적인 성과에 도움이 되지 않았지만 연구원들은 요약본이 내용이 많이 다르다는 것을 알아챘다. 한 번의 연구된 오류에 대해서, 단지 64%만이 정확한 정의를 포함하고 있었다. 표 3은 요약 콘텐츠와 이후 성능 사이의 관계를 보여 줍니다. 더 많은 정보를 포함하고 이전 지식과 연결된 고품질 요약은 더 나은 성능과 관련이 있었다.

The focus on training students to summarize reflects the belief that the quality of summaries matters. If a summary does not emphasize the main points of a text, or if it includes incorrect information, why would it be expected to benefit learning and retention? Consider a study by Bednall and Kehoe (2011, Experiment 2), in which undergraduates studied six Web units that explained different logical fallacies and provided examples of each. Of interest for present purposes are two groups: a control group who simply read the units and a group in which students were asked to summarize the material as if they were explaining it to a friend. Both groups received the following tests: a multiple-choice quiz that tested information directly stated in the Web unit; a short-answer test in which, for each of a list of presented statements, students were required to name the specific fallacy that had been committed or write “not a fallacy” if one had not occurred; and, finally, an application test that required students to write explanations of logical fallacies in examples that had been studied (near transfer) as well as explanations of fallacies in novel examples (far transfer). Summarization did not benefit overall performance, but the researchers noticed that the summaries varied a lot in content; for one studied fallacy, only 64% of the summaries included the correct definition. Table 3 shows the relationships between summary content and later performance. Higher-quality summaries that contained more information and that were linked to prior knowledge were associated with better performance.



3.2 How general are the effects of summarization?


3.3 Effects in representative educational contexts.


3.4 Issues for implementation.


요약은 이미 요약하는 방법을 알고 있는 학부생이나 다른 학습자에게 실현 가능하다. 이러한 학생들에게, 요약은 완성하거나 이해하는 데 많은 시간이 걸리지 않는 쉬운 실행 기법이 될 것이다. 유일한 우려는 이 학생들이 어떤 다른 전략을 통해 더 나은 서비스를 받을 수 있는지의 여부일 것이다. 그러나 분명히, 요약은 학생들이 전형적으로 선호하는 학습 전략(예: 강조 표시 및 재독서)보다 나을 것이다. 더 까다로운 문제는 전문 요약자가 아닌 학생들에게 전략을 적용하는 것과 관련이 있다. 중학생이나 학습장애가 있는 학습자가 요약의 혜택을 받을 수 있도록 상대적으로 집중적인 교육 프로그램이 필요하다. 이러한 노력은 잘못된 것이 아니다. 훈련 절차는 실질적인 문제를 제기하지만(예: 1991년 중등교육 및 중등교육의 경우 Maljria & Salvia, 1992년: 6.5–11시간의 훈련)학습장애를 가진 학생; Rinehart 등, 1986년: 6학년 학생들에게 5일 동안 매일 45-50분씩 교육을 실시함). 물론, 강사들은 요약 자체가 목표이기 때문이 아니라 요약 자체를 연구 기법으로 사용할 계획이기 때문에 학생들이 자료를 요약하기를 원할 수 있고, 그 목표는 훈련의 노력을 할 가치가 있을 수 있다.

Summarization would be feasible for undergraduates or other learners who already know how to summarize. For these students, summarization would constitute an easy-to-implement technique that would not take a lot of time to complete or understand. The only concern would be whether these students might be better served by some other strategy, but certainly summarization would be better than the study strategies students typically favor, such as highlighting and rereading (as we discuss in the sections on those strategies below). A trickier issue would concern implementing the strategy with students who are not skilled summarizers. Relatively intensive training programs are required for middle school students or learners with learning disabilities to benefit from summarization. Such efforts are not misplaced; training has been shown to benefit performance on a range of measures, although the training procedures do raise practical issues (e.g., Gajria & Salvia, 1992: 6.5–11 hours of training used for sixth through ninth graders with learning disabilities; Malone & Mastropieri, 1991: 2 days of training used for middle school students with learning disabilities; Rinehart et al., 1986: 45–50 minutes of instruction per day for 5 days used for sixth graders). Of course, instructors may want students to summarize material because summarization itself is a goal, not because they plan to use summarization as a study technique, and that goal may merit the efforts of training.


그러나 요약본을 학습 기법으로 사용하는 것이 목표라면, 우리의 질문은 교사의 시간 및 학생들의 다른 활동에 필요한 시간 측면에서 모두 교육 시간이 어느 정도 소요될 것인가 하는 것이다. 예를 들어, 효과 면에서, 요약은 다른 기법과 비교했을 때 집합 중간에 있는 경향이 있다. 직접적인 비교에서, 그것은 때때로 재독하는 것보다 더 유용했고, 노트적기만큼 유용했으며, 설명생성 또는 자기질문보다는 덜유용했다.

However, if the goal is to use summarization as a study technique, our question is whether training students would be worth the amount of time it would take, both in terms of the time required on the part of the instructor and in terms of the time taken away from students’ other activities. For instance, in terms of efficacy, summarization tends to fall in the middle of the pack when compared to other techniques. In direct comparisons, it was sometimes more useful than rereading (Rewey, Dansereau, & Peel, 1991) and was as useful as notetaking (e.g., Bretzing & Kulhavy, 1979) but was less powerful than generating explanations (e.g., Bednall & Kehoe, 2011) or self-questioning (A. King, 1992).




3.5 Summarization: Overall assessment.




4 강조와 밑줄긋기

4 Highlighting and underlining


4.1 General description of highlighting and underlining and why they should work.


관련 문제에 대한 소개로서, 시제품 실험의 설명부터 시작합니다. Fowler와 Barker는 학부생들에게 Scientific American and Science의 권태와 도시 생활에 대한 기사를 읽게 했다. 학생들은 세 가지 그룹 중 하나에 배정되었는데, 그들은 기사를 읽기만 하는 대조군 그룹, 그들이 원하는 만큼 텍스트를 강조할 수 있는 능동 강조 그룹, 또는 수동 강조 표시 그룹이다.p. 모든 학생들이 본문을 연구하기 위해 1시간을 받았다. 모든 피험자는 1주일 후에 실험실로 돌아와 54개 항목 객관식 시험을 치르기 전에 10분간 원본을 검토할 수 있었다. 전반적으로, 강조표시 그룹은 최종 테스트에서 대조군보다 높은 성과를 거두지 못했는데, 이 결과는 안타깝게도 대부분의 문헌에서 반영되었다(예: 훈, 1974; Idstein & Jenkins, 1972년).

As an introduction to the relevant issues, we begin with a description of a prototypical experiment. Fowler and Barker (1974, Exp. 1) had undergraduates read articles (totaling about 8,000 words) about boredom and city life from Scientific American and Science. Students were assigned to one of three groups: a control group, in which they only read the articles; an active-highlighting group, in which they were free to highlight as much of the texts as they wanted; or a passive-highlighting group, in which they read marked texts that had been highlighted by yoked participants in the active-highlighting group. Everyone received 1 hour to study the texts (time on task was equated across groups); students in the active-highlighting condition were told to mark particularly important material. All subjects returned to the lab 1 week later and were allowed to review their original materials for 10 minutes before taking a 54-item multiple-choice test. Overall, the highlighting groups did not outperform the control group on the final test, a result that has unfortunately been echoed in much of the literature (e.g., Hoon, 1974; Idstein & Jenkins, 1972; Stordahl & Christensen, 1956).


그러나 두 개의 강조표시 그룹에서 성능에 대한 보다 상세한 분석으로 얻은 결과는 강조표시가 인지 처리에 어떤 영향을 미칠 수 있는지에 대한 정보를 제공한다. 

    • 첫째, 액티브 하이라이트 그룹에서 관련 텍스트가 강조된 테스트 항목에서는 성능이 더 우수했습니다( 비슷한 결과에 대해서는 Blanchard & Mikkelson, 1987; L. L. Johnson, 1988 참조). 

    • 둘째, 강조 표시된 정보에 대한 이 이점은 활성화된 고경사(강조할 항목을 선택한 사람)가 패시브 고경사(동일한 정보가 강조 표시되지만 선택하지 않은 사람)보다 더 큽니다. 

    • 셋째로, 강조하지 않은 정보를 조사하는 시험 문제에는 작은 비용이 수반되었다.

However, results from more detailed analyses of performance in the two highlighting groups are informative about what effects highlighting might have on cognitive processing. First, within the active-highlighting group, performance was better on test items for which the relevant text had been highlighted (see Blanchard & Mikkelson, 1987; L. L. Johnson, 1988 for similar results). Second, this benefit to highlighted information was greater for the active highlighters (who selected what to highlight) than for passive highlighters (who saw the same information highlighted, but did not select it). Third, this benefit to highlighted information was accompanied by a small cost on test questions probing information that had not been highlighted.


이러한 발견을 설명하기 위해, 연구원들은 종종 목록의 의미론적 또는 음성학적으로 독특한 항목이 덜 독특한 것에 비해 훨씬 더 잘 기억되는 분리 효과로 알려진 기본적인 인지 현상을 지적한다. 예를 들어, 학생들이 범주별로 관련된 단어 목록(예: "desk", "bed", "table", "table")을 공부하고 있을 경우, 다른 범주의 단어(예: "cow")가 제시된다.강조하기 위해 "cow"라는 단어가 가구 유형의 단어 목록에서 분리되었을 때와 같은 방식으로 강조되거나 밑줄이 그어진 문장 또는 대문자로 된 문장이 텍스트의 "pop out"가 된다. 이러한 기대와 일관되게, 표시된 텍스트를 읽으면 표시된 자료의 기억력이 향상된다는 많은 연구 결과가 나왔다. 학생들은 실험자가 본문에서 강조하거나 밑줄 친 것들을 기억할 가능성이 더 높다.

To explain such findings, researchers often point to a basic cognitive phenomenon known as the isolation effect, whereby a semantically or phonologically unique item in a list is much better remembered than its less distinctive counterparts (see Hunt, 1995, for a description of this work). For instance, if students are studying a list of categorically related words (e.g., “desk,” “bed,” “chair,” “table”) and a word from a different category (e.g., “cow”) is presented, the students will later be more likely to recall it than they would if it had been studied in a list of categorically related words (e.g., “goat,” “pig,” “horse,” “chicken”). The analogy to highlighting is that a highlighted, underlined, or capitalized sentence will “pop out” of the text in the same way that the word “cow” would if it were isolated in a list of words for types of furniture. Consistent with this expectation, a number of studies have shown that reading marked text promotes later memory for the marked material: Students are more likely to remember things that the experimenter highlighted or underlined in the text (e.g., Cashen & Leicht, 1970; Crouse & Idstein, 1972; Hartley, Bartlett, & Branthwaite, 1980; Klare, Mabry, & Gustafson, 1955; see Lorch, 1989 for a review).


정보를 능동적으로 선택하는 것은 단순히 표시된 텍스트를 읽는 것보다 기억력에 더 도움이 되어야 한다(전자가 생성, 슬라메카 & 그라프, 1978년 및 보다 일반적으로 능동적인 처리의 이점을 이용할 것으로 가정). 표시된 텍스트는 독자의 주의를 끌지만, 독자가 어떤 재료가 가장 중요한지 결정해야 할 경우 추가 처리가 필요하다. 그러한 결정은 독자가 본문의 의미와 본문의 다른 부분들이 서로 어떻게 관련되어 있는지에 대해 생각하도록 요구한다(즉, 조직적인 처리, 헌트 & 워튼, 2006). Fowler 및 Barker(1974) 실험에서 이 이점은 강조 표시된 동일한 텍스트의 수동 수신자보다 능동 고경사 중에서 강조된 정보에 대한 더 큰 장점에 반영되었다. 그러나 실험자가 이미 강조한 자료(예: Nist & Hogrebe, 1987년)보다 능동적인 강조표시가 항상 더 나은 것은 아니다. 실험자들이 일반적으로 가장 중요한 부분을 강조하는 학생들보다 더 나을 수 있기 때문이다.

Actively selecting information should benefit memory more than simply reading marked text (given that the former would capitalize on the benefits of generation, Slamecka & Graf, 1978, and active processing more generally, Faw & Waller, 1976). Marked text draws the reader’s attention, but additional processing should be required if the reader has to decide which material is most important. Such decisions require the reader to think about the meaning of the text and how its different pieces relate to one another (i.e., organizational processing; Hunt & Worthen, 2006). In the Fowler and Barker (1974) experiment, this benefit was reflected in the greater advantage for highlighted information among active highlighters than among passive recipients of the same highlighted text. However, active highlighting is not always better than receiving material that has already been highlighted by an experimenter (e.g., Nist & Hogrebe, 1987), probably because experimenters will usually be better than students at highlighting the most important parts of a text.


보다 일반적으로, 강조표시의 질은 학생들이 배우는 데 도움이 되는지에 매우 중요할 수 있다. 마크된 텍스트의 양을 조사한 연구들은 학생들이 실제로 표시하는 것에 큰 차이를 발견했고, 어떤 학생들은 거의 아무 것도 강조하지 않았고 다른 학생들은 거의 모든 것을 강조했다. (예: Idstein & Jenkins, 1972) 몇 가지 흥미로운 데이터는 파울러와 바커(1974년)의 활동적인 하이라이트 그룹에서 나왔다. 작은 표본 크기(n = 19)를 고려할 때 유의하지 않았지만 테스트 성능은 액티브 하이라이트 그룹에서 강조된 텍스트 양과 부정적인 상관 관계가 있었습니다(r = –.29)

More generally, the quality of the highlighting is likely crucial to whether it helps students to learn (e.g., Wollen, Cone, Britcher, & Mindemann, 1985), but unfortunately, many studies have not contained any measure of the amount or the appropriateness of students’ highlighting. Those studies that have examined the amount of marked text have found great variability in what students actually mark, with some students marking almost nothing and others marking almost everything (e.g., Idstein & Jenkins, 1972). Some intriguing data came from the active-highlighting group in Fowler and Barker (1974). Test performance was negatively correlated (r = –.29) with the amount of text that had been highlighted in the activehighlighting group, although this result was not significant given the small sample size (n = 19).


텍스트를 너무 많이 표시하면 여러 가지 결과가 발생할 수 있습니다. 첫째, 과도하게 표시하면 표시된 텍스트가 다른 텍스트와 구별되는 정도가 줄어들고, 눈에 띄지 않는다면 사람들은 표시된 텍스트를 기억할 가능성이 더 적다. (로치, 로치, & 클레슈비츠, 1995) 둘째, 가장 중요한 세부 사항들을 정리하는 것보다 많은 텍스트를 강조하는 데 더 적은 프로세싱이 필요할 수 있다. 이 후자의 아이디어와 일관되게, 실험자들이 학생들이 표시할 수 있는 텍스트의 양에 명백한 제한을 가할 때 텍스트 표시의 이점이 더 관찰될 수 있다. 예를 들어, 리카드와 8월(1975년)은 한 문단당 한 문장의 밑줄만 긋는 학생들이 나들이 대조군보다 더 많은 과학 교재를 기억해냈다는 것을 발견했다. 비슷하게, L. L. L. Johnson (1988)은 한 단락당 하나의 문장을 표시하는 것이 전반적인 혜택으로 번역되지는 않았지만, 읽기 수업에서 대학생들이 밑줄이 그어진 정보를 기억하는데 도움이 된다는 것을 발견했다.

Marking too much text is likely to have multiple consequences. First, overmarking reduces the degree to which marked text is distinguished from other text, and people are less likely to remember marked text if it is not distinctive (Lorch, Lorch, & Klusewitz, 1995). Second, it likely takes less processing to mark a lot of text than to single out the most important details. Consistent with this latter idea, benefits of marking text may be more likely to be observed when experimenters impose explicit limits on the amount of text students are allowed to mark. For example, Rickards and August (1975) found that students limited to underlining a single sentence per paragraph later recalled more of a science text than did a nounderlining control group. Similarly, L. L. Johnson (1988) found that marking one sentence per paragraph helped college students in a reading class to remember the underlined information, although it did not translate into an overall benefit.



4.2 How general are the effects of highlighting and underlining?


4.3 Effects in representative educational contexts.


4.4 Issues for implementation.


학생들은 이미 강조표시 기술에 익숙하고 자발적으로 채택하고 있다. 문제는 이 기법을 구현하는 방식이 일반적으로 효과적이지 않다는 것이다. 일반적으로 사용되는 기법은 일반적으로 학습에 해로운 것은 아니지만(가능한 예외는 Peterson, 1992 참조), 학생들이 다른 보다 생산적인 전략에 관여하지 못하게 할 정도로 문제가 있을 수 있다.

Students already are familiar with and spontaneously adopt the technique of highlighting; the problem is that the way the technique is typically implemented is not effective. Whereas the technique as it is typically used is not normally detrimental to learning (but see Peterson, 1992, for a possible exception), it may be problematic to the extent that it prevents students from engaging in other, more productive strategies.


탐구되어야 할 한 가지 가능성은 학생들이 더 효과적으로 강조할 수 있도록 훈련 받을 수 있느냐 하는 것이다. 우리는 학생들이 강조할 수 있도록 훈련하는 데 초점을 맞춘 세 가지 연구를 찾아냈다. 이 중 두 가지 경우에서 훈련은 학생들이 텍스트를 표시하기 전에 주요 아이디어를 찾기 위해 텍스트를 읽는 것을 연습하는 하나 이상의 수업을 포함한다. 학생들은 목표 텍스트를 표시(그리고 시험을 받기)하기 전에 연습 본문에 대한 피드백을 받았고 향상된 성과를 훈련했다(예: Amer, 1994; Hayati & Shaciifar, 2009). 세 번째 경우, 학생들은 본문에서 가장 중요한 내용을 밑줄 칠 수 있는 능력에 대한 피드백을 받았다. 한 가지 조건에서, 학생들은 심지어 관련 없는 물질들의 밑줄로 점수를 잃었다. 이 세 가지 사례의 교육 절차는 모두 피드백이 포함되었으며, 모두 기술의 남용을 어느 정도 방지할 수 있었습니다. 학생들이 강조하거나 밑줄을 긋는 것에 대한 열정을 고려할 때(또는 학생들이 이 기법을 항상 올바르게 사용하지 않는다는 점을 고려할 때) 이 기법을 효과적으로 사용하도록 하기 위한 실패할 염려가 없는 방법을 발견하는 것이 다른 학생들에게 완전히 그것을 포기하도록 설득하는 것보다 쉬울 수 있다.

One possibility that should be explored is whether students could be trained to highlight more effectively. We located three studies focused on training students to highlight. In two of these cases, training involved one or more sessions in which students practiced reading texts to look for main ideas before marking any text. Students received feedback about practice texts before marking (and being tested on) the target text, and training improved performance (e.g., Amer, 1994; Hayati & Shariatifar, 2009). In the third case, students received feedback on their ability to underline the most important content in a text; critically, students were instructed to underline as little as possible. In one condition, students even lost points for underlining extraneous material (Glover, Zimmer, Filbeck, & Plake, 1980). The training procedures in all three cases involved feedback, and they all had some safeguard against overuse of the technique. Given students’ enthusiasm for highlighting and underlining (or perhaps overenthusiasm, given that students do not always use the technique correctly), discovering fail-proof ways to ensure that this technique is used effectively might be easier than convincing students to abandon it entirely in favor of other techniques.


4.5 Highlighting and underlining: Overall assessment.



5 키워드 연상법

5 The keyword mnemonic


5.1 General description of the keyword mnemonic and why it works.


한 학생이 라 덴트, 라 클레프, 복수도, 애도자(죽기)와 같은 프랑스 어휘를 배우려고 애쓰는 모습을 상상해보라. 학습을 용이하게 하기 위해 학생들은 앳킨슨과 and(1975년)이 개발한 쌍방향 이미지를 바탕으로 한 기술인 키워드 니모닉을 사용한다. 이 니모닉을 사용하기 위해서, 학생들은 먼저 "라 덴트"의 치과의사나 "라 클리프"의 절벽과 같은 외국 단어와 비슷한 영어 단어를 찾을 것이다. 그 학생은 영어 번역과 상호작용하는 영어 키워드의 정신적인 이미지를 발달시킬 것이다. 그래서, 라 덴트-투스를 위해, 그 학생은 한 쌍의 쟁기로 큰 어금니를 들고 있는 치과의사를 상상할 수 있다. Raugh와 Atkinson (1975년)은 대학생들에게 스페인어-영어 어휘(예: Gusano-worm)를 배우기 위해 키워드를 사용하게 했고, 학생들은 최초로 각 실험자가 제공한 키워드를 연관시켰다. 영어 번역이 포함된 키워드 이후 테스트에서 학생들은 스페인어로 된 큐(예: "구산"-?)를 제시했을 때 영어 번역을 생성하라는 요청을 받았다. 니모닉이라는 키워드를 사용한 학생들은 키워드 없이 번역에 상당하는 것을 연구한 대조군 학생들보다 훨씬 더 잘 수행했다.

Imagine a student struggling to learn French vocabulary, including words such as la dent (tooth), la clef (key), revenir (to come back), and mourir (to die). To facilitate learning, the student uses the keyword mnemonic, which is a technique based on interactive imagery that was developed by Atkinson and Raugh (1975). To use this mnemonic, the student would first find an English word that sounds similar to the foreign cue word, such as dentist for “la dent” or cliff for “la clef.” The student would then develop a mental image of the English keyword interacting with the English translation. So, for la dent–tooth, the student might imagine a dentist holding a large molar with a pair of pliers. Raugh and Atkinson (1975) had college students use the keyword mnemonic to learn Spanish-English vocabulary (e.g., gusano–worm): the students first learned to associate each experimenter-provided keyword with the appropriate Spanish cue (e.g., “gusano” is associated with the keyword “goose”), and then they developed interactive images to associate the keywords with their English translations. In a later test, the students were asked to generate the English translation when presented with the Spanish cue (e.g., “gusano”–?). Students who used the keyword mnemonic performed significantly better on the test than did a control group of students who studied the translation equivalents without keywords.


첫 번째 시연 외에, 키워드 니모닉의 잠재적 이점은 광범위하게 연구되었으며, 그 힘은 부분적으로 인터랙티브 이미지 사용에 있다. 특히 대화형 이미지는 단어를 의미 있게 통합하는 세부 사항을 포함하며, 이미지 자체는 원하는 번역과 다른 후보자를 구별하는 데 도움이 되어야 한다. 예를 들어, 위의 예에서, "큰 어금니"의 이미지는 치과의사(예: 잇몸, 드릴, 솜)와 관련된 다른 후보(예: 잇몸)와 "이두부"를 구별합니다. 다음에 토론할 때, 키워드 니모닉은 다양한 자료에 대한 다양한 나이와 능력을 가진 학생들이 효과적으로 사용할 수 있습니다. 그럼에도 불구하고, 이 문헌에 대한 우리의 분석은 또한 교사들과 학생들에게 그것의 유용성을 제약할 수 있는 키워드 니모닉의 한계를 발견했다. 이러한 한계를 감안하여, 우리는 문헌 검토를 각 변수 범주(표 2)와 관련된 별도의 섹션으로 구분하지 않고 대신 이 기법의 일반성과 관련된 가장 관련성이 높은 근거에 대한 간략한 개요를 제공한다.

Beyond this first demonstration, the potential benefits of the keyword mnemonic have been extensively explored, and its power partly resides in the use of interactive images. In particular, the interactive image involves elaboration that integrates the words meaningfully, and the images themselves should help to distinguish the sought-after translation from other candidates. For instance, in the example above, the image of the “large molar” distinguishes “tooth” (the target) from other candidates relevant to dentists (e.g., gums, drills, floss). As we discuss next, the keyword mnemonic can be effectively used by students of different ages and abilities for a variety of materials. Nevertheless, our analysis of this literature also uncovered limitations of the keyword mnemonic that may constrain its utility for teachers and students. Given these limitations, we did not separate our review of the literature into separate sections that pertain to each variable category (Table 2) but instead provide a brief overview of the most relevant evidence concerning the generalizability of this technique.


5.2 a–d How general are the effects of the keyword mnemonic?


5.3 Effects in representative educational contexts.


5.4 Issues for implementation.


키워드 니모닉에 대한 대다수의 연구는 학생들이 대화형 이미지를 개발하고 나중에 대상을 검색하는데 사용하는 것을 돕는 것을 목표로 하는 적어도 일부(종종 광범위한) 훈련을 포함한다. 교육 외에도, 시행은 학생, 교사, 교과서 설계자에 의한 키워드의 개발이 필요하다. 일부 키워드를 생성하는 데 수반되는 노력은 특히 적어도 하나의 사용하기 쉬운 키워드(즉, 검색 연습, 2007년, Voitz, Morris, Acton)가 다음과 같은 경우 학생(또는 교사)에게는 시간을 가장 효율적으로 사용하지 못할 수 있다.

The majority of research on the keyword mnemonic has involved at least some (and occasionally extensive) training, largely aimed at helping students develop interactive images and use them to subsequently retrieve targets. Beyond training, implementation also requires the development of keywords, whether by students, teachers, or textbook designers. The effort involved in generating some keywords may not be the most efficient use of time for students (or teachers), particularly given that at least one easy-to-use technique (i.e., retrieval practice, Fritz, Morris, Acton, Voelkel, & Etkind, 2007) benefits retention as much as the keyword mnemonic does.


5.5 The keyword mnemonic: Overall assessment.


6 텍스트 학습에 이미지 활용

6 Imagery use for text learning


6.1 General description of imagery use and why it should work.


텍스트 학습을 향상시키기 위한 이미지의 잠재력을 보여주는 한 실험에서, Leutner, Leopold, Sumfleth(2009)는 10학년 학생들에게 물 분자의 쌍극 특성에 관한 장황한 과학 텍스트를 읽도록 35분을 주었다. 학생들은 이해(제어 그룹)를 위해 텍스트를 읽도록 지시받거나 간단하고 명확한 심상을 사용하여 각 단락의 내용을 정신적으로 상상하라는 말을 들었다. 상상력 설명서와 그림이 교차되었다. 일부 학생들은 각 단락의 내용을 나타내는 그림을 그리도록 지시받았고, 다른 학생들은 그림을 그리지 않았다. 읽은 직후, 학생들은 본문에서 직접 정확한 답을 얻을 수 없지만 그것으로부터 추론할 필요가 있는 질문들을 포함한 객관식 시험을 치렀다. 그림 5에서 표시한 대로, 각 단락의 내용을 정신적으로 상상하는 지침은 대조군(Cohen's d =72)의 학생들에 비해 정신 영상 그룹에서 학생들의 이해력 테스트 성과를 크게 향상시켰다. 특히 (a) 교육이 필요하지 않은 경우, (b) 복잡한 과학 콘텐츠와 관련된 텍스트, (c) 학습자에게 콘텐츠에 대한 추론을 하도록 요구하는 기준 시험을 고려할 때, 이러한 효과는 인상적이다. 마지막으로, 그림은 이해를 향상시키지 못했고, 실제로 이미지 지침의 장점을 부정했다. 다른 활동이 이미지의 기능을 방해할 수 있는 잠재성은 아래의 학습 조건(6.2a)에 대한 하위섹션에 자세히 설명되어 있습니다.

In one demonstration of the potential of imagery for enhancing text learning, Leutner, Leopold, and Sumfleth (2009) gave tenth graders 35 minutes to read a lengthy science text on the dipole character of water molecules. Students either were told to read the text for comprehension (control group) or were told to read the text and to mentally imagine the content of each paragraph using simple and clear mental images. Imagery instructions were also crossed with drawing: Some students were instructed to draw pictures that represented the content of each paragraph, and others did not draw. Soon after reading, the students took a multiple-choice test that included questions for which the correct answer was not directly available from the text but needed to be inferred from it. As shown in Figure 5, the instructions to mentally imagine the content of each paragraph significantly boosted the comprehension-test performance of students in the mental-imagery group, in comparison to students in the control group (Cohen’s d = 0.72). This effect is impressive, especially given that (a) training was not required, (b) the text involved complex science content, and (c) the criterion test required learners to make inferences about the content. Finally, drawing did not improve comprehension, and it actually negated the benefits of imagery instructions. The potential for another activity to interfere with the potency of imagery is discussed further in the subsection on learning conditions (6.2a) below.


다양한 메커니즘이 나중에 시험 수행 시 영상 텍스트 자료의 이점에 기여할 수 있다. 이미지를 개발하면 정신 조직이 향상되거나 텍스트에 정보가 통합될 수 있으며, 텍스트에 특정 참조의 특이한 이미지가 학습 능력을 향상시킬 수 있다(cf. 구별되는 처리; Hunt, 2006). 더욱이, 서술의 일관된 표현을 위해 이전의 지식을 사용하는 것은 학생들의 텍스트에 대한 일반적인 이해를 향상시킬 수 있다. 이러한 가능성과 리트너 외 연구진(2009)이 보여준 이미지의 극적인 효과에도 불구하고, 문헌에 대한 우리의 리뷰는 텍스트로부터 배우기 위해 정신적 이미지를 사용하는 효과가 다소 제한적일 수 있고 강력하지 않을 수 있다는 것을 암시한다.

A variety of mechanisms may contribute to the benefits of imaging text material on later test performance. Developing images can enhance one’s mental organization or integration of information in the text, and idiosyncratic images of particular referents in the text could enhance learning as well (cf. distinctive processing; Hunt, 2006). Moreover, using one’s prior knowledge to generate a coherent representation of a narrative may enhance a student’s general understanding of the text; if so, the influence of imagery use may be robust across criterion tasks that tap memory and comprehension. Despite these possibilities and the dramatic effect of imagery demonstrated by Leutner et al. (2009), our review of the literature suggests that the effects of using mental imagery to learn from text may be rather limited and not robust.


6.2 How general are the effects of imagery use for text learning?


6.3 Effects in representative educational contexts.



6.4 Issues for implementation.


대부분의 연구는 학생들이 공부하는 동안 텍스트 콘텐츠의 이미지를 생성하도록 격려한 비교적 간단한 지침을 사용하여 이미지의 영향을 조사해왔다. 이미지가 학습을 저해하지 않는 것처럼 보이기 때문에(일부 조건에서 성능이 향상됨) 선생님들은 학생들에게 상상의 묘사에 쉽게 도움이 되는 글을 읽을 때 이미지를 사용하라고 가르칠 수 있다. 학생들이 적절한 조건에서 이미지를 일관성 있고 효과적으로 사용할 수 있도록 하기 위해 얼마나 많은 교육이 필요할지는 알 수 없다..

The majority of studies have examined the influence of imagery by using relatively brief instructions that encouraged students to generate images of text content while studying. Given that imagery does not appear to undermine learning (and that it does boost performance in some conditions), teachers may consider instructing students (third grade and above) to attempt to use imagery when they are reading texts that easily lend themselves to imaginal representations. How much training would be required to ensure that students consistently and effectively use imagery under the appropriate conditions is unknown.


6.5 Imagery use for learning text: Overall assessment.



7 반복해서 읽기

7 Rereading


7.1 General description of rereading and why it should work.


로스코프(1968년)의 초기 연구에서 대학생들은 설명문(가죽을 만드는 것에 관한 1500단어 또는 호주 역사에 대한 750단어짜리 복도 중 하나)을 0회, 1, 2, 4회 읽었다. 독서는 스스로 진행되었고, 다시 읽혔다. 10분 정도 지연된 후, 내용 단어의 10%가 텍스트에서 삭제되고 학생들은 누락된 단어를 채우도록 하는 클로즈 테스트가 실시되었다. 그림 6과 같이 reading 횟수 함수로 성능이 향상되었습니다.

In an early study by Rothkopf (1968), undergraduates read an expository text (either a 1,500-word passage about making leather or a 750-word passage about Australian history) zero, one, two, or four times. Reading was self-paced, and rereading was massed (i.e., each presentation of a text occurred immediately after the previous presentation). After a 10-minute delay, a cloze test was administered in which 10% of the content words were deleted from the text and students were to fill in the missing words. As shown in Figure 6, performance improved as a function of number of readings.


리딩이 학습을 개선하는 이유는 무엇입니까? 메이어(1983년; 브로마이지 & 메이어, 1986)는 반복읽기 효과에 대한 두 가지 기본 설명을 요약했다. 양적 가설에 따르면, 재독서는 텍스트 내의 정보의 종류나 수준에 관계없이 인코딩된 총 정보의 양을 증가시킨다. 대조적으로, 질적 가설은 재독서가 특히 재독서 중 개념적 구성과 주요 아이디어 처리에 중점을 두고 텍스트 내에서 상위 레벨과 하위 레벨의 정보의 처리에 다르게 영향을 미친다고 가정한다. 이러한 가설을 평가하기 위해, 텍스트 정보의 종류 또는 수준의 함수로 무료 리콜을 검토했다. 결과는 다소 엇갈렸지만, 그 증거는 질적 가설을 지지하는 듯 하다. 비록 몇몇 연구에서 재독이 주요 아이디어의 리콜과 세부사항(양적 가설과 일치하는 결과)에서 유사한 향상을 가져왔지만, 몇몇 연구는 세부 사항의 리콜에서보다 주요 아이디어의 리콜에서 더 큰 향상을 보고했습니다(예:Ch, 1991; Rawson & Kintch, 2005.

Why does rereading improve learning? Mayer (1983; Bromage & Mayer, 1986) outlined two basic accounts of rereading effects. According to the quantitative hypothesis, rereading simply increases the total amount of information encoded, regardless of the kind or level of information within the text. In contrast, the qualitative hypothesis assumes that rereading differentially affects the processing of higher-level and lower-level information within a text, with particular emphasis placed on the conceptual organization and processing of main ideas during rereading. To evaluate these hypotheses, several studies have examined free recall as a function of the kind or level of text information. The results have been somewhat mixed, but the evidence appears to favor the qualitative hypothesis. Although a few studies found that rereading produced similar improvements in the recall of main ideas and of details (a finding consistent with the quantitative hypothesis), several studies have reported greater improvement in the recall of main ideas than in the recall of details (e.g., Bromage & Mayer, 1986; Kiewra, Mayer, Christensen, Kim, & Risch, 1991; Rawson & Kintsch, 2005).



7.2 How general are the effects of rereading?


7.3 Effects in representative educational contexts.


7.4 Issues for implementation.


재독서의 한 가지 장점은 학생들이 그것을 사용하기 위해 교육을 받을 필요가 없다는 것이다. 단, 재독서는 초기 독서 직후가 아니라 중간 지연 후 완료되었을 때 일반적으로 가장 효과적이라는 지시를 받았을 뿐이다. 또한, 일부 다른 학습 기법에 비해서 재독서는 시간 요구에 관해서 상대적으로 경제적입니다(예: 자기 페이스 학습을 허용하는 연구에서 재독서에 소요된 시간은 일반적으로 초기 시간보다 짧습니다). 그러나, 학습 기법의 일대일 비교에서, 재독서는 여기서 논의되는 좀 더 효과적인 기법에 비해서는 덜 효과적이다. 예를 들어, 재독서를 정교한 질문, 자기 설명 및 연습 테스트(아래의 실습 테스트 섹션에서 설명함)에 대한 직접적인 비교는 재독서가 학습 촉진을 위한 열등한 기술임을 일관되게 보여주었다.

One advantage of rereading is that students require no training to use it, other than perhaps being instructed that rereading is generally most effective when completed after a moderate delay rather than immediately after an initial reading. Additionally, relative to some other learning techniques, rereading is relatively economical with respect to time demands (e.g., in those studies permitting self-paced study, the amount of time spent rereading has typically been less than the amount of time spent during initial reading). However, in head-to-head comparisons of learning techniques, rereading has not fared well against some of the more effective techniques discussed here. For example, direct comparisons of rereading to elaborative interrogation, selfexplanation, and practice testing (described in the Practice Testing section below) have consistently shown rereading to be an inferior technique for promoting learning.


7.5 Rereading: Overall assessment.




8 연습문제 풀이

8 Practice testing


8.1 General description of practice testing and why it should work.


테스트 효과를 보여주는 예로서, Runquist(1983)는 학부생들에게 초기 연구를 위한 단어 쌍 목록을 제공했다. 참가자가 충전기 작업을 완료한 짧은 간격 후, 절반의 쌍은 큐드 리콜을 통해 테스트되었으며 나머지 절반은 테스트되지 않았습니다. 참가자들은 10분 또는 1주일 후에 모든 페어에 대해 최종 재호출 테스트를 완료했다. 최종 시험 수행은 연습 시험을 거치지 않은 쌍(10분 후 36%, 1주일 후 4%)보다 더 우수했다. 본 연구는 실무 시험을 수반하고 포함하지 않는 조건 간의 성과를 비교하는 방법을 설명하는 반면에, 많은 다른 연구들은 실무 시험 조건과 습득해야 할 정보의 추가 표시를 포함하는 좀 더 엄격한 조건을 비교했다. 

As an illustrative example of the power of testing, Runquist (1983) presented undergraduates with a list of word pairs for initial study. After a brief interval during which participants completed filler tasks, half of the pairs were tested via cued recall and half were not. Participants completed a final cued-recall test for all pairs either 10 minutes or 1 week later. Final-test performance was better for pairs that were practice tested than pairs that were not (53% versus 36% after 10 minutes, 35% versus 4% after 1 week). Whereas this study illustrates the method of comparing performance between conditions that do and do not involve a practice test, many other studies have compared a practice-testing condition with more stringent conditions involving additional presentations of the to-be-learned information. 


예를 들어, Roediger와 Karpicke(2006b)는 학부생에게 초기 연구를 위한 짧은 설명문 텍스트와 두 번째 연구 시험 또는 실습 프리-레콜 테스트를 차례로 제시하였다. 1주일 후, 무료 리콜은 재입원한 그룹보다 연습 시험을 치른 그룹 중 상당히 더 좋았다. 재학습과 비교할 때 Karpicke와 Roediger(2008)는 한 번 항목이 정확히 기억될 때까지 스와힐리-영어 번역을 통해 학생들이 학습하고 연습하는 데 도움이 되는 능력을 보여 주었다. 첫 번째 정확한 리콜 후 추가 시험 없이 후속 연구 사이클에서만 또는 추가 연구 없이 후속 시험 사이클에서만 항목이 제시되었다. 1주일 후에 실시된 최종 테스트에서의 성과는 지속적인 테스트 후(80%)가 지속적인 연구 후(36%)보다 훨씬 높았다.

For example, Roediger and Karpicke (2006b) presented undergraduates with a short expository text for initial study followed either by a second study trial or by a practice free-recall test. One week later, free recall was considerably better among the group that had taken the practice test than among the group that had restudied (56% versus 42%). As another particularly compelling demonstration of the potency of testing as compared with restudy, Karpicke and Roediger (2008) presented undergraduates with Swahili-English translations for cycles of study and practice cued recall until items were correctly recalled once. After the first correct recall, items were presented only in subsequent study cycles with no further testing, or only in subsequent test cycles with no further study. Performance on a final test 1 week later was substantially greater after continued testing (80%) than after continued study (36%).


연습 테스트가 학습을 개선하는 이유는 무엇입니까? 많은 연구가 시험 효과의 일반성을 확립한 반면, 왜 그것이 학습을 향상시키는지에 대한 이론은 뒤쳐져 왔다. 그럼에도 불구하고, 이론적인 설명은 시험의 직접 효과와 매개 효과로 불리는 두 가지 종류의 시험 효과를 설명하기 위해 점점 더 떠오르고 있다. 

    • 접 효과는 시험 자체의 수행에서 발생하는 학습의 변화를 의미하며, 

    • 개 효과는 시험 후에 발생하는 기회의 양이나 종류의 인코딩에 영향을 주는 학습의 변화를 의미한다(예: 재학습 기회).

Why does practice testing improve learning? Whereas a wealth of studies have established the generality of testing effects, theories about why it improves learning have lagged behind. Nonetheless, theoretical accounts are increasingly emerging to explain two different kinds of testing effects, which are referred to as direct effects and mediated effects of testing (Roediger & Karpicke, 2006a). Direct effects refer to changes in learning that arise from the act of taking a test itself, whereas mediated effects refer to changes in learning that arise from an influence of testing on the amount or kind of encoding that takes place after the test (e.g., during a subsequent restudy opportunity).


최근 Carpenter(2009)는 연습 시험의 직접 효과에 대해 정교한 검색 프로세스를 촉발하여 보존을 강화할 수 있다고 제안했다. 표적 정보를 검색하려고 하면 관련 정보를 활성화하는 장기 기억의 검색이 수반되며, 이 활성화된 정보는 검색 대상과 함께 인코딩될 수 있으며, 이 정보에 대한 다중 경로를 제공하는 정교한 추적을 형성할 수 있다. 이 계정을 지원하기 위해 Carpenter(2011)는 학습자에게 약한 관련 단어 쌍(예: "엄마")을 학습하도록 했습니다.–"하위") 뒤에 추가 스터디 또는 연습 재호출 테스트가 뒤따릅니다. 이후 최종 시험에서 대상 단어에 대한 리콜은 이전에 언급되지 않았지만 강하게 연관된 단어(예: "아버지")를 통해 요청되었다. 연습 테스트 후 수행은 재학습 후보다 더 큰 것으로, 아마도 연습 테스트가 학습 중에 관련 정보가 활성화되고 암호화될 가능성을 증가시켰기 때문일 것이다.

Concerning direct effects of practice testing, Carpenter (2009) recently proposed that testing can enhance retention by triggering elaborative retrieval processes. Attempting to retrieve target information involves a search of long-term memory that activates related information, and this activated information may then be encoded along with the retrieved target, forming an elaborated trace that affords multiple pathways to facilitate later access to that information. In support of this account, Carpenter (2011) had learners study weakly related word pairs (e.g., “mother”–“child”) followed either by additional study or a practice cued-recall test. On a later final test, recall of the target word was prompted via a previously unpresented but strongly related word (e.g., “father”). Performance was greater following a practice test than following restudy, presumably because the practice test increased the likelihood that the related information was activated and encoded along with the target during learning.


연습 시험의 매개 효과와 관련하여, 연습 시험의 조정 효과와 관련하여 Pic와 Rawson은 유사한 설명을 제안했다. 연습 시험이 후속 재학습 기회에서 더 효과적인 중재자의 인코딩을 용이하게 한다고 지적했다(즉, 단서 및 목표를 연결하는 정교한 정보). Pic와 Rawson(2010)은 학습자에게 초기 스터디 블록에서 스와힐리-영어 변환을 제시했으며, 이어서 세 블록을 재학습하고, 참가자의 절반에게는 연습 복습 시험을 선행했습니다. 모든 학습자는 재학습 시마다 키워드 중재자를 생성하고 보고하라는 메시지를 받았습니다. 1주일 후에 시험했을 때 재시험을 치른 학생들과 비교했을 때, 재시험을 치른 학생들은 큐 단어와 함께 프롬프트되었을 때 중재자를 더 잘 기억해냈고 그들의 중재자를 더 잘 기억해낼 수 있었다.

Concerning mediated effects of practice testing, Pyc and Rawson (2010, 2012b) proposed a similar account, according to which practice testing facilitates the encoding of more effective mediators (i.e., elaborative information connecting cues and targets) during subsequent restudy opportunities. Pyc and Rawson (2010) presented learners with Swahili-English translations in an initial study block, which was followed by three blocks of restudy trials; for half of the participants, each restudy trial was preceded by practice cued recall. All learners were prompted to generate and report a keyword mediator during each restudy trial. When tested 1 week later, compared with students who had only restudied, students who had engaged in practice cued recall were more likely to recall their mediators when prompted with the cue word and were more likely to recall the target when prompted with their mediator.


최근의 증거는 또한 연습 시험이 학생들이 정신적으로 정보를 얼마나 잘 구성하고 그들이 개별 항목의 특이한 면을 얼마나 잘 처리하는지, 더 나은 유지와 시험 수행을 지원할 수 있는지를 모두 향상시킬 수 있다는 것을 암시한다. Zaromb 및 Roediger(2010년)는 학습자에게 8개의 스터디 테스트 블록 또는 4개의 무료 테스트 블록에 대해 서로 다른 분류 범주(예: 야채, 의복)의 단어로 구성된 목록을 제공했습니다. 기본 테스트 효과를 재현한 결과, 이틀 후 최종 무료 리콜은 조사 대상(17%)보다 연습 테스트(39%)를 받았을 때 더 컸다. 중요한 것은, 연습 시험 조건 또한 주로 조직화 처리와 특이적 처리를 두드리는 2차 측정에서 연구 조건을 능가했다는 것이다.

Recent evidence also suggests that practice testing may enhance how well students mentally organize information and how well they process idiosyncratic aspects of individual items, which together can support better retention and test performance (Hunt, 1995, 2006). Zaromb and Roediger (2010) presented learners with lists consisting of words from different taxonomic categories (e.g., vegetables, clothing) either for eight blocks of study trials or for four blocks of study trials with each trial followed by a practice free-recall test. Replicating basic testing effects, final free recall 2 days later was greater when items had received practice tests (39%) than when they had only been studied (17%). Importantly, the practice test condition also outperformed the study condition on secondary measures primarily tapping organizational processing and idiosyncratic processing.



8.2 How general are the effects of practice testing?


8.3 Effects in representative educational contexts.


8.4 Issues for implementation.


연습 테스트는 시간 수요에 대해 상대적으로 합리적인 것으로 보인다. 대부분의 연구는 연습 시험에 할당된 시간이 보통이고 재처리를 위해 할당된 시간과 같을 때 연습 시험의 효과를 보여주었다. 연습 시험의 또 다른 장점은 최소한의 훈련으로 실행할 수 있다는 것이다. 학생들은 비교적 간단한 방법으로 리콜 기반의 자가 테스트에 참여할 수 있다. 예를 들어, 학생들은 cued 리콜을 통해 자가 테스트를 할 수 있다. 그 방법으로는

    • 플래시 카드 생성(무료 및 저비용 플래시 카드 소프트웨어도 손쉽게 사용 가능) 

    • 코넬 노트 채점 시스템 사용 (클래스에서 메모를 할 때 빈 칸을 남기고 나중에 노트를 검토할 때 자가 테스트에 사용할 수 있는 참고 사항을 작성한 후 바로 여기에 주요 용어나 질문을 입력하는 것 포함)

Practice testing appears to be relatively reasonable with respect to time demands. Most research has shown effects of practice testing when the amount of time allotted for practice testing is modest and is equated with the time allotted for restudying. Another merit of practice testing is that it can be implemented with minimal training. Students can engage in recall-based self-testing in a relatively straightforward fashion. For example, students can self-test via cued recall 

    • by creating flashcards (free and low-cost flashcard software is also readily available) or 

    • by using the Cornell note-taking system (which involves leaving a blank column when taking notes in class and entering key terms or questions in it shortly after taking notes to use for self-testing when reviewing notes at a later time; for more details, see Pauk & Ross, 2010). 


더 체계적인 형태의 연습 테스트(예: 객관식, 단답식, 빈칸 채움 테스트)는 전자 교과서 장 끝부분에 수록된 연습 문제나 질문을 통해 학생들이 쉽게 이용할 수 있는 경우가 많다. 이렇게 함으로써, 학생들은 시험의 이점이 시험, 용량, 타이밍에 따라 결정된다는 점을 고려할 때, 연습 시험을 가장 효과적으로 사용하는 방법에 대한 몇 가지 기본적인 교육으로부터 이익을 얻을 수 있을 것이다. 위에서 설명한 바와 같이 연습 시험은 검색retrieval과 관련된 경우, 연습 세션 내에서 또는 연습 세션 간에 항목이 한 번 이상 정확하게 답변될 때까지 지속될 경우, 시험이나 세션 사이의 간격이 길어지는 경우 더 효과적이다.

More structured forms of practice testing (e.g., multiple-choice, short-answer, and fill-in-the-blank tests) are often readily available to students via practice problems or questions included at the end of textbook chapters or in the electronic supplemental materials that accompany many textbooks. With that said, students would likely benefit from some basic instruction on how to most effectively use practice tests, given that the benefits of testing depend on the kind of test, dosage, and timing. As described above, practice testing is particularly advantageous when it involves retrieval and is continued until items are answered correctly more than once within and across practice sessions, and with longer as opposed to shorter intervals between trials or sessions.


다른 학습 기법과 관련된 연습 시험의 효과와 관련하여, 몇몇 연구는 개념 매핑, 메모 기록 및 이미지 사용에 대한 연습 시험의 장점을 보여주었다.  그러나 가장 빈번한 비교는 지침되지 않은unguided 재학습에 대한 연습 시험이다. 일반적인 결과는 연습 테스트가 restudy를 능가한다는 것이다이러한 효과는 연습 테스트가 정확한 답의 제시와 관련된 피드백과 함께 수반되는 정도에 따라 다소 달라진다. 비록 많은 연구들이 자기시험이 재학습보다 뛰어나다고 보여주었지만, 일부 연구는 이러한 장점을 발견하지 못했습니다(대부분의 경우 연습 테스트에서 정확도가 상대적으로 낮음). 대조적으로, 재학습에 대한 피드백이 포함된 연습 시험의 장점은 매우 강하다. 또한 피드백을 이용한 연습 테스트는 지속적으로 연습 테스트만 한 것을 능가한다.

Concerning the effectiveness of practice testing relative to other learning techniques, a few studies have shown benefits of practice testing over concept mapping, note-taking, and imagery use (Fritz et al., 2007; Karpicke & Blunt, 2011; McDaniel et al., 2009; Neuschatz, Preston, Toglia, & Neuschatz, 2005), but the most frequent comparisons have involved pitting practice testing against unguided restudy. The modal outcome is that practice testing outperforms restudying, although this effect depends somewhat on the extent to which practice tests are accompanied by feedback involving presentation of the correct answer. Although many studies have shown that testing alone outperforms restudy, some studies have failed to find this advantage (in most of these cases, accuracy on the practice test has been relatively low). In contrast, the advantage of practice testing with feedback over restudy is extremely robust. Practice testing with feedback also consistently outperforms practice testing alone.


연습 시험을 통한 피드백의 구현을 권장하는 또 다른 이유는 연습 시험에서 학생들이 부정확하게 반응할 때 perservation error가 발생하지 않도록 하기 때문이다. 예를 들어, Butler와 Roediger(2008)는 복수 선택 연습 시험이 피드백이 제공되지 않을 때 최종 재호출 시험에서 거짓 대안의 침입을 증가시켰지만, 피드백이 주어졌을 때는 그러한 증가가 관찰되지 않았다. 다행히도 피드백의 수정 효과는 연습 테스트 직후에 제시될 것을 요구하지 않는다. Metcalfe et al. (2009)은 피드백이 Immm-diate보다 지연되었을 때 초기 잘못된 반응에 대한 최종 시험이 실제로 더 낫다는 것을 발견했다. 또한 고무적인 것은 피드백이 높은 신뢰도 오류를 시정하는데 특히 효과적이라는 증거이다(예: 버터필드 & 메트칼프, 2001). 

Another reason to recommend the implementation of feedback with practice testing is that it protects against perseveration errors when students respond incorrectly on a practice test. For example, Butler and Roediger (2008) found that a multiple-choice practice test increased intrusions of false alternatives on a final cued-recall test when no feedback was provided, whereas no such increase was observed when feedback was given. Fortunately, the corrective effect of feedback does not require that it be presented immediately after the practice test. Metcalfe et al. (2009) found that final-test perfor-mance for initially incorrect responses was actually better when feedback had been delayed than when it had been imme-diate. Also encouraging is evidence suggesting that feedback is particularly effective for correcting high-confidence errors (e.g., Butterfield & Metcalfe, 2001).


마지막으로, 연습 테스트 오류가 후속 성능에 미치는 영향은 상대적으로 작다는 점에 주목한다. 종종 영향이 없기도 하며, 연습시험으로 인한 긍정적 효과가 훨씬 더 크다. 따라서 오류에 대한 잠재적 우려는 특히 피드백을 제공할 때 심각한 구현 문제를 구성하지 않는다. 

Finally, we note that the effects of practice-test errors on subsequent performance tend to be relatively small, often do not obtain, and are heavily out-weighed by the positive benefits of testing (e.g., Fazio et al., 2010; Kang, Pashler, et al., 2011; Roediger & Marsh, 2005). Thus, potential concerns about errors do not constitute a serious issue for implementation, particularly when feedback is provided.


마지막으로, 비록 우리가 이 단면의 목적에 맞게 학생들의 연습 테스트 사용에 초점을 맞추었지만, 우리는 강사들이 또한 교실에서의 연습 사용을 늘림으로써 학생들의 학습을 지원할 수 있다는 것에 간단하게 주목한다. 또한 여러 연구는 가끔 보는 긴 시험보다 더 빈번한 종합 평가 관리(예: 학기당 시험 두세 번이 아닌 일주일에 한 번 시험)를 통해 긍정적인 결과를 보고했으며, 그러한 긍정적 효과는 학습 성과뿐만 아니라, 과정 만족도와 보다 빈번한 시험에 대한 선호도와 같은 요인에 대한 학생들의 rating에 대해서도 나타났다.

Finally, although we have focused on students’ use of practice testing, in keeping with the purpose of this monograph, we briefly note that instructors can also support student learning by increasing the use of low-stakes or no-stakes practice testing in the classroom. Several studies have also reported positive outcomes from administering summative assessments that are shorter and more frequent rather than longer and less frequent (e.g., one exam per week rather than only two or three exams per semester), not only for learning outcomes but also on students’ ratings of factors such as course satisfaction and preference for more frequent testing (e.g., Keys, 1934; Kika, McLaughlin, & Dixon, 1992; Leeming, 2002; for a review, see Bangert-Drowns, Kulik, & Kulik, 1991).


8.5 Practice testing: Overall assessment.






9 분산된 연습

9 Distributed practice


9.1 General description of distributed practice and why it should work.


관련 문제를 설명하기 위해, 우리는 학생들이 원래의 세션에서 기준으로 스페인어 단어의 번역본을 학습한 분산 연습에 대한 고전적인 실험의 설명으로 시작한다. (Bahrick, 1979) 그 후 학생들은 6개의 추가 세션에 참여하여 번역을 검색하고 다시 배울 수 있는 기회를 가졌습니다(피드백 제공). 그림 10은 이 연구의 결과를 나타낸다. 제로 스페이싱 조건(그림 10에서 원으로 표현됨)에서 학습 세션은 연속이었고 학습은 6개의 매스 세션에서 빠르게 진행되었다. 1일 조건(그림 10의 제곱으로 표현됨)에서 학습 세션은 1일 간격으로 이루어졌고, 전체 세션에서 거의 모든 것을 망각하게 됩니다(즉, 각 세션에서 첫 번째 테스트에서 수행은 여전히 낮음). 대조적으로, 학습 세션이 30일로 분리되었을 때, 잊어버리는 것은 전체 세션에서 훨씬 더 컸으며, 초기 시험 수행은 심지어 6개의 세션 후에도 다른 두 조건에서 관찰된 수준에 도달하지 못했다. (그림 10의 삼각형 참조) 현재 목적에서 중요한 점은 30일 후 최종 테스트에서 패턴이 역전되어, 30일 후 리러닝 세션이 30일로 분리된 조건에서 변환의 최적 보존이 관찰된다는 것이다. 즉, 가장 많은 중단 시간을 잊어버린 상태로 인해 가장 많은 장기 보존이 이루어졌다. 간격 연습(1일 또는 30일)은 대량 실행(0일)보다 우수했고 지연 시간(30일)이 짧은 기간(1일)보다 길수록 이점이 더 컸다.

To illustrate the issues involved, we begin with a description of a classic experiment on distributed practice, in which students learned translations of Spanish words to criterion in an original session (Bahrick, 1979). Students then participated in six additional sessions in which they had the chance to retrieve and relearn the translations (feedback was provided). Figure 10 presents results from this study. In the zero-spacing condition (represented by the circles in Fig. 10), the learning sessions were back-to-back, and learning was rapid across the six massed sessions. In the 1-day condition (represented by the squares in Fig. 10), learning sessions were spaced 1 day apart, resulting in slightly more forgetting across sessions (i.e., lower performance on the initial test in each session) than in the zero-spacing condition, but students in the 1-day condition still obtained almost perfect accuracy by the sixth session. In contrast, when learning sessions were separated by 30 days, forgetting was much greater across sessions, and initial test performance did not reach the level observed in the other two conditions, even after six sessions (see triangles in Fig. 10). The key point for our present purposes is that the pattern reversed on the final test 30 days later, such that the best retention of the translations was observed in the condition in which relearning sessions had been separated by 30 days. That is, the condition with the most intersession forgetting yielded the greatest long-term retention. Spaced practice (1 day or 30 days) was superior to massed practice (0 days), and the benefit was greater following a longer lag (30 days) than a shorter lag (1 day).


간격을 둔 연습 효과에 대한 많은 이론들이 제안되고 시험되었다. 현재 논의 중인 일부 고객을 고려한다(자세한 검토는 벤자민 & 툴리스, 2010; 세페다 외, 2006 참조). 한 이론은 deficient processing에 대한 생각을 불러 일으켜서, 두 번째 학습 기회 동안의 자료 처리가 원래 학습 일자와 가까운 시기에 이루어진다고 주장한다. 기본적으로, 학생들은 이 같은 활동을 막 끝냈을 때 노트를 다시 읽거나 기억으로부터 무언가를 되찾기 위해 열심히 일하지 않아도 되며, 게다가 그들은 두 번째에 과제의 용이함에 의해 오도되고 그들이 그 자료를 더 잘 안다고 생각할 수도 있다

Many theories of distributed-practice effects have been proposed and tested. Consider some of the accounts currently under debate (for in-depth reviews, see Benjamin & Tullis, 2010; Cepeda et al., 2006). One theory invokes the idea of deficient processing, arguing that the processing of material during a second learning opportunity suffers when it is close in time to the original learning episode. Basically, students do not have to work very hard to reread notes or retrieve something from memory when they have just completed this same activity, and furthermore, they may be misled by the ease of this second task and think they know the material better than they really do (e.g., Bahrick & Hall, 2005). 


다른 이론은 reminding을 포함한다. 즉, 학습할 자료의 두 번째 프레젠테이션은 학습자에게 첫 번째 학습 기회를 상기시키는 역할을 합니다. 이것은 기억력을 향상시키는 것으로 잘 알려진 프로세스로 그것을 retrived하도록 한다(위의 연습 테스트 섹션 참조). 몇몇 연구자들은 통합consolidation에 대해 연구한다. 두 번째 학습 에피소드가 이미 발생한 첫 번째 추적의 통합에서 이점을 얻을 수 있다고 가정한다. 분산된 연습의 영향이 상대적으로 크다면 여기에는 복수의 메커니즘이 기여할 수 있다. 따라서, 특정한 이론들은 종종 효과를 설명하기 위해 메커니즘의 다른 조합을 호출한다.

Another theory involves reminding; namely, the second presentation of to-be-learned material serves to remind the learner of the first learning opportunity, leading it to be retrieved, a process well known to enhance memory (see the Practice Testing section above). Some researchers also draw on consolidation in their explanations, positing that the second learning episode benefits from any consolidation of the first trace that has already happened. Given the relatively large magnitude of distributed-practice effects, it is plausible that multiple mechanisms may contribute to them; hence, particular theories often invoke different combinations of mechanisms to explain the effects.


9.2 How general are the effects of distributed practice?


9.3 Effects in representative educational contexts.


9.4 Issues for implementation.


수업에서 분산 연습을 시행할 때 몇 가지 장애물이 발생할 수 있다. 뎀스터와 패리스(1990년)는 많은 교과서가 관련 자료를 함께 묶고 후속 단위에 포함된 자료를 검토하지 않는다는 점에서 분산 학습을 권장하지 않는다는 흥미로운 점을 지적했다. 실제 교과서(특히 초등학교 수학 교과서, 스티글러, 푸슨, 햄 & 김)에 대한 공식적인 내용 분석은 미국 교과서가 작업중인 문제 전반에 걸쳐 함께 분류되어 있다는 것을 보여주면서 이 주장을 뒷받침했다. 이 교과서들은 또한 구 소련의 비교 가능한 교과서보다 일련의 문제점들을 덜 담고 있었다. 따라서, 학생들이 직면하고 있는 한 가지 문제는 학생들이 분산 연습을 장려하는 방식으로 공부 자료가 되어있지 않을 수도 있다는 것이다.

Several obstacles may arise when implementing distributed practice in the classroom. Dempster and Farris (1990) made the interesting point that many textbooks do not encourage distributed learning, in that they lump related material together and do not review previously covered material in subsequent units. At least one formal content analysis of actual textbooks (specifically, elementary school mathematics textbooks; Stigler, Fuson, Ham, & Kim, 1986) supported this claim, showing that American textbooks grouped to-be-worked problems together (presumably at the end of chapters) as opposed to distributing them throughout the pages. These textbooks also contained less variability in sets of problems than did comparable textbooks from the former Soviet Union. Thus, one issue students face is that their study materials may not be set up in a way that encourages distributed practice.


두 번째 문제는 학생들이 자연스럽게 공부하는 방법을 포함한다. Michael(1991)은 지연procrastination scallop이라는 용어를 전형적인 연구 패턴을 설명하기 위해 사용했다. 즉, 시험이 다가옴에 따라 공부에 소모되는 시간이 늘어난다. 모힌니, 보스토우, 법, 블러멘필드, 홉킨스(1971)는 관찰실에서 공부하는 데 동의한 자원 봉사자들을 이용하여 이 패턴을 기록하여 연구 시간을 기록하도록 했다. 매일의 시험으로, 학생들은 수업 시간 내내 일정한 시간 동안 공부했다. 그러나 시험이 3주에 한 번 실시되었을 때, 시험 바로 직전에 공부하면서 그 간격 동안 공부하는데 드는 시간이 증가했다. (Mawhinney et al., 1971) 다시 말해, 빈번하지 않은 시험은 시험 바로 전에 대량학습을 야기한 반면, 매일의 시험은 효과적으로 장시간에 걸쳐 분포된 학습으로 이어졌다. 그 의미는 상황이 학생들에게 그렇게 하라고 강요하지 않는 한 학생들이 반드시 분산 연습(학습)에 참여하지 않을 것이라는 것이다; 이것이 실용적인 제약 때문인지 혹은 학생들이 분산관행의 기념비적인 이점을 이해하지 못하기 때문인지 불분명하다.

A second issue involves how students naturally study. Michael (1991) used the term procrastination scallop to describe the typical study pattern—namely, that time spent studying increases as an exam approaches. Mawhinney, Bostow, Laws, Blumenfield, and Hopkins (1971) documented this pattern using volunteers who agreed to study in an observation room that allowed their time spent studying to be recorded. With daily testing, students studied for a consistent amount of time across sessions. But when testing occurred only once every 3 weeks, time spent studying increased across the interval, peaking right before the exam (Mawhinney et al., 1971). In other words, less frequent testing led to massed study immediately before the test, whereas daily testing effectively led to study that was distributed over time. The implication is that students will not necessarily engage in distributed study unless the situation forces them to do so; it is unclear whether this is because of practical constraints or because students do not understand the memorial benefits of distributed practice.


학생들이 분산관행의 이점을 이해하고 있는지에 대한 문제에 있어서, 그 자료는 완전히 명확한 것은 아니다. 몇몇 실험실 연구는 짝을 이룬 동료의 반복된 연구를 질량 또는 공간적으로 수행할지에 대한 학생들의 선택을 조사해왔다. 이러한 연구에서 학생들은 일반적으로 학습(massing) 후 거의 즉시 항목을 다시 편집하거나 같은 세션(spacing)에서 해당 항목을 다시 검토하는 것 중에서 선택합니다. 학생들은 어떤 조건(예: 벤자민 & 버드, 2006; 손, 2004)에 따라 연구를 실시하기로 선택하지만, 일반적으로 항목(Pyc, Molosky, 2010; Topposky)을 선택한다. 

With regard to the issue of whether students understand the benefits of distributed practice, the data are not entirely definitive. Several laboratory studies have investigated students’ choices about whether to mass or space repeated studying of paired associates (e.g., GRE vocabulary words paired with their definitions). In such studies, students typically choose between restudying an item almost immediately after learning (massing) or restudying the item later in the same session (spacing). Although students do choose to mass their study under some conditions (e.g., Benjamin & Bird, 2006; Son, 2004), they typically choose to space their study of items (Pyc & Dunlosky, 2010; Toppino, Cohen, Davis, & Moors, 2009). 


이러한 spacing에 대한 편견이 반드시 학생들이 분산 연습의 이점을 이해한다는 것을 의미하지는 않는다(예: 즉시 다시 보고 싶지 않기 때문에 한 쌍의 재학습을 연기할 수 있습니다.) 그리고 한 연구는 학생들이 (심지어 학생들이 간격의 이점을 경험했을 때조차) 그들의 전반적인 학습 수준을 대량 학습한 후에 시간 간격 학습보다 더 높게 평가하는 것을 보여주었다. 다른 최근의 연구들은 학생들이 짧은 간격보다 넓은 간격으로 연습하는 것의 이점을 알지 못한다는 증거를 제공했다.

This bias toward spacing does not necessarily mean that students understand the benefits of distributed practice per se (e.g., they may put off restudying a pair because they do not want to see it again immediately), and one study has shown that students rate their overall level of learning as higher after massed study than after spaced study, even when the students had experienced the benefits of spacing (e.g., Kornell & Bjork, 2008). Other recent studies have provided evidence that students are unaware of the benefits of practicing with longer, as opposed to shorter, lags (Pyc & Rawson, 2012b; Wissman et al., 2012).


요컨대, 실제적 제약과 이 기술의 이점에 대한 학생들의 인식이 부족하기 때문에, 학생들은 약간의 교육이 필요할 수 있고, 일부는 분산 연습이 정보를 배우고 유지하는 좋은 방법이라고 확신하게 된다. 단순히 분산형 연습 효과를 경험하는 것으로는 충분하지 않을 수 있지만, 효과에 대한 지침과 결합된 데모가 학생들에게 더 설득력이 있을 수 있다(예: Balch, 2006).

In sum, because of practical constraints and students’ potential lack of awareness of the benefits of this technique, students may need some training and some convincing that distributed practice is a good way to learn and retain information. Simply experiencing the distributed-practice effect may not always be sufficient, but a demonstration paired with instruction about the effect may be more convincing to students (e.g., Balch, 2006).



9.5 Distributed practice: Overall assessment.




10 교차 연습

10 Interleaved practice


10.1 General description of interleaved practice and why it should work.


인터리브 연습은, 블록 연습과는 반대로, 대학생들에게 다른 기하학적 고체의 볼륨을 계산하도록 가르치는 것을 수반한, Rohrer와 Taylor(2007)가 사용하는 방법을 고려함으로써 쉽게 이해할 수 있다. 학생들은 1주일간 두 번의 연습 시간을 가졌다. 각 연습 시간 동안 학생들은 4가지 종류의 기하학적 고체의 체적을 찾는 방법에 대한 튜토리얼을 제공받았고 16가지 연습 문제(각 고체에 대해 4가지)를 완성했다. 각 연습 문제의 완료 후, 올바른 해결 방법이 10초간 제시되었다. 연습 차단 상태에 있는 학생들은 처음에 주어진 실드의 볼륨을 찾는 것에 관한 자습서를 읽었고, 그 후에 바로 그러한 종류의 실체에 대한 네 가지 연습 문제가 뒤따랐다. 그리고 나서 주어진 고체의 볼륨 문제를 연습한 다음 다음, 고체의 다음 종류에 대한 자습서 및 연습 문제 등을 수행했습니다. 인터리브 연습 그룹에 속한 학생들은 처음에 4개의 자습서를 모두 읽은 다음 모든 연습 문제를 완료했으며, 4개의 연속된 문제 세트마다 각각의 4가지 솔리드 유형에 대해 하나의 문제가 포함되었다는 제약이 있었다. 두 번째 연습이 끝난 일주일 후, 모든 학생들은 네 가지 고체 각각에 대해 두 가지 새로운 문제를 해결한 기준 시험을 치렀다. 연습 세션 중 및 기준 테스트 동안 올바른 응답의 학생들의 백분율은 그림 13에 제시되어 있다. 이는 일반적인 인터리빙 효과를 나타낸다. 연습 중에는, 인터리브 연습보다 블록 연습에서 더 낫지만, 이러한 이점은 테스트 간에 급격하게 역전되었다. 인터리브 연습은 정확도를 43% 향상시켰다.

Interleaved practice, as opposed to blocked practice, is easily understood by considering a method used by Rohrer and Taylor (2007), which involved teaching college students to compute the volumes of different geometric solids. Students had two practice sessions, which were separated by 1 week. During each practice session, students were given tutorials on how to find the volume for four different kinds of geometric solids and completed 16 practice problems (4 for each solid). After the completion of each practice problem, the correct solution was shown for 10 seconds. Students in a blockedpractice condition first read a tutorial on finding the volume of a given solid, which was immediately followed by the four practice problems for that kind of solid. Practice solving volumes for a given solid was then followed by the tutorial and practice problems for the next kind of solid, and so on. Students in an interleaved-practice group first read all four tutorials and then completed all the practice problems, with the constraint that every set of four consecutive problems included one problem for each of the four kinds of solids. One week after the second practice session, all students took a criterion test in which they solved two novel problems for each of the four kinds of solids. Students’ percentages of correct responses during the practice sessions and during the criterion test are presented in Figure 13, which illustrates a typical interleaving effect: During practice, performance was better with blocked practice than interleaved practice, but this advantage dramatically reversed on the criterion test, such that interleaved practice boosted accuracy by 43%.


이러한 인상적인 효과에 대한 한 가지 설명은 인터리빙이 학생들에게 어떤 솔루션 방법(즉, 여러 가지 다른 공식 중 어느 것을 사용해야 하는지)을 식별하는 연습을 제공했다는 것이다(Mayfield & Chase, 2002 참조). 다르게 말하면, 상호간의 연습은 학생들이 각각의 문제에 대해 올바른 해결 방법을 사용할 수 있도록 다른 종류의 문제들을 구별하는 데 도움이 된다.

One explanation for this impressive effect is that interleaving gave students practice at identifying which solution method (i.e., which of several different formulas) should be used for a given solid (see also, Mayfield & Chase, 2002). Put differently, interleaved practice helps students to discriminate between the different kinds of problems so that they will be more likely to use the correct solution method for each one.


연습 중 정확도는 블록 학습을 한 학생이 부분적인 문제(각각 68% 대비 99%)와 전체 문제(98% 대 79%)에 대해 더 컸다. 반면, 1일 후 정확도는 인터리브(Interleaved Practice)를 받은 학생(38%)이 훨씬 높았다. Rohrer와 Taylor(2006)와 마찬가지로, 이러한 패턴에 대한 타당한 설명은 학생들이 다양한 종류의 문제를 구별하고 각각의 문제에 적용할 수 있는 적절한 공식을 배우는데 도움을 주었다는 것이다. 이 설명은 4학년 학생들이 기준 과제 동안 전체 문제를 해결할 때 범한 오류에 대한 자세한 분석에 의해 뒷받침되었다. 제작 오류에는 학생들이 원래 훈련되지 않은 공식(예: b × 8)을 사용한 사례가 포함된 반면, 차별 오류에는 학생들이 연습했지만 문제에 적합하지 않은 네 가지 공식 중 하나를 사용한 사례가 포함된다. 그림 14에서 보듯이, 그 두 그룹은 fabrication 오류에서 다르지 않았다. 그러나 discrimination error는 인터리브보다 블록연습에서 더 흔했다. 인터리브 연습을 한 학생들은 분명히 문제의 종류를 더 잘 구별할 수 있었고, 각각의 문제에 정확한 공식을 일관되게 적용했다.

Accuracy during practice was greater for students who had received blocked practice than for students who had received interleaved practice, both for partial problems (99% vs. 68%, respectively) and for full problems (98% vs. 79%). By contrast, accuracy 1 day later was substantially higher for students who had received interleaved practice (77%) than for students who had received blocked practice (38%). As with Rohrer and Taylor (2006), a plausible explanation for this pattern is that interleaved practice helped students to discriminate between various kinds of problems and to learn the appropriate formula to apply for each one. This explanation was supported by a detailed analysis of errors the fourth graders made when solving the full problems during the criterion task. Fabrication errors involved cases in which students used a formula that was not originally trained (e.g., b × 8), whereas discrimination errors involved cases in which students used one of the four formulas that had been practiced but was not appropriate for a given problem. As shown in Figure 14, the two groups did not differ in fabrication errors, but discrimination errors were more common after blocked practice than after interleaved practiced. Students who received interleaved practice apparently were better at discriminating among the kinds of problems and consistently applied the correct formula to each one.


인터리빙이 어떻게 이러한 이점을 얻을 수 있을까요? 한 가지 설명은 인터리브 연습은 학생들이 다양한 종류의 문제를 더 쉽게 비교할 수 있게 해주기 때문에 조직 처리와 항목별 처리를 촉진한다는 것이다. 예를 들어, Rohrer와 Taylor(2007년)에서는 학생들이 서로 다른 종류의 고체(예: 쐐기)의 볼륨을 비교하기 위해 노력했을 때, 바로 이전의 문제와 관련된 해결책 방법이 여전히 사용되었을 수 있다. 두 문제와 다른 공식 또 다른 가능한 설명은 인터리브 관행에 의해 제공되는 장기 기억으로부터의 분산적 검색을 기반으로 한다. 특히, 차단된 실행의 경우, 작업 완료와 관련된 정보(관련 항목 집합에 대한 문제 해결이든 기억이든)가 작동 메모리에 있어야 하므로 참가자는 해결책을 검색할 필요가 없다. 따라서, 학생이 많은 양의 웨지를 해결하기 위해 문제 블록을 완성하면, 각각의 새로운 문제에 대한 해결책을 작업 기억에서 쉽게 구할 수 있을 것이다. 반대로, 인터리브 연습의 경우 다음 유형의 문제가 제시될 때 해결 방법을 장기 메모리에서 검색해야 한다. 그래서 만약 학생이 단지 쐐기풀의 부피로 문제를 풀고 나서 척추뼈의 볼륨을 풀어야 한다면, 그 혹은 그녀는 기억에서 척추동물의 공식을 찾아내야 한다. 이렇게 지연된 연습 테스트는 검색된 정보에 대한 메모리를 높입니다(자세한 내용은 위의 연습 테스트 섹션을 참조하십시오). 이러한 검색-연습 가설과 구분-대조 가설은 상호 배타적이지 않으며, 다른 메커니즘도 인터리브 실행의 이익에 기여할 수 있다.

How does interleaving produce these benefits? One explanation is that interleaved practice promotes organizational processing and item-specific processing because it allows students to more readily compare different kinds of problems. For instance, in Rohrer and Taylor (2007), it is possible that when students were solving for the volume of one kind of solid (e.g., a wedge) during interleaved practice, the solution method used for the immediately prior problem involving a different kind of solid (e.g., a spheroid) was still in working memory and hence encouraged a comparison of the two problems and their different formulas. Another possible explanation is based on the distributed retrieval from long-term memory that is afforded by interleaved practice. In particular, for blocked practice, the information relevant to completing a task (whether it be a solution to a problem or memory for a set of related items) should reside in working memory; hence, participants should not have to retrieve the solution. So, if a student completes a block of problems solving for volumes of wedges, the solution to each new problem will be readily available from working memory. By contrast, for interleaved practice, when the next type of problem is presented, the solution method for it must be retrieved from long-term memory. So, if a student has just solved for the volume of a wedge and then must solve for the volume of a spheroid, he or she must retrieve the formula for spheroids from memory. Such delayed practice testing would boost memory for the retrieved information (for details, see the Practice Testing section above). This retrieval-practice hypothesis and the discriminative-contrast hypothesis are not mutually exclusive, and other mechanisms may also contribute to the benefits of interleaved practice.


10.2 How general are the effects of interleaved practice?


10.3 Effects in representative educational contexts.


10.4 Issues for implementation.


메이필드와 체이스(2002년)의 결과가 유망할 뿐만 아니라, 그들의 절차는 교실에서의 교사들과 (2009년 시행에 대한 자세한 논의를 위해) 학업을 관리하는 학생들에 의한 인터리브 방식의 실행을 위한 전략을 제공한다. 특히, 주어진 종류의 문제(또는 주제)가 도입된 후, 연습은은 우선 특정 문제에 초점을 맞춰야 한다. 

Not only is the result from Mayfield and Chase (2002) promising, their procedure offers a tactic for the implementation of interleaved practice, both by teachers in the classroom and by students regulating their study (for a detailed discussion of implementation, see Rohrer, 2009). In particular, after a given kind of problem (or topic) has been introduced, practice should first focus on that particular problem. 


다음 종류의 문제가 소개된 후(예: 다른 강의나 학습 시간에), 그 문제가 먼저 실행되어야 한다. 그러나 그것은 이전 세션에서 소개된 다른 사람들과 현 유형의 문제를 연계시키는 추가 연습이 뒤따라야 한다. 각각의 새로운 유형의 문제가 도입될 때, 연습은 학생들이 서로 구별할 것으로 기대되는 다른 세션의 문제들에 대한 연습과 섞여야 한다. (예: 기준 테스트가 여러 유형의 문제를 혼합한 경우, 수업 시간 또는 스터디 세션 동안 이러한 문제를 인터리빙 방식으로 실행해야 합니다.)

After the next kind of problem is introduced (e.g., during another lecture or study session), that problem should first be practiced, but it should be followed by extra practice that involves interleaving the current type of problem with others introduced during previous sessions. As each new type of problem is introduced, practice should be interleaved with practice for problems from other sessions that students will be expected to discriminate between (e.g., if the criterion test will involve a mixture of several types of problems, then these should be practiced in an interleaved manner during class or study sessions). 


인터리브 연습은 블록 연습보다 사용하는 데 시간이 더 걸릴 수 있습니다. 왜냐하면 해결 시간이 종종 인터리브 연습 동안 느리기 때문입니다. 이러한 지연은 discriminative contrast와 같은 다른 프로세스의 채용이 성능을 높일 가능성이 높기 때문입니다. 따라서, 교사들과 학생들은 너무 많은 수정 없이 그들의 일정에 인터리브된 연습들을 통합할 수 있다

Interleaved practice may take a bit more time to use than blocked practice, because solution times often slow during interleaved practice; even so, such slowing likely indicates the recruitment of other processes—such as discriminative contrast—that boost performance. Thus, teachers and students could integrate interleaved practice into their schedules without too much modification.


10.5 Interleaved practice: Overall recommendations.





Closing Remarks


Relative utility of the learning techniques


Implications for research on learning techniques


Implications for students, teachers, and student achievement


Pressley와 동료들은 우수한 전략 사용자 모델을 개발했으며, 다음의 정교한 전략을 사용하는 것이다 "중요한 삶의 목표(즉, 전략)를 달성하는 기술을 알고 있는 것, 언제 그리고 어떻게 그런 방법들을 사용하는지 아는 것... 세상에 대해 갖고 있는 풍부한 비전략적 지식과 함께 이러한 방법을 사용하는 것" 그러나 Pressley, Goodchild 등(1989)은 다음과 같이 언급했다. "많은 학생들이 비효율적인 전략에 전념하고 있습니다. 게다가, 문헌에서 추천되는 기술에 대한 전문적인 평가가 충분하지 않은데, 이런 전략들이 지지자들에 의해 과다하게 판매되고 있다" 우리는 여기에 동의하며 현재의 검토가 기술에 대한 추가적인 과학적 평가 촉진과 관련하여 긍정적인 영향을 미치기를 바란다.

Pressley and colleagues (Pressley, 1986; Pressley, Goodchild, et al., 1989) developed a good-strategy-user model, according to which being a sophisticated strategy user involves “knowing the techniques that accomplish important life goals (i.e., strategies), knowing when and how to use those methods . . . and using those methods in combination with a rich network of nonstrategic knowledge that one possesses about the world” (p. 302). However, Pressley, Goodchild, et al. (1989) also noted that “many students are committed to ineffective strategies . . . moreover, there is not enough professional evaluation of techniques that are recommended in the literature, with many strategies oversold by proponents” (p. 301). We agree and hope that the current reviews will have a positive impact with respect to fostering further scientific evaluation of the techniques.


비효율적인 전략에 대한 학생들의 헌신과 관련하여, 최근의 조사에 따르면, 학생들은 우리가 비교적 실용성이 낮은 것으로 밝혀진 두 가지 전략인 반복읽기와 밑줄긋기의 사용을 가장 자주 지지하는 것으로 나타났다. 그럼에도 불구하고, 몇몇 학생들은 연습 시험을 이용하여 보고하고, 이 학생들은 그것의 사용으로부터 이익을 얻는 것처럼 보인다. 예를 들어, 구룽(2005)은 대학생들에게 입문심리학 강좌에서 강의실 시험 준비에 사용한 전략을 설명하도록 했다. 학생들이 연습 시험을 사용하는 것으로 보고된 빈도는 최종 시험에서 그들의 성적과 상당한 상관관계가 있었다. (Hartwig & Dunlosky, 2012 참조) 연습 테스트가 상대적으로 사용하기 쉽다는 점을 고려할 때, 현재 이 기술을 사용하지 않는 학생들은 그것을 그들의 학습 루틴에 통합할 수 있어야 한다.

Concerning students’ commitment to ineffective strategies, recent surveys have indicated that students most often endorse the use of rereading and highlighting, two strategies that we found to have relatively low utility. Nevertheless, some students do report using practice testing, and these students appear to benefit from its use. For instance, Gurung (2005) had college students describe the strategies they used in preparing for classroom examinations in an introductory psychology course. The frequency of students’ reported use of practice testing was significantly correlated with their performance on a final exam (see also Hartwig & Dunlosky, 2012). Given that practice testing is relatively easy to use, students who do not currently use this technique should be able to incorporate it into their study routine.


왜 많은 학생들이 효과적인 기술을 일관되게 사용하지 않는가? 한 가지 가능성은 학생들이 어떤 기술이 효과적인지 또는 정규 학교 수업 중에 어떻게 효과적으로 사용하는지에 대해 교육받지 못한다는 것이다. 문제의 일부는 교사들 스스로가 다양한 학습 기술의 효과에 대해 듣지 못하고 있다는 것일 수 있다. 교사들이 교육 심리학 수업에서 이러한 기술에 대해 배울 가능성이 가장 높기 때문에, 대부분의 기법이 교육-심리학 교과서에 충분히 다뤄지지 않는다는 것이 드러나고 있다. 우리는 서론에서 6권의 교과서를 조사했다. 그리고 이미지(예: 키워드 니모닉)를 바탕으로 한 니모닉을 제외하고, 어떤 기술도 모든 책에서 다뤄지지 않았다. 더욱이, 이러한 기법들 중 하나 이상을 기술한 교과서의 하위집단에서, 대부분의 경우, 적용 범위는 비교적 미미했고, 특정 기법에 대한 간략한 설명과 그것의 사용, 효과 및 제한에 대한 지침은 비교적 적었다. 따라서, 많은 교사들은 어떤 기술이 가장 잘 작동하고 학생들이 그것들을 사용하도록 훈련시키는 방법에 대한 충분한 소개를 받을 것 같지 않다.

Why don’t many students consistently use effective techniques? One possibility is that students are not instructed about which techniques are effective or how to use them effectively during formal schooling. Part of the problem may be that teachers themselves are not told about the efficacy of various learning techniques. Given that teachers would most likely learn about these techniques in classes on educational psychology, it is revealing that most of the techniques do not receive sufficient coverage in educational-psychology textbooks. We surveyed six textbooks (cited in the Introduction), and, except for mnemonics based on imagery (e.g., the keyword mnemonic), none of the techniques was covered by all of the books. Moreover, in the subset of textbooks that did describe one or more of these techniques, the coverage in most cases was relatively minimal, with a brief description of a given technique and relatively little guidance on its use, effectiveness, and limitations. Thus, many teachers are unlikely getting a sufficient introduction to which techniques work best and how to train students to use them.


두 번째 문제는 학생들에게 콘텐츠와 비판적 사고력을 가르치는 데 프리미엄이 주어지는 반면 효과적인 기술과 학습 방향을 제시하기 위한 전략을 개발하는 데 드는 시간은 더 적다는 것이다. 맥나마라(2010년)가 지적한 바와 같이, "우리 교육 시스템에는 [학생들에게 가장 중요한 것은 컨텐츠 교육]이라는 압도적인 가정이 있다." (원래 341장, 이탤릭체). 여기서 한 가지 우려되는 점은 대부분 감독받는 상태에서 학습한 이전 학년에 잘 하는 학생들이, 나중에 고등학교나 대학처럼 스스로 학습의 많은 부분을 규제할 것으로 기대될 때 어려움을 겪을 수 있다는 것이다. 학생들에게 이러한 기법을 사용하도록 가르치는 것은 콘텐츠 교습에 많은 시간이 걸리지 않을 것이며, 학생들이 학습과 성적에 미치는 영향을 폭넓게 경험할 수 있도록 여러 콘텐츠 영역에 걸쳐 기술의 사용이 지속적으로 가르쳐진다면 가장 유익할 것이다. 

A second problem may be that a premium is placed on teaching students content and critical thinking skills, whereas less time is spent teaching students to develop effective techniques and strategies to guide learning. As noted by McNamara (2010), “there is an overwhelming assumption in our educational system that the most important thing to deliver to students is content” (p. 341, italics in original). One concern here is that students who do well in earlier grades, in which learning is largely supervised, may struggle later, when they are expected to regulate much of their own learning, such as in high school or college. Teaching students to use these techniques would not take much time away from teaching content and would likely be most beneficial if the use of the techniques was consistently taught across multiple content areas, so that students could broadly experience their effects on learning and class grades. 


하지만 이곳에서도 학생들이 가장 효과적인 기술을 사용하도록 훈련시키는 방법에 대한 권고사항은 추가 연구로부터 혜택을 받을 것이다. 한 가지 중요한 이슈는 주어진 기술을 가르칠 수 있는 (또는 배워야 하는) 가장 이른 나이에 관한 것이다. 교사들은 상위 초등학생들이 많은 기술들을 사용할 수 있어야 한다고 기대할 수 있지만, 이 학생들조차 그것들을 가장 효과적으로 시행할 수 있는 방법에 대한 지침이 필요할 수도 있다. 확실히, 학생들이 효과적으로 기술을 사용할 수 있는 자기 규제 능력을 가진 나이(그리고 그들이 그렇게 해야 할 훈련의 양)를 파악하는 것은 미래 연구의 중요한 목표이다. 또 다른 문제는 얼마나 자주 학생들이 재교육을 받거나 이 기법을 사용하기 위해 주의를 기울여야 하는지이다. 일부 학습 기법의 가능성을 감안할 때, 학생들이 이 기법을 사용하도록 교사를 교육시키는 것과 관련된 전문적 발전에 대한 연구는 가치 있을 것이다.

Even here, however, recommendations on how to train students to use the most effective techniques would benefit from further research. One key issue concerns the earliest age at which a given technique could (or should) be taught. Teachers can expect that upper elementary students should be capable of using many of the techniques, yet even these students may need some guidance on how to most effectively implement them. Certainly, identifying the age at which students have the self-regulatory capabilities to effectively use a technique (and how much training they would need to do so) is an important objective for future research. Another issue is how often students will need to be retrained or reminded to use the techniques to ensure that students will continue to use them when they are not instructed to do so. Given the promise of some of the learning techniques, research on professional development that involves training teachers to help students use the techniques would be valuable.


이러한 기술을 사용하도록 학생들을 훈련시키는 것 외에도, 교사들은 그들 중 일부를 그들의 수업 계획에 통합할 수도 있다. 예를 들어, 

  • 새로운 단원을 시작할 때 교사는 이전 단원의 가장 중요한 아이디어에 대한 연습 테스트( 피드백 포함)로 시작할 수 있다. 

  • 학생들이 수학에 관한 한 단원에서 문제를 연습할 때, 최근에 공부한 문제들은 이전 단원의 관련 문제들과 섞일 수 있다. 

  • 교사들은 또한 몇 개의 수업 과정 동안 가장 중요한 개념과 활동을 다시 제시함으로써 분산 관행을 이용할 수 있다. 

  • 수업에서 핵심 개념이나 사실을 소개할 때, 교사들은 학생들에게 정보가 그들에게 어떻게 새로운 것인지, 그것이 그들이 이미 알고 있는 것과 어떻게 관련되는지, 그리고 그것이 사실인지 생각해 보게 함으로써 설명적인 질문에 참여하게 할 수 있다. 

  • 숙제도 이런 많은 기술들을 활용하도록 설계될 수 있다. 이러한 예들(및 시행 하위 절에서 제공된 다른 예)에서 교사는 학생들이 특정 기법을 사용하고 있다는 것을 스스로 인지하고 있는지에 관계없이 학생들이 배울 수 있도록 도와주는 기술을 시행할 수 있다.

Beyond training students to use these techniques, teachers could also incorporate some of them into their lesson plans. For instance, 

  • when beginning a new section of a unit, a teacher could begin with a practice test (with feedback) on the most important ideas from the previous section. 

  • When students are practicing problems from a unit on mathematics, recently studied problems could be interleaved with related problems from previous units. 

  • Teachers could also harness distributed practice by re-presenting the most important concepts and activities over the course of several classes. 

  • When introducing key concepts or facts in class, teachers could engage students in explanatory questioning by prompting them to consider how the information is new to them, how it relates to what they already know, or why it might be true. 

  • Even homework assignments could be designed to take advantage of many of these techniques. In these examples (and in others provided in the Issues for Implementation subsections), teachers could implement a technique to help students learn, regardless of whether students are themselves aware that a particular technique is being used.







 2013 Jan;14(1):4-58. doi: 10.1177/1529100612453266.

Improving Students' Learning With Effective Learning Techniques: Promising Directions From Cognitive and Educational Psychology.

Author information

1
Department of Psychology, Kent State University jdunlosk@kent.edu.
2
Department of Psychology, Kent State University.
3
Department of Psychology and Neuroscience, Duke University.
4
Department of Educational Psychology, Department of Curriculum & Instruction, and Department of Psychology, University of Wisconsin-Madison.
5
Department of Psychology, University of Virginia.

Abstract

Many students are being left behind by an educational system that some people believe is in crisis. Improving educational outcomes will require efforts on many fronts, but a central premise of this monograph is that one part of a solution involves helping students to better regulate their learning through the use of effective learning techniques. Fortunately, cognitive and educational psychologists have been developing and evaluating easy-to-use learning techniques that could help students achieve their learning goals. In this monograph, we discuss 10 learning techniques in detail and offer recommendations about their relative utility. We selected techniques that were expected to be relatively easy to use and hence could be adopted by many students. Also, some techniques (e.g., highlighting and rereading) were selected because students report relying heavily on them, which makes it especially important to examine how well they work. The techniques include elaborative interrogation, self-explanation, summarization, highlighting (or underlining), the keyword mnemonic, imagery use for text learning, rereading, practice testing, distributed practice, and interleaved practice. To offer recommendations about the relative utility of these techniques, we evaluated whether their benefits generalize across four categories of variables: learning conditions, student characteristics, materials, and criterion tasks. Learning conditions include aspects of the learning environment in which the technique is implemented, such as whether a student studies alone or with a group. Student characteristics include variables such as age, ability, and level of prior knowledge. Materials vary from simple concepts to mathematical problems to complicated science texts. Criterion tasks include different outcome measures that are relevant to student achievement, such as those tapping memory, problem solving, and comprehension. We attempted to provide thorough reviews for each technique, so this monograph is rather lengthy. However, we also wrote the monograph in a modular fashion, so it is easy to use. In particular, each review is divided into the following sections: General description of the technique and why it should work How general are the effects of this technique?  2a. Learning conditions  2b. Student characteristics  2c. Materials  2d. Criterion tasks Effects in representative educational contexts Issues for implementation Overall assessment The review for each technique can be read independently of the others, and particular variables of interest can be easily compared across techniques. To foreshadow our final recommendations, the techniques vary widely with respect to their generalizability and promise for improving student learning. Practice testing and distributed practice received high utility assessments because they benefit learners of different ages and abilities and have been shown to boost students' performance across many criterion tasks and even in educational contexts. Elaborative interrogation, self-explanation, and interleaved practice received moderate utility assessments. The benefits of these techniques do generalize across some variables, yet despite their promise, they fell short of a high utility assessment because the evidence for their efficacy is limited. For instance, elaborative interrogation and self-explanation have not been adequately evaluated in educational contexts, and the benefits of interleaving have just begun to be systematically explored, so the ultimate effectiveness of these techniques is currently unknown. Nevertheless, the techniques that received moderate-utility ratings show enough promise for us to recommend their use in appropriate situations, which we describe in detail within the review of each technique. Five techniques received a low utility assessment: summarization, highlighting, the keyword mnemonic, imagery use for text learning, and rereading. These techniques were rated as low utility for numerous reasons. Summarization and imagery use for text learning have been shown to help some students on some criterion tasks, yet the conditions under which these techniques produce benefits are limited, and much research is still needed to fully explore their overall effectiveness. The keyword mnemonic is difficult to implement in some contexts, and it appears to benefit students for a limited number of materials and for short retention intervals. Most students report rereading and highlighting, yet these techniques do not consistently boost students' performance, so other techniques should be used in their place (e.g., practice testing instead of rereading). Our hope is that this monograph will foster improvements in student learning, not only by showcasing which learning techniques are likely to have the most generalizable effects but also by encouraging researchers to continue investigating the most promising techniques. Accordingly, in our closing remarks, we discuss some issues for how these techniques could be implemented by teachers and students, and we highlight directions for future research.

PMID:
 
26173288
 
DOI:
 
10.1177/1529100612453266


+ Recent posts