고등교육에서 성취와 관련된 변인들: 메타분석의 체계적 고찰(Psychol Bull, 2017)

Variables Associated With Achievement in Higher Education: A Systematic Review of Meta-Analyses

Michael Schneider and Franzis Preckel

University of Trier

효과적인 고등 교육 설계의 핵심 질문은 학생들의 학업 성취의 원천에 관한 것이다. 어떤 학생, 선생님, 그리고 가르침의 특성이 다른 사람들보다 더 높은 학습 성과와 관련이 있는가? 

A key question in the design of effective higher education concerns the sources of students’ academic achievement. Which characteristics of students, teachers, and instruction are associated with higher learning outcomes than others? 

우리의 연구에서 우리는 학문적 성취의 정의를 사용한다. 

In our study, we use this definition of academic achievement: 

"교육 환경(특히 학교 및 대학)에서의 활동의 초점인 특정 목표를 달성했음을 나타내는 성과 결과.

 학업 성취도를 나타내는 많은 기준들 중에서, 교육 시스템에서 습득한 절차적, 선언적 지식과 같은 매우 일반적인 지표들이 있다. 또는 교육 성취도 시험에서의 성적이나 성과와 같은 커리큘럼 기반 기준도 있다." (Steinmayr, Meißner, Weidinger, & Waswein, 2014).

“. . . performance outcomes that indicate the extent to which a person has accomplished specific goals that were the focus of activities in instructional environments, specifically in school, college, and university [. . .] 

Among the many criteria that indicate academic achievement, there are very general indicators such as procedural and declarative knowledge acquired in an educational system [and] more curricular-based criteria such as grades or performance on an educational achievement test” (Steinmayr, Meißner, Weidinger, & Wirthwein, 2014).

메타분석과 표준화 효과크기

Meta-Analyses and Standardized Effect Sizes

성취에 관한 기존 메타분석 고찰

Previous Reviews of Meta-Analyses on Achievement

고등교육은 어떻게 다른가?

How Different is Higher Education?

국제표준교육분류(UNESCO, 2012)와 유럽자격제도(European Commission, 2008)에서 기술된 바와 같이, 초등교육과 중등교육은 학생들에게 후년에 많은 분야에서 중요한 광범위한 기본 지식과 기술을 제공하는 것을 목표로 한다. 

As described in the International Standard Classification of Education (UNESCO, 2012) and in the European Qualifications Framework (European Commission, 2008), primary and secondary education aim at providing students with broad sets of basic knowledge and skills that are important in many areas in later life. 

대조적으로, 3차 교육은 [복잡한 프로젝트의 관리, 예측할 수 없는 업무 환경에서 의사 결정, 다른 이들의 전문적 발전에 대한 책임감]과 같은 몇몇 분야의 일반적인 능력과 함께 특정 콘텐츠 영역에서 고급 지식을 학생들에게 제공하는 것을 목표로 한다. 대학과 대학은 초, 중, 고등학교보다 선택적이다. 

In contrast, tertiary education aims at equipping students with advanced knowledge in a specific content domain, along with general competencies in several areas, such as management of complex projects, decision making in unpredictable work contexts, and taking responsibility for the professional development of others. Universities and colleges are more selective than primary, middle, and high schools. 

대학과 대학생들은 학교 학생들보다 더 긴 학습 역사, 더 많은 축적된 학업적 지식과 기술, 그리고 공식 교육에 대한 더 많은 경험을 가지고 있다. 고등교육기관의 강의는 학교 수업보다 더 규모가 큰 경향이 있다.

University and college students have a longer learning history, more accumulated academic knowledge and skills, and more experience with formal education than school students. Lecture classes in higher educational institutions tend to be larger than school classes.

Debates and Open Questions in Research on Higher Education

The Current Study

요컨대, 고등교육의 성취와 관련된 변수들에 대한 풍부한 경험적 발견에도 불구하고, 이러한 결과는 아직 종합적으로 검토되고 통합되지 않았다.

In sum, despite the wealth of empirical findings on the variables associated with achievement in higher education, these results have not yet been reviewed and synthesized comprehensively.

Method

Literature Search and Selection Criteria

Extraction of Effect Sizes and Coding

Results

Characteristics of the Included Meta-Analyses

Characteristics of the Included Effect Sizes

Instruction variables 

• Social interaction 

• Stimulating meaningful learning 

• Assessment 

• Presentation 

• Technology 

• Extracurricular training programs 

Student variables 

• Intelligence and prior achievement

• Strategies 

• Motivation 

• Personality Context 

고찰

Discussion

효과크기 비교: 주의할 점

Comparing Effect Sizes: A Cautionary Note

핵심 결과

Ten Cornerstone Findings

다음에서, 우리는 연구의 핵심 결과에 대해 토론한다. 우리는 고의적으로 105개의 효과크기의 비교에서 명백하게 드러난 학습과학의 중심 주제나 고등교육에 대한 연구의 진행 중인 토론에 관한 10개의 초석 조사 결과를 포함시키는 것에 한정한다. 토론을 10개의 핵심 포인트로 제한함으로써, 우리는 메타분석이 포함된 38개의 중복을 피하고 우리의 105개 변수들에 대한 5,460개의 쌍방향 비교에 대한 포괄적인 논의를 제시하는 것이 불가능하다는 사실을 인정하려고 노력한다.

In the following, we discuss central findings of our study. We deliberately limit ourselves to covering 10 cornerstone findings, which have become apparent from the comparison of the 105 effect sizes and concern central topics in the learning sciences or ongoing debates in the research on higher education. By limiting the discussion to 10 key points, we try to avoid redundancies with the 38 included meta-analyses and to acknowledge the fact that it is impossible to present a comprehensive discussion of all possible 5,460 pairwise comparisons of our 105 variables.

1. 무엇이 고등교육을 효과적으로 만드는가에 관한 광범위한 경험적 증거가 있다.

1. There is broad empirical evidence related to the question what makes higher education effective.

문헌 데이터베이스에서 볼 수 있듯이, 고등교육에 관한 오래된 간행물은 주로 이론적 접근법을 사용하였고, 경험적 연구를 무시하였다. 이것은 완전히 바뀌었다. 체계적 검토에서는 총 1,920,239명의 학생이 참여한 정량적 경험적 연구에서 3,330개의 효과 크기를 종합한다. 

As can be observed from literature databases, the older publications about higher education mainly used theoretical approaches and neglected empirical research. This has thoroughly changed. In our systematic review, we synthesize 3,330 effect sizes from quantitative empirical studies involving a total of 1,920,239 students. 

고등교육의 교사들은 이러한 발견을 교과 과정의 준비와 전달에 사용함으로써 과목을 더 효과적으로 만들 수 있다. 이용 가능한 연구와 메타분석의 방법론적인 질은 혼합되어 있으며 경험적인 발견의 해석에서 고려될 필요가 있다.

Teachers in higher education can make their courses more effective by using these findings in the preparation and delivery of their courses. The methodological quality of the available studies and meta-analyses is mixed and needs to be considered in the interpretation of the empirical findings.

2. 대부분의 교수법은 긍정적인 효과 크기를 가지고 있지만, 어떤 교수법은 다른 교수보다 훨씬 더 큰 효과 크기를 가지고 있다.

2. Most teaching practices have positive effect sizes, but some have much larger effect sizes than others.

조사된 105개 변수 중 87%는 적어도 작은 효과 크기를 가지고 있다(표 3 참조). 따라서, 대부분의 교수법과 학습자 특성은 체계적으로 성취와 관련이 있다. 해티(2009년)는 이미 일반적인 교육에 대해 유사한 관찰을 했다. 

Of the 105 investigated variables, 87% have at least a small effect size (see Table 3). Thus, most teaching practices and learner characteristics are systematically related to achievement. Hattie (2009) already made a similar observation for education in general. 

해티가 경고한 대로, 교사가 어떤 교수법이나 도구를 사용하든, 교사들은 성과에 대한 영향을 관찰할 것이며, 가르침이 최적의 효과를 준다고 결론을 내릴 수 있다. 이것은 어떤 교수법도 허용될 수 있다는 견해로 이어질 수 있다. 그러나 일부 효과 크기는 다른 것보다 훨씬 크기 때문에 이러한 관점은 잘못된 것이다. 

As Hattie warned, teachers using almost any instructional method or tool might observe an impact on achievement and conclude that their instruction has an optimal effect. This could lead to the view that any teaching approach is acceptable. This perspective is wrong because some effect sizes are much larger than others. 

진짜 문제는 특정 교육적 방법이 성과에 영향을 미치는지의 여부가 아니라 대안적 접근법보다 효과적 크기가 더 높은지의 여부다. 메타분석에 대한 리뷰는 이 정보를 제공한다.

The real question is not whether an instructional method has an effect on achievement but whether it has a higher effect size than alternative approaches. Reviews of meta-analyses provide this information.

3. 과목의 효과성은 교사들이 무엇을 하는가와 밀접한 관련이 있다.

3. The effectivity of courses is strongly related to what teachers do.

주로 학교 학습에 초점을 둔 성취의 상관성에 대한 메타분석의 이전 리뷰에서는 [근위 변수(=교사와 학생이 수업 중에 무엇을 하고 생각하는지)]가 학교 인구통계나 주 정책과 같은 [원위 변수]보다 성취와 더 밀접하게 관련이 있다는 것을 발견했다. (Hattie, 2009, P. 22; Kuliki) & Kulik, 1989; Wang et al., 1993b, 페이지 74). 

Previous reviews of the meta-analyses on the correlates of achievement, which mainly focused on school learning, found that proximal variables, that describe what teachers and students do and think during a lesson, are more closely related to achievement than distal variables, such as school demographics or state policies (Hattie, 2009, p. 22; Kulik & Kulik, 1989; Wang et al., 1993b, p. 74). 

고등교육에 대한 우리의 결과는 간접적으로 이 결론을 뒷받침한다. 사회적 상호작용, 의미 있는 학습 자극, 프리젠테이션에 속하는 많은 변수들은 예를 들어, [닫힌 질문 대신 개방형 질문을 하거나] [프레젠테이션 슬라이드에 절반 문장이 아닌 몇 개의 키워드를 쓰는 것]과 같은 특정한 형태의 선생님 행동과 관련된다. 

Our results for higher education indirectly support this conclusion. Many variables in the categories [social interaction, stimulating meaningful learning, and presentation] relate to specific forms of teacher behavior, for example, asking open-ended questions instead of close-ended ones or writing a few keywords instead of half sentences on presentation slides. 

이 디테일한 수준의 세밀한 부분을 교육의 미세구조라고 부르기도 한다. 효과적인 교육을 위해 교사들은 수업의 미세 구조에 주의를 기울여야 한다(Dumont & Istance, 2010).

This fine-grained level of detail is sometimes called the microstructure of instruction. To be effective, teachers need to pay attention to the microstructure of their courses (Dumont & Istance, 2010).

무작위 대조 시험의 인과 증거를 명시적으로 보고하는 포함된 메타 분석 중 다수는 교육의 미세구조적 요소를 조사했는데, 이는 이러한 요소가 실험 설계에서 조작하기 쉽기 때문이다. 교사와 관련된 인과관계의 근거는 학생과 관련된 내용, 숙달 학습, 개념 지도, 지능형 개인교습 시스템, 빈번한 시험, 시각화 설명 및 애니메이션에 관한 내용을 다루는 것 등이 있다(표 1 참조).

Many of the included meta-analyses that explicitly report causal evidence from randomized controlled trials investigated elements of the microstructure of instruction, because these elements are easy to manipulate in experimental designs. Evidence on causal relations was reported for the teacher 

• relating content to students, 

• mastery learning, 

• concept maps, 

• intelligent tutoring systems, 

• frequent testing, 

• spoken explanation of visualizations, and 

• animations (see Table 1).

도입부에서 설명한 바와 같이, 교육방식의 선택이 K-12 학교교육에서와 같이 고등교육에서도 중요한지 여부에 대한 질문이 있었다. 무엇보다, (고등교육에서) 선생님들과 학생들은 평균 이상의 적성과 기술을 가진 매우 선별적인 그룹이다. 우리의 리뷰는 심지어 고등교육에서도 교수법의 선택이 성취에 상당한 영향을 미친다는 것을 보여준다.

As described in the introduction, it has been asked whether the choice of teaching methods is as important in higher education as it is in K–12 school education. After all, teachers and students are highly select groups with above average aptitude and skills. Our review indicates that even in higher education the choice of teaching methods has substantial effects on achievement.

4. 교수법의 효과성은 교수법의 시행방법에 따라 달라진다.

4. The effectivity of teaching methods depends on how they are implemented.

교사들이 미시적 수준에서 무엇을 할 뿐만 아니라 그들이 정확히 어떻게 그것을 하느냐가 성과에 결정적인 영향을 미친다. 우리가 검토한 모든 메타분석 중에서, 95%는 적어도 하나의 중요한 moderator 효과를 발견했다. 

It is not only what teachers do on the microlevel but also how exactly they do it that critically affects achievement. Of all the meta-analyses in our review, 95%found at least one significant moderator effect. 

• 예를 들어 질문을 할 때 닫힌 질문보다 개방형 질문을 하는 것이 더 효과적이다(Redfield & Rousseau, 1981) 

• 몇 개의 키워드가 있는 프레젠테이션 슬라이드가 절반의 문구나 전체 문장이 있는 프레젠테이션 슬라이드보다 더 효과적이다(Adesope & Nesbit, 2012). 

• 개념 맵은 중심적인 아이디어만을 묘사하고 세부 사항을 제공하지 않을 때 더 효과적이다(Nesbit & Adesope, 2006). 

• 교사가 세심하게 준비하고 세심하게 감독하는 학생 프로젝트는 순수한 (혼자) 발견 학습을 요구하는 학생 프로젝트보다 훨씬 더 효과적이다(Alfieri et al., 2011). 

• 정적 시각화(예: 사진, Reinwein, 2012)보다 동적 시각화(예: 필름)에서는 사진에 대한 서면 설명보다 구두 설명을 제공하는 것이 더 효과적이다. 

• 많은 메타분석들은 지시 방법의 효과성에 대한 둘 이상의 진행자를 확인하였다. 예를 들어, 문제 기반 학습에 대한 메타 분석은 다양한 moderator 변수 수준의 48 효과 크기를 보고한다(Dochy et al., 2003).

• For example, when asking questions it is more effective to ask open-ended than close-ended questions (Redfield & Rousseau, 1981). 

• Presentation slides with a few written keywords are more effective than presentation slides with written half sentences or full sentences (Adesope & Nesbit, 2012). 

• Concept maps are more effective when they only depict central ideas and give no details (Nesbit & Adesope, 2006). 

• Student projects that are prepared carefully and supervised closely by a teacher are much more effective than student projects requiring pure discovery learning (Alfieri et al., 2011). 

• Giving an oral rather than a written explanation of a picture is more effective for dynamic visualizations (e.g., a film) than for static visualizations (e.g., a photograph; Reinwein, 2012). 

• Many meta-analyses identified more than one moderator of the effectivity of an instructional method. For example, a meta-analysis on problem-based learning reports 48 effect sizes for the levels of various moderator variables (Dochy et al., 2003).

이는 마이크로 레벨에서 구현되는 방법에 따라 동일한 교육 방법이 달성에 더 강하거나 더 약한 영향을 미칠 수 있음을 보여준다. 표 1에 제시된 것과 같은 교수법의 평균 영향에 대한 메타 분석 결과는 효과적인 클래스 설계에 충분하지 않다. 교육자들은 moderator 효과를 고려해야 하며, 궁극적으로는 효과적인 방법을 구현하는 데 필요한 실질적인 기술이 필요하다.

This shows that the same instructional method can have stronger or weaker effects on achievement, depending on how it is implemented on the microlevel. Meta-analytical results on the average effects of a teaching method, such as the ones provided in Table 1, do not suffice for designing effective classes. Educators should consider the moderator effects, and ultimately, they need the practical skills required for implementing effective methods in effective ways.

(36개의 경험적 연구의 문헌 리뷰에서 결론지은 대로) 다행히도 고등교육에서 교사들을 위한 훈련 프로그램은 그들의 교실 행동, 기술, 태도에 광범위한 이로운 영향을 미칠 수 있다(Stes, Min-Leliveld, Gijbels, and van Petgem, 2010 

Fortunately, training programs for teachers in higher education can have broad beneficial effects on their classroom behavior, skills, and attitudes, as concluded in a literature review of 36 empirical studies (Stes, Min-Leliveld, Gijbels, & van Petegem, 2010). 

교사들이 교육 단위의 세부사항에 대한 비디오 및 동료 피드백을 받는 마이크로티칭 및 이와 유사한 접근방식과 같은 교육 방법은 특히 고등 교육 내부(Brinko, 1993; Johannes & Seidel, 2012; Remesh, 2013) 및 외부(Fukink, Trienkens, 2011; Hattie, 2009)에서 긍정적인 효과를 가진다. 

Training methods such as microteaching and similar approaches, where teachers receive both video and colleague feedback on the details of an instructional unit, have particularly strong positive effects inside (Brinko, 1993; Johannes & Seidel, 2012; Remesh, 2013) and outside (Fukkink, Trienekens, & Kramer, 2011; Hattie, 2009) higher education. 

총 439개의 효과 크기를 가진 4개의 메타날리스를 평균한 Hattie(2009, 112– 113)는 K–12 학교 교사들을 위한 마이크로트래칭 방법이 Hattie의 138개 성취도 목록에서 4번째로 높은 0.88의 학생 성취도에 영향을 미친다고 보고했다.

Averaging over four metaanalyses with a total of 439 effect sizes, Hattie (2009, pp. 112– 113) reports an effect of microteaching methods for K–12 school teachers on student achievement of d  0.88, which was the fourth highest effect size in Hattie’s list of 138 correlates of achievement.

교사들이 미시적 수준에서 행하는 행동이 학생들의 학습 결과에 영향을 미친다면, 교사들이 교과 과정의 마이크로 구조를 계획하고 구성하는 데 투자하는 시간과 노력은 학생들의 성취와 강하게 연관되어야 한다. 이것은 실제로 사실이다. (Feldman, 1989) 

If teachers’ behaviors on the microlevel affect students’ learning outcomes, then the time and effort that teachers invest in planning and organizing the microstructure of their courses should be strongly associated with student achievement. This is indeed the case (Feldman, 1989). 

105개의 변수 중에서, 선생님의 수업 준비/구성은 세 번째로 큰 효과 크기의 변수다. 성취에 더 큰 효과를 가진 그 두 변수는 교사에게 직접적인 영향을 받을 수 없는 것들이다. 

Of our 105 variables, the teacher’s preparation/organization of a course is the variable with the third largest effect size. The two variables with larger effects are correlates of achievement that cannot be directly influenced by a teacher. 

따라서, 교사들이 직접 영향을 줄 수 있는 표 1의 모든 변수 중에서, 강좌의 마이크로 구조를 준비하는데 투자하는 시간과 노력이 가장 큰 영향을 미친다. 효과적인 지침의 설계 원칙을 특정 과정, 내용 및 학생 모집단에 세심하게 적용해야 하기 때문에 이것은 놀랄 일이 아니다. 

Thus, of all the variables in Table 1 that teachers can directly influence, the time and effort that they invest in the preparation of the microstructure of a course have the strongest effect. This is no surprise, as the design principles of effective instruction need to be carefully adapted to specific courses, content and student populations. 

이것은 교사들의 지식, 기술, 창의성뿐만 아니라 그들의 시간과 노력도 요구한다.

This requires not only teachers’ knowledge, skills, and creativity, but also their time and effort.

Feldman(1989)은 예를 들어 출판 편향을 확인하지 않고 상관 관계에서 매우 약한 메타 분석적 증거만 제시하였다. 그럼에도 불구하고, 마이크로구조와 성취 사이의 인과 관계가 문헌에 확고히 확립되었기 때문에 교사가 강의의 마이크로 구조를 준비하는데 투자하는 시간과 노력은 학생 성취에 영향을 미칠 가능성이 높다. (기초적인 발견 3 참조) 

Feldman (1989) only presented very weak meta-analytical evidence from correlations, for example, without checking for publication bias. Nonetheless, it is still highly likely that the time and effort that a teacher invests in preparing the microstructure of instruction causally affect student achievement because a causal link between the microstructure and achievement has been firmly established in the literature (see cornerstone finding 3). 

결과적으로, 고등 교육 시스템은 교사들에게 효과적인 교수법과 이를 이행하는 기술에 대한 지식을 제공할 뿐만 아니라, 수업의 세부사항을 계획하고 준비하기 위한 시간과 인센티브를 제공해야 한다.

As a consequence, higher education systems do not only have to give teachers knowledge of effective teaching methods and the skills for implementing them, but also time and incentives for planning and preparing the details of their courses.

5. 교사들은 여러 가지 작은 변화들을 통해 강의의 질을 향상시킬 수 있다.

5. Teachers can improve the instructional quality of their courses by making a number of small changes.

첫 4가지 포인트는 교사들이 경험적으로 뒷받침되는 많은 디자인 원칙을 따름으로써 그들의 교육과정의 질과 학생들의 성취도를 높일 수 있다는 것을 암시한다. 고등교육에서 교육의 질을 개선한다고 해서 반드시 고등교육 시스템의 혁명적인 변화가 필요한 것은 아니다. 각 교사가 따를 수 있는 상대적으로 작고 실천하기 쉬운 원칙은 다음과 같다.

The first four points imply that teachers can increase the instructional quality of their courses and their students’ achievement by following a number of empirically supported design principles. Improving instructional quality in higher education does not always require revolutionary changes of the higher education system. Relatively small and easy to implement principles that each teacher can follow are:

• 빈번한 출석 권장(6위)

• 질문 및 토론 자극(11위),

• 명확한 학습 목표 및 코스 목표 제공(13위)

• 개방형 질문(16위),

• 학생과 내용을 관련시킴(17위)

• 세부 과제-중심 및 개선 지향적 피드백 제공(등급 30, Kluger & DeNisi, 1996 참조)

• 우호적이고 학생들을 존중한다(30위).

• 시각화 또는 필기 단어로 구어 단어를 보완한다(예: 유인물 또는 프레젠테이션 슬라이드, 순위 42).

• 프레젠테이션 슬라이드에서 절반 또는 전체 문장 대신 몇 개의 필기 키워드 사용(moderator analysis, Adesope & Nesbit, 2012), 

• 학생이 과정에서 다루는 핵심 아이디어의 개념 맵을 구축하고 토론하도록 허용(45위)

• Advance organizer로 함께 각 교육 단위 시작(랭크 64)

• 프레젠테이션에서 주의를 산만하게 하거나 유혹적인 세부 사항을 지양(매력적인 세부 정보의 프레젠테이션에 대한 순위 101과 d0.30).

• encouraging frequent class attendance (rank 6),

• stimulating questions and discussion (rank 11),

• providing clear learning goals and course objectives (rank 13),

• asking open-ended questions (rank 16),

• relating the content to the students (rank 17),

• providing detailed task-focused and improvement-oriented feedback (rank 30; see also Kluger & DeNisi, 1996),

• being friendly and respecting the students (rank 30),

• complementing spoken words with visualizations or written words (e.g., handouts or presentation slides; rank 42),

• using a few written keywords instead of half or full sentences on presentation slides (moderator analysis in

Adesope & Nesbit, 2012), 

• letting the students construct and discuss concept maps of central ideas covered in a course (rank 45),

• beginning each instructional unit with an advance organizer (rank 64), and

• avoiding distracting or seductive details in presentations (rank 101 and d0.30 for the presentation of seductive details).

6. 교사 중심과 학생 중심 교육 요소의 조합이 어떤 형태의 교육보다 더 효과적이다.

6. The combination of teacher-centered and student-centered instructional elements is more effective than either form of instruction alone.

교사 중심 및 학생 중심 교육 방법의 효과성을 직접 비교한 메타 분석은 없다. 그러나 다수의 메타분석가들은 특정 교사 중심 교육 요소(예: 교사 프레젠테이션 및 학생 중심 교육 요소(예: 학생 프로젝트)에 대한 효과 크기를 보고하였다. 

No meta-analysis directly compared the effectivity of teacher-centered and student-centered instructional methods. However, a number of meta-analyses reported effect sizes for specific teacher-centered instructional elements, for example, teacher presentations, and student-centered instructional elements, for example, student projects. 

프레젠테이션 범주 아래의 9개 변수 중 6개가 ...중규모 또는 대형 효과 크기(표 3 참조). 

• 교사의 명확성과 이해력 

• 강의와 강의 주제에 대한 선생님의 관심 자극 

• 교사의 해설 기술 

• 과목이나 교육에 대한 선생님의 열정 

• 시각화의 구두 설명 

• 애니메이션

Six of the nine variables under the presentation category (

• teacher’s clarity and understandableness; 

• teacher’s stimulation of interest in the course and its subject matter; 

• teacher’s elocutionary skills; 

• teacher’s enthusiasm for subject or teaching; 

• spoken explanation of visualizations; and 

• animations

...had medium–large or large effect sizes (see Table 3). 

동시에, 사회적 상호작용 범주 아래의 모든 5개 변수...는 중간 크기 또는 큰 효과 크기를 가졌다. 따라서, 두 가지 형태의 지침이 모두 효과적이다.

• 교사의 질문 및 토론 장려 

• 선생님의 유용성과 유용성 

• 개방형 질문 

• 소그룹 학습 

• 교사의 학생에 대한 관심과 존중, 친근감

At the same time, all the five variables under the social interaction category (

• teacher’s encouragement of questions and discussion; 

• teacher’s availability and helpfulness; 

• open-ended questions; 

• small-group learning; 

• teacher’s concern and respect for students, friendliness

...) had a medium–large or large effect size. Thus, both forms of instruction are effective.

추가 연구는 두 가지 형태의 결합이 두 가지 형태의 분리보다 훨씬 더 효과적이라는 것을 보여준다. 예를 들어, 대화형 요소들은 강의 수업의 효과성을 증가시키고(캠프벨 & 메이어, 2009; 해크, 1998; 킹, 1990), 교사 주도 요소는 학생 프로젝트의 효과성을 강화한다(Alfieri et al., 2011; Mayer, 2004). 이러한 연구 중 적어도 일부(예: Campbell & Mayer, 2009)는 단순한 상관관계가 아닌 실험적인 설계를 가지고 있어서 인과관계를 나타낸다.

Additional studies show that combinations of the two forms are even more effective than either form in isolation. For example, interactive elements increase the effectivity of lecture classes (Campbell & Mayer, 2009; Hake, 1998; King, 1990), and teacher-directed elements enhance the effectivity of student projects (Alfieri et al., 2011; Mayer, 2004). At least some of these studies (e.g., Campbell & Mayer, 2009) had experimental designs and, thus, indicate causal effects rather than mere correlations.

교사 중심과 학생 중심 교육 요소를 결합하는 효과도 사회적 상호작용 범주에서 발견되는 높은 효과 크기로 입증된다. 이 범주에 속하는 5개 변수 모두 중간 크기 또는 큰 효과 크기를 가지며, 가장 많은 수의 강한 효과를 갖는 교육관련 변수의 범주였다. 많은 메타분석과 사회적 형태의 학습에 대한 리뷰는 교사들이 학생들의 활동과 상호작용을 주의깊게 준비하고 지도하면서, 동시에 학생들에게 그들 자신의 아이디어를 개발하고 그들 자신의 경험을 만들 수 있는 충분한 자유를 줄 때 최대로 효과적이라고 결론짓는다. 

The effectivity of combining teacher-centered and student-centered instructional elements is also demonstrated by the high effect sizes found for the category social interaction. All five variables under this category have medium-large or large effect sizes, making it the category of instruction-related variables with the highest number of strong effects. Many meta-analyses and reviews on social forms of learning conclude that it is maximally effective when the teachers careful prepare and guide their students’ activities and interactions while at the same time giving their students enough freedom to develop their own ideas and to make their own experiences. 

따라서 교사 중심 및 학생 중심 요소의 결합은 사회적 상호작용이 효과적이 되기 위해 필요한 조건이다(Hmelo-Silver, Duncan, & Chinn, 2007; Johnson, Johnson, & Smith, 2014; Slavin, 2010; Springer 등, 1999). 이런 관점에서 볼 때, 강의는 흥미롭고 상호작용적인 방법으로 주어진다면 여전히 시기적절하고 효과적인 강의 형식이다. 소그룹 학습과 프로젝트 기반 학습도 잘 준비되고 교사들에 의해 면밀하게 관리된다면 시기적절하고 효과적이다.

Thus, the combination of teacher-centered and student-centered elements is a necessary condition for social interaction to be effective (Hmelo-Silver, Duncan, & Chinn, 2007; Johnson, Johnson, & Smith, 2014; Slavin, 2010; Springer et al., 1999). From this perspective, lectures are still a timely and effective form of instruction provided they are given in an engaging and interactive way. Small-group learning and project-based learning are likewise timely and effective provided they are well prepared and closely supervised by the teacher.

7. 교육 테크놀로지는 강의실 상호 작용을 보완할 때 가장 효과적이다.

7. Educational technology is most effective when it complements classroom interaction.

전반적으로, 경험적 결과는 다른 형태의 교육을 희생하여 정보 및 통신 기술의 사용을 확대하는 것은 성취에 해로운 영향을 미칠 가능성이 높다는 것을 보여준다. 6가지 교육 관련 변수 범주 중에서, 기술은 중간 크기 또는 큰 효과 크기의 두 번째로 낮은 숫자를 가졌다. 사회적 상호작용, 의미 있는 학습 촉진, 평가, 프리젠테이션 등의 범주는 더 큰 효과 크기를 가졌다. 

Overall, the empirical results show that expanding the use of information and communication technology at the expense of other forms of instruction is likely to have detrimental effects on achievement. Of the six instruction-related variable categories, technology had the second lowest number of medium-large or large effect sizes. The categories social interaction, stimulating meaningful learning, assessment, and presentation had larger effect sizes. 

동시에 테크놀로지 범주에서 가장 큰 효과 크기를 갖는 세 가지 변수는 구현 비용이 높으며 매우 구체적인 내용(가상화 현실 게임, 27위, 가상 현실 시뮬레이션, 37위, 지능형 과외 시스템, 47위)에만 유용하다. 강의실 교육을 교육 기술로 대체하는 것의 위험성의 두 가지 구체적인 예는 

• 개인교습자가 지능형 개인교습 소프트웨어(Steenbergen-Hu & Cooper의 변조자 분석, 2014년)보다 더 효과적이고 

• 강의실에서 직접 대면하는 소그룹 학습(등급 27)은 테크놀로지를 사용한 소그룹 학습(등급 77)보다 높은 성취도와 관련이 있다.

At the same time, the three variables with the highest effect sizes in the category technology have high implementation costs and are useful only for very specific content (games with virtual reality, rank 27; simulations with virtual reality, rank 37; intelligent tutoring systems, rank 47). Two concrete examples of the dangers of replacing classroom instruction with educational technology are 

• that human tutors are more effective than intelligent tutoring software (moderator analysis in Steenbergen-Hu & Cooper, 2014) and 

• that face-to-face small-group learning in the classroom (rank 27) is associated with higher achievement than small-group learning with technology (rank 77).

경험적 증거에 따르면, 온라인 및 강의실 교육의 경우, 혼합 학습 방식으로 결합될 때 가장 효과적이라는 것을 나타낸다. 온라인 학습(등급 88)은 강의실 학습만큼 효과적이지만(평균 외, 2013), 혼합 학습(등급 52), 즉 두 형태의 학습이 강의실 교육만 사용하는 것보다 더 효과적이다(버나드 외, 2014). 

For online and classroom instruction, the empirical evidence indicates that they are most effective when they are combined into blended learning arrangements. Online learning (rank 88) is about as effective as classroom learning (Means et al., 2013), but blended learning (rank 52), that is, the combination of both forms of learning, is more effective than classroom instruction alone (Bernard et al., 2014). 

그러므로 교육적 효과의 관점에서, 향후 연구에 있어 가장 중요한 문제는 한 가지 형태의 지침이 다른 것을 대체해야 하는지 여부가 아니라 두 가지 형태를 결합해야 하는 방법이다. 교육적 접근방식, 복잡성 및 사회적 상호작용 기회(Bonk & Graham, 2006; Means et al., 2013)에 따라 다양한 형태의 혼합 학습이 필요하므로 보다 상세한 진행자 분석을 통한 메타 분석도 필요하다.

Thus, from the perspective of instructional effectiveness, the most important question for further research is not whether one form of instruction should replace the other but in which ways the two forms should be combined. As there are many forms of blended learning that differ in their educational approaches, complexity, and opportunities for social interaction (Bonk & Graham, 2006; Means et al., 2013) further meta-analyses with more detailed moderator analyses are needed.

여기에 제시된 결과는 현재 또는 미래의 교육 기술이 아닌 과거의 교육 기술에 대해서만 대표적이다. 교육 기술은 빠르게 발전한다. 이 범주에 속하는 메타분석은 2001년과 2014년 사이에 실시되었다. 그들은 이미 출판되어 메타분석보다 더 오래 된 연구만을 포함할 수 있었다. 

The results presented here are representative only for instructional technology in the past, not for instructional technology in the present or future. Instructional technology advances quickly. The meta-analyses in this category had been conducted between 2001 and 2014. They could only include the studies that had already been published and thus were older than the meta-analyses themselves. 

특히, MOOCs, Clickers 및 소셜 미디어는 무작위 통제 시험(있을 경우)이 거의 없고 메타 분석은 아직 출판되지 않았다. 그 효과성에 대한 명확한 증거 기반 결론은 아직 도출할 수 없다(Hew & Chheung, 2013; Lantz, 2010; McAndrew & Scanlon, 2013).

Particularly, MOOCs, clickers, and social media have only been investigated in very few randomized controlled trials, if any, and no meta-analysis has been published yet. No definite evidence-based conclusions about their effectivity can be drawn yet (Hew &Cheung, 2013; Lantz, 2010; McAndrew & Scanlon, 2013).

이러한 배경에서 기술 진보로 인해 교육 기술 분야의 효과 크기가 시간이 지남에 따라 증가했는지를 테스트하는 것은 흥미롭다. 기술 범주에서 6개 메타 분석 중 4개가 효과 크기가 출판 연도와 관련이 있는지 여부를 시험했다. 네 마리 중 어느 것도 효과 크기의 증가를 발견하지 못했다. 

Against this background it is interesting to test whether the effect sizes in the field of instructional technology increased over time due to the technological progress in the past. Four of the six meta-analyses in the technology category tested whether the effect sizes were related to the publication year. None of the four meta-analyses found an increase in effect sizes. 

1990년부터 2011년까지 지능교습 시스템(Sinbergen-Hu & Cooper, 2014)의 효과규모는 크게 줄었고, 다음에 대해서는 일정하게 유지되었다. 

• 1964년부터 1999년까지 테크놀로지를 사용한 소규모 그룹 학습에 대해, 

• 1996년부터 2008년까지 온라인 학습에 대해(Means et al., 2013), 

• 1990년부터 2010년까지 혼합 학습에 대해(Bernard et al., 2014). 

The effect sizes significantly decreased from 1990 to 2011 for intelligence tutoring systems (Steenbergen-Hu & Cooper, 2014) and stayed constant 

• from 1964 to 1999 for small-group learning with technology (Lou et al., 2001), 

• from 1996 to 2008 for online learning (Means et al., 2013), and 

• from 1990 to 2010 for blended learning (Bernard et al., 2014). 

분명히, 기술의 발전이 자동적으로 교육 관행을 개선하거나 학생들의 성적을 올리는 것은 아니다.

Obviously, technological advances do not automatically improve educational practices or raise student achievement.

기술 범주에서 경험적 증거는 좋은 품질의 것이었다. 기술 범주에서 메타 분석 방법론적 권고사항 중 2개가 평균 이상의 수를 따랐으며, 그 이후로는 평균 이하의 권장사항(cf)을 따르지 않았다. 표 2) 또한, 우리의 결과는 중소 효과 크기(Hattie, 2009, p. 201)와 시간의 경과에 따른 효과 크기 증가(Hattie, 2009, p. 221)로 특징지어지는 K–12 학교에서의 교육 및 통신 기술에 대한 메타 분석 결과를 반영한다. 

The empirical evidence in the technology category was of a good quality. Two of the meta-analyses in the technology category followed an above-average number of methodological recommendations and none followed a below-average number of recommendations (cf. Table 2). Our results also mirror the meta-analytic findings for instruction and communication technology in K–12 schools, that are characterized by small to medium effect sizes (Hattie, 2009, p. 201) and a lack of effect size increases over time (Hattie, 2009, p. 221). 

지금까지, 교육과 통신 기술이 적어도 학생들의 성취도와 관련해서도, 고등교육에 혁명을 일으킬 것이라는 주장에 대한 경험적인 지원은 없다. 테크놀로지는 교사의 부족이나 고등교육에서의 teacher training의 부족을 보상하기 위해 사용될 수 없다. (기초적인 발견 3과 4 참조) 그러나, 테크놀로지 사용은 교사들이 신중하게 준비된 중요한 didactic 개념의 일부로서, 목표를 지향하는 방식으로 사용할 때 성취도와 약하거나 중간 정도의 강한 연관성을 가질 수 있다.

So far, there is no empirical support for the claim that instruction and communication technology will revolutionize higher education, at least not with respect to student achievement. Technology cannot be used to compensate for a lack of teachers or a lack of teacher training in higher education (see cornerstone findings 3 and 4). However, technology use can have weak to medium–strong associations with achievement when teachers use it in goal-directed ways as part of a carefully prepared overarching didactic concept.

8. 평가는 프레젠테이션 실행만큼이나 중요하다.

8. Assessment practices are about as important as presentation practices.

우리의 결과에 따르면 평가 실무는 프레젠테이션 실무만큼 성과와 관련이 있다. 따라서, 교사들은 그들의 프레젠테이션에서 하는 것만큼 많은 시간을 그들의 평가 관행에 투자해야 하는데, 이것은 현재 항상 그렇지는 않다. 평가 행위에는 시험뿐만 아니라 명확한 학습 목표 설정, 성공을 위한 명확한 기준 설정, 학습 지향적 피드백 제공이 포함된다(Boud & Falchikov, 2007). 

Our results indicate that assessment practices are related to achievement about as strongly as presentation practices. Thus, teachers should invest as much time in their assessment practices as they do in their presentations, which is currently not always the case. Assessment practices include not only giving exams but also setting explicit learning goals, establishing clear standards for success, and giving learning-oriented feedback (Boud & Falchikov, 2007). 

이러한 교육적 요소들은 학생들의 선별적인 관심, 그들이 스스로 정한 목표, 그리고 그들이 시험을 준비하는 방법을 안내한다. (Broekkkamp & van Hout-Wolters, 2007; Lundeberg & Fox, 1991) 따라서 평가 실습은 학생들이 배우는 것what뿐만 아니라 학생들이 배우는 방식how에도 영향을 미친다. (10을 찾는 기초) 

These instructional elements guide students’ selective attention, the goals they set for themselves, and the way they prepare for exams (Broekkamp & van Hout-Wolters, 2007; Lundeberg & Fox, 1991). Thus, assessment practices do not only influence what students learn but also how they learn it (cf. cornerstone finding 10). 

고등교육 분야에서 메타 분석적 증거가 혼합된 반면(표 2 참조), 고등교육 외부의 학습 전략, 동기 및 성취도를 결정하는 요소로서 평가와 피드백 관행의 중요성은 잘 조사되고 비교 가능한 결과를 도출한다(Clark, 2012; Hattie & Timpe).2007년, 클루거 & 드니시, 1996년).

Whereas the meta-analytic evidence in the area of higher education is of a mixed quality (see Table 2), the importance of assessment and feedback practices as determinants of students learning strategies, motivation, and achievement is well investigated for learning outside higher education and yielded comparable results (Clark, 2012; Hattie & Timperley, 2007; Kluger & DeNisi, 1996).

9. 지능과 중등교육 이전의 학업성취은 고등교육의 성취와 밀접한 관련이 있다.

9. Intelligence and prior achievement are closely related to achievement in higher education.

학생 관련 변수 5개 중 지능과 선행 성과는 큰 효과크기의 수가 가장 높다. 즉, 학생들이 더 높은 교육 프로그램에 등록해야 하는지 여부를 물어볼 때 지능과 이전 성취는 높은 예측 가치와 진단적 중요성을 지닌다. 고등학교 평점과 입학 시험 결과에 기록된 사전 지식은 큰 효과 크기를 보이는 반면에, 일반적인 인지 능력 시험은 중간 정도의 큰 효과 크기를 가진다. 인지 능력 시험의 효과 크기가 범위 제한에 대해 보정되지 않았다는 점을 고려해야 한다(Poropat, 2009). 

Among the five student-related variable categories, the category intelligence and prior achievement has the highest number of large effect sizes. That is, intelligence and prior achievement are of high predictive value and diagnostic importance when students are asking whether they should enroll in a higher education program. High school GPA and prior knowledge documented in admission test results show large effect sizes whereas general cognitive ability tests have a medium large effect size. It has to be taken into account that the effect size for cognitive ability tests has not been corrected for range restrictions (Poropat, 2009). 

범위 제한의 증가 수준은 예를 들어 초등교육의 d 1.42에서 중등교육의 d 0.49, 그리고 Poropat의 연구에서 3차 교육에서의 d 0.47로 증가하는 교육적 성취도와 인지 능력 시험의 관계에 대한 효과 크기가 감소하는 이유를 부분적으로 설명한다. 입학시험은 특별히 고등교육을 신청하는 학생 모집단을 위해 설계되는 반면, 인지능력시험은 보통 더 넓은 모집단을 위해 설계된다. 따라서 고등교육을 받는 학생들에게 적용될 때 범위제한으로 인해 더 심한 고통을 받는다. 

Increasing levels of range restriction partly explain why effect sizes for the relation of cognitive ability tests with academic achievement decrease with increasing educational level (Jensen, 1998), for example, from d   1.42 in primary education to d   0.49 in secondary education and d   0.47 in tertiary education in the study by Poropat (2009). While admission tests are specifically designed for student populations applying for higher education, cognitive ability tests are usually designed for broader populations, therefore suffering more strongly from range restrictions when applied to students in higher education. 

또한, (초등 또는 중등교육보다) 3차 교육이 특정 콘텐츠 영역에서 고급 지식을 학생들에게 제공하는 것을 목표로 하기 때문에, 교육수준이 높아짐에 따라 사전 지식의 중요도가 높아지는 것 같다(예: 도치, de Rijdt, & Dyck, 2002) . 지능뿐만 아니라 이전의 성취나 지식도 선행교육의 양과 질에 영향을 받는다. (Ceci & Williams, 1997) 

Further, with increasing educational level prior knowledge seems to gain importance (e.g., Dochy, de Rijdt, & Dyck, 2002) because tertiary education, more so than primary or secondary education, aims at equipping students with advanced knowledge in a specific content domain. Prior achievement or knowledge as well as intelligence are affected by the amount and quality of prior schooling (Ceci & Williams, 1997). 

그러므로 대학은 고등교육의 성취와 관련하여 K-12 학교의 높은 교육수준에서 혜택을 받고 있으며, 예를 들어, K-12 학교 교사들을 위한 우수한 교육 프로그램을 설립하거나 기여함으로써 이러한 품질을 향상시키도록 노력해야 한다.

Regarding achievement in higher education, colleges and universities therefore benefit from high instructional quality in K–12 schools and should try to improve this quality, for example, by establishing or contributing to excellent training programs for K–12 school teachers.

10. 학생들의 전략은 학생들의 성격이나 개인적인 배경보다는 성취와 더 직접적으로 관련이 있다.

10. Students’ strategies are more directly associated with achievement than students’ personality or personal context.

학생들의 [학습과 시험 준비뿐 아니라 노력 규제 및 목표 설정에 대한 전략]은 그들의 성격이나 성별과 나이와 같은 개인적 배경보다 성취와 더 강한 관계를 보여주는 경향이 있다. 학생들은 그들의 성격이나 개인적인 배경보다 그들의 전략을 더 쉽게 바꿀 수 있다. 

Students’ strategies for learning and exam preparation, as well as for effort regulation and goal setting, tend to show stronger relations with achievement than their personalities or personal backgrounds, such as their gender and age. Students can change their strategies more easily than their personalities or personal backgrounds. 

과학 분야와 관련하여 [정규 수업에서 학생들의 전략을 개선하는 것]은 인위적으로 만들어낸 문제로 [extracurricular 환경에서 학생들을 훈련시키는 것]보다 더 효과적이다. (Hattie et al., 1996; Tricot & Sweller, 2014) 가장 생산적인 학생 전략에는 

• 빈번한 수업 출석(Credé et al., 2010), 

• 노력 조절, 

• 학습에 대한 전략적 접근 방식, 

• 효과적인 시간 및 학습 관리(Richardson et al., 2012)가 포함된다. 

Improving students’ strategies in their regular classes in the context of their scientific discipline is more effective than training them in extracurricular settings with artificially created problems (Hattie et al., 1996; Tricot & Sweller, 2014). Among the most productive student strategies are 

• frequent class attendance (Credé et al., 2010), 

• effort regulation, 

• a strategic approach to learning, and 

• effective time and study management (Richardson et al., 2012). 

크레데 외 연구진(2010)과 리처드슨 외 연구진(2012)의 두 메타분석은 높은 방법론적 품질(cf)이었다. 표 2) 그들의 발견은 가능한 한 항상 열심히 일하는 것이 높은 성취를 위한 최고의 학생 전략은 아니라는 것을 보여준다. 그보다는 시간과 정신적 자원을 언제, 어디에서 투자할지를 신중하게 선택하는 것이 중요하다. 

The two meta-analyses of Credé et al. (2010) and Richardson et al. (2012) were of a high methodological quality (cf. Table 2). Their findings indicate that working as hard as possible all of the time is not the best student strategy for high achievement. Instead, it is important to choose deliberately when and where to invest time and mental resources. 

학생들의 성격과 관련하여, 성실함은 고등교육에서의 학업 성취와 가장 가까운 긍정적인 관계를 보여준다. 이 association의 힘은 여러 교육 단계에 걸쳐 상당히 일정하게 유지되지만, (교육 수준이 증가함에 따라) 빅 파이브 모델 내의 다른 성격 특성과 학업 성과 사이의 연관성은 감소한다(Poropat, 2009; Walton & Billera, 2016 참조).

Regarding student personality, conscientiousness shows the closest positive relation with academic achievement in higher education. The strength of this association remains fairly constant across educational levels, while associations between other personality traits within the Big Five model and academic performance decrease with increasing educational level (Poropat, 2009; see Walton & Billera, 2016, for a review).

Conclusion

본 연구는 국제 연구 문헌에 발표된 고등교육의 성취와 관련된 변수에 대한 메타분석의 첫 번째 체계적이고 포괄적인 검토다. 결과는 일반적으로 학교 학습 또는 일반적인 학습에 대한 유사한 검토의 결과와 호환된다. 그들은 고등교육에서의 현재 논쟁에 대한 증거에 기초한 논거를 제공한다. 교육적 방법과 그것들을 마이크로 레벨에서 실행하는 방법은 사실상 고등교육의 성취와 관련이 있다. 

This study is the first systematic and comprehensive review of the meta-analyses on the variables associated with achievement in higher education published in the international research literature. The results are generally compatible with those of similar reviews for school learning or for learning in general. They offer evidence-based arguments for current debates in higher education. Instructional methods and the way they are implemented on the microlevel are substantially associated with achievement in higher education. 

이것은 고등교육에서 교사 연수의 중요성을 강조한다. 가르치는 것에 대한 다른 접근법들 중에서, 사회적 상호작용은 높은 양의 효과 크기의 가장 높은 빈도를 가지고 있다. 강의, 소그룹 학습, 그리고 프로젝트 기반의 학습 모두 교사 중심의 교육적 요소와 균형을 이룬다면 성취와 긍정적인 연관성을 지니고 있다. 아직까지 교육 및 통신 기술은 지난 수십 년 동안 증가하지 않은 비교적 약한 효과 크기를 가지고 있다. 

This emphasizes the importance of teacher training in higher education. Among the different approaches to teaching, social interaction has the highest frequency of high positive effect sizes. Lectures, small-group learning, and project-based learning all have positive associations with achievement provided they balance teacher-centered with student-centered instructional elements. As yet, instruction and communication technology has comparably weak effect sizes, which did not increase over the past decades. 

고등교육을 잘 받는 학생들은, 예를 들어, 선행교육, 자기 효력, 지능, 그리고 목표 지향적인 학습전략의 이용과 같은, 부분적으로는 선행학교육의 영향을 받는 자질에 의해 특징지어진다. 따라서, 대학들은 K-12 학교의 높은 교육적 질로부터 간접적인 혜택을 받는다. 우리의 연구 결과를 실제로 적용하는 것은 실무자, 교육 연구원, 정책 입안자들의 협력이 필요한 복잡한 과정이다. 

High-achieving students in higher education are characterized by qualities that, in part, are affected by prior school education, for example, prior achievement, self-efficacy, intelligence, and the goal-directed use of learning strategies. Thus, universities indirectly benefit from a high instructional quality in K–12 schools. The application of our findings into practice is a complex process that requires the collaboration of practitioners, educational researchers, and policymakers. 

이 체계적 검토에 포함된 메타분석의 효과적 크기는 그러한 증거 기반 접근법이 고등교육의 성취를 증가시킬 수 있는 큰 잠재력을 가지고 있음을 나타낸다.

The effect sizes of the meta-analyses included in this systematic review indicate that such an evidence-based approach has great potential for increasing achievement in higher education.

Psychol Bull. 2017 Jun;143(6):565-600. doi: 10.1037/bul0000098. Epub 2017 Mar 23.

Variables associated with achievement in higher education: A systematic review of meta-analyses.

환자의 피드백이 보건전문직학생의 스킬 발달과 학습에 어떤 영향을 주는가? 체계적 문헌고찰(Med Teach, 2017)

How does feedback from patients impact upon healthcare student clinical skill development and learning? A systematic review

Emma Fincha,b,c , Jennifer Lethleanb, Tanya Rosea , Jennifer Fleminga , Deborah Theodorosa,

Ashley Camerona,b , Adele Colemana, David Coplanda and Steven M. McPhailc,d

도입과 목표

Introduction and aims

최근 몇 년 동안 소비자(환자) input을 의료에 포함시키는 세계적인 추세가 있었다(Victorian Auditor General 1999; Nilsen et al. 2006; WHO 2012). 환자가 의료 시스템에 중요한 기여자가 될 수 있는 한 가지 방법은 학생 학습에 참여하는 것이다. 즉, 미래의 의료 서비스 제공자를 교육하는 것이다. Jha와 동료(2009)의 체계적인 검토는 환자들이 의학 교육에서 할 수 있는 역할의 유형을 조사했다.

In recent years there has been a world-wide trend towards the inclusion of consumer (patient) input in healthcare (Victorian Auditor-General 1999; Nilsen et al. 2006; World Health Organization 2012). One way that patients can be vital contributors to the healthcare system is through participation in student learning; that is, training the healthcare providers of tomorrow. A systematic review by Jha and colleagues (2009) explored the types of roles patients can play in medical education.

저자들은 의학교육에 환자가 참여하는 것은 [근골격계 검사 기술을 가르치고 평가하는데 유익한 역할을 하고], [표준화된 환자로부터 얻을 수 없는 진정한 환자 상호작용 경험을 제공하는 것]을 비롯하여 긍정적인 단기적 영향을 미친다고 결론지었다. 그러나 교육에 환자가 참여하는 것이 장기적으로 미치는 영향과 그 심리적 영향에 대한 증거가 제한적이었는데, 특히 공격적인 환자와 함께 일하는 것에 대한 학생들의 불안과 환자에게 잠재적인 부담이 될 수 있다는 인식이 있다(Jha et al. 2009). 이 검토는 의대생에만 국한됐기 때문에 환자들이 다른 건강관리 분야의 학생 교육에 비슷한 역할을 하는지 여부는 알 수 없다.

The authors concluded that patient involvement in medical education has positive short-term impacts including beneficial roles in teaching and assessing musculoskeletal examination skills and providing an authentic patient interaction experience unattainable from standardized patients. However, there was limited evidence about the long-term effects of patient medical involvement in education and its psychological impact on students, particularly with respect to students’ anxiety about working with aggressive patients and their perception of being a potential burden to patients (Jha et al. 2009). As the review was limited to medical students, it is unknown whether patients are involved in similar roles in student education in other healthcare disciplines.

Morgan과 Jones(2009)는 Jha 및 동료(2009년)와 유사한 시기에 의료 교육 프로그램에 서비스 사용자(환자, 가족, 보호자 포함)를 참여시키는 데 사용되는 접근법을 식별하기 위해 문헌 검토를 실시했다.

At a similar time to Jha and colleagues (2009), Morgan and Jones (2009) conducted a literature review to identify the approaches used to involve service users (including patients, families and carers) in healthcare education programs.

검토 결과, 서비스 사용자를 참여시키는 주된 방법은 서비스 사용자가 전문직 간 워크숍을 공동 기획하고 강의의 일부로 자신의 의료 이야기를 들려주고, 커리큘럼 개발에 관여하는 것과 같은 교육을 제공하는 것이었다. 학생들은 보건전문직교육 프로그램에 복지혜택을 받는 서비스 사용자가 참여하는 것에 대해 대부분 긍정적인 인식을 가지고 있었다. 여기에는 

• 환자의 관점에 대한 학습과 이해 증진, 

• 커뮤니케이션 기술 향상, 

• 환자와 대화하는 자신감 향상 등이 포함된다(Morgan and Jones 2009).

The review found that the predominant way to involve service users was in the delivery of the program, such education as service users co-facilitating interprofessional workshops and telling their medical story as part of a classroom lecture, followed by involvement in curriculum development. Students had mostly positive perceptions towards the involvement of service users in benefits healthcare education programs, with including 

• increased learning and understanding of the patient’s perspective, 

• improved communication skills and 

• increased confidence talking to patients (Morgan and Jones 2009).

서비스 이용자에 대한 부정적인 영향을 보고한 연구는 전혀 없으며, 서비스 이용자들은 자신들의 참여가 매우 유익하다고 생각했다. 서비스 사용자에 대한 구체적인 편익에는 자신감 증가, 의미 부여, 권한 부여, 자신의 의학적 상태에 대한 이해 증대가 포함되었다. 그럼에도 불구하고, 저자들은 건강관리 학생 교육에 서비스 사용자를 포함시키는 것이 학생들의 행동을 실제로 변화시켰다는 증거는 거의 없다고 결론지었다(Morgan and Jones 2009).

Service users perceived their involvement as highly beneficial, with no studies reporting negative effects for service users. Specific benefits for service users included increased confidence, a sense of meaning, empowerment and a greater understanding of their own medical condition. Despite this, the authors concluded that there was little evidence that involving service users in healthcare student education actually changed the behaviors of the students (Morgan and Jones 2009).

자 외 연구진(2009)이 제기한 [교사로서 환자]는 더 고려할 필요가 있다. 환자들은 그들 자신의 의학적 조건에 전문가일 수 있으며, 그들의 상태가 심리적, 재정적, 감정적 측면에서 미치는 영향에 대한 보다 전체적인 정보를 학생들에게 제공할 수 있다(Hajek et al. 2000; Jha et al. 2009; Anderson et al. 2011). Stockhausen(2009)은 경험이 많은 간호사와 학생들이 학습에 참여하는 방식과 환자가 학생 학습에 어떻게 기여할 수 있는지에 대한 인식에 대해 환자들을 인터뷰했다. 연구는 환자들이 경험 많은 간호사에 비해 학습에 다른 관점을 가지고 있다는 것을 확인했는데, 이는 환자들이 학생을 관찰하면서 동시에 care를 받기 때문에, 이것들이 학생들의 학습 경험에서 중요한 요소가 되도록 하기 때문이다(Stockhausen 2009).

The idea of patients as teachers raised by Jha et al. (2009) warrants further consideration. Patients may be experts in their own medical conditions and can provide students with more holistic information about the impact of their condition in psychological, financial and emotional terms (Hajek et al. 2000; Jha et al. 2009; Anderson et al. 2011). Stockhausen (2009) interviewed patients about their perception of the manner in which experienced nurses and students engage in learning moments and how patients could contribute to student learning. The study identified that patients bring a different perspective to learning compared to experienced nurses, as patients both observe and receive care from the student, making them important elements in the students’ learning experiences (Stockhausen 2009).

보다 최근에, 방사선 치료에서 환자 피드백과 학생 학습을 조사하는 연구에서, 브리지와 동료(2014년)는 환자와 학생 사이의 모든 상호작용에 대해 의료진이 항상 존재할 수는 없으므로, 환자 피드백은 감독하는 임상의사가 없을 때 조차도 학생들이 임상 배치보다 그들의 기술을 향상시키도록 도울 수 있다고 말했다. 이러한 연구의 결과(Stockhausen 2009; Bridge et al. 2014)는 이전에 발표된 문헌(Stillman et al. 1978; Black and Church 1998)과 일치하며, 의료 시스템 내 환자는 학생들에게 임상 및 의사소통 기술에 대한 피드백을 제공하는 교사로서 중요한 역할을 할 수 있다.

More recently, in a study investigating patient feedback and student learning in radiotherapy, Bridge and colleagues (2014) suggested that, as clinical staff cannot always be present for every interaction between students and patients, patient feedback can help students improve their skills over the clinical placement even when a supervising clinician is not present. Findings from these studies (Stockhausen 2009; Bridge et al. 2014) are consistent with previously published literature (Stillman et al. 1978; Black and Church 1998) which has also argued an important role for patients in the healthcare system may be that of teachers providing feedback to students about their clinical and communication skills.

학생 학습 경험에 대한 환자 피드백의 잠재적인 이점에도 불구하고, 학생들에게 피드백을 제공하기 위해 실제 환자를 사용하는 것은 내재된 위험이 없는 것이 아니다. 이러한 위험에는...

• 참여할 수 있을 만큼 충분한 수의 적절한 환자를 소싱하는 데 어려움이 있음 

• 평가자 내- 평가자 간- 신뢰성 

• 학생 및/또는 환자가 피드백에 대해 불편함을 느낄 수 있는 가능성 

• 특히 피드백이 부정적일 경우, 후속 의료 서비스에 미칠 영향에 대한 환자의 우려(Lyons et al. 2009; Debyser et al. 2011).

Despite the potential benefits of patient feedback for the student learning experience, using real patients to provide feedback to students is not without inherent risks. These risks include 

• difficulties sourcing sufficient numbers of appropriate patients who are well enough to participate, 

• inter- and intra-trainer reliability, 

• the potential for students and or patients to feel uncomfortable about the feedback, and 

• patients’ concerns regarding the subsequent impact on their healthcare, particularly if the feedback is negative (Lyons et al. 2009; Debyser et al. 2011). 

또한, 문화적으로나 언어적으로 다양한 배경을 가진 환자나 의사소통 장애가 있는 환자가 피드백 과정에 참여할 수 있는지에 대한 연구가 한정되어 있다. 이 문제는 특히 Jha et al. (2009)가 환자들이 학생 학습 과정에 참여하기 위해서는 좋은 의사소통 능력을 갖추어야 한다고 제안함에 따라 관련이 있다.

Furthermore, limited research has focused on whether patients from culturally and linguistically diverse (CALD) backgrounds or patients with communication disorders can participate in the feedback process. This issue is particularly relevant as Jha et al. (2009) suggested that patients need to possess good communication skills in order to participate in the student learning process.

질문: 환자들의 피드백이 헬스케어 학생의 임상 기술 개발과 학습에 어떻게 영향을 미치는가?

the question: How does feedback from patients impact upon healthcare student clinical skill development and learning?

방법과 분석

Methods and analysis

164개 논문

The searches identified a total of 164 unique articles after the removal of duplicates (Figure 1).

그림

To enable visual representation of the methodological ratings, the data were displayed using modified harvest plots (Ogilvie et al. 2008; Crowther et al. 2011)(Figures 2 and 3). To create the harvest plots similar questions on the ratings form were grouped together to form categories(Table 1). 

결과

Results

자료 추출

Data extraction

참가자

Participants

12개 기사에는 총 709명의 학생이 포함되었다. 이 연구는 다수의 의료 분야를 대상으로 했지만, 참여자들은 의대생이었다(보조 표 2). 학생 훈련에서 환자 피드백 시간은 훈련 첫 해부터 훈련 마지막 해까지 다양했다. 세 가지 연구(Gall et al. 1984; Fairchild 1985; Davies and Lunn 2009)는 환자 피드백이 발생한 시점에 대해 명확하게 언급하지 않았다. 

The 12 articles included a total of 709 students. The studies spanned majority multiple healthcare disciplines; however, the of participants were medical students(Supplementary Table 2). The timing of the patient feed-back in the students’ training ranged from the first year of training through to the final year of training. Three studies(Gall et al. 1984; Fairchild 1985; Davies and Lunn 2009) did not clearly state at which point in the training process the patient feedback occurred. 

환자들이 경험한 건강 상태는 12가지 연구에 걸쳐 매우 다양했다. 

The health conditions experienced by the patients varied greatly across the 12 studies. 

검토에 포함된 연구는 환자와 학생이 스스로 선택했는지 또는 의무적인 훈련 활동을 통해 자발적으로 채용되었는지에 대해 다양했다.

The studies included in the review varied as to whether patients and students were recruited voluntarily through self-selection or through a compulsory training activity.

피드백 세팅

Feedback setting

환자 피드백은 커뮤니티 시설(Anderson et al. 2011), 의료 학교(Bokken et al. 2010), 병원(Debyser et al. 2011; Bridge et al. 2014), 학교(Fairchild et al. 1985) 및 대학(Gall et al. 1984; Rees et al. 2009)에서 다양한 환경에서 이루어졌다. 

The patient feedback occurred in a number of settings ranging from 

• community facilities (Anderson et al. 2011),

• medical schools (Bokken et al. 2010), 

• healthcare facilities including hospitals (Debyser et al. 2011; Bridge et al. 2014),

• schools (Fairchild 1985), and 

• universities (Gall et al. 1984;Reese et al. 2009). 

한 연구(Pal et al. 2014)에서는 호스피스, 병원, 외래환자 병원, 지역사회 환경 등 다양한 환경을 사용했다. 네 가지 연구는 피드백이 발생한 설정(Stillman et al.1980; Simek-down et 1986; Davies and Lunn 2009; Anderson et al. 2011)을 명시하지 않았다(보조 표 2). 

One study (Pal et al. 2014) used a variety of settings including hospices, hospitals, outpatient clinics and community settings. Four studies did not specify thesetting in which the feedback occurred (Stillman et al.1980; Simek-Downing et al. 1986; Davies and Lunn 2009;Anderson et al. 2011) (Supplementary Table 2). 

피드백 전달 디테일

Feedback delivery details

피드백 프로그램의 지속시간은 하루 워크샵부터 전체 연구 학기까지 포함했다(보조 표 3). 설문지와 체크리스트는 가장 일반적인 피드백 형태였지만, 학생들의 비디오 녹화를 검토하는 것도 두 가지 연구에 포함되었다(시메크 다운 외 1986; Bokken et al. 2010). 피드백 전달 방법은 언어 및/또는 서면 피드백을 포함하여 다양했다.

The duration of the feedback programs included single day workshops through to whole semesters of study (Supplementary Table 3). Questionnaires and checklists were the most common forms of feedback, however, reviewing video recordings of students were also included in two studies (Simek-Downing et al. 1986; Bokken et al. 2010). The feedback delivery methods varied, encompassing verbal and/or written feedback.

피드백 성과

Feedback outcome

피드백의 효과는 일반적으로 설문지, 체크리스트 및/또는 인터뷰를 사용하여 평가되었다. 이들 중 대부분은 목적을 가지고 개발되었으며 표준화된 도구가 아니었다. 표준화된 결과 측정치를 사용한 리즈 외 연구진(2009)을 제외하고(보조 표 3)이들은 결과 평가 척도(ORS)와 세션 평가 척도(SRS)로 구성된 변경 결과 관리 시스템(PCOMS) (Miller 및 Duncan 2000)의 파트너였습니다(Miller et al. 2000). Davies와 Lunn(2009)은 의료 교육자의 합의에 의해 개발된 커뮤니케이션 기술 도구 상자에서 적응된 커뮤니케이션 평가 도구를 개발했다(Rider and Keefer 2006). 이 도구는 통신 역량과 이러한 역량을 달성하기 위한 전략으로 구성되었다.

The effects of feedback were typically evaluated using questionnaires, checklists and/or interviews; the majority of which were purposefully developed, and not a standardized tool. With the exception of Reese et al. (2009) who used standardized outcome measures (Supplementary Table 3).These were the Partners for Change Outcome Management System (PCOMS) (Miller and Duncan 2004) comprising the Outcome Rating Scale (ORS) (Johnson and Duncan 2000) and the Session Rating Scale (SRS) (Miller et al. 2000). Davies and Lunn (2009) developed an adapted communication assessment tool from a communication skills toolbox developed by consensus of medical educators (Rider and Keefer 2006). This tool was comprised of communication competencies, and strategies to achieve these competencies.

검토한 12개 연구 중 11개 연구는 환자 피드백이 학생들의 임상 능력을 향상시켰다고 보고했다(보조 표 3). 이러한 개선은 

• 지식 변화에 대한 자기 인식(Anderson et al. 2011), 

• 환자 성과 개선(Reese et al. 2009), 

• 시험 성과 개선(Anderson and Meyer 1978; Stillman et al. 1980), 

• 인터뷰 시 심리사회적 내용 증가(Simek-downing et al. 1986)이다. 

학생들은 일반적으로 피드백을 긍정적이라고 생각했다(7/9개 연구).

Eleven of the 12 studies reviewed reported that the patient feedback improved students’ clinical skills (Supplementary Table 3). These improvements 

• self-perception of changes in knowledge (Anderson et al. 2011), 

• better client outcomes (Reese et al. 2009), 

• improved exam performance (Anderson and Meyer 1978; Stillman et al. 1980), and 

• increased psychosocial content in interviews (Simek-Downing et al. 1986). 

Students generally perceived the feedback as positive (7/9 studies).

방법론적 분석 - 양적

Methodological analysis – quantitative

McMaster University 정량적 비판적 평가 양식을 사용하여 10개의 기사가 평가되었다(그림 2). 다음 3개 기사(Bokken et al. 2010; Anderson et al. 2011; Bridge et al. 2014)는 McMaster University 정성적 평가 양식(그림 3)을 사용하여 평가한 질적 구성요소를 수록하였다. 검토에 포함된 어떤 기사도 최대 14점을 받지 못했다(그림 2).

Ten articles were rated using the McMaster University Quantitative Critical Evaluation Form (Figure 2). Three of these articles (Bokken et al. 2010; Anderson et al. 2011; Bridge et al. 2014) contained qualitative components that were also rated using the McMaster University Qualitative Critical Evaluation Form (Figure 3). No article included in the review received the maximum score of 14 (Figure 2).

방법론적 약점의 주요 영역은 표본 추출, 즉 표본의 상세 설명 여부 및 표본 크기가 정당한지 여부로서 선택 편향을 반영했다.

The main area of methodological weakness was in sampling, that is, whether the sample was described in adequate detail and whether the sample size was justified, thus reflecting selection bias.

방법론적 분석 - 질적

Methodological analysis – qualitative

McMaster University 질적 비판적 평가 양식을 사용하여 5개 항목을 평가하였다. 검토에 포함된 어떤 기사도 최대 22점을 받지 못했다(그림 3).

Five articles were rated using the McMaster University Qualitative Critical Evaluation Form. No article included in the review received the maximum score of 22 (Figure 3).

방법론적 약점의 영역은 목적적 선택 과정을 기술하는 표본 추출, 포화될 때까지의 표본 추출, 그리고 정보에 입각한 동의의 사용에 대한 명확한 언급을 포함하는 표본 추출에서 발생했다.

The areas of methodological weakness arose in the sampling which included 

• describing the process of purposeful selection, 

• sampling until saturation and 

• the explicit mentioning of the use of informed consent.

또 다른 약점의 영역은 신뢰도, 신뢰성, 신뢰도 및 적합성의 증거를 포함한 전반적인 엄격함이다.

Another area of weakness was in the overall rigor, which included evidence of trustworthiness, credibility, dependability and conformity.

방법론적 약점의 최종 영역은 현장 및 참가자에 대한 명확한 설명, 연구자와 참가자의 관계, 연구자의 가정과 편견의 식별을 포함하는 데이터 수집이었다.

The final area of methodological weakness was in data collection which comprised a clear description of the site and participants, the relationship of the researcher to the participants, and identification of the assumptions and biases of the researcher.

고찰

Discussion

본 연구는 Jha et al. (2009)와 Morgan and Jones (2009)의 이전 검토 결과를 학생들에게 임상 기술에 대한 피드백 제공에 환자가 참여하는 것에 초점을 맞춤으로써 확대하였다. 이 리뷰는 일반적으로 환자 설명과 엄격함 분야에서 방법론적인 약점이 있지만, 연구 목적 및 배경 문헌의 사용에 있어 방법론적인 강점을 가진 문학의 작은 부분을 발견했다. 잠재적 방법론적 단점과 연구 설계의 변화에도 불구하고, 여러 근거는 환자 피드백이 건강관리 학생들의 임상 기술 개발과 학습에 긍정적인 영향을 미친다는 것을 일관되게 나타냈다. 

The present study extended the findings of previous reviews by Jha et al. (2009) and Morgan and Jones (2009) by focusing on the involvement of patients in the provision of feedback about clinical skills to students. The review uncovered a small body of literature with methodological weaknesses generally in the areas of patient description and rigor, but methodological strengths in the identification of the study purpose and use of background literature. Despite potential methodological shortcomings and variation in research designs, the available evidence consistently indicated that patient feedback had a positive impact upon healthcare student clinical skills development and learning. 

검토된 연구의 대다수는 환자 피드백이 지식에서 스스로 인식되는 변화(Anderson et al. 2011), 더 나은 고객 결과(Reese et al. 2009), 향상된 시험 성과(Anderson and Meyer 197; Stillman et al. 1980) 및 환자 인터뷰에서의 증가된 심리사회적 내용 등을 비롯하여 학생들의 임상 기술을 향상시켰다는 것을 보여주었다. 모건과 존스(2009년)의 조사 결과와 일관되게 학생들은 일반적으로 환자의 피드백을 긍정적으로 인식했다.

The majority of studies reviewed indicated that the patient feedback improved students’ clinical skills, with the improvements ranging 

• from increased self-perceived changes in knowledge (Anderson et al. 2011), 

• to better client outcomes (Reese et al. 2009), 

• to improved exam performance (Anderson and Meyer 1978; Stillman et al. 1980), and 

• increased psychosocial content in patient interviews (Simek-Downing et al. 1986). 

Consistent with the findings of Morgan and Jones (2009), students generally perceived the feedback from patients positively.

현재 검토에서 피드백을 전달하는 방법은 구두 및 서면 피드백 모드에 따라 달랐다. 두 가지 모드 모두 학생들은 유익하다고 생각했다. 모건과 존스(2009년)와 유사하게, 우리는 현재의 검토에 포함된 연구가 실제 행동 변화보다는 피드백에 대한 학생들의 인식을 탐구하는 경향이 있다는 것을 발견했다. 검사 수행 변화를 보고한 스틸맨 외 연구진(1980)과 앤더슨 및 마이어(1978)은 예외였고, 리즈 외 연구진(2009)은 피드백 그룹이 피드백 그룹이 없는 것보다 통계적으로 더 나은 환자 성과를 보였다고 보고했다.

In the current review, the method of delivering the feedback varied with both verbal and written modes of feedback used. Both modes were perceived by students as being beneficial, with no indication of preferred mode. Similar to Morgan and Jones (2009), we found that the studies included in the current review tended to explore students’ perceptions towards the feedback rather than changes in actual performance. Exceptions were Stillman et al. (1980) and Anderson and Meyer (1978) who reported changes in exam performance, and Reese et al. (2009) who reported that the feedback group demonstrated statistically better patient outcomes than no feedback group.

자 외 연구진(2009)은 환자들이 건강관리 학생 교육에 효과적으로 참여하기 위해 보유해야 할 두 가지 주요 특성이 생각이 또렷한 것being articulate과 우수한 의사소통 기술 보유라는 사실을 발견했다. 본 리뷰에 포함된 연구는 의사소통 장애가 있는 환자들에게 초점을 맞추지 않았다.

Jha et al. (2009) found that being articulate and possessing good communication skills were two key attributes that patients needed to possess to be involved effectively in healthcare student education. The studies included in the present review did not focus on patients with communication disorders.

의사소통 장애는 획득한 뇌 손상을 따르는 것과 같은 많은 건강 조건에서 널리 퍼지며, 임상 환경에서 자주 발생한다. 현재의 리뷰는 환자가 의사 소통장애를 가지고 있는 경우에 대해서, 학생들에 대한 환자 피드백의 효과에 대한 지식이 부족하다는 것을 암시한다.

Communication disorders are prevalent in many health conditions, such as following an acquired brain injury, and are encountered frequently in clinical settings. The current review suggests that there is a lack of knowledge about the effectiveness of patient feedback to students when the patient has a communication disorder.

일반적으로, 검토에 포함된 논문은 방법론적으로 약한 경향이 있었다. 흥미롭게도 질적인 기사들은 양적인 기사보다 더 높은 점수를 받았다. 정량적 기사에 대한 점수가 낮은 것은 무작위 대조 시험과 같은 보다 엄격한 연구 설계보다는 의도적으로 개발한 체크리스트와 조사를 포함한 정량적 연구에 상대적으로 약한 연구 설계를 사용했기 때문일 수 있다. 흥미롭게도, 두 유형의 연구에 대한 약점 영역은 description of patients에 있는 경향이 있었고, 연구는 선택 편견의 가능성에 민감하게 되었다. 또한 검토된 연구들은 study rigor 분야에서의 성과가 좋지 않은 경향이 있었다. Study rigor라 함은, 정량적 연구의 경우, 이는 co-intervention과 contamination을 방지하는 것이고, 질적 연구의 경우에는 신뢰성, 전달성, dependability에 대한 것이다. 이것은 좀 더 엄격한 연구 설계로 그 분야에서 더 많은 연구가 필요하다는 것을 암시한다.

In general, the articles included in the review tended to be methodologically weak. Interestingly the qualitative articles scored more highly than the quantitative articles. The lower scores for the quantitative articles may have been due to the use of relatively weak study designs for the quantitative studies including purposefully developed checklists and surveys rather than more rigorous study designs such as randomized controlled trials. Interestingly, the areas of weakness for both types of studies tended to be in the description of patients, leaving the studies susceptible to the possibility of selection bias. The studies reviewed also tended to perform poorly in areas pertaining to study rigor. For quantitative studies, this was in the avoidance of cointervention and contamination, while for qualitative studies this was in the areas of credibility, transferability and dependability. This suggests the need for further research in the area with more rigorous study designs.

현재 체계적 검토의 임상적 의미는 환자 피드백이 학생 학습에 유용한 요소가 될 수 있다는 것이다. 그러나 엄격한 방법론을 가진 더 많은 연구가 필요하다. 또한, 의사 소통 장애를 포함한 다양한 장애가 있는 환자와 연합된 건강 학생 학습에 대한 환자 피드백의 영향에 대한 추가 연구가 필요하다. 환자 피드백은 학생 훈련에서 잠재적으로 강력하지만 활용률이 낮은 기법이다.

The clinical implication of the current systematic review is that patient feedback may be a useful component of student learning; however, more studies with rigorous methodologies are required. Additionally, there is a need for further research into the effects of patient feedback on allied health student learning and into patients with a variety of disorders, including communication disorders. Patient feedback is a potentially powerful but underutilized technique in student training

한계와 나아갈 방향

Limitations and directions for future research

Lyons et al. (2009)가 제기한 바와 같이, 문헌에서 확인된 연구는 단기 학생 학습 성과에 초점을 두고 있으며, 환자로부터 받은 피드백이 향후 임상 실습 후 학생들의 임상 행동에 영향을 미치는지에 관한 것은 불확실한 것으로 남아 있다.

As raised by Lyons et al. (2009), the studies identified in the literature focused on short-term student learning outcomes and uncertainty remains as to whether feedback received from patients influences students clinical practice behaviors in their future clinical practice postgraduation.

Conclusions

이 체계적인 검토는 환자 피드백이 특히 학생들의 의사소통과 임상적 기술의 발달에 있어 학생 학습의 유용한 구성요소가 될 수 있음을 시사했다. 보고된 복리후생은 지식의 증가, 고객 결과 개선, 학생 시험 성적 향상, 환자 인터뷰에서의 심리사회적 내용 증가에 이르기까지 다양했다. 이러한 연구 결과는 환자 피드백이 건강관리 학생들이 의료 전문가로서 더 나은 장비를 갖추도록 교육하는 데 중요한 역할을 할 수 있음을 시사한다.

This systematic review suggested that patient feedback may be a useful component of student learning, particularly in the development of students’ communication and clinical skills. Reported benefits spanned from an increase in self-perceived changes in knowledge, to improved client outcomes and student examination performance, and to an increase in psychosocial content in patient interviews. These findings suggest that patient feedback may play a vital role in training healthcare students to be better equipped as healthcare professionals

Med Teach. 2018 Mar;40(3):244-252. doi: 10.1080/0142159X.2017.1401218. Epub 2017 Nov 26.

How does feedback from patients impact upon healthcare student clinical skill development and learning? A systematic review.

피드백 탱고: 교수-학습자 피드백 교환의 내용 분석(Acad Med, 2018)

The Feedback Tango: An Integrative Review and Analysis of the Content of the Teacher–Learner Feedback Exchange

Robert Bing-You, MD, MEd, MBA, Kalli Varaklis, MD, MSEd, Victoria Hayes, MD,

Robert Trowbridge, MD, Heather Kemp, MLIS, and Dina McKelvy, MA, MLS, AHIP

의학 교육에서 학습자를 위한 피드백은 오랫동안 의학교육자들에게 중요한 주제였다.12 어떻게 피드백을 주는가에 대한 지침의 출판에도 불구하고 의대 학생들과 레지던트들은 그들이 적절한 피드백을 받지 못한다고 계속해서 주장해왔다.5–7 피드백은 의학교육에서 "아주 다루기 힘든 문제"로 기술되어 왔다.8 부정확한 자기 평가, 피드백의 평가절하 할인 또는 거부, 피드백의 정의 등이 그 이유였다.

Feedback for learners in medical education has long been a topic of importance for medical educators.1,2 Despite the publication of guidelines on how to give feedback,3,4 medical students and residents have continued to claim they do not receive adequate feedback.5–7 Feedback has been described as an “intractable problem” in medical education.8 Reasons have been given for the challenges with feedback, including inaccurate self-assessment and discounted or rejected feedback,9 and definitions of feedback have been explored.10

이 통합 검토의 근거 합성은 우리의 scoping review 작업의 연장이다.11 우리는 다음의 연구 질문을 탐구하기 위해 특정 일부 기사를 선택했다. 

학습자에게 제공되는 피드백의 내용은 교사와 학습자 사이의 피드백 통신에 대해 무엇을 알려주는가? 

우리는 피드백 내용에 대한 심층 분석이 왜 여전히 피드백이 의학교육에서 난제로 남아 있는지 결정하는 데 도움이 될 수 있다고 믿는다.

The evidence synthesis of this integrative review is an extension of our scoping review work.11 We selected a specific subset of articles to explore the following research question: 

What does the content of the feedback to learners tell us about feedback communication between teachers and learners? 

We believe that an in-depth analysis of feedback content may help determine why feedback remains a challenge in medical education.

우리는 피드백 교환의 적절한 은유로서 탱고를 선택했다. 탱고는 "중남미 출신의 복잡한 사교춤"과 "직설성의 결여로 특징지어지는 상호 작용"으로 정의된다. 평범한 관찰자에게 탱고는 예측 가능하고 예상 밖의 춤 스텝에 적극적으로 관여하는 두 개인으로 나타난다. Tango Linguinga는 "탱고의 중심에는 당신이 춤추고 있는 사람과 듣고, 이해하고, 대화하고 싶은 욕망이 있다." 피드백을 개념적으로 비추기 위해, 우리는 이 댄스 양식을 사용하여 두 개인 간의 역동적인 협력 관계를 제안한다. (단방향 정보 전송 프레임워크와는 대조적으로)

We have chosen the tango as an apt metaphor of the feedback exchange. The tango is defined as a complex “ballroom dance of Latin American origin,” as well as an “interaction marked by lack of straightforwardness.”15 To the casual observer, the tango appears as two individuals actively engaged with dance steps that are both predictable and unexpected. Tango Lingua16 notes that “at the heart of [Argentine] tango is the desire to listen to, understand and converse with the person you’re dancing with.” As a way to illuminate feedback conceptually, we use this dance form to suggest a dynamic partnership between two individuals (in contrast to a framework of unidirectional transmission of information).

방법

Method

Scoping review의 연구 질문은 "의학 교육에서 학습자를 돕기 위한 피드백에 관한 문헌에 광범위하게 발표된 것은 무엇인가?"11이었다.

The research question of the scoping review was, “What has been broadly published in the literature about feedback to help learners in medical education?”11

Goug et al.,17에 의해 요약된 문헌 검토와 관련하여 제안된 전략에 따라, 우리는 특정 연구 질문이 있는 논문의 하위집합으로서 더 좁은 검토를 결정했다. 2016년 9월, integrative review 접근법은 다양한 방법론을 사용하여 기사를 포함할 수 있기 때문에 통합 검토 접근방식을 선택했다.18,19 지식을 통합하는 구체적인 방법으로서, 통합 검토는 연구자들로하여금 정량적 및 정성적 자료 모두 포함할 수 있는 다양한 근거 출처에서 패턴이나 주제를 식별할 수 있도록 한다.

Following the suggested strategies regarding literature reviews as outlined by Gough et al,17 we subsequently determined a narrower review as a subset of articles with a specific research question. 

In September 2016, we selected an integrative review approach because it allows for the inclusion of articles using various methodologies.18,19 As a specific method to synthesize knowledge, the integrative review permits investigators to identify patterns or themes from a set of diverse evidence sources that may include both quantitative and qualitative data.18 

우리의 범위 검토11에서 피드백과 관련하여 높은 수준의 증거(예: 무작위 시험)를 가진 기사가 거의 없다는 것을 발견했기 때문에, 우리는 근거의 계층 구조를 정량화하기 위한 체계적 검토는 실현가능하지도 적절하지도 않을 것이라고 결론지었다.20 

We discovered in our scoping review11 that there were few articles with higher-quality levels of evidence (e.g., randomized trials) regarding feedback, so we concluded that a systematic review to quantify hierarchies of evidence would be neither feasible nor appropriate.20 

이 통합 검토는 의료 교육 증거 통합에 대한 권장 간행물 표준(즉, STORIES 기준20)을 따른다.

This integrative review follows the recommended publication standards for health care education evidence synthesis (i.e., STORIES criteria20).

Data sources and search strategy

Data extraction and analysis

결과

Results

포함된 논문의 특성

Characteristics of included articles

공통 주제

Common themes

몇 가지 공통적 주제 발견

We identified several common themes during our review of the 51 articles: 

• 관용성 편형 leniency bias, 

• 저품질 피드백 low-quality feedback, 

• 교수의 피드백 역량 부족 faculty deficient in feedback competencies, 

• 피드백 도구의 문제 challenges with multiple feedback tools, and 

• 성별 영향 gender impacts (Table 1).

관용성 편향

Leniency bias.

Fifteen articles (29%) described issues with low-quality feedback. 

A leniency bias was noted in many articles (n = 19; 37%). In other words, feedback providers were often reluctant to give any, or even minimally, constructive (i.e., negative) feedback to the learners. 

This occurred across multiple contexts: 

• audiotapes (n = 3; 6%),21,22,24 

• CEX (n = 1; 2%),29 

• feedback cards (n = 2; 4%),33,38 

• MSF (n = 5; 10%),39,40,45–47 

• videotapes (n = 2; 4%),48,53 and 

• written feedback (n = 6; 11.8%).56,57,64,66,69,70 

The tendency to provide predominantly positive feedback occurred even when feedback was given using a structured feedback tool22 or in a group discussion.24 Both faculty29,38 and student peers53,56 were found to be lenient.

저품질 피드백 

Low-quality feedback.

너무 일반적, 가이드라인 따르지 않음

Twelve articles (24%)22,23,26,27,31,33,40,48,51,61,64,67 indicated that the feedback given to learners was limited in amount or too general and did not conform to published guidelines for feedback.2–4 

피드백에 이후 계획이 없음. Previous action plans도 없음

Six articles (12%)22,34,36,38,40,61 revealed that action plans for learners were either not included in the feedback or were limited in scope; previous action plans, from which to judge progress, were not included.

교수의 피드백 역량 부족

Faculty deficient in feedback competencies.

경험이 있어도 포맷을 잘 따르지 않음. 훈련을 해도 적절한 피드백을 주지 않음

Eight articles (16%) indicated challenges with the faculty as they provided feedback. They did not use the feedback forms appropriately,31,46,62 even if they were experienced teachers,26 or they did not provide adequate feedback after training.28,29 

상호작용하지 않고 교수가 대화를 주도함.

Two articles (4%), which analyzed audiotapes, noted that the feedback sessions were not interactive and the faculty dominated the conversations.21,22

피드백 도구의 문제

Challenges with multiple feedback tools.

다양한 방식 사용

Various types of feedback tools were used (see Supplemental Digital Appendix 1 at http://links.lww.com/ ACADMED/A484). 

그냥 도구가 사용되지 않거나, 사용시 피드백 정보 누락

Seven articles (14%) described challenges related to these feedback tools. The authors reported that the tool simply was not used26,36,46 or that information on the completed feedback tool was missing.33,35,41 

손으로 쓰는 경우에 읽을 수가 없는 경우가 많음

When a handwritten method was the means for communicating feedback, authors noted the frequent illegibility of such information.35,55

성별 영향

Gender impacts.

학습자나 피드백 제공자의 성별은 피드백 교환에 영향을 미치는 것으로 7개 연구(14%)에 기록되었다. 

The gender of the learner or the feedback provider was noted in 7 articles (14%) as having an impact on the feedback exchange. 

언어병리학 학생들과 관련된 기사에서, 여성들은 다른 여성들에게 부정적인 판단을 줄 때 우회적implicit으로 했다(즉, 긍정적인 피드백은 명시적이었다).21 내과 임상실습생에게 피드백 카드를 사용하여 실시한 연구에서 동일한 성별의 학생이 pair일 경우 개선을 위한 권고사항은 거의 없었다.36 

In the article involving speech pathology students, women gave negative judgments to other women in an implicit manner (i.e., positive feedback was more explicit).21 In a study with internal medicine clerkship students using feedback cards, fewer recommendations for improvement were noted with gender-concordant pairs.36 

• 대조적으로, 1학년 의대생들을 대상으로 한 연구에서 주어진 서면 피드백의 일부로서 동일한 성별일 경우(특히 여성 쌍)이 더 상세한 목표를 설명하였다.62 

• 전문직 종사자들의 행동에 관한 MSF 기사에서, 여성 평가자는 남성 평가자보다 여러 전공과에서 거주자들을 더 낮게 평가했다.41 

• 또 다른 MSF 기사에서, 남성 OB/GYN 전공의는 여성 OB/GYN 전공의들보다 간호사들로부터 더 많은 부정적인 피드백을 받았다.43 

• 사례 발표에 관한 기사에서, 의대 1학년 남학생들은 여학생들보다 또래들에게 비판적인 피드백을 제공할 가능성이 더 높았다.66 

• 서면 총괄 피드백을 평가하는 기사에서, 3학년 여학생들은 남학생들보다 이 정보를 seek할 가능성이 더 높았다.71

• In contrast, in a study with first-year medical students, gender-concordant pairs—specifically female pairs—resulted in more detailed goals as part of the written feedback given.62 

• In an MSF article on interprofessional behaviors, the female raters scored residents in multiple specialties lower than the male raters.41 

• In another MSF article, male OB/GYN residents received more negative feedback from nurses (who were more likely female) than did the female OB/GYN residents.43 

• In an article on case presentations, male first-year medical students were more likely than female students to provide critical feedback to peers.66 

• In an article assessing written summative feedback, third-year female medical students were more likely than male students to seek out this information.71

고찰

Discussion

여기 포함된 논문들을 단독으로 읽을 경우 피드백에 대한 개별 질문을 제기할 수 있다. 그러나 이 검토에서와 같이, 여러 논문을 함께 분석할 때, 공통된 주제들이 나타난다. 적절한 피드백을 받지 못했다는 학습자의 수년간 불만은 사실인 것 같다5-7! 우리의 조사 결과, 피드백은 종종 구체적이지 못하고, 양이 부족하고, 실행 계획이 부족하며, 주로 긍정적인 측면에 초점을 맞춘다는 학습자의 주장을 뒷받침한다. 이러한 관용적 편견은 부정적인 반응을 두려워하거나, 건설적인 피드백을 주는 능력이 부족한 것 등을 포함하여 여러 가지 이유로 발생할 수 있다. 종합적으로 보면, 이러한 발견들은 실망스러운 것처럼 보일 수 있다. 즉, 어비가 말한 "피드백이 다루기 어려운 문제"라는 주장을 뒷받침한다. 하지만, 보다 긍정적인 관점에서, 우리는 학습자에 대한 피드백이 환자 성과와 어떻게 관련되어 있는지 다른 곳에서 설명했다.

When these articles are read in isolation, they may raise individual questions about feedback. But when they are analyzed together, as in this review, common themes emerge. Learners’ complaints over the years that they do not receive adequate feedback5–7 appear to be true! Our findings support their claims that often feedback is nonspecific, limited in amount, lacking in action plans, and focused predominantly on the positive aspects of their performance. This leniency bias could occur for many reasons, including faculty fearing negative reactions or lacking skills in giving constructive feedback. Collectively, these findings may seem discouraging—supporting Irby’s8 claim that feedback is an intractable problem—but, from a more positive perspective, we have described elsewhere how feedback to learners is related to patient outcomes:

교훈

Lessons learned

탱고와 마찬가지로, 73 피드백 상호작용은 복잡한 일련의 움직임으로 구성될 수 있다. 

• 다양한 상황(예: CEX, MSF, 서면 피드백), 도구 및 포맷, 퍼포먼스에서 피드백의 관심이 되는 영역 등이 모여서 매우 복잡한 상호작용을 이룬다.74,75 

• 탱고의 다방향 움직임에 비교할 수 있듯, 피드백 교환은 선형적이지 않으며 직설적이지 않고 교사 특성과 맥락과 같은 요소의 상호 작용에 의해 영향을 받을 수 있다.25 

• 댄스 파트너의 감정적 상태가 탱고에 영향을 미치듯이, 피드백 제공자와 수신자의 정서적 반응은 피드백 상호작용에 영향을 미칠 수 있다.76 

• 댄스 파트너가 서로 신뢰해야 하듯, 피드백을 주고받는 사람도 마찬가지이다.77,78 

• 그리고 복잡성과 도전에 더하여, 탱고 파트너는 각 파트너의 상태, 환경, 잠재적 장애물(예: 다른 댄스 커플)을 예리하게 의식하고 상황적으로 인식할 필요가 있는데, 피드백을 주는 사람도 마찬가지어서 예를 들면 학습자의 반응과 환경적 방해 요인을 고려해야 한다.

Like the tango,73 the feedback interaction can appear to be composed of a complex set of movements. 

• The various contexts (e.g., CEX, MSF, written feedback), tools and forms used, and focus areas of performance make for a very complex interaction.74,75 

• Comparable to the multidirectional movements in the tango, feedback exchanges are not linear and straightforward and can be affected by the interplay of factors such as teacher characteristics and context.25 

• Just as the emotional state of the dance partners may affect the tango, the affective reactions of the feedback provider and receiver may impact the feedback interaction.76 

• Dance partners must trust one another and believe their partner is credible, as must individuals in a feedback exchange.77,78 

• Adding to the complexity and challenge, tango pairs need to be keenly mindful and situationally aware of each partner’s state, their surroundings, and any potential obstacles (e.g., other dance couples), as do feedback providers, who need to account for, as examples, environmental distractions and the reactions of the learner.

피드백 교환은 독백도 아니고 일방적인 것도 아니다. 오히려 양방향 대화여야 한다. 49,74 단순한 정보(예: 수치 데이터)를 피드백으로 제공하는 일방적 정보는 유용하지 않을 것이다. 속담에도 있듯이, "탱고를 추기 위해서는 두 사람이 필요하다." 탱고는 즉흥적이고 자발적인 춤일 수 있다. 두 파트너는 서로에게 빠르게 적응하고 "흐름에 맞춰" 갈 필요가 있다. 탱고를 한 사람이 출 수 없는 것처럼, 피드백도 개인이 단독으로 행동하는 방식으로 발생하지 않아야 한다(즉, 도움이 되는 파트너가 없음). 피드백을 주고받는 양측 모두 뒤이어 무엇이 따라올지에 대한 고정된 생각을 가지고 있지 않아야 하며, 상대방에게 적절하게 반응할 용의가 있어야 한다.

The feedback exchange should neither be a monologue nor unidirectional; rather, it should be an interactive, two-way dialogue.49,74 The one-way provision of simple information as feedback (e.g., numerical data)55,58,68 is not likely to be helpful. As the saying goes, “it takes two to tango.” The tango can be an improvisational, spontaneous dance, with both partners needing to adapt quickly to one another and “go with the flow.” Just as the tango cannot be performed by a single individual,79 feedback should not happen with an individual acting in isolation (i.e., without a helpful partner). Neither partner in the feedback exchange should have a fixed idea of what is to ensue, but each should be willing to respond appropriately to the other.

적절한 교육과 연습 없이 복잡한 춤을 배우는 것은 꽤 어려울 것이다. 마찬가지로 피드백과 같은 복잡한 과정에는 충분하고 정기적인 교수 훈련이 필요하다. 이 검토에 포함된 여러 논문과 다른 저자에 따르면, 피드백과 관련한 교수개발이 불충분하거나 효과적이지 않을 수 있다고 제안한다.80,81 피드백에 대한 최소한의 지침(예: 양식의 지침에 대한 간단한 설명 읽기)만 주고 deliberate practice가 없다면 잘 풀리지 않을 것이다.

Learning a complex dance without proper instruction and practice would be quite challenging. Similarly, sufficient and periodic faculty training is necessary for such a complex process as feedback. Several of the articles included this review and by other authors suggest that faculty development in feedback is insufficient26,28,29,31,46,62 or may not be effective.80,81 Minimal instruction in feedback (e.g., reading a short description of instructions on a form) without deliberate practice is not likely to work out well.

오랜 기간 동안 댄스 파트너와 함께 일하는 것은 두 사람의 성과를 향상시킨다. 교사와 학생 간의 장기적 관계를 확립하는 것은 피드백의 내용과 과정에 도움이 되는 것으로 보인다.25,32,50,58,82,83 오랜 시간에 걸쳐, 같은 파트너와 춤을 연습하게 되면, 어떻게 하면 적은 저항으로 서로에게 동작이 점진적으로 제공되는지를 향상시킬 수 있다. 이와 마찬가지로 피드백 교환 중에 학습자와 교사가 정보를 상호 수용하는 것이 중요하다.85

Working with a dance partner over longer periods improves the performance of the pair. Establishing longer-term relationships between teachers and students appears to help the content and process of feedback.25,32,50,58,82,83 Over time, practicing with the same dance partner may improve how movements are progressively offered to one another with less resistance,84 similar to how during the feedback exchange it is important for learners and teachers to mutually accept information.85

통합 검토에서 배운 다른 두 가지 교훈은 탱고의 은유에 딱 들어맞지 않는다. 

• 첫째, 성별은 제공자와 수신자 간에 교환되는 피드백 정보에 영향을 미친다. 피드백 제공자와 수신자는 또한 가능한 성별과 무의식적인 편향 효과를 염두에 두어야 한다. 

• 둘째, 손으로 쓴 피드백은 많은 경우에 정보를 판독할 수 없기 때문에 문제가 된다. 의료 교육자들은 이제 정보 기술을 이용할 수 있게 됨에 따라 손으로 쓰는 방식의 피드백의 제공을 제거하는 것을 고려해야 한다.

Two other lessons learned from our integrative review do not fit neatly into the tango metaphor. 

• First, gender has an impact on the feedback information exchanged between the provider and receiver. Feedback providers and receivers should also be mindful of possible gender and unconscious bias effects. 

• Second, handwritten feedback is problematic because of the frequency of illegible information. With the information technology now available, medical educators should consider eliminating the provision of feedback through handwritten means.

권고

Recommendations

이 통합적 검토와 학습자에 대한 피드백 내용의 분석에서 얻은 교훈을 바탕으로 피드백을 개선하기 위한 몇 가지 향후 방법 및 추가 연구를 위한 영역을 제안한다. 우리의 권고사항 중 일부는 일반적인 관행에서 상당한 이탈일 수 있고 다른 자원을 필요로 할 수 있지만, 우리의 증거 통합은 낮은 품질의 피드백, 관대함 편견, 피드백 도구의 부적절한 사용, 피드백 제공자의 피드백 능력의 결여, 성별에 따른 영향 등을 포함하는 현재의 상황들을 보여준다.

Based on the lessons learned from this integrative review and analysis of the content of feedback to learners, we propose several future methods for improving feedback as well as areas for additional research. Some of our recommendations may be significant departures from normal practices and require different resources,86 but our evidence synthesis shows that the current state of affairs with feedback includes low-quality feedback, leniency biases, inadequate use of feedback tools, deficiencies in the feedback competency of feedback providers, and gender impacts.

잘 훈련된 교수진 공급자의 수를 제한한다.

Limit the number of well-trained faculty providers.

모든 사람이 춤을 잘 출 수 있는 것은 아니다. 우리는 훈련된 피드백 제공자의 수를 상당히 줄일 것을 권고한다. 우리는 모든 교수진의 피드백 능력 수준을 균일하고 지속적으로 올리는 것을 기대하는 것은 비현실적이라고 생각한다. 피드백이 성공하려면 학습자와 긴밀하게 협력하는 unique한 의학교육자 그룹이 요구될 수 있다.37 오늘날, 임상 학습 환경은 선생님과 학습자 사이의 매우 간소화된 서비스 요건 및 상호작용으로 가득 차 있으며, 이는 피드백 교환을 더욱 어렵게 한다. 비록 단기 교수진의 존재와 학습자와의 상호작용을 무시할 수는 없지만, 교사와 학습자 모두 이러한 상황에서 의미 있는 또는 품질 피드백을 제공하는 것의 한계를 인식하고, 왜 피드백이 무시되거나 거부되는지 이해해야 한다. 제안된 전담 교수 피드백 제공자 그룹은 대학원 의학 교육 이정표 또는 CanMEDS와 같은 프레임워크를 사용하여 원하는 역량의 학습자 성취도를 평가하는 그들의 노력을 지시할 수 있다.

Not everyone can dance well. We recommend that the number of trained feedback providers be narrowed down significantly. We believe it is unrealistic to expect to uniformly and consistently raise the level of feedback competency for all faculty. A unique group of medical educators working closely with learners may be required for feedback to be successful.37 Today, the clinical learning environment is fraught with briefer teacher and learner service requirements and interactions, which makes feedback exchanges challenging. Although we cannot ignore the presence of short-term faculty and their interactions with learners,87 both teachers and learners should recognize the limitations for providing any meaningful or quality feedback in these situations and understand why feedback may then be ignored or rejected. The proposed dedicated group of faculty feedback providers could also direct their efforts toward assessing learner achievement of desired competencies using frameworks, such as the Accreditation Council for Graduate Medicine Education Milestones or CanMEDS.

전반적 피드백 문화 개선

Improve the overall feedback culture.

조직의 전반적인 피드백 문화는 교육 리더들이 [구체적이고 공식적이며 지속적인 교수개발을 포함하는] 강력한 구조를 설계함으로써 강화될 것이다. 교수진이 이 평가 노력에 투자하는 시간의 가치를 극대화하기 위해, 시스템을 지속적으로 평가하고 개선하면서 전체 평가 시스템에 대해 사전 예방적이고 사려 깊은 접근법이 있어야 한다(피드백만을 고립하여 생각하지 말아야 한다). 

The overall feedback culture of an organization would be enhanced by its educational leaders designing a robust structure that includes specific, formal, ongoing faculty development. To maximize the value of the time that faculty invest in this evaluative effort, there should be a proactive and thoughtful approach to the entire evaluation system (i.e., not just thinking about feedback in isolation), with the system being internally assessed and improved upon continuously. 

탱고 은유로 돌아가면서, 우리는 댄스 스튜디오의 소유자 또는 수석 안무가가 최적의 환경 (예: 댄스 스튜디오의 신체적 조건, 좋은 음악, 숙련된 트레이너, 무용수들의 적절한 짝짓기, 안무), 긍정적인 문화 장려, 그리고 지속적인 향상을 강조할 책임이 있다고 제안한다. 댄스 쌍과 스튜디오 전체의 피드백 문화에 대한 향후 연구는 전체 피드백 및 평가 시스템과 피드백을 통해 현재의 문제로부터 필요한 변화를 달성하기 위한 모범 사례를 확립하는 책임을 지는 의료 교육 지도자 또는 팀에 초점을 맞출 수 있다.

Returning to our tango metaphor, we put forward that the dance studio owner or senior choreographer is responsible for creating the optimal environment (e.g., the physical conditions of the dance studio, good music, skilled trainers, appropriate pairing of dancers, choreography), encouraging a positive culture, and emphasizing the continuous enhancement both of dance pairs and of the entire studio. Future research on feedback culture could focus on the medical education leaders or team responsible for establishing the entire feedback and evaluation system and the best practices to achieve the needed shift from our current state of affairs with feedback.

Limitations

Conclusions

Acad Med. 2018 Apr;93(4):657-663. doi: 10.1097/ACM.0000000000001927.

The Feedback Tango: An Integrative Review and Analysis of the Content of the Teacher-LearnerFeedback Exchange.

의학교육에서 학습자를 위한 피드백: 알려진 것은? (Acad Med, 2017)

Feedback for Learners in Medical Education: What Is Known? A Scoping Review

Robert Bing-You, MD, MEd, MBA, Victoria Hayes, MD, Kalli Varaklis, MD, MSEd,

Robert Trowbridge, MD, Heather Kemp, MLIS, and Dina McKelvy, MA, MLS

학습자들을 위한 피드백은 의학교육자들에게 여전히 중요한 연구 분야로 남아 있다. 

• 학습자에 대한 효과적인 피드백은 특히 역량 기반 교육에서 학생이 새로운 지식과 기술을 습득할 수 있도록 하는 데 중요하다.

• 피드백은 또한 교수 개발 프로그램과 레지던트-교사 및 학생-교사 프로그램의 일반적인 구성요소다. 

• 교수진의 평가에는 일반적으로 피드백 전달 능력에 대한 평가가 포함된다. 

그럼에도 불구하고, 이런 피드백에 대한 주의에도 불구하고, 의대 학생들과 레지던트는 오랫동안 그들이 충분한 피드백을 받지 못한다는 것을 보여주었다.

Feedback for learners continues to be an important area of study for medical educators.1,2 Effective feedback to learners is important for them to be able to acquire new knowledge and skills, especially in light of the shift toward competency-based education.3 Feedback is also a common component of faculty development programs4 and residents- and students-as-teachers5 programs. Evaluations of faculty typically include assessments of their feedback delivery skills.6 Nonetheless, despite this attention to feedback, medical students and residents have long indicated that they receive insufficient feedback.7,8

의학 교육의 피드백에 대해 가장 자주 인용되는 논문 중 하나에서, 엔데9는 임상 교사들이 학습자와 함께 사용해야 하는 피드백 행동을 규정했다. 그러나 이러한 권고안은 경영 및 조직 심리학 같은 다른 분야로부터 도출되었으며, 반드시 의학 교육의 증거에 기초하지는 않았다.

In one of the most frequently cited articles on feedback in medical education, Ende9 prescribed feedback behaviors that clinical teachers should employ with learners. However, these recommendations were drawn from other fields, such as business administration and organizational psychology, and were not necessarily based on evidence in medical education.

우리는 학습자의 피드백에 관한 의학 교육 문헌이 광범위하고, 광범위하게 평가되지 않았으며, 다양한 접근법을 포함하고 있으며, 체계적인 연구에 명백히 적합하지 않다고 본다.

In our view, the medical education literature regarding feedback for learners is far-ranging, has not been broadly assessed, contains varied approaches, and is not obviously suitable for systematic study.

방법

Method

이 범위 검토의 방법론은 Arcsey와 O'Malley20이 제안한 프레임워크와 Levac와 동료21이 제안한 후속 권고에 기초했다.22,23 이 범위 검토는 5단계를 따랐다. 

(1) 연구 질문의 식별 

(2) 잠재적으로 관련 있는 문서를 확인한다. 

(3) 물품 선정 

(4) 차트 작성 데이터 

(5) 결과의 취합, 요약, 보고

The methodology for this scoping review was based on the framework suggested by Arksey and O’Malley20 and the subsequent recommendations proposed by Levac and colleagues21 and others.22,23 This scoping review followed five phases: 

(1) identifying the research question; 

(2) identifying potentially relevant articles; 

(3) selecting articles; 

(4) charting data; and 

(5) collating, summarizing, and reporting the results.

연구 질문

Research question

이 범위 검토는 "의학 교육에서 학습자를 돕기 위해 피드백에 관한 문헌에 광범위하게 발표된 것은 무엇인가?"라는 연구 질문에 집중되었다.

This scoping review was focused on the following research question: “What has been broadly published in the literature about feedback to help learners in medical education?”

우리의 목표는 의료 교육에 대한 실천과 추가 연구를 알리기 위한 핵심 개념, 문헌의 gap 및 근거의 출처를 식별하는 것이었다. 문헌의 질을 결정하는 것도 아니고, 이용할 수 있는 증거에 대한 해석에 기초하여 학습자에게 피드백을 전달하기 위한 권고안을 개발하는 것이 아니었다. 범위 검토는 문헌에 대한 광범위한 관점을 제공하며, 후속 체계적인 검토의 형태로 "더 깊은 탐구deeper dive"으로 이어질 수 있다.

Our goal was to identify key concepts, gaps in the literature, and sources of evidence to inform practice and additional research in medical education24; it was not to determine the quality of the literature or develop recommendations for delivering feedback to learners based on interpretations of the available evidence. Scoping reviews offer a wide perspective of the literature,22 which may lead to a “deeper dive” in the form of subsequent systematic reviews.

Screening, selection, and data extraction

결과

Results

We included 650 articles in this scoping review, after excluding 186 articles that were irrelevant, duplicates, or unobtainable (see Figure 1 for a flow diagram of the process and Table 2 for characteristics of the included articles). The complete list of included articles is available in Supplemental Digital Appendix 1 at http://links.lww.com/ACADMED/A426.

Characteristics of included articles

국가별

The majority of the 650 included articles originated from 

• the United States (n = 306; 47.1%) and 

• the United Kingdom (n = 104; 16.0%). The remaining articles came from 

• Canada (n = 66; 10.2%), 

• the Netherlands (n = 49; 7.5%), 

• Australia (n = 38; 5.8%), and 

• other countries (n = 87; 13.4%). 

기간별

• There were few articles on feedback for medical education learners from the years 1980 through 1989 (n = 29; 4.5%). 

• Even from 1990 through 1999, the decade after the publication of the seminal 1983 article by Ende,9 there were few articles found (n = 67; 10.3%). 

• There was a large increase in articles from the years 2000 through 2009 (n = 213; 32.8%), and 

• there were even more from the most recent years of the search, 2010 through 2015 (n = 341; 52.4%).

학습자 유형

Types of learners and disciplines involved

단계

Of the 543 articles (83.5%) in which a type of learner was specified, the majority focused on 

• medical students (n = 274; 50.5%) or 

• medical residents (n = 192; 35.3%). 

전공: 학생

Among the 79 articles focused on medical students that specified a discipline, the disciplines included 

• internal medicine (n = 27; 34.2%), 

• surgery (n = 17; 21.5%), 

• pediatrics (n = 12; 15.2%), 

• OB/GYN (n = 6; 7.6%), 

• psychiatry (n = 6; 7.6%), 

• family medicine (n = 5; 6.3%), 

• emergency medicine (n = 4; 5.1%), and 

• anesthesiology (n = 2; 2.5%).

전공: 전공의

For the 159 articles focused on medical residents and fellows and specifying disciplines, the disciplines included 

• internal medicine (n = 56; 35.2%), 

• surgery (n = 31; 19.5%), 

• pediatrics (n = 22; 13.8%), 

• emergency medicine (n = 14; 8.8%), 

• anesthesiology (n = 9; 5.7%), 

• radiology (n = 8; 5.0%), 

• family medicine (n = 8; 5.0%), 

• OB/GYN (n = 7; 4.4%), and 

• psychiatry (n = 4; 2.5%).

유형

Types of articles

97%는 한 가지 유형으로 분류가능

Ninety-seven percent of the 650 articles in this scoping review (n = 630) could be categorized into a single type of article (Table 3), with the remaining articles (n = 20) including multiple types (e.g., a survey of learners plus a literature review).

The majority of the 630 articles (n = 327; 52.0%) described a new or altered curricular approach

피드백 방법과 포커스

Feedback method and focus

피드백 평가

Evaluation of feedback impact

An evaluation of a feedback intervention was described in 300 articles (46.2%). 

• The majority of these 300 articles (n = 173; 57.7%) used the lowest of Kirkpatrick’s levels of evaluation,38 assessing learners’ reaction to feedback (i.e., level one). 

• This was obtained mainly through surveys of learners. Assessing differences in learning after feedback (i.e., level two) primarily involved changes in examination or case study scores (n = 12; 4.0%). 

• Assessing changes in behavior after feedback (i.e., level three) included describing the use of simulation as an evaluation method (n = 25; 8.3%), using standardized patients and OSCEs (n = 17; 5.7%), and using observation of learners (n = 7; 2.3%). 

• Level four outcomes could reflect the impact on patients from feedback to learners. Nineteen articles (6.3%) elaborated on the use of clinical patient data, and an additional 9 articles (3.0%) described chart reviews, to assess the clinical impact of the feedback intervention (e.g., interviews with or examination of actual patients, test ordering, adherence to practice guidelines).

고찰

Discussion

이 scoping review의 결과는 의학 교육에서 학습자들을 위한 피드백에 대해 알려진 것을 매핑하였다. 피드백 접근에 대한 권고사항을 설명하는 수많은 논문에서 입증되었듯이, 피드백은 학습자 개선의 중요한 동인으로 간주된다. 대부분의 논문들은 2000년 이후로 출판되었다. 의대생과 레지던트을 포함한 기사들이 많이 있다. 치과, 간호, 약학과 같은 다른 분야의 학습자들을 포함한 논문의 비율은 훨씬 더 적다. 소수의 논문은 피드백 후 학습자 행동의 변화를 설명하고 있으며, 심지어 소수의 기사는 환자 결과에 대한 피드백의 영향을 평가한다.

The findings from this scoping review add to the literature by mapping what is known about feedback for learners in medical education. As evidenced by the large number of articles outlining recommendations for feedback approaches, feedback is considered to be an important driver of learner improvement. Most of the articles have been published since the year 2000. There is an abundance of articles that include medical students and residents; much smaller proportions of articles include learners from other disciplines such as dentistry, nursing, and pharmacy. A small number of articles describe changes in learner behavior after feedback, and even fewer articles assess the impact of feedback on patient outcomes.

의학 교육에서 학습자들을 위한 피드백에 대해 알려진 것들의 대부분은 의학 교육 분야에서 강한 증거에 기초하지 않는다.39 우리의 범위 검토는 [성인 학습자를 위한 권고사항의 기반이 된 이론적 구성을 제공한] K–12 및 중등과정 학생들에 대한 광범위한 피드백 문헌을 무시하기 위한 것이 아니다. 비록 논문에서 그들의 피드백 요구나 피드백의 인식에 관해 성인 학습자에 대한 조사를 계속 기술하고 있지만, 무작위 교육 시험을 통해 피드백에 대한 다양한 접근법을 평가하는 의학 교육에는 엄격한 연구가 거의 없는 것으로 보인다. 이 범위 검토에 포함된 많은 논문은 신규 또는 변경된 커리큘럼 접근방식을 기술하였으며, 낮은 수준의 근거만을 보고했다. (예: 적은 수의 학습자에게 단일 관찰 피드백 조정)

Much of what is known about feedback for learners in medical education is not based on strong evidence in the medical education field.39 Our scoping review is not intended to dismiss the large body of feedback literature with K–12 and postsecondary students, from which theoretical constructs have informed recommendations for adult learners. Although articles continue to describe surveys of adult learners in medicine as to their feedback needs or their perceptions of feedback,40,41 there appear to be few rigorous studies in medical education assessing various approaches to feedback through randomized educational trials.42–44 Many articles included in this scoping review described new or altered curricular approaches that fall into lower-quality levels of evidence (e.g., single, observational feedback interventions with small numbers of learners).

즉, 소수의 논문만이 1983년부터 자주 인용되는 엔데의 논문인 피드백에 대한 행동주의 접근방식을 support하고 있다. 예를 들어, Saraf et al44는 비판보다는 칭찬의 형태로 피드백이 산부인과적 시뮬레이션에서 학생들의 지식과 기술을 향상시켰다는 것을 보여주었다. 그러나, 대조적으로, Boehler 등은 수술 매듭묶기에서 학생들의 성적은 단지 칭찬만 했을 때보다, 결점에 대한 피드백과 함께 제공되었을 때 향상되었음을 발견했다. LIC 모델과 같이 반복적으로 발생하는 피드백은 유익해 보인다.

That said, a small number of articles do support behaviorist approaches to feedback, the basis for Ende’s9 often-cited article from 1983. For example, Saraf et al44 demonstrated that feedback in the form of praise rather than criticism improved students’ knowledge and skills in obstetrical simulations. In contrast, however, Boehler et al43 found that students’ performance in surgical knot tying only improved with feedback about their deficiencies rather than just compliments. Feedback that occurs repeatedly, such as in the model of longitudinal integrated clerkships, appears to be beneficial.45,46 

즉각적인 피드백은 학습 이득에 도움이 되는 것으로 보인다. 47 반면에 최종적 피드백(예: 연습 후)은 동시적 피드백(예: 연습 중) 보다 테크니컬 스킬 능력에서 더 나은 학습을 유도하는 것으로 나타났다.48 

Immediate feedback appears to be helpful for learning gains,47 whereas terminal feedback (i.e., after practice) has been shown to result in better learning in technical skills than does concurrent (i.e., during practice) feedback.48 

피드백 "샌드위치" (즉, 양성-음성-양성 피드백)는 실제 성능을 변화시키지 않는 것으로 보인다. 그러나 학생들은 그렇게 인식하고 있다.49 프로페셔널리즘과 관련 있는 태도와 행동을 개선하는데 있어서, 개별기준에서 발생하는 피드백은 집단환경에서 주어진 피드백보다 더 효과적이다.50

The feedback “sandwich” (i.e., positive–negative–positive feedback) does not appear to change actual performance, although students perceive that it does.49 In improving professionalism attitudes and behaviors, feedback occurring on an individual basis appears to be more effective than feedback given in a group setting.50

위에 열거된 행동주의 접근방식을 완전히 인정하기 전에, 우리는 이들 연구의 방법론과 품질에 대한 평가를 권고한다.

Before endorsing the behaviorist approaches listed above, we recommend assessment of the methodology and quality of these articles.

피드백의 전달 측면에서 피드백 대화와 교사와 학습자 사이의 상호작용으로 문헌의 변화를 반영하듯, 우리가 도입부에서 강조했듯이, 보다 최근에 발표된 논문은 주로 피드백의 비행동적인 측면에 초점을 맞추고 있다. 피드백의 효과는 학습자의 정서적 상태 또는 피드백에 대한 학습자의 정서적 반응에 의해 영향을 받을 수 있다.

Reflecting the shift in the literature from the delivery aspects of feedback to the feedback conversation and interactions between the teacher and learner,14–19 as we highlighted in our introduction, more recently published articles have primarily focused on the non-behavioral aspects of feedback. The effectiveness of feedback may be impacted by the affective state of the learner or the learner’s emotional reaction to the feedback.15,51–54 

학습자가 피드백을 전달하는 사람의 신뢰성을 어떻게 인식하는지가 중요한 것으로 보인다. 학습자는 환자의 피드백의 이점에 대해 다양한 의견을 가지고 있으며, 환자는 학습자를 비판하기를 꺼릴 수 있다. 다른 연구는 피드백과 잠재적인 성별, 문화적 차이점에 초점을 맞추었다. 조사관들은 또한 피드백 상호작용의 내용 분석을 통해 학습자와 교사 사이의 복잡한 상호교류를 탐구했다.66

How the learner perceives the credibility of the individual delivering the feedback appears to be important.14,55–57 Learners have varying opinions on the benefits of feedback from patients,58,59 and patients may be reluctant to be critical of learners.60 Other research has focused on feedback and potential gender61–63 and cultural differences.64,65 Investigators have also explored the complex interchange between a learner and teacher through the content analysis of feedback interactions.66

피드백을 위한 다양한 루브릭이 있다.

Several rubrics, with various acronyms, have been suggested for use in feedback with learners: 

• BEGAN (The Brown Educational Guide to the Analysis of Narrative),67,68 

• REFLECT (Reflection Evaluation for Learners’ Enhanced Competencies Tool),69,70 

• FAIRness (feedback, activity, relevance, and individualisation),71,72 

• ECO (emotion, content, outcomes),73 

• RIME (reporter– interpreter–manager–educator),74 and 

• PEARLS (partnership, empathy, apology, respect, legitimation, support).75 

그러나, 이러한 루브릭은 최근의 저자들이 피드백의 모델을 재개념화하라는 요구가 증가하는 것을 고려하지 않는다.17~19,51 새롭게 제안된 피드백 모델은 순수한 행동 기반 접근법에 대한 비판을 반영한다.9

However, these rubrics do not consider the increasing calls by recent authors to reconceptualize models of feedback.17–19,51 The proposed newer models for feedback reflect the criticism of a purely behavioral-based approach.9

이 범위 검토에서는 의학교육에서 학습자의 피드백에 관한 고품질 증거가 부족한 가능한 이유가 연구 방법론 및/또는 사용된 접근법에 대한 challenge와 관련이 있음을 시사한다. 학습자와 교사를 교육적 개입에 맹목적으로 보는 것은 종종 가능하지 않지만, 피드백 개입에 대한 연구는 결과의 품질을 향상시키거나, 최소한 잠재적 교란 요인을 통제하기 위해 무작위화를 수반할 수 있다고 생각한다. 학습자는 이미 피드백을 받지 못하고 있다고 생각하므로, 통제군에 배정된 학습자는 피드백의 차이를 인식하지 못할 수 있다. 또한 데이터를 평가하는 사람은 blind되어야 한다. 의학교육자는 더 나은 피드백 활동과 정량적 연구 방법을 알리기 위해 더 많은 질적 연구 방법 또는 피드백 상호작용의 내용 분석을 사용할 수 있다. 피드백 개입에 관한 다기관 연구는 실현가능하며 촉진되어야 한다.

This scoping review suggests that a possible reason for the lack of high-quality evidence regarding feedback for learners in medical education relates to challenges in study methodology and/or the approaches used. Although blinding learners and teachers to educational interventions is often not feasible, we believe studies of feedback interventions could involve randomization to improve the quality of the results, or at least control for potential confounding factors. Learners already perceive that they do not receive feedback,7,8 and therefore learners randomized to a control arm may not recognize any differences in feedback. Consideration should also be given to blinding the evaluators of the data. Medical educators could use more qualitative research methods or content analysis of feedback interactions66 to inform better feedback activities and quantitative research methods. Multisite trials involving feedback interventions are feasible42 and should be promoted.

이 범위 검토는 또한 추가적인 학문적 노력을 위한 잠재적인 분야를 식별하는 데 도움이 된다. 

• 학생들이 피드백을 요청하고 수용하는데 도움이 되는 방법, 학생과 레지던트가 피드백을 제공하도록 교육하는 방법에 대해 자세히 알아볼 수 있다. 

• 피드백이 어떻게 인식되는지는 전공마다 다르다.81 

• 첨단 기술은 학습자들에게 더 많은 기회와 피드백을 줄 수 있는 새로운 수단을 제공하고 있다.82 

• 피드백의 장기 영향력은 알 수 없다: 피드백의 장기적 효과(즉, 5년)를 평가한 한 개 연구가 있을 뿐이며, 나머지 연구들은 단기적으로는 피드백이 거의 기억되지 않는다고 제안했다.84 

• 능력이 떨어지는 학습자는 피드백을 다르게 받거나 사용할 수 있다.85 

• 학습자에 대한 피드백은 영향을 거의 주지 않을 수 있으며, 이러한 문제의 원인을 발견하는 것은 새로운 피드백 방법을 개발하고 평가하는 데 필수적일 수 있다. 

• 조직의 피드백 문화를 어떻게 평가하고 개선할 수 있는지에 대한 추가 조사가 있을 수 있다.89 다양한 직업에서 피드백이 어떻게 발생하는지 탐구함으로써 배울 수 있는 귀중한 교훈이 있을 수 있다.65

This scoping review also helps identify potential areas for additional scholarly efforts. 

• Methods to help students ask for and receive feedback76–78 and to train students and residents in giving feedback could be further explored.79,80 

• How feedback is perceived appears to differ by specialty.81 

• Advancing technology is providing more opportunities and novel means for capturing and providing feedback to learners.82 

• The long-term efficacy of feedback is unknown: Only one study assessed the long-term (i.e., 5-year) effect of feedback,83 and other studies suggested that little feedback is remembered short-term.84 

• Less competent learners may receive and/or use feedback differently.85 

• Feedback to learners may have minimal to no impact,86–88 and discovering the reasons behind this lack of improvement could be essential for the development and evaluation of new feedback methods. 

• There can be further investigation into how the culture of feedback in an organization can be assessed and improved.89 There may be valuable lessons to learn from exploring how feedback occurs in different professions.65

16 Bok HG, Jaarsma DA, Spruijt A, Van Beukelen P, Van Der Vleuten CP, Teunissen PW. Feedback-giving behaviour in performance evaluations during clinical clerkships. Med Teach. 2016;38:88–95.

17 ten Cate OT. Why receiving feedback collides with self determination. Adv Health Sci Educ Theory Pract. 2013;18:845–849.

13 van de Ridder JM, Peters CM, Stokking KM, de Ru JA, ten Cate OT. Framing of feedback impacts student’s satisfaction, self-efficacy and performance. Adv Health Sci Educ Theory Pract. 2015;20:803–816.

Feedback for Learners in Medical Education: What Is Known? A Scoping Review.

의학교육에서 코칭에 대해 알려진 것은 무엇인가? 문헌고찰 (Med Educ, 2017)

What do we know about coaching in medical education? A literature review

Ben Lovell

도입

INTRODUCTION

코칭은 의학 교사의 도구상자에서 점점 더 인정받는 자원으로 떠오르고 있다.1–5 전문적 코칭은 스포츠와 비즈니스 분야에서 개인들이 최선을 성취하도록 돕기 위해 오랫동안 사용되어 왔다. 그것은 지식 전파에 초점을 두지 않는다는 점에서 전통적인 가르침과 다르다. 그것은 조언과 상담에 초점을 두지 않는다는 점에서 멘토와 다르다.

Coaching is emerging as an increasingly appreciated resource in the medical teacher’s toolbox.1–5 Professional coaching has long been utilised in sport and business to help individuals achieve their personal best. It differs from traditional tutelage in that it does not focus on knowledge transmission. It differs from mentorship in that it does not focus on advice and counselling.

코칭은 관찰된 행동에 대한 동시적이고 개별화된 피드백을 제공하고, 피코치의 완전한 잠재력을 극대화하기 위해 관찰을 자극하고 도전하는 사용을 요구한다. 코칭 패러다임은 다음과 같다.: 

1. 피코치는 직무 또는 활동을 수행하거나, 사전 구성된 실제 또는 시뮬레이션 시나리오에 자신의 지식과 훈련을 적용한다. 

2. 코치는 피코치coachee를 관찰하고, 피코치의 경기력 향상을 위해 도발, 질문, 도전, 격려의 조합을 사용한다. 

3. 그런 다음 피코치는 활동을 다시 수행하고 주기는 반복된다. 

4. 그 목적은 측정가능한 수준으로 향상된 성능을 생성하는 것이다.2,6,7

Coaching requires the provision of contemporaneous and individualised feedback on observed behaviour, and the use of stimulating and challenging observations to maximise the coachee’s full potential. The coaching paradigm is thus: the coachee performs a task or activity, or applies his or her knowledge and training in a pre-constructed real or simulated scenario. 

• The coach observes the coachee and uses a combination of provocation, questioning, challenging and encouragement to help the coachee achieve an improved performance. 

• The coachee then performs the activity again, and the cycle is repeated. 

• The purpose is to generate a measurably improved performance.2,6,7

의학 교육에서 교수자 역할을 유형화하며, Stoddart와 Borge는 다음과 같이 주장한다. 

'코치는 학습자에게서 가능한 최고 수준의 성과를 추출해내고자 노력한다. 이것은 코칭을 주고 받는 개인 코치 및 학습자의 다양성만큼 독특한 다양한 수단으로 이루어질 수 있다.'1.

In their typology of teaching roles in medical education, Stoddart and Borges assert: 

‘A coach strives to extract the highest level of performance possible from the learner. This can be accomplished by a wide variety of means that are as unique as the individual coaches and learners involved.’1

운동선수, 음악가, 그리고 경영진이 탁월함을 위해 노력하기 위해 코칭을 사용한다면, 의사들과 외과의사들도 그렇게 해야 하지 않을까? 의사들과 음악가들을 비교할 때, 와틀링 외는 임상의들이 종종 "적당함"을 함축하는 '역량'을 말하는 반면, 음악가들은 '더 나은 연기'와 그들의 개인적인 최고를 향한 지속적인 노력을 말한다고 말한다. 비록 '개인적 최선'이 '수월성'과 동의어는 아니지만, 의사들이 미리 정해진 수준의 일반적인 역량을 갖추기 보다는 지속적으로 개선하도록 장려하는 것에는 분명한 이점이 있다.12

If athletes, musicians and executives use coaching to strive for excellence, shouldn’t physicians and surgeons also do so?8–10 In comparing doctors and musicians, Watling et al.11 note that clinicians often speak of ‘competency’, which has connotations of adequacy, whereas musicians speak of the ‘even better performance’ and the constant need push towards their personal best. Although ‘personal best’ is not synonymous with ‘excellence’, there are evident advantages in encouraging doctors to constantly improve, rather than to attain a predetermined level of generic competency.12

[세션 전 계획, 세션 후 보고, 팀 훈련]과 같은 많은 스포츠 코칭의 tenet은 헬스케어에도 적용될 수 있다.13

Many tenets of sports coaching are transferable to health care, such as pre-session planning, post-session debriefing and team training.13

비록 운동선수들과 의사들의 활동은 매우 다르지만, 지구력, 헌신, 희생, 팀워크, 그리고 빠른 사고 - 느린 사고와 같이 두 영역 모두에서 공통적인 심리적, 행동적, 사회 문화적 특성이 있다. 스포츠 코치가 채택한 방법론을 우리의 교육적 체계로 통합하려는 시도는 이러한 속성을 주입하는 데 도움이 될 수 있으며, 이는 우리의 의사들에게 감정적 회복탄력성, 기술적 기량,, 비기술적 기술을 촉진할 수 있다.215

Although the activities of athletes and doctors are vastly different, there are psychological, behavioural and socio-cultural attributes common to both arenas, such as endurance, dedication, sacrifice, teamworking and fast and slow thinking. Attempts to integrate the methodologies employed by sports coaches into our pedagogical framework may help inculcate these attributes, which may promote emotional resilience, technical dexterity and non-technical skills in our doctors.2,15

다른 이들은 의대생을 대상으로 '커리어 코치'를 시도해보았지만, 이러한 코치가 전통적인 교육 감독관들과 어떻게 다른지는 기술하지 않았다.

Others have trialled ‘career coaching’ for medical students,18,19 but do not delineate how these coaches differ from traditional educational supervisors.

종종 '코칭'이라는 용어를 'teaching'과 'mentoring'이라는 용어와 바꾸어 사용한다.

authors often use the term ‘coaching’ interchangeably with those of ‘teaching’ and ‘mentoring’.

코칭의 주요 특성은 강의 및 멘토링과 비교하여 표 1에 자세히 설명되어 있다. 이 검토의 목적을 위해 코칭은 다음 특성에 따라 정의된다.

The key characteristics of coaching, in comparison with teaching and mentoring, are detailed in Table 1. For the purposes of this review, coaching is defined in accordance with the following attributes.

1 코치는 개인화된 실시간 피드백을 제공한다.

1 The coach provides individualised real-time feedback.

코치는 피코치가 무엇이 효과가 있고 없는지를 발견할 수 있도록 돕고, 학습자가 자신의 최대 잠재력에 도달하도록 격려하기 위하여, 행동을 관찰한 직후 형성 평가와 반복적 피드백을 제공한다.21 학습자가 최상의 성과를 달성할 때까지 관찰-피드백의 사이클이 반복된다.

Coaches give formative assessment and iterative feedback immediately after observing behaviours to help the coachee discover what does and doesn’t work, and to inspire the learner to reach his or her maximum potential.21 The cycle of observation–feedback recurs until the learner attains his or her best possible performance.

2 코치와 피코치는 개인화된 목표를 설정한다. 

2 The coach and coachee set individualised goals. 

코치는 과정보다는 목표와 결과를 강조한다.3 코치는 Micro-managing을 하기보다는, 문제를 해결하고 목표를 달성하기 위해 창의적으로 생각하기 위해 도전과 서포트를 모두 사용해야 한다.

Coaches emphasise aims and outcomes rather than processes.3 Rather than micro-managing, the coach should use both challenges and support to help the coachee solve problems and think creatively to achieve his or her goals.

3 코치는 새로운 행동, 통찰력 및 업무 접근법의 개발을 촉진한다.

3 The coach facilitates the development of new behaviours, insights and approaches to work.

코칭은 학습자 중심이다. 교육 발견, 문제 해결 및 개인적 성장에 대한 책임은 학습자에게 있다.16 이러한 활동은 코치에 의해 촉진되며, 그 역할은 지속적인 개선을 위해 지속적인 피드백을 제공하는 것이다.

Coaching is learner-centric: the responsibility for educational discovery, problem solving and personal growth lies with the learner.16 These activities are facilitated by the coach, who offers continuous feedback to develop a cycle of constant improvement.

4 코치는 관련 분야에 대한 전문성과 경험을 가지고 있다.

4 The coach has expertise and experience within the relevant field.

교육에서 코치는 '게임'에 대한 분석적 이해를 바탕으로 수월성을 향해 학습자에게 동기를 부여하는 능력을 가지고 있다.'.1 유사한 수준의 성취와 경험을 가진 동료가 피드백을 관찰하고 코칭 역할을 한다는 점에서 피어 코칭은 다르다.22

The educational coach ‘has an analytical understanding of the “game” and ability to motivate the learner toward excellence’.1 Peer coaching is different in that a colleague at a similar level of accomplishment and experience takes on a coaching role by observing and giving feedback.22

방법

METHODS

이것은 의학 교육의 현행 코칭 방식에 대한 문헌 검토다. 문헌 검토의 목적은 새로운 이해를 창출하기 위해 데이터에 대한 개념적 통찰력을 제공하는 체계적 검토와 달리 기존 데이터를 식별, 요약 및 비평하는 것이다.23

This is a literature review into current coaching practices in medical education. The purpose of the literature review is to identify, summarise and critique the existing data, unlike the systematic review, which provides conceptual insights into data to generate new understanding.23

문헌 고찰은 편견에 취약하다는 비판을 받았지만, 검토된 문헌이 부족할 때 새로운 증거를 생성하는 조사를 시작할 수 있는 적절한 플랫폼으로 받아들여진다.24 연구 질문은 의도적으로 광범위하고 공개적으로 정하였다. 우리가 현재 의사와 학생의 교육에 개입하는 코칭에 대해 알고 있는 것은 무엇인가?

Literature reviews have been criticised for their vulnerability to bias, yet are accepted as appropriate platforms from which to launch new evidence-generating enquiries when the reviewed literature is scanty.24 The research question was deliberately kept broad and open: What do we currently know about coaching interventions in the education of doctors and students?

RESULTS

표 3은 검토를 위해 포함된 21개 논문의 종합적인 개요를 제공한다.

Table 3 provides a comprehensive overview of the 21 papers included for review.

21개의 논문 중 12개는 미국에서, 2개는 호주에서, 2개는 덴마크에서, 그리고 1개는 영국, 독일, 네덜란드, 캐나다, 대만에서 왔다.

Of the 21 papers, 12 were from the USA, two from Australia, two from Denmark, and one each from the UK, Germany, the Netherlands, Canada and Taiwan.

양적 논문의 경우 평균 메르스QI점수가 11.6으로 저조했다. 정성적 논문들 중에서 CASP 점수도 낮았다(평균점수 5.8). 이는 연구의 대부분 서술적 성격을 반영한다.

Among the quantitative papers, the general quality was low, with a mean average MERSQI score of 11.6. Among the qualitative papers, the CASP score was also low (mean score: 5.8), reflecting the largely descriptive nature of the studies.

의사의 웰빙과 회복탄력성을 위한 코칭

Coaching for doctor well-being and resilience

이 범주에는 7개의 연구가 있었다. 두 가지 연구는 전공의와 학생들의 정서적 지능을 증가시키는 것에 초점을 맞췄다.

There were seven studies within this category. Two studies focused on increasing emotional intelligence (EI) in residents and students.

세 가지 연구는 스트레스를 줄이기 위해 코칭을 사용했다.

Three studies used coaching to reduce stress.

두 연구는 자신감, 전문성 발달, 그리고 자율성을 향상시키기 위해 긍정 심리학을 사용했다.

Two studies used positive psychology to improve confidence, professional development and autonomy.

비-기술적 스킬을 위한 코칭

Coaching for improved non-technical skills

6개의 연구는 의사결정, 팀워크, 그리고 성찰과 같은 비기술적 기술을 향상시키기 위해 코칭 개입을 평가했다.

Six studies evaluated coaching interventions to improve non-technical skills such as decision making, teamworking and reflective practice.

연구에는 비기술적 기술에 대한 코칭 개입을 위한 약한 증거와 중간 증거의 근거가 포함되어 있었다. Raega et al.,28의 연구는 학부 OSCE에서 1학년생들의 지식과 성과를 향상시키기 위해 종합적인 코칭 개입을 채택했다.

The studies included demonstrate a weak to medium evidence base for coaching interventions for non-technical skills. The exception is a study by R ego et al.,28 which employed a comprehensive coaching intervention to improve Year 1 medical student knowledge and performance in undergraduate OSCEs.

기술 코칭

Coaching for technical skills

일곱 개의 논문은 기술 능력, 즉 수술 기술에 대한 코칭을 분석했다. 이 논문들은 훨씬 더 높은 품질의 논문이었고 참가자들의 능력의 중요한 변화를 감지하기 위해 강력한 방법론을 사용했다. 두 논문에서 Hu 등은 개선이 필요한 영역을 식별한 운영자와 코치의 절차를 즉시 재관찰할 수 있는 작업을 기록했고, 다른 접근법을 선택하는 코치의 이유를 탐색했으며, 개선을 위한 전략을 수립했다.

Seven papers analysed coaching for technical skills, namely, surgical skills. These papers were of much higher quality and used robust methodologies to detect significant changes in participants’ abilities. In two papers, Hu et al.41,42 recorded operations to allow the immediate re-watching of the procedure by the operator and a coach, who identified areas for improvement, explored the coachee’s reasons for selecting different approaches, and established strategies for improvement.

세 가지 연구는 고품질 RCT의 수술 기술을 향상시키기 위해 시뮬레이션 수술에서 실시간 코칭을 사용했다.

Three studies used real-time coaching in simulated surgery to improve surgical skills in high-quality RCTs.

요약하자면, 이 검토에 포함된 논문은 코칭이 수술적 기술과 기술적 능력의 향상을 촉진하며, 재정적으로도 실행 가능한 교육 모델이라는 것을 입증하는 강력한 증거 기반을 제공한다.

In summary, the papers included in this review provide a strong evidence base demonstrating that coaching facilitates improvements in surgical skills and technical ability, and is a financially viable model of education.

고찰

DISCUSSION

코칭 프로그램에 대한 엄격한 정량적 연구가 부족하다. 질적 연구는 코치의 개입에 대한 피코치의 인식과 즐거움을 측정하는 것에 주로 한정된다. 그러나 이 문헌 검토에서는 코칭이 수술 오류를 줄이고, 기술 능력 습득을 향상시키며, 시험 성적을 향상시키며, 학업에 어려움을 겪고 있는 학생들을 식별한다는 것을 입증하는 양질의 데이터를 확인했다.

There is a lack of rigorous quantitative research into medical coaching programmes. Qualitative research is mostly limited to gauging coachees’ perceptions and enjoyment of coaching interventions. However, this literature review has identified good-quality data demonstrating that coaching reduces surgical error, improves technical skill acquisition, improves examination scores, and identifies students who are struggling academically.

현재 검토에서는 코칭 개입으로 인해 환자의 결과가 어떻게 향상되는지를 보여주는 연구를 발견하지 못했다(Kirkpatrick 수준 4). 의료 교육에서 코칭이 새롭게 등장한 것임을 고려할 때, 2008년 이전에 평가된 코칭 개입이 없었기 때문에 환자 결과에 변화를 등록하는 것은 아마도 너무 이른 것 같다. 의료 교육자들은 이제 환자 수준까지, 특히 증거가 가장 취약한 [의사의 웰빙과 비기술적 기술의 영역 내에서의 성과를 추적하는] 양질의 종단적 코칭 프로그램을 확립하는 데 관심을 기울여야 한다.

The present review did not identify studies that show how a coaching intervention results in improved outcomes for patients (Kirkpatrick level 4). Considering the newness of coaching within medical education, it is perhaps too early to register the change in patient outcomes; there are no evaluated coaching interventions preceding 2008. Medical educators must now turn their attention towards establishing high-quality longitudinal coaching programmes that follow outcomes up to the patient level, particularly within the realms of physician well-being and non-technical skills, in which the evidence is weakest.

의사의 웰빙와 정서적 회복탄력성을 향상시키기 위한 수단으로 코칭하는 것은 특히 시기적절하다. 회복탄력성은 의대생과 의사들의 정신적 고통과 과열을 막는 요소로 언급되어 왔다. 의학 교육 내에서 회복탄력성인 기술을 가르치기 위한 전략이 문학에서 눈에 띄고 있다. 현재, 가장 강력한 증거를 가진 교육학적 접근법은 탄력성 워크숍과 인지 행동 훈련을 사용하는 것을 말하며, 이는 이 검토에서 설명된 대로 웰빙을 향상시키기 위한 코칭 워크샵의 사용에 반향을 일으킨다. 만약 우리가 회복탄력성 훈련을 의학 커리큘럼의 일부로 받아들인다면, 코칭된 프로그램들은 그것의 전달에서 중요할 수 있다.

Enquiries into coaching as a means of improving doctor well-being and emotional resilience are particularly timely. Resilience has been cited as a factor protective against mental distress and burnout in medical students and physicians.48,49 Strategies for teaching resilience skills within medical education are gaining prominence in the literature.50–52 Currently, the pedagogical approach with the strongest evidence refers to the use of resilience workshops and cognitive behavioural training,53 which resonates with the use of coaching workshops to enhance well-being as described in this review. If we embrace resilience training as part of the medical curriculum, coached programmes may be important in its delivery.

비록 이 논문이 의사의 웰빙을 개선하고 회복탄력성을 증진시키는 수단으로서 코칭에 대한 약한 근거만을 발견했을 뿐이지만, 이것은 주로 강력한 개입과 평가가 없기 때문이다. 회복탄력성을 위한 코칭의 힘을 결정하기 위해서는 엄격한 연구가 필요하다.

Although this paper has only discovered a weak evidence base for coaching as a means of improving doctor well-being and promoting resilience, this is largely attributable to the non- existence of robust interventions and evaluations. Large rigorous studies are needed to determine the power of coaching for resilience.

코칭은 헌신적이고, 가용하며, 훈련된 교수진을 필요로 하는데, 이는 교수진의 전달에 있어서 물류와 재정적인 장벽을 발생시킬 수 있다. 그러나, 이 검토에서 많은 논문들은 최소한의 시간과 재정 지출로 코칭 프로그램이 개발된 연구를 언급했다. Hu 등은 1시간 동안의 코칭 세션 후에 수술 능력을 향상시켰고, 콜 등은 10분간의 코칭 세션을 수술 후 기간에 포함시킴으로써 외과의사의 비기술적 기술을 향상시켰다. 따라서 작은 코칭 개입이 환자 안전과 환자 관리를 개선할 수 있을 가능성이 있다. 이러한 가능성만으로도 이 영역을 더 연구할 가치가 있다.

Coaching demands a committed, available and trained faculty staff, which may present a logistical and financial barrier to its delivery. However, many of the papers in this review referred to studies in which coaching programmes were developed with minimal time and financial outlay. Hu et al.41 improved surgical ability following a single 1-hour coaching session, and Cole et al.45 improved non- technical skills in surgeons by incorporating 10-minute coaching sessions into the postoperative period. It is therefore likely that small coaching interventions can improve patient safety and patient care; this possibility alone makes the area worthy of further study.

수술실 밖에서 코칭 방법론에 대한 탐구가 부족한 것은 뿌리 깊은 사회적 장애요소를 반영할 수 있다. Mutabdzic et al.54는 코칭 모델에 대한 문화적 장벽으로 개선의 필요성에 대해 의문을 제기하는 것, 무능해 보이거나 자율성의 상실을 우려하는 것을 꼽았다.

The lack of exploration into coaching methodologies outside the operating room may reflect ingrained social obstacles. Mutabdzic et al.54 identified cultural barriers to the coaching model that included questioning of the need for improvement, worry about appearing incompetent and loss of autonomy.

코치에 대한 피코치의 이해에 대한 추가적인 탐구는 코칭에 대한 '저항'을 드러낼 수 있다. 이것은 회의주의의 결과일 수도 있고, 혹은 무능하다고 인식되거나 교정될 필요가 있다는 것에 대한 두려움일 수도 있다

Further exploration of coachees’ perceptions of coaching may reveal a ‘resistance’ to coaching, whether as a result of scepticism, or fear of being perceived as incompetent or in need of correction.

[시그니처 교수법]에 관한 연구(전문직의 문화에 맞는 교육 접근법)에서, 슐먼은 서로 다른 직업의 교육 패러다임을 비교함으로써 어떻게 교육 개선 방법을 조명할 수 있는지를 설명한다. 코칭 패러다임과 관련된 다른 분야로부터 교훈을 이끌어내는 것은 의료에서 훈련을 인식하는 방법에 대한 문화적 변화를 수반할 수 있다. 앞서 논의했듯이, 의료 훈련에서 '역량을 갖춤'이라는 언어는 코칭이 다른 영역에서 추구하는 '개인적 최고'와 일치하지 않는다. 음악과 스포츠 훈련에서, 코치는 훈련에 중심적이고 필수적인 것으로 보여지는 반면, 아직 의학 교육 문화 내에서 코치는 핵심 교육자들로 이루어진 팀에 포함되지 않고 있으며, 아직까지는 그들이 해야만 한다는 설득력 있는 증거가 없다.

In his work on signature pedagogies (teaching approaches specific to the culture of the profession in which they are enacted), Shulman describes how comparisons of the teaching paradigms of different professions can illuminate methods of improving education.57 Drawing lessons from other disciplines regarding the coaching paradigm may entail a cultural shift in how we perceive medical training. As discussed previously, the language of ‘competence’ in medical training does not align with the ‘personal best’ that coaching strives to achieve in other domains. In music and sports training, coaches are seen as central and indispensable to training,58 whereas coaches do not yet figure among the core team of educators within the culture of medical education and, as yet, there is no compelling evidence that they should.

장점과 한계

Limitations and strengths

현재의 리뷰는 의학 교육 코칭이 무엇인지, 그것이 어떻게 작용하는지, 혹은 어떻게 그것이 가장 잘 구현되거나 전달되는지에 대한 더 이상의 통찰력을 제공하지 않는다.

the current review provides no further insights into what medical educational coaching is, how it works, or how it is best implemented or delivered.

결론

CONCLUSIONS

공공 부문과 기업 부문에서의 코칭 방법에 대한 조사는 우리에게 코칭이 회복력, 자원성, 성찰적 연습 그리고 의사소통 기술과 같은 오늘날의 의사들이 필요로 하는 필수적인 비기술적 기술을 육성하는 측면에서 보람 있는 노력이 될 수 있다는 것을 말해준다.

Examination of coaching methods in the public and corporate sectors tells us that coaching may prove a fruitful endeavour in terms of nurturing the essential non- technical skills required by today’s doctors, such as resilience, resourcefulness, reflective practice and communication skills.

1 Stoddard HA, Borges NJ. A typology of teaching roles and relationships for medical education. Med Teach 2016;38 (3):280–5.

10 Gawande A. Personal best: top athletes and singers have coaches. Should you? The New Yorker 2003. https://www.newyorker.com/magazine/2011/10/03/ personal-best. [Accessed 25 October 2017.]

What do we know about coaching in medical education? A literature review.

[Indexed for MEDLINE]

의학교육의 잠재교육과정: a Scoping review (Acad Med, 2018)

The Hidden Curricula of Medical Education: A Scoping Review

Carlton Lawrence, Tsholofelo Mhlaba, MBCbB, MMed, Kearsley A. Stewart, PhD, Relebohile Moletsane, PhD/MsC, Bernhard Gaede, MBBCh, MMed, PhD, and Mosa Moshabela, MBChB, MMed, PhD

1960년대 최초의 설명과 1994년 의학 교육에 적용한 이후, 의학교육에서 소위 "숨겨진 교육 과정"의 도달 범위가 지속적으로 확대되어 왔다.1-3 프레데릭 하퍼티는 원래 이 잠재교육과정이라는 용어를 "조직구조와 문화 수준에서 기능하는 영향의 집합"이라고 정의했다.4 그는 잠재 커리큘럼을 일반적으로 "우리가 의학 교육이라고 부르는 생활공간에서 일어나는 일에 대한 이해, 관습, 의식, 당연하게 여기는 측면"으로 묘사하며, 기관 단위의 개념으로서 잠재 교육과정은 (1) 정책 개발, (2) 평가, (3) 자원 할당 및 (4) 기관 속어slang 을 통해서 가장 잘 드러난다고 말했다.

Since its initial description in the 1960s and its application to medical education in 1994, the reach of the so-called “hidden curriculum” in medical education has continuously expanded.1–3 Frederic Hafferty originally defined the term with respect to medical education as the “set of influences that function at the level of organizational structure and culture.”4 He described the hidden curriculum generally as the “‘understandings,’ customs, rituals, and taken-for-granted aspects of what goes on in the life-space we call medical education” and viewed the hidden curriculum in medical education as an institutional-level concept best visible in “(1) policy development, (2) evaluation, (3) resource allocation, and (4) institutional slang.”4(p404)

숨겨진 커리큘럼으로 묘사되는 것의 효과는 거의 무해하지 않으며, 사실 많은 면에서 공식적인 커리큘럼보다 더 영향력이 있다.

The effects of what is described as the hidden curriculum are rarely innocuous and in fact, are, in many ways, more influential than the formal curriculum.4,9–11

최근 연구에 따르면, 숨겨진 교과과정은 많은 문제의 원인이 된다.

According to recent studies, the hidden curriculum is responsible for any number of ills,

이 용어의 광범위하고 확대된 사용은 일부 사람들로 하여금 의학 교육에서 이 용어의 유용성에 의문을 갖게 했다. 예를 들어, MacLeod는 현재 잠재커리큘럼으로 분류되는 문제에 포괄되는 것들의 다양성에 대해 다음과 같이 지적한다. "연관적이지만 분명히 서로 다른 일련의 이슈들을 함께 '덤핑'하는 것의 결과는 무엇인가? 무엇을 보이게 하며 무엇을 보지 못하게 하는가?"라고 묻자, 155(p540) MacLeod는 의학계가 그녀가 더 이상 "잠재적"이라고 볼 수 없는 문제들을 반복적으로 identify하기보다는, 이제는 분명히 visible한 practice들을 적극적으로 다루어야 한다고 제안한다.

This vast and expanding use of the term has led some to doubt its continued utility in medical education. For instance, MacLeod questions the benefit of labeling the diversity and breadth of issues now categorized as hidden curriculum as such, writing: “What are the consequences of ‘lumping’ together a series of related but clearly disparate issues? What is brought to light and what is left invisible?”15(p540) MacLeod suggests that the medical education community shift from repeatedly identifying what she sees as no longer “hidden” issues to, instead, actively addressing these now-visible practices.

그녀는 의학 담화에서 그 용어의 지속적인 사용에 대해 의문을 제기하며, 잠재 커리큘럼은 역사적으로 커리큘럼 혁신을 위한 강력한 도구였지만, 이제는 좀 더 실행 가능한 개념에 자리를 내주고 은퇴할 때일지도 모른다고 썼다. 또한 마르티마니아나키스와 동료들은 최근 의학계에서 잠재 교육과정과 인본주의 사이의 연관성을 탐구했다. 그들의 귀중한 결과는 잠재 커리큘럼이 미래의 의사들의 직업적 정체성 형성에 많은 책임이 있다는 것을 보여준다.

She goes so far as to question the continued use of the term within medical discourse, writing that while the hidden curriculum has historically been a powerful tool for curricular innovation, now may be the time to retire it in favor of more actionable concepts.15 Also, Martimianakis and colleagues16 recently conducted a scoping review and explored the link between the hidden curriculum and humanism in medicine. Their valuable results show that the hidden curriculum is responsible for much of future physicians’ professional identity formation.16

우리의 최종 목표는 미래에 "잠재 교육과정"이라는 용어를 사용하기 위한 전략적이고 신중한 체계를 제공하는 것이었다.

Our ultimate goal was to provide a strategic and deliberate framework for using the term “hidden curriculum” in the future.

방법

Method

우리는 의학 교육의 "숨겨진 커리큘럼" 문헌을 지도화하기 위해 엄격한 scoping review 방법17을 사용했다. 범위 검토는 다음을 포함하여 다양한 목적으로 사용된다. 

• 연구 활동의 범위, 범위 및 성격을 검토

• 완전한 체계적 검토를 수행할 가치가 어느 정도인지 결정

• 연구 결과를 요약하고 배포

• 기존 문헌의 gap을 확인

We employed a rigorous scoping review methodology17 to map medical education’s “hidden curriculum” literature. Scoping reviews are used for a variety of purposes, including 

• to examine the extent, range, and nature of research activity; 

• to determine the value of undertaking a full systematic review; 

• to summarize and disseminate research findings; or 

• to identify gaps in the existing literature.17 

이 scoping review는 특정 용어(이 경우 "숨겨진 커리큘럼"에서)가 문헌에서 어떻게 사용되는지 설정하는 과정인 개념 매핑conceptual mapping에 초점을 맞춘다. 우리는 의학 교육 문헌에서 그 용어가 명확하고 보편적인 정의가 결여되어 있는 것으로 보인다고 보았다. 이러한 모호성과 커리큘럼 이해에 미치는 영향은 "개념 매핑" 접근방식을 채택하게 했다. concept mapping을 통해 잠재커리큘럼에 포함된 특정 의미, 지식 및 학습에 기반하여 보다 체계적인 개입을 허용할 것으로 생각했다.

This scoping review focuses on conceptual mapping, the process of establishing how a particular term—in this case “hidden curriculum”—is used in the literature. We observed that within the medical education literature the term seemed to lack a distinct and universal definition; this ambiguity and its effects on curricular understanding prompted us to adopt this “concept mapping” approach, which we felt would allow for more systematic interventions based on specific meanings, knowledge, and learning encompassed by the hidden curriculum.

기법이 표준화되지 않았기 때문에 scoping review에 대한 특정 접근법과 정밀도 수준은 중요하다.18,19 우리의 방법의 신뢰성을 보장하기 위해, 우리는 원래 Arcsey와 O'Malley17에 기술되었으며 이후 Levac과 동료 20에 의해 정제된 5단계 접근방식을 사용했다. 

• (1) 연구 질문의 식별 

• (2) 관련 연구를 확인한다. 

• (3) 연구 선정 

• (4) 데이터 차트 작성 

• (5) 결과의 취합, 요약, 보고

The particular approach to and level of rigor of a scoping review is important, as the technique is not standardized.18,19 To ensure the reliability of our methods, we used the five-step approach originally described by Arksey and O’Malley17 and later refined by Levac and colleagues20: 

• (1) identifying the research question; 

• (2) identifying relevant studies; 

• (3) selecting the studies; 

• (4) charting the data; and 

• (5) collating, summarizing, and reporting the results.

결과

Results

Descriptive summary

Our initial search uncovered 3,747 titles, of which 749 were duplicative. After applying our screening tool to the remaining 2,998 titles, we identified 197 articles to include in our final analysis (see Figure 1 and Supplemental Digital Appendix 1 at http://links.lww.com/ACADMED/A497).

Of the 109 empirical studies, over two- thirds (n = 76; 70%) were conducted in the United States or Canada or in Central America. Other settings included Europe (n = 18; 16%), Asia (n = 8; 7%), and Oceania (n = 5; 5%). Our search produced only two empirical studies from Africa (2%), despite including the continent-specific databases—African Journals Online and the African Index Medicus—in our search (see Table 1). 

숨겨진 커리큘럼은 깊이 있는 맥락과 문화에 따라 다르게 이해되므로, 지리적 차이가 문제가 된다.26,33

The hidden curriculum is understood as deeply context and culture dependent, making this geographic gap problematic.26,33

잠재 교육과정 확인

Identifying the hidden curriculum

잠재 커리큘럼을 식별하거나 분류하는 체계적 기술은 드물었다.52 이 범위 검토를 통해, 우리는 잠재 커리큘럼을 연구하는 데 사용되는 연구 방법들의 목록을 작성했다. 가장 일반적으로 사용되는 정량적 도구는 의사소통, 커리큘럼 및 문화(C3) 설문 조사와 환자-공급자 지향 척도였다.53–56 그러나 이 두 도구 모두 환자의 치료 중심성에 관해서만 숨겨진 커리큘럼을 측정하고 UME의 다른 요소로 확장하지 않는다.

Systematic techniques for identifying or categorizing the hidden curriculum were rare.52 Through this scoping review, we compiled a list of research methods used to study the hidden curriculum. The most commonly used quantitative tools were the Communication, Curriculum, and Culture (C3) Survey and the Patient–Provider Orientation Scale.53–56 Both of these tools, however, measure the hidden curriculum solely with respect to the patient centeredness of care and do not extend to other elements of UME.55

이러한 표준화 결여는 우리가 아래에서 깊이 논의하는 여러 배경과 저자들 사이에서 "숨겨진 커리큘럼"의 정의의 모호함 때문일 것이다.

This lack of standardization is likely due to the ambiguity of the definition of “hidden curriculum” across settings and among authors, which we discuss in depth below.

대부분의 질적 연구는 숨겨진 커리큘럼에 대한 자신의 이해를 탐구하기 위해 인터뷰와 의학 학생 포커스 그룹을 채택했다.

The majority of qualitative studies employed interviews and focus groups of medical students to explore their self- identified understanding of the hidden curriculum;

잠재 교육과정 평가

Addressing the hidden curriculum

검토를 통해, 우리는 숨겨진 커리큘럼을 변경하거나 보존하는 데 효과적인 것으로 인용되는 모든 방법을 추출했다. 가장 일반적인 권장사항은 학교들이 잠재교과과정을 교직원과 학생 모두에게 분명하게 해야 한다는 것이었다. 잠재 커리큘럼을 눈에 띄게visible 하는 과정을 한 연구자는 "고통스러운 피드백"이라고 일컬었으며, 이것은 학생들과 다른 이해 관계자들에게 잠재커리큘럼의 해로운 요소들에 대한 직접적인 증거를 제시하도록 권고한다. 공개 토론과 자기 성찰도 종종 장려되었다.

Through our review, we extracted any methods cited as effective in changing or preserving the hidden curriculum. The most common recommendation was that schools make the hidden curriculum explicit to both faculty and students.63–68 “Painful feedback,” one author’s term for the process of making the hidden curriculum visible, encourages presenting direct evidence of the harmful elements of the hidden curriculum to students and other stakeholders.69 Open discussion and self-reflection were also often encouraged.24,31,70–74

잠재 교육과정의 모호성

Ambiguity in hidden curriculum

우리는 "숨겨진 교과과정"이라는 용어의 정의와 적용에 모호함을 지적했다. Hafferty와 Franks는 1994년 의학 교육과 관련하여 "숨겨진 커리큘럼"이라는 용어를 처음 설명했고, Hafferty4(1998)는 잠재 교육과정을 "비공식 커리큘럼"과 구별했다. 앞서 언급한 바와 같이 하퍼티는 "숨겨진 커리큘럼"을 "조직 구조와 문화 수준에서 기능하는 영향의 집합"으로 기술했다. 

• 잠재 교육과정에는 ["의학 교육"이라고 불리는 일상 생활에서 일어나는 일들에 대해 일반적으로 가지고 있는 '이해', 관습, 의식, 그리고 당연하게 받아들이는 것들']이 포함된다고 보았다

• 반면 비공식 교과과정은 "교수와 학생들 사이에서 그리고 학생들 사이에서 일어나는 것으로서, 대본이 없고, 주로 ad hoc으로 일어나며, 매우 대인적인 형태의 교육과 학습"이다.

We noted ambiguity in both the definition and application of the term “hidden curriculum.” Hafferty and Franks2 first described the term “hidden curriculum” in relation to medical education in 1994, and Hafferty4 later (1998) distinguished it from the “informal curriculum.” As mentioned, Hafferty4(p404) delineated the “hidden curriculum” as “a set of influences that function at the level of organizational structure and culture”; 

• he felt the “hidden curriculum” included “the commonly held ‘understandings,’ customs, rituals, and taken-for-granted aspects of what goes on in the life-space we call medical education.” 

• Informal curriculum for him, on the other hand, is an “unscripted, predominantly ad hoc, and highly interpersonal form of teaching and learning that takes place among and between faculty and students.”4(p404) 

Hafferty에게, 두 용어는 중복되고 서로 영향을 미치지만 동의어는 아니다.

In his understanding, the two terms are overlapping and influence one another but are not synonyms.

구체적으로, 우리가 완전히 검토한 197개 기사 중 156개는 다음의 주요 용어 중 하나 이상을 포함했다(표 1 참조): "숨겨진" (n = 184; 93%), "비공식"(n = 76; 39%) 및 "암묵적" (n = 4; 2%).

Specifically, of the 197 articles we fully reviewed, 156 included at least one of our key terms (see Table 1): “hidden” (n = 184; 93%), “informal” (n = 76; 39%), and “implicit” (n = 4; 2%).

잠재 교육과정의 상충적 함의들

Conflicting connotations of hidden curriculum

"숨겨진 커리큘럼"이라는 용어는 모호하고 일반적으로 중립적이지 않다.16 우리가 검토한 논문에서 숨겨진 커리큘럼의 효과를 추출함으로써, 우리는 종종 문헌이 잠재 커리큘럼을 부정적이거나 본질적으로 공식 커리큘럼과 상충하는 것으로 묘사한다는 것을 발견했다. 발보니와 동료의 논평은 다음과 같은 감정을 보여준다. 

"[숨겨진 과정]은 [의료 전문직의 이상과 긴장 관계에 있는in tension 행동과 태도, 가치를 훈련생들에게 주입]하는 과정이다."

The term “hidden curriculum” is ambiguous and generally non-neutral.16 By extracting the effects of the hidden curriculum from the articles we reviewed, we found the literature often portrays the hidden curriculum as negative or intrinsically in conflict with the formal curriculum. Balboni and colleagues’ comments79 illustrate this sentiment: 

“We refer to the [hidden curriculum] as the process … which instills behaviors, attitudes, and values among trainees in tension with the ideals of the medical profession” [emphasis added]. 

게다가, 문헌에서는 잠재커리큘럼을 [이상주의의 붕괴 및 의대에서 일어나는 냉소주의와 편견의 증가]에 대한 주요 요인으로 언급하고 있다.

Further, the literature cites the hidden curriculum as a major factor in the erosion of idealism63 and the increase in cynicism80 and bias81 that occur during medical school.

우리는 UME 내에서 (비록 그것들이 존재할지라도) 숨겨진 커리큘럼을 긍정적인 요소로 묘사하는 경우가 훨씬 더 적다는 것을 발견했다.

잠재 교육과정의 개념적 분류

Conceptual classification of hidden curriculum

포함된 모든 논문에서 추출한 정의와 근거 이론 방법론을 사용하여, 4개의 서로 다르지만 중복되는 개념이 나타났다(표 2 참조). 우리는 기사에 따라, 이 용어를 이해할 것을 제안한다.

• (1) 기관적 - 조직 개념, 

• (2) 대인관계적 - 사회적 개념 

• (3) 맥락적 - 문화 개념 

• (4) 동기부여적 - 심리학적 개념.

Using definitions extracted from all included articles and grounded theory methodology, four different but overlapping conceptions emerged (see Table 2). We propose that the term is understood, depending on the article, as (1) an institutional–organizational concept, (2) an interpersonal–social concept, (3) a contextual–cultural concept, and (4) a motivational– psychological concept.

35건(18%)에 사용된 가장 흔한 중복은 제도적 조직과 대인적 개념 사이의 것이었다.

The most common overlap, used in 35 articles (18%), was between the institutional–organizational and interpersonal–social conceptions.

권고사항 2: 연구 방법론과 결과를 명확히 한다.

Recommendation 2: Clarify research methodologies and results.

우리는 UME가 잠재커리큘럼"들"로 채워져 있다고 주장한다. 하나의 잠재커리큘럼에 의해 가려지지blanketed 않는다. 따라서 저자들은 연구 보고서의 방법 및 결과 섹션 둘 다에서 자신들이 연구하는 숨겨진 커리큘럼이 무엇이고, 어디있고, 어떠한지 명시해야 한다고 생각한다.

We argue that UME is filled with hidden curricula—not blanketed by a singular hidden curriculum. We believe that, moving forward, authors should make explicit the what, where, and how of their hidden curriculum as they see and are investigating it—within both the Methods and Results sections of their research reports.

학생들에게 의대 시절에 경험했던 "숨겨진 교과과정"에 대해 전반적으로 생각해 보라고 하는 것은 그들에게 완전한 정규 교과과정에 대해 생각해보라고 요구하는 것과 같다. 두 과제 모두 힘들고 불완전하고 어쩌면 도움이 되지 않는 결과를 낳기 쉽다.

Asking students to reflect generally on the “hidden curriculum” they experienced during their years in medical school is akin to asking them to reflect on the complete formal curriculum: Both tasks are daunting and likely to yield unspecific or incomplete and possibly unhelpful results.

권고사항 3: 긍정적인 점을 기억하십시오.

Recommendation 3: Remember the positive.

어떻게 정의내리든, 숨겨진 커리큘럼의 힘을 더 잘 이해하고 활용하기 위해서는 긍정적인 효과에도 초점을 맞출 필요가 있을 수 있다.

To better understand and therefore harness the power of the hidden curriculum, however defined, researchers may also need to focus on its positive effects.

권장 사항 4: 다양한 상황을 고려하십시오.

Recommendation 4: Consider other settings.

UME의 숨겨진 커리큘럼에 대한 연구는 대부분 미국과 캐나다로 제한되어 왔다.

Research into hidden curricula in UME has so far been limited mostly to the United States and Canada.

핀스 외 26,33이 지적한 바와 같이, 숨겨진 커리큘럼은 문화나 지역에 따라 다르다. 비록 그들이 유사한 커리큘럼 형식을 채택한다 하더라도.

as Fins et al26,33 point out, the hidden curriculum varies among cultures or locations, even if they employ a similar curricular format.

권고안 5: 숨겨진 커리큘럼을 연구하기 위한 더 많은 정량적 도구를 개발한다.

Recommendation 5: Develop more quantitative tools for studying hidden curricula.

우리는 숨겨진 커리큘럼을 검토하는 양적 연구의 부족에 주목했다. 이것은 적어도 부분적으로 이 용어가 bound하는 여러가지를 측정하는 데 내재된 어려움 때문이다. 숨겨진 커리큘럼은 문맥과 문화적으로 깊이 의존하기 때문에 정량화할 수 있는 측정에 도움이 되지 않는다. 26,33 그러나 일부 정량적 측정 도구는 존재한다. 우리가 검토한 기사에서 인용한 가장 일반적으로 사용되는 정량적 도구는 C3 Survey and Patient-Provider Orientation Scale이다.53–56 이러한 도구는 환자의 치료 중심성에 대해서만 숨겨진 커리큘럼을 측정한다는 점에서 제한적이다. 다른 주제와 관련하여 숨겨진 커리큘럼을 평가하기 위한 새로운 정량적 측정 도구(예: 표준화된 시험 수행, 학생 정신 건강, 전문 선택)가 도움이 될 것이다.

We noted a paucity of quantitative studies examining the hidden curriculum. This deficit is likely due, at least in part, to the inherent difficulty in measuring much of what is bounded by this term. The hidden curriculum is deeply contextually and culturally dependent and thus does not lend itself well to quantifiable measurement26,33; however, some quantitative measurement tools do exist. The most commonly used quantitative tools cited in the articles we reviewed are the C3 Survey and Patient–Provider Orientation Scale.53–56 These tools are limited in that they measure the hidden curriculum only with respect to the patient centeredness of care. Developing new quantitative measurement tools to evaluate the hidden curriculum in relation to other topics (e.g., standardized exam performance, student mental health, specialty choice) would be of benefit.

Conclusions

16 Martimianakis MA, Michalec B, Lam J, Cartmill C, Taylor JS, Hafferty FW. Humanism, the hidden curriculum, and educational reform: A scoping review and thematic analysis. Acad Med. 2015;90(11 suppl):S5–S13.

Acad Med. 2018 Apr;93(4):648-656. doi: 10.1097/ACM.0000000000002004.

The Hidden Curricula of Medical Education: A Scoping Review.

임상환경에서 자기조절학습: 체계적 문헌고찰(Med Educ, 2018)

Self-regulated learning in the clinical context: a systematic review

Maaike A van Houten-Schat,1,2 Joris J Berkhout,3 Nynke van Dijk,4 Maaike D Endedijk,5 A Debbie C Jaarsma2 & Agnes D Diemers1

도입

INTRODUCTION

의학의 빠른 발전 속도 때문에, 의대생들과 레지던트들이 의사로서 평생 학습을 수행하는 방법을 배우는 것이 중요하다. 의대생과 레지던트의 평생 직업적 발전을 위한 한 가지 중요한 전략은 자기조절학습SRL이다.

Because of the rapid pace of developments in medical science, it is important for medical students and residents to learn how to practise lifelong learning as doctors. One important strategy for the lifelong professional development of medical students and residents is self-regulated learning (SRL).1–3

전반적으로, SRL은 [원하는 수준의 성취도에 도달하기 위한 목적으로 학습 경험 전체에서 정서적, 인지적, 행동적 과정을 modulation하는 것]을 의미한다. Sitzmann과 Ely의 메타 분석은 다양한 SRL 이론에 의해 설명된 다양한 과정을 다음과 같은 세 가지 유형으로 분류할 수 있다는 것을 보여주었다. 

• 조절 주체(골 설정) 

• 조절 메커니즘(예: 계획, 모니터링, 학습 전략, 동기 및 감정 제어) 

• 조절 평가(자체 평가, 귀인, 자기 효과).

여러 연구들이 학생들의 자기조절전략 사용이 학업결과에 긍정적인 영향을 미친다는 것을 보여주었다.

Overall, SRL refers to the modulation of affective, cognitive and behavioural processes throughout a learning experience in order to reach a desired level of achievement.5,8 A meta-analysis by Sitzmann and Ely showed that the various processes described by different theories of SRL can be categorised into the following three types: 

• regulatory agent (goal setting); 

• regulatory mechanism (e.g. planning, monitoring, learning strategies, motivation and emotion control), and 

• regulatory appraisal (self-evaluation, attributions and self-efficacy).9 

Multiple studies have shown the positive effects of students’ use of self-regulation strategies in academic outcomes.10,11

하지만, 의학 교육의 많은 부분이 교실이 아닌 근무지에서 일어난다. 근무지에 기반을 둔 학습에서 의대생들과 레지던트들은 임상 실습에서의 경험으로부터 배운다. 임상 환경에서 자기조절학습은 교실academic 환경에서의 SRL과는 다른데, 이는 임상 맥락에서 학생은 환자에게 의료 서비스를 제공하는 것에 종속되어 있기 때문에, 자신의 학습 목표에만 집중할 수 없기 때문이다. 따라서, 교실 환경에서 학습을 적절하게 스스로 조절하는 학생들도 더 복잡한 임상 환경에서는 학습을 스스로 조절하는 데 어려움을 겪을 수 있다.

However, a large part of medical education occurs in the workplace instead of in classrooms.3,12–15 In workplace-based learning, medical students and residents learn from their experiences in clinical practice.12 Self-regulated learning in a clinical context is different from SRL in an academic setting because in a clinical context the student cannot solely focus on his or her own learning goals as these are subsidiary to the provision of health care to patients.16 It may therefore be that students who adequately self-regulate their learning in an academic setting may have difficulties in self- regulating their learning in the more complex clinical setting.

우리의 연구 질문은 다음과 같다. 

(i) 임상 환경에서 의대생 및 거주자의 SRL을 연구하기 위해 어떤 이론 모델을 사용하였는가? 

(ii) 의대생과 거주자가 임상 환경에서 사용하는 SRL 전략은? 

(iii) SRL의 어떤 요소가 의대생과 거주자에게 영향을 미치는 것으로 보고되었는가? 

(iv) 의대생 및 거주자의 SRL을 지원하기 위해 어떤 개입이 사용되었으며, 개입에 어떤 영향이 있었는가?

our research questions were: 

(i) What theoretical models have been used to study medical students’ and residents’ SRL in the clinical environment? 

(ii) What SRL strategies do medical students and residents use in the clinical environment? 

(iii) Which factors of SRL have been reported to influence medical students and residents? 

(iv) What interventions have been used to support SRL in medical students and residents and what effects did the interventions have?

방법

METHODS

Selection process

Review procedure

결과

RESULTS

프로세스는 그림 1에

The study selection process for this review is depicted in Fig. 1.

학생과 전공의의 SRL을 연구하기 위해서 어떤 이론적 모델이 사용되었나?

What theoretical models have been used to study medical students’ and residents’ SRL in the clinical environment?

우리가 포함시킨 18개의 연구 중, 7개의 연구 2,3,23–27은 Zimmerman의 순환 3상 모델을 보고했고, 8개의 두 개의 연구28,29는 Knowles의 이론적 모델을 보고했고, 30의 연구31은 Pintrich.32의 원칙에 기초한 이론적 프레임워크를 사용했다고 보고했다. 비록 이 세 가지 이론은 그들의 관점이 다르지만, 능동적 참여, 목표 설정, 계획 구현, 프로세스의 자체 평가가 공통적이다.

Of the 18 studies we included, 

• seven studies2,3,23–27 reported the cyclical three-phase model of Zimmerman,8 

• two studies28,29 reported the theoretical model of Knowles,30 and 

• one study31 used a theoretical framework based on the principles of Pintrich.32 

Although they differ in their perspectives, these three theories agree upon 

• active engagement, 

• goal setting, 

• implementation of a plan and 

• self-evaluation of the process.20,33

이 검토에서 나머지 8개 연구는 특정 이론적 모델을 설명하지 않았지만, SRL을 정의할 때 동일한 프로세스(목표 설정, 계획 구현 및 자가 평가)를 언급했다.

Although the remaining eight studies34–41 in this review did not describe a specific theoretical model, they did mention the same processes (goal setting, implementation of a plan and self-evaluation) when defining SRL.

임상환경에서 학생과 전공의는 어떤 SRL전략을 사용하는가?

What SRL strategies do medical students and residents use in the clinical environment?

세 가지 연구가 각각 다른 접근 방식을 가진 이 문제를 다루었다.

Three studies addressed this question, each with a different approach.

첫째, Berkhout et al.23은 임상의 학생들의 자기 평가 SRL 행동의 5가지 다른 패턴을 기술했다: 

• 참여적 (실수하는 것을 두려워하지 않고 열심히 일하고 동기를 부여하며) 

• 지극히 기회주의적 (학습 환경에 비판적인 비정형 학습 행동은 쉽게 동기를 상실함) 

• 불확실한 (수동적, 감독자에 의존적, 배울 수 있는 안전한 환경이 필요하다.) 

• 자제하는 (높은 동기 부여와 자기 비판적, 질문하기 두려워)

• 힘이 드는 (열심히 일하고, 무엇을 해야 하는지 알려주어야 하며, 어려움에 처하는 것을 두려워해야 한다.)

Firstly, Berkhout et al.23 described five different patterns of clinical students’ self-assessed SRL behaviour: 

• engaged (hardworking, motivated and not afraid to make mistakes); 

• critically opportunistic (unstructured learning behaviour, critical of the learning environment, loses motivation easily); 

• uncertain (passive behaviour, dependent on supervisor, requires a safe environment in which to learn); 

• restrained (highly motivated and self-critical and afraid to ask questions), and 

• effortful (hard working, needs to be told what to do, and afraid to admit being in difficulty).

둘째로, 우즈 외 연구진.24는 임상 환경에서 SRL에 대한 세 가지 접근방식을 식별했다. 

• 첫 번째 접근방식인 '학습 기회가 부족하다는 인식에 묵종하는 것'은 의대 학생들이 인지하는 체계적이고 환경적인 장벽을 강조했다. 

• 두 번째 접근 방식인 '이용 가능한 기회에서 선택'에서 학생들은 서로 다른 학습 요구의 균형에 초점을 맞추었고, 어느 정도 시간이 학습보다는 서비스에 사용되어야 한다는 것을 깨달았다. 

• 마지막 접근법은 '새로운 학습 기회 창출'이었는데, 이 과정에서 학생들은 자신의 학습량을 최적화하려고 노력했다.

Secondly, Woods et al.24 identified three distinct approaches to SRL in the clinical environment. 

• The first approach, ‘acquiescing to a perceived lack of learning opportunities’, emphasised the systemic and environmental barriers that medical students perceived. 

• In the second approach, ‘choosing from available opportunities’, students focused on the balance of different learning needs and realised that some time must be spent on service rather than learning. 

• The last approach was ‘creating new learning opportunities’, in which students tried to optimise their amount of learning.

마지막으로, 사가세르 외 연구진.3은 가정의학과 레지던트의 SRL 활동에 대한 연구를 실시했다. 저자들은 SRL이 short loop and long loop으로 발생한다는 것을 확인했다.

Finally, Sagasser et al.3 conducted research on the self-regulatory activities of family practice residents. The authors identified that self-regulation of learning occurred in a short and a long loop.

어떤 요인이 영향을 미친는가?

Which factors of SRL have been reported to influence medical students and residents?

표1

Seven of the included studies addressed the factors influencing SRL. The results are summarised in Table 1.

어떤 개입이 사용된 바 있는가?

What interventions have been used to support SRL in of medical students and residents? What effects did the interventions have?

three types of intervention: 

• (i) guiding of SRL via mentoring or coaching; 

• (ii) support of SRL via learning plans and goal setting, and 

• (iii) supportive tools, such as an online environment and clinical encounter cards.

고찰

DISCUSSION

SRL의 이론적 프레임워크는 종종 결여되어 있고, 이론적 프레임워크가 사용될 때(예: Zimmerman, 8 Pintrich32 및 Knowles30) 이 프레임워크는 교실 환경에서의 연구로부터 비롯되었다. 맥락이 SRL에 미치는 알려진 영향을 고려하면, 이러한 모델은 복잡한 임상 상황에 쉽게 적용될 수 없다.

We found that a theoretical framework of SRL is often lacking, and when a theoretical framework was used (e.g. Zimmerman,8 Pintrich32 and Knowles30), this framework stemmed from research in a classroom setting. Considering the known influence of context on SRL, these models cannot be applied easily to the complex clinical context.

Berkhout et al.,23 Woods et al.24 및 Sagasser et al.3의 연구는 개인이 임상 환경에서 SRL하기 위해 사용하는 다양한 패턴, 접근 방식 또는 활동을 설명했다. 이러한 다양한 전략들은 학생들과 레지던트들의 SRL 전략 사이에 개별적인 차이가 있을 뿐만 아니라, 그 전략들도 맥락마다 다르다는 것을 암시한다.

The studies of Berkhout et al.,23 Woods et al.24 and Sagasser et al.3 described various patterns, approaches or activities that individuals use to self-regulate their learning in the clinical environment. These different strategies suggest that there are not only individual differences between students’ and residents’ SRL strategies, but that the strategies they use also differ in different contexts.

상황에 따라 SRL에 긍정적인 또는 부정적인 영향을 미칠 수 있는 많은 요인들이 있다. 이것은 [임상적 맥락에서의 학습은 SRL 프로세스에 영향을 미치는 요인들 간 상호작용이 있는 복잡한 과정]이라는 이전의 발견 2,9,42를 지원한다. 이러한 요인 중 일부는 임상 환경(시간 압력 및 환자 관련 요인)에 고유한 것이다.2

There are many factors that, depending on the circumstances, may have either positive or negative influences on SRL. This supports earlier findings2,9,42 that learning in the clinical context is a complex process, in which there is an interplay of factors affecting the SRL process. Some of these factors are unique to the clinical environment (time pressure and patient-related factors).2

SRL은 개인과 맥락 사이의 상호작용에 의해 형성된다. 이 리뷰는 학생들의 SRL 전략 사이의 개별적인 차이점을 보여주었고, 이는 임상 환경에서 학생들을 서포트하는 개인화된 접근법이 필요함을 암시한다. 멘토나 코치의 지원과 학습 계획 및 목표 설정의 사용은 의대생과 레지던트의 SRL 과정에 긍정적인 결과를 가져오는 중재인 것으로 밝혀졌다. 이것은 이러한 개입이 사람과 상황에 적응할 수 있게 한다는 사실에 의해 야기될 수 있다. 또한, 코치나 멘토의 지원은 SRL 프로세스가 잠재력을 최대한 발휘하기 위한 전제조건으로 보인다.23,26,29

Self-regulated learning is shaped by the interaction between the individual and the context. This review revealed individual differences between students’ SRL strategies, implying that an individualised approach to supporting students in the clinical environment is required. The support of a mentor or coach and the use of learning plans and goal setting were found to be interventions that have a positive outcome on medical students’ and residents’ SRL processes. This might be caused by the fact that these interventions allow for adaptation to person and context. Moreover, the support of a coach or mentor seems to be a prerequisite for the SRL process to develop to its full potential.2,3,26,29

모든 개입은 SRL의 첫 두 단계, 즉 목표 설정과 조절 메커니즘에서 긍정적인 결과를 보여주었다. 그 연구들 중 어느 것도 조절 평가에 초점을 맞추지 못했다. 학습자가 목표를 향한 진행 상황을 평가하는 SRL 프로세스의 마지막 단계 입니다. 조절 평가는 학습 경험을 완성하는 데 매우 중요하며 새로운 학습 노력의 출발점이 된다.

All of the interventions revealed a positive outcome on the first two phases of SRL, namely goal setting and regulatory mechanisms. None of the studies focused on regulatory appraisals. This is the last phase of the SRL process, in which learners assess their progress towards goals. Regulatory appraisal is crucial to completing the learning experience and serves as a starting point for new learning endeavours.

함의

Implications for practice

우리의 연구에서, 우리는 임상적 맥락에서 SRL이 아직 그것의 잠재력을 충분히 발휘하지 못하고 있다고 결론짓는다. 특히, progress를 평가하는 것은 더 많은 관심을 받을 만하다. 따라서, 우리는 두 가지 병행적 접근법을 권고한다. 

• (i), 개인의 목표 설정과 성찰 기술을 향상시키고 SRL 자신감을 향상시키기 위한 인터벤션 도입

• (ii) 학생들에게 그들의 기술을 실제로 사용할 기회를 주는 학습 환경을 조성. 

From our research, we conclude that SRL in the clinical context is not used to its full potential yet. In particular, assessing progress deserves more attention. Therefore, we recommend two parallel approaches: 

• (i), introduce interventions to improve individuals’ goal setting and reflection skills and improve their SRL confidence, and 

• (ii), create a learning environment that gives students the opportunity to actually use their skills. 

이것은 학생들이, 예를 들어, 각 환자에 대해 더 많은 시간, 더 많은 환자 접촉, 그들의 감독자로부터의 지원과 멘토의 안내를 받아야 한다는 것을 의미한다.

This means that students should get, for example, more time for each patient, more patient encounters, support from their supervisor and guidance by a mentor.

Strengths and limitations

Implications for future research

CONCLUSIONS

본 연구는 임상 환경의 SRL이 복잡한 과정이며 학생들의 SRL에 개별적 차이가 있다는 것을 보여주었다. 이것들은 개인, 사회 및 상황별 수준에서 여러 요소에 의해 영향을 받는다.

This study revealed that SRL in the clinical environment is a complex process and that there are individual differences in students’ SRL. These are influenced by multiple factors at the individual, social and contextual levels.

우리는 학습자가 목표를 향한 진행상황을 평가하는 방법에 대한 지식 격차를 확인할 수 있었다. 이러한 연구 결과는 교육자들이 임상 환경에서 SRL을 구현할 때 이중 접근법을 채택해야 하며, 

• SRL을 위해 학생의 개인 능력을 향상시키는 것과 

• 직장에서 멘토나 코치의 지원을 받을 수 있는 좋은 SRL 환경을 만드는 것에 초점을 맞춰야 한다는 것

...을 암시한다.

We were able to identify a knowledge gap in how learners assess their progress towards goals. These findings suggest that educators should adopt a dual approach when implementing SRL in the clinical context and should focus on both improving students’ individual capacities to regulate their learning and creating a good SRL climate in the workplace, possibly supported by a mentor or coach.

Self-regulated learning in the clinical context: a systematic review.

정신질환자에 대한 낙인에 대한 임상실습의 영향: 메타분석(Med Educ, 2018)

The influence of clerkship on students’ stigma towards mental illness: a meta-analysis

Eleni Petkari,1,2 Ana I Masedo Gutierrez,2,3 Miguel Xavier2,4 & Berta Moreno K€ustner2,3,5

도입

INTRODUCTION

정신 질환(MI)으로 고통 받는 사람들은 두 가지 도전에 직면해야 한다: 

• 첫째, 그 질병이 그들의 삶에 미치는 영향

• 둘째, stigma때문에 사회로부터의 혹은 스스로의 rejection과 non-acceptance로 인한 스트레스.

• first, the impact that the illness has on their lives in all its facets,1 and 

• second the stress created by rejection and non-acceptance by both themselves and society because of stigma.2,3 

사회적 인식 이론에 따르면, 낙인은 인지, 감정, 행동적 요소를 포함하는 다차원적 개념이다. 

• 인지요소는 나쁜 예후에 대한 위험성이나 믿음과 같은 고정관념을 포함하는 태도를 말하는 반면, 

• 정서요소들은 MI를 가진 사람들과의 상호작용에 대한 두려움이나 분노와 같은 편견의 표현을 포함한다. 

• 행동요소는 보통 MI를 가진 사람들과의 상호작용을 위한 의도를 나타낸다. 차별에 대해, 회피, 평가 절하 또는 사회적 거리를 통해 표현된다.

According to social cognition theory,4 stigma is a multidimensional concept that encompasses cognitive, emotional and behavioural elements. 

• Specifically, the cognitive elements refer to attitudes that include stereotypes, such as dangerousness or beliefs for a poor prognosis, 

• whereas emotional elements include the expression of prejudice, such as fear of or anger towards people with MI. 

• Finally, behavioural elements refer to intentions for interaction with people with MI, usually based on discrimination, expressed through avoidance, devaluation or social distance.3,5

증가하는 증거는, 일반 인구와 마찬가지로, 정신 건강 전문가들이 그들의 환자들에게 낙인을 표현할 가능성이 있으며, 장래의 건강 관리 전문가들은 그러한 환자들과 함께 일할 가능성을 적어도 매력적이지 않은 것으로 생각할 수도 있음을 보여준다. 낙인 문제를 해결하기 위한 지속적인 시도에서, 낙인 해소를 위한 교육적 개입은 대중들에게, 그리고 중요한 것은 장래의 보건 전문가들에게 널리 전달되어 왔다. 그러나 실제 환자와의 접촉을 포함하지 않는 안티-낙인 교육 개입은 단지 단기적인 효과만을 가지고 있는데, 아마도 MI라는 이름 뒤에 있는 인간을 평가할 기회가 부족하기 때문일 것이다. 환자와의 접촉이 긍정적인 태도를 확립하기 위한 핵심 요소인 것 같으므로, 정신 건강 관련 연구 커리큘럼이 포함된 임상실습이 포함되어야 한다.

Increasing evidence shows that, like the general population, mental health professionals are likely to express stigma towards their patients,6 and prospective health care professionals consider the possibility of working with such patients as unattractive at least.7,8 In a continuous attempt to tackle stigma, educational interventions aimed at its reduction have been widely delivered to the public9 and importantly to prospective health care professionals.10 However, anti-stigma educational interventions that do not include contact with real patients have only short-term effects,11 perhaps due to the dearth of opportunities for appreciating the human being behind the label of MI.12 As contact with patients seems to be a key element for establishing positive attitudes,13 the inclusion of a clerkship in the curriculum of mental health-related studies

임상실습은 보통 마지막 학년 또는 끝에서 두 번째 학년에 제공되고, 실제 환자와 함께 실시간 상황에서 직접 접근하여 젋은 전문직세대에게 MI를 가진 환자에 대한 긍정적이고 효율적인 접근을 교육하기 위한 이상적인 환경을 조성한다.

결과는 또한 각 개입에 대한 목표 결과에 따라 달라질 수 있으며, 초점이 개별적 낙인의 구성 요소(태도, 영향 또는 행동 의도) 중 하나 또는 단일 결과로서의 조합이냐에 따라 달라질 수 있다. 사실, 별도로 또는 조합하여 낙인의 구성요소를 선택하는 것은 실제로 개입의 효율성에 관한 상충되는 결과를 초래할 수 있다.

results may also vary depending on the targeted outcome for each intervention, and depending on whether the focus is on one of the components of stigma (attitudes, affect or behavioural intentions) separately or on their combination as one sole outcome. In fact, the selection of the stigma components either separately or in combination might actually lead to conflicting outcomes regarding the intervention’s effectiveness.

본 연구

The present study

따라서, 현재 연구는 장래의 의료 전문가들이 사무직 완료 후 결과로 표현한 오명(전반적으로 태도 [AT], [AF] 및 행동적 의도[BI])의 변화를 탐구한다. 목적은 

• (i) 임상실습이 학생의 낙인에 미치는 영향을 조사하는 모든 가용 연구에 대한 체계적인 메타 분석을 수행한다. 

• (ii) 낙인 전반과 각 구성 요소(AT, AF 및 BI)에 대한 효과 추정치를 제공한다. 

• (iii) 각 결과의 잠재적 조정 요인(즉, 대학 프로그램, 임상실습 기간, 임상실습 설정, 이론 교육, 실험 설계, 출판 연도, 연령 및 성별)을 식별해야 한다.

Thus, the current study explores changes in stigma (overall, attitudes [AT], affect [AF] and behavioural intention [BI]), expressed by prospective health care professionals as the outcome after completion of a clerkship. The aims are to 

• (i) carry out a systematic meta-analysis of all available studies that examine the effects of clerkship on health care students’ stigma, 

• (ii) provide an effect estimate for overall stigma and for each of its components (AT, AF and BI) and 

• (iii) identify potential moderating factors of each outcome (i.e. university programme, clerkship duration, clerkship setting, inclusion of theoretical training, experimental design, year of publication, age and sex).

METHODS

Literature search

Inclusion criteria

Coding procedure

stigma component (overall, attitude [AT], affect [AF] and behavioural intention [BI]),

도구들

Instruments measuring stigma

The included studies assessed stigma using 12 different instruments, with some of them measuring stigma as a whole, providing a total score. Examples of such instruments are: 

• the Mental Illness Clinician Attitudes Scale (MICA),18 examining beliefs, emotions and behaviours related to the patient’s treatment, perceived dangerousness or social interaction; 

• the Mental Health Attitudes Scale (MHAS),15 focusing on knowledge, negative stereotypes or anxiety; 

• and the Attitudes Towards Mental Illness Scale (AMI),14 examining fear or worry, as well as the willingness to have a friend or neighbour with MI. 

Other scales measured stigma components through distinct subscales that corresponded to AT, AF and BI. Examples are: 

• the Opinions towards Mental Illness Scale (OMI),19 encompassing the subscales of Authoritarianism, Benevolence, Mental Hygiene Ideology, Social Restrictiveness or Interpersonal Aetiology; 

• the Community Attitudes Towards Mental Illness Scale (CAMI),6 which is similar to the OMI with the exception of Interpersonal Aetiology; 

• and the Attributions Questionnaire (AQ-27),20 measuring the expression of Pity, Anger, Fear, Responsibility, Willingness to Help and Segregation. 

Lastly, some studies focused only on the BIs, measuring them through 

• the Social Distance Scale (SDS)21 or 

• the Devaluation Discrimination Scale (DDS),22 

both of which explore the willingness to have social interactions with people with MI (see Table S1 online for details). 

In order to proceed with the distribution of instruments and their subscales into the stigma components (overall, AT, AF and BI), we were guided by the distribution carried out in a previous meta-analysis on stigma outcomes,4 based on the social cognitive theory of stigma.

Data analyses

결과

RESULTS

최종 샘플

Final sample

22개 연구

Twenty-two studies fulfilled the inclusion criteria and were included in the meta-analysis, providing data from 22 independent samples.

낙인의 변화

Stigma changes after clerkship

크게 감소

Our analysis yielded a highly significant medium effect size for overall stigma reduction (k = 22, Hedge’s g = 0.354; p < 0.001; 95% CI, 0.26, 0.45) and improvement of AT (k = 9) (Hedge’s g = 0.308; p = 0.003; 95% CI, 0.10, 0.51) and BI (k = 10) (Hedge’s g = 0.247; p < 0.001; 95% CI, 0.17, 0.33).

Subgroup analyses

메타-회귀

Meta-regression analyses

가중된 혼합 효과 메타-규제 분석은 여성들이 전반적인 낙인 변화 수준을 더 높게 보인 반면에 출판 연도나 참여자의 연령에는 유의미한 영향이 없음을 보여주었다. 마지막으로, 전체적인 변화에 긍정적인 영향을 미치는 임상실습 시간의 경향이 있었다. 

The weighted mixed-effects meta-regression analyses revealed that women displayed higher levels of overall stigma change (k = 22, B = 0.007, standard error [SE] = 0.002, z = 3.23; p = 0.001), whereas there was no significant effect for publication year or participants’ age. Finally, there was a trend of clerkship duration influencing overall change positively (k = 22, B = 0.028, SE = 0.016, z = 1.78; p = 0.007). 

AT와 BI와 관련하여, 분석은 출판 연도와 임상실습 길이에 유의하지 않은 영향을 보여주었다. 하지만, 여성들은 AT에서 더 큰 변화를 보였고, 어린 학생들은 AT와 BI를 더 잘 보여주었다.

Regarding AT and BI, the analyses showed a non- significant effect for publication year and clerkship length. However, women showed greater change in AT (k = 6, B = 0.001, SE = 0.006, z = 1.95; p = 0.05)and BI (k = 6, B = 0.009, SE = 0.002, z = 2.76; p = 0.005) and younger students showed better AT and improved BI (k = 6, B =  0.057, SE=0.02, z =  3.02; p = 0.002). 

출판 편향

Publication bias

고찰

DISCUSSION

우리의 메타 분석의 결과는 임상실습이 학생들의 낙인에 대한 인식수준에 유익한 영향을 미친다는 것을 확인시켜준다. 좀 더 구체적으로 말하면, 그 결과는 행동적 의도를 바꾸는 것보다 [전반적인 낙인인식]과 [태도]를 바꾸는 힘이 더 크다는 것을 드러내는 반면, MI를 가진 환자에 대한 학생들에 대한 정서적 상태에 영향을 미치지 않았다. 그러한 차이는 놀랍지 않은데, 행동의 변화가 가장 어려운 것이며, 행동의 변화란 환자와의 상호작용을 증가시키고 능동적인 방식으로 도움을 제공려는 의도를 가정한다.26

The findings of our meta-analysis confirm that there is a beneficial influence of clerkship on students’ stigma levels. More specifically, the findings reveal a greater power of clerkship for changing overall stigma and attitudes than for changing behavioural intentions, whereas clerkship does not influence the student’s affective state towards patients with MI. Such differences are not surprising, given that behaviour is the most difficult component to change, as it assumes an intention to increase interaction with patients and help provision in an active way.26

현재의 연구 결과는 임상실습이 모든 대학 프로그램에 걸쳐 전반적인 낙인과 학생들의 차별적인 행동 의도를 줄이는데 도움이 된다는 것을 보여주었다. 이는 낙인을 해결하고자 할 때, 임상실습생이 환자 관리에 참여할 기회를 주는 것이 이론적 배경, 방법론 또는 학습 목표와 같은 대학 커리큘럼의 특정 구성요소보다 더 중요하다는 것을 나타낸다.

The results of the current study showed that clerkship was beneficial for reducing overall stigma and the students’ discriminatory behavioural intentions across all university programmes. This indicates that when targeting stigma the opportunity for involvement in patients’ care offered by a clerkship is more important than the specific components of university curricula, such as the theoretical background, methodology or learning targets.

특히, 입원 및 외래환자의 환경 조합에서 이뤄지는 임상실습은 (순수하게 기관화된 환경에 정착한 사무직과는 달리) 학생들의 태도를 변화시키는데 더 강력하다. 실제로 후자는 [행동적 의도]와 [전체적인 오명]에 미치는 영향은 전혀 없고 단지 작은 영향만 가지고 있다. 이러한 유의하지 않은 변화는 [학생들이 입원환자를 위험으로 간주될 수 있는 행동을 보이는 사람으로 인식하고 미래가 demoralisation된 사람들로 인식한다는 사실]로 설명할 수 있다.

Specifically, clerkships that take place in a combination of inpatient and outpatient settings are more powerful in altering students’ attitudes, as opposed to those settled in purely institutionalised conditions, in line with Sher & New.31 Indeed, the latter have no effect on attitudes at all and only a small influence on behavioural intentions and overall stigma. Such an insignificant change can be explained by the fact that students perceive the inpatients as people who display behaviours that may be considered dangerous32 and who immerse themselves in a state of demoralisation33 regarding their future.

영향력 있는 것으로 입증된 또 다른 요소는 임상실습의 한 부분으로 이론 교육을 실시하는 것이다. 특히, 이론적 훈련을 포함하지 않은 연구의 경우, [전체적인 낙인]과 [태도(=인지요소)]에 변화가 없었는데, 이는 대면 상호작용과 함께 이론적 요소를 포함시키는 것의 중요성을 보여주는 것이다.

Another element that was proven to be influential is the implementation of theoretical training as part of the clerkship. Specifically, overall stigma and attitudes remained the same for studies that did not include a theoretical training, pointing out the importance of accompanying the face-to-face interaction with such a component, in line with Economou et al.34

그러나 환자를 보다 긍정적인 방식으로 치료하려는 [의도]는 임상실습에 그러한 요소가 포함되어 있는지 여부와 무관하게 달라지는 듯 하며, 이는 결국 사회적 상호 작용에 관한 한 환자와 접촉하는 것이 가장 중요하다는 것을 암시한다.

However, the intention to treat patients in a more positive manner seems to alter independently of whether the clerkship includes such a component or not, implying eventually that when it comes to social interactions, contact with patients is all that matters.

마지막으로, 여성들은 전반적으로 낙인을 덜 보이고, 더 나은 [태도]와 [행동 의도]를 보여주었고, 비록 남성과 여성은 MI를 가진 사람들에게 다른 방식으로 행동하는 경향이 있지만, 여성이 더 우호적인 태도를 보인다고 말한 기존 리뷰를 부분적으로 입증했다. 임상실습의 영향은 [행동 의도]에 대해서는 동일한 패턴을 따르는 것처럼 보이지만, [태도]에는 영향을 미치지 않는다. 또한, 이전의 조사결과에 따라, 젊은 세대는 태도와 행동 의도에 긍정적인 영향을 미치는 것으로 보였다. 20,36

Finally, women showed less overall stigma, and better attitudes and behavioural intentions, partially corroborating an earlier review suggesting that although men and women tend to have similar attitudes they behave in a different way towards people with MI, with women being more friendly.35 The influence of clerkship seems to follow the same pattern for behaviour intentions but not for attitudes. Additionally, younger age seemed to influence positively both attitudes and behavioural intentions, in line with previous findings.20,36

Limitations

Implications for practice and research

사실, 그 낙인 구성요소들은 임상실습 후에 각자의 변화 패턴을 따르고 있으며, [행동]에는 영향이 적은 반면, [감정]에는 영향력이 없는 것으로 보인다. 그럼에도 불구하고, [감정]에 대한 연구는 다른 것에 비해서 매우 적은 편이므로 변화는 무시할 수 없다. 감정이 행동의 동기부여 메커니즘을 구성하기 때문에, 이 요소는 추가적인 탐사를 요구한다. 아마도 공감을 표적으로 삼음으로써 학생들은 두려움과 거절의 감정을 바꿀 수 있고 이런 식으로 MI를 가진 사람들을 더 호의적으로 대우하려는 그들의 의도를 높일 수 있다.

Indeed, the stigma components seem to follow their own pattern of change after clerkship, with behaviour being the less affected whilst there is a lack of change in affect. Nevertheless, changes cannot be discarded as affect has been significantly understudied compared with other stigma outcomes. As emotions constitute the motivating mechanism of actions, this component demands further exploration. Perhaps by targeting empathy, students can alter their feelings of fear and rejection and this way boost their intentions for more favourable treatment of people with MI.

학생은 사회의 구성원이기에, [MI를 가진 환자에 대해 무례하거나 부정적 꼬리표를 통해 특성을 부여하는] 사회적 맥락에서 기인하는 집단적 영향으로부터 영향을 받지 않을 수 없다. 따라서, 비록 학생들은 그들 자신이 갖고 있던 미신은 임상실습을 통해 사라지더라도, 전반적인 부정적 태도, 행동, 그리고 특히 감정은 그대로일 수 있다.

As members of a society, students cannot remain immune to group influences originating in a societal context that is characterised by disrespect towards patients with MI and attributes to them negative characteristics through labelling.38,39 Hence, although students may have their myths dispelled through their clerkship, they may largely retain their negative attitudes, behaviours and, importantly, emotions.

결과적으로, 우리의 연구결과는 더 넓은 사회적 문제에 대한 관심을 끌게 되는데, 이는 현재의 사회 구조에 도전해야 하며, stigma-free한 사고방식을 가진 시민을 양성하기 위해 더 큰 규모의 개입이 필요하다는 것을 시사한다.41

Consequently, our findings draw attention towards a wider societal issue, suggesting that there is a need for interventions on a larger scale in order to challenge the current societal structure and produce citizens with a stigma-free mindset.41

Med Educ. 2018 Jul;52(7):694-704. doi: 10.1111/medu.13548. Epub 2018 Mar 2.

The influence of clerkship on students' stigma towards mental illness: a meta-analysis.

의과대학 1학년을 위학 학습지원개입: 문헌 고찰(Med Educ, 2017)

Learning support interventions for Year 1 medical students: a review of the literature

Masego B Kebaetse,1 Maikutlo Kebaetse,2 Gaonyadiwe G Mokone,2 Oathokwa Nkomazana,3 Mpho Mogodi,1

John Wright,2 Rosemary Falama4 & Elizabeth Park5

도입

INTRODUCTION

의대를 통과하는 여행은 길고, 벅차고, 어려울 수 있는 만큼 흥미롭고 보람 있을 수 있다. 이전에 높은 학업 성취와 학습 성공을 거둔 학생도 학습 어려움을 겪을 수 있으며, 의대에서는 어려움을 겪을 수 있다.1 학생들은 능력 있고 준비된 상태로 의대 1학년에 입학하지만, failure로 귀결되는 학문적, 개인적 어려움을 겪을 수 있다.2 또한, 의대에서 필요한 행동적 속성을 갖추지 않은 채로 입학하는 학생들은 학습 내용 및 학습 기술 둘 다와 어려움을 겪을 수 있다.3 

The journey through medical school can be as exciting and rewarding as it can be long, daunting and challenging. Even students with prior high academic performance and learning success may experience learning challenges and may struggle during medical school.1 Students may enter the first year of medical school capable and prepared, but may experience academic and personal challenges that lead to failure.2 Additionally, students entering medical school without the necessary behavioural attributes may struggle with both content and learning skills.3 

일반적으로 학부 학위를 취득하고 의대에 들어오는 경우(북미의 경우)와 달리 곧바로 의과대학에 들어오는 학생들은(예: 유럽, 호주, 아시아 및 아프리카에서 일반적으로 대학 교육을 거의 받지 않았거나 받지 않은 학생) 의과대학 교육과정에서의 요구와 엄격함이 늦은 사춘기와 이른 성인기의 발달과제와 coupled될 수 있다.4 따라서, 이 의대생들이 직면하는 학습 과제는 훈련의 첫 번째 또는 초기 기간 동안 잠재적으로 더 심각할 수 있다.

For undergraduate medical students (i.e. students admitted with little or no university education, which is typical in Europe, Australia, Asia and Africa), unlike for graduate medical students, who have normally completed an undergraduate degree (typical in North America), the demands and rigour of the medical education curriculum, coupled with the developmental tasks of late adolescence and early adulthood, may pose learning challenges.4 Thus, the learning challenges that confront undergraduate medical students may potentially be more acute during the first or early years of training.

의학교육의 어느 단계에서든 학문적 실패의 원인은 학문적 및 비학문적 요인을 모두 포함한다.5 예를 들어, 학업적 실패는 다음에 기인한다

• 비효율적인 학습 및 학습 기술, 1,6,7 

• 잘못된 이해 전략,4 

• 특정 학술 및 내용 분야의 결함, 8,9 

• 자기 규제 및 인지 능력의 결여,10,11 

• 자기 주도적 학습으로 전환할 수 없음,12 

• 탄력성의 결여와 나쁜 스트레스 관리,8 

• 높은 워크로드를 관리할 수 없음, 8,13 

• 학생과 학습 환경 사이의 부족한 건강 

• 개인적인 요소들. 

The causes of academic failure at any stage of first-degree medical training include both academic and non-academic factors.5 For instance, academic failure may arise from 

• inefficient learning and study skills,1,6,7 

• poor comprehension strategies,4 

• deficiencies in specific academic and content areas,8,9 

• lack of self-regulation and metacognitive skills,10,11 

• inability to transition to self-directed learning,12 

• lack of resilience and poor stress management,8 

• inability to manage a high workload,8,13 

• poor fit between the student and the learning environment,2 

• and personal factors.8,14 

또한 학습의 어려움은 다음에 의해 악화될 수 있다. 

• 자신의 학습 결함을 발견하지 못함

• 도움을 구하기를 꺼림

Additionally, learning challenges can be precipitated by 

• students’ inability to identify their own learning deficiencies15,16 and 

• the reluctance of some medical students to seek help.17 

놀랄 것도 없이, 1학년 의대생들의 10-15%가 학업적으로 고군분투하고 있는데, 이것은 이러한 도전들이 특히 대학 의학 교육에서 첫 해 또는 초창기 동안 나타날 수 있다는 것을 암시한다.

Not surprisingly, 10–15% of Year 1 medical students struggle academically,18 which suggests that these challenges may manifest during the first or early years of medical training, particularly in undergraduate medical education.

학습 어려움을 경험함에도 불구하고, 대부분의 학생들은 다시 적절하고 효과적인 학습 지원을 통해 성공할 수 있는 지적 능력을 가지고 있다.19 사실, 많은 의과대학들은 'struggling' 학생들을 위한 교정조치를 포함하여 학습 지원 프로그램을 제공한다.20,21 Sandars et al.2는 의료 교육에서 학습 지원에 대한 두 가지 주요 접근방식인 부족-대응적 접근법과 적극적-발달적 접근법을 구별한다.

Despite experiencing learning challenges, most students have the intellect to succeed, again with appropriate and effective learning support.19 In fact, many medical schools offer learning support programmes, including remediation for ‘struggling’ students.20,21 Sandars et al.2 distinguish between two main approaches to learning support in medical education: the deficit-reactive and the proactive-developmental approaches.

부족-대응 접근 방식은 1학년 프로그램의 일부에서 실패한 학생처럼 '위험에 처한' 학생들을 대상으로 한다.2 따라서 실패한 학생이 발생할 경우 support가 시작되고, 교정조치에 집중되며, 일반적으로 학습자가 다음 평가를 통과할 수 있도록 테스트, 개입 및 재시험이 포함된다.2 부족-대응 방식의 주요 당면 과제는 다음과 같다. 

• (i) 낙인이 될 수 있음, 실패로 이어지는 핵심 이슈를 무시할 수 있는 가능성2 

• (ii) 필요한 발달적 support의 부재, 특히 학부의대생의 경우,2 

• (iii) 교정 후에도 프로그램 중에 반복되는 실패.20

The deficit-reactive approach targets students who are perceived to be ‘at risk’, such as students who fail part of the Year 1 programme.2 Support is thus triggered by failure, focuses on remediation, and generally includes testing, intervention and retesting to enable learners to pass the next assessment.2 The main challenges of the deficit-reactive approach are: 

• (i) the labelling of students, which may lead to stigmatisation2,4 and the potential to ignore the core issues that lead to failure2; 

• (ii) the lack of necessary development support, particularly for undergraduate medical students,2 and 

• (iii) repeated failure during the programme even after remediation.20

이와는 대조적으로, 적극적-발달적 접근은 특히 학부 의대 학생들의 발달 단계를 고려하고, 단지 failure에 대한 재교육 이상을 제공한다2 따라서 학생들은 평생 '학습' 기술을 습득한다.22 Sandars et al.2 는 발달적 학생 지원을 '학력, 개인적 특성 또는 생애 사건과 관계없이 모든 학생의 개인적, 직업적 성장에 중점을 두는 촉진적 접근법'라고 묘사한다. 그러므로, 무엇보다도, 이 접근법은 학습자의 낙인을 줄이는 데 도움이 된다. 또한, 이 접근방식에서 지원은 정기적으로 제공되고 training의 초반에 시작한다.5

By contrast, the proactive-developmental approach takes into consideration the developmental phase, especially of undergraduate medical students, and provides more than remediation of failure2; students thus acquire lifelong ‘learning to learn’ skills.22 Sandars et al.2 describe developmental student support as ‘a facilitated approach that has a focus on personal and professional growth for all students, irrespective of academic performance, personal characteristics or life events’. Thus, amongst other things, this approach helps reduce stigmatisation of the learner. Furthermore, in this approach, support is provided regularly and starts early in training.5

(기존에 있었던) 두 리뷰에서, 문헌은 부족-대응 접근법에 초점을 맞췄다. 비록 첫 해나 초반에 개입하는 것이 '고투하는 많은 학생들의 특징인 underperformance의 반복 사이클'를 멈출 수 있는 잠재력을 가지고 있다고 제안되었지만, 의학 교육의 학습 지원과 교정조치 노력은 의대 후반부에 중점을 두는 경향이 있다. 대조적으로, 현재 검토는 의과대학 1학년에 집중되고 있다.

In both reviews, the literature focused on the deficit-reactive approach. Although it has been suggested that intervention in the first or early years has the potential to stop the ‘cycle of underperformance that is characteristic of many struggling students’,20 learning support and remediation efforts in medical education tend to place emphasis on the latter years of medical school.20 By contrast, the present review focuses on the first year of medical school.

방법

METHODS

방법론적 프레임워크

Methodological framework

우리는 새로운 주제를 식별하기 위해 체계적인 검토의 강력한 프로세스 중 일부를 풍부하고 귀납적이며 분석적인 질적 연구 성격과 결합하여 비체계적 주제적(또는 비판적 통합 또는 비판적) 검토를 수행했다. 우리의 의도는 선택된 간행물에서 발견되는 경향과 주제를 유도적으로 분류하고 조사하는 것이었다. 우리는 알려진 것, 지식의 차이, 그리고 여전히 고려할 필요가 있는 것을 확인하는 과정을 포함하여 문헌을 광범위하게 고려했고, 문학으로부터 '개념적 기여'를 도출하려고 했다.

We conducted a non-systematic, thematic (or critical synthesis or critical) review of the literature by combining some of the robust processes of a systematic review with the rich, inductive, analytic nature of qualitative research to identify emerging themes.23–25 Our intent was to inductively categorise and examine trends and themes found in the selected publications.24,25 We considered the literature broadly in a process that included identifying what is known, gaps in knowledge and what still needs to be considered,25 and sought to derive a ‘conceptual contribution’ fromthe literature.23

우리는 검토, 협업, 목적 표본 추출의 목적을 명확히 하고 방법론적 엄격함을 보장하기 위한 대안적 관점을 고려하는 것과 같은 질적 연구의 원칙에 주의를 기울이려고 노력해왔다.24 현재 검토는 '과거 이 분야의 다른 모든 연구자와 학자들이 보여주거나 말한 것을 단순히 비유하는 것이 아니라, 오래된 문제에 대한 새로운 시각을 제공하려고 한다.'25

We have attempted to pay attention to the principles of qualitative research, such as by clarifying the purpose of the review, collaboration, purposeful sampling and considering alternative perspectives to ensure methodological rigour.24 The current review attempts to provide ‘a new perspective to an old problem, rather than simply paraphrasing what all other researchers and scholars in the field have shown or said in the past’.25

Data searching and mining

Data analysis and synthesis

결과

RESULTS

26개 문헌

After multiple reviews of titles, abstracts and full texts, 26 articles published between 1973 and 2016 were selected according to the inclusion and exclusion criteria (Fig. 1).

연구 특징

Study characteristics

Thirteen articles were published during 1973–1999,3,8,14,17,30–38 

four articles during 2000–2009,39–42 and 

nine articles during 2010–2016.11–13,43–48 

Sixteen articles came from the USA3,8,13,14,17,30,31,33–39,41,43 and the rest from Australia,40 Canada,32 Dominica,11,46 Germany,47 India,45 the Netherlands,48 South Africa42,44 and the UK.12 Of the 16 US articles, 12 were published prior to 20003,8,14,17,30,31,33–38 and 7 of these 12 articles focused primarily on minority and disadvantaged students.13,30,31,33–35,37

개입 접근법

Intervention approaches

학습지원에 대한 접근법은 세 가지 방식으로 개념화 된 것 같다. 

• 첫째, 사후 대응적 부족 접근에서 학습 지원은 일단 실패했을 때 학생들에게 교정조치 형태로 제공된다. 

• 둘째, 사전 예방적 결함 접근에서 학습 지원은 실패하기 전에 결손을 본 것으로 인식되는 특정 학생 집단에 제공된다.13,17,30–32,34–37 

• 마지막으로, 사전 예방적 발달 접근방식에서는 학습 및 개발 지원을 제공하는 방법으로 모든 학생에게 학습 지원을 제공한다.12,38–45,47

The approach to learning support seems to be conceptualised in three ways. 

• Firstly, in the reactive-deficit approach, learning support is provided in the form of remediation to students once they have failed.8,11,14,33,48 

• Secondly, in the proactive-deficit approach, learning support is provided to a specific group of students perceived to have a deficit prior to failure.13,17,30–32,34–37 

• Finally, in the proactive-developmental approach, learning support is provided to all students as a way of providing learning and development support.12,38–45,47

개입 영역

Area of intervention

내용 지식, 학문적 성공 기술, 개인 및 전문 기술, 프로그램 관련 요소를 포함한 몇 가지 분야에 집중하는 것으로 보인다.

Interventions seem to focus on several areas, including content knowledge, academic success skills, personal and professional skills, and programme-related elements.

Intervention strategies

Intervention duration

Intervention outcomes

고찰

DISCUSSION

중재: 

• (i) 사전 예방적 결함, 사후 대응적 결함 및 사전 발달적 접근 방식을 사용한다. 

• (ii) 콘텐츠 지식, 학문적 성공 기술, 개인 및 전문 기술, 프로그램 관련 요소 

• (iii) 교수-촉진, 동료-촉진, 지원 인력-촉진, 경험적 배치, 자가 학습, 부담-감소 전략

• (iv) 5주부터 2년까지 지속 기간이 다양하다. 

• (v) 일반적으로 긍정적 반응을 보였다.

The interventions: 

• (i) used proactive-deficit, reactive-deficit and proactive-developmental approaches; 

• (ii) addressed content knowledge, academic success skills, personal and professional skills, and programme-related elements; 

• (iii) utilised faculty staff-facilitated, peer-facilitated, support staff-facilitated, experiential placement, self-study and reduced-load strategies; 

• (iv) varied in duration from 5 weeks to 2 years, and 

• (v) generally showed positive results.

proactive-deficit 접근은 주로 노예제도, 제도화된 인종차별주의, 그리고 인종차별정책으로 야기된 불평등을 바로잡으려는 의도가 있는 미국과 남아프리카의 개입 프로그램의 특징이다. 이러한 연구는 소수 집단과 사회 경제적 혜택 받지 못한 학생들이 의료 교육에 접근할 수 있도록 돕는 준비 프로그램에 초점을 맞추는 경향이 있다. 이러한 접근법의 장점에도 불구하고, 소수 집단과 역사적으로 불리한 집단들에 대한 개입의 narrow focus는 제한적이다.

The proactive-deficit approach is mostly characteristic of US and South African intervention programmes, in which the intent seemed to be to redress the inequities created by slavery and institutionalised racism (USA) and apartheid (South Africa). These studies tend to focus on preparatory programmes that help minority and socio-economically disadvantaged students gain access to medical education. Despite the merits of this approach, it is limited because of the narrow focus of the interventions on minority and historically disadvantaged groups.

reactive-deficit 접근도 한계까 있다. 더욱이, 문제가 발생하는 것을 막는 대신, 문제가 발생할 때까지 기다리는 것은 spending 증가, 프로그램 완성 지연, 그리고 정서적 고갈을 초래할 수 있으며, 이 모든 것은 학생과 기관 모두에게 영향을 미친다.

The reactive-deficit approach too has limitations,2,4,20 as previously stated. Furthermore, waiting for a problem to occur rather than preventing it from occurring may result in increased spending, delayed programme completion and emotional drain, all of which affect both the student and the institution.

대조적으로, proactive-developmental 접근법은 특정 학습과 개발 기술을 다루는 경향이 있으며, 일반적으로 자기 주도적 학습의 개발과 같은 일부 교육 또는 개발 이론에 기초한다. 우리는 이것이 다른 두 가지 접근법의 단점을 해결한다는 점에서 이것이 선호되는 접근법이라고 가정한다. 비록 모든 개입 접근법에 비용이 고려되어야 하고, 모든 학습자들을 지원하는 것이 더 비용이 많이 드는 것으로 보일지라도, 우리는 의대를 통해 습득한 기술, 태도, 습관이 평생 의사들과 함께 있을 가능성이 높기 때문에 예방이 치료보다 낫다는 것을 제안한다.

By contrast, the proactive-developmental approach tends to address specific learning and developmental skills, and is generally grounded in some educational or developmental theory, such as the development of self-directed learning. We posit that this is a preferred approach in that it addresses the shortcomings of the other two approaches. Although cost is a factor to be considered in all intervention approaches, and it may appear to be more costly to support all learners, we suggest that prevention is better than cure as skills, attitudes and habits acquired through medical schools are likely to stay with doctors throughout their careers.

개입 영역이 광범위하고 일반적으로 어느 정도의 성공과 관련이 있는 경우, 콘텐츠 지식에 traditionally or prematurely focus된 프로그램은 그 효과성에 한계가 있을 수 있다.

Given that the areas of intervention were broad and generally associated with some degree of success, programmes that traditionally or prematurely focus on content knowledge may be limited in their effectiveness.

비록 어떤 경우에는 개입이 독립 프로그램으로서 제안되었지만, 우리의 연구 결과는 개입이 관련 subject matter에 포함되도록 하는 것이 더 이로울 수 있다는 것을 암시한다.

Although in some cases the intervention was offered as a stand-alone programme, our findings suggest that it may be more beneficial for the intervention to be embedded in the relevant subject matter.

어느 정도 성공을 거두는 데는 다양한 개입 전략이 사용되었다. 놀랍게도, 우리의 검토에서 오직 한 가지 연구만이 reduced-load 전략을 채택했다. 주로 의과대학 1학년에 높은 workload가 주요 스트레스와 failure의 원임임에도 그러했다.

부담을 줄이는 것은 특히 언어, 문화, 사회 경제적 요인에 의해 불이익을 받을 수 있는 개발도상국의 학생들을 조정할 수 있는 시간을 줄 것을 제안한다. 프로그램 기간을 연장하는 것 외에도, 14,50은 가능한 한 많은 기초 과학을 premedical program으로 옮겨서 의과대학 교육과정을 재편성하는 또 다른 가능한 부하 감소 전략이다.

현재의 연구결과는 intervention의 dose가 중요하고, 대규모 그룹 기반 및 단기 개입은 marginal performance를 변화시키는데 필요한 자기 조절 및 사고 방식을 개발하는 데 비효율적일 수 있음을 시사하는 것으로 보인다.46 또한 dose와 관련이 있다. 단계적으로 개입이 적어도 한 학기가 길면 콘텐츠 지식 이득의 지속성이 더 큰 것 같다.11,36,38 상대적으로 긴 지속 기간이 짧은 기간보다 효과적일 것이라고 생각한다. 왜냐하면 이러한 개입은 하룻밤 사이에 쉽게 변하지 않을 수 있는 이미 장기간에 걸쳐 확립된 습관과 결함을 바꾸려고 하기 때문이다.

The present findings seem to suggest that the dose of the intervention matters, and that large group-based and short-duration interventions are likely to be ineffective in developing self-regulation and the thinking dispositions required to turn around a marginal performance.46 Also related to dose is the persistence of results beyond the intervention phase. It seems that the persistence of content knowledge gains is greater when interventions are at least one semester long.11,36,38 We think that relatively long durations are more likely to be effective than short durations because often the intervention seeks to change long-term, entrenched habits and deficiencies that may not change overnight.

검토 결과는 일반적으로 등록률, 학업성취도, 유지율 및 완성률이 향상되었음을 보여준다. 그러나, 학생들에게서 자기효능의 상실과 심화학습 표면학습 전략으로의 전환을 보여준 한 연구는 의과대학 프로그램의 전형적인 밀집된 교과 과정이 부정적인 결과의 주요 원인이라는 것을 보여준다.40

The findings of the review generally show improved enrolment, academic performance, retention and completion rates. However, one study that showed a loss of self-efficacy in students and a shift from deep- to surface-learning strategies suggests that a dense curriculum, typical of a medical degree programme, is a major reason for the negative outcome.40

부하와 같은 외부 요인에 주의를 기울이지 않고 학습 능력과 콘텐츠 지식을 다루는 것은 비효율적인 학습 전략(예: 표면 학습)을 채택하는 결과를 초래할 수 있다. 이러한 관점은 부하를 줄이거나 최소한 그것에 주의 깊게 주의를 기울이는 것이 포괄적인 전략의 일부가 되어야 한다는 생각을 support한다. 비록 1학년 학생들에게만 해당되는 것은 아니지만, 많은 학교들이 실제로 감소하는 전략을 채택하고 있다.50–53

Addressing learning skills and content knowledge without paying attention to external factors such as load may result in students adopting ineffective learning strategies (e.g. surface learning). This view lends support to the notion that reducing the load, or, at minimum, paying close attention to it, should be part of a comprehensive strategy. Although not specific to Year 1 students, a number of schools have indeed adopted a reduced-load strategy.50–53

전반적으로, 현재 검토 결과, 2000년 이전에는 출판물이 일반적으로 프로그램 보고서(n = 13)를 나타내고, 그 이후에는 주로 개입 전 설계와 통제 그룹(n = 9)을 사용한 정량적 연구를 설명하였다.

Overall, the present review shows that prior to 2000, publications generally represented programme reports (n = 13), and, thereafter, described primarily quantitative studies that used pre-and post-intervention designs and control groups (n = 9).

그러므로, 개입은 종종 학생들이 무엇을 왜 고군분투하고 있는지에 대한 경험적 이해를 통해 명확하게 알려지지 않는 것으로 보인다.

Thus, it appears that interventions are often not explicitly informed by empirical understanding of what students are struggling with and why.

1학년의 학습 서포트 프레임워크

A potential framework for Year 1 undergraduate learning support

학습 지원과 교정조치가 교직원들에게 부담을 줄 수 있지만, 5,20,54개의 실패와 예방되지 않은 학습자 부족이 학생과 기관에 커다란 재정적, 정서적 비용을 초래할 수 있다. 2,20,21년, 우리는 1년 전 지원을 제공하는 3단계 학습 지원 프레임워크를 제안한다.g 1년 후 및 1년 후(그림 2). 우리는 이 제안이 '학계 및 행동 지원의 연속체'를 위한 틀을 넓힐 것을 제안한다.55

Although learning support and remediation may place a burden on faculty staff,5,20,54 failure and unmitigated learner deficits can come at great financial and emotional costs to students and the institution,2,20 not to mention compromised patient safety.20,21 We propose a three-phase learning support framework that provides support pre-Year 1, during Year 1 and post-Year 1 (Fig. 2). We suggest that this proposal will broaden the framework for the ‘continuumof academic and behavioural support’.55

1학년 전

Pre-Year 1

의과대학은 일반적으로 학업에 매우 성공한 학생들을 인정하지만, 이러한 학생들도 훈련 중에 어려움에 직면할 수 있다. 일부 challenge가 평생 습관과 결손에 기인한다는 점을 고려하면, 학생들이 초등교육과 중등교육 중에 이러한 경향의 일부를 획득한다고 가정하는 것이 합리적이다.

Although medical schools generally admit highly academically successful students, even these students can face challenges during training. Given that some of the challenges are attributable to lifelong habits and deficits, it is reasonable to assume that students acquire some of these tendencies during their primary and secondary education.

이러한 이유로 다음과 같이 제안한다. 

(i) 사전 교육을 통해 학문적 및 비학문적 기술의 획득을 촉진해야 한다. 

(ii) 교사 연수는 교사가 이러한 기술을 제공할 수 있도록 의도적으로 준비해야 한다. 

(iii) 교육 정책 및 커리큘럼(예: 학습자 중심 교육의 촉진) 변경이 필요할 수 있다.

For this reason, we suggest that: 

(i) the acquisition of both academic and non-academic skills should be promoted throughout pre-university education; 

(ii) teacher training should intentionally equip teachers to impart these skills, and 

(iii) educational policy and curricular (e.g. promoting learner-centred teaching) changes may be required.

1학년 기간 중

During Year 1

학부 의대생들은 성인으로 전환하고, 아직 가지고 있지 않을지도 모르는 학습 능력을 요구하는 학습 환경에 진입하고, 전문적 정체성 형성을 협상하는 등 도전적인 삶의 단계에 직면해 있다. 이 시점에서 학생들은 학업 실패와 행동적 어려움을 예방하기 위해 학습 및 개인 발달 지원이 필요하며, 이러한 지원은 성공할 수 있다.255–57

Undergraduate medical students face a challenging life phase that involves transitioning into adulthood, entering a learning environment that requires learning skills they may not already possess, and negotiating professional identity formation. It is at this point of transition that students need learning and personal development support to prevent academic failure and behavioural challenges, such that they are enabled to succeed.2,55–57

1학년 의대생들이 직면한 다양한 과도기적 과제를 고려할 때, 우리는 다음과 같은 학습 지원을 제안한다. 

• (i) 모든 학생에게 지원을 제공한다(즉, 보편화). 

• (ii) 1년의 기간을 포함하며, 커리큘럼에 포함되어 있다. 

• (iii) 학습 지원과 개인 및 전문가 형성(발달적 지원)을 모두 포함한다. 

• (iv) 위험에 처한 학생들의 조기 감지를 포함하며, 그룹 및 개별 교정 조치를 제공한다. 

• (v) 출구 전략을 포함해야 한다.

Given the various transitional challenges faced by Year 1 medical students, we propose the provision of learning support that: 

• (i) provides support to all students (i.e. is universal); 

• (ii) covers the duration of Year 1 and is embedded in the curriculum; 

• (iii) includes both learning support and personal and professional formation (development support); 

• (iv) includes the early detection of at-risk students and provides for group and individual remediation, and 

• (v) includes an exit strategy.

1학년 이후

Post-Year 1

학습의 어려움은 종종 1년을 넘어 지속되고 새로운 또는 추가의 도전들이 발생할 수 있기 때문에, 지원은 첫 해 이후부터 필요하다.

Because learning challenges often persist beyond Year 1 and new or additional challenges may arise, support is required beyond the first year.

2 Sandars J, Patel R, Steele H, McAreavey M, Association for Medical Education in Europe. Developmental student support in undergraduate medical education: AMEE Guide No. 92. Med Teach 2014;36 (12):1015–26.

Med Educ. 2018 Mar;52(3):263-273. doi: 10.1111/medu.13465. Epub 2017 Oct 23.

Learning support interventions for Year 1 medical students: a review of the literature.

보건전문직교육에서 기초의학지식의 전이에 대한 비판적 네러티브 리뷰(Med Educ, 2018)

A critical narrative review of transfer of basic science knowledge in health professions education

Jean-Marie Castillo,1,2,3,4 Yoon Soo Park,3 Ilene Harris,3 Jeffrey J H Cheung,1,5 Lonika Sood,3,6,7 Maureen

D Clark,3,8 Kulamakan Kulasegaram,1,9 Ryan Brydges,1,10 Geoffrey Norman11 & Nicole Woods1,2

도입

INTRODUCTION

1910년 Flexner 보고서 이후, 기초의학이 미래 의료에서 임상 추론에 역할을 한다는 가정 하에 기초 과학 교육을 HPE에 포함시켰다. 최근의 연구는 기초 과학 지식이 임상 지식과 임상 추론의 습득에 있어 학습자와 practitioner에게 실제로 유익하다는 것을 보여주었다. 그러나, 학생들이 실제로 기본적인 과학 지식을 임상추론에 transfer할 것을 보장하는 기초 과학 교육의 특정 교수법과 평가 접근법에 대한 문헌에서 제한적인 논의가 있었다.

Since the Flexner report of 1910,1 education in the basic sciences has been included in HPE on the assumption that it plays a role in clinical reasoning during future practice.2–4 Recent investigations have shown that basic science knowledge does indeed have benefit for learners and practitioners in their acquisition of clinical knowledge and clinical reasoning.5,6 However, there has been limited discussion in the literature about the specific instructional and assessment approaches in basic science education that ensure that students will, in fact, transfer their basic science knowledge to their clinical reasoning.7

기초 과학 지식의 전이는 하나의 학습 환경에서 습득한 기초 과학 지식을 다른 맥락에서의 임상 문제 해결에 적용하는 것으로 정의할 수 있다.8 임상 추론에 대한 기초 과학 지식의 전달을 최적화하는 목표는 HPE와 문제 해결에 관한 광범위한 문헌에서 복잡한 교육과정 문제를 제시한다.8

The transfer of basic science knowledge can be defined as the application of basic science knowledge acquired in one learning context to the solving of a clinical problemin another context.8 The goal of optimising the transfer of basic science knowledge to clinical reasoning presents a complex curricular challenge in HPE and in the broader literature on problemsolving.8

임상추론에서 기초 과학의 가치는 정적static 지식 구조의 개발을 넘어선다. 오히려, 기초과학 지식은 의학적인 문제 해결을 지원하기 위한 역동적인dynamic 정신 구조의 발전의 토대가 되어야 한다.

the value of the basic sciences in clinical reasoning goes beyond the development of static knowledge structures. Rather, basic science knowledge should also serve as the foundation for the development of dynamic mental structures to support medical problemsolving.

수십 년의 연구가 학습자들에 의한 임상적 추론에 대한 기초 과학 지식의 spontaneous transfer가 특히 어렵다는 것을 보여주었다.13~15 해부학, 생화학, 유전학 등의 기초과학 각각에 대한 지식만으로는 임상 실습의 충분한 토대를 제공하지 못한다. 그러므로, 기초 과학 교육에 대한 연구는 기초 과학 훈련이 어떻게 학생들이 그들의 기본 과학 지식을 현실 세계의 문제에 적용할 수 있도록 하는지 탐구해야 한다. 그러나, HPE의 문헌은 기본적인 과학 교육 방법의 효과와 학생들이 기본적인 과학 지식을 전수하는 것을 성공적으로 도왔는지에 관한 제한된 증거를 제공한다.16

Decades of research have demonstrated that the spontaneous transfer of basic science knowledge to clinical reasoning by learners is exceptionally difficult.13–15 Taken in isolation, knowledge of the basic sciences, such as anatomy, biochemistry and genetics, does not provide a sufficient basis for clinical practice. Therefore, research in basic science education must explore how basic science training enables students to apply their basic science knowledge to real-world problems. However, the literature in HPE provides limited evidence regarding the effectiveness of basic science teaching methods and whether they have been successful in helping students transfer their basic science knowledge.16

기존 연구를 철저히 검토하지 않으면, 학생들이 기본적인 과학 지식을 임상추론으로 transfer하는 것을 지원할 수 있는 이론, 모델 또는 모범 사례를 식별하기 어렵다. 따라서, 우리는 이용 가능한 증거를 포착하기 위해 기본적인 과학적 지식을 임상 추론에 전달하는 것에 관한 문헌의 검토와 통합을 수행하였다.

Without a thorough examination of the existing work, it is difficult to identify theories, models or best practices that might support students in the transferring of basic science knowledge to clinical reasoning. Thus, we undertook to conduct a review and synthesis of the literature on the transfer of basic science knowledge to clinical reasoning to capture the available evidence.

방법

METHODS

본 연구는 문헌에서 증거를 수집하기 위해 체계적인 탐색 전략을 기반으로 한 비판적 서술적 검토다. 단일의 경험적 질문에 관련된 대답을 제공하도록 설계된 체계적인 검토 결과와 대조적으로, 우리는 기초 과학 교육 맥락에서 지식 전이의 개념을 더 잘 이해하고자 했다. 따라서, 'transfer out'/'transfer in' 개념적 프레임워크를 사용하여, 기존 문헌에서 전이가 개념화 및 평가되는지, 평가된다면 어떻게 평가되는지를 이해하기 위해 체계적으로 문헌을 검색한 결과를 분석하였다.

The present study is a critical narrative review, based on a systematic search strategy, to gather evidence from the literature. By contrast with the results of a systematic review, which is designed to provide an answer relevant to a single, empirical question, we aimed to gain a richer understanding of the concept of knowledge transfer in the context of basic science education. Therefore, we analysed the results of our systematic literature search using a ‘transfer out’/’transfer in’ conceptual framework in order to understand if and how transfer is conceptualised and evaluated in the existing literature.

외전이/내전이

Conceptual framework: ‘transfer out’/’transfer in’

분석18을 안내하는 데 사용된 'transfer out'/'transfer in' 개념체계는 교육 문헌 내에서 잘 정립되어 있으며, 의료 교육 문헌에서도 성공적으로 사용되고 있다. 이 프레임워크는 지식의 전이에서 두 가지 주요 특징을 식별한다. 즉, transfer out과 transfer in 이다

The ‘transfer out’/’transfer in’ conceptual framework used to guide the analysis18 is well established within the education literature and has also been used successfully in the medical education literature.19–21 The framework identifies two major dimensions in the transfer of knowledge: transfer out and transfer in.18

'트랜스퍼 아웃'은 학습 상황에서 개발된 지식을 새로운 문제 해결에 적용하는 것을 말한다. '트랜스퍼 아웃'은 수십 년 동안 연구의 초점이 되어왔던 전형적인 전이 개념화의 예를 보여준다. 예를 들어, 학생에게 환자가 피로, 체중 증가, 피부색 수정, 변비를 보이는 임상적 문제가 제시될 수 있다. 이 학생은 이전에 유사한 사례를 통해 갑상선 기능저하증과 관련된 증상을 배웠으며, 현재 자신의 지식을 갑상선 기능저하증 진단을 하고 새로운 임상 문제를 해결하기 위해 적용하고 있다.

‘Transfer out’ refers to the application of knowledge developed in a learning situation to the solving of a new problem. ‘Transfer out’ exemplifies the typical conceptualisation of transfer that has been a focus of research for decades.13 For example, a student may be presented with a clinical problemin which a patient presents with fatigue, weight gain, modification of skin colour and constipation. The student previously learned the symptoms associated with hypothyroidism through a similar case; he now applies his knowledge to diagnose hypothyroidism and solve the new clinical problem.

그러나 'transfer out'만으로는 새로운 문제를 해결하는 데 필요한 모든 것을 파악할 수 없다. 학습자에게 평생 동안 보건 전문가가 겪을 수 있는 무한한 문제를 모두 제공하도록 HPE 프로그램을 설계하는 것은 불가능할 것이다. 이론적으로, 전문가는 [높은 수준의 효율성을 보장고자] 또는 [제한된 활동 또는 상황을 위한 매우 구체적인 일상적 전문지식의 개발하고자] 지식의 학습과 적용에 있어 그 또는 그녀의 실행 범위를 엄격하게 제한할 수 있다.

Yet, ‘transfer out’ alone cannot capture the entirety of what is needed to solve new problems. It would be impossible to design an HPE programme that would provide learners with the infinite array of the problems a health professional might encounter during a lifelong practice. In theory, a professional could tightly limit his or her scope of practice to ensure a high level of efficiency in the learning and application of knowledge, and the development of highly specific routine expertise for a limited set of activities or situations.18,22,23

그러나, 이러한 극단적인 수준의 전문화는 대부분의 건강 직업에서는 불가능하다. 더욱 중요한 것은, 그것은 UME에서의 철학에 반하는 것이다. 결국, 효율적인 문제 해결은 지식의 직접적인 적용(transfer out)보다 더 많은 것을 요구한다. 효율성의 개발이 보건 전문가들에게 중요한 기술이지만, practitioner는 새로운 학습이 필요한 특이한 상황에 직면할 수밖에 없다.

However, this extreme level of specialisation is simply not possible in most health professions. More significantly, it runs counter to the generalist philosophy of undergraduate medical training. Ultimately, efficient problem solving requires more than the direct application of knowledge (i.e. more than ‘transfer out’). Although the development of efficiency is an important skill for any health professional, practitioners will inevitably encounter unusual situations that require new learning.18,22,23

'transfer in'은 새로운 학습을 용이하게 하기 위해 선행지식을 사용하는 것을 의미한다.18,24 기초과학교육의 맥락에서 'transfer in'은 사전 기초과학지식이 새로운 임상적 내용으로부터 학습을 용이하게 할 때 발생한다.

‘Transfer in’ refers to the use of prior knowledge to facilitate new learning.18,24 In the context of basic science education, ‘transfer in’ occurs when prior basic science knowledge facilitates learning from new clinical content.

예를 들어, 학생들은 우선 갑상선 호르몬이 혈액에 의해 몸 안에 퍼지고, 다수의 장기와 상호작용하며, 갑상선 호르몬의 부족은 다수의 장기에 영향을 미치는 여러 신진대사 경로를 느려지게 한다는 것을 배울 수 있다. 이러한 기본적인 과학 개념에 대한 지식은 학생들이 첫 번째 임상 문제나 주제에 대한 새로운 강의를 들을 때 아디슨 병(Adrenal hormone의 부족)에 대해 더 쉽게 배울 수 있게 한다.

For example, a student might first learn that thyroid hormones are spread in the body by the blood and interact with a multitude of organs, and that a lack of thyroid hormones results in a slowing down of several metabolic pathways affecting a multitude of organs. Knowledge of these basic science concepts might subsequently enable the student to more readily learn about Addison’s disease – a lack of adrenal hormones – when he is presented with his first clinical problem or a new lecture on the topic.

이 사례에서, 기본적인 과학 지식은 새로운 콘텐츠의 학습을 촉진하도록 transfer in할 수 있다. 이 렌즈를 이용하면, 미래 학습을 가장 잘 지원할 조기 학습 경험에 초점을 맞추는 것이 고품질 교육을 만드는데 결정적인 것이다. 실제로 'transfer in'에서 학습자의 성공은 궁극적으로 'transfer out'에 긍정적인 영향을 미치므로 임상 성과에 긍정적인 영향을 미칠 것이다.18,25

In this instance, the basic science knowledge could ‘transfer in’ and facilitate the learning of new content. Using this lens, a focus on early learning experiences that will best support future learning becomes critical in creating high-quality education. Indeed, a learner’s success at ‘transfer in’ will ultimately positively impact ‘transfer out’ and therefore clinical performance.18,25

비록 이것이 의학 교육 연구의 전이를 이해하는 비교적 새로운 방식이지만, '전입'은 종종 간과되는 기초 과학 교육의 잠재적인 가치를 탐구하는 유용한 방법을 제공한다.

Although it is a relatively new way of understanding transfer in medical education research, ‘transfer in’ provides a useful way of exploring the potential value of basic science education that is often overlooked.18,24

Search strategy

Data collection, data extraction and analysis

Ethics

결과

RESULTS

HPE 기본 과학 및 임상 추론 성과에 RCT 사용을 보고한 연구는 거의 없었다.

Few studies reported the use of randomised controlled trials of instruction in basic sciences in HPE and clinical reasoning outcomes

총 9803건의 연구가 확인되었고(복제 논문은 제외), 627건의 연구가 전체 텍스트 평가를 위해 검색되었으며 15건의 연구가 검토에 포함되었다(그림 1).

A total of 9803 studies were identified (after the exclusion of duplicate articles); 627 studies were retrieved for full-text evaluation and 15 were included in the review (Fig. 1).

임상 추론에 대한 기초과학 지식의 전이를 탐구한 검토에 포함된 15개 연구 중 93%가 'Transfer out'를, 7%(하나의 연구)는 'Transfer in'를 조사했다(표 1). 이러한 개입은 주로 의과대학(53%)과 특히 커리큘럼의 초기(1:40%, 2: 33%)와 생리학 과정(53%)에서 이루어졌다.

Of the 15 studies included in the review that explored the transfer of basic science knowledge to clinical reasoning, 93% explored ‘transfer out’ and 7% (one study) explored ‘transfer in’ (Table 1). The interventions took place predominantly in medical schools (53%), especially during the early years of the curriculum (Year 1: 40%; Year 2: 33%), and in physiology courses (53%) (Table 2).

기초과학의 교육은 'TO와 TI'에 대한 임상추론에 긍정적인 영향을 끼쳤다.

Instruction in the basic sciences positively impacted clinical reasoning for ‘transfer out’ and ‘transfer in’

검토한 논문에서, 기초과학 지식은 'transfer out'을 위한 임상 추론에 긍정적인 영향을 미쳤다. 이러한 연구는 기초과학 지식이 몇 가지 임상추론 과제에서 성과를 향상시켰다고 제안했다. 이러한 과제에는 

• 임상 기능에 잠재적으로 책임이 있는 메커니즘에 대한 설명;26 

• 환자 정보 및 후속 조치를 포함한 치료 계획의 결정, 27 

• 보다 광범위한 임상 문제 해결이 포함되었다.28–31 

In the reviewed papers, basic science knowledge positively impacted clinical reasoning for ‘transfer out’. These studies suggested that basic science knowledge enhanced performance in several clinical reasoning tasks. These tasks included: 

• the explanation of the mechanisms potentially responsible for clinical features;26 

• the determination of a therapeutic plan including patient information and follow-up,27 

• and, more broadly, clinical problem solving.28–31 

효과적인 교육 전략에는 

• 기초 및 임상 과학의 커리큘럼 통합, 

• 개념 지도의 사용, 

• 임상 사례의 분석, 

• 3차원 가상 현실의 사용이 포함되었다.

특정 매체 대 다른 매체의 사용은 'transfer out'을 강화하지 않았다(예: 현미경 vs 이미지, CD vs 강의33).

Effective teaching strategies included 

• the curricular integration of basic and clinical sciences,28 use of concept maps,26,31 

• analysis of clinical cases,27,29 and 

• use of three-dimensional virtual reality.30 

The use of a specific medium versus another did not enhance ‘transfer out’ (e.g. light microscopy versus projected images,32 or CD versus lecture33).

세심한 통제가 이루어진 소수의 연구는 기본적인 과학 지식에 의해 뒷받침되는 임상 추리 과제를 확인하고 어떻게 'transfer out'를 조성할 것인가에 대한 추론을 이끌어냈다. 첫째, 임상 기능의 기본적인 설명 메커니즘(즉, 기초 과학 지침)을 가르치는 것은 초보 진단 전문가에서 시간의 경과에 따른 진단 정확성의 유지를 지원했다.

A small number of carefully controlled studies identified clinical reasoning tasks supported by basic science knowledge and drew inferences about how to foster ‘transfer out’. First, teaching the underlying explanatory mechanisms (i.e. basic science instruction) of clinical features supported the maintenance of diagnostic accuracy over time in novice diagnosticians.

이러한 긍정적인 결과는 conceptual coherence theory에 비추어 이러한 연구의 저자들에 의해 설명되었다.38 개념적 일관성 이론CCT은 근본적인 인과 메커니즘에 대해 학습하는 것이 문제의 임상적 특성에 대한 일관성 있는 정신적 표현을 제공하고, 따라서 각 진단 범주의 특성을 이해함으로써 장기 기억력과 전달을 향상시킨다고 주장한다.38

These positive results were explained by the authors of these studies in the light of conceptual coherence theory.38 Conceptual coherence theory posits that learning about the underlying causal mechanisms provides students with a coherent mental representation of the clinical features of problems, and thus enhances long-term memory and transfer by making sense of the features of each diagnostic category.38

기초과학 지식을 analogies와 함께 가르치는 것은 임상 추론에 긍정적인 영향을 주었다. 특히, 기본적인 과학 지식의 예를 가르치는 상식적인 analogies가 'transfer out'을 뒷받침했다.39 임상 문제에 대한 설명을 필요로 하는 즉각적인 시험에서, analogy를 활용하여 가르친 경우에 그렇지 않은 경우보다 더 좋은 성과를 보였다.

Teaching basic science knowledge with analogies demonstrated a positive effect on clinical reasoning. Particularly, commonsense analogies as teaching examples of basic science knowledge supported ‘transfer out’.39 Students taught basic science knowledge with an analogy outperformed students taught basic science knowledge alone without analogies on immediate tests that required explanations of clinical problems.

여러 가지 관련 임상 문제를 연습하면서 기초 과학 지식을 가르치는 것도 이후에 'transfer out'를 촉진하였다.40 다양한 임상적 또는 전공별 맥락을 포함하여, 학생들이 기초 과학을 배우고 문제해결을 연습했을 때 임상 추론이 개선되었다. 임상추론 개선은 유사한 사례와 새로운 사례 모두에서 관찰되었다.

Teaching basic science knowledge with the practice of multiple related clinical problems promoted subsequent ‘transfer out’.40 The explanation of clinical reasoning was improved when students learned basic science and practised solving problems, including in varied clinical or disciplinary contexts. This improvement in clinical reasoning was observed for both similar and new cases.

단일한 생의학 개념을 설명하는 문제와 다수의 생의학 개념을 언급한 문제 모두에서 효과가 관찰되었기 때문에, 문제 맥락에서의 variability은 임상 추론을 강화하는 가장 중요한 요소로 식별되었다.40

The variability in the contexts of problems was identified as the most important element to enhance clinical reasoning as its effect was observed in both problems that illustrated a single biomedical concept and those that referred to multiple biomedical concepts.40

다양한 맥락에서 복수의 문제를 연습하는 가치는 문제의 심층적인 개념적 생의학적 구조를 식별하고 후속 transfer를 지원하는 데 도움이 될 수 있다.

The value of practice with multiple problems in a multitude of contexts may have helped in the identifying of the deep conceptual biomedical structure of the problems, and subsequently supported transfer.

한 연구에서는 'transfer in'에 대한 기초 과학 지식의 가치를 탐구하는 것으로 확인되었다. 이 연구는 새로운 관련 콘텐츠(미래 학습을 위한 준비)의 후속 학습을 촉진하는지 여부를 탐구함으로써 임상 기능의 기본 과학 인과 메커니즘 학습의 가치를 입증했다.20

A single study was identified as exploring the value of basic science knowledge for ‘transfer in’. This study demonstrated the value of learning basic science causal mechanisms of clinical features by exploring whether they facilitate the subsequent learning of new related content (preparation for future learning).20

기존 평가는 임상적 추론에 대한 기초과학 지식의 가치를 파악하기에는 민감성이 부족할 수 있다.

Traditional assessments may lack the sensitivity to capture the value of basic science knowledge in transfer to clinical reasoning

비록 특별히 평가 전략을 비교한 연구는 없지만, 우리의 분석은 또한 전통적인 평가가 임상 추론에 대한 기본적인 과학 지식의 가치를 획득하기에 충분한 민감성이 부족할 수 있다는 것을 암시한다. 단순 암기 시험의 성능에서 어떤 편익도 관찰되지 않았지만, 임상 추론의 평가에서는 차이가 입증되었다.34–37,40 저자들이 단지 사실적 리콜에만 집중했다면, 기초 과학 훈련의 어떠한 장점도 포착되지 않았을 것이다.

Although no study specifically compared assessment strategies, our analysis also suggests that traditional assessments may lack sufficient sensitivity to capture the value of basic science knowledge in transfer to clinical reasoning. No benefit was observed in performance on rote memory tests, whereas differences were demonstrated in assessments of clinical reasoning.34–37,40 If the study authors had focused solely on factual recall, no advantages of basic science training would have been captured.

고찰

DISCUSSION

우리의 결과는 기초과학지식의 임상적 추론에 대한 transfer을 평가하기 위한 연구가 거의 없다는 것을 보여준다. 이것에 대한 몇 가지 가능한 이유가 있다. 

• 첫째, 심리학적 개념으로서 transfer는 교육자와 연구자가 일반적으로 고려하는 lens가 아닐 수 있다. 연구자들은 기초과학 지식이 미래의 임상 실습에 중요하다는 것에 동의할 수 있지만, transfer에 초점을 맞추는 것이 바람직한지에 대해서는 덜 명백할 수 있다. 

• 둘째로, 기초 과학 교육(예: 과학적 추리, 연구 능력, 전문적 정체성 개발)과 관련된 목표의 다양성으로 인해 궁극적으로 교수진과 학생 모두에게 임상 추론과 실천에 대한 준비로부터 멀어지게 할 수 있다. 

• 셋째, 기초과학지식의 임상적 추론에 대한 전이를 가르치고 평가하기 위해서는, 교육자들은 실천과 관련된 것이 무엇인지 알아야 한다. 그러나 모든 기초과학 교육자가 임상적 관련성을 이해하는 것은 아니다. 

• 마지막으로, 기본 및 임상 과학의 통합에 대한 강조는 [전이]보다 [임상추론]으로 우리의 관심을 이동시켰을 수 있다.16 기본 및 임상 과학의 통합은 학습 목표일 뿐만 아니라 커리큘럼 전략이다.41 교육전략과 교육성과 간의 차이가 명확하지 않을 경우, transfer와 관련한 초점이 저하될 수 있다. 

Our results indicate that there are few studies designed to evaluate the transfer of basic science knowledge to clinical reasoning. There are several possible reasons for this. 

• Firstly, transfer – as a psychological concept – may not be a lens through which education is typically considered by educators and researchers. Although investigators may agree that basic science knowledge is important for future clinical practice, they may be less explicit on whether a focus on transfer is desirable. 

• Secondly, the multiplicity of objectives associated with basic science education (e.g. the development of scientific reasoning, research abilities, professional identity) might ultimately distract both faculty staff and students from preparation for clinical reasoning and practice. 

• Thirdly, in order to teach and assess the transfer of basic science knowledge to clinical reasoning, educators must know what is relevant for practice. However, not every basic science educator will understand clinical relevance. 

• Lastly, the emphasis on the integration of the basic and clinical sciences may have shifted our attention away from the critical dimension of transfer to clinical reasoning.16 Integration of the basic and clinical sciences is a curricular strategy, as well as a learning goal.41 If the difference between the instructional strategy and the educational outcome is not made clear, the focus on transfer may suffer. 

사례로서 기초과학 지식을 흔한 analogy와 함께 가르치거나, 다수의 임상 문제를 연습해보는 것이 'transfer out'을 지원하였다. 이것은 중요한데, 임상추론에 기초과학적 개념을 사용하기 위해서는, 학생들은 먼저 문제를 그 문제와 관련있는 개념으로 정확하게 분류할 수 있어야 하기 때문이다. [문제]와 [학습한 기초과학 개념] 사이의 유사성은 '깊은(개념적) 구조적 수준'에서 식별되어야 한다'8 (예를 들어, 유체 역학의 층류 흐름은 심혈관과 호흡 시스템 모두에서 식별될 수 있다39).

Teaching basic science knowledge with commonsense analogies as teaching examples,39 or with the practice of multiple related clinical problems supported ‘transfer out’.40 These studies shared a common characteristic: they emphasised the deep conceptual structure of basic science knowledge to support transfer. This is critical because, to use a basic science concept in clinical reasoning, the trainee must first accurately categorise the problem as one that is appropriate to this concept. The similarity between the problem and the known basic science concept ‘must be identified at the level of the deep (conceptual) structure’8 (e.g. laminar–turbulent flow in fluid dynamics can be identified in both the cardiovascular and the respiratory systems39).

교육적인 도전은 일반적으로 초보자들이 문제를 표면적 구조를 기반으로 식별하기 때문에 발생한다. 반면에 전문가들은 문제를 underlying principle로 본다. 8,42 새로운 문제에 직면했을 때, 초심자는 맥락과 표면 수준에서 주어진 단서들을 바탕으로 그것을 자신의 mental representation과 비교할 가능성이 더 높다. 문제의 표면적 representation은 misleading할 수 있고, 올바른 기본 과학 개념의 식별을 방해할 수 있다.39 예를 들어, 물리학 문제에 직면했을 때 전문가들은 모멘텀의 보존을 확인했지만, 초심자는 경사진 평면과 같은 맥락적 세부 사항에 집중했다.43

The educational challenge arises because novices typically identify problems based on surface structures, whereas experts ‘see the problem as an underlying principle’.8,42 When encountering a new problem, a novice is more likely to compare it with his or her mental representation based on contextual and surface-level cues. The surface representation of the problem can be misleading and can hamper the identification of the correct basic science concept.39 For example, faced with physics problems, experts identified conservation of the momentum, whereas novices focused on contextual details, such as an inclined plane.43

실천을 위한 함의

Implications for practice

기초과학에서 교육 관행을 개선하려면 다면적인 접근이 필요하다. 교수개발은 이전 개념에 대한 이해를 높이고 우리가 확인한 교육 전략을 보급하는 데 필수적이다. 실제로, 기본 과학 지식을 임상 실습으로 전이하는 것을 강화하는 것을 목표로 한다면 개인 교사의 역할이 성공에 필수적이다.5,6,44,45

Improving educational practice in the basic sciences requires a multifaceted approach. Faculty development is essential to improve understanding of the concept of transfer and to disseminate the instructional strategies we have identified. Indeed, the role of individual teachers is critical to the success of interventions aimed at enhancing the transfer of basic science knowledge to clinical practice.5,6,44,45

기초 및 임상 과학 교사 간의 긴밀한 협력은 

• 기초 과학 교육의 목적을 명확히 결정하고(예: 임상 추리 또는 과학적 추론의 개발로 전이), 

• 의미 있는 기초과학 지식이 무엇인지 식별하며,

• 영향impact을 포착할 수 있는 평가를 deliberate하게 생성하여, 전이를 평가하기 위한 임상 추론의 관련 dimension을 선택하게 해준다

Close collaboration between basic and clinical science teachers is foundational 

• to the clear determination of the objectives of basic science education (e.g. transfer to clinical reasoning or development of scientific reasoning), 

• to the identifying of meaningful practical basic science knowledge, and 

• to the selection of relevant dimensions of clinical reasoning to assess transfer through the deliberate creation of assessments that can capture impact.

또한 커리큘럼 리더는 이러한 관행을 육성하는 데 필요한 커리큘럼 구조를 만들고 이러한 협업을 육성하고 보상하는 데 필요한 기관 지원과 자원을 확보하는 것이 필수적이다.45

Further, it is essential that curriculum leaders create the curricular structures needed to nurture these practices and ensure the institutional support and resources required to foster and reward this collaboration.45

연구를 위한 함의

Implications for research

이를 위해, 'transfer out'/'transfer in' 개념적 프레임워크18은 향후 연구를 위한 중요한 지침을 제공할 수 있다. 이 프레임워크는 우리가 현재 조사하지 않는 문제를 조사하기 위해, 전통적인 transfer out의 차원을 넘어 확장된다: , 즉, 기초과학 지식이 미래의 임상 콘텐츠의 학습과 임상 추론의 개발에 어떻게 영향을 미칠 수 있는지

To this end, the ‘transfer out’/’transfer in’ conceptual framework18 may present an important guide for future research. This framework extends beyond the traditional dimension of ‘transfer out’ to examine the issues we currently do not investigate, namely: how basic science knowledge may impact the future learning of clinical content and the development of clinical reasoning.

Med Educ. 2018 Jun;52(6):592-604. doi: 10.1111/medu.13519. Epub 2018 Feb 8.

A critical narrative review of transfer of basic science knowledge in health professions education.

보건의료인교육에서 시험-강화 학습: 체계적 문헌고찰(BEME Guide No. 48) (Med Teach, 2018)

Test-enhanced learning in health professions education: A systematic review: BEME Guide No. 48

Michael L. Greena, Jeremy J. Moellerb and Judy M. Spakc

도입

Introduction

교육자들은 보통 "학습의" 평가를 생각한다. 학과 과정이 끝날 때, 학생들은 공부를 통해 이전에 배웠던 정보를 기억한다. 최근 교육자들은 평가를 교육적 전략으로 고려하는 "학습을 위한" 평가로 눈을 돌렸다(슈퍼스와 반 데어 벨루텐 2011). 평가는 학생들의 학습 행동을 유도하여 간접적으로 학습을 강화한다(리허설 효과)(Fitch et al. 1951; Newble and Jaeger 1983)

Educators commonly think of assessment “of” learning. At the end of a course of study, students recall information previously learned through studying. Recently, educators have turned their attention to assessment “for” learning (Schuwirth and Van der Vleuten 2011), considering assessment as a pedagogical strategy in and of itself. Looming assessments indirectly enhance learning by driving students’ study behaviors (rehearsal effect) (Fitch et al. 1951; Newble and Jaeger 1983).

평가는 또한 직접적으로 학습을 향상시킨다. 인지 심리학 실험실(Roediger and Butler 2011; Karpicke and Gimaldi 2012), 교실(Roediger et al. 2011; Agarwal et al. 2012)에 대한 연구는 이전에 학습한 정보(Retural practice)를 상기하면 미래에 정보를 기억하는 능력이 향상된다는 것을 일관되게 입증한다. 정보를 기억하기 위해 노력하며 신중한 시도를 하는 학생들은 같은 자료를 반복적으로 공부하는 학생들보다 더 나은 학습, 보존 및 이전을 보여준다. 이 효과는 시험의 맥락 안에서 검색 관행이 발생할 때 "시험 강화 학습(TEL)"으로 알려져 있다.

Assessment also directly enhances learning. Studies in cognitive psychology laboratories (Roediger and Butler 2011; Karpicke and Grimaldi 2012) and classrooms (Roediger et al. 2011; Agarwal et al. 2012) consistently demonstrate that recalling previously learned information (retrieval practice) enhances the ability to recall the information in the future (retrieval effect). Students who engage in effortful, deliberate attempts to recall information show better learning, retention, and transfer than students who spend the same time repeatedly studying the same material. This effect is also known as “test-enhanced learning (TEL)” when the retrieval practice occurs in the context of a test.

• 몇 가지 시험 형식은 검색 효과를 향상시킨다. 반복된 테스트는 긴 단일 테스트보다 더 나은 리콜을 촉진한다(Wheeler and Roediger 1992; Karpicke and Roediger 2008). 

• 시간 간격에 따른 간격 테스트로 연속 연속 테스트(Landauer and Bjork 1978); Cepha et al. 2006; Karpicke and Roediger 2007)에 비해 더 나은 회수 결과가 나타난다. 이러한 효과는 1분에서 30일까지 간격마다 지속된다. 

• Spacing간격이 같으면 간격이 확대되는 것보다 장기 보존이 더 효과적이다. 

• 정보의 생산을 요구하는 항목(짧은 답변, 에세이)은 정보의 인식을 요구하는 항목(다중 선택, 참/거짓)보다 더 나은 성과를 낸다. (McDaniel, Anderson 등, 2007; McDaniel, Roediger 등, 2007; Pyc 및 Rawson 2009) 

• 피드백을 받은 학생들은 더 많은 정보를 상기하고 강화된 메타 인식 인식을 즐긴다(Bangert-Drowns et al. 1991; Butler et al. 2008).

• Several test formats enhance the retrieval effect. Repeated testing promotes better recall than a long single test (Wheeler and Roediger 1992; Karpicke and Roediger 2008). 

• Spacing tests over time intervals results in better recall compared with back-to-back consecutive testing ( Landauer and Bjork 1978; Cepeda et al. 2006; Karpicke and Roediger 2007). These effects persists at spacing intervals from one minute to 30days. 

• Equal spacing intervals produce better long-term retention than expanding intervals. 

• Items that require production of information (short answer, essay) perform better then items that require recognition of information (multiple choice, true/false). (McDaniel, Anderson, et al. 2007; McDaniel, Roediger, et al. 2007; Pyc and Rawson 2009) 

• Students who receive feedback recall more information and enjoy enhanced metacognitive awareness (Bangert-Drowns et al. 1991; Butler et al. 2008).

이러한 발견들은 학습자들에게 시사하는 바가 있다. 대학생들은 대부분 재독을 학습 전략으로 사용하고 검색 실습을 거의 하지 않기 때문에 검색 효과에 대한 인식이 부족한 것으로 보인다(Karpicke et al. 2009).

These findings have implications for learners. College undergraduates appear to lack an awareness of the retrieval effect as they most commonly employ rereading as a learning strategy and very rarely engage in retrieval practice (Karpicke et al. 2009).

보다 최근에는, 조사관들이 건강직업 교육에 있어서 회복 효과를 입증했다.

More recently, investigators have demonstrated the retrieval effect in health professions education.

TEL의 표준화된 효과 크기는 0.9로 추정되어 실질적인 중요성이 크다(Kreiter et al. 2013).

The standardized effect size of TEL has been estimated at 0.9, indicating large practical importance (Kreiter et al. 2013).

방법

Methods

리뷰 문제

Review questions

우리의 체계적 검토는 질문을 다루었다: 학생이나 공급자(과목)에서, 동일한 자료(비교)를 공부하는 것에 비해 TEL (인터벤션)은 학습, 유지 또는 이전을 증가시키고, 효과의 크기는 어떻게 되는가? 몇 가지 부수적인 질문이 보충 부록 1에 열거되어 있다. 우리는 또한 TEL의 추가 연구를 위한 지역들을 조명했다. 이 mapping review에서는 TEL 문헌의 격차와 방법론적인 단점을 식별하기 위해 노력했다(부록 1 참조).

Our systematic review addressed the question: In health professions students or providers (Subjects), does TEL (Intervention) compared to studying the same material (Comparison) increase learning, retention, or transfer, and what is the magnitude of the effect (Outcome)? Several subsidiary questions are listed in Supplementary Appendix 1. We also illuminated areas for further study in TEL. In this mapping review, we sought to identify gaps and methodologic shortcomings in the TEL literature (Supplementary Appendix 1)

Search strategy

Screening and selection of studies

Inclusion and exclusion criteria

Data extraction and coding

To allow comparison of effects among heterogeneous studies, we determined the effect size (Hojat and Xu 2004; Leppink et al. 2016) if the study provided the requisite data. The effect size for comparing means is determined as the standardized mean difference (SMD). 

For comparing an intervention group to a control group: 

SMD=(meancases- meancontrols)/SDcontrols. 

For comparing two interventions: 

SMD=(meancases - meancontrols)/SDpooled. 

As a measure of the impact of an intervention, the SMD is operationally interpreted as:

• SMD = 0.20 (SMALL, negligible practical importance)

• SMD = 0.50 (MEDIUM, moderate practical importance)

• SMD = 0.80 (LARGE, crucial practical importance)

Assessment of study methodological quality

Reproducibility of data abstraction processes

Results

Reproducibility analyzes

Study retrieval, screening, and inclusion

Figure 1 shows the flow diagram of study screening and eligibility.

The characteristics of the 19 studies (including two PhD theses) appear in Table 1 (study design), Table 2 (demographics, control, and TEL interventions), and Table 3 (outcome measures and results).

연구 특성

Study characteristics (study design)

The design and conduct of the studies, all randomized controlled trials (RCTs), were generally methodologically sound (Table 1).

연구 특성

Study characteristics (demographics, control, and TEL interventions)

이 과목에는 의대생(8개 연구), 간호학생(3개), 연합 보건대학원(2개), 주민(3개), CME 프로그램 내 의사(2개), 치과 및 치과위생과 학생(1개)이 포함되었다. TEL 개입에는 짧은 응답 질문(SAQ), 다중 선택 질문(MCQ), 시뮬레이션(심폐소생술), 표준화된 환자 및 핵심 기능 질문(임상적 추론)이 포함되었다. Key feature은 수험자가 오류를 범할 가능성이 높은 실제 문제의 식별 및 해결 과정에서 어려운 단계를 나타낸다. Key feature은 짧은 응답 형식의 사례 기반 질문에 포함되어 있다(Page et al. 1995; Hrynchak et al. 2014). 짧은 답변 항목은 큐(질문에 대한 응답)와 논큐(관련 정보의 free 리콜)으로 구분되었다.

Subjects included medical students (8 studies), nursing students (3), allied health students (2), residents (3), physicians in CME programs (2), and dental and dental hygiene students (1) (Table 2). TEL interventions included short answer questions (SAQs), multiple choice questions (MCQs), simulation (cardiopulmonary resuscitation), standardized patients, and key features questions (clinical reasoning). A key feature represents a difficult step in the identification and resolution of a problem in practice in which examinees are likely to make errors. Key features are embedded in casebased questions with short answer response formats (Page et al. 1995; Hrynchak et al. 2014). The short answer items were both cued (response to a question) and non-cued (free recall of relevant information).

복수 TEL 시험을 치른 12개 연구 중, 7개 연구는 반복 시험에 동일한 항목(라센, 버틀러, 로이디거 2013; 오글스비, 2013; 돕슨 외 2015; 맥코넬 외 2015b)을 포함했고, 동일한 주제에 대해 서로 다른 항목을 포함했다(리틀과 2014년 4개 포함).새로운 강의나 e-러닝 세션에 연결된 다양한 주제에 대한 다양한 항목(Schmidmaier et al. 2011; Cook et al. 2014; Messineo et al. 2015; Raupach et al. 2016). 

이러한 모든 연구는 연속 TEL 시험을 채택한 한 연구(Dobson 등 2015)를 제외하고 1주-2주 간격으로 반복 TEL 시험을 간격 설정했다. 공동 개입에는 평가 항목에 대한 피드백(이론적 또는 근거 없는 올바른 답변)과 자체 설명이 포함됐다. 후자의 경우, 학생들은 정보의 특정 부분이 중요한 이유와 그것이 기존의 지식과 어떻게 관련되어 있는지에 대한 설명을 생성했다(Chamberland et al. 2015).

Among the 12 studies in which students took multiple TEL tests, seven included identical items on repeated tests (Larsen, Butler, Lawson, et al. 2013; Larsen, Butler, Roediger 2013; Oglesby, 2013; Dobson et al. 2015; Larsen et al. 2015; McConnell et al. 2015b), one included different items on the same topics (Ali and Ruit 2014), and four included different items on different topics (Schmidmaier et al. 2011; Cook et al. 2014; Messineo et al. 2015; Raupach et al. 2016), linked to a new lecture or e-learning session. All of these studies spaced repeated TEL tests at 1–2week intervals, with the exception of one study (Dobson et al. 2015) that employed consecutive TEL testing. Co-interventions included feedback for assessment items (correct answers with or without rationale) and self-explanation. For the latter, students generated explanations about why a particular piece of information is important and how it relates to their existing knowledge (Chamberland et al. 2015).

성과 척도와 결과

Outcome measures and results

19개 연구는 검사(MCQ, SAQ, 에세이, 핵심 기능 질문), 방사선 해석, 시뮬레이션(심장 체포 시나리오), 표준화된 환자 평가(표3)를 포함한 49가지 학습 성과를 보고했다.

The 19 studies reported 49 learning outcomes, including examinations (MCQs, SAQs, essay, key features questions), radiograph interpretation, simulation (cardiac arrest scenario), and standardized patient assessment (Table 3).

6가지 즉각적인 학습 성과 중 5개는 학습보다 TEL을 선호했다(SMD 0.09–0.44). 2

3개의 retention 성과(1주–6개월) 중 21개는 학습보다 TEL을 선호했다(SMD 0.10–2.5).

Among the six immediate learning outcomes, five favored TEL over studying (SMD 0.09–0.44). 

Among the 23 retention outcomes (1week–6months), 21 favored TEL over studying (SMD 0.10–2.5).

세 가지 연구는 transfer에 대한 TEL의 영향을 입증했다. 이 연구의 모든 7가지 전달 결과는 연구보다 TEL을 선호했다. (SMD 0.33–1.1) 시간 경과에 따라 반복적으로 결과를 측정한 모든 연구는 TEL 효과의 붕괴를 발견했다.

Three studies demonstrated the impact of TEL on transfer: All seven transfer outcomes in these studies favored TEL over studying (SMD 0.33–1.1). All of the studies that repeatedly measured outcomes over time found a decay in the TEL effect.

15개의 결과가 서로 다른 TEL 전략을 비교했다. 테스트의 수를 변화시킨 유일한 연구는 1개에 대한 세 가지 TEL 테스트의 장점을 보여주지 못했다(Ali and Ruit 2014). 한 연구는 TEL 테스트당 질문 수를 변화시켰다. 학습 결과 점수는 매우 좁은 범위에서 증가했지만 질문 수가 1에서 5에서 10으로 증가했고 그 이상을 능가하는 이점이 없었다(Cook et al. 2014). SAQ 테스트는 두 가지 연구에서 네 가지 결과(SMD 0.86 및 1.1)에서 MCQ 테스트보다 더 나은 학습 결과를 낳았다(Ali and Ruit 2014; McConnell et al. 2015b). "Context rich" MCQ(지식의 적용 필요)가 "context free" MCQ(사실 인정 필요)보다 더 잘 수행되었다(McConnell et al. 2015b). 표준화된 환자의 TEL을 가진 학생은 SAQs TEL을 가진 학생보다 표준 환자 결과 테스트(SMD 0.71)에서 더 많이 보유했지만, 필기 시험 결과 테스트(Larsen 2013a)에서는 그렇지 않았다. co-intervention으로서 자기설명은 의대생들의 시험을 강화한 것보다 공부를 훨씬 더 향상시켰다.

Fifteen outcomes compared different TEL strategies. The only study that varied the number of tests failed to show an advantage of three TEL tests over one (Ali and Ruit 2014). One study varied the number of questions per TEL test. The learning outcome scores increased, albeit within a very narrow margin, as the number of questions progressed from 1 to 5 to 10 questions, with no further advantage beyond that (Cook et al. 2014). SAQ tests resulted in better learning than MCQ tests in four outcomes in two studies (SMDs 0.86 and 1.1) (Ali and Ruit 2014; McConnell et al. 2015b). “Context rich” MCQs (requiring application of knowledge) performed better than “context free” MCQs (requiring recognition of facts) (McConnell et al. 2015b). Students with standardized patients TEL retained more than students with SAQs TEL on a standardized patient outcome test (SMD 0.71) but not on a written examination outcome test (Larsen 2013a) Self-explanation as a co-intervention enhanced studying (SMD 0.68) to a greater degree than it enhanced testing (SMD 0.28) in medical students (Larsen et al. 2013b).

고찰

Discussion

인지심리학에 관한 연구는 이전에 학습된 정보(retrieval 실습)를 상기하면 미래에 (retrieval 효과 또는 시험강화학습) 정보를 상기할 수 있는 능력이 향상된다는 것을 일관되게 입증한다. 정보를 기억하기 위해 노력하며 신중한 시도를 하는 학생들은 같은 내용을 공부하는데 같은 시간을 보내는 학생들보다 더 나은 학습, 보존 및 이전을 보여준다.

Studies in cognitive psychology consistently demonstrate that recalling previously learned information (retrieval practice) enhances the ability to recall the information in the future (retrieval effect or test-enhanced learning). Students who engage in effortful, deliberate attempts to recall information show better learning, retention, and transfer than students who spend the same time studying the same material.

이 중에서, 단지 19개만이 TEL을 동일한 자료를 학습하거나 서로 다른 TEL 전략과 비교했다. 이러한 연구에서 TEL은 다양한 건강 직업, 학습자 수준, TEL 형식 및 학습 결과에 걸쳐 일관되고 강력한 효과를 보여주었다.

Of these, only 19 compared TEL to studying the same material or to an alternate TEL strategy. TEL, in these studies, demonstrated consistent and robust effects across different health professions, learner levels, TEL formats, and learning outcomes.

19개 연구의 설계와 수행은 모두 무작위 통제 시험이었고, 비교적 높은 품질 점수에서 지적한 바와 같이 일반적으로 양호했다.

The design and conduct of the 19 studies, all randomized controlled trials, was generally sound, as indicated by relatively high quality scores.

TEL은 인지학 및 교육학자에 의해 광범위하게 연구되어 왔다. 실험실 환경 및 1차, 2차, 2차 및 2차 교실에서의 검색 실행을 위한 효과 크기는 0.5로 추정되었다. 우리의 리뷰는 보건전문가들이 이러한 발견들을 내부화하고 TEL 연구에서 확장했다는 것을 보여주었다. 첫째, 두 연구는 모두 복수의 학습자, 설정 및 TEL 형식에 걸쳐 TEL의 일관성 있고 강력한 효과를 발견한다. 인지 심리학 연구는 TEL 개입과 학습 결과를 어떤 유형의 "검사"로 제한했지만, 보건 직업 교육 연구는 방사선 해석, 심폐소생술 시뮬레이션, 표준화된 환자 외 사고 및 임상 추론과 같은 광범위한 임상 평가를 포함했다.

TEL has been extensively studied by cognitive and educational pychologists ( Roediger and Butler 2011; Brame and Biel 2015; Eisenkraemer et al. 2013). The effect size for retrieval practice in laboratory settings and primary, secondary, and post-secondary classrooms has been estimated to be 0.5 (Rowland 2014; Adesope et al. 2017) Our review revealed that health professions educators internalized and extended these findings in their TEL research. Firstly, both literatures find consistent and robust effects of TEL across multiple learners, settings, and TEL formats. While the cognitive psychology studies confined TEL interventions and learning outcomes to “examinations” of some type, health professions education studies included a wider array of clinical assessments, such as radiograph interpretation (Baghdady et al. 2014), cardiopulmonary resuscitation simulation (Kromann et al. 2009, 2010), standardized patient et encounters (Larsen al. 2013a), and clinical reasoning (Raupach et al. 2016).

인지 심리학 실험은 반복된 TEL 테스트가 단지 하나의 시험보다 더 효과적이라는 것을 보여준다. 또한 시간 경과에 따른 시험 간격은 연속 시험보다 우수하다. 우리 7개 건강직업연구의 학생들은 단 1개의 TEL 시험을 치렀고, 나머지는 1주-2주 간격으로 2-8개의 TEL 시험을 보았다. 반복실험(3주)을 단일시험과 비교한 건강전문가들만이 반복실험의 장점을 발견하지 못했다(Ali and Ruit 2014). 이 예상치 못한 결과는 데이터의 극단적인 콘텐츠 특수성에 의해 설명될 수 있다.

Cognitive psychology experiments demonstrate that repeated TEL tests are more effective than just one (Wheeler and Roediger 1992; Roediger and Karpicke 2006; Karpicke and Roediger 2008). In addition, spacing the tests over time is superior to consecutive testing ( Landauer and Bjork 1978; Cepeda et al. 2006; Karpicke and Roediger 2007). Students in seven of our health professions studies took one only one TEL test, while the remainder took 2–8 TEL tests at 1–2 week intervals. The only health professions study that compared repeated testing (3 weekly) with a single test did not reveal an advantage to repeated testing (Ali and Ruit 2014). This unexpected finding might be explained by the extreme content specificity in the data.

인지심리학 연구에서 정보생성이 필요한 항목은 정보인식이 필요한 항목보다 더 잘 수행된다(McDaniel, Anderson 등). Roediger, 2007; McDaniel, et al. 2007; Pyc and Rawson 2009). 이 효과는 "원하는 어려움"이라고 불렸다. 우리의 리뷰는 보건 직업 교육에서 이러한 발견을 확인하였고, 다중 선택 질문보다 짧은 답변 질문의 이점을 보여주었으며, 문맥이 풍부한 다중 선택 질문(지식의 적용이 필요한 질문)의 이점을 입증하였다.

In cognitive psychology studies, items requiring production of information perform better than items requiring recognition of information (McDaniel, Anderson, et al. Roediger, 2007; McDaniel, et al. 2007; Pyc and Rawson 2009). This effect has been called “desirable difficulty.” Our review confirmed this finding in health professions education, demonstrating an advantage of short answer questions over multiple choice questions, and an advantage of context rich multiple choice questions (which require application of knowledge) over context free multiple choice questions.

검색 시도 후 피드백은 시험의 니모닉 효과를 증가시킨다(Bangert-Drowns et al. 1991). 여기에는 학생이 오답을 검색하고 "학습"하는 것을 방지하기 위해 (단순히 맞고 틀린 것이 아니라) 정답을 포함해야 한다(Butler 등, 2007; Butler 및 Roediger 2008). 이는 학생들이 distractor 옵션에서 잘못된 정보에 "노출"되기 때문에 인식 항목에 특히 중요하다. 또한 피드백은 답은 맞췄지만 자신감은 낮았던 응답의 retention을 강화한다(Butler et al. 2008).

Feedback after a retrieval attempt increases the mnemonic effect of testing (Bangert-Drowns et al. 1991). It should include the correct answer (not merely right or wrong) the student from to prevent retrieving and “learning” an incorrect response (Butler et al. 2007; Butler and Roediger 2008). This is particularly important for recognition items because the students are “exposed” to incorrect information in the distractor options (Butler et al. 2006). Feedback also enhances the retention of correct but low confidence responses (Butler et al. 2008).

심리학자들은 회수 효과를 설명하기 위해 몇 가지 이론을 제시했다. 메모리는 다음과 같은 두 가지 차원을 가질 수 있다. 저장storage 강도 및 검색retrieval 강도, Deficit processing theory에 따르면, 초기 학습 동안 이 두 가지는 서로 부정적인 상관관계가 있다. 검색의 어려움(검색 강도가 낮아짐)은 저장 강도의 상승을 가져온다. 정보를 기억하는 것은 그것을 읽거나 인식하는 것보다 더 어렵다. 이는 또한 간격 효과를 설명할 수 있다. 간격 효과는 연속 시험 시 정보를 상기하는 것보다 intervening time gap을 사용하여 정보를 반복적으로 호출하는 것이 더 어렵게 만들기 때문이다.

Psychologists have proposed several theories to explain the retrieval effect ( Roediger and Butler 2011; Karpicke and Grimaldi 2012; Yeh and Park 2015) Memory may have two dimensions: storage strength and retrieval strength, which, according to the deficient processing theory, are negatively correlated during initial learning. More difficult retrieval (lower retrieval strength) results in higher gains in storage strength. Recalling information is more “difficult” than reading or recognizing it. This may also explain the spacing effect as it is more “difficult” to repeatedly recall information with intervening time gaps than to recall it on consecutive trials. 

transfer appropriate processing theory에 따라 메모리 성능은 학습 맥락이 검색 맥락과 일치할 경우에 향상된다. 시험의 실행은 단순히 자료를 다시 읽는 것보다 최종 시험의 조건에 더 가깝다. 

Memory performance, per the transfer appropriate processing theory, is enhanced to the extent that the learning context matches the retrieval context. The act of testing as practice more closely approximates the conditions on the final test than simply rereading the material. 

마지막으로, 메모리에서 정보를 검색하면 메모리 추적을 상세히 설명하고 추가 검색 경로(큐)를 만들 수 있으며, 이는 정보가 미래에 다시 성공적으로 검색될 가능성을 더 높인다. 이러한 영향은 아마도 개별 시냅스 수준의 분자 변화와 뉴런 네트워크의 보다 광범위한 수정에 동반할 것이다(Friedlander et al. 2011).

Finally, retrieval of information from memory may elaborate the memory trace and create additional retrieval routes (cues), which make it more likely that the information will be successfully retrieved again in the future. At the neuronal level, these effects presumably accompany both molecular changes at the level of individual synapses and more widespread modifications of the neuronal network (Friedlander et al. 2011).