고등교육에서 성취와 관련된 변인들: 메타분석의 체계적 고찰(Psychol Bull, 2017)

고등교육에서 성취와 관련된 변인들: 메타분석의 체계적 고찰(Psychol Bull, 2017)

Variables Associated With Achievement in Higher Education: A Systematic Review of Meta-Analyses

Michael Schneider and Franzis Preckel

University of Trier

효과적인 고등 교육 설계의 핵심 질문은 학생들의 학업 성취의 원천에 관한 것이다. 어떤 학생, 선생님, 그리고 가르침의 특성이 다른 사람들보다 더 높은 학습 성과와 관련이 있는가? 

A key question in the design of effective higher education concerns the sources of students’ academic achievement. Which characteristics of students, teachers, and instruction are associated with higher learning outcomes than others? 

우리의 연구에서 우리는 학문적 성취의 정의를 사용한다. 

In our study, we use this definition of academic achievement: 

"교육 환경(특히 학교 및 대학)에서의 활동의 초점인 특정 목표를 달성했음을 나타내는 성과 결과.

 학업 성취도를 나타내는 많은 기준들 중에서, 교육 시스템에서 습득한 절차적, 선언적 지식과 같은 매우 일반적인 지표들이 있다. 또는 교육 성취도 시험에서의 성적이나 성과와 같은 커리큘럼 기반 기준도 있다." (Steinmayr, Meißner, Weidinger, & Waswein, 2014).

“. . . performance outcomes that indicate the extent to which a person has accomplished specific goals that were the focus of activities in instructional environments, specifically in school, college, and university [. . .] 

Among the many criteria that indicate academic achievement, there are very general indicators such as procedural and declarative knowledge acquired in an educational system [and] more curricular-based criteria such as grades or performance on an educational achievement test” (Steinmayr, Meißner, Weidinger, & Wirthwein, 2014).

메타분석과 표준화 효과크기

Meta-Analyses and Standardized Effect Sizes

성취에 관한 기존 메타분석 고찰

Previous Reviews of Meta-Analyses on Achievement

고등교육은 어떻게 다른가?

How Different is Higher Education?

국제표준교육분류(UNESCO, 2012)와 유럽자격제도(European Commission, 2008)에서 기술된 바와 같이, 초등교육과 중등교육은 학생들에게 후년에 많은 분야에서 중요한 광범위한 기본 지식과 기술을 제공하는 것을 목표로 한다. 

As described in the International Standard Classification of Education (UNESCO, 2012) and in the European Qualifications Framework (European Commission, 2008), primary and secondary education aim at providing students with broad sets of basic knowledge and skills that are important in many areas in later life. 

대조적으로, 3차 교육은 [복잡한 프로젝트의 관리, 예측할 수 없는 업무 환경에서 의사 결정, 다른 이들의 전문적 발전에 대한 책임감]과 같은 몇몇 분야의 일반적인 능력과 함께 특정 콘텐츠 영역에서 고급 지식을 학생들에게 제공하는 것을 목표로 한다. 대학과 대학은 초, 중, 고등학교보다 선택적이다. 

In contrast, tertiary education aims at equipping students with advanced knowledge in a specific content domain, along with general competencies in several areas, such as management of complex projects, decision making in unpredictable work contexts, and taking responsibility for the professional development of others. Universities and colleges are more selective than primary, middle, and high schools. 

대학과 대학생들은 학교 학생들보다 더 긴 학습 역사, 더 많은 축적된 학업적 지식과 기술, 그리고 공식 교육에 대한 더 많은 경험을 가지고 있다. 고등교육기관의 강의는 학교 수업보다 더 규모가 큰 경향이 있다.

University and college students have a longer learning history, more accumulated academic knowledge and skills, and more experience with formal education than school students. Lecture classes in higher educational institutions tend to be larger than school classes.

Debates and Open Questions in Research on Higher Education

The Current Study

요컨대, 고등교육의 성취와 관련된 변수들에 대한 풍부한 경험적 발견에도 불구하고, 이러한 결과는 아직 종합적으로 검토되고 통합되지 않았다.

In sum, despite the wealth of empirical findings on the variables associated with achievement in higher education, these results have not yet been reviewed and synthesized comprehensively.

Method

Literature Search and Selection Criteria

Extraction of Effect Sizes and Coding

Results

Characteristics of the Included Meta-Analyses

Characteristics of the Included Effect Sizes

Instruction variables 

• Social interaction 

• Stimulating meaningful learning 

• Assessment 

• Presentation 

• Technology 

• Extracurricular training programs 

Student variables 

• Intelligence and prior achievement

• Strategies 

• Motivation 

• Personality Context 

고찰

Discussion

효과크기 비교: 주의할 점

Comparing Effect Sizes: A Cautionary Note

핵심 결과

Ten Cornerstone Findings

다음에서, 우리는 연구의 핵심 결과에 대해 토론한다. 우리는 고의적으로 105개의 효과크기의 비교에서 명백하게 드러난 학습과학의 중심 주제나 고등교육에 대한 연구의 진행 중인 토론에 관한 10개의 초석 조사 결과를 포함시키는 것에 한정한다. 토론을 10개의 핵심 포인트로 제한함으로써, 우리는 메타분석이 포함된 38개의 중복을 피하고 우리의 105개 변수들에 대한 5,460개의 쌍방향 비교에 대한 포괄적인 논의를 제시하는 것이 불가능하다는 사실을 인정하려고 노력한다.

In the following, we discuss central findings of our study. We deliberately limit ourselves to covering 10 cornerstone findings, which have become apparent from the comparison of the 105 effect sizes and concern central topics in the learning sciences or ongoing debates in the research on higher education. By limiting the discussion to 10 key points, we try to avoid redundancies with the 38 included meta-analyses and to acknowledge the fact that it is impossible to present a comprehensive discussion of all possible 5,460 pairwise comparisons of our 105 variables.

1. 무엇이 고등교육을 효과적으로 만드는가에 관한 광범위한 경험적 증거가 있다.

1. There is broad empirical evidence related to the question what makes higher education effective.

문헌 데이터베이스에서 볼 수 있듯이, 고등교육에 관한 오래된 간행물은 주로 이론적 접근법을 사용하였고, 경험적 연구를 무시하였다. 이것은 완전히 바뀌었다. 체계적 검토에서는 총 1,920,239명의 학생이 참여한 정량적 경험적 연구에서 3,330개의 효과 크기를 종합한다. 

As can be observed from literature databases, the older publications about higher education mainly used theoretical approaches and neglected empirical research. This has thoroughly changed. In our systematic review, we synthesize 3,330 effect sizes from quantitative empirical studies involving a total of 1,920,239 students. 

고등교육의 교사들은 이러한 발견을 교과 과정의 준비와 전달에 사용함으로써 과목을 더 효과적으로 만들 수 있다. 이용 가능한 연구와 메타분석의 방법론적인 질은 혼합되어 있으며 경험적인 발견의 해석에서 고려될 필요가 있다.

Teachers in higher education can make their courses more effective by using these findings in the preparation and delivery of their courses. The methodological quality of the available studies and meta-analyses is mixed and needs to be considered in the interpretation of the empirical findings.

2. 대부분의 교수법은 긍정적인 효과 크기를 가지고 있지만, 어떤 교수법은 다른 교수보다 훨씬 더 큰 효과 크기를 가지고 있다.

2. Most teaching practices have positive effect sizes, but some have much larger effect sizes than others.

조사된 105개 변수 중 87%는 적어도 작은 효과 크기를 가지고 있다(표 3 참조). 따라서, 대부분의 교수법과 학습자 특성은 체계적으로 성취와 관련이 있다. 해티(2009년)는 이미 일반적인 교육에 대해 유사한 관찰을 했다. 

Of the 105 investigated variables, 87% have at least a small effect size (see Table 3). Thus, most teaching practices and learner characteristics are systematically related to achievement. Hattie (2009) already made a similar observation for education in general. 

해티가 경고한 대로, 교사가 어떤 교수법이나 도구를 사용하든, 교사들은 성과에 대한 영향을 관찰할 것이며, 가르침이 최적의 효과를 준다고 결론을 내릴 수 있다. 이것은 어떤 교수법도 허용될 수 있다는 견해로 이어질 수 있다. 그러나 일부 효과 크기는 다른 것보다 훨씬 크기 때문에 이러한 관점은 잘못된 것이다. 

As Hattie warned, teachers using almost any instructional method or tool might observe an impact on achievement and conclude that their instruction has an optimal effect. This could lead to the view that any teaching approach is acceptable. This perspective is wrong because some effect sizes are much larger than others. 

진짜 문제는 특정 교육적 방법이 성과에 영향을 미치는지의 여부가 아니라 대안적 접근법보다 효과적 크기가 더 높은지의 여부다. 메타분석에 대한 리뷰는 이 정보를 제공한다.

The real question is not whether an instructional method has an effect on achievement but whether it has a higher effect size than alternative approaches. Reviews of meta-analyses provide this information.

3. 과목의 효과성은 교사들이 무엇을 하는가와 밀접한 관련이 있다.

3. The effectivity of courses is strongly related to what teachers do.

주로 학교 학습에 초점을 둔 성취의 상관성에 대한 메타분석의 이전 리뷰에서는 [근위 변수(=교사와 학생이 수업 중에 무엇을 하고 생각하는지)]가 학교 인구통계나 주 정책과 같은 [원위 변수]보다 성취와 더 밀접하게 관련이 있다는 것을 발견했다. (Hattie, 2009, P. 22; Kuliki) & Kulik, 1989; Wang et al., 1993b, 페이지 74). 

Previous reviews of the meta-analyses on the correlates of achievement, which mainly focused on school learning, found that proximal variables, that describe what teachers and students do and think during a lesson, are more closely related to achievement than distal variables, such as school demographics or state policies (Hattie, 2009, p. 22; Kulik & Kulik, 1989; Wang et al., 1993b, p. 74). 

고등교육에 대한 우리의 결과는 간접적으로 이 결론을 뒷받침한다. 사회적 상호작용, 의미 있는 학습 자극, 프리젠테이션에 속하는 많은 변수들은 예를 들어, [닫힌 질문 대신 개방형 질문을 하거나] [프레젠테이션 슬라이드에 절반 문장이 아닌 몇 개의 키워드를 쓰는 것]과 같은 특정한 형태의 선생님 행동과 관련된다. 

Our results for higher education indirectly support this conclusion. Many variables in the categories [social interaction, stimulating meaningful learning, and presentation] relate to specific forms of teacher behavior, for example, asking open-ended questions instead of close-ended ones or writing a few keywords instead of half sentences on presentation slides. 

이 디테일한 수준의 세밀한 부분을 교육의 미세구조라고 부르기도 한다. 효과적인 교육을 위해 교사들은 수업의 미세 구조에 주의를 기울여야 한다(Dumont & Istance, 2010).

This fine-grained level of detail is sometimes called the microstructure of instruction. To be effective, teachers need to pay attention to the microstructure of their courses (Dumont & Istance, 2010).

무작위 대조 시험의 인과 증거를 명시적으로 보고하는 포함된 메타 분석 중 다수는 교육의 미세구조적 요소를 조사했는데, 이는 이러한 요소가 실험 설계에서 조작하기 쉽기 때문이다. 교사와 관련된 인과관계의 근거는 학생과 관련된 내용, 숙달 학습, 개념 지도, 지능형 개인교습 시스템, 빈번한 시험, 시각화 설명 및 애니메이션에 관한 내용을 다루는 것 등이 있다(표 1 참조).

Many of the included meta-analyses that explicitly report causal evidence from randomized controlled trials investigated elements of the microstructure of instruction, because these elements are easy to manipulate in experimental designs. Evidence on causal relations was reported for the teacher 

• relating content to students, 

• mastery learning, 

• concept maps, 

• intelligent tutoring systems, 

• frequent testing, 

• spoken explanation of visualizations, and 

• animations (see Table 1).

도입부에서 설명한 바와 같이, 교육방식의 선택이 K-12 학교교육에서와 같이 고등교육에서도 중요한지 여부에 대한 질문이 있었다. 무엇보다, (고등교육에서) 선생님들과 학생들은 평균 이상의 적성과 기술을 가진 매우 선별적인 그룹이다. 우리의 리뷰는 심지어 고등교육에서도 교수법의 선택이 성취에 상당한 영향을 미친다는 것을 보여준다.

As described in the introduction, it has been asked whether the choice of teaching methods is as important in higher education as it is in K–12 school education. After all, teachers and students are highly select groups with above average aptitude and skills. Our review indicates that even in higher education the choice of teaching methods has substantial effects on achievement.

4. 교수법의 효과성은 교수법의 시행방법에 따라 달라진다.

4. The effectivity of teaching methods depends on how they are implemented.

교사들이 미시적 수준에서 무엇을 할 뿐만 아니라 그들이 정확히 어떻게 그것을 하느냐가 성과에 결정적인 영향을 미친다. 우리가 검토한 모든 메타분석 중에서, 95%는 적어도 하나의 중요한 moderator 효과를 발견했다. 

It is not only what teachers do on the microlevel but also how exactly they do it that critically affects achievement. Of all the meta-analyses in our review, 95%found at least one significant moderator effect. 

• 예를 들어 질문을 할 때 닫힌 질문보다 개방형 질문을 하는 것이 더 효과적이다(Redfield & Rousseau, 1981) 

• 몇 개의 키워드가 있는 프레젠테이션 슬라이드가 절반의 문구나 전체 문장이 있는 프레젠테이션 슬라이드보다 더 효과적이다(Adesope & Nesbit, 2012). 

• 개념 맵은 중심적인 아이디어만을 묘사하고 세부 사항을 제공하지 않을 때 더 효과적이다(Nesbit & Adesope, 2006). 

• 교사가 세심하게 준비하고 세심하게 감독하는 학생 프로젝트는 순수한 (혼자) 발견 학습을 요구하는 학생 프로젝트보다 훨씬 더 효과적이다(Alfieri et al., 2011). 

• 정적 시각화(예: 사진, Reinwein, 2012)보다 동적 시각화(예: 필름)에서는 사진에 대한 서면 설명보다 구두 설명을 제공하는 것이 더 효과적이다. 

• 많은 메타분석들은 지시 방법의 효과성에 대한 둘 이상의 진행자를 확인하였다. 예를 들어, 문제 기반 학습에 대한 메타 분석은 다양한 moderator 변수 수준의 48 효과 크기를 보고한다(Dochy et al., 2003).

• For example, when asking questions it is more effective to ask open-ended than close-ended questions (Redfield & Rousseau, 1981). 

• Presentation slides with a few written keywords are more effective than presentation slides with written half sentences or full sentences (Adesope & Nesbit, 2012). 

• Concept maps are more effective when they only depict central ideas and give no details (Nesbit & Adesope, 2006). 

• Student projects that are prepared carefully and supervised closely by a teacher are much more effective than student projects requiring pure discovery learning (Alfieri et al., 2011). 

• Giving an oral rather than a written explanation of a picture is more effective for dynamic visualizations (e.g., a film) than for static visualizations (e.g., a photograph; Reinwein, 2012). 

• Many meta-analyses identified more than one moderator of the effectivity of an instructional method. For example, a meta-analysis on problem-based learning reports 48 effect sizes for the levels of various moderator variables (Dochy et al., 2003).

이는 마이크로 레벨에서 구현되는 방법에 따라 동일한 교육 방법이 달성에 더 강하거나 더 약한 영향을 미칠 수 있음을 보여준다. 표 1에 제시된 것과 같은 교수법의 평균 영향에 대한 메타 분석 결과는 효과적인 클래스 설계에 충분하지 않다. 교육자들은 moderator 효과를 고려해야 하며, 궁극적으로는 효과적인 방법을 구현하는 데 필요한 실질적인 기술이 필요하다.

This shows that the same instructional method can have stronger or weaker effects on achievement, depending on how it is implemented on the microlevel. Meta-analytical results on the average effects of a teaching method, such as the ones provided in Table 1, do not suffice for designing effective classes. Educators should consider the moderator effects, and ultimately, they need the practical skills required for implementing effective methods in effective ways.

(36개의 경험적 연구의 문헌 리뷰에서 결론지은 대로) 다행히도 고등교육에서 교사들을 위한 훈련 프로그램은 그들의 교실 행동, 기술, 태도에 광범위한 이로운 영향을 미칠 수 있다(Stes, Min-Leliveld, Gijbels, and van Petgem, 2010 

Fortunately, training programs for teachers in higher education can have broad beneficial effects on their classroom behavior, skills, and attitudes, as concluded in a literature review of 36 empirical studies (Stes, Min-Leliveld, Gijbels, & van Petegem, 2010). 

교사들이 교육 단위의 세부사항에 대한 비디오 및 동료 피드백을 받는 마이크로티칭 및 이와 유사한 접근방식과 같은 교육 방법은 특히 고등 교육 내부(Brinko, 1993; Johannes & Seidel, 2012; Remesh, 2013) 및 외부(Fukink, Trienkens, 2011; Hattie, 2009)에서 긍정적인 효과를 가진다. 

Training methods such as microteaching and similar approaches, where teachers receive both video and colleague feedback on the details of an instructional unit, have particularly strong positive effects inside (Brinko, 1993; Johannes & Seidel, 2012; Remesh, 2013) and outside (Fukkink, Trienekens, & Kramer, 2011; Hattie, 2009) higher education. 

총 439개의 효과 크기를 가진 4개의 메타날리스를 평균한 Hattie(2009, 112– 113)는 K–12 학교 교사들을 위한 마이크로트래칭 방법이 Hattie의 138개 성취도 목록에서 4번째로 높은 0.88의 학생 성취도에 영향을 미친다고 보고했다.

Averaging over four metaanalyses with a total of 439 effect sizes, Hattie (2009, pp. 112– 113) reports an effect of microteaching methods for K–12 school teachers on student achievement of d  0.88, which was the fourth highest effect size in Hattie’s list of 138 correlates of achievement.

교사들이 미시적 수준에서 행하는 행동이 학생들의 학습 결과에 영향을 미친다면, 교사들이 교과 과정의 마이크로 구조를 계획하고 구성하는 데 투자하는 시간과 노력은 학생들의 성취와 강하게 연관되어야 한다. 이것은 실제로 사실이다. (Feldman, 1989) 

If teachers’ behaviors on the microlevel affect students’ learning outcomes, then the time and effort that teachers invest in planning and organizing the microstructure of their courses should be strongly associated with student achievement. This is indeed the case (Feldman, 1989). 

105개의 변수 중에서, 선생님의 수업 준비/구성은 세 번째로 큰 효과 크기의 변수다. 성취에 더 큰 효과를 가진 그 두 변수는 교사에게 직접적인 영향을 받을 수 없는 것들이다. 

Of our 105 variables, the teacher’s preparation/organization of a course is the variable with the third largest effect size. The two variables with larger effects are correlates of achievement that cannot be directly influenced by a teacher. 

따라서, 교사들이 직접 영향을 줄 수 있는 표 1의 모든 변수 중에서, 강좌의 마이크로 구조를 준비하는데 투자하는 시간과 노력이 가장 큰 영향을 미친다. 효과적인 지침의 설계 원칙을 특정 과정, 내용 및 학생 모집단에 세심하게 적용해야 하기 때문에 이것은 놀랄 일이 아니다. 

Thus, of all the variables in Table 1 that teachers can directly influence, the time and effort that they invest in the preparation of the microstructure of a course have the strongest effect. This is no surprise, as the design principles of effective instruction need to be carefully adapted to specific courses, content and student populations. 

이것은 교사들의 지식, 기술, 창의성뿐만 아니라 그들의 시간과 노력도 요구한다.

This requires not only teachers’ knowledge, skills, and creativity, but also their time and effort.

Feldman(1989)은 예를 들어 출판 편향을 확인하지 않고 상관 관계에서 매우 약한 메타 분석적 증거만 제시하였다. 그럼에도 불구하고, 마이크로구조와 성취 사이의 인과 관계가 문헌에 확고히 확립되었기 때문에 교사가 강의의 마이크로 구조를 준비하는데 투자하는 시간과 노력은 학생 성취에 영향을 미칠 가능성이 높다. (기초적인 발견 3 참조) 

Feldman (1989) only presented very weak meta-analytical evidence from correlations, for example, without checking for publication bias. Nonetheless, it is still highly likely that the time and effort that a teacher invests in preparing the microstructure of instruction causally affect student achievement because a causal link between the microstructure and achievement has been firmly established in the literature (see cornerstone finding 3). 

결과적으로, 고등 교육 시스템은 교사들에게 효과적인 교수법과 이를 이행하는 기술에 대한 지식을 제공할 뿐만 아니라, 수업의 세부사항을 계획하고 준비하기 위한 시간과 인센티브를 제공해야 한다.

As a consequence, higher education systems do not only have to give teachers knowledge of effective teaching methods and the skills for implementing them, but also time and incentives for planning and preparing the details of their courses.

5. 교사들은 여러 가지 작은 변화들을 통해 강의의 질을 향상시킬 수 있다.

5. Teachers can improve the instructional quality of their courses by making a number of small changes.

첫 4가지 포인트는 교사들이 경험적으로 뒷받침되는 많은 디자인 원칙을 따름으로써 그들의 교육과정의 질과 학생들의 성취도를 높일 수 있다는 것을 암시한다. 고등교육에서 교육의 질을 개선한다고 해서 반드시 고등교육 시스템의 혁명적인 변화가 필요한 것은 아니다. 각 교사가 따를 수 있는 상대적으로 작고 실천하기 쉬운 원칙은 다음과 같다.

The first four points imply that teachers can increase the instructional quality of their courses and their students’ achievement by following a number of empirically supported design principles. Improving instructional quality in higher education does not always require revolutionary changes of the higher education system. Relatively small and easy to implement principles that each teacher can follow are:

• 빈번한 출석 권장(6위)

• 질문 및 토론 자극(11위),

• 명확한 학습 목표 및 코스 목표 제공(13위)

• 개방형 질문(16위),

• 학생과 내용을 관련시킴(17위)

• 세부 과제-중심 및 개선 지향적 피드백 제공(등급 30, Kluger & DeNisi, 1996 참조)

• 우호적이고 학생들을 존중한다(30위).

• 시각화 또는 필기 단어로 구어 단어를 보완한다(예: 유인물 또는 프레젠테이션 슬라이드, 순위 42).

• 프레젠테이션 슬라이드에서 절반 또는 전체 문장 대신 몇 개의 필기 키워드 사용(moderator analysis, Adesope & Nesbit, 2012), 

• 학생이 과정에서 다루는 핵심 아이디어의 개념 맵을 구축하고 토론하도록 허용(45위)

• Advance organizer로 함께 각 교육 단위 시작(랭크 64)

• 프레젠테이션에서 주의를 산만하게 하거나 유혹적인 세부 사항을 지양(매력적인 세부 정보의 프레젠테이션에 대한 순위 101과 d0.30).

• encouraging frequent class attendance (rank 6),

• stimulating questions and discussion (rank 11),

• providing clear learning goals and course objectives (rank 13),

• asking open-ended questions (rank 16),

• relating the content to the students (rank 17),

• providing detailed task-focused and improvement-oriented feedback (rank 30; see also Kluger & DeNisi, 1996),

• being friendly and respecting the students (rank 30),

• complementing spoken words with visualizations or written words (e.g., handouts or presentation slides; rank 42),

• using a few written keywords instead of half or full sentences on presentation slides (moderator analysis in

Adesope & Nesbit, 2012), 

• letting the students construct and discuss concept maps of central ideas covered in a course (rank 45),

• beginning each instructional unit with an advance organizer (rank 64), and

• avoiding distracting or seductive details in presentations (rank 101 and d0.30 for the presentation of seductive details).

6. 교사 중심과 학생 중심 교육 요소의 조합이 어떤 형태의 교육보다 더 효과적이다.

6. The combination of teacher-centered and student-centered instructional elements is more effective than either form of instruction alone.

교사 중심 및 학생 중심 교육 방법의 효과성을 직접 비교한 메타 분석은 없다. 그러나 다수의 메타분석가들은 특정 교사 중심 교육 요소(예: 교사 프레젠테이션 및 학생 중심 교육 요소(예: 학생 프로젝트)에 대한 효과 크기를 보고하였다. 

No meta-analysis directly compared the effectivity of teacher-centered and student-centered instructional methods. However, a number of meta-analyses reported effect sizes for specific teacher-centered instructional elements, for example, teacher presentations, and student-centered instructional elements, for example, student projects. 

프레젠테이션 범주 아래의 9개 변수 중 6개가 ...중규모 또는 대형 효과 크기(표 3 참조). 

• 교사의 명확성과 이해력 

• 강의와 강의 주제에 대한 선생님의 관심 자극 

• 교사의 해설 기술 

• 과목이나 교육에 대한 선생님의 열정 

• 시각화의 구두 설명 

• 애니메이션

Six of the nine variables under the presentation category (

• teacher’s clarity and understandableness; 

• teacher’s stimulation of interest in the course and its subject matter; 

• teacher’s elocutionary skills; 

• teacher’s enthusiasm for subject or teaching; 

• spoken explanation of visualizations; and 

• animations

...had medium–large or large effect sizes (see Table 3). 

동시에, 사회적 상호작용 범주 아래의 모든 5개 변수...는 중간 크기 또는 큰 효과 크기를 가졌다. 따라서, 두 가지 형태의 지침이 모두 효과적이다.

• 교사의 질문 및 토론 장려 

• 선생님의 유용성과 유용성 

• 개방형 질문 

• 소그룹 학습 

• 교사의 학생에 대한 관심과 존중, 친근감

At the same time, all the five variables under the social interaction category (

• teacher’s encouragement of questions and discussion; 

• teacher’s availability and helpfulness; 

• open-ended questions; 

• small-group learning; 

• teacher’s concern and respect for students, friendliness

...) had a medium–large or large effect size. Thus, both forms of instruction are effective.

추가 연구는 두 가지 형태의 결합이 두 가지 형태의 분리보다 훨씬 더 효과적이라는 것을 보여준다. 예를 들어, 대화형 요소들은 강의 수업의 효과성을 증가시키고(캠프벨 & 메이어, 2009; 해크, 1998; 킹, 1990), 교사 주도 요소는 학생 프로젝트의 효과성을 강화한다(Alfieri et al., 2011; Mayer, 2004). 이러한 연구 중 적어도 일부(예: Campbell & Mayer, 2009)는 단순한 상관관계가 아닌 실험적인 설계를 가지고 있어서 인과관계를 나타낸다.

Additional studies show that combinations of the two forms are even more effective than either form in isolation. For example, interactive elements increase the effectivity of lecture classes (Campbell & Mayer, 2009; Hake, 1998; King, 1990), and teacher-directed elements enhance the effectivity of student projects (Alfieri et al., 2011; Mayer, 2004). At least some of these studies (e.g., Campbell & Mayer, 2009) had experimental designs and, thus, indicate causal effects rather than mere correlations.

교사 중심과 학생 중심 교육 요소를 결합하는 효과도 사회적 상호작용 범주에서 발견되는 높은 효과 크기로 입증된다. 이 범주에 속하는 5개 변수 모두 중간 크기 또는 큰 효과 크기를 가지며, 가장 많은 수의 강한 효과를 갖는 교육관련 변수의 범주였다. 많은 메타분석과 사회적 형태의 학습에 대한 리뷰는 교사들이 학생들의 활동과 상호작용을 주의깊게 준비하고 지도하면서, 동시에 학생들에게 그들 자신의 아이디어를 개발하고 그들 자신의 경험을 만들 수 있는 충분한 자유를 줄 때 최대로 효과적이라고 결론짓는다. 

The effectivity of combining teacher-centered and student-centered instructional elements is also demonstrated by the high effect sizes found for the category social interaction. All five variables under this category have medium-large or large effect sizes, making it the category of instruction-related variables with the highest number of strong effects. Many meta-analyses and reviews on social forms of learning conclude that it is maximally effective when the teachers careful prepare and guide their students’ activities and interactions while at the same time giving their students enough freedom to develop their own ideas and to make their own experiences. 

따라서 교사 중심 및 학생 중심 요소의 결합은 사회적 상호작용이 효과적이 되기 위해 필요한 조건이다(Hmelo-Silver, Duncan, & Chinn, 2007; Johnson, Johnson, & Smith, 2014; Slavin, 2010; Springer 등, 1999). 이런 관점에서 볼 때, 강의는 흥미롭고 상호작용적인 방법으로 주어진다면 여전히 시기적절하고 효과적인 강의 형식이다. 소그룹 학습과 프로젝트 기반 학습도 잘 준비되고 교사들에 의해 면밀하게 관리된다면 시기적절하고 효과적이다.

Thus, the combination of teacher-centered and student-centered elements is a necessary condition for social interaction to be effective (Hmelo-Silver, Duncan, & Chinn, 2007; Johnson, Johnson, & Smith, 2014; Slavin, 2010; Springer et al., 1999). From this perspective, lectures are still a timely and effective form of instruction provided they are given in an engaging and interactive way. Small-group learning and project-based learning are likewise timely and effective provided they are well prepared and closely supervised by the teacher.

7. 교육 테크놀로지는 강의실 상호 작용을 보완할 때 가장 효과적이다.

7. Educational technology is most effective when it complements classroom interaction.

전반적으로, 경험적 결과는 다른 형태의 교육을 희생하여 정보 및 통신 기술의 사용을 확대하는 것은 성취에 해로운 영향을 미칠 가능성이 높다는 것을 보여준다. 6가지 교육 관련 변수 범주 중에서, 기술은 중간 크기 또는 큰 효과 크기의 두 번째로 낮은 숫자를 가졌다. 사회적 상호작용, 의미 있는 학습 촉진, 평가, 프리젠테이션 등의 범주는 더 큰 효과 크기를 가졌다. 

Overall, the empirical results show that expanding the use of information and communication technology at the expense of other forms of instruction is likely to have detrimental effects on achievement. Of the six instruction-related variable categories, technology had the second lowest number of medium-large or large effect sizes. The categories social interaction, stimulating meaningful learning, assessment, and presentation had larger effect sizes. 

동시에 테크놀로지 범주에서 가장 큰 효과 크기를 갖는 세 가지 변수는 구현 비용이 높으며 매우 구체적인 내용(가상화 현실 게임, 27위, 가상 현실 시뮬레이션, 37위, 지능형 과외 시스템, 47위)에만 유용하다. 강의실 교육을 교육 기술로 대체하는 것의 위험성의 두 가지 구체적인 예는 

• 개인교습자가 지능형 개인교습 소프트웨어(Steenbergen-Hu & Cooper의 변조자 분석, 2014년)보다 더 효과적이고 

• 강의실에서 직접 대면하는 소그룹 학습(등급 27)은 테크놀로지를 사용한 소그룹 학습(등급 77)보다 높은 성취도와 관련이 있다.

At the same time, the three variables with the highest effect sizes in the category technology have high implementation costs and are useful only for very specific content (games with virtual reality, rank 27; simulations with virtual reality, rank 37; intelligent tutoring systems, rank 47). Two concrete examples of the dangers of replacing classroom instruction with educational technology are 

• that human tutors are more effective than intelligent tutoring software (moderator analysis in Steenbergen-Hu & Cooper, 2014) and 

• that face-to-face small-group learning in the classroom (rank 27) is associated with higher achievement than small-group learning with technology (rank 77).

경험적 증거에 따르면, 온라인 및 강의실 교육의 경우, 혼합 학습 방식으로 결합될 때 가장 효과적이라는 것을 나타낸다. 온라인 학습(등급 88)은 강의실 학습만큼 효과적이지만(평균 외, 2013), 혼합 학습(등급 52), 즉 두 형태의 학습이 강의실 교육만 사용하는 것보다 더 효과적이다(버나드 외, 2014). 

For online and classroom instruction, the empirical evidence indicates that they are most effective when they are combined into blended learning arrangements. Online learning (rank 88) is about as effective as classroom learning (Means et al., 2013), but blended learning (rank 52), that is, the combination of both forms of learning, is more effective than classroom instruction alone (Bernard et al., 2014). 

그러므로 교육적 효과의 관점에서, 향후 연구에 있어 가장 중요한 문제는 한 가지 형태의 지침이 다른 것을 대체해야 하는지 여부가 아니라 두 가지 형태를 결합해야 하는 방법이다. 교육적 접근방식, 복잡성 및 사회적 상호작용 기회(Bonk & Graham, 2006; Means et al., 2013)에 따라 다양한 형태의 혼합 학습이 필요하므로 보다 상세한 진행자 분석을 통한 메타 분석도 필요하다.

Thus, from the perspective of instructional effectiveness, the most important question for further research is not whether one form of instruction should replace the other but in which ways the two forms should be combined. As there are many forms of blended learning that differ in their educational approaches, complexity, and opportunities for social interaction (Bonk & Graham, 2006; Means et al., 2013) further meta-analyses with more detailed moderator analyses are needed.

여기에 제시된 결과는 현재 또는 미래의 교육 기술이 아닌 과거의 교육 기술에 대해서만 대표적이다. 교육 기술은 빠르게 발전한다. 이 범주에 속하는 메타분석은 2001년과 2014년 사이에 실시되었다. 그들은 이미 출판되어 메타분석보다 더 오래 된 연구만을 포함할 수 있었다. 

The results presented here are representative only for instructional technology in the past, not for instructional technology in the present or future. Instructional technology advances quickly. The meta-analyses in this category had been conducted between 2001 and 2014. They could only include the studies that had already been published and thus were older than the meta-analyses themselves. 

특히, MOOCs, Clickers 및 소셜 미디어는 무작위 통제 시험(있을 경우)이 거의 없고 메타 분석은 아직 출판되지 않았다. 그 효과성에 대한 명확한 증거 기반 결론은 아직 도출할 수 없다(Hew & Chheung, 2013; Lantz, 2010; McAndrew & Scanlon, 2013).

Particularly, MOOCs, clickers, and social media have only been investigated in very few randomized controlled trials, if any, and no meta-analysis has been published yet. No definite evidence-based conclusions about their effectivity can be drawn yet (Hew &Cheung, 2013; Lantz, 2010; McAndrew & Scanlon, 2013).

이러한 배경에서 기술 진보로 인해 교육 기술 분야의 효과 크기가 시간이 지남에 따라 증가했는지를 테스트하는 것은 흥미롭다. 기술 범주에서 6개 메타 분석 중 4개가 효과 크기가 출판 연도와 관련이 있는지 여부를 시험했다. 네 마리 중 어느 것도 효과 크기의 증가를 발견하지 못했다. 

Against this background it is interesting to test whether the effect sizes in the field of instructional technology increased over time due to the technological progress in the past. Four of the six meta-analyses in the technology category tested whether the effect sizes were related to the publication year. None of the four meta-analyses found an increase in effect sizes. 

1990년부터 2011년까지 지능교습 시스템(Sinbergen-Hu & Cooper, 2014)의 효과규모는 크게 줄었고, 다음에 대해서는 일정하게 유지되었다. 

• 1964년부터 1999년까지 테크놀로지를 사용한 소규모 그룹 학습에 대해, 

• 1996년부터 2008년까지 온라인 학습에 대해(Means et al., 2013), 

• 1990년부터 2010년까지 혼합 학습에 대해(Bernard et al., 2014). 

The effect sizes significantly decreased from 1990 to 2011 for intelligence tutoring systems (Steenbergen-Hu & Cooper, 2014) and stayed constant 

• from 1964 to 1999 for small-group learning with technology (Lou et al., 2001), 

• from 1996 to 2008 for online learning (Means et al., 2013), and 

• from 1990 to 2010 for blended learning (Bernard et al., 2014). 

분명히, 기술의 발전이 자동적으로 교육 관행을 개선하거나 학생들의 성적을 올리는 것은 아니다.

Obviously, technological advances do not automatically improve educational practices or raise student achievement.

기술 범주에서 경험적 증거는 좋은 품질의 것이었다. 기술 범주에서 메타 분석 방법론적 권고사항 중 2개가 평균 이상의 수를 따랐으며, 그 이후로는 평균 이하의 권장사항(cf)을 따르지 않았다. 표 2) 또한, 우리의 결과는 중소 효과 크기(Hattie, 2009, p. 201)와 시간의 경과에 따른 효과 크기 증가(Hattie, 2009, p. 221)로 특징지어지는 K–12 학교에서의 교육 및 통신 기술에 대한 메타 분석 결과를 반영한다. 

The empirical evidence in the technology category was of a good quality. Two of the meta-analyses in the technology category followed an above-average number of methodological recommendations and none followed a below-average number of recommendations (cf. Table 2). Our results also mirror the meta-analytic findings for instruction and communication technology in K–12 schools, that are characterized by small to medium effect sizes (Hattie, 2009, p. 201) and a lack of effect size increases over time (Hattie, 2009, p. 221). 

지금까지, 교육과 통신 기술이 적어도 학생들의 성취도와 관련해서도, 고등교육에 혁명을 일으킬 것이라는 주장에 대한 경험적인 지원은 없다. 테크놀로지는 교사의 부족이나 고등교육에서의 teacher training의 부족을 보상하기 위해 사용될 수 없다. (기초적인 발견 3과 4 참조) 그러나, 테크놀로지 사용은 교사들이 신중하게 준비된 중요한 didactic 개념의 일부로서, 목표를 지향하는 방식으로 사용할 때 성취도와 약하거나 중간 정도의 강한 연관성을 가질 수 있다.

So far, there is no empirical support for the claim that instruction and communication technology will revolutionize higher education, at least not with respect to student achievement. Technology cannot be used to compensate for a lack of teachers or a lack of teacher training in higher education (see cornerstone findings 3 and 4). However, technology use can have weak to medium–strong associations with achievement when teachers use it in goal-directed ways as part of a carefully prepared overarching didactic concept.

8. 평가는 프레젠테이션 실행만큼이나 중요하다.

8. Assessment practices are about as important as presentation practices.

우리의 결과에 따르면 평가 실무는 프레젠테이션 실무만큼 성과와 관련이 있다. 따라서, 교사들은 그들의 프레젠테이션에서 하는 것만큼 많은 시간을 그들의 평가 관행에 투자해야 하는데, 이것은 현재 항상 그렇지는 않다. 평가 행위에는 시험뿐만 아니라 명확한 학습 목표 설정, 성공을 위한 명확한 기준 설정, 학습 지향적 피드백 제공이 포함된다(Boud & Falchikov, 2007). 

Our results indicate that assessment practices are related to achievement about as strongly as presentation practices. Thus, teachers should invest as much time in their assessment practices as they do in their presentations, which is currently not always the case. Assessment practices include not only giving exams but also setting explicit learning goals, establishing clear standards for success, and giving learning-oriented feedback (Boud & Falchikov, 2007). 

이러한 교육적 요소들은 학생들의 선별적인 관심, 그들이 스스로 정한 목표, 그리고 그들이 시험을 준비하는 방법을 안내한다. (Broekkkamp & van Hout-Wolters, 2007; Lundeberg & Fox, 1991) 따라서 평가 실습은 학생들이 배우는 것what뿐만 아니라 학생들이 배우는 방식how에도 영향을 미친다. (10을 찾는 기초) 

These instructional elements guide students’ selective attention, the goals they set for themselves, and the way they prepare for exams (Broekkamp & van Hout-Wolters, 2007; Lundeberg & Fox, 1991). Thus, assessment practices do not only influence what students learn but also how they learn it (cf. cornerstone finding 10). 

고등교육 분야에서 메타 분석적 증거가 혼합된 반면(표 2 참조), 고등교육 외부의 학습 전략, 동기 및 성취도를 결정하는 요소로서 평가와 피드백 관행의 중요성은 잘 조사되고 비교 가능한 결과를 도출한다(Clark, 2012; Hattie & Timpe).2007년, 클루거 & 드니시, 1996년).

Whereas the meta-analytic evidence in the area of higher education is of a mixed quality (see Table 2), the importance of assessment and feedback practices as determinants of students learning strategies, motivation, and achievement is well investigated for learning outside higher education and yielded comparable results (Clark, 2012; Hattie & Timperley, 2007; Kluger & DeNisi, 1996).

9. 지능과 중등교육 이전의 학업성취은 고등교육의 성취와 밀접한 관련이 있다.

9. Intelligence and prior achievement are closely related to achievement in higher education.

학생 관련 변수 5개 중 지능과 선행 성과는 큰 효과크기의 수가 가장 높다. 즉, 학생들이 더 높은 교육 프로그램에 등록해야 하는지 여부를 물어볼 때 지능과 이전 성취는 높은 예측 가치와 진단적 중요성을 지닌다. 고등학교 평점과 입학 시험 결과에 기록된 사전 지식은 큰 효과 크기를 보이는 반면에, 일반적인 인지 능력 시험은 중간 정도의 큰 효과 크기를 가진다. 인지 능력 시험의 효과 크기가 범위 제한에 대해 보정되지 않았다는 점을 고려해야 한다(Poropat, 2009). 

Among the five student-related variable categories, the category intelligence and prior achievement has the highest number of large effect sizes. That is, intelligence and prior achievement are of high predictive value and diagnostic importance when students are asking whether they should enroll in a higher education program. High school GPA and prior knowledge documented in admission test results show large effect sizes whereas general cognitive ability tests have a medium large effect size. It has to be taken into account that the effect size for cognitive ability tests has not been corrected for range restrictions (Poropat, 2009). 

범위 제한의 증가 수준은 예를 들어 초등교육의 d 1.42에서 중등교육의 d 0.49, 그리고 Poropat의 연구에서 3차 교육에서의 d 0.47로 증가하는 교육적 성취도와 인지 능력 시험의 관계에 대한 효과 크기가 감소하는 이유를 부분적으로 설명한다. 입학시험은 특별히 고등교육을 신청하는 학생 모집단을 위해 설계되는 반면, 인지능력시험은 보통 더 넓은 모집단을 위해 설계된다. 따라서 고등교육을 받는 학생들에게 적용될 때 범위제한으로 인해 더 심한 고통을 받는다. 

Increasing levels of range restriction partly explain why effect sizes for the relation of cognitive ability tests with academic achievement decrease with increasing educational level (Jensen, 1998), for example, from d   1.42 in primary education to d   0.49 in secondary education and d   0.47 in tertiary education in the study by Poropat (2009). While admission tests are specifically designed for student populations applying for higher education, cognitive ability tests are usually designed for broader populations, therefore suffering more strongly from range restrictions when applied to students in higher education. 

또한, (초등 또는 중등교육보다) 3차 교육이 특정 콘텐츠 영역에서 고급 지식을 학생들에게 제공하는 것을 목표로 하기 때문에, 교육수준이 높아짐에 따라 사전 지식의 중요도가 높아지는 것 같다(예: 도치, de Rijdt, & Dyck, 2002) . 지능뿐만 아니라 이전의 성취나 지식도 선행교육의 양과 질에 영향을 받는다. (Ceci & Williams, 1997) 

Further, with increasing educational level prior knowledge seems to gain importance (e.g., Dochy, de Rijdt, & Dyck, 2002) because tertiary education, more so than primary or secondary education, aims at equipping students with advanced knowledge in a specific content domain. Prior achievement or knowledge as well as intelligence are affected by the amount and quality of prior schooling (Ceci & Williams, 1997). 

그러므로 대학은 고등교육의 성취와 관련하여 K-12 학교의 높은 교육수준에서 혜택을 받고 있으며, 예를 들어, K-12 학교 교사들을 위한 우수한 교육 프로그램을 설립하거나 기여함으로써 이러한 품질을 향상시키도록 노력해야 한다.

Regarding achievement in higher education, colleges and universities therefore benefit from high instructional quality in K–12 schools and should try to improve this quality, for example, by establishing or contributing to excellent training programs for K–12 school teachers.

10. 학생들의 전략은 학생들의 성격이나 개인적인 배경보다는 성취와 더 직접적으로 관련이 있다.

10. Students’ strategies are more directly associated with achievement than students’ personality or personal context.

학생들의 [학습과 시험 준비뿐 아니라 노력 규제 및 목표 설정에 대한 전략]은 그들의 성격이나 성별과 나이와 같은 개인적 배경보다 성취와 더 강한 관계를 보여주는 경향이 있다. 학생들은 그들의 성격이나 개인적인 배경보다 그들의 전략을 더 쉽게 바꿀 수 있다. 

Students’ strategies for learning and exam preparation, as well as for effort regulation and goal setting, tend to show stronger relations with achievement than their personalities or personal backgrounds, such as their gender and age. Students can change their strategies more easily than their personalities or personal backgrounds. 

과학 분야와 관련하여 [정규 수업에서 학생들의 전략을 개선하는 것]은 인위적으로 만들어낸 문제로 [extracurricular 환경에서 학생들을 훈련시키는 것]보다 더 효과적이다. (Hattie et al., 1996; Tricot & Sweller, 2014) 가장 생산적인 학생 전략에는 

• 빈번한 수업 출석(Credé et al., 2010), 

• 노력 조절, 

• 학습에 대한 전략적 접근 방식, 

• 효과적인 시간 및 학습 관리(Richardson et al., 2012)가 포함된다. 

Improving students’ strategies in their regular classes in the context of their scientific discipline is more effective than training them in extracurricular settings with artificially created problems (Hattie et al., 1996; Tricot & Sweller, 2014). Among the most productive student strategies are 

• frequent class attendance (Credé et al., 2010), 

• effort regulation, 

• a strategic approach to learning, and 

• effective time and study management (Richardson et al., 2012). 

크레데 외 연구진(2010)과 리처드슨 외 연구진(2012)의 두 메타분석은 높은 방법론적 품질(cf)이었다. 표 2) 그들의 발견은 가능한 한 항상 열심히 일하는 것이 높은 성취를 위한 최고의 학생 전략은 아니라는 것을 보여준다. 그보다는 시간과 정신적 자원을 언제, 어디에서 투자할지를 신중하게 선택하는 것이 중요하다. 

The two meta-analyses of Credé et al. (2010) and Richardson et al. (2012) were of a high methodological quality (cf. Table 2). Their findings indicate that working as hard as possible all of the time is not the best student strategy for high achievement. Instead, it is important to choose deliberately when and where to invest time and mental resources. 

학생들의 성격과 관련하여, 성실함은 고등교육에서의 학업 성취와 가장 가까운 긍정적인 관계를 보여준다. 이 association의 힘은 여러 교육 단계에 걸쳐 상당히 일정하게 유지되지만, (교육 수준이 증가함에 따라) 빅 파이브 모델 내의 다른 성격 특성과 학업 성과 사이의 연관성은 감소한다(Poropat, 2009; Walton & Billera, 2016 참조).

Regarding student personality, conscientiousness shows the closest positive relation with academic achievement in higher education. The strength of this association remains fairly constant across educational levels, while associations between other personality traits within the Big Five model and academic performance decrease with increasing educational level (Poropat, 2009; see Walton & Billera, 2016, for a review).

Conclusion

본 연구는 국제 연구 문헌에 발표된 고등교육의 성취와 관련된 변수에 대한 메타분석의 첫 번째 체계적이고 포괄적인 검토다. 결과는 일반적으로 학교 학습 또는 일반적인 학습에 대한 유사한 검토의 결과와 호환된다. 그들은 고등교육에서의 현재 논쟁에 대한 증거에 기초한 논거를 제공한다. 교육적 방법과 그것들을 마이크로 레벨에서 실행하는 방법은 사실상 고등교육의 성취와 관련이 있다. 

This study is the first systematic and comprehensive review of the meta-analyses on the variables associated with achievement in higher education published in the international research literature. The results are generally compatible with those of similar reviews for school learning or for learning in general. They offer evidence-based arguments for current debates in higher education. Instructional methods and the way they are implemented on the microlevel are substantially associated with achievement in higher education. 

이것은 고등교육에서 교사 연수의 중요성을 강조한다. 가르치는 것에 대한 다른 접근법들 중에서, 사회적 상호작용은 높은 양의 효과 크기의 가장 높은 빈도를 가지고 있다. 강의, 소그룹 학습, 그리고 프로젝트 기반의 학습 모두 교사 중심의 교육적 요소와 균형을 이룬다면 성취와 긍정적인 연관성을 지니고 있다. 아직까지 교육 및 통신 기술은 지난 수십 년 동안 증가하지 않은 비교적 약한 효과 크기를 가지고 있다. 

This emphasizes the importance of teacher training in higher education. Among the different approaches to teaching, social interaction has the highest frequency of high positive effect sizes. Lectures, small-group learning, and project-based learning all have positive associations with achievement provided they balance teacher-centered with student-centered instructional elements. As yet, instruction and communication technology has comparably weak effect sizes, which did not increase over the past decades. 

고등교육을 잘 받는 학생들은, 예를 들어, 선행교육, 자기 효력, 지능, 그리고 목표 지향적인 학습전략의 이용과 같은, 부분적으로는 선행학교육의 영향을 받는 자질에 의해 특징지어진다. 따라서, 대학들은 K-12 학교의 높은 교육적 질로부터 간접적인 혜택을 받는다. 우리의 연구 결과를 실제로 적용하는 것은 실무자, 교육 연구원, 정책 입안자들의 협력이 필요한 복잡한 과정이다. 

High-achieving students in higher education are characterized by qualities that, in part, are affected by prior school education, for example, prior achievement, self-efficacy, intelligence, and the goal-directed use of learning strategies. Thus, universities indirectly benefit from a high instructional quality in K–12 schools. The application of our findings into practice is a complex process that requires the collaboration of practitioners, educational researchers, and policymakers. 

이 체계적 검토에 포함된 메타분석의 효과적 크기는 그러한 증거 기반 접근법이 고등교육의 성취를 증가시킬 수 있는 큰 잠재력을 가지고 있음을 나타낸다.

The effect sizes of the meta-analyses included in this systematic review indicate that such an evidence-based approach has great potential for increasing achievement in higher education.

---

Psychol Bull. 2017 Jun;143(6):565-600. doi: 10.1037/bul0000098. Epub 2017 Mar 23.

Variables associated with achievement in higher education: A systematic review of meta-analyses.

Schneider M1, Preckel F1.

Author information

1

Psychology Department, University of Trier.

Abstract

The last 2 decades witnessed a surge in empirical studies on the variables associated with achievement in higher education. A number of meta-analyses synthesized these findings. In our systematic literature review, we included 38 meta-analyses investigating 105 correlates of achievement, based on 3,330 effect sizes from almost 2 million students. We provide a list of the 105 variables, ordered by the effect size, and summary statistics for central research topics. The results highlight the close relation between social interaction in courses and achievement. Achievement is also strongly associated with the stimulation of meaningful learning by presenting information in a clear way, relating it to the students, and using conceptually demanding learning tasks. Instruction and communication technology has comparably weak effect sizes, which did not increase over time. Strong moderator effects are found for almost all instructional methods, indicating that how a method is implemented in detail strongly affects achievement. Teachers with high-achieving students invest time and effort in designing the microstructure of their courses, establish clear learning goals, and employ feedback practices. This emphasizes the importance of teacher training in higher education. Students with high achievement are characterized by high self-efficacy, high prior achievement and intelligence, conscientiousness, and the goal-directed use of learning strategies. Barring the paucity of controlled experiments and the lack of meta-analyses on recent educational innovations, the variables associated with achievement in higher education are generally well investigated and well understood. By using these findings, teachers, university administrators, and policymakers can increase the effectivity of highereducation. (PsycINFO Database Record.

PMID:

 

28333495

 

DOI:

 

10.1037/bul0000098