PBL의 효과: 평가의 관점에서 메타분석(Review of Educational Research, 2005)

PBL의 효과: 평가의 관점에서 메타분석(Review of Educational Research, 2005)

Effects of Problem-Based Learning: A Meta-Analysis From the Angle of Assessment

David Gijbels University of Antwerp

Filip Dochy University of Leuven

Piet Van den Bossche University of Maastricht

Mien Segers University of Leiden and University of Maastricht

PBL

Problem-Based Learning

캐나다에서 그 당시 의학교육의 일반적인 관행에 대한 불만으로 50년대와 60년대에 개발되었다.

PBL, as it is known today, originated in Canada in the 1950s and 1960s in response to dissatisfaction with common practices in medical education there (Barrows, 1996).

정의

Definition

문헌에서, PBL은 다양한 방법으로 정의되고 기술되어 왔다. PBL은 학습과 가르침의 많은 부분을 구체적인 문제에 anchor시키는 교육에 대한 많은 상황별 접근법을 언급하는데 사용된다(Evenson & Hmelo, 2000). 대부분의 PBL 정의에서 구체적인 문제에 초점을 맞추어 학습 프로세스를 시작하는 것을 핵심으로 말한다

In the literature, PBL has been defined and described in various ways. PBL is used to refer to many contextualized approaches to instruction that anchor much of learning and teaching in concrete problems (Evenson & Hmelo, 2000). This focus on concrete problems as initiating the learning process is central in most definitions of PBL.

Vernon과 Blake (1993, 페이지 550)는 PBL을 정의했다 : "다음을 강조하는 학습(또는 교육) 방법

(1) (실제 또는 가상의) 임상 사례에 대한 연구 

(2) 소규모 토론 그룹,

(3) 협력적 독립 연구, 

(4) 가설-연역적 추론 

(5) 정보전달보다는 그룹 progress에 집중하는 교수 지도 스타일. 

Vernon and Blake (1993, p. 550) defined PBL : “a method of learning (or teaching) that emphasizes

(1) the study of clinical cases, either real or hypothetical, 

(2) small discussion groups,

(3) collaborative independent study, 

(4) hypothetico-deductive reasoning, and 

(5) a style of faculty direction that concentrates on group progress rather than imparting information.” 

이 정의의 범위는 하나의 보편적인 정의를 내리는 것이 얼마나 어려운지를 보여준다. (Chen, Cowdroy, Kingsland, and Ostwald, 1995)

This range of definitions illustrates how difficult it is to come to one universal definition (Chen, Cowdroy, Kingsland, & Ostwald, 1995).

Savin-Baden(2000)은 PBL의 특성은 좁게 정의되지 않으며, 다양한 PBL 접근을 사용하는 다양한 상황에서 일하는 사람들이 있다고 주장한다.

Savin-Baden (2000) argues that there simply are no narrowly defined characteristics of PBL, only people working in various contexts using various PBL-approaches.

Barrows(1996)는 McMaster University의 원래 방법을 기반으로 핵심 모델을 개발했다. 의학 교육의 맥락에서 유래된 맥매스터 접근법은 많은 다른 맥락에서 확고한 기초가 되었다. (Boud & Felti, 1997) Barrows의(1996) 핵심 모델은 PBL의 6가지 핵심 특성을 설명한다.

Barrows (1996) developed a core model based on the original method from McMaster University. The McMaster approach that originated in the context of medical education has served as a robust basis for many other contexts (Boud & Feletti, 1997). Barrows’s (1996) core model describes six core characteristics of PBL:

1. 배움은 학생 중심이다.

2. 배움은 소그룹 학생 집단에서 일어난다.

3. 지도교사가 조력자 또는 안내자로 참석한다.

4. Authentic 문제는 학습 전 또는 준비단계와 같이 학습 시퀀스의 시작 부분에 나타난다.

5. 마주친 문제들은 결국 문제를 해결하는 데 필요한 지식과 문제 해결 능력을 얻기 위한 도구로 사용된다.

6. 자기 주도적 학습을 통해 새로운 정보를 얻는다.

1. Learning is student-centered.

2. Learning occurs in small student groups.

3. A tutor is present as a facilitator or guide.

4. Authentic problems are presented at the beginning of the learning sequence, before any preparation or study has occurred.

5. The problems encountered are used as tools to achieve the required knowledge and the problem-solving skills necessary to eventually solve the problems.

6. New information is acquired through self-directed learning.

PBL의 정의가 애매한 것과 마찬가지로, 기존의 강의 기반 프로그램의 구성에 대한 정의도 모호하다는 점에 유의해야 한다. 대부분의 경우 기존 교육은 대규모 그룹 강의와 강사가 제공하는 학습 목표와 과제에 의해 결정된다(Albanese & Mitchell, 1993년).

It should be noted that, just as the definition of PBL is ambiguous, so too is the definition of what constitutes a conventional lecture-based program. For the most part, conventional instruction is marked by large group lectures and instructor provided learning objectives and assignments (Albanese & Mitchell, 1993).

PBL의 주요 목적

Main Goals of PBL

고등교육의 문제 기반 학습 환경은 학생들이 학문 분야의 전문가가 되도록 유도하기 위한 것이며, 이는 discipline과 관련된 문제를 식별하고, 해결책을 분석하고, 기여할 수 있다.

Problem-based learning environments in higher education are intended to guide students to become experts in a field of study, capable of identifying the problems of the discipline and analyzing and contributing to the solutions.

전문가 성과에 대한 두 가지 일반적인 특성을 확인할 수 있다(Feltovich, Spiro, & Coulson, 1993; Gagné et al., 1993; Glaser, 1990).

Two general characteristics of expert performance can be identified (Feltovich, Spiro, & Coulson, 1993; Gagné et al., 1993; Glaser, 1990):

1. 전문가들은 논리정연한 지식을 가지고 있다. 

1. Experts possess coherent knowledge. 

그들은 주요 현상과 그들의 관계를 정확하게 나타내는 도메인에서 개념과 원칙의 잘 구성된 네트워크를 장악하고 있다. 이와는 대조적으로, 초보자들의 지식은 기본적인 원칙과 패턴을 이해하지 못하는 분절된 정의들로 구성되어 있다.

They have command of a well-structured network of concepts and principles in the domain that accurately represents key phenomena and their relationships. In contrast, beginners’ knowledge is patchy, consisting of isolated definitions without an understanding of underlying principles and patterns.

2. 전문가들은 새로운 문제를 기술하고 해결하기 위해 관련 지식 요소를 사용하는 방법을 알고 있다.

2. Experts know how to use the relevant elements of knowledge in a flexible way to describe and solve novel problems.

글레이저(1990, 페이지 447)가 지적한 바와 같이, "전문가 및 초보자는 특정 정보 항목의 리콜에 있어 동등하게 유능할 수 있지만, 더 많은 경험이란 이러한 아이템들을 문제 해결의 목표와 행동 조건과 관련지을 수 있는 것이다." 초심자는 종종 사실, 개념 및 원칙을 [적용하는 조건]과 [가장 효과적으로 사용할 수 있는 방법]은 모른 채로 사실적 지식만을 알고 있다.

As Glaser (1990, p. 447) noted, “experts and novices may be equally competent at recalling specific items of information, but the more experienced relate these items to the goals of problem solution and conditions for action.” Novices often know facts, concepts, and principles without knowing the conditions under which they apply and how they can be used most effectively.

PBL의 효과

Effects of PBL

PBL의 도입을 심사숙고한다면, 중요한 질문은 PBL을 사용하는 학생들이 전통적인 교육을 받은 학생들보다 더 효과적인 방법으로 목표에 도달하는가 하는 것이다. 알바네즈와 미첼(1993, 페이지 56)은 다음과 같이 질문을 제기하였다. 

If one ponders the implementation of PBL, a major question is: Do students who use PBL reach the goal in a more effective way than students who receive conventional instruction? Albanese and Mitchell (1993, p. 56) posed the question this way: 

"뭉뚱그려 말해보자면, 문제 기반 학습이 단순히 같은 결과를 달성하는 또 다른 방법이라면, 왜 고통스러운 커리큘럼 개정에 드는 비용과 노력을 들여야 하는가?"

“Stated bluntly, if problem-based learning is simply another route to achieving the same product, why bother with the expense and effort of undertaking a painful curriculum revision?”

알바니아인과 미첼(1993)의 리뷰는 아마도 가장 잘 알려져 있을 것이다.

The review by Albanese and Mitchell (1993) is probably the best known.

이 검토의 주요 결과는 

(a) 학생들은 PBL이 기존의 교육보다 더 nurturing하고 즐거운 것임을 알게 되었다. 

(b) PBL 졸업생은 기존 교육을 받은 학생보다 임상시험 및 교수진 평가에서 더 잘 수행했다. 

The main results of this review were that 

(a) students found PBL to be more nurturing and enjoyable than conventional instruction, and 

(b) PBL graduates performed as well, and sometimes better, on clinical examinations and faculty evaluations than did students who had received conventional instruction. 

그러나 PBL 학생들은 기초과학 시험에서 낮은 점수를 받았으며, 그들 스스로는 전통적으로 훈련된 다른 학생들과 비교했을 때 기초과학에서 준비가 덜 되어 있다고 생각했다. 더욱이, PBL 졸업생들은 전문가들이 관여하는 전향적인 추론보다는 오히려 역추론에 참여하는 경향이 있었다. 마지막으로, 학생 수가 100명을 초과할 때 PBL의 비용은 높았다.

However, PBL students scored lower on basic science examinations and viewed themselves as less well prepared in the basic sciences in comparison with their conventionally trained counterparts. Furthermore, PBL graduates tended to engage in backward reasoning rather than the forward reasoning that experts engage in. Finally, the costs of PBL were high when class sizes exceeded 100.

(1993), Vernon and Blake

PBL은 자신의 프로그램에 대한 학생들의 태도와 의견과 학생들의 임상 성적 측정 면에서 상당히 우수한 것으로 밝혀졌다. 이전의 검토 결과와는 달리, 사실 및 임상 지식에 대한 다양한 테스트에서 PBL 학생들의 점수는 전통적인 방식으로 학습한 학생들의 점수와 크게 다르지 않았다.

PBL was found to be significantly superior with respect to students’ attitudes and opinions about their programs and with respect to measures of students’ clinical performance. Contrary to the previous review findings, the scores of PBL students on miscellaneous tests of factual and clinical knowledge were not significantly different from the scores of conventionally taught students.

Berkson (1993)

그 결과는 PBL 졸업생과 기존 교수진 간의 차이를 보여주지 못했지만, PBL은 학생과 교수진 모두에게 스트레스를 주었고 터무니없이 비싼 것으로 보였다.

The results showed no distinction between graduates of PBL and conventional instruction, but PBL was stressful for both students and faculty and appeared to be unreasonably expensive.

Colliver는 PBL이 학생들의 지식 기반이나 임상적 성과를 향상시킨다는 설득력 있는 증거는 없다고 결론짓는다. 적어도 PBL 커리큘럼에 필요한 자원을 감안할 때, 그 정도만큼은 아닐 것이다. 그럼에도 불구하고, PBL은 의료 교육에 대해 더 도전적이고, 동기 부여적이며, 즐거운 접근방법을 제공할 수 있다.

Colliver concludes that there is no convincing evidence that PBL improves students’ knowledge base or clinical performance, at least not of the magnitude that would be expected given the resources required for a PBL curriculum. Nevertheless, PBL may provide a more challenging, motivating, and enjoyable approach to medical education.

Dochy et al. (2003)

그들의 메타 분석 결과는 문제 기반 학습이 학생들의 지식 적용에 통계적으로 그리고 실질적으로 중요한 긍정적인 영향을 미친다는 것을 암시한다. 문제 기반 학습이 학생들의 지식 기반에 미치는 영향은 부정적이다.

The results of their meta-analysis suggest that problem-based learning has statistically and practically significant positive effects on the students’ knowledge application. The effect of problem-based learning on the knowledge base of students tends to be negative.

PBL의 평가

Assessment in Problem-Based Learning

PBL에서 학습하는 학생들을 평가하기 위해 전통적인 객관식 시험과 논술 시험에서부터 사례 기반 평가, 자기 및 동료 평가, 성과 기반 평가 및 포트폴리오 평가와 같은 새로운 평가 기법에 이르기까지 매우 다양한 방법이 사용되었다.

Widely varied methods have been used to assess students learning in PBL, from traditional multiple-choice exams and essay exams to new assessment techniques such as case-based assessment, self and peer assessment, performance based assessment, and portfolio assessment.

이제는 7번째 특성을 Barrows의 PBL의 핵심 모델인 PBL의 6가지 특징에 더해야 한다는 것이 일반적으로 인식되고 있다. 즉, PBL에서는 학생들이 대표적인representative 문제를 분석하고 해결함으로써 배우는 것이 필수적이다. 결과적으로, 타당한 평가 시스템은 PBL 환경과 일치하는 평가 환경에서 학생들의 문제 해결 능력을 평가할 것이다. 이는 PBL의 평가가 지식 기반(의 조직화)과 학생의 문제 해결 기술을 모두 고려해야 한다는 것을 의미한다(Segers et al., 2003).

It is now generally recognized that a seventh characteristic should be added to the six characteristics in Barrows’s (1996) core model of PBL: That is, it is essential to PBL that students to learn by analyzing and solving representative problems. Consequently, a valid assessment system would evaluate students’ problem-solving competencies in an assessment environment that is congruent with the PBL environment. This means that assessment in PBL should take into account both the organization of the knowledge base and the students’ problemsolving skills (Segers et al., 2003).

다음을 함의한다

implies the following:

1. 학생들의 문제해결 능력은 authentic 평가 환경에서 평가되어야 한다. 즉, authentic 평가 과제나 문제를 이용하여 평가된다. (Baxter & Shavelson, 1994; Shavelson, Gao, 1996)

1. Students’ problem-solving skills are evaluated in an authentic assessment environment, i.e., using authentic assessment tasks or problems (Baxter & Shavelson, 1994; Shavelson, Gao, & Baxter 1996).

2. Authentic 문제는 학생들에게 novel해야 하며, 이로서 학생들이 이전에 습득한 지식과 기술을 전이하여, 문제 해결뿐만 아니라 상황 요소가 문제 분석에 미치는 영향에 대한 이해를 보여주도록 요구해야 한다. (Birenbaum & Dochy, 1996)

2. The authentic problems are novel to the students, asking them to transfer knowledge and skills acquired previously and to demonstrate understanding of the influence of contextual factors on problem analysis as well as on problem solving (Birenbaum & Dochy, 1996).

3. 문제 분석 평가 과제는 학생들이 다양한 관련 관점을 바탕으로 자신의 생각을 주장하도록 요구한다(Segers, 1997).

3. The problem-analysis assessment tasks ask students to argue for their ideas on the basis of various relevant perspectives (Segers, 1997).

4. 시험항목은 개별 개념에 대한 지식 이상의 것을 요구한다. 통합지식, 관련 아이디어와 개념의 통합을 요구하는 것 등이 강조된다. 실생활 문제는 대부분 다차원적이며, 따라서 한 연구분야에 다양한 분야를 통합하기 때문에 평가는 이러한 통합적 특성의 문제에 초점을 맞춘다(Segers, 1997년).

4. The test items ask for more than the knowledge of separate concepts: Integrative knowledge, requiring the integration of relevant ideas and concepts, is stressed. Because real-life problems are mostly multidimensional and, as such, integrate various disciplines within one field of study, assessment focuses on problems with this integrative characteristic (Segers, 1997).

5. 핵심은 [문제 해결을 위한 지식의 적용]에 대한 평가이다.

5. Assessment of the application of knowledge in problem solving is the heart of the matter.

문제해결의 이론적 프레임워크

Theoretical Framework on Problem Solving

문제 해결에 대한 Sugrue의 이해에 대한 이전의 구절은 문제 해결 평가에 의해 대상이 될 수 있는 지식 구조의 세 가지 측면 사이의 구분을 뒷받침한다.

The preceding paraphrase of Sugrue’s understanding of problem solving supports a distinction between three aspects of the knowledge structure that can be targeted by assessment of problem solving.

첫째, 개념에 대한 이해는 "attributes이나 properties을 정의하고, 동일한 이름으로 식별되는 객체, 이벤트, 사람, 기호 또는 아이디어의 범주"로 정의될 수 있다(Sugrue, 1993, 페이지 9). 그것은 인지심리학자들이 소위 말하는 선언적 지식의 범주에 속한다.

First, the understanding of concepts, which can be defined as “a category of objects, events, people, symbols or ideas that share common defining attributes or properties and are identified by the same name” (Sugrue, 1993, p. 9). It belongs to the category of what cognitive psychologists have called declarative knowledge.

다음으로, (개념을 연결하는) 원리에 대한 이해는 구별되어야 한다. Sugrue (9페이지)는 원칙을 다음과 같이 정의했다. "둘 이상의 개념 사이의 관계(흔히 인과 관계)를 특징짓는 규칙, 법, 공식 또는 if-then statement. Principles는 문제를 해석하고, 행동을 guide하고, 시스템을 문제 해결하며, 왜 어떤 일이 발생했는지 설명하거나, 일부 개념의 변경이 다른 개념에 미치는 영향을 예측하는 데 사용될 수 있다" If-then production rule또는 단계적 순서는 절차적 지식이라고 부르는 경우가 많았다(Anderson, Reynolds, Schallert, and Goetz, 1977년).

Next, understanding of the principles that link concepts should be distinguished. Sugrue (p. 9) defined a principle as “a rule, law, formula, or if-then statement that characterizes the relationship (often causal) between two or more concepts. Principles can be used to interpret problems, to guide actions, to troubleshoot systems, to explain why something happened, or to predict the effect a change in some concept(s) will have on other concepts.” If-then production rules or sequences of steps have often been called procedural knowledge (Anderson, Reynolds, Schallert, & Goetz, 1977).

마지막으로 개념과 원칙을 적용을 위해 조건 및 절차에 연결하는 것 또한 평가에 의해 목표가 되어야 한다. 

• "절차"는 "개념의 인스턴스를 분류하거나 개념의 상태를 변경하여 다른 것을 변경하기 위해 수행할 수 있는 단계 집합"으로 정의한다(Sugrue, 페이지 22). 

• "조건"은 "개념의 인스턴스(instance)의 존재를 나타내는 환경 범위 및/또는 원칙이 작동 중이거나 적용될 수 있거나 특정 절차가 적절하다"로 정의된다(Sugrue, 페이지 22). 

...조건적 지식의 범주에 넣을 수 있다(Paris, Lipson, and Wixson, 1983) 

Finally, the linking of concepts and principles to conditions and procedures for application should also be targeted by assessment. 

• A “procedure” defined as “a set of steps that can be carried out either to classify an instance of a concept or to change the state of a concept to effect a change in another” (Sugrue, p. 22) and 

• “conditions” defined as “aspects of the environment that indicate the existence of an instance of a concept, and/or that a principle is operating or can be applied and/or that a particular procedure is appropriate” (Sugrue, p. 22) 

...can be placed in the category of conditional knowledge (Paris, Lipson, & Wixson, 1983). 

지식 구조의 마지막 측면(응용을 위해 조건 및 절차에 개념과 원칙을 연결하는 것)에서 선언적 지식은 절차적 지식에 캡슐화된다.

In this final aspect of the knowledge structure—linking of concepts and principles to conditions and procedures for application—declarative knowledge becomes encapsulated in procedural knowledge.

연구질문

Research Questions

Using Sugrue’s model (1993, 1995) as a frame of reference, the research questions can be formulated as follows: What are the effects of PBL when the assessment of its main goals focuses respectively on 

(a) the understanding of concepts, 

(b) the understanding of the principles that link concepts, and 

(c) the linking of concepts and principles to conditions and procedures for application?

Method

Criteria for Inclusion

Literature Search

Coding Study Characteristics

Synthesizing Research

문학 비평은 서술, 정량적 방법, 통계적 메타 분석의 세 가지 접근법 중 하나를 취할 수 있다. 서술적 리뷰에서 저자는 체계적이고 창의적인 방법으로 문학에 대해 이해하려고 노력한다. (Van IJzendoorn, 1997) 정량적 방법은 연구 통합에 기초 수학적 절차를 사용한다(예: box score를 산출하기 위한 빈도 계산). 

Literature reviews can take any of three approaches: narrative, quantitative method, and statistical meta-analysis. In a narrative review, the author tries to make sense of the literature in a systematic and creative way (Van IJzendoorn, 1997). Quantitative methods use elementary mathematical procedures for synthesizing research studies (e.g., counting frequencies to produce box scores). 

정량적 접근법은 서술적 검토보다 더 객관적이지만 깊이는 더 적다(Dochy et al., 1999). 유리(1976)는 정량적 절차의 접근방식을 체계화하고 메타 분석이라는 용어를 도입했다. 즉, 결과를 통합하기 위한 개별 연구의 대규모 분석 결과의 통계적 분석이다(Kulik & Kulik, 1989). 

A quantitative approach is more objective than a narrative review but also has less depth (Dochy et al., 1999). Glass (1976) systematized the approach of quantitative procedures and introduced the term meta-analysis: the analysis of analyses, i.e., the statistical analysis of a large collection of analysis results from individual studies for the purpose of integrating the findings (Kulik & Kulik, 1989). 

메타분석의 두 가지 중요한 장점은 

(a) 실질적으로 다양한 연구를 통합할 수 있다. 

(b) 통합은 검토자의 결과 해석 또는 사용에 의해 크게 영향을 받지 않는다.

Two important advantages of meta-analyses are that 

(a) large numbers of studies that vary substantially can be integrated, and 

(b) the integration is not greatly influenced by the interpretation or use of the findings by the reviewers.

연구를 통합하는 가장 오래된 절차는 서술적 검토다. 서술적 또는 정성적 검토에서, 각 연구의 결과는 "표면적 가치"로 간주되고, 누군가는 결과를 포괄적 이론에 통합하려고 한다. (Hunter & Schmidt, 1990) 이것은 체계적이고, 동시에, 창조적인 방법으로 일어난다. 그러나 통합은 종종 적은 수의 연구만 고려하고 다른 모든 연구를 불충분으로 분류하는 것에서 발생한다(Glass, 1976년).

The oldest procedure for integrating studies is the narrative review. In the narrative or qualitative review, results from each study are considered at “face value,” and one tries to integrate the findings in an umbrella theory (Hunter & Schmidt, 1990). This takes place in a systematic and, at the same time, creative way. However, the integration often arises from taking only a small number of studies into account and classifying all other studies as deficient (Glass, 1976).

Van IJZendoorn(1997)은 서술적 검토자와 정량적 검토자가 동일한 방식으로 가설의 공식화와 관련 연구의 체계적 집계에 대해 설정했다고 지적했다. 이는 데이터 분석 단계에서 그들의 방법이 갈라지는 것이다. 따라서 통계적이고 정량적인 메타분석에 대한 해석은 서술적 검토의 강점인 창의성과 직관을 전제로 한다. 반 이젠도른(1997, 페이지 4)과 함께, 우리는 "서술적 요소는 항상 메타분석 접근법에 통합되어야 한다"고 결론짓는다.

Van IJzendoorn (1997) points out that the narrative reviewer and the quantitative reviewer set about the formulation of hypotheses and the systematic gathering of relevant studies in the same way; it is at the stage of data analysis that their methods diverge. Thus the interpretation of the more statistical, quantitative metaanalysis presupposes the narrative reviewer’s strengths: creativity and intuition. With Van Ijzendoorn (1997, p. 4), we conclude that “a narrative component should always be integrated in the meta-analytic approach.”

Metric for Expressing Effect Sizes

Identifying Independent Hypothesis Tests

Combining Effect Sizes Across Studies

Analyzing Variance in Effect Sizes Across Studies

결과

Results

In general, the results of the vote count were statistically significant, except for the assessment of the first level of the knowledge structure. These results suggest that students in PBL perform better at the second and third levels of the knowledge structure.

결론 및 고찰

Conclusion and Discussion

이 검토의 목적은 평가를 통해 측정하는 underlying focal construct의 각도에서 PBL의 영향을 검토하는 것이었다.

The purpose of this review was to examine the effects of PBL from the angle of the underlying focal constructs being measured with the assessment.

우리는 다양한 연구에 사용된 평가 방법을 세 가지 분석 범주로 분류하기 위해 문제 해결의 인지 요소에 대한 수그루의(1995) 모델을 사용했다. 이 세 가지 범주는 개념의 이해, 개념을 연결하는 원리의 이해 그리고 개념과 원칙을 적용을 위한 조건과 절차에 연결하는 문제 해결의 평가에 의해 대상이 될 수 있는 지식 구조의 세 가지 수준이었다.

We used Sugrue’s (1995) model on the cognitive components of problem solving to classify the methods of assessment used in various studies into three categories of analysis. These three categories were the three levels of the knowledge structure that can be targeted by assessment of problem solving: 

• understanding of concepts, 

• understanding of the principles that link concepts, and 

• linking of concepts and principles to conditions and procedures for application.

메타분석에 대한 또 다른 비판, 즉 좋은 것과 나쁜 것의 혼합을 가리키는 "쓰레기 내, 쓰레기 배출" 비평 (Hunt, 1997)도 우리의 검토에 적용될 수 있다.

Another criticism of meta-analysis, the “garbage in, garbage out” critique (Hunt, 1997), which refers to the mixing good and bad studies, may also apply to our review.

Sugrue(1993, 1995)가 제시한 모델은 문제 해결의 구성요소에 대한 하나의 가능한 프레임워크일 뿐이다. 모델의 힘은 동시에 모델의 가장 큰 약점이다.

The model presented by Sugrue (1993, 1995) is only one possible framework for the components of problem solving. The strength of the model is at the same time the greatest weakness of the model.

이러한 제한에도 불구하고, 우리는 이 검토의 연구 분석에서 몇 가지 유용한 결론을 도출할 수 있다고 생각한다. 일반적으로 PBL의 효과는 측정하는 지식 구조의 수준에 따라 달라진다. PBL은 평가 대상이 되는 focal construct가 지식 구조의 두 번째 수준인 개념을 연결하는 원칙을 이해하는 수준에 있을 때 가장 긍정적인 영향을 미쳤다. 단 하나의 연구만이 유의한 부정적 결과를 보여주었다(Martenson et al., 1985). 지식 구조의 3번째 단계에서 부정적인 발견은 발견되지 않았다.

Despite these limitations, we feel that several useful conclusions may be drawn from the analysis of studies in this review. In general, the effect of PBL differs according to the levels of the knowledge structure being measured. PBL had the most positive effects when the focal constructs being assessed were at the level of understanding the principles that link concepts, the second level of the knowledge structure. Only one study presented significant negative findings (Martenson et al., 1985). No negative findings were found at the third level of the knowledge structure.

Dochy 등과의 결론과 마찬가지로, PBL의 효과는 [개념을 연결시켜주는 원리에 대한 이해]가 평가의 중심에 있을 때 더욱 긍정적이다(가중 평균 ES = 0.795). 지식 구조의 더 복잡한 수준을 평가할 때 PBL의 효과가 더 커야 한다는 제안과 달리, 여전히 긍정적이지만, 지식 구조의 3차 레벨에 속하는 효과 크기는 더 작고(가중 평균 ES = 0.339) 통계적으로 유의하지 않다.

In line with the conclusion of Dochy et al., the effect of PBL is more positive when understanding of the principles that link concepts is at the heart of the assessment (weighted average ES = 0.795). Contrary to the suggestion that the effects of PBL should be larger when more complex levels of the knowledge structure are being assessed, the effect size belonging to the third level of the knowledge structure, although still positive, is smaller (weighted average ES = 0.339) but not statistically significant.

이러한 결과를 PBL의 주요 목표와 전문가-초보자 연구의 주요 목표와 연계하여, 전문성을 향한 학생들의 진로가 가속화되었다고 결론 내릴 수 있다(Glaser, 1990). 

• 첫째, PBL 학생들은 고도로 구조화된 개념과 원칙 네트워크를 가지고 있는 것 같다(레벨 2). 

• 둘째, PBL 학생들은 좀 더 전통적인 학습 환경의 학생들과 비교했을 때, 특정 정보 항목을 기억하는 데 있어서 동등하게 능숙하다.

Linking these results to the main goals of PBL and the expert–novice studies, it could be concluded that students’ path toward expertise has been accelerated (Glaser, 1990). 

• First, students in PBL seem to posses a highly structured network of concepts and principles (Level 2). 

• Second, students in PBL are equally competent at recalling specific items of information, as compared with students in more conventional learning environments.

학생들의 전문성 수준은 도치 외 연구진(2003)에 의한 메타 분석의 조정 변수 중 하나이다. 그들의 결과는 지식 습득에 있어서 전통적인 교육 방법의 이점이 2년 후 사라졌다는 것을 암시한다.

The expertise level of the students was one of the moderating variables in the meta-analysis by Dochy et al. (2003). Their results suggest that the advantage of the conventional education method in knowledge acquisition disappears after the second year.

PBL은 복잡한 문제를 해결할 수 있는 학생들을 교육하는 것을 목표로 한다. 교육 목표와 그에 따른 교육 원칙 및 실천요강에 부합하기 위해 문제 해결에 대한 지식 적용에 대한 평가는 PBL의 핵심이다. 따라서 PBL 학생들이 이 수준의 지식 구조를 더 잘 수행할 것으로 예상할 수 있다. PBL의 효과는 평가가 [개념을 연결하는 원칙의 이해]에 초점을 둘 때 더 크다.

PBL aims to educate students who are able to solve complex problems. To be congruent with its education goals and resulting instructional principles and practices, the assessment of the application of knowledge in solving problems is at the heart of the matter in PBL. Therefore, one could expect students in PBL to perform better at this level of the knowledge structure. The effect of PBL is larger when assessment appeals to the understanding of principles that link concepts.

효과 크기의 실질적인 유의성에 대한 평가는 교육과 다른 분야의 연구자들 사이의 논의 대상이다(Springer et al., 1999). 글래스 외 연구진(1981, 페이지 104)에 따르면, "효과 크기 측정치의 영역을 '작은', '한계', '큰' 등과 같은 서술적 형용사와 연관시키려는 시도는 전혀 지혜가 없다." 

The evaluation of the practical significance of an effect size is a subject of discussion between researchers in education and other fields (Springer et al., 1999). As Glass et al. (1981, p. 104) note, “There is no wisdom whatsoever in attempting to associate regions of the effect-size metric with descriptive adjectives such as ‘small,’ ‘moderate,’ ‘large,’ and the like.” 

Cohen(1988)과 Kirk(1996)는 행동과학의 다양한 조사 분야로서 전력분석에 사용하기 위해 기존의 운영 정의를 제공하는 데 내재된 위험이 있다고 말하며 일반 지침(ES = 0.20, 소효과, ES = 0.5, 중간 효과, ES = 0.80, 대규모 효과)을 제시하였지만 hesitant하였다.

Cohen (1988) and Kirk (1996) hesitantly suggested general guidelines (ES = 0.20, small effect; ES = 0.50, moderate effect; and ES = 0.80, large effect), stating that “there is a certain risk inherent in offering conventional operational definitions for those terms for use in power analysis in as diverse a field of inquiry as behavioral science” (Cohen, 1988, p. 25). 

일반적으로 교육 연구 분야에서는 0.33의 효과적 크기가 실질적인 중요성을 확립하는 데 필요한 최소치로 간주된다(Gall, Borg, & Gall, 1996). 이러한 관점에서 볼 때, 현재 메타 분석의 결과는 지식 구조 조직의 평가에 실질적인 중요성을 가지며(ES = 0.339), 평가가 개념과 원칙과 적용 조건 및 절차의 연계를 다룰 때(ES = 0.795) 실제로 중요하다.

In general in the field of education research, an effect size of 0.33 is seen as the minimum necessary to establish practical significance (Gall, Borg, & Gall, 1996). Considered in this light, the results of the present meta-analysis 

• are of practical significance (ES = 0.339) for the assessment of the organization of the knowledge structure, and they certainly 

• are of practical significance when assessment addresses the linking of concepts and principles to application conditions and procedures (ES = 0.795).

동질성 분석에서, 위에서 언급한 바와 같이, 평가 방법이 PBL의 보고된 효과에 중요한 영향을 미치지만, PBL의 효과를 검사할 때 PBL의 다른 moderator가 중요한 역할을 한다는 것은 분명하다. 연구 설계, 구현 범위 및 연구 연도가 PBL 효과 보고에서 가능한 온건한 변수인 것으로 나타났다(Dochy et al., 2003).

From the homogeneity analysis, it is clear that the method of assessment has an important influence in the reported effects of PBL, as stated above, but also that other moderators of PBL play a substantial role when the effects of PBL are examined. Study design, scope of implementation, and year of study have been shown to be possible moderating variables in the reporting of the effects of PBL (Dochy et al., 2003).

---

Abstract

This meta-analysis investigated the influence of assessment on the reported effects of problem-based learning (PBL) by applying Sugrue’s (1995) model of cognitive components of problem solving. Three levels of the knowledge structure that can be targeted by assessment of problem solving are used as the main independent variables: (a) understanding of concepts, (b) understanding of the principles that link concepts, and (c) linking of concepts and principles to conditions and procedures for application. PBL had the most positive effects when the focal constructs being assessed were at the level of understanding principles that link concepts. The results suggest that the implications of assessment must be considered in examining the effects of problem-based learning and probably in all comparative education research.

Keywords assessment, meta-analysis, problem-based learning