PBL 메타분석과 고찰에서 핵심 관점을 발견하기 위한 리뷰: 트렌드, 갭, 미래 연구 방향(Adv Health Sci Educ Theory Pract, 2019)

PBL 메타분석과 고찰에서 핵심 관점을 발견하기 위한 리뷰: 트렌드, 갭, 미래 연구 방향(Adv Health Sci Educ Theory Pract, 2019)

A review to identify key perspectives in PBL meta‑analyses and reviews: trends, gaps and future research directions
Woei Hung1 · Diana H. J. M. Dolmans2 · Jeroen J. G. van Merriënboer2

 

 

 

 

 

 

도입 Introduction

50여 년 전, 존 에반스는 새로운 의과대학 교육과정을 위한 목표 목록을 만들었다. 이러한 목표는 결국 맥마스터의 문제 기반 학습(PBL) 의학 교육 커리큘럼(Servant-Miklos et al. 2019)의 백본이 되었고, 다음과 같은 졸업생에 대한 논쟁을 완화하기 위한 의도를 가지고 있었다.

• 학생들이 배운 것을 적용하지 못한다.
  
• 의료 환경의 물리적, 사회적, 정서적 요구에 대한 준비가 미흡하다.
  

More than 50 years ago, John Evans created a list of objectives for a new medical school curriculum. These objectives eventually became the backbone of McMaster’s Problem-based Learning (PBL) medical education curriculum (Servant-Miklos et al. 2019), meant to alleviate longstanding issues with graduates

• being unable to apply what they have learned (Barrows 1996; Barrows and Tamblyn 1980; Schmidt 1983) and
• being underprepared for the physical, social, and emotional demands of healthcare environments.

맥매스터가 PBL을 구현한 지 몇 년 후, 이 교육학적 접근법이 유럽에 도입되었고, 그 후 마스트리히트 모델이 탄생했다. 지난 50년 동안 PBL은 다양한 분야와 모든 교육 수준(Hung and Loyens 2012)으로 전 세계로 확산되었습니다.

A few years after McMaster’s implementation of PBL, this pedagogical approach was brought to Europe, and thence the Maastricht model was born. Over the past 50 years, PBL has spread across the world in many different disciplines and at all levels of education (Hung and Loyens 2012).

PBL은 기존의 강의 기반 교육 관례와 대조적으로 문제 중심 교육, 자기 주도 학습, 소그룹 학습을 활용하여 학생들의 과목 공부를 구조화한다. PBL은 배움을 바꾼다.

• [추상적 사실 지식의 암기]에서 [적용할 수 있는 지식 개발]로
• [수동적으로 지식을 얻는 것]에서 [적극적으로 지식을 구하는 것]으로
• [개인적 이해를 개별적으로 구축하는 것]에서 [다른 사람들과 함께 사회적으로 공유된 지식을 협력적으로 구축하는 것]으로

In contrast with traditional lecture-based instructional conventions, PBL utilizes problem-driven instruction, self-directed learning, and small-group learning to structure students’ study of subjects. It shifts learning

• from memorizing abstract factual knowledge to developing knowledge that can be applied;
• from passively receiving knowledge to actively seeking knowledge; and
• from individually building personal understanding alone to collaboratively constructing socially shared knowledge with others.

즉, PBL은 학생들이 [독립적인 문제 해결자, 더 나은 지식 추구자, 효과적인 팀 선수, 그리고 평생 학습자]가 되기 위해 통합된 일련의 지식, 기술 및 태도를 갖추도록 하기 위한 것이다.

Thus, PBL is meant to equip students with an integrated set of knowledge, skills, and attitudes to become independent problem solvers and better knowledge seekers, effective team players, and lifelong learners.

PBL은 역사상 가장 혁신적인 교육법 중 하나로 간주되며 널리 확산되었을 수 있지만 완벽하지는 않다. 원래의 McMaster PBL 모델은 반복적으로 시행되고 수정되었다. 예를 들어 하워드 배로우스의 PBL 모델, 마스트리히트 모델, 싱가포르 모델 또는 알보그 모델(Wijnia et al. 2019)에 이르기까지 말이다. 그러나 PBL의 발전은 성공담의 연속이 아니라 실험, 실패, 그리고 배운 교훈의 여정이다. 성공은 분야에 대한 이해를 증진시키는 데 도움이 되지만, 실패와 투쟁도 마찬가지입니다. 예를 들어 튜터 품질 및 교육 문제(Lary et al. 2013) 또는 그룹 동적 및 처리 문제(Fonteijn 및 Dolmans 2019)는 여전히 솔루션이 필요하다.

PBL is deemed as one of the most innovative pedagogies in history and may have proliferated widely, but it is not perfect. The original McMaster PBL model has been iteratively trialed and modified. For example, from Howard Barrows’ PBL model, to the Maastricht model, to the Singapore model, or to the Aalborg model (Wijnia et al. 2019). Yet the development of PBL is not a series of success stories; it is instead a journey of experiments, failures, and lessons learned. Successes help advance our understanding of a field, but so do failures and struggles. For instance, tutor quality and training issues (Leary et al. 2013) or group dynamic and processing issues (Fonteijn and Dolmans 2019) still need solutions.

연구 질문:
Research Questions:

• 지난 50년 동안 어떤 개념적 관점이 PBL 리뷰를 지배했습니까?
• 어떤 격차를 발견할 수 있고, 어떤 연구 과제가 이러한 격차를 해소하고 우리가 앞으로 나아갈 수 있도록 도울 수 있을까요?
• What conceptual perspectives dominated PBL reviews over the past 50 years?
• What gaps can we discover, and what research agenda might close these gaps and help us move forward?

방법 Methods

이 두 가지 연구 질문에 답하기 위해, 우리는 이 연구의 연구 방법으로 서술적 검토narrative review를 선택했습니다. 서술적 검토는 [광범위한 연구 질문에 답하기 위한 광범위한 연구를 분석하는 데 적합]하다고 여겨진다(Cook et al. 1997). 특히 주제에 대한 개념적 명확성을 제공하거나 연구 결과의 설명적 합성에 적합하다. 여기서 문제 기반 학습(PBL)이라는 용어는 다음을 동시에 서포트하는 교육학적 접근 방식을 포함하는 것으로 정의된다.

• (1) 문제 시작 학습과 문제 주도 학습,
• (2) 튜터 촉진으로 자기 주도 학습,
• (3) 소규모 그룹의 협업 학습

To answer these two research questions, we chose narrative review as the research method for this study. Narrative review is deemed suitable for analyzing a wide range of studies to answer a broad research question (Cook et al. 1997), especially for providing conceptual clarity on a topic or for a descriptive synthesis of findings and identifying gaps (Gordon et al. 2018; Grant and Booth 2009). The term Problem-based Learning (PBL) is defined in this review with a broader context to include pedagogical approaches that simultaneously support:

• (1) problem-initiated and problem-driven learning,
• (2) self-directed learning with tutor facilitation, and
• (3) collaborative learning in small groups. 

문헌 검색 Literature search

포함 및 배제 기준 Inclusion and exclusion criteria

 

결과 Results

1969년 첫 구현(Servant-Miklos et al. 2019) 이후, 우리는 각각 PBL 커뮤니티의 필요와 이전 연구(그림 1)에 기초한 고유한 초점을 가진 PBL 연구의 세 가지 물결을 확인했다.
Since its first implementation in 1969 (Servant-Miklos et al. 2019), we identified three waves of PBL research, each with its own unique focus based on needs from the PBL community and prior studies (Fig. 1).

 

 

첫 번째 물결: 양극화
The first wave: polarization

PBL 메타 분석과 체계적 검토의 첫 물결은 1990년대 초반에 증가했다. 당시 회의론자들에 의해 논쟁의 여지가 있는 교육 관행으로 간주되었던 것에 대한 교수진의 저항 때문에, [PBL의 지지자와 반대자] 모두 PBL이 약속을 이행했는지 여부를 알고 싶어했다. 선구적인 메타 분석은 노만과 슈미트(1992년), 알바니아와 미첼(1993년), 버논과 블레이크(1993년), 다른 (예: 버크슨 1993년; 울프 1993년)에 의해 수행되었다. 그들이 가장 먼저 던진 질문은 "그것이 효과가 있는가?"였다. 다시 말해서, PBL이 학습 성과 면에서 전통적인 교육보다 더 나은가?
The first wave of PBL meta-analyses and systematic reviews rose in the early 1990s. Because of resistance from faculty on what was deemed as a controversial instructional practice by the skeptics at that time, both advocates and opponents of PBL were eager to know whether PBL met its promises. The pioneering meta-analyses were conducted by Norman and Schmidt (1992), Albanese and Mitchell (1993), and Vernon and Blake (1993), along with others (e.g. Berkson 1993; Wolf 1993). The first and foremost question they asked was “Does it work?”. In other words, is PBL better than traditional instruction in terms of learning outcomes?

이것은 새로운 개입의 사용을 정당화하기 위한 전형적인 연구 질문이다(Cook et al. 2008). 정말, 쿡 외. (2008)는 교육 연구를 기술, 정당성 및 명확성의 세 가지 범주로 분류하는 프레임워크를 제안하였다. 

• 설명 연구는 과거에 무엇을 할 수 있는지 또는 무엇을 했는지 제안하거나 설명하고, 
• 정당성 연구는 개입의 결과를 조사하며(그것이 효과가 있는가?), 
• 명확화 연구는 개입이 어떻게, 왜, 그리고 언제 작동하는지 면밀히 조사한다. 

제1의 물결에서의 연구는 [정당성 연구] 범주의 성격을 반영하는데, 이것은 교육적 개입에 대한 연구의 초기 단계에 전형적이다.
This is a typical research question for justifying the use of a new intervention (Cook et al. 2008). Indeed, Cook et al. (2008) proposed a framework that classifies education research into three categories: description, justification, and clarification. Description studies propose or describe what can or has been done in the past, justification studies examine the outcomes of the intervention (does it work?), and clarification studies scrutinize how, why, and when the intervention works. The studies in the first wave reflect the nature of the justification research category, which is typical for early stages of research on an educational intervention.

검토된 메타 연구 중 일부는 PBL이 학생들의 임상 지식, 기술 및 동기를 향상시키는 데 효과적이라고 제안한 반면, 다른 연구들은 PBL이 학생들의 일반적인 문제 해결 능력 또는 기타 모든 것들(지식 적용, 임상 추론 기술, 자기 주도 학습 기술, 협업 기술)을 향상 시키지 못한다는 것을 발견하기도 했다. PBL과 전통적 가르침에 대한 이러한 [양극화된 견해]는 1990년대부터 2000년대까지 계속되었다. 예를 들어

• 예를 들어 Kalaian, Mullan 및 Kasim의 메타 분석(1999)은 학생 표준화 임상 과학 측정(NBME II)에 대한 PBL의 긍정적인 효과를 보고했지만 기초 과학 측정(NBMEI)에는 낮은 성능을 보였다.
  
• Dochy, Segers, Van den Bosche 및 Gijbels의 메타 분석(2003)은 PBL이 학생 기술 개발과 유지에 효과적이라는 것을 발견했다.
  
• 콜리버의 체계적인 문헌 검토(2000)는 PBL이 학생 성적에 미치는 긍정적인 영향은 없다고 결론지었다.

Some of the meta-studies we reviewed suggested that PBL was effective in enhancing students’ clinical knowledge, skills, and motivation (e.g. Albanese and Mitchell 1993; Kalaian et al. 1999; Norman and Schmidt 1992; Vernon and Blake 1993), whereas others found that PBL did not enhance students’ general problem solving ability (Norman and Schmidt 1992) or else failed to deliver on its promises (i.e. application of knowledge, clinical reasoning skills, self-directed learning skills, collaborative skills) all together (Berkson 1993). These polarizing views over the merits of PBL and traditional instruction continued from the 1990s well into 2000s.

• For example, Kalaian, Mullan, and Kasim’s meta-analysis (1999) reported positive effects of PBL on student standardized clinical science measures (NBME II) but lower performance on basic science measures (NBME I),
• Dochy, Segers, Van den Bossche, and Gijbels’ meta-analysis (2003) found that PBL was effective for student skills development and retention, and
• Colliver’s systematic literature review (2000) concluded no positive effects of PBL on student performance.
  

일부 초기 메타 분석은 PBL 이후 더 나은 지식 보존을 보여주었지만, 이러한 연구에서 측정된 보존 기간은 상대적으로 짧았다. PBL의 장기적인 효과를 보기 위해 Ko et al. (2008)는 PBL이 졸업 후 의사 역량에 미치는 장기적인 영향을 측정한 13개의 연구를 검토했다(1-23년). 이 저자들은 PBL이 불확실성, 의사소통 능력, 자기 주도적 학습, 팀워크, 건강 관리의 사회적, 정서적, 법적, 윤리적 측면에 대한 감사, 개인의 건강과 복지에 대한 태도 등 학생들의 사회적, 직업적 역량을 배양하는 데 효과적이라는 것을 발견했다. 따라서 그들의 발견은 버논과 블레이크(1993)와 슈미트 외 메타 분석으로부터 이전의 발견을 강화시켰다.

Though some early meta-analyses showed better retention of knowledge following PBL, the retention duration measured in those studies was relatively short. To see the long term effects of PBL, Koh et al. (2008) reviewed 13 studies that measured prolonged effects of PBL on physicians’ competence after graduation (1–23 years). These authors found that PBL was effective in cultivating students’ social and professional competencies, including coping with uncertainty, communication skills, self-directed learning, teamwork, appreciation of social, emotional, legal, and ethical aspects of health care, and attitudes toward personal health and well-being. Their findings thus reinforced prior findings from Vernon and Blake (1993) and Schmidt et al. (2009) meta-analyses.

두 번째 물결: 결과에서 프로세스로
The second wave: from outcomes to process

메타 분석의 첫 번째 물결에서 나온 편광 연구 결과는 PBL 연구자들을 당황하게 했다. 그럼에도 불구하고, 이 퍼즐을 밝히기 위해 더 많은 연구 결과가 나타났다.

• 칼라안 외 연구진(1999)은 메타 분석에서 [PBL 구현에 대한 수년간의 경험]이 PBL의 긍정적인 효과에 대한 중요한 예측 변수라는 것을 발견했다.
  
• 도치 외 (2003) 또한 시험에 사용되는 검색 전략과 지식 습득 및 적용에 대한 PBL 학생 성과 측면에서 인지 요구 간의 긍정적인 상관관계를 관찰하였다.
  
• 이것은 나중에 PBL 학생들의 다양한 수준의 성적에 대한 평가의 영향을 구체적으로 연구한 Gijbels 등의 메타 분석에 영감을 주었고, PBL 연구의 두 번째 물결을 시작했다.
  
• 네빌의 메타 분석(2009)은 기본 지식 획득에 대한 PBL의 영향이 [애플리케이션 수준에서 평가되는 지식에 달려 있는 것 같다]는 것을 추가로 확인했다.

The polarizing findings from the first wave of meta-analyses baffled PBL researchers. Nevertheless, more research findings emerged to shed light on this puzzle.

• Kalaian et al. (1999) noticed in their meta-analysis that years of experience with PBL implementation was a significant predictor of PBL’s positive effects.
• Dochy et al. (2003) also observed a positive correlation between cognitive demands in terms of retrieval strategies used for tests and PBL student performance on knowledge acquisition and application,
• which later inspired Gijbels et al.’s (2005) meta-analysis that specifically studied the effects of assessment on PBL students’ various levels of performance and began the second wave of PBL research.
• Neville’s meta-analysis (2009) further confirmed that PBL’s effects on basic knowledge acquisition seemed to hinge on the knowledge assessed only at an application level.
  

Hmelo-Silver 등은 모순을 해소하는 방법을 모색하고자, PBL 연구의 첫 물결을 주도한 "그것이 효과가 있는가?"라는 질문에 도전했다. 대신 그리고 PBL이 언제, 어디서, 어떤 유형의 학습 성과와 어떻게 가장 잘 작동하는지가 PBL 연구의 초점이 되어야 한다고 제안했다. 이러한 연구 질문의 변화는 쿡 등의(2008) 프레임워크에 설명된 대로 명확화에 초점을 맞춘 PBL 연구의 두 번째 물결을 특징으로 한다. 그러나, 이 물결에서의 명확화 연구는 "왜"가 작용하는지 보다는 "어떻게"를 조사하는 데 더 초점을 맞췄다. 즉, 그들은 "이유"를 설명하는 전체적인 기본 메커니즘 대신, PBL 구현의 개별 구성요소(예: 평가 방법)와 다양한 유형의 인지 처리(예: 비판적 사고 및 학습 접근법)가 학습 결과에 미치는 영향에 초점을 맞췄다.

In searching for ways to unpack the contradictions, Hmelo-Silver et al. (2007) challenged the question “does it work?” that dictated the first wave of PBL research and suggested that when, where, and what type of learning outcomes and how PBL works the best should be the focus of PBL research. This shift in research questions characterized the second wave of PBL research, refocusing on clarification as described in Cook et al.’s (2008) framework. However, the clarification studies in this wave focused more on investigating “how” rather than “why” it works. That is, they focused on discrete components of PBL implementations (e.g., assessment methods) as well as the effects of different types of cognitive processing (e.g., critical thinking and learning approaches) on learning outcomes, instead of the holistic underlying mechanism that explains the “why.”

구현 및 인지 처리
Implementations and cognitive processing

그들의 이전 연구 결과에 따라, Gijbels et al. (2005) 세 가지 수준의 지식 구조에 대한 평가 형식과 PBL 학생의 성적 사이의 관계를 조사하였다.

• 개념(레벨 1)
• 원칙(레벨 2)
• 지식 적용 시 조건 및 절차에 대한 개념/원칙의 연계(레벨 3)

Following on their previous findings, Gijbels et al. (2005) investigated relations between assessment formats and the PBL students’ performance on three levels of knowledge structure:

• concepts (level 1),
• principles (level 2), and
• linkage of concepts/principles to conditions and procedures when applying knowledge (level 3).

그들은 PBL 학생들이 레벨 2, 3 시험에서 전통적인 학생들보다 훨씬 더 좋은 성적을 냈지만, 레벨 1 시험에서는 학생들의 성적에 대해 PBL의 부정적인 영향이 나타났다는 것을 발견했다. 또한 검토에 포함된 40개 연구 중 8개 연구만이 수준 3에서 학생들의 성과를 평가했으며, 따라서 2005년 이전의 PBL의 평가 대부분은 [통합된 원칙과 지식의 in situ 적용]보다는 [고립된 개념의 기본적인 이해]에 주로 초점을 맞췄다는 것을 보여주었다.

They found that PBL students performed significantly better than did traditional students on the level 2 and 3 tests, but negative effects of PBL appeared on students’ performance for level 1 tests. Moreover, only 8 out of 40 studies included in their review assessed students’ performance at level 3, thus revealing that the majority of assessments in PBL before 2005 focused mainly on basic understanding of isolated concepts rather than integrated principles and in situ knowledge application.

워커와 리어리의 메타 분석은 나중에 도치 외 연구진(2003)과 유사한 결론에 도달했다: PBL의 긍정적인 효과는 지식 응용 테스트에서 가장 두드러졌다. 벨랜드 외 연구원의 추가 작업에서는 33개 PBL 연구에서 보고된 평가 도구의 타당성을 추가로 평가하여 [평가 구성에 대한 충분한 설명과 근거의 부족]과 [평가 형식과 측정 대상 구조 사이의 불일치]를 주장하였고, 이는 이들 연구에 사용된 도구의 타당성에 그림자를 드리웠다. 따라서 일관성 없는 PBL 결과는 학습 결과의 부정확한 측정에서 비롯될 수 있다.
Walker and Leary’s (2009) meta-analysis later arrived at a similar conclusion to Dochy et al.’s (2003): the positive effects of PBL were most pronounced for tests of knowledge application. Further work by Belland et al. (2009) further assessed the validity of assessment instruments reported in 33 PBL studies, arguing for a lack of sufficient description and rationale for assessment construction, as well as misalignment between assessments format and the constructs being measured, which casted a shadow on the validity of the instruments of these studies. Thus, the inconsistent PBL results may stem from imprecise measures of learning outcomes.

슈미트 외 연구진 (2009) 또한 단일 의과대학에서 수행된 다수의 커리큘럼 비교 연구에 대한 메타 분석을 실시하여 PBL 구현의 이질성을 제어했다. 그들은 PBL이 학생들의 전문직업적, 대인관계적 능력을 향상시키는 데 가장 효과적이라는 것을 보여주었다. 좀 더 구체적으로, PBL 학생들은 practical medical skills에서 전통적인 학생들보다 꾸준히 더 좋은 성적을 냈고, 더 짧은 시간에 졸업했고, 더 나은 well-being 의식을 가졌으며, 더 낮은 탈락율을 보였다. PBL의 작지만 긍정적인 효과는 학생들의 의학 지식 습득과 진단 추론에서도 발견되었다. 
Schmidt et al. (2009) also conducted a meta-analysis on a large number of curriculum comparison studies conducted within a single medical school, thereby controlling for heterogeneity of PBL implementations. They showed that PBL was most effective in improving students professional and interpersonal skills. More specifically, PBL students consistently performed better than did traditional students in practical medical skills, graduated in shorter time; had greater sense of wellbeing; and lower attrition rates. Small but positive effects of PBL were also found in the students’ medical knowledge acquisition and diagnostic reasoning.

대조적으로, Walker와 Lary(2009)의 메타 분석은

• PBL 결과에 대한 서로 다른 모델들의 영향을 조사했고, 폐쇄 루프 PBL을 채택한 것이 상당한 효과를 발생시킨다는 것을 발견했다. (즉, 반복적 PBL 또는 원래 문제로 되돌아가서 초기 자기 주도적 연구 후에 자신의 논리를 수정한다; Barrows 1986)
• 또한, 그들은 Jonassen(2000)의 문제 유형학을 사용하여 문제 유형의 영향을 조사했고, 학생들의 성적이 해결해야 할 다양한 문제의 유형에 따라서 다양하다는varied 것을 발견했다(문제 유형에 대한 자세한 내용은 Jonassen 2000 참조).

In contrast, Walker and Leary’s (2009) meta-analysis looked at

• the effects of different models on PBL outcomes, and found that employed closed-loop PBL (i.e., reiterative PBL, or returning to the original problem and revising one’s reasoning after the initial self-directed study; Barrows 1986) produced sizeable effects.
• In addition, they examined the effects of problem types using Jonassen’s (2000) problem typology, and found that students’ performance varied in solving different types of problems (for details regarding the types of problems, please see Jonassen 2000).
  

PBL이 어떻게 학생 학습 과정을 촉진할 수 있는지를 더 자세히 설명하기 위해, 리어리 외 연구진(2013)은 튜터 특성(콘텐츠 전문성, 훈련, 경험)과 학생 학습 결과 사이의 관계를 조사했다. 그들은 튜터 콘텐츠 전문지식과 학생 학습 사이에, 그리고 학생 학습에 대한 훈련 받은 것과 훈련받지 않은 것 사이에 중요한 관계를 발견하지 못했다. 그러나, [훈련되지 않은 교사들의 도움 아래]에서의 학생들의 기본 지식 획득 패턴은 [강의 기반의 접근 방식]에서 학생들의 지식 습득과 비슷해 보였다. 
To further elucidate how PBL might facilitate the student learning process, Leary et al. (2013) examined the relationships between tutor characteristics (content expertise, training, experience) and student learning outcomes. They found no significant relationship between tutor content expertise and student learning nor between trained and untrained tutors on student learning. However, the students’ basic knowledge gains patterns under the facilitation of untrained tutors seemed to be similar to their knowledge gain under a lecture-based approach.

또한 단일 과정single-course PBL와 달리, 여러 PBL 과정multiple PBL course 구현에서만 나타나는 튜터 경험과 학생 학습 사이에는 약간의 부정적인 상관관계가 있었다. 튜터 피로가 가능한 원인이 될 수 있는지 여부는 확인하기 위해 더 많은 연구가 필요할 것이다.

There was also a modest negative correlation between tutor experience and student learning that only appeared in multiple PBL course implementations, not single-course PBL. Whether tutor fatigue could be a possible cause will require more studies to confirm.

• Polyzois et al. (2010) 6가지 비교 연구에서 전과정 PBL 대 단일과정 PBL의 효과를 체계적으로 검토했다. 그들은 전통적인 커리큘럼에 단일 PBL 과정 개입이 지속적으로 독점적인exclusively PBL 커리큘럼보다 더 나은 결과를 낳았다고 결론지었다. 그들은 또한 PBL이 유연한 학습 과정 때문에 전통적인 교육보다 학생들의 비판적 사고, 문제 해결, 그리고 창의력을 더 잘 향상시킨다는 것을 발견했다.
• 나아가 간호학과 학생들의 비판적 사고발달 상황을 살펴본 결과(2014년) 공씨 등은 2학기 동안 PBL 교육을 받은 학생들은 전체적인 비판적 사고성적이 향상된 반면, PBL 1학기만 거쳤던 PBL 학생들은 그렇지 못한 것으로 관찰했다.
• 마찬가지로 돌맨스 외 연구진(2016)은 PBL이 단일 과정 구현보다, 커리큘럼 전체 구현에서 학생들의 딥 러닝 접근 방식에 더 큰 영향을 미친다고 관찰했다.
• 그러나 Polyzois 등의 (2010) 체계적 리뷰는 돌만스 등의 (2016) 결과와 상반되는 결과를 보여주었다.

 

• Polyzois et al. (2010) systematic review examined effects of whole-curriculum PBL versus single-course PBL from six comparative studies. They concluded that single PBL course intervention in a traditional curriculum consistently produced better results than an exclusively PBL curriculum. They also found that PBL better enhanced students’ critical thinking, problem solving, and creativity than did traditional instruction because of its flexible learning process.
• Further, when examining nursing students’ development of critical thinking, Kong et al. (2014) observed that the students who received PBL instruction for two semesters improved their overall critical thinking scores, while the PBL students who went through only one semester of PBL did not.
• Similarly, Dolmans et al. (2016) observed that the effects of PBL were more impactful in curriculum wide implementation than single course implementation on students’ deep learning approach.
• However, Polyzois et al.’s (2010) systematic review showed opposite findings of Dolmans et al.’s (2016).

 

제3의 물결: 전문화
The third wave: specialization

 

제3의 물결의 메타 분석과 체계적인 검토는 명확화 연구의 정신으로 계속되었지만, 또한 온라인 플랫폼, 학문 전문화, 문화와 같은 광범위한 맥락으로 다양화되었다.
The third wave of meta-analyses and systematic reviews continued on in the spirit of clarification research, but also diversified into a wider range of contexts, such as online platforms, discipline specializations, and cultures.

디지털 촬영장비 및 온라인 플랫폼
Digital modality and online platform

21세기로 접어들면서, PBL 문제를 제시하거나 PBL 과정을 제공하는 옵션은 디지털 모드와 온라인 플랫폼으로 확장되었다.

• 카 외 연구진(2019)은 메타분석에서 디지털 기술이 거리 기반 PBL의 완전한 전달을 위해 주로 사용되거나 문제 제시 등 대면 또는 혼합 PBL의 다른 구성 요소를 지원하는 데 사용되었다고 보고했다.
• Gavgani 외 연구진(2015)은 PBL 문제 표현의 촬영장비의 영향을 구체적으로 조사했다. 5개의 적격 연구를 조사하면서, 그들은 학생 학습에 관한 종이와 디지털 형태로 제시된 문제들 사이의 차이를 발견하지 못했다. 효과를 크게 구별할 수는 없었지만, 73%의 학생이 종이 시나리오보다 디지털 시나리오에 더 만족했다. 또한 연구 중 하나에서 디지털 시나리오가 종이 디지털 혼합 환경(41%)보다 전적으로 디지털 환경(92%)에서 튜터의 지원 시간을 더 줄인다는 사실을 발견했다. 
• 킴 외 연구진(2018)은 컴퓨터 기반 비계가 학생들의 STEM 학습에 미치는 영향에 대한 베이지안 메타 분석을 통해 컴퓨터 기반 스캐폴딩이 PBL 환경에서 고차 기술 향상에 효과적이라는 사실을 발견했다. 그러나 컴퓨터 기반 지원 PBL 시스템에 여러 가지 스캐폴딩 전략을 제공하는 것은 역효과를 낳았다.

Entering the twenty-first century, the options for presenting PBL problems or delivering PBL courses has extended to digital modes and online platforms.

• In their meta-analysis, Car et al. (2019) reported that digital technology was mainly used for full delivery of distance-based PBL or supporting different components of face-to-face or blended PBL, such as the presentation of problems.
• Gavgani et al. (2015) investigated specifically the effects of modality of PBL problem presentation. Examining five eligible studies, they found no difference between problems presented in paper and digital forms on student learning. Though the effects were not significantly distinguishable, 73% of students were more satisfied with digital scenarios than paper scenarios. They also found in one of the studies that the digital scenarios decreased tutor’s facilitation time more in exclusively digital environments (92%) than in paper-digital blended environments (41%).
• Kim et al. (2018) conducted a Bayesian meta-analysis on the effects of computer-based scaffolding on PBL on students’ STEM learning, finding that computer-based scaffolding was effective in improving higher-order skills in PBL environments. However, providing multiple scaffolding strategies in a computer-based supported PBL system was counterproductive.

전공분야
Disciplines

이 물결에서 메타 분석의 한 가지 주요한 변화는 포괄적인 접근 방식에서 분야 전문화로의 이동이었다. 이러한 메타 분석에 포함된 분야에는 치과 교육, 보철학 교육, 간호 교육, 임상 의학 교육, 임상 교육, 소아 교육, 방사선 교육, 3차 교육, STEM 교육이 포함되었다.

One major shift in the meta-analyses in this wave was a move from an all-inclusive approach to discipline specialization. The disciplines included in these meta-analyses included dental education, prosthodontics education, nursing education, pre-clinical medical education, pharmacy education, clinical education, pediatric education, radiology education, tertiary education, and STEM education (due to the length limit of the paper, for discipline specific meta-analyses, please refer to the reference section).

이러한 메타 분석의 전체적인 결과는 기본적으로 이전의 모든 포함 메타 분석과 일치했다. 

• 예를 들어, PBL은 학생의 업무 기반 기술(Sayyah et al. 2017), 문제 해결 및 자율 학습 능력(Liu et al. 2019), 간호 학생에 대한 비판적 사고(예: Kong et al. 2014; Shin and Kim 2013)를 촉진했다. 그러나, 임상 전 학생의 지식 습득이나, 보철학 학생(Eslami et al. 2014)의 실습 기술을 향상시키지는 못했다. 
• 흥미롭게도 신씨와 김모(2013)씨는 리뷰에서 학부 4학년 간호학과 학생들이 참여한 연구가 후배들이 참여한 연구보다 더 좋은 결과를 보인다는 사실을 발견했다. 이 결과는 앞서 논의한 돌맨스 외 연구진(2016)과 콩 외 연구진(2014)이 관찰한 지속시간 인자와 일치한다.

The overall findings among these meta-analyses were basically aligned with the previous all-inclusive meta-analyses.

• For example, PBL promoted student work-based skills (Sayyah et al. 2017), problem solving and self-study ability (Liu et al. 2019), and critical thinking in nursing students (e.g. Kong et al. 2014; Shin and Kim 2013). However, it did not enhance knowledge acquisition in pre-clinical students (Hartling et al. 2010) nor hands-on skills in prosthodontics students (Eslami et al. 2014).
• Interestingly, Shin and Kim (2013) found in their review that studies involving fourth-year undergraduate nursing students showed better results than the ones involving junior students. This finding echoed the duration factor observed by Dolmans et al. (2016) and Kong et al. (2014) discussed earlier.

문화 Cultures

이러한 PBL 물결에서 또 다른 주목할 만한 현상은 중국의 보건 과학 컨텍스트 또는 이란의 컨텍스트에서 PBL 연구를 독점적으로 포함하는 메타 분석의 급증이다.

• 중국 메타 분석에는 학부 의학교육, 약학교육, 소아교육, 방사선학교육, 약학교육, 하이브리드 PBL + LBL(강의 기반 학습)이 학생의 학습 성과에 미치는 영향 등이 포함되었다. 이는 서양에서 첫 번째 PBL 물결 당시, 개념적 학습 결과에 초점을 맞춘 것과 유사한 목표와 특성을 갖는다고 볼 수 있다.
• 이러한 중국 메타 분석에서 공유되는 또 다른 공통점은 학생 학습 결과를 측정하기 위해 표준화된 종합 평가를 사용하는 것이다. 흥미롭게도, 서구와 달리, 이러한 중국 메타 분석은 대부분 PBL에 유리한 기본 지식 획득(이론 점수로 측정됨)에서 유의미한 차이를 발견했으며, PBL 학생들이 기존의 지시 동료들보다 높은 순서 학습 결과에서 유의미한 성과를 보였다(표 1).
  
  

Another notable phenomenon in this wave of PBL is a surge of meta-analyses that included exclusively PBL studies in a Chinese health sciences context (for details, please see the references) or in an Iranian context (Sayyah et al. 2017).

• The Chinese meta-analyses included disciplines of undergraduate medical education, pharmacy education, pediatric education, radiology education, pharmacology education, and effects of hybrid PBL + LBL (lecture-based learning) on students’ learning outcomes, bearing similar aims and characteristics as their western counterpart of first wave PBL research that focused on conceptual learning outcomes. Another commonality shared among these Chinese meta-analyses is the use of standardized summative assessments for measuring student learning outcomes.
• Interestingly, unlike their western counterparts, most of these Chinese meta-analyses found significant differences in basic knowledge acquisition (measured by theoretical scores) in favor of PBL, in addition to PBL students’ significantly better performance in higher order learning outcomes than their traditional instruction peers (Table 1).

 

 

 

고찰 Discussion

 

PBL 연구의 첫 번째 물결은 PBL을 교육학(Justification)으로 채택하는 것을 정당화하기 위해 "PBL이 효과가 있는가?"라는 질문에 초점을 맞췄다. 그러나, 목적이나 목표가 상반된 발견으로 인해 결실을 맺지 못했으며, 결과적으로 PBL의 장점에 대한 오랜 논쟁을 불러일으켰다. 그럼에도 불구하고, 모순된 결과는 연구자들이 PBL의 다양한 측면을 검토하도록 강요했고, 제2의 연구 물결에 inform하여, 1차 메타 분석에서 나타난 문제를 명확히 했다(Clarification).

• 예를 들어, 콜리버(2000)는 PBL의 긍정적인 효과가 자기 선택 표본 편향 때문이라고 주장한 반면, 도치 외 (2003)는 상충되는 결과의 원인은 [대상 지식의 유형과 평가 형식 간의 불일치]가 지목되어야 한다고 의심했다. [표본 편향 가설]은 모든 결과를 설명할 수 없기 때문인지 확고한 근거가 없는 것처럼 보였고, 다른 연구자들에 의해 추구되지 않았다.
• 한편, Gijbels 외 연구진(2005)은 Docchy 외 연구진(2003)의 사전 관찰을 추적하여 [평가 형식 가설assessment format hypothesis]를 확인했고, 이는 PBL 연구의 두 번째 물결을 [학생 학습 성과에 실행 구성요소implementation constituents가 미치는 영향]에 초점을 맞추게 하였다.
  

The first wave of PBL research focused on the question “Does PBL work?” to justify the adoption of PBL as a pedagogy (Justification). However, the purpose or goal did not come to fruition due to conflicting findings, in turn sparking a long debate about the merits of PBL. Nevertheless, the contradictory results pushed researchers to examine various aspects of PBL and informed the second wave of research to clarify the issues that emerged from the first wave of meta-analyses (Clarification).

• For example, whereas Colliver (2000) argued that the positive effects of PBL were due to a self-selection sample bias, Dochy et al. (2003) suspected that misalignment between the targeted type of knowledge and the format of assessment was to be blamed for the conflicting results. The sample bias hypothesis did not seem to hold a firm ground, perhaps due to its inability to explain all outcomes, and was not pursued by other researchers.
• On the other hand, Gijbels et al. (2005) followed up on the prior observation of Dochy et al. (2003) and confirmed their assessment format hypothesis that, in our opinion, directed the second wave of PBL research to focus on the effects of implementation constituents on student learning outcomes.
  

단일 과정 대 커리큘럼 전체 구현, 또는 사실 지식 또는 지식 적용에 초점을 맞춘 평가와 같은 구현 차이를 조사하였다. 표면적으로는 첫 번째 파도에서의 발견은 모순되었지만, 일반적으로 1차 및 2차 검토 및 메타 분석 결과(예: Strobel 및 Van Barneveld 2009)에 동의하는 패턴이 있었다.

• 첫째, PBL은 임상 추론, 도메인별 문제 해결 기술, 지식 응용 및 전달, 장기 보존, 자기 주도 학습 기술, 협업 기술 및 사회 및 전문 기술 등과 같은 고차원의 학습 성과를 향상시키는 데 효과적이다.
• 둘째, 학생들은 전통적인 교육보다 PBL을 더 긍정적으로 생각했다.
• 셋째, PBL은 학생들이 충분한 범위의 기본 사실 지식을 습득하도록 돕는 데 있어서 전통적인 교육보다 약간 덜 효과적이었다(예: 알바니아인과 미첼 1993).
  

Implementation differences were investigated, such as single course versus curriculum wide implementations, or assessments focusing on factual knowledge or knowledge application. Though on the surface the first wave reported contradictory findings, there were generally agreeable patterns in the results from the first and second wave of reviews and meta-analyses (e.g. Strobel and van Barneveld 2009). First, PBL is effective in enhancing students’ higher order learning outcomes, such as clinical reasoning, domain specific problem-solving skills, knowledge application and transfer, long term retention, self-directed learning skills, collaborative skills, as well as social and professional skills. Second, students perceived PBL more positively than traditional instruction. Third, PBL was slightly less effective than traditional instruction in helping students acquire sufficient breadth of basic factual knowledge (e.g. Albanese and Mitchell 1993).

제2의 물결 동안에 PBL 연구자들에게 추가적인 압력을 가한 또 다른 강조점은 2006년 키르슈너 외 연구원들의 [PBL과 다른 구성주의적 교수법은 작동하지 않는다]는 주장이었다. PBL(예: 슈미트 외 2007, Hmelo-Silver 외 2007)의 지지자들은 차례로 그들의 반론을 제시했고, 이것은 PBL 연구자들 사이에서 깊은 반성을 촉발시켰다. 흐멜로실버 외 (2007)는 이 분야가 잘못된 질문을 해왔고, 대신에 "어떻게" 그리고 "어떤 조건에서" PBL이 효과적인지에 대한 질문에 집중해야 한다고 주장했다. 이러한 성찰은 PBL 연구의 초점을 바꾸는 데 도움이 되었다. Gijbels 외 연구진(2005)의 연구는 결과만이 아니라 프로세스 및 구현 유형에 초점을 맞춘 PBL 메타 연구의 새로운 방향을 시작하는 데 도움이 되었다. 즉 특정 조건에서 PBL이 어떻게 작동하는지를 확인할 수 있게 되었다. 예를 들어, [평가 형식이 학습 결과와 잘 일치하는지] 여부 또는 [구현 유형(즉, 커리큘럼 폭 또는 단일 과정에 대해)이 적절한지] 여부.
Another highlight during the second wave that gave PBL researchers an additional push was Kirschner et al.’s (2006) statement claiming that PBL and other constructivist pedagogies do not work. Proponents of PBL (e.g. Schmidt et al. 2007; Hmelo-Silver et al. 2007) in turn offered their counterarguments, which triggered deep reflections among PBL researchers. Hmelo-Silver et al. (2007) argued that the field had been asking the wrong question and should instead focus on questions about “how” and “under what conditions” PBL is effective. This reflection helped shift the focus of PBL research. The work of Gijbels et al. (2005) helped start a new direction in PBL meta-research focusing on the process and implementation types instead of solely outcomes, which enabled the field to see how PBL works under specific conditions; for example, whether the format of assessment is well aligned with learning outcomes, or whether implementation type (i.e., curriculum wide or for a single course) is appropriate.

세 논문들 사이의 뜨거운 논쟁 Kirschner 등의 (2006년), 슈미트 외 연구진. (2007), 그리고 흐멜로-실버 외. (2007년) 2006-2007년 동안 PBL 연구자들 사이의 양극화 관점들이 수렴되기 시작하는 전환점이 될 것으로 보였다. PBL 연구원들은 교육이 흑백이 아니라는 것을 깨닫기 시작했다. 어쩌면 [학생들의 고등 수준의 사고를 높이고, PBL의 한계를 인정하며, 학생들의 기본 지식 기반을 구축하기 위한 '전통적인 교육'의 힘을 끌어내는 데 있어서] PBL의 강점을 이용하는 것이 더 실용적인 접근 방식일지도 모른다.

• 이러한 통찰력으로, 네빌(2009)은 학생들의 학습을 더 용이하게 하기 위해 더 많은 강의를 통합한 PBL의 하이브리드 모델을 제안했다.
• 마찬가지로, 하틀링 외 연구진(2010)도 학습을 구조화하고 순수한 PBL 접근법으로의 전환을 용이하게 하기 위해 커리큘럼의 초기 단계에서 하이브리드 PBL을 사용한 연구의 조언을 보고했다.
• 우리가 생각하기에 하이브리드 PBL의 형식에 대한 결정은 학습자의 사전 지식, 튜터가 제공해야 하는 절차 정보의 양, 또는 파트 과제 연습이 필요한 정도(van Merrienboer 및 Kirschner 2018)와 같은 여러 고려 사항에 따라 결정되어야 한다.

The heated debate among the three papers of Kirschner et al. (2006), Schmidt et al. (2007), and Hmelo-Silver et al. (2007) during 2006–2007 seemed to be a turning point for the polarizing viewpoints among PBL researchers starting to converge. PBL researchers began to realize that education is not black and white. Perhaps it is a more pragmatic approach to harness the strengths of PBL in enhancing students’ higher order thinking, acknowledge its limitations, and draw upon the strength of traditional instruction for building students’ basic knowledge base.

• With this insight, Neville (2009) suggested a hybrid model of PBL that incorporates more lectures to better facilitate students’ learning.
• Similarly, Hartling et al. (2010) also reported advice from a study that used hybrid PBL in the early stage of the curriculum to help structure the learning and ease the transition into a pure PBL approach.
• In our opinion, the decision on the format of hybrid PBL should depend on a number of considerations, such as learners’ prior knowledge, the amount of procedural information that the tutor needs to provide, or how much part-task practice is required (van Merrienboer and Kirschner 2018).

제2의 물결 PBL이 교육학의 과정으로 더 깊이 파고들면서, 제3의 물결 PBL 연구는 학문, 문화, 전달 모드와 같은 서로 다른 맥락에 걸쳐 수평적으로 우리의 관점을 넓혔다. 다양한 맥락에서 다양한 연구를 갖추며, [학문분야, 문화 또는 전달 플랫폼을 전문화한 PBL 연구]는 제3의 PBL 연구의 특징을 이루었다. 제3의 물결은 제1의 물결이나 제2의 물결처럼 흥미진진하지는 않았지만, 이 물결 연구의 기여는 PBL이 다른 맥락에서 어떻게 자신을 드러내는가에 대한 우리의 이해를 넓히는데 매우 중요하며, 이는 다음 물결의 PBL 연구를 위한 길을 열어준다.
As the second wave of PBL dove deeper into the process of the pedagogy, the third wave of PBL research widened our perspective horizontally across different contexts, such as discipline, culture, and delivery modes. Equipped with a variety of studies from different contexts, the PBL research with a specialization in disciplines, culture, or delivery platform characterized the third wave of PBL research. Though the third wave was not as exciting as the first or second wave, the contribution of this wave of research is invaluable in expanding our understanding of how PBL manifests itself in different contexts, paving the way for the next wave of PBL research.

제2, 제3의 물결은 특정 조건에서 PBL의 작동 방식을 명확히 하는 데 초점을 맞췄지만, 이들 연구는 왜 PBL이 이러한 조건에서 작동하거나 작동하지 않는지 명확한 그림을 제시하지 못했다. 명확성이 결여된 한 가지 가능한 이유는 어떤 현상을 연구하는 자연스러운 진행 때문일 수 있다. 인간은 일반적으로 현상의 원인을 식별하고 이해하기 위해 두 가지 접근법을 취한다: 공변량과 기계론적 인과 추론.

• Covariational reasoning: 가능한 인과 관계를 찾기 위해 발생 확률을 기반으로 양적으로 패턴을 살펴본다(즉, 무이론적).
• Mechanistic causal reasoning: 시스템적 인과 관계를 개념화하여 현상의 기본 메커니즘을 질적으로 이해하는 것을 목표로 하는 보다 정교한 인과 추론 접근법이다(즉, 이론적).

 

Though the 2nd and 3rd waves focused on clarifying how PBL works under certain conditions, these studies have not provided a clear picture as to why PBL works or does not work under these conditions. One possible reason for the lack of clarity might be due to the natural progression of studying a phenomenon. Humans normally take two approaches to identifying and understanding the cause for a phenomenon under study, which are covariational and mechanistic causal reasoning (Kelley 1973; Thagard 2000).

• The former looks at patterns quantitatively based on the probabilities of an occurrence to seek possible causal relationships (i.e., atheoretical).
• The latter is a more sophisticated causal reasoning approach that aims to qualitatively understand the underlying mechanism of the phenomenon by conceptualizing its systemic inter-causal relationships (i.e., theoretical).

그러나 이 두 가지 접근법은 서로를 배제하지 않는다. 우리는 종종 연구 중인 현상에 대한 이론을 식별하고, 가정하고, 개념화하고, 검증하기 위해 두 가지 접근 방식 사이를 왔다 갔다 한다. 기존의 세 가지 PBL 연구 물결은 PBL 연구에 공변량적 접근법을 취하는 것으로 보인다. 따라서, PBL 연구의 이전 세 물결에서 남은 누락된 조각을 밝혀내기 위해, 우리는 PBL의 메커니즘을 질적으로 개념화하는 것이 향후 연구의 주요 목표가 되어야 한다고 제안한다.

However, these two approaches do not exclude each other. We often switch back and forth between the two approaches to identify, hypothesize, conceptualize, and verify our theories about the phenomenon under study. The existing three waves of PBL research seem to take a covariational approach to studying PBL. Thus, to uncover the missing piece left from the previous three waves of PBL research, we suggest that qualitatively conceptualizing the mechanism of PBL should be a primary goal of future study.

미래 방향 Future directions

50년간의 연구는 우리에게 PBL에 대한 더 나은 이해를 주었다. 제3의 물결의 작업은 아직 완성되지 않았고, 아직도 메워야 할 공백이 많다. 제4의 물결 PBL 연구는 어떤 방향을 택해야 하는가? 우리는 광범위한 연구 질문, "[특정 성과를 위한 특정 구현 특성을 가진 PBL]이 도입된 조건에서 작동하거나 작동하지 않는 이유는 무엇인가?"를 제안한다.
Fifty years of research has given us a better understanding of PBL. The work of the third wave is not yet complete, and there are still many gaps that need to be filled. What directions should the fourth wave of PBL research take? We suggest a broad research question, “Why does PBL with particular implementation characteristics for specific outcomes work or not work in the condition where it is implemented?”

새로운 PBL 구현은 교육, 제도, 사회 및 문화 환경에서 맥락적으로 적절해야 합니다. 예를 들어, 서로 다른 분야들은 [서로 다른 지식의 종류, 기술 학습, 문제 유형]에 초점을 맞춘다. 학습자 모집단마다 다른 유형과 수준의 촉진 및 스캐폴딩을 필요로 한다. 현재까지 문제 유형과 구현 유형(교과 대 단일 과정 구현)에 대한 연구와 마찬가지로 PBL 모델(예: 순수 PBL, 하이브리드 PBL, PjBL, CBL, IBL)이 학생 학습에 미치는 영향에 대한 연구는 아직 부족하다.

A new PBL implementation must be contextually appropriate in its disciplinary, institutional, social, and cultural environment. For example, different disciplines focus on different types of problems as well as types of knowledge and skill learning. Different learner populations require different types and levels of facilitation and scaffolding. To date, the research on the effects of PBL models (e.g. pure PBL, hybrid PBL, PjBL, CBL, IBL) on student learning is still scarce (Tawfik et al. in press), as is research on problem types and implementation types (curriculum vs. single course implementations).

모호하거나 부정확한 설명자가 메타 연구의 실현 가능성을 방해할 수 있기 때문에, 어떤 특정한 구현 유형이나 특성이 어떤 조건에서 작용하는지에 대한 통찰력을 얻기 위해서는 맥락에 대한 명확한 설명이 필요하다(Loyens and Rikers 2011; van Merriënboer 2013; Walker and Leary 2009). 더욱이, 중국과 이란의 메타 연구는 문헌에 등장했지만, PBL 문학의 스펙트럼을 확장하기 위해서는 비서양적인 문화적 맥락에서 나온 메타 연구가 더 필요하다.

To gain insight on what particular implementation types or characteristics work under what conditions, a clear description of the context is necessary, because vague or imprecise descriptors could hinder the feasibility of meta-studies (Loyens and Rikers 2011; van Merriënboer 2013; Walker and Leary 2009). Moreover, while Chinese and Iranian meta-studies have appeared in the literature, more meta-studies from non-western cultural contexts are needed to expand the spectrum of PBL literature.

다음 단계의 연구 질문에 답하려면 PBL의 개별 구성원들이 이해할 수 없는 체계적인 이해가 필요하다. 앞에서 논의한 바와 같이, 기계적 인과관계는 "PBL이 작동하는 이유"라는 광범위한 문제를 설명하는 데 적합한 연구 초점이 될 것이다. 이러한 묘사는 다음을 통하여 [PBL 교육 시스템은 어떻게 이러한 방식으로 행동하는가(즉, 제품 또는 최종 결과)]에 대해 설명합니다. 

• 각 PBL 구성 요소가 관련 구성 요소 및 피드백 루프 효과와 상호작용하는 방법(예: 튜터의 촉진 기술, 학생 그룹 처리, 튜터에 대한 학생의 신뢰 및 학습 결과) 
  
• 그리고 더 중요한 것은, 이러한 원인-간inter-causal 효과가 어떻게 PBL 교육학적 시스템이 어떻게 기능하는가에 영향을 미치는가 하는 것이다.

Answering the next wave of research questions requires a systemic understanding that is beyond the appreciation of individual constituents of PBL. As discussed earlier, mechanistic causal relations would be a suitable research focus to elucidate the broad question of “why PBL works”. This approach guides researchers to qualitatively depict the underlying mechanism of PBL from a systemic perspective. Such a depiction tells a story of how a PBL pedagogical system behaves the way it does (i.e., its products or end results) by describing

• how each PBL constituent interacts with their related constituents and feedback loop effects (i.e., process: e.g. tutor’s facilitation skills, student group processing, students’ confidence in the tutor, and learning outcomes),
• and more importantly, how these inter-causal effects collectively affect how the PBL pedagogical system functions.

이러한 연구 방향은 개념적 프레임워크에 의해 안내되어야 한다. 예를 들어, 4C/ID 모델에 표현된 task-centered instruction 의 원칙은 서로 다른 PBL 구현을 분석하고 설계하기 위한 개념 프레임워크를 제공한다. 그러한 원칙은 다음의 것들이 학습 영역, 대상 그룹 및 컨텍스트에 대해 달라져야 할 필요를 이야기한다.

• 문제의 유형(예: 프로젝트, 사례) 
  
• 학습 리소스(예: 학습 환경, 온라인 리소스) 
  
• 연습 기회(예: 기술 연구실, 실습) 및 
  
• 지침 유형(예: 과외, 코칭) 
  

These research directions must be guided by a conceptual framework. For example, principles for task-centered instruction (Francom 2017) as expressed in the 4C/ID model (van Merrienboer and Kirschner 2018) provides a conceptual framework to analyze and design different PBL implementations. Such principles indicate that 

• types of problems (e.g., projects, cases), 
  
• learning resources (e.g., study landscape, online resources), 
  
• practice opportunities (e.g., skillslab, practicals) and 
  
• types of guidance (e.g., tutoring, coaching) 
  

may need to be different for different learning domains, target groups and contexts.


엥게스트롬(1987) 활동 이론은 또한 사회-문화적 체계적 관점에서 PBL 교육학적 시스템을 연구하기 위한 유용한 개념 프레임워크를 제공하며, 이는 PBL 모델이 다른 사회-문화적 맥락에서 작동하는 이유를 설명하는 데 매우 중요하다. 
Engeström’s (1987) activity theory also provides a helpful conceptual framework for studying a PBL pedagogical system from a social-cultural systemic perspective, which is vitally important for explaining why a PBL model may or may not work in another social-cultural context. 

Ciancolo와 Regehr(2019) 레이어드 분석은 특정 맥락에서 PBL의 의도된 기능에 대한 체계적인 평가를 위한 유용한 지침을 추가로 제공할 수 있으며, 이는 "왜" 질문을 푸는 데 중요하다. 다음을 분석한다면 여러 PBL 모델의 장점을 명확히 하는데 도움이 될 수 있다.

• 어떻게 구현되었는가(테크닉), 
  
• 기법의 설계를 유도하는 것(원칙) 
  
• 3개의 다른 레이어에서 원칙에 inform하는 것(철학)
  

 

Ciancolo and Regehr’s (2019) Layered Analysis could additionally provide useful guidance for systematic evaluation of intended functions of PBL in a specific context, which is critical to unlock the “why” questions. By analyzing, findings could help clarify the merits of different PBL models.

• how it was implemented (techniques),
• what guides the design of the techniques (principles), and
• what informs the principles (philosophy) at three different layers,

PBL은 도입 시에 소규모 그룹 학습으로 운영되기에, 본질적으로 interdisciplinary하다. 기존 PBL 연구는 PBL이 학생들의 협업 능력을 배양하는 데 큰 효과가 있다는 것을 확인했다. 그러나, 학문 간 커리큘럼 설계 및 구현에 대한 연구는 부족했다. 학제간 근무환경에서 효과적이고 효율적으로 기능할 수 있는 건강전문가의 능력에 대한 수요가 증가하고 있기 때문에 학생들에게 팀워크 기술을 갖추는 것이 무엇보다 중요하다. 나머지 질문은 다음과 같습니다. 학문 간 PBL 구현이 단일 분야 PBL 구현과 다른 이유와 이유는 무엇입니까? 학제간 PBL 커리큘럼을 구현할 때 직면할 수 있는 어려움과 물류 문제는 무엇인가? 성공 사례와 실패 사례 모두에 대한 보고서와 연구가 이러한 격차를 해소하는 데 도움이 될 것입니다.

PBL is interdisciplinary in nature, which is operationalized with small group learning in the implementation. The existing PBL research has confirmed that PBL is highly effective in cultivating students’ collaborative skills. However, research on interdisciplinary curriculum design and implementation has been lacking. Because the demand on health professionals’ ability to function effectively and efficiently in interdisciplinary working environments is increasing, it is paramount to equip students with teamwork skills. Remaining questions include: Why and what makes interdisciplinary PBL implementation different from uni-disciplinary PBL implementation? What are the challenges and logistical issues we may encounter when implementing an interdisciplinary PBL curriculum? Reports and studies on both successful and failed cases will help fill these gaps.

"왜" 질문에 대한 답을 찾는 것은 '이론 구성theory construction' 과정이다. 이 이론들은 연구 결과만으로 만들어진 것이 아니다. 오히려, 이론 구조는 데이터에 의해 inform되고, 건전한 이론적 토대에 의해 인도되어야 한다. PBL은 실제 교육 환경에서 구현된 교육적 시스템이기 때문에, PBL 연구는 이러한 상황적 관점에서 이익을 얻을 수 있다. 따라서, 기존 PBL 연구의 기초가 된 인지 이론적 관점 외에도, 사회문화 건설주의, 사회심리학, 문화 형성 또는 문화적 영향과 차이점, 조직심리학 등과 같은 다른 이론들은 우리의 연구 관점을 확장하여 PBL에 대한 더 깊이 이해하게 할 것이다. 이론에 기초한 연구 질문은 연구 목적과 연구 방향에 대한 명확한 견해를 제공할 것이다. 그래야만 연구의 목적을 달성하기 위해 적절한 연구 방법을 효과적으로 선택할 수 있다.

Seeking answers to the “Why” questions is a process of theory construction. These theories are not built from only study results. Rather, theory construction should be informed by data and guided by a sound theoretical foundation. Because PBL is a pedagogical system implemented in real educational settings, PBL research could benefit from these contextual perspectives. Thus, in addition to the cognitive theoretical perspective upon which the existing PBL research has been based, other theories such as social-cultural constructivism, social psychology, culture formation or cultural influence and differences, organizational psychology, and so on, could expand our research perspectives to obtain a deeper understanding of the pedagogy. The theory-based research questions will give researchers a clear view for the purpose as well as the direction of their studies. Only then, could an appropriate research method be effectively selected to fulfill the purpose of the study.

연구의 "왜" 명확화 목적을 위해 광범위한 연구 방법을 사용할 수 있다. 

• 예를 들어, 질적 연구 방법은 관찰된 데이터를 설명하기 위한 세부사항을 드러내기 위한 강력한 도구이다. 정성적 방법은 PBL 연구에서 꽤 오랫동안 사용되어 왔지만, 그 사용은 정량적 연구, 특히 메타 연구에서 여전히 불균형적으로 낮다.
• 순차적 탐색, 순차적 설명 또는 동시 삼각 측량 혼합 방법은 이 격차를 메우고 사후 사실 추론이나 추측이 아닌 하나의 연구 설정에서 두 가지 유형의 데이터를 모두 제공하는 데 도움이 될 수 있다.
• 또한 연구 설계를 구성하기 위해 CMO(Context, Mechanism 및 Results) 원칙을 사용하는 현실주의자 리뷰(Pawson 등 2005)는 연구자들이 결과와 관련된 것뿐만 아니라 특정 맥락에서도 "왜"에 답하도록 안내할 수 있다. 
• PBL은 [빠른 기술 및 사회적 변화로 인해 커리큘럼 개편이 필수가 된 교육 환경]에서 구현됩니다. 따라서 설계 기반 연구는 프로세스 중에 발생하는 동적 특성과 세부 사항을 포착하기 위해 보다 유연하고 민감할 수 있다. 

A wide range of research methods could be employed for the “Why” clarification purposes of study. For example, qualitative research methods are powerful tools for revealing details for explaining the data observed.

• Qualitative methods have been used in PBL research for quite some time, but their use is still disproportionally lower than quantitative research, especially in meta-studies.
• Sequential exploratory, sequential explanatory, or concurrent triangulation mixed methods could help fill in this gap and provide both types of data from one study setting, rather than by after-the-fact inference or speculations.
• Also, realist reviews (Pawson et al. 2005) that use CMO (Context, Mechanism, and Outcomes) principles to configure the design of studies could guide researchers to answer the “Whys” not only in relation to the outcomes but also under the specific context.
• PBL is implemented in educational settings where curricular renewals are often a necessity due to fast technological and societal changes. Therefore, design-based research could be more flexible and sensitive to capture the dynamic nature and details occurring during the process. 

한계 Limitations

 

결론 Conclusion

"PBL은 효과가 있는가?"라는 질문에 대한 조사에서부터 "PBL은 어떻게 작용하는가"에 이르기까지 PBL 연구는 50년 동안 계속 발전해 온 이 교육학을 이해하는데 있어 해답을 찾는 데 있어 먼 길을 왔다. 그러나, 우리가 실제로 얻은 답변은 더 많은 질문을 생성하여 PBL의 교육학적 시스템의 다른 차원에 대한 이해를 심화시키고 넓히는 데 도움이 된다. 이 모든 차원은 연구자들의 관심을 받을 만하다. 각각의 지식은 하나의 큰 수수께끼이기 때문이다. 이제 "[특정 성과에 대한 특정 구현적 특성을 가진 PBL]이 [구현된 조건]에서 [작동하거나 작동하지 않는 이유]는 무엇인가?"라는 질문을 던지기 위해 우리는 그 시점에 도달했다. 일이 더 밀려 있다.

From investigating the questions “Does PBL work?” to “How does PBL work,” PBL research has come a long way in searching for answers in understanding this 50-year-old and ever-evolving pedagogy. Yet, the answers we obtained in fact generate more questions, which help deepen our understanding and widen our understanding about different dimensions in the pedagogical system of PBL. All of these dimensions deserve attention from the researchers as each bit of knowledge is a piece of the big puzzle. Now we have arrived at the time to ask the question “Why does PBL with particular implementation characteristics for specific outcomes work or not work in the condition where it is implemented?” 

 

---

Adv Health Sci Educ Theory Pract. 2019 Dec;24(5):943-957.

 doi: 10.1007/s10459-019-09945-x. Epub 2019 Nov 25.

A review to identify key perspectives in PBL meta-analyses and reviews: trends, gaps and future research directions

Woei Hung 1, Diana H J M Dolmans 2, Jeroen J G van Merriënboer 2

Affiliations expand

• PMID: 31768786

 

• DOI: 10.1007/s10459-019-09945-x

Abstract

In the past 50 years, the original McMaster PBL model has been implemented, experimented, revised, and modified, and is still evolving. Yet, the development of PBL is not a series of success stories, but rather a journey of experiments, failures and lessons learned. In this paper, we analyzed the meta-analyses and systematic reviews on PBL from 1992 to present as they provide a focused lens on the PBL research in the past 5 decades. We identified three major waves in the PBL research development, analyzed their impact on PBL research and practice, and offered suggestions of research gaps and future directions for the field. The first wave of PBL research (polarization: 1990-mid 2000) focused on answering the question "Does PBL work?" and the outcomes. The results were conflicting. The researchers took polarizing positions and debated over the merits of PBL throughout this wave. However, the contradictory results and the debates in fact pushed the researchers to look harder for new directions to solve the puzzle. These efforts resulted in the second wave (from outcomes to process: mid 2000-mid 2010) that focused on the question "How does PBL work?" The second wave of PBL research targeted at investigating the effects of implementation constituents, such as assessment formats or single versus curriculum wide implementations. The third wave (specialization: mid 2010 and onward) of PBL research focused on "How does PBL work in different specific contexts?" These research widened our perspectives by expanding our understanding of how PBL manifests itself in different contexts. Given the diversification of PBL and more hybrid PBL models, we suggest "Why does PBL with particular implementation characteristics for specific outcomes work or not work in the condition where it is implemented?" to be the question to answer in the next wave of PBL research.

Keywords: Meta-analyses; Narrative review; Problem-based learning; Reflection; Systematic reviews; Trends and future directions.