맥마스터에서의 50년: PBL의 교훈(Adv Health Sci Educ Theory Pract, 2019)

McMaster at 50: lessons learned from five decades of PBL
Alan Neville1 · Geoff Norman2 · Robert White3

 

 

비록 PBL에 대한 많은 논의가 종종 진정한 PBL이 무엇인지에 대한 신학적인theological 논쟁의 전모를 가정하지만, 적어도 PBL이 어디서 시작되었는지에 대해서는 약간의 의견 일치가 있다. 첫 번째 PBL 커리큘럼은 60년대 중반에 McMaster에서 고안되었다는 것을 모두 인정한다. 이 커리큘럼은 PBL의 기본 교리tenets 일부를 도입했다. 즉, 기본 학습 전략으로 주의 깊게 설계된 문제를 기반으로 한, 소수의 학생 그룹이, 튜터와 진행하는 것이다. 강의는 종종 있지만, 소그룹 활동보다는 부차적인 것으로 여겨진다.

Although many discussions about PBL often assume the trappings of a theological debate about what is the true PBL, there is at least some consensus about where it began. All acknowledge that the first PBL curriculum was devised at McMaster in the mid-sixties. This curriculum introduced some of the basic tenets of PBL—based on carefully designed problems, with a small group of students with the tutor as the primary learning strategy. Lectures are often present, but are viewed as secondary in importance to the small group.

이후 50년 동안 McMaster는 일부 오류(perceived 와 real 모두)를 수정하기 위한 다양한 시도가 있었으며, 그 중 가장 두드러진 4개의 커리큘럼(Neville and Norman 2007)으로 이어졌다. 무심코 관찰하는 사람에게는, 그것들은 모두 거의 똑같이 보입니다. 그러나 보다 심층적으로 조사해보면, 학부 의학교육의 중요한 특징과 이를 달성하는 데 있어 PBL의 역할에 대한 매우 다른 전제에서 출발한다.

Over the succeeding five decades, there have been various attempts at McMaster to fix some of the failings—perceived and real—which has led, among others, to 4 distinctive curricula (Neville and Norman 2007). To a casual observer, they all look pretty much the same. But on deeper probing, they start from very different premises about the critical features of undergraduate medical education and the role of PBL in achieving these.

본 논문은 이러한 커리큘럼에 대한 설명이 아닙니다. 그것은 이미 네빌과 노먼(2007)이 수행했다. 우리가 이 이슈를 제기하는 이유는 PBL을 할 수 있는 "단 하나의 올바른" 방법이란 없다는 더 좋은 증거가 없기 때문이다. 맥마스터가 PBL 구조 내에서 네 가지의 근본적으로 다른 커리큘럼을 실행했다면, 분명히 많은 방법이 있다.

This paper is not a description of these curricula. Neville and Norman (2007) did that. We bring up the issue simply as there is no better evidence that there is no one “right” way to do PBL. If McMaster has implemented four radically different curricula, all within the PBL structure, there are clearly many ways to skin the cat.

또한 PBL 교육과정에 대한 근본적인 논거를 다시 진술하는 것도 아니다. 이는 일찍이 뉴펠드와 바로스(1974년)에 의해 탐구되었고, 최근에는 서번트 미클로스(2019b)에 의해 역사적, 철학적인 뿌리가 세심하게 분석되고 있다.

Nor is it a restatement of the underlying rationale for the curriculum. This was explored early on by Neufeld and Barrows (1974), and the historical and philosophical roots have been carefully analyzed recently by Servant-Miklos (2019b).

대신, 본 논문에서는 맥매스터에서 PBL의 50년 동안 나타난 많은 실질적인 문제에 대해 논의할 것이다. 

Instead, in this paper, we will discuss a number of substantive issues that have emerged over the 5 decades of PBL at McMaster. 

PBL 이론
The theory of PBL

 

프로그램의 시작부터, PBL의 기본 철학에 대한 [두 가지 관점 사이에 긴장]이 생겼다.

  • 하나는 PBL은 [특정한 지식을 초월]하여, 오로지 끊임없이 변화하는 의학에 대한 지식 기반을 효과적으로 다루는 [임상적 문제 해결 기술을 습득]에 관한다는 것이다.
  • 반대되는 견해는 PBL은 [지식 적용]에 관한 것이었고, PBL은 [의학적 지식이 문제 맥락에서 학습된다는 장점]을 가지고 있었는데, 이는 의학적 내용이 임상 설정과 관련될 것이라는 확신, 새로운 관련 문제로의 이전이 용이하다는 몇 가지 잠재적 장점을 가질 수 있다는 것이다.

From the outset of the program, there arose a tension between two perspectives on the underlying philosophy of PBL.

  • One is that PBL was all about acquiring clinical problem-solving skills which transcend specific knowledge and deal effectively with the constantly changing knowledge base of medicine.
  • The opposite view is that PBL was about knowledge application, and PBL had the virtue that medical knowledge was learned in a problem context, which could have several potential advantages—increased motivation, assurance that the medical content would be relevant to the clinical setting, ease of transfer to a new related problem.


첫 번째 커리큘럼이 시행된 지 몇 년 후, 두 관점 사이의 논쟁은 공개되었고, Barrows는 "기술skills"의 관점을, Maastricht의 Henk Schmidt는 지식 획득(knowledge acquisition)의 관점을 옹호했다. 이 공개 토론은 최근에 서번트 미클로스(2019a)에 의해 설명되었다.
Several years after the implementation of the first curriculum, the debate between the two perspectives became public, with Barrows taking the “skills” perspective, and Henk Schmidt of Maastricht siding with the view of knowledge acquisition. This public debate has been recently described by Servant-Miklos (2019a).

그러나, 두 가지 입장 사이의 대립는 첫 번째 교육과정에 이르면 내부적으로 명백했다. Miklos-Servant가 설명하듯이, 첫 번째 커리큘럼은 대체로 교육사와 철학에 무지한 소수의 임상의들에 의해 개발되었다. 문제를 통해 학습한다는 생각을 채택한 것은 하버드 케이스 연구 방법에 바탕을 둔 하버드 경영대학원에 진학한 설립자(스펄딩)와 대학 동창회 형제의 우연한 만남의 결과였다. 마찬가지로 자기주도학습도 같은 이름의 놀스(1975)가 쓴 책이 인기를 끌었기 때문에 생겨났다. 그것이 구현된 정도는 명확하지 않다. 하지만 여전히 학생들이 [스스로를 평가하는 법, gap을 식별하는 법, 학습의 기회를 탐색하는 법]을 배워야 한다는 아이디어는 매력적인 관념이었다. 무엇보다 그 당시는 혁명적인 변화가 일어나던 시기였으며, "모든 지식은 5년 안에 쓸모어질 것이다"와 같은 만트라가 새로운 지혜로 선언된 시대였다 (그러나 잠시만 생각해보면 그러한 진술이 거짓임은 쉽게 알 수 있다)

However, the contrast between the two positions was apparent internally as early as the first curriculum. As Miklos-Servant describes, the curriculum was developed by a small group of clinicians who were, by and large, ignorant of educational history and philosophy. Adoption of the idea of learning through problems was a consequence of a chance encounter between one of the founders (Spaulding) and a college fraternity brother who went on to Harvard Business School, which was based on the Harvard Case study method. Similarly, self-directed learning arose because of the popularity of the book by Knowles (1975) of the same name. The extent to which it was implemented is not that clear. Still the idea that students should learn how to assess themselves, identify gaps, and seek out learning opportunities was an appealing notion in an era when revolutionary changes were occurring and mantras like “All knowledge is obsolete in 5 years” were proclaimed as new wisdom (when a moment’s reflection would reveal the falsehood of such a statement).

실제로, 첫 번째 커리큘럼의 커리큘럼 자료를 검토한 결과, 자율학습과 문제 해결의 원칙에 대한 명시적인 집착이 거의 드러나지 않았다. 대조적으로 [기초의학에 대한 남다른 집착]은 있었던 것으로 보였다. 학생들은 어떤 교과서에서 어떤 부분을 공부해야 하는지, 자기 평가와 함께 학습해야 하는지, 그리고 정해진 목표를 나타내는 학습 가이드를 제공 받았다. 운에 맡긴 것은 거의 없었다.
Indeed, an examination of the curriculum materials of the first curriculum revealed little explicit adherence to principles of self-learning and problem solving. By contrast there appeared to be an extraordinary preoccupation with medical basic science. Students were provided study guides indicating what sections of what texts they should study, with self-assessments, and prescribed objectives. Little was left to chance.

그럼에도 불구하고, 일반적인 문제 해결 기술에 대한 생각은 표면에서 멀리 떨어져 있지 않았다. Neufeld와 Barrows(1974)는 전문 임상의들이 어떻게 "문제를 해결"을 하는지, 초보자들은 이러한 기술들을 어떻게 습득하는지 확인하는 연구 프로그램을 시작했다(Neufeld et al. 1981; Barrows et al. 1982). 거의 10년 후, 매우 다른 개념화가 연구에서 나타났다. 가설의 생성, 확인 데이터 수집과 같은 프로세스 측정값process measure은 의대생과 전문가에서 사실상 동일했다. 그러나 내용 측정값content measure(생성된 특정 가설)은 크게 달랐다. 또한, 이러한 복잡한 연구에서 사용된 모든 측정값은 [문제 간의 상관관계가 좋지 않음]을 보여주었다. 이러한 모든 발견은 [전문성]이란 [문제 해결의 프로세스에 존재]한다는 개념과 모순된다.
Nevertheless, the idea of general problem-solving skills was never far from the surface. Neufeld and Barrows (1974) initiated a research program directed at identifying how expert clinicians “problem-solved” and how these skills were acquired by novices (Neufeld et al.1981; Barrows et al.1982). Almost a decade later, a very different conceptualization emerged from the research. Process measures, such as generation of hypotheses, gathering of confirmatory data, were virtually identical in medical students and experts. However content measures—the specific hypotheses generated—were dramatically different. Moreover, all the measures used in these complex studies showed poor correlations across problems. All of these findings are inconsistent with the notion that expertise resides in the process of problem-solving.

이러한 관점은 의학 분야(Elstein et al. 1978)와 기타 전문 분야(Perkins and Salomon 1989)에서 모두 다른 연구 프로그램에서도 나타났다. 이러한 발견을 바탕으로 맥마스터 교수인 노먼(1988)은 두 가지 관점을 다시 설명했고, 성과의 결정적 요소로서 [특정 지식]의 손을 들어주었다. 슈미트가 토론에서 이긴 것이다. 그러나 50년 후에도(Monteiro et al. 2019) 문제 해결 또는 임상 추론 기술에 대한 아이디어는 여전히 매력적이며, 많은 프로그램들은 이러한 기술을 배우기 위한 전략으로 PBL을 계속 보고 있다. 

This perspective also arose in other research programs, both within medicine (Elstein et al. 1978) and in other expertise domains (Perkins and Salomon 1989). Building on these findings, Norman (1988), a McMaster faculty member, again described the two perspectives, and came down on the side of specific knowledge as a determinant of outcomes. Schmidt won the debate. However, the idea of problem-solving or clinical reasoning skills remains attractive even 50 years later (Monteiro et al. 2019), and many programs continue to view PBL as a strategy for learning these skills.

커리큘럼: 기초 및 구조
The curricula: their underpinnings and structures

위에서 설명한 이론적 긴장감은 맥매스터 의과대학 커리큘럼의 50년에 걸친 많은 진화의 저변에 깔린 것under-current으로, 그리고 우리가 네 번째 커리큘럼 개정에 접근하고 있는 동안에도 나타난다. 서번트 미클로스(2019a)는 이러한 긴장감이 PBL의 두 역사적 학교인 맥마스터와 마스트리히트(McMaster and Maastricht)와, 각 학교의 방법적 "아버지" 사이에서 전개되는 것으로 묘사하고 있지만, 이 긴장감은 맥마스터의 PBL 커리큘럼 내부와 교육 사이에서도 전개되었다. 우리는 맥마스터의 PBL 프로그램에서 철학, 교육학 및 부분 교육학적 표현들의 역할과 상호 작용을 가장 잘 강조하기 위해 이 이론적 긴장의 맥락에서 세 개의 이전 및 새로 계획된 커리큘럼을 간략하게 검토한다.
The theoretical tension described above runs as an under-current to much of the evolution of McMaster’s medical school curricula over 5 decades, and even as we approach our fourth curriculum revision. While Servant-Miklos (2019a) portrays this tension as unfolding between two historical schools of leadership on PBL—McMaster and Maastricht—and their respective “fathers” of the method, Barrows and Schmidt; so too has this tension played out within and between the PBL curricula at McMaster over this time. We briefly examine the three prior and the newly planned curricula in the context of this theoretical tension to best highlight the roles and interactions of philosophy, pedagogy, and para-pedagogical manifestations in McMaster’s PBL program.

이러한 다양한 표현manifestation에 대해 명백하게 말하는 것은 아마도 도움이 될 것이다. 이 [철학]은 [커리큘럼의 명시된 목표]와 [PBL이 그러한 목표를 달성하기 위한 교육학으로서 어떤 역할을 할 것인가에 대한 기대]를 포함한다. 그 철학은 [페다고지] 자체에서 나타날 것이다. PBL의 경우에는 문제들, 선생님들이 맡았던 역할, 의과대학이 강조하는 튜토리얼 과정 등이 그 페다고지이다. 그럼에도 불구하고, 커리큘럼의 설계자와 기획자는 다수였고, 그들은 각각 그 철학에 대한 자신의 이해와 의견을 가질 수 있다. 이러한 정의를 고려할 때, 이미 [철학philosophy]과 [교육학pedagogy] 사이에서 난제가 형성될 수 있는 여러 잠재적 기회가 있었다

It is probably helpful to be explicit about these various manifestations. The philosophy includes the stated goals of the curriculum and the expectations of what role PBL would play as a pedagogy to achieve those goals. The philosophy will manifest itself in the pedagogy which, in the case of PBL, includes the problems, the role taken on by the tutors, and the process of the tutorial emphasized by the medical school. Nonetheless, the designers and planners of a curriculum are many, and they may each have their own understandings and opinions of the philosophy. Considering these definitions, it is already possible to identify multiple potential opportunities for fissures to form between philosophy and pedagogy.

마지막으로, 역설적 para-pedagocial manifestation은 궁극적으로 [철학과 교육학]에서 파생되면서, 동시에 [철학과 교육학]을 강화되는 의료 프로그램의 다른 중요한 측면(입학 및 평가와 같은 것들)을 포함한다. 의학 프로그램에 누가 어떻게 입학하게 되는가 하는 것은 프로그램의 성공에 기여하는 만큼, 프로그램의 지배적인 철학에서 파생된 것이다. 마찬가지로, 평가 전략의 프로세스와 방향도 마찬가지로 [철학 및 교육학]의 성공에 기여하거나 잠식한다. 물론 평가를 교육학으로 포함시키는 것은 쉽게 주장할 수 있지만, 우리는 평가 역시 para-pedagocial support이며, 맥매스터의 PBL 철학 및 교육학의 발현이라고 간주할 것이다.
Finally, the para-pedagogical manifestations include other vital aspects of the medical program that are ultimately derived from and simultaneously reinforce the philosophy and pedagogy, such as admissions and assessment. Who gets admitted to the medical program and how, is as much derived from the overarching philosophy of the program, as it is contributory to its success. Likewise, the process and orientation of assessment strategies equally contribute to or erode the success of the philosophy and its pedagogy. Admittedly, one could easily make the case for including assessment as pedagogy, but we will consider it a para-pedagogical support and manifestation of McMaster’s PBL philosophy and pedagogy below.

McMaster의 커리큘럼의 네 번의 반복은 위에서 설명한 문제 사이의 상호 작용을 설명하는 데 도움이 된다. 세 개의 이전 커리큘럼은 다른 곳에서 잘 설명되어있다. 관심 현상을 더 설명하기 위해 새로운 커리큘럼을 간략하게 설명할 것이다.
The four iterations of McMaster’s curriculum help illustrate the interplay between the issues outlined above. The three prior curricula are well-described elsewhere (Neufeld and Barrows 1974; Neville and Norman 2007; Servant-Miklos 2019b); and the renewed curriculum will be briefly described to further illustrate the phenomenon of interest.

첫 번째 커리큘럼에서 철학은 인간 생물학에 대한 이해의 필요성과 "무질서한 인간 구조와 기능의 주요 측면"에 초점을 맞췄다(1967년 스폴딩). [교육학적 강조]는 "인간의 문제를 학습의 초점으로 삼는 것"이었다. (Spauld 1967) 그러나 교육 이론에 달리 훈련되지 않은 계획자들은 페다고지가 어떻게 발현해야manifest 하는지에 대해서는 관용적agnostic이었다. 실제로 위에서 설명한 것처럼, 이 첫 번째 커리큘럼은 인간 문제의 맥락에서 [생의학 현상에 대한 지식]을 얻는 데 중점을 두고 보다 체계화되었다.

In the first curriculum, the philosophy focused on the need to understand human biology and “the major aspects of disordered human structure and function” (Spaulding 1967). The pedagogical emphasis was on “human problems as focal points for study” (Spaulding 1967); however, the planners, who were not otherwise trained in educational theory, were agnostic regarding how the pedagogy should manifest. In fact, as described above, this first curriculum was more structured with a strong focus on acquiring the knowledge of biomedical phenomena within the contexts of human problems.

그럼에도 불구하고, 문제의 역할에 대해 [철학적 및 페다고지적으로 상대적으로 agnostic한 개념을 갖는 것]을 반드시 모든 사람이 공유한 것은 아니었다. 1974년까지, 뉴펠드와 바로우스는 "맥마스터의 철학""지식의 저장고보다는 구체적인 능력과 특성에 중점을 두는 것"이라고 묘사했다. (뉴펠드와 바로우 1974, 페이지 1040) 비록 [문제 해결]과 [지식 습득 사이]의 그들의 지향점이 이 출판물을 통해 때때로 모순되었지만, 그것은 [문제 해결 기술에 매우 크게 기울었다]. 이는 Barrows가 그 당시는 물론, 그의 경력 전반에 걸쳐 진화시켜온 견해와 일치한다(Servant-Miklos 2019a).
Nonetheless, this relatively agnostic conceptualization of the role of the problem, both philosophically and pedagogically, was not necessarily shared by all. By 1974, Neufeld and Barrows described “McMaster’s Philosophy” as “[placing emphasis] on specific capabilities and characteristics rather than a store of knowledge.” (Neufeld and Barrows 1974, p. 1040). Although their orientation between problem-solving and knowledge acquisition was occasionally contradictory throughout this publication, it very significantly leaned towards problem-solving skills. This is consistent with Barrows’s evolving views at the time and throughout his career (Servant-Miklos 2019a).

그렇다면 1980년대 초반 배로우스와 뉴펠드의 영향을 많이 받은 두 번째 교육과정이 [문제해결 능력을 개발]할 수 있는 기회를 많이 제공하는, 복잡한 '우선순위 건강 문제'에 중점을 둔 것은 놀랄 일이 아니다. 이는 문제 해결 방식(Servant-Miklos 2019a)이 아닌 PBL 문제의 사용에 대한 지식 획득 방식을 지지하는 증거들이 이미 증가하고 있음에도 불구하고 이뤄진 것이었다. 그럼에도 불구하고, 철학적으로, 교육학적으로, 그리고 역설적으로, 맥매스터의 의학 프로그램은 [1980년대 후반 학생들이 1989년에 정점을 찍으면서 국가 면허 시험에서 상당한 저조한 성적을 경험할 때]까지, 20년 동안 [문제 해결 지향]을 계속 수용했다(Blake et al. 1996). 이는 아래에서 설명하는 발달시험progress testing의 도입에서 나타나는, [지식 획득을 향한 공식적인 철학적 변화]의 시작을 야기했다.
It should be no surprise then, that the second iteration of the curriculum from the early 1980s, which was heavily influenced by Barrows and Neufeld, had a strong focus on complex “Priority Health Problems” that provided plenty of opportunities for developing problem-solving skills. This was in spite of the growing body of evidence already amassing in support of a knowledge acquisition approach to the use of the PBL problems, rather than a problem-solving one (Servant-Miklos 2019a). Regardless, philosophically, pedagogically, and para-pedagogically, McMaster’s medical program continued to embrace the problem-solving orientation for two decades until in the late 1980’s students experienced significant under-performance on national licensing examinations, peaking in 1989 (Blake et al. 1996). This caused the beginning of a formal philosophical shift towards knowledge acquisition which manifest in the introduction of progress testing, described below.

그러나, 발달시험으로 이어진 철학적인 변화는, 거의 10년이 지나도록 [PBL 문제, 다른 평가 또는 입학]에 중요한 변화를 가져오지 않았다. 2000년대 초, 철학은 pedagogical and para-pedagogical한 측면과 함께, [지식 획득 지향으로 더 정면으로 전환]되었다. PBL 문제는 생물의학 개념 이해에 더 중점을 두면서 짧아졌다. 반면 의학교육의 인문학적, 윤리적, 의사소통 측면은 핵심 전문 역량 훈련에서 더 큰 초점focus을 받았다.
The philosophical shift resulting in progress testing did not, however, result in significant changes to PBL problems, other assessments, or admissions until almost a decade later. In the early 2000s, the philosophy shifted more squarely towards the knowledge acquisition orientation with pedagogical and para-pedagogical aspects of the program falling in line. PBL problems became shorter with a stronger focus on understanding biomedical concepts; while the humanistic, ethical, and communication aspects of medical education received greater focus in parallel, core Professional Competencies training (Neville and Norman 2007).

그러나, 이 세 번째 교육과정에서의 철학적 의도와 교육학적 표현 사이에는 약간의 불일치가 계속되었다. 2015년 PBL 교육과정 검토에서, 이 misalignment는 여러 요소에서 기인한 것으로 판단되었다.
There did continue to be some misalignment, however, between the philosophical intentions and the pedagogical manifestations in this third curriculum. In a review of the PBL curriculum in 2015, this misalignment was determined to be multi-factorial, including

  • 커리큘럼을 구현하는 커리큘럼 계획자에게 의도된 철학의 번역translation 부족
  • 철학적 변화를 실행하는 능력의 부족, 그리고
  • 교육과정 계획자와 교사 모두에게 구조적인 지원의 부족
  • a lack of translation of the intended philosophy to the curriculum planners who were implementing the curriculum,
  • a lack of faculty development in implementing the philosophical shift, and
  • a lack of structural supports for both curriculum planners and tutors alike.

McMaster의 PBL 커리큘럼의 네 번째 반복은 PBL의 [지식 획득 지향]에 더 강하게 기여한다. 이를 위해 설계자, 기획자, 지도교사, 학생 간의 교육학적 격차를 해소하기 위해 갱신된 커리큘럼에 몇 가지 구조적 지원이 추가되었다. 보다 중요한 구조로는 다음이 있다.

  • (a) 문제 프레젠테이션이 단순하고 구조화된 문제에서 복잡한 통합 문제로 이동하는, 다시 방문한, 보다 정교한 노출까지 초보 수준의 개념 노출에서 졸업하는 튜토리얼 템플릿
  • (b) (복잡한(일반적으로 다-계통) 및 만성 질환에 초점을 맞춘) 임상 교육에 들어가기 전에 Integration Foundation의 추가, 이전 Foundation의 개념 revisiting도 가능하게 한다.
  • (c) practice를 위해 설계된 "worked" 문제 및 미니 문제를 포함
  • (d) 지식의 elaboration을 가능하게 하기 위해, 튜터에게 이전에 다룬 내용에 관한 정보를 더 많이 제공

The fourth iteration of McMaster’s PBL curriculum commits more strongly to a knowledge acquisition orientation of PBL. To this end, several structural supports have been added to the renewed curriculum to buttress pedagogical gaps between designers, planners, tutors, and students. Some of the more important structures include:

  • (a) tutorial templates graduating from novice-level concept exposure up to revisited, more sophisticated exposures whereby problem presentations move from simple, structured problems to complex, integrated problems;
  • (b) the addition of an Integration Foundation before entering clinical training that will focus on complex (typically multi-system) and chronic illness which will also enable revisiting of concepts from earlier Foundations;
  • (c) the inclusion of “worked” problems and mini-problems designed for practice; and
  • (d) more information for tutors regarding previously covered content to enable improved elaboration of knowledge.

이러한 구조적 변화는 맥매스터 MD 프로그램의 para-pedagogical한 측면, 특히 학생 평가와 입학에 더 잘 부합한다.

These structural changes will better align philosophy and pedagogy, with the para-pedagogical aspects of McMaster’s MD Program, particularly student assessment and admissions

학생성적평가
Assessment of student performance

학부 MD 프로그램의 학생 성과에 대한 평가는 기초적인 교육학적 과정의 원칙에 의해 처음부터 지도되었다. 학습 과정의 중심은 [튜터의 평가]뿐만 아니라, [(자신과 동료 평가를 중심으로 학생들이 자기주도 학습을 시연할 것으로 기대되는) 튜토리얼]이었다. 따라서 프로그램은 지속적인 비공식 피드백을 장려하고 개별 학생, 동료 및 지도교사의 평가와 피드백에 대한 공유 책임을 요구했으며, 학생들이 튜토리얼 토론에 무엇을 가져왔는지를 평가하는 데 크게 의존했다(Neufeld 1974). 객관식 시험과 같은 공식적인 지식 기반 시험은 없었고, 필수 필기 평가도 없었다.

Assessment of student performance in the Undergraduate MD Program was guided from the outset by the principles of the underlying pedagogical process. Central to the learning process was the tutorial where students were expected to demonstrate self-directed learning with an emphasis on self and peer assessment as well as assessment by the tutor. Thus the program encouraged ongoing informal feedback and required shared responsibilities for evaluation and feedback by individual students, peers and tutors, relying heavily on assessing what students brought to tutorial discussion (Neufeld 1974). There were no formal knowledge-based examinations such as multiple-choice tests nor were there required written assessments.

한 가지 혁신적인 평가 도구는 초기 몇 년 동안 맥마스터에서 도입되었으며, PBL 튜토리얼의 학습 과정을 반영하도록 특별히 설계되었다. "트리플 점프" (Painvin et al., 1979)는 문제 해결에 학생을 참여시키기 위해 고안되었다. 학생들은

  • 문제와 같은 작은 튜토리얼small tutorial에 직면하여,
  • 튜터를 만나고,
  • 사례와 관련된 학습 목표를 개발하고,
  • 사례를 설명하는 데 필요한 정보를 공부한 다음,
  • 임상 사례에 대한 전체 설명을 가지고 튜터에게 돌아갈 것이다. 

One innovative assessment tool was introduced at McMaster in the early years specifically designed to mirror the learning process of the PBL tutorial. The “Triple Jump” (Painvin et al. 1979) was designed to involve the student in problem-solving. Students would

  • be faced with a small tutorial like problem,
  • meet with a tutor,
  • develop learning objectives related to the case,
  • research the information required to explain the case and
  • then return to the tutor with a full explanation of the clinical case.

그 당시, 이러한 exercise는 문제 해결, 자기 평가, 정보 검색 능력을 평가하는 것으로 느껴졌다. 지식은 그 과정에서 단지 사소한 요소로 간주되었고, 따라서 단일 문제single problem에서만 지식을 평가하는 것 만으로도 충분하게 보였다.

At the time, the exercise was felt to assess problem-solving, self-assessment and information retrieval skills. Knowledge was viewed as only a minor element in the process, hence the knowledge assessed in a single problem was seen to be sufficient.


따라서, 철학적인 수준에서, [지식 대 기술]이라는 두 가지 관점이 공존하는 동안, 튜토리얼과 평가 모두에서, 기술에 초점을 맞춘 [프로세스 관점]이 지배적이었다.
Thus, while at a philosophical level, the two perspectives—knowledge versus skills—coexisted, in both learning in tutorial and assessment, the process view focussed on skills was dominant.

이 기간 동안, 1973년 졸업한 2반으로 거슬러 올라가지만 3차 교육과정 시점으로 확대되면서, 맥마스터 학생들이 국가면허시험에서 제대로 성적을 내지 못하고 있다는 우려가 있었다. 불합격 학생을 비교한 여러 내부 조사와 합격한 학생의 대조 표본은, tutor assessment가 어려움에 처한 학생을 식별하지 못한다는 것을 보여주었다. 그 때까지 사용 중인 평가도구instrument가 지식습득을 평가할 수 없다는 것이 명백해졌다. 의과대학 전체에 걸쳐 그들의 지식을 벤치마킹할 기회가 거의 없고 객관식 시험에 다소 익숙하지 않은 맥매스터 의대생들은 면허 시험에 직면했을 때 어느 정도 타협을 당했다compromised.

Over this period of time, dating back to the second class who graduated in 1973 but extending to the time of the third curriculum, there was concern that McMaster students were not performing adequately on the national licensing examination. Several internal studies comparing students who had failed and a control sample of students who passed the examination showed that tutor assessment was unable to identify students in trouble. It became evident that the instruments in use to that point were incapable of assessing knowledge gain. With little opportunity to benchmark their knowledge throughout medical school and suffering some unfamiliarity with multiple-choice examinations, McMaster medical students were somewhat compromised when faced with the licensing exam.

McMaster 교수진은 잘 설계된 객관식 시험이 신뢰할 수 있고 유효한 지식 평가임을 분명히 인식했지만, 문제 기반 학습 커리큘럼에서 평가 시스템이 학습 시스템에 미치는 강력한 영향을 인식하여, 과목 종료시end-of-course의 객관식 시험을 도입하는 대신, PPI(프로그레스 테스트, 발달시험)를 도입하기로 결정하였다. 미주리 대학교, 캔자스 시티 의과 대학(Willoughby et al. 1988), 마스트리히트 대학교(Vander Vleuten et al. 1996)에 의해 개발된 이 객관식 시험은 학생들에게 세 가지 등급 코트에서 각각 표준적으로 참조되는 점수로 지식 숙달에 대한 종합적인 평가를 제공했다. PPI는 국가면허시험에 대한 예측적 타당성을 가지고 있으며, 또래보다 성적이 낮은 학생을 조기에 파악하여 교정조치를 받을 수 있도록 하였다. 특히, 진행률 테스트는 국가 면허 시험에 대한 맥마스터 학생들의 성적을 크게 향상시켰다(Norman et al. 2010).

McMaster faculty clearly recognized that well designed multiple choice tests are a reliable and valid assessment of knowledge, but recognizing the strong influence of the assessment system on the learning system in a problem-based learning curriculum decided that rather than introduce end-of-course multiple choice tests, they would introduce progress testing (PPI). This multiple-choice type examination developed initially by the University of Missouri, Kansas City School of Medicine (Willoughby et al. 1988) and Maastricht University (Van der Vleuten et al. 1996) provided students with a comprehensive assessment of knowledge mastery with scores that were norm referenced within each of the three class cohorts. The PPI was shown to have predictive validity for the national licensing exam and allowed students who were clearly performing below their peers to be identified early and receive remediation. Notably, progress testing significantly improved the performance of McMaster students on the national licensing examination (Norman et al. 2010).

이 같은 기간 동안 의과대학은 심리측정적으로 robust하면서도, 커리큘럼의 학습 스타일을 반영하는 다른 평가 방법을 모색했다. 트리플 점프Triple Jump의 낮은 신뢰도unreliability를 인식하여, 이 exercise는 단계적으로 중단되었고, [Clinical Reasoning Exercise 또는 Concept Application Exercise]가 도입되었다(Neville et al. 1996). (학생들에게 개념적 이해가 필요한 미니 자습 사례를 제시하는) 이 다문항 단답형 평가 도구는 각 커리큘럼 블록에서 여러 번 실행된다. 객관식 시험과 다른 것을 측정한다는 증거는 없지만, 신뢰할 수 있고 유효한 평가 도구인 것으로 나타났다.
During this same period, the medical school sought out other assessment methods that were psychometrically robust and yet reflected the learning style of the curriculum. Recognizing the unreliability of the Triple Jump, this exercise was phased out and the Clinical Reasoning Exercise or Concept Application Exercise was introduced (Neville et al. 1996). This multi-item short answer assessment tool in which students are presented with mini-tutorial cases, most of which would require conceptual understanding, is run several times during each curriculum block. It has been shown to be a reliable and valid assessment tool, although there is no evidence that it measures anything different from a multiple choice test.

1980년대 동안 학생들의 임상 기술을 평가하기 위한 OSCE의 사용이 증가했다. 발달시험과 마찬가지로, 학생 점수는 표준 점수보다 컷 점수 기준으로 참조되고 OSCE 성능이 동료보다 2개 이상 표준 편차가 떨어지는 학생은 가능한 교정 조치를 필요로 하는 검토를 받는다.
During the 1980’s there was increasing use of the OSCE to assess student clinical skills. As with the progress test, student scores are norm referenced rather then cut-score based and students whose OSCE performance falls more than 2 standard deviations below their peers undergo review with possible remediation required.

[튜토리얼 기반 평가tutorial-based assessment]에 대한 우려에도 불구하고, 그것은 오늘날까지 지속되고 있다. 앞에서 지적했듯이 튜터와 동료가 튜토리얼 토론과 전문적인 행동에 대한 학생들의 기여를 평가할 수 있다는 증거가 있지만, 맥마스터의 내부 연구는, 국가면허시험 성적에 기초하자면, [튜토리얼 기반 평가]가 [충분한 지식을 습득한 학생과 지식 기반이 부족한 학생]을 구별할 수 없다는 것을 보여준다. 또한, [자기평가에 의해 유도driven되는 자기 주도 학습]의 개념은, [여러 문헌에서와 같이, 사람은 더 배워야 할 것을 direct하기 위한 목적으로 효과적으로 자기 평가를 할 수 없음을 고려하면], 타당성이 부족한 것으로 나타났다(Eva 및 Regehr 2005).
Despite concerns about tutorial-based assessment, it persists to this day. While there is evidence that tutors and peers can assess the contribution of students to tutorial discussion and professional behaviour, as we indicated before, internal studies at McMaster show that tutorial-based assessment cannot distinguish between those whose knowledge acquisition is satisfactory from those whose knowledge base is inadequate based on performance on the national licensing exam. In addition, the concept of self-directed learning, driven by self-assessment has been shown to lack validity given the documented inability of individuals to effectively self-assess in order to direct what they should learn more about (Eva and Regehr 2005).

입학 과정과 다른 커리큘럼 그 자체와 마찬가지로, 학생 평가는 수십 년 동안 증거의 출현과 의과대학 자체의 교육 철학과 관행을 비판적으로 검토하고 수정하려는 의지를 반영하여 발전해 왔다. 튜토리얼 평가tutorial assessment와 같은 원래의 평가 철학의 일부 측면은 남아 있었지만, 의과대학은 이제 학생들에 대한 전반적인 평가에서 (남아있는 평가 요소들의 위치가) 상대적으로 minor함을 인식하고 있다.

Student assessment, like the admission’s process and the different curricula themselves, have evolved over the decades reflecting the emergence of evidence and the willingness of the medical school to critically review and revise both its own educational philosophies and practices. Some aspects of the original assessment philosophy such as tutorial assessment have remained, but the medical school is now more cognizant of their relatively minor place in the overall assessment of students.

입학 Admissions

1969년 이 학교가 의대생들을 처음으로 입학시킨 이후 학부 MD 프로그램의 입학 과정은 상당히 발전되어 왔다. 초기에는 의료 서비스 제공과 다양한 건강 문제의 해결에 효과적이고 건강의 변화하는 요구에 적응할 수 있는 의사들을 교육해야 한다는 것을 강조하는 프로그램의 "목표"에 의해 입학 절차가 안내되었다(Ferrier et al., 1978).당시 맥매스터 교수진은 지원자의 학업 능력이 중요한 고려사항이라는 점을 인정했지만, 대학 성적표에 반영되는 학업 성적에 대한 강조는 "의대생과 의사에게 바람직한 자질의 좁은 범위만을 측정하는 것"으로 느껴졌다(Ferrier et al., 1978). 
The admissions process in the Undergraduate MD Program has evolved considerably since the school admitted its first medical students in 1969. In the early years, the admission process, was guided by the “objectives” of the program which emphasized the need to educate physicians who would be effective in contributing to the provision of care and in the solution of various health problems and who could be adaptable to changing needs in health (Ferrier et al. 1978) Like many people in medical education at the time, while McMaster faculty accepted that the academic competence of applicants was an important consideration, the emphasis on academic performance as reflected by university transcripts was felt “to measure only a narrow range of the qualities desirable in medical students and physicians” (Ferrier et al. 1978).

두 개의 도메인이 추가로 식별되었습니다.

  • 의학의 효과적인 실천에 필요한 "개인적 자질" (대부분 정의되지 않은)
  • 자기 주도 학습, 자기 평가 및 문제 해결 능력과 같이 PBL 커리큘럼에서 효과적인 학습을 위해 필요한 특정 기술 또는 능력(기술과 지식 사이의 긴장) 

Two additional domains were identified,

  • “Personal Qualities” required for the effective practice of medicine (which was largely undefined) and 
  • particular skills or abilities necessary for effective learning in a PBL curriculum, such as abilities in self-directed learning, self-assessment and problem-solving (Note once again the tension between skills and knowledge). 

지원자들은 최소한 B 평균을 얻어야 했지만, 입학 과정에는 개인적인 자질을 평가하는 자전적 스케치와 참고문헌이 포함되어 있었다. 이 초기 화면을 통과하여 인터뷰에 초대된 사람들은 2부로 구성된 인터뷰 과정에 참여하였다.

  • 첫 번째 부분은 4인 팀의 개별 인터뷰였다.
  • 두 번째는 맥매스터 MD 프로그램의 성공에 특히 중요하다고 생각되는 두 가지 품질을 평가하도록 설계된 시뮬레이션 튜토리얼 참여였습니다: [그룹 내에서 잘 기능하며, 효과적으로 학습하는 능력]과 ["문제 해결"을 통해 학습하는 능력]

While applicants were required to have achieved a minimum B average, the admission process included an autobiographical sketch and references, meant to assess personal qualities. Those who passed this initial screen and invited to interview then participated in a 2-part interview process.

  • The first part was an individual interview by a four person team;
  • the second was participation in a simulated tutorial which was designed to assess two qualities that were felt to be particularly important for success in the MD Program at McMaster, the ability to function well and learn effectively in a group and the ability to learn by “problem-solving”.

대부분의 다른 의대와는 달리 맥마스터는 특별한 선수과목 요건course prerequisites이 없었고, 맥마스터가 다른 학력, 사회, 경험적 배경을 가진 학생들로 구성된 수업을 등록하기를 원했는데, 이는 맥마스터가, [MD 프로그램의 목표 및 또한 학급 구성원이 서로의 교육에 기여할 수 있도록 보장하는 능력]에 있어서, 동질적인 집단보다 더 풍부한 학급class을 만들 것이라는 가설이 제기되었기 때문이다. 이러한 이유로, 지원과정application process의 다양한 구성요소의 평가자들은 교수진, 현재 의대생, 지역사회의 의사, 그리고 다수의 다른 지역사회 조직을 대표하는 일반 대학 커뮤니티 구성원 등 매우 다양한 배경에서 도출되었다.
Unlike most other medical schools, McMaster had no particular course prerequisites and there was a desire for McMaster to enrol a class that was made up of students with different educational, social and experiential backgrounds, since it was hypothesized that this would create a richer class than a homogenous group, both in its ability to meet the objectives of the MD Program and also to ensure that class members could contribute to each other’s education. For this reason, the assessors of the various components of the application process were drawn from a wide variety of backgrounds including teaching faculty, current medical students, physicians in the community and also non-university community members at large who represented a number of different community organizations.

25년 후, 학부 MD 프로그램의 입학 과정을 검토했을 때, 저자들은 의대생 선발의 변화를 자극한 많은 driver들을 확인했다. 2004).

  • 첫째, 캐나다 중등교육의 많은 변화는 대학 등급 평균의 유효성을 감소시킬 수 있는 마크 인플레이션에 대한 우려로 이어졌다. 이는 입학 과정의 중심이었다(특히 당시 맥마스터에서 MCAT와 같은 표준화된 시험을 사용하지 않았기 때문이다).
  • 둘째로, 학부 MD 프로그램의 지원자 수는 1990년 약 2000명에서 2000년대 중반에는 5000명 이상으로 급증했다. 기존 입학 도구를 관리하는 데 필요한 자원은 지속 가능하지 않게 되었습니다.
  • 셋째, 가장 중요한 것인데, 의과대학의 입학 및 평가 과정에 관한 좋은 증거와 정신측정학적인 엄격성에 대한 탐구quest는 면허시험과 실무에서 후속적인 성공을 위한 기존 입학 도구의 신뢰성, 유효성 및 예측적 타당성에 대한 많은 중요한 분석을 이끌었다(K).Ulatunga-Moruzi와 Norman 2002a, b).

Twenty-five years later, when the admission process in the Undergraduate MD Program was reviewed, the authors identified a number of drivers which had stimulated change in the selection of medical students (Reiter et al. 2004).

  • First, a number of changes in Canadian post-secondary education were leading to concerns about mark inflation that may reduce the validity of university grade point average, which was central to the admissions process (particularly as standardized tests like MCAT were not used at McMaster at the time).
  • Second, there was, and is, a rapid increase in the number of applicants to the undergraduate MD program, rising from approximately 2000 applications in 1990 to over 5000 by the mid 2000’s. The resources required to administer the existing admissions tools were becoming unsustainable.
  • Third, and most critically, the quest for good evidence and psychometric rigour when it came to both the admissions and assessment processes in the medical school led to a number of critical analyses of the reliability, validity and predictive validity of the existing admissions tools for subsequent success in licensing examinations and practice (Kulatunga-Moruzi and Norman 2002a, b).

 

이러한 연구들은 결정적으로 학업성취도 측정치가 면허시험 점수를 예측하는 데 있어 상당히 좋은 성과를 거두었음을 보여주었다. 특히 학부 GPA는 파트 1(다중 선택)과 파트 2(OSCE) 의료위원회 시험의 중요한 예측 변수였다. 그와는 반대로, 기존의 개인적 자질personal qualities 척도는 부적절했다. 시뮬레이션 튜토리얼, 개인 인터뷰 및 MCC 서보어와 Autobiographic Letter 사이의 25가지 상관 관계 중 유의한 것은 단 한 가지였다.

  • 두 번째 연구에서는 맥마스터에 합격한 사람과 맥마스터에 불합격했지만 다른 학교에 합격한 사람을 구별discriminate하는 선발척도admission mesaures는 하나도 없음을 보여주었다.
  • 마지막으로, 시뮬레이션 튜토리얼simulated tutorial의 신뢰도가 0.14라는 것을 보여주었다. 이러한 발견의 직접적인 결과로 자기소개서autobiographical letter, 시뮬레이션 튜토리얼, 그리고 결국 개인적인 인터뷰도 하지 않게 되었다

These studies showed conclusively that the measures of academic performance performed reasonably well in predicting licensing examination scores. In particular, undergraduate GPA was a significant predictor of both the Part 1 (multiple choice) and Part 2 (OSCE) Medical Council examination. Conversely, existing measures of personal qualities were inadequate. Of the 25 correlations between Simulated Tutorial, Personal Interview and Autobiographical Letter with MCC subscores, only one was significant.

  • A second study showed that none of the admissions measures discriminated between those who were accepted by McMaster and those who were rejected but accepted elsewhere.
  • Finally an unpublished study showed the simulated tutorial had a reliability of 0.14. As a direct consequence of these findings, the autobiographical letter, simulated tutorial and eventually personal interview were abandoned.

이 모든 것이 난제를 일으켰습니다. 맥마스터와 다른 곳에서는 캐나다 인허가 시험에서 의과대학 졸업 후 성공의 가장 좋은 예측 변수가 GPA와 MCAT 점수였다는 증거가 축적되었다. 그러나 맥매스터는 다른 의과대학과 마찬가지로, [그러한 개인적 자질을 평가하기 위한 신뢰할 수 있고 타당한 도구가 부족했음에도], 의과대학 입학을 위해 학생의 [개인적 자질]을 중요하게 여겼다. 
This all created a conundrum. Evidence had accumulated, at McMaster and elsewhere, that the best predictors of success after medical school in the Canadian licensing exams were the GPA and MCAT scores. However, McMaster, like other medical schools, considered a student’s personal qualities of significant importance for admission to medical school, despite a lack of reliable and valid tools for the assessment of such personal qualities.

앞에서 확인된 모든 이유로 전통적인 인터뷰 과정을 거부한 연구자와 교육자 그룹은 개인의 자질을 평가하면서도 평가자 간 신뢰성과 콘텐츠 특수성의 우려를 해결할 수 있는 OSCE 스타일의 입학 과정에 대한 아이디어를 개발했다. 이러한 숙고의 결과, 다중 미니 인터뷰(MMI)가 탄생했으며 많은 발표된 연구에서 이 도구의 타당성과 신뢰성이 입증되었으며 의대에서 후속 OSCE 성과에 대한 예측 능력이 입증되었다. MMI는 발표된 다른 조치보다 개인 품질 평가에서 탁월한 신뢰성을 보여준다(Eva 등). 2004). 또한, 발표된 연구에 따르면 지원자의 MMI 점수는 캐나다 국가 면허 시험의 두 부분에서 총점과 중간 정도 상관관계가 있는 것으로 나타났다(Eva 등). 2009).

Having rejected the traditional interview process for all the reasons identified earlier, a group of researchers and educators developed the idea of an OSCE-style admissions process that might assess personal qualities yet address concerns of inter-rater reliability and content specificity. As a result of these deliberations, the multiple mini-interview (MMI) was born and a number of published studies demonstrated the validity and reliability of this tool, and predictive ability on subsequent OSCE performances in medical school. The MMI demonstrates superior reliability in assessing personal qualities than other published measures (Eva et al. 2004). Additionally, published studies demonstrate that the MMI scores of applicants correlate moderately well with total scores on both parts of the Canadian National Licensing Exam (Eva et al. 2009).

그러나 의과대학 지원자에 대한 MMI 접근 방식에 필요한 자원으로 인하여, 의과대학 지원자 전원을 대상으로 한 일차 선별 도구로서는 비실용적이었다. 따라서 MMI는 일반적으로 인터뷰에 응했을 지원자 풀의 사전 선별된 코호트에만 유용할 수 있다. 이러한 격차를 해소하기 위해 의학교육연구원과 입학위원회는 전체 지원자 풀에 적용할 수 있는 개인 및 직업적 특성에 대한 온라인 평가 도구를 개발했다. CASPer(샘플링 개인 특성을 위한 컴퓨터 기반 평가)라고 불리는 이 최근의 입학 도구는 전반적인 테스트 신뢰성, 중간 신뢰성, MMI 및 GPA와의 상관 관계에 대한 증거를 확인한 여러 연구를 거쳤다. 이후 연구에 따르면 CASPer는 의과대학 입학 후 3-6년 동안 개인 및 직업적 특성의 국가 면허 결과 측면에서 중간 정도의 예측 유효성을 보였다(Dore et al. 2017).

It was recognized however that the resource requirements of the MMI approach to medical school applicants, effectively creating multiple OSCE stations for a very large number of applicants, made this tool impractical as a primary screening tool for the total number of applicants applying for medical school. Consequently the MMI could only be useful for a pre-screened cohort of the applicant pool who would have normally been brought to interview. To address this gap, medical education researchers and the admissions committee developed an online assessment tool for personal and professional characteristics that could be applied to the entire applicant pool. This more recent admissions tool called CASPer (Computer Based Assessment for Sampling Personal Characteristics) has been subjected to a number of studies which have confirmed evidence for overall test reliability, interrater reliability, and correlation with MMI’s and GPA. Subsequently studies have shown that CASPer has demonstrated moderate predictive validity in terms of national licensure outcomes of personal and professional characteristics, 3–6 years after admission to medical school (Dore et al. 2017).

50년이 지난 지금까지, 지원자들의 인지적 특성과 비인지적 특성에 대한 평가의 균형을 유지하고자 하는 욕구는 여전했다. 그러나 선택된 도구는 상당히 진화했으며 현재 사용되는 각 승인 도구는 그 심리학적 특성을 철저히 평가하고 있다. 이를 통해 5000명 이상의 지원자 중에서 200명 이상의 학생을 선발하는 데 있어서 판결adjudication의 공정성을 높이기 위해서이다.

Fifty years on, the desire to balance the assessment of cognitive and non-cognitive attributes of the applicants has remained but the tools chosen have evolved considerably and each of the currently used admission tools has had its psychometric properties thoroughly evaluated so as to increase the fairness of adjudication in selecting just over 200 students from an applicant pool that is greater than 5000.

흥미롭게도, [특정한 페다고지에 engage in하게 될 클래스 코호트를 선택하는] 입학의 para-pedagogical 과정도 50년에 걸쳐 발생한 철학적 및 교육학적 변화를 반영했다. 앞에서 지적한 바와 같이, 이것은 일시적으로 락스텝(lock-step)에서 이뤄지지는 않았지만, 교육학에 관한 철학을 변화하는 것 또한 para-pedagogical planning에 영향을 미쳤을 가능성이 높다. 예를 들어, McMaster의 의료 프로그램이 PBL의 문제 해결 기술 기반 모델에서 지식 획득 모델로 이동할수록, 입학 과정 동안 [일반적인 문제 해결 기술]을 평가할 확신이 줄어들었다. 왜냐하면 점점 더 그러한 기술이 존재하지 않는다는 것을 인정하게 되었고, 확인했기 때문이다. 

Interestingly, the para-pedagogical process of admissions—selecting the class cohort that will engage in the pedagogy—also mirrored the philosophical and pedagogical shifts that occurred over 50 years. As indicated previously, this did not occur in lock-step, temporally; but it is likely that shifting philosophies with respect to pedagogy also influenced para-pedagogical planning. For example, the further that McMaster’s medical program moved away from the problem-solving skills-based model of PBL towards the knowledge acquisition model, the less was the conviction to assess general problem-solving skills during the admissions process, since it was increasingly acknowledged, and then affirmed, that such skills did not exist independently of content knowledge.

[스킬에서 지식으로의 철학적 변화]는 입학 영역에서 교육학적으로 변하기 몇 년 전부터 이미 일어나고 있었다. 그러나 입학 과정에서 중요한 변화들, 특히 [일반적인 문제 해결 기술을 평가하는 데 사용된 모의 튜토리얼을 포기하는 것]은 (의대생 선발과 관련하여 맥마스터 내외부에서 생성된 과학적 근거에 의해 well-support될 뿐만 아니라) 의과대학의 더 큰 철학적, 교육학적 변화를 반영한다. 

The philosophical shift from skills to knowledge was occurring years before the para-pedagogical shift in admissions; but some significant changes in the admissions process, particularly abandoning the simulated tutorial used to assess general problem-solving skills, reflected larger philosophical and pedagogical shifts at the medical school, in addition to being well-supported by science generated both within and outside of McMaster regarding medical student selection.

결론 Conclusions

McMaster에서 PBL의 역사와 진화에 대한 이 리뷰는 몇 가지 중요한 일반적인 관찰을 강조한다.
This review of the history and evolution of PBL at McMaster highlights some important general observations.

첫째, [PBL을 주된 페다고지로 사용하는 의과대학]들은 [PBL에 대한 그들의 철학]과 [그 철학의 결과로 따라온 para-pedagogical manifestation]의 연속체적 위치에 있다. 서로가 서로에게 미치는 영향을 후향적으로 확인하기는 어려우며, 따라서 우리는 그들을 정렬시키기 위해 50년에 걸친 PBL에 걸쳐 McMaster에서 발생한 강한 [인과적이고, 의식적이고 질서 있는 과정이 있었다는 것]을 전달하려는 의도가 아니다. 세 가지 요소 중 어느 하나에 대한 변화는 다른 힘에 대한 반응으로 의식적으로 이루어졌고, 한 요소에서 변화가 다른 요소들의 변화에 기여했을 수 있다는 인식은 후향적으로만 가설화될 수 있다. 그럼에도 불구하고, 이러한 요소들은 존재하며 이들의 상호작용은 보다 명확한 정렬을 약속하는 사람들에게 중요한 것이다.
First, medical schools who employ PBL as their main pedagogy also sit on a continuum regarding their philosophy towards PBL and the resultant para-pedagogical manifestations of that philosophy. It is difficult to ascertain in hindsight the influences of each on the other and, as such, we do not intend to convey that there was some strong causal, and conscious, orderly process that occurred at McMaster over five decades of PBL to bring them into alignment. Very often, changes to any of the three elements were consciously made in response to other forces, and the recognition that shifts in one may have contributed to shifts in others can only be hypothesized in hindsight. Nonetheless, these elements exist and their interactions are important to notice for those committed to a more explicit alignment.

둘째, 특별히 선호하는 형태의 PBL이 없다. 무엇이 진정한 PBL이고, 무엇이 교육학이 아닌 철학에 속하지 않는지에 대한 대화. 오히려, PBL은 [문제를 (문제 해결을 배우는 것이 아니라) 학습의 기초basis로 사용하는 광범위한 교육학적 전략의 집합]으로 보아야 한다. PBL의 선구자들은 아마도 수천 년 전으로 거슬러 올라가는 다른 교육 전략에서 발견될 수 있지만, 기본적인 요소들은 50년 전 소수의 실용주의자들에 의해 모아졌다.
Second, there is no preferred form of PBL. Conversations about what is true PBL and what is not belong in philosophy, not pedagogy. Rather, it should be viewed as a broad family of pedagogical strategies using problems as a basis for learning (and not for learning problem-solving). While precursors of PBL can be found in other educational strategies dating back possibly for millennia, the basic elements were assembled 50 years ago by a small group of pragmatists.

셋째, 우리가 강조했던 변화가 실제로 교육 결과에서 입증 가능한 개선을 초래한 정도에 관하여 보자면, 이러한 변화는 기초 이론이나 이론에 대한 집착이 아니라 강력한 교육 연구에서 도출된 건전한 경험적 증거에서 도출되었다. 의학교육학에 PBL이 도입되면서, 페다고지가 중요한 의학 교육적 성과에 미치는 영향에 대한 중요한 측정을 촉진했다. 이런 점에서 PBL은 그 전까지는 존재하지 않았던, 필수적인 금박foil의 역할을 하였으며, 또는 1900년대 초반부터 등장한 플렉스너 2+2 커리큘럼의 비교자comparator 이기도 했다. 그것은 결국 PBL의 가장 중요한 기여가 될 수 있다.

Third, to the extent that the changes we have highlighted have actually resulted in demonstrable improvement in educational outcomes, these changes derived, not from adherence to underlying theories or theologies, but from sound empirical evidence derived from robust educational research. Its introduction as a medical education pedagogy instigated an important measurement of the impact of pedagogy on important medical education outcomes. In this regard, it also served as a vital, and previously non-existent foil, or comparator for the Flexnerian two plus two curricula that had emerged out of the early 1900s. That may, in the end, be the most important contribution of PBL.

 

 


Adv Health Sci Educ Theory Pract. 2019 Dec;24(5):853-863.

 doi: 10.1007/s10459-019-09908-2. Epub 2019 Aug 27.

McMaster at 50: lessons learned from five decades of PBL

Alan Neville 1Geoff Norman 2Robert White 3

Affiliations expand

    • PMID: 31456129

 

Abstract

Although educators frequently act as if curricula are as standardized as drug doses (300 mg of PBL t.i.d.), such is not the case. As a case in point, at its inception, Problem Based Learning was hailed as a major curriculum innovation, with the promise of enormous gains in learning outcomes. Very quickly, ecclesiastical debates arose as what was true PBL and what was "modified PBL". Ironically, systematic reviews conducted fairly early in its evolution showed that the gains in learning outcome from PBL were neither large nor uniform (Vernon and Blake in Acad Med 68:550-563, 1993), and the most consistent finding was greater student satisfaction. In this paper, we review five decades of experience with the first PBL curriculum at McMaster. We point out how the curriculum has evolved, both theoretically and practically, in response to external influences, based both on empirical evidence and practical demands. We describe these changes in four broad domains-theoretical rationale, the curriculum, assessment and admissions.

Keywords: Assessment; History; Learning; Problem-based learning.

+ Recent posts