적응적 의과대학 교육과정: 지속적 개선을 위한 모델(Med Teach, 2018)

적응적 의과대학 교육과정: 지속적 개선을 위한 모델(Med Teach, 2018)
The adaptive medical curriculum: A model for continuous improvement
Mark Quirk and Heidi Chumley

 

 

배경
Background

교실에 코끼리가 있는데도 아무도 알아채지 못합니다. 의과대학에서 강의 출석 정책을 완화하자 학생들은 다른 방법으로 학습하는 것이 더 효과적이라는 것을 알게 되었습니다. 학생들은 강의실을 찾지 않게 되었습니다(Prober and Heath 2012; Groen 외. 2016). 일부 교수들은 출석률이 시험 성적과 관련이 없다는 증거가 늘어나고 있음에도 불구하고 학생들이 실제로 출석하지 않으면 학습에 지장을 받을 것이라고 우려하고 위협을 느낍니다(Deane and Murphy 2013, Paul 외. 2015, Meyer 외. 2016). 오늘날의 학생들은 적응력이 뛰어난 성인 학습자로서 자신의 필요를 가장 잘 해결할 수 있는 리소스를 찾습니다. 오늘날의 교수는 적응형 교사로, 교실 안팎에서 학생의 다양한 요구를 가장 잘 충족할 수 있는 리소스를 제공하고자 노력합니다. 학생이나 교수 모두 학생에게 필요한 것이 무엇인지 정확히 알지 못합니다. 개별 학생에게 필요한 것은 적응형 커리큘럼에서 협력적인 참여를 통해 정확히 발견됩니다. 

There is an elephant in the classroom and barely a soul there to notice. As medical schools loosened lecture attendance policies, students explored learning in other ways and found them to be more effective. They stopped coming to lectures (Prober and Heath 2012; Groen et al. 2016). Some professors feel threatened and worry students will not learn if they’re not physically present, despite growing evidence that attendance is not associated with exam performance (Deane and Murphy 2013; Paul et al. 2015; Meyer et al. 2016). Today’s students are adaptive adult learners, seeking the resources that can best address their needs. Today’s professors are adaptive teachers, seeking to provide the resources that can best meet a variety of student needs inside and out of the classroom. Neither a student nor his/her professors knows exactly what that student needs. Exactly what an individual student needs is discovered through collaborative engagement in an adaptive curriculum.

적응형 커리큘럼은 학생, 교수, 콘텐츠가 학생의 학습을 가속화한다는 목적에 맞춰 서로 시너지 효과를 내며 동시에 적응하는 커리큘럼입니다. 교수자가 안내하고, 학생이 개인화하며, 콘텐츠(종종 테크놀로지의 도움으로)를 통해 활성화되는 적응형 커리큘럼은 지속적으로 진화합니다. 다음 단락에서는 아메리칸 카리브해 의과대학(AUC)에서 학생과 교수가 병행 교육과정을 중심으로 함께 적응하는 학습 환경을 조성하고, 형성 평가를 자주 실시하며, 여정을 이해하기 위한 커리큘럼 포지셔닝을 사용하여 적응형 교육과정을 발전시키는 방법을 간략하게 설명합니다.
An adaptive curriculum is one in which the student, the professor, and the content are each simultaneously and synergistically adapting to each other aligned with the purpose of accelerating student learning. Guided by the professor, personalized by the student, and enabled by content (often with the help of technology), the adaptive curriculum continuously evolves. In the following paragraphs, we outline how American University of the Caribbean School of Medicine (AUC) is evolving an adaptive curriculum by purposefully enabling a learning environment where students and professors adapt together around the parallel curriculum, with frequent formative assessments, while using curriculum positioning to understand the journey.

불참을 한탄하기보다 병행 커리큘럼을 수용하기
Embracing the parallel curriculum rather than lamenting nonattendance

교수진과 커리큘럼 개발자가 거의 인식하지 못하는, 가르치는 커리큘럼과 함께 운영되는 '병행 커리큘럼'이 있습니다. 이 공간은 학생들이 가르치는 커리큘럼에서 원하는 대로 제시되지 않은 내용을 학습하는 널 커리큘럼 내의 공간입니다(Hafferty and Gaufberg 2017). 학생들이 수업이 없을 때 "어울리며 배우는" 공간입니다. 저자 중 한 명(HC)은 최근 추가 학위 취득을 위해 정식 학교 교육으로 돌아갈 기회가 생겼을 때 "WhatsApp" 코스 그룹에 가입하여 커리큘럼의 동기식 및 비동기식 부분에서 가상 대화가 진행되는 것을 발견했습니다. 학생들은 공식 수업 중이나 수업 외 시간에 다른 학생들에게 방금 말한 내용에 대한 설명을 요청하고, 제안된 내용 대신 자신이 사용한 리소스를 지적하고, 과제에 대한 예상 노력에 대해 논의했습니다. 
There is a “parallel curriculum” that runs alongside the taught curriculum that is largely unrecognized by faculty and curriculum developers. It is the space within the null curriculum where students learn what is not presented to their liking in the taught curriculum (Hafferty and Gaufberg 2017). It is the space where students “hang out and learn” when they are not in class. When one of the authors (HC) recently had the opportunity to return to formal schooling for an additional degree, she joined a course “WhatsApp” group and noticed the virtual conversation going on during the synchronous as well as asynchronous parts of the curriculum. During and outside of the formal classroom, students asked other students for clarification on what was just said, pointed out resources they used instead of what was suggested, and discussed effort expectations for assignments.

병행 커리큘럼은 학습 앱, 학생 레거시 노트(학생이 이전 학기 또는 몇 년 동안 생성한 팁과 노트), 학습 리소스 웹사이트 및 기타 학습 환경의 고유한 위치로 구성됩니다. 점점 더 많은 학습이 개별적으로 또는 동료와 함께 이루어지는 곳입니다. 또한 교사가 학습자를 적응형 커리큘럼에 참여시킬 수 있는 이상적인 기회를 제공합니다. 
The parallel curriculum consists of learning Apps, student legacy notes (student generated tips and notes from previous semesters or years), study resource websites, and other unique locations in the learning landscape. It is where increasingly more learning takes place individually and with peers. It also provides an ideal opportunity for teachers to engage the learner in the adaptive curriculum.

호기심 어린 탐구와 이해관계자 간의 정기적인 소통을 통해 병행 교육과정을 활용함으로써 학생, 학습 습관, 교과 분야에 대해 많은 것을 배울 수 있습니다. 학생들은 자신의 학습을 개인화하는 방법으로 병행 교육과정을 활용합니다. 학생들은 동일한 정보를 다양한 방식으로 제공받으며 자신에게 가장 적합하다고 생각되는 것을 선택합니다. 병행 커리큘럼을 활용하는 방법을 배운 교수진은 학생들이 학습을 강화할 수 있도록 지도하는 방법을 기하급수적으로 늘릴 수 있습니다. 
We can learn a great deal about our students, their study habits, and our subject areas by tapping into the parallel curriculum through curious exploration and regular communication among stakeholders. Students engage the parallel curriculum as a way to personalize their learning. They find the same information presented through different modalities and select what they believe works best for them. Faculty members, who learn to harness the parallel curriculum, can exponentially increase the ways in which they guide students to augment their learning.

AUC에서는 학생들이 병행 커리큘럼에서 사용하는 학습 보조 도구, 신기술 및 교육 리소스에 대해 공식적으로 문의합니다. 조사 결과는 대학에서 구매하는 리소스에 대한 정보를 제공하며 교수진과 공유됩니다. 교수진 혁신가들은 병행 커리큘럼에 참여하는 실험을 합니다. 이들은 강의 캡처, 플래시카드 및 질문을 사용하여 학생들과 소통하고 자신의 영역에서 가르치기 위해 Osmosis, Echo 360, First Aid 및 UWorld와 같은 학습 플랫폼을 사용합니다. 책임감 있는 혁신가들은 종종 교수진 개발 프레젠테이션과 워크샵에서 동료들을 가르칩니다.  
At AUC, we formally inquire about the learning aids, new technologies, and educational resources that students use in the parallel curriculum. The findings inform resources we purchase as a university, and are shared with faculty members. Faculty innovators experiment with engaging in the parallel curriculum. They use learning platforms such as Osmosis, Echo 360, First Aid, and UWorld to connect with students and teach on their turf, using lecture capture, flashcards, and questions. Often the responsible innovators teach their peers in faculty development presentations and workshops.

학생 혁신을 촉진하여 병행 커리큘럼에 학생들의 참여를 더욱 높일 수 있습니다. 예를 들어, AUC의 학생들이 개발하고 교수진과 공동으로 연구한 혁신 중 하나는 오디오 복습과 반복을 통한 학습 향상에 초점을 맞춘 것입니다. 이 앱은 시각적 관찰에 필요한 물리적, 시간적 제약 없이 메타인지 발달을 촉진함으로써 편의성과 휴대성이라는 적응적 특징을 해결합니다. 이번 특집호(브라운 외, 2018)에 소개된 청각 학습 앱 '렉처키퍼'에 대해 자세히 알아보세요. 이 앱은 '눈과 손이 자유롭기 때문에' 학습자가 운동, 여행, 식사 등과 같은 다른 활동에 연속적으로 참여할 수 있습니다. 이를 통해 학생들은 자신의 필요에 맞는 다양한 환경과 상황에서 자유롭게 학습할 수 있습니다. 이 오디오 학습 환경은 재생 및 표기 기능으로 개인화되어 있으며, 읽기나 비디오 복습 및 대화형 연습과 같은 고급 기술과 같은 기존의 많은 리소스보다 적응형 학습자에게 더 큰 유연성을 제공합니다. 무작위 비교 그룹 연구에서 LectureKeepr를 사용하는 학생들은 MCQ 테스트에서 더 높은 점수를 받았습니다. 
We can further engage our students in the parallel curriculum by promoting student innovation. For example, one innovation developed by students at AUC and studied collaboratively with our faculty focused on the benefit of enhanced learning through audio review and repetition. It addresses the adaptive features of convenience and portability, by fostering metacognitive development without physical and temporal requirements of visual observation. Their auditory learning App called LectureKeepr is described in this Special Issue (Brown et al. 2018). It is “eyes and hands-free” allowing the learner to contiguously engage in other activities such as physical exercise, traveling, eating, and so on. This grants students the freedom to study in a wide range of environments and situations that suit their needs. This audio learning experience is personalized with playback and notation features and affords greater flexibility for the adaptive learner than many traditional resources like reading and advanced technologies including video review and interactive exercises. In a randomized comparison group study, students using LectureKeepr scored better on MCQ testing.

비디오 '강의 캡처' 시스템은 강의식 커리큘럼과 병행 커리큘럼을 연결하는 훌륭한 가교 역할을 합니다. 이 시스템을 통해 학생들은 수업에 참석하는 학생 수가 점점 줄어드는 이유를 설명하는 자료를 비동기적으로 볼 수 있습니다(Prober and Heath 2012; Groen 외. 2016). 이는 교사와 학생의 관계를 극적으로 변화시킬 수 있는 잠재력을 가지고 있습니다. 한 의과대학에서 한 학생이 교수에게 다가와 "혹시 XYZ 박사님이세요?"라고 물었습니다. 교수는 "네, 저예요"라고 대답했습니다. 그러자 학생이 말했습니다: "온라인 강의를 들으면서 교수님의 목소리를 알아봤어요. 소리를 두 배속으로 재생해서 못 알아볼 뻔했어요."(Mirza 2018). 
Video “lecture capture” systems provide an excellent bridge between the taught and parallel curricula. They allow students to view the material asynchronously explaining why fewer and fewer students are attending classes (Prober and Heath 2012; Groen et al. 2016). This has the potential to dramatically change the teacher–student relationship. At one medical school, a student approached a professor and asked “Are you Dr. XYZ?” The teacher replied “Yes, that is me.” The student then said: “I recognized your voice from listening to your lectures online. I almost didn’t recognize it because I am playing the sound double speed” (Mirza 2018).

비디오가 있든 없든 강의 캡처 시스템은 강의자에게 유용한 정보를 제공하여 학생들의 학습을 향상시킬 수 있습니다. AUC에서는 학생들이 비동기적으로 질문을 게시하고 응답할 수 있는 강의 캡처 시스템을 사용합니다. 수업에서 우수한 성적을 거둔 학생 모더레이터를 선정하여 게시된 질문을 중심으로 온라인 토론 스레드를 진행하도록 했습니다. 교수진은 플랫폼에서 정기적으로 '오피스 아워'을 정하여 학생들이 토론에 참여하고 답변을 게시할 수 있도록 했습니다. 분석 결과, 병행 교육과정에 대한 이러한 참여는 학생들의 퀴즈 점수와 과목 이해도를 높인 것으로 나타났습니다. 교수진과 함께 일하는 학생 진행자의 도입으로 비동기식 학생 질문과 응답의 전체 수가 더욱 증가했으며 퀴즈 성과도 더욱 향상되었습니다. 또한 이 기능의 'raw data'는 적응적 교사에게  강의에서 어떤 주제에 추가 설명이 필요한지에 대한 중요한 요구 사항 평가 정보를 제공했습니다. 강의 시스템이 발전함에 따라 학생들이 녹화된 강의를 얼마나 빨리 듣고 있는지, 어디에서 멈추고 다시 듣는지를 분석하면 개념의 복잡성과 전달의 명확성에 대한 정보를 얻을 수 있습니다.
Lecture capture systems, with or without video, can also provide useful information to lecturers to enhance students’ learning. At AUC, we use a lecture capture system that enables students to post and respond to questions asynchronously. High performing student moderators within the class were selected to lead online discussion threads around posted questions. Faculty schedule regular “office hours” on the platform to join the discussions and post responses. Our analyses indicate that this engagement in the parallel curriculum increased student quiz scores and subject matter comprehension. The introduction of student moderators working with faculty members further increased the overall number of asynchronous student questions and responses and further enhanced quiz performance. The “raw data” from this feature also gave the adaptive teacher important needs assessment information about which topics in the lecture required additional explanation. As lecture systems evolve, analysis of how quickly students are listening to the recorded lectures and where they stop and re-listen can provide information about the complexity of concepts and clarity of delivery.

이러한 적응형 기술에 대한 인식과 이해, 활용도가 높아지면 교수진은 라이브 세션 밖에서도 학생과 소통하는 데 도움이 됩니다. 경험에 비추어 볼 때 다음 단계가 유용합니다.
Greater awareness, understanding, and use of these adaptive technologies will help faculty members connect with their students outside of live sessions. Based on our experiences, the following steps are useful.

• 코스 디렉터를 프로세스에 참여시켜 학생의 참석이 필요한 수업 및 활동과 그렇지 않은 활동을 결정합니다.
  
• 새로운 학습용 앱을 수용하고 관련 결과를 검토할 교수진 챔피언을 찾습니다.
  
• 학생에게 어떤 앱을 중요하게 생각하는지에 대한 피드백을 요청하고 그 결과를 모든 학생 및 교직원과 공유합니다.
  
• 강의실 안팎에서 생성된 분석을 사용하여 강의 교수진이 학생들의 개념 이해도를 측정하는 데 사용하는 '멍하니 쳐다보기' 피드백을 대체합니다.
• Engage course directors in the process to determine which classes and activities require student attendance and which do not.
• Find faculty champions to embrace new Apps for learning and examine relevant outcomes.
• Solicit feedback from students on what Apps they value and share the findings with all students and faculty
• Use analytics (generated in and out of the classroom) to replace the “blank stare” feedback that lecturing faculty use to gage students’ understanding of concepts.

개인별 맞춤 학습자 평가 시스템으로 전환
Toward an adaptive learner assessment system

적응형 커리큘럼은 "질문하는 커리큘럼"입니다. 학생은 자신과 다른 사람의 질문에 묻고 답하면서 자신의 학습 요구를 평가하고 학습에 참여합니다. 적응형 커리큘럼에서 학생이 질문할 수 있는 방법에는 아래 등 여러 가지가 있습니다.

• (a) 실시간 교육 세션에서 교수에게 직접 질문하기,
• (b) 캡처한 강의 또는 학습 관리 시스템에 게시하기,
• (c) 플래시 카드를 만들어 동료에게 정보가 맞는지 질문하기,
• (d) 공부하는 동안 스스로 질문하기 

The adaptive curriculum is a “questioning curriculum.” Students assess their learning needs and engage in learning by asking and answering their own and others’ questions. In an adaptive curriculum, there are many ways for students to ask questions:

• (a) directly to a professor in a live educational session;
• (b) posting to a captured lecture or learning management system, or
• (c) developing a flash card and asking peers if the information is correct; and
• (d) self-questioning while studying.

적응형 커리큘럼 내에서 운영되는 학생과 교사는 개별 학습 요구를 충족하기 위해 커리큘럼을 지속적으로 조정하고 있습니다. 이는 지속적인 커리큘럼 개선을 의미합니다. 피드백은 이러한 조정 과정의 핵심입니다. 피드백은 다양한 방법으로 수집되지만, 가장 강력한 피드백 메커니즘 중 하나는 빈번한 형성 평가를 통해 얻은 학생의 성과입니다. 질문과 피드백 통합은 적응 과정에서 핵심적인 '학습 동인'입니다.
Operating within an adaptive curriculum, students and teachers are constantly adjusting the curriculum to meet individual learning needs. This represents continuous curriculum improvement. Feedback is key to this adjustment process. It is gathered in many ways, but one of the most powerful feedback mechanisms is student performance, attained through frequent formative assessment. Questioning and integrating feedback are key “learning drivers” in the adaptive process.

교수진은 일반적으로 학생에게 질문을 던집니다. 

• 질문을 전략으로 사용하는 강의식 강의실에서는 학생들이 더 자주 출석하고, 더 많이 참여하고, 객관식 시험에서 더 좋은 성적을 냅니다(Deslauriers 외. 2011). 
• 임상 교육에서 질문을 사용하여 지식을 반복적으로 검색하는 연습을 하는 학생은 지식을 더 잘 유지하고 임상 상황에 적용하는 능력이 향상되는 것으로 나타났습니다. 질문에 응답하는 것은 지식의 임상적 적용을 향상시킵니다(Larsen 외. 2013). 
• 학생들은 더 나은 문제 해결자가 되어 메타인지 수준에서 사건을 예측하고, 자기 모니터링을 하고, 임상적 결정에 편견이 없는지 확인하는 등의 작업을 쉽게 수행할 수 있습니다(Weinstein 외. 2010; Croskerry 2018).

Faculty members commonly pose questions to students.

• In the lecture-based classrooms that rely on questioning as a strategy, students attend more often, are more engaged, and perform better on multiple-choice exams (Deslauriers et al. 2011).
• In their clinical training, students that practice repeated retrieval of knowledge using questions demonstrate enhanced retention and transfer of that knowledge to clinical situations.
• Responding to questions improves clinical application of knowledge (Larsen et al. 2013). Students become better problem-solvers and readily operate at the metacognitive level, anticipating events, self-monitoring, and checking clinical decisions for biases (Weinstein et al. 2010; Croskerry 2018).

피드백이 있는 질문, 특히 자기 질문은 학습의 고유한 동인입니다. 이러한 질문은 의사소통과 관점 잡기, 자기 평가, 임상 의사 결정, 계획과 같은 여러 가지 "고차원적" 기술을 개발하는 데 기초가 됩니다(Quirk 2006). 이러한 기술을 사용하는 상황에서 우리는 정보를 발견하고, 행동을 비교 및 대조하고, 사고에 대해 생각하고, 진행 상황을 모니터링하는 데 이러한 동인을 사용합니다. 이러한 기술을 종합하면 전문성이라고 할 수 있습니다. 의학교육의 분명한 목표는 지식과 기술을 갖추고, 효과적으로 계획을 세우고, 자신의 성과와 필요를 평가하고, 자신의 생각, 감정, 행동을 성찰하고, 직업 생활 전반에 걸쳐 다른 사람의 관점을 이해할 수 있는 전문 의사를 양성하는 것입니다. 간단히 말해서, 적응하고 행동하며 발전할 수 있는 전문가를 배출하는 것이 목표입니다.
Questioning with feedback and specifically self-questioning are unique drivers of learning. They underly the development of several “higher order” skills such as communication and perspective-taking, self-assessment, clinical decision-making, and planning (Quirk 2006). In situations where we use these skills, we use these drivers to uncover information, compare and contrast behaviors, think about our thinking, and monitor our progress. Together, these skills represent expertise. The indisputable aim of medical education is to develop expert physicians who are knowledgeable and skilled, and can plan effectively, assess their own performance and needs, reflect on their thoughts, feelings, and behaviors, and understand the perspectives of others throughout their professional lives. Stated succinctly, the aim is to produce experts who can adapt, act, and advance.

질문을 통해 학생들은 교사의 도움 없이도 학습의 내용, 수준, 속도를 조정할 수 있습니다. 질문은 학습과 예측 분석의 기초입니다. 반성적 프로세스의 핵심 기능은 사고 과정의 격차나 단점을 파악하는 것입니다. 질문은 반성 연습의 기회를 제공합니다. 여러 연구에서 질문에 답하는 것이 단기 및 장기 기억에 미치는 긍정적인 영향이 입증되었습니다(Smith and Karpiche 2014, Brame and Biel 2015). 고도로 기능적인 적응형 커리큘럼에서는 학습자가 결국 교사가 됩니다. 
Questions enable students to adapt the content, level and pace of learning with, and ultimately without, the aid of a teacher. They are the foundation of learning and predictive analytics. A key function of the reflective process is to identify gaps or shortcomings in the thinking process. Questions provide an opportunity for retrieval practice. Several studies have demonstrated the positive impact of answering questions on short- and long-term retention (Smith and Karpiche 2014; Brame and Biel 2015). In a highly functional adaptive curriculum, the learner eventually becomes the teacher.

질문이 학습 유지와 인지 및 메타인지 성장에 미치는 긍정적인 효과는 피드백을 통해 더욱 강화됩니다(Bing-You와 Trowbridge 2009). 퀴즈와 시험이 끝난 후 학생이 받는 맞춤형 코칭 보고서는 신중하게 설계되고 실행될 때 학생이 향상할 수 있는 기회를 제공합니다(Heen and Stone 2014). 반성의 기회와 함께 피드백을 받으면 자기 평가 능력을 향상시킬 수 있습니다.  
The positive effects of questioning on retention as well as cognitive and metacognitive growth are enhanced with feedback (Bing-You and Trowbridge 2009). Tailored coaching reports received by students after quizzes and exams, when carefully designed and implemented, provide an opportunity for the student to improve (Heen and Stone 2014). Feedback coupled with an opportunity for reflection can enhance the ability to self-assess.

퀴즈와 모의고사는 적응형 커리큘럼의 핵심 학습 동인으로서 질문을 공식화합니다(McDaniel 외. 2012; Arnold와 McDermott, 2013). 이러한 시험은 강력한 습관을 형성하고 유지력을 강화하기 위해 자기 평가를 사용하여 학생들의 기억을 준비시킵니다. 학습에 대한 입증된 가치에도 불구하고, 의과대학 커리큘럼에서 자기 평가는 눈에 띄게 부재합니다(Gruppen 외. 2000; Davis 외. 2006; Colthart 외. 2008). 최근의 한 연구에 따르면 주간 형성 퀴즈 성적이 기말고사 점수를 예측할 수 있는 것으로 나타났습니다(Chang and Wimmers 2017). 저자들은 낮은 난이도의 퀴즈를 자주 풀면 학생들이 학습을 교정하고 간격과 인터리빙과 같은 효과적인 전략에 집중할 수 있다고 결론지었습니다.  
Quizzes and practice exams formalize questioning as the key learning driver in the adaptive curriculum (McDaniel et al. 2012; Arnold and McDermott, 2013). They build strong habits and prepare students’ recall by employing self-assessment to strengthen retention. Despite its proven value to learning, self-assessment is conspicuously absent in the medical school curriculum (Gruppen et al. 2000; Davis et al. 2006; Colthart et al. 2008). A recent study found that performance on weekly formative quizzes was predictive of final exam scores (Chang and Wimmers 2017). The authors conclude that frequent low stakes quizzes allow students to calibrate their learning and attend to effective strategies such as spacing and interleaving.

AUC에서는 자기 평가와 개인화된 빠른 피드백을 통해 적응형 학습을 강화하기 위해 모든 코스에서 매주 형성형 퀴즈와 '학습을 위한 시험'을 독특하게 조합하여 사용합니다(Carney 외. 2018, 이번 의료 교사 특별호 참조). 현재 학생들은 퀴즈를 풀어야 하지만 점수가 최종 성적에 영향을 미치지 않습니다. 학생들은 자신의 성과 데이터와 개선 기회가 포함된 상세한 코칭 보고서를 받습니다. 학생들은 모든 문제를 정답으로 맞출 때까지 동일한 퀴즈를 다시 풀도록 권장되며, 대부분의 수업에서 성적에 대한 추가 점수를 받습니다. 퀴즈는 표준화된 시험 형식을 반영하여 리허설을 촉진합니다. 또한 퀴즈는 간격 학습과 인터리빙 학습의 이점을 극대화하도록 설계되었으며 학생의 학습 경험의 구조에 통합되어 있습니다. 학생들은 학기 내내 이전에 공부했던 퀴즈와 리포트로 돌아가 시험 공부를 할 수 있습니다.
At AUC, we use a unique combination of weekly formative quizzes and “exams for learning” in every course to enhance adaptive learning through self-assessment and personalized rapid feedback (see Carney et al. 2018; in this special issue of medical teacher). Currently, students are required to take quizzes, yet their scores cannot hurt their final grades. They receive detailed coaching reports with their performance data plus the opportunity for improvement. They are encouraged to return to the same quizzes until they answer all of the questions correctly and in most classes receive extra credit toward their grades. The quizzes mirror the standardized examination format to foster rehearsal. They are also designed to maximize the benefits of spaced and interleaved learning and are woven into the fabric of the student’s learning experience. Students can return to their earlier quizzes and reports throughout the semester to study for exams.

또한, 학습을 강화하기 위해 동일한 간격으로 두 번의 학기 시험과 기말시험을 실시하는 구조를 검토하고 있습니다. 각 학기 시험 순서에서, 학생들은 3일 후에 두 번째 시험을 치르고 두 시험 점수 중 더 높은 점수를 받을 수 있습니다. 시험 사이에 학생들은 첫 번째 시험 성적에 대한 심층 분석과 교수진 및 동료로부터 코칭을 받습니다.
In addition, we are evaluating a structure of two equally spaced term exams that are designed to enhance learning plus a final examination. During each term exam sequence, students can take a second version of the exams three days later and receive the higher of the two exam scores. Between exams, students receive in-depth analyses of their performances on the first exam and coaching from faculty and peers.

새로운 적응형 평가 시스템을 평가한 결과 학습과 유지에 도움이 되는 것으로 나타났습니다. 이러한 형성 전략과 이러한 전략이 총체적 성과와 적응 행동에 미치는 영향에 대한 예비 결과는 이번 특별호(Carney 외. 2018)에 자세히 설명되어 있습니다. 이 과정은 학습 '을 위한' 평가뿐만 아니라 학습 '에 대한' 평가를 나타냅니다. AUC에서는 다음과 같은 지속적인 적응 평가 순서를 평가함으로써 평가에 대한 학문적 접근을 계속하고 있습니다.

• (a) 시간적 간격을 둔 리허설, 
• (b) 즉각적인 분석, 
• (c) 구조화된 피드백, 
• (d) 반복

우리는 역량 기반 의학교육의 평가가 단순히 무능력을 파악하는 것이 아니라 역량을 향상하는 데 초점을 맞춰야 한다는 Schuwirth와 Ash(2013)의 의견에 동의합니다.
Evaluation of our emerging adaptive assessment system reveals benefits for learning and retention. These formative strategies and preliminary results of their impact on summative performance and adaptive behavior are described more fully in this Special Issue (Carney et al. 2018). The process represents assessment “for” as well “of” learning. At AUC, we continue to take a scholarly approach to assessment by evaluating the continuous adaptive assessment sequence:

• (a) spaced rehearsal,
• (b) immediate analytics,
• (c) structured feedback, and
• (d) repetition.

We agree with Schuwirth and Ash (2013) that assessment in competency-based medical education should focus on improving competence, not simply on identifying incompetence.

커리큘럼 포지셔닝을 통한 여정 이해하기
Understanding the journey with curriculum positioning

적응형 평가 시스템은 개별 학습을 보완하고 정보를 제공하며 적응형 커리큘럼에 긍정적인 영향을 미칩니다. 학생 평가 데이터의 일관된 보고는 교육, 멘토링 및 교정의 강력하고 역동적인 조정을 용이하게 합니다. 또한 커리큘럼 개발을 위한 학습 및 예측 분석을 제공하고 여러 교육기관 이해관계자 간의 시너지를 촉진합니다. 평가 데이터는 형성형 및 요약형 모두에서 AUC의 성장하는 적응형 커리큘럼에 필수적인 '적응형' 데이터 소스임이 입증되고 있습니다. 
The adaptive assessment system complements and informs individual learning and has a positive impact on the adaptive curriculum. Consistent reporting of student assessment data facilitates robust, dynamic adjustments of teaching, mentoring, and remediation. It also provides learning and predictive analytics for curriculum development and facilitates synergy among multiple institutional stakeholders. Assessment data, both formative and summative, are proving to be an essential “adaptive” data source for AUC’s growing adaptive curriculum.

적응형 커리큘럼이 부분의 합보다 더 큰 전체를 구성할 수 있는 능력과 사례 기반 커리큘럼이 기초 과학 자료의 부자연스러운 순서를 가질 가능성이 증가함에 따라 신중한 매핑이 필요합니다. 커리큘럼 맵은 연결성, 범위 및 일관성을 식별하는 데 도움이 됩니다(Harden 2009). 분석은 학습과 교수를 지시하고 원하는 결과를 달성하는 데 있어 미래의 성공을 예측할 수 있는 가시적인 마커 또는 웨이포인트를 제공하는 데 사용됩니다. 분석 목적으로 다각적인 커리큘럼 데이터를 마이닝하는 것은 커리큘럼 맵의 동적 해석으로 포착됩니다.
The capacity for the adaptive curriculum to constitute a whole greater than the sum of its parts and an increased potential for case-based curricula to have an unnatural sequence of basic science material requires careful mapping. The curriculum map helps identify connections, coverage, and consistency (Harden 2009). Analytics are used to provide tangible markers or waypoints that direct learning and teaching and predict future success in achieving desired outcomes. Mining the multifaceted curriculum data for analytic purposes is captured in a dynamic interpretation of the curriculum map.

이제 데이터에 대한 새로운 기술과 접근 방식을 통해 위성 위치 확인 시스템(GPS)과 유사한 방식으로 이정표와 역량에 이르는 다양한 커리큘럼 경로를 '위성 보기'할 수 있게 되었습니다. 이와 유사하게, 커리큘럼 포지셔닝 시스템(CPS)은 이해관계자가 성과 목적지(역량), 이동 방법(학습 전략), 경유지(마일스톤)를 설정할 수 있는 동적 대화형 교육 도구를 제공합니다. 학생과 교직원은 예상 도착 시간에 대한 정확한 정보를 공유하고 학습을 위한 복잡한 코스를 계획할 수 있습니다. 학생들은 CPS를 통해 개인화된 대체 경로와 여정을 보관하고 반성할 수 있는 공간을 만들 수 있습니다.
New technologies and approaches to data now enable us to “take a satellite view” of the multiple curriculum pathways to milestones and competencies in a manner akin to the Global Positioning System (GPS). Analogously, a Curriculum Positioning System (CPS) offers a dynamic interactive educational tool that enables stakeholders to establish performance destinations (competencies), methods of transportation (learning strategies), and waypoints (milestones). Students and faculty will share accurate information about estimated time of arrival and plot complex courses for learning. Our CPS will enable students to create personalized alternative routes and a place to archive and reflect on their journeys.

애널리틱스는 적응형 커리큘럼의 중추입니다. 이를 통해 교사는 학습의 지휘자가 될 수 있습니다. 교사는 학생 개개인의 필요에 따라 학생을 리소스로 안내합니다. 데이터(대부분 개인 및 그룹 성과 데이터)는 목표에 대한 진척도를 평가하고 이 진척도를 표준과 비교하여 미래의 성과를 예측하는 데 사용됩니다. 분석은 각 단계에서 학생의 성과를 추적하여 파악된 요구사항과 연계된 리소스를 보다 정확하게 타겟팅할 수 있도록 합니다.
Analytics are the backbone of an adaptive curriculum. They enable the teacher to become a conductor of learning. Teachers direct students to resources based on their individual needs. Data – most often individual and group performance data – are used to assess progress toward objectives and also predict future performance based on this progress compared to a gold standard. Analytics track the student’s performance each step along the way allowing greater precision in targeting the resources that have been tied to the needs identified.

결론
Conclusions

하버드 의과대학의 학장 찰스 헌더트는 '새로운 커리큘럼'을 언급하며 다음과 같이 말합니다: "의학 교육은 정보의 전달이 아니라 학습자의 변화에 관한 것입니다."(Shaw 2015). 커리큘럼은 단순한 강의 계획서나 내용 설명, 심지어는 내용 자체의 전달 그 이상이 되었습니다. 그것은 교사의 의도, 이를 실현하고 결과를 판단하는 방식에 관한 교육 프로그램에서 일어나야 하고 실제로 일어나는 일입니다(Quirk and Harden 2017).
Referring to the “new curriculum,” Charles Hundert, Dean of Harvard Medical School states: “Medical education is not about the transmission of information, but about the transformation of the learner” (Shaw 2015). A curriculum has become more than just a syllabus, a statement of content or even delivery of the content itself. It is what should and does happen in a teaching program – about the intention of the teachers, about the way they make this happen and judge the results (Quirk and Harden 2017).

이로 인해 학습 환경에 대한 관점이 확장되었고 커리큘럼에 대한 새로운 정의가 필요해졌습니다. 교육과정은 역량으로 이어지는 학습 및 평가 경험의 총합으로 정의하는 것이 가장 적합하며, 학부 의학교육부터 평생의학교육까지 지속적인 학습의 총합을 포함해야 합니다. 좀 더 정확한 표현을 빌리자면, 커리큘럼은 한 가지가 아니라 학습으로 이어지는 여러 가지 '커리큘럼 경로'가 있습니다. 가장 전통적인 경로는 "가르쳐진 커리큘럼taught curriculum"입니다. 여기에는 강의 및 소그룹과 같은 강의실 활동과 교수진이 제작한 자료 및 유인물이 포함됩니다.
This has resulted in an expanded view of the learning environment and requires a new definition of curriculum. It is best defined as the sum of learning and assessment experiences that lead toward competency and should cover the sum of continuous learning from undergraduate medical education through continuing medical education. Using a more accurate vernacular, there is not just one curriculum, but instead, several “curriculum pathways” that lead to learning. The most traditional pathway is the “taught curriculum.” It includes classroom activity such as lecturing and small groups as well as faculty generated materials and handouts.

의료 학습자의 장기적인 적응 필요성을 고려할 때 커리큘럼의 의료 콘텐츠는 실제 임상 문제를 중심으로 구성되어야 합니다. 이는 학생들이 자신의 학습 요구를 평가하고 피드백을 맞춤화할 수 있는 임상 사례를 통해 가장 쉽게 달성할 수 있습니다. 사례 기반 커리큘럼은 실제 적용 사례를 반영하고 커리큘럼을 개인화하므로 진정성이 있습니다. 대부분의 경우 의학은 '케이스'를 통해 실행되며, 케이스 학습을 통해 학생들은 실습에 대비할 수 있습니다.
Considering the medical learner’s long-term adaptive needs, curriculum medical content must revolve around real-world clinical problems. This is most easily accomplished through clinical cases where students can assess their learning needs and feedback can be customized. Case-based curriculum is authentic; it mirrors real-life application and personalizes the curriculum. For the most part, medicine is practiced “in cases,” and learning in cases prepares students for practice.

적응형 의료 교육은 "모든 사람에게 맞는" 접근 방식이 아니라 다양한 수준의 지식과 배경을 가진 학습자의 요구를 해결합니다. 교사는 가르침형, 병행형, 숨겨진 커리큘럼 사이를 유동적으로 이동하며 교육 여정의 어느 단계에서든 학생을 만날 수 있습니다.
Adaptive medical teaching addresses the needs of learners that have different levels of knowledge and backgrounds, rather than a “one size fits all” approach. The teacher is able to fluidly move between the taught, parallel, and hidden curriculum – meeting a student wherever they are in their educational journeys.

적응형 커리큘럼은 공통점을 가진 학생들을 유연하게 가르칠 수 있도록 설계되었습니다. 학생들은 자신의 강점과 약점을 이해함으로써 학습하는 법을 배웁니다. 자신과 다른 사람의 사고에 대해 생각하고, 결함을 인식하고, 행동을 취하고, 학습 결과에 영향을 미칩니다. 적응형 학습자 중 리더는 변화를 주도합니다. 실제로 이들은 의학과 의료가 근본적으로 변화해야 하며, 단순히 적응하는 것이 아니라 주도해야 한다고 공통적으로 믿습니다. 이들의 지식과 가치는 감정과 얽혀 있으며, 신념은 끈기가 되고 경우에 따라서는 "의로운 분노"가 되기도 합니다. 발견, 혁신, 권한 부여, 영감, 겸손이 이들의 변화의 도구입니다. 
The adaptive curriculum is designed to flexibly teach students who share a common thread. They learn to learn by understanding their strengths and weaknesses. They think about their own and others’ thinking, perceive a flaw, take action, and have an impact on their learning outcomes. The leaders among our adaptive learners become transformative. In fact, they uniformly believe that medicine and healthcare must fundamentally change, and they must lead, rather than simply adapt. Their knowledge and values are intertwined with their feelings – conviction becomes persistence and, in some instances, “righteous anger.” Discovery, innovation, empowerment, inspiration, and humility are their instruments for change.

변혁적 학습자는 특별한 부류의 적응 전문가입니다. 이들은 말과 행동을 통해 광범위한 청중에게 다가갑니다. 이들은 소통의 달인으로, 자신의 신념을 표현하고 행동으로 옮길 수 있는 광활한 무대를 구축합니다. 이들은 전통적인 경계를 뛰어넘어 사람들을 이끌고 교육하며, 다른 사람들이 뛰어난 능력을 발휘하도록 영감을 주고 미디어의 관심을 불러일으킵니다. 이들의 개성은 다른 사람들을 변화의 과정으로 끌어들입니다. 변혁적 학습자는 기존의 직업적 경계를 넘어 큰 무대에서 참여하고 영감을 줍니다.

Transformative learners are a special class of adaptive experts. They reach broad audiences through words and actions. They are masters of communication, building an expansive stage from which to express and act upon their beliefs. They lead and educate across traditional boundaries, inspire others to excel and pique interest from the media. Their personalities draw others into the transformation process. Transformative learners engage and inspire on a big stage – beyond traditional professional boundaries.

 

---

Med Teach. 2018 Aug;40(8):786-790. doi: 10.1080/0142159X.2018.1484896. Epub 2018 Jul 22.

The adaptive medical curriculum: A model for continuous improvement

Mark Quirk 1, Heidi Chumley 1

Affiliations collapse

1a American University of the Caribbean, School of Medicine , Sint Maarten.

PMID: 30033792

DOI: 10.1080/0142159X.2018.1484896

Abstract

This paper describes the medical curriculum designed to foster adaptive expertise. Engaging in the formal and informal curriculum, students learn to achieve desired outcomes in novel situations, perform comfortably with uncertainty, and are often recognized for creative problem-solving. Students learn by asking and answering their own and others' questions. They readily operate at the metacognitive level, anticipating events, self-monitoring, and checking decisions and emotions. A key function of the reflective process is to identify gaps or shortcomings in the thinking process. The adaptive learner shifts into reflective thinking when confronted with complex contextual and situational demands. We are only beginning to understand how to create educational pathways to foster adaptive learning. An essential focus is the adaptive teacher who frames learning and assessment around predictive analytics, reflective spaced practice, and authentic learning material. To be effective, the teacher must engage the learner outside the formal classroom in the parallel curriculum. A major premise is that learning occurs individually and together with peers, teachers, and team members in multiple contexts. During the learning process, the learner readily operates at the metacognitive level, anticipating behavior, self-monitoring and assessing, and checking theirs and others decisions and emotions. The adaptive medical curriculum provides the pathway for such learning.