교육과정-평가 학생위원회: 학생중심 접근법으로 교육과정 변화를 촉진할 수 있을까? (Med Teach, 2015)

교육과정-평가 학생위원회: 학생중심 접근법으로 교육과정 변화를 촉진할 수 있을까? (Med Teach, 2015)

The Student Curriculum Review Team: How we catalyze curricular changes through a student-centered approach

KATIE W. HSIH, MARK S. ISCOE, JOSHUA R. LUPTON, TYLER E. MAINS, SURESH K. NAYAR, MEGAN S. ORLANDO, AARON S. PARZUCHOWSKI, MARK F. SABBAGH, JOHN C. SCHULZ, KEVIN SHENDEROV, DAREN J. SIMKIN, SHARIF VAKILI, JUDITH B. VICK, TIM XU, OPHELIA YIN & HARRY R. GOLDBERG*

The Johns Hopkins University School of Medicine, USA

의학교육을 개선하라는 요구는 새로운 것이 아니다. 사실, 의학교육의 자극제도 아니었다. 1910년부터 1993년까지의 교육과정에 대한 보고서를 보면, 늘어나는 의학지식을 습득하고 공공의 이익을 위해 헌신하며, 평생학습 기술을 익히고...이와 같이 학습목표는 놀라울 정도로 달라진 것이 없다. 

Calls for reform in medical education are nothing new. Nor, in fact, is the impetus behind them: a review of such reports from 1910 to 1993 revealed a strikingly consistent set of stated objectives, including tackling the growing body of medical knowledge, better serving the public interest and fostering lifelong learning skills, all of which seem familiar today (Christakis 1995).

LCME는 모든 의과대학은 학생의 피드백을 포함하여 교육과정 검토 기구를 보유할 것을 의무화하고 있다. 과목 평가를 위한 설문이 종종 이 요건을 충족시키기는 하나, 그것 만으로는 구체적인 피드백을 실제 적용가능한 행동계획으로 옮기게 하는 데에는 실패하고 있다.

Accordingly, the Liaison Committee on Medical Education mandates that all medical schools have an internal review process that involves student feedback. While course evaluation questionnaires often fulfill this requirement (Abrahams & Friedman 1996), they alone may fail to gather specific feedback that can be translated effectively into actionable plans (Amrein-Beardsley & Haladyna 2011).

의과대학은 이러한 전통적 방식의 단점을 인식하고, 학생의 인풋을 확대하는 접근법을 보충하였다. 

Medical schools have noticed the shortcomings of these traditional methods and modified them with supplemental approaches to solicit greater student input. 

• 300명 중 50명 대상 포커스그룹
  For example, at Wayne State University, focus groups have been added to the school’s curricular evaluation process. The school invites 50 randomly selected students from a class of approximately 300 to participate in a focus group moderated by student representatives, who then produce a formal report that is presented to course directors (Wilson et al. 2013). 
• PBL 그룹에서 학생대표로 교수가 중재하는 포커스그룹에 참가할 학생을 선정함
  At the University of Sydney, problem-based learning groups appoint student representatives to attend faculty-moderated focus groups; faculty a report summarizing issues raised and responses is then published internally and included in the final course review (Hendry et al. 2001). 
• 각 쿼터마다 학생 포커스그룹을 시행하고, 교육과정 평가 담당교수가 그 결과를 받아서 반영함.
  Finally, during their period of curriculum reform, the Stanford School of Medicine convened student focus groups midway through each quarter, and curriculum evaluation staff presented focus group findings to course directors while the courses being reviewed were still in progress (Fetterman et al. 2010).

이들 포커스그룹이 의미있고, 건설적인 인풋을 넣긴 하지만, 학생의 일부만 참여하고, 교수의 영향에서 자유로울 수 없다는 한계가 있다.

While these focus groups have been found to elicit meaningful and constructive input from medical students,they invite participation from only a fraction of the student body and may be susceptible to influence by faculty and staff.

우리가 한 것

What we did

SCRT (Student Curriculum Review Team)

The SCRT at the Johns Hopkins University School of Medicine aims to foster a learner-centered model of curriculum review.

SCRT의 목적

Goals of SCRT

(1) 모든 학생을 능동적이고 쌍방향의 과목 개선 프로세스에 참여시킨다. 과목 평가 설문지는 수동적이고 일방적이었다.

(2) 능동적 피드백을 수합함에 있어서 교수의 영향이 없도록 하며, 학생 간 생산적 토론이 이뤄지게 놔둔다.

(3) 학생의 피드백이 공개됨은 물론, 교육과정 관리자 교수들과 토론을 하게 하며, 교수와 학생이 모두 각자의 관점을 이야기할 수 있게 한다.

(4) 향후 교육과정의 개선과 학생 및 교수에게 투명성을 담보하기 위하여 모든 SCRT절차를 문서화한다.

(1) Engage the entire student body in an active, two-way course improvement process, as opposed to course questionnaires, which are more passive and one-sided. 

(2) Gather this active feedback in a manner that is not influenced by faculty and allows for productive discussion among students. 

(3) Ensure that student body feedback is not only presented but also discussed with course directors, with students and faculty both having the chance to express their viewpoints.

(4) Maintain documentation of the entire SCRT process for future curricular improvement and transparency of the process for students and faculty.

스텝0: SCRT 참여 자격을 개방한다 (목표 1). SCRT는 1학년 혹은 2학년의 어떤 시점에서든 자발적으로 팀에 합류한 학생들로 구성되어 있다. 이는 모든 학생들로 하여금 다양한 기간에 걸쳐서 - 한 시간부터 수십 시간까지 - 자신의 가능한 시간에 따라 참여할 수 있게 한다. 이렇게 투자하는 시간에 대한 별도의 보상은 없다. 각 해의 시작시에 SCRT 멤버는 co-chairs를 지정한다. 

Step zero: establish open SCRT membership (goal 1). SCRT consists of medical students who voluntarily join the team at any point during their first or second years. This allows for the entire student body to participate for varying lengths of time, fromone hour to dozens of hours over the year, depending on their availability. Members are not compensated for their time. At the beginning of each academic year, the members of SCRT designate co-chairs who delegate responsibilities and ensure completion of all necessary tasks for each course review, a process outlined below.

스텝1: 과목 평가 자료를 모으고 검토한다. 각각의 전-임상 과목에서 학생들은 익명으로 과목평가를 마친다. 교육과정관리실은 이 평가 자료를 SCRT 멤버에게 전달한다. 그 과목을 검토하도록 임명된 멤버는 평가결과를 읽고 지속적으로 나타나는 긍정적인 주제 혹은 향상될 수 있는 부분을 찾아낸다. 이 주제는 Town Hall Meeting에서 학생들에게 모두 공개된다.

Step one: gather and review course evaluation data. After each pre-clinical course, students anonymously complete the School of Medicine’s course evaluation. The Curriculum Office then sends these completed evaluations to the SCRT members. Team members who have elected to review that course read the evaluations and identify recurrent positive themes and opportunities for improvement. These themes are presented to the student body at a Town Hall Meeting.

스텝2: THM을 통해서 해결책을 만들고, 온라인으로 설문을 한다(목표 1, 목표 2). SCRT의 기본은 광범위한 학생들을 참여시켜서 건설적 아이디어를 이끌어내고 그것을 지지해줄 양적 자료를 만드는 것이다. 이를 위해 THM은 점심시간에 이뤄지며, 매 6~8주마다 시행되고, 2~3개 과목에 대해 논의한다. 과목 검토는 회상비뚤림(recall bias)를 줄이기 위해서 가급적 과목 종료와 가까운 시기에 한다. 동시에 학생들의 부담을 줄이기 위해서 몇 개 과목을 모아서 한꺼번에 한다. 각 학생은 THM에 올 것이 적극 권장되고, 진솔한 토론을 위해서 교수는 참여하지 않는다. 모든 학생이 참여하는 것을 가능하게 함으로써, 학생들은 그들이 받을 교육의 형태를 만들어나갈 하나의 책임감을 부여받게 된다. 일반적으로 2/3의 학생이 참여한다.

THM의 초반에 SCRT 멤버들은 과목 평가결과자료를 발표하고, 그로부터 도출된 주제를 열거한다. 또한 이전의 SCRT 검토 결과 달라진 점을 언급해줌으로써, SCRT에 기여하는 시간이 교육과정과 학생에게 긍정적 영향을 미치고 있음을 보여준다. 이후 SCRT 멤버들의 지도에 따라서 학생들은 소그룹 토론을 하는데, 이 때 SCRT 멤버는 토론을 이끌고, 과목의 특정한 개선을 위한 가능한 방법을 제시한다. 이 SCRT멤버들은 THM동안 소그룹을 순환하면서 모든 학생들이 각 과목에 대한 토론에 참여하도록 한다. 이 시간이 마칠 때 SCRT멤버가 도출된 결론을 요약발표한다.

학생들의 대표성을 확보하고, 많은 학생이 참여하게 하기 위해서 여기서 제안된 해결책들이 전 학생을 대상으로 한 간단한 온라인 투표에 붙여진다. 이 설문은 대부분 '예' '아니오'질문으로 이뤄진 객관식 문항이며 보통 1/2~2/3의 학생이 참여한다. 이 단계에서 수집된 자료들은 SCRT가 교수들에게 제출하는 예비보고서에 담길 제안사항을 결정하고, 그 근거를 입증하는데 쓰인다. 이 각 단계들은 엄청나게 빈틈없이 진행되고, 이것을 거치며 학생들의 의견이 정제되고 실제 행동으로 옮겨질 수 있는 형태로 명확해진다.

Step two: generate solutions through Town Hall Meeting and online survey (goals 1 and 2). A fundamental element of the SCRT process is its engagement with the broader student body in a manner that elicits constructive ideas and generates quantitative data to support them. To accomplish this, a Town Hall Meeting is held during the lunch hour every 6–8 weeks during the academic year to discuss 2–3 courses. Every effort is made to review courses close to their completion to reduce recall bias. This is balanced with the effort to group courses together to decrease student burden. Every student is welcome to attend the Town Hall Meetings, and faculty are not present, allowing for candid discussion among students. By allowing everyone to attend, students are empowered with the one- responsibility for shaping their education. Typically, third to two-thirds of the class attends each Town Hall Meeting.

At the beginning of the Town Hall Meeting, SCRT members present a summary of course evaluation data and list the evaluation-derived themes. They also note the changes that resulted from the previous year’s SCRT review (Table 1), assuring students that their time and contribution to the SCRT process are having a positive impact on the curriculum and allowing students to put the current status of the course in context. The student body is then organized into smaller discussion groups led by SCRT members who are tasked with leading discussions on potential solutions to address a specific course’s opportunities for improvement. These designated SCRT members rotate from group to group throughout the Town Hall Meeting so that all students in attendance discuss each course. At the conclusion of the hour, the designated SCRT members summarize the solutions generated.

In order to increase student representation and quantify support, the proposed solutions are presented to the entire class in a short online survey. The survey is composed of a series of multiple choice, mostly simple ‘‘yes’’ or ‘‘no’’ questions, and generally one-half to two-thirds of the class participates in the online survey. The data collected from this stage of the evaluation process helps determine and substan- tiate the suggestions SCRT will include in its preliminary report to faculty. With each step of the process, an increasingly thorough, refined and actionable understanding of student opinion becomes evident.

스텝3: 과목 책임교수 미팅과 Student Assessment and Program Evaluation (SAPE) 보고서를 통해서 변경사항들이 도입된다. (목표 3, 4). 앞의 두 단계에서 수집된 양적, 질적 데이터를 활용하여 SCRT 멤버들은 예비보고서를 통해 학생들의 피드백에서 나온 긍정적 주제들과 가능한 해결책을 제시한다. 이 예비보고서는 토론의 근간이 되는 자료로 사용되고, SCRT 멤버들이 과목 책임교수, 교육과정학장, SCRT 담당교수를 만난다. 이 미팅은 SCRT의 독특한 점인데, 교수들이 학생과 함께 학생의 아이디어에 대해서 토론하고, 기존의 전형적인 과목평가와 포커스 그룹에서는 불가능했던 생산적인 대화를 가능하게 한다. 추가적으로, SCRT 멤버들은 개인의 의견이 아니라 전체 학생들의 관점을 공유하기 때문에, 교수에게 반발당할 우려에서 보다 자유로울 수 있다. SCRT 담당교수는 학생 대표측과 과목 교수간의 다리 역할을 하며, 긴장이 생겼을 때 중제할 수 있다. 

토론이 끝나면, SCRT는 미팅에서 나온 결과를 포함하여 예비 보고서를 업데이트하고, 해결되지 않은 문제들이나 과목 책임교수가 고려하겠다고 동의한 주요 아이템도 추가한다. 보고서와 미팅 노트는 미팅 참석자들 사이에서 회람한 후 전체 학생들에게 내부 웹사이트를 통해 공개된다. 최종 SCRT 보고서는 SAPE 위원회에 전달되며, 이 위원회는 각 과목을 1~2년마다 평가하는 기존의 공식 위원회이다. SAPE위원회는 교육부학장이 chair로 있는 교육정책과 교육과정위원회에 대한 권고사항 준비때 SCRT보고서 내용을 포함한다. 

이 과정은 SCRT를 두 가지 측면에서 효과적으로 만든다. (1)다음 해 해당 과목이 시작되기 전에 바꿀 수 있는 부분이 적용되도록 과목 책임교수와의 직접 미팅 한다 (2)SAPE의 최종 권고안을 통해서 간접적으로, 더 넓은 범위의 행정적 수단에 동원된다.

Step three: implement changes via course director meeting and Student Assessment and Program Evaluation report (goals 3 and 4). Using quantitative and qualitative data collected from the first two steps, SCRT members create a preliminary report that outlines positive themes from student feedback and potential solutions that target the identified opportunities for improvement. Using this preliminary report as a launchpad for discussion, SCRT members meet with the course directors, the Dean of the Curriculum and the SCRT faculty advisor. This meeting is a unique aspect of SCRT that allows faculty to discuss ideas with students, enabling a productive dialogue that cannot be accomplished through standard course evaluations and focus groups. In addition, because SCRT members are sharing the viewpoints of their class rather than individual opinions, they are able to speak honestly without fearing repercussion from faculty. The SCRT faculty advisor, who serves as a crucial bridge between student representatives and course faculty, can also moderate any tension that may arise. 

Following the discussion, SCRT updates the preliminary report with notes from the meeting, including unresolved issues and action items that course directors agreed to consider. The report and notes are circulated among  meeting attendees and then are made available to all students on an internal website. The final SCRT report is sent to the Student Assessment and Program Evaluation (SAPE) Committee, a pre-existing faculty-led committee that formally evaluates each course every 1–2 years. The SAPE committee includes the SCRT report in its preparation for recommendations to the Educational Policy and Curriculum Committee, chaired by the Vice Dean of Education. This process is outlined in Figure 1. In addition, an example showing the sequence of implementing a change to a course is provided in Figure 2.

This process allows SCRT to effect change in two ways: (1) directly through a meeting with course directors who can implement changes before the next iteration of the course and (2) indirectly through SAPE’s final recommendations, which may include broader administrative measures.

교과목 개선: SCRT의 최종 목표는 교육과정 전체에 걸쳐 학생 기반의 변화를 이끌어내는 것이다. Table 1은 실제로 이 과정을 통해서 바뀐 것들의 리스트다.

Course improvements. SCRT’s ultimate goal is to advocate for student-supported changes throughout the curriculum to improve student learning and satisfaction. Table 1 includes a representative list of changes made by course directors following the 2012–2013 SCRT reviews.

이후 방향 

Next steps

SCRT의 결과를 보면, 이 과정이 매우 잘 받아들여지고 있음이 확인된다. 도입된 이후 - 비록 선택사항이었음에도 - 모든 전임상 과목의 책임교수가 SCRT대표단을 만났다.

A review of SCRT suggests that the program is well-received: since its inception, directors from 100% of preclinical courses have met with SCRT representatives, even though it is optional to do so.

과목 책임교수에게 간단한 설문을 해보았다. 75%가 매우 도움이 되었다, 25%는 어느 정도 도움이 되었다. 라고 하였음. '중립' '별 도움이 안 됨' '매우 도움이 안 됨'에 응답한 사람은 없었다. 모든 과목 책임교수가 SCRT 가 지속되어야 한다고 응답했다.

We administered a brief survey to course directors inthe Fall of 2013 in an initial attempt to quantify the usefulness of SCRT. We asked ‘‘How helpful did you find the SCRT process as an addition to the unedited student course evaluations?’’ and 75% (n¼15) indicated that it was ‘‘very helpful’’, while the remaining 25% (n¼5) responded ‘‘some- what helpful’’; no course directors answered ‘‘neutral’’, ‘‘somewhat unhelpful’’ or ‘‘very unhelpful’’. All of the course directors responded that the SCRT process should be continued.

학생 역시 SCRT의 효과에 대해서 44%가 매우 도움이 된다, 31%가 어느 정도 도움이 된다, 21%가 중립, 4%가 별 도움이 안 됨에 응답했고, 매우 도움이 안 됨에 응답한 학생은 없었다.

Students were also surveyed in November 2013 on the impact of SCRT. When asked ‘‘How helpful have youfound the SCRT process?’’ 23 of 52 students (44%) responded‘‘very helpful’’, 16 (31%) said ‘‘somewhat helpful’’, 11 (21%)said ‘‘neutral’’, 2 (4%) said ‘‘somewhat unhelpful’’ and nostudents selected ‘‘very unhelpful’’. 

Christakis NA. 1995. The similarity and frequency of proposals to reformUSmedical education. Constant concerns. JAMA 274(9):706–711. 

Schumacher DJ, Englander R, Carraccio C. 2013. Developing the masterlearner: Applying learning theory to the learner, the teacher, and thelearning environment. Acad Med 88(11):1635–1645. Wilson MW, Morreale MK, Wainea E, Balon R. 2013. The focus group:A method for curricular review. Acad Psychiatry 37(4):281–282. 

---

Med Teach. 2015 Nov;37(11):1008-12. doi: 10.3109/0142159X.2014.990877. Epub 2014 Dec 23.

The Student Curriculum Review Team: How we catalyze curricular changes through a student-centeredapproach.

Hsih KW1, Iscoe MS1, Lupton JR1, Mains TE1, Nayar SK1, Orlando MS1, Parzuchowski AS1, Sabbagh MF1, Schulz JC1, Shenderov K1, Simkin DJ1, Vakili S1,Vick JB1, Xu T1, Yin O1, Goldberg HR1.

Author information

• 1a The Johns Hopkins University School of Medicine , USA.

Abstract

Student feedback is a valuable asset in curriculum evaluation and improvement, but many institutions have faced challenges implementing it in a meaningful way. In this article, we report the rationale, process and impact of the Student Curriculum Review Team (SCRT), a student-led and faculty-supported organization at the Johns Hopkins University School of Medicine. SCRT's evaluation of each pre-clinical course is composed of a comprehensive three-step process: a review of course evaluation data, a Town Hall Meeting and online survey to generate and assess potential solutions, and a thoughtful discussion with course directors. Over the past two years, SCRT has demonstrated the strength of its approach by playing a substantial role in improving medical education, as reported by students and faculty. Furthermore, SCRT's uniquely student-centered, collaborative model has strengthened relationships between students and faculty and is one that could be readily adapted to other medical schools or academic institutions.

PMID:

 

25532595

 

[PubMed - in process]