평가에 관한 학생의 관점: 역량바탕 포트폴리오 시스템의 경험(Med Teach, 2012)

평가에 관한 학생의 관점: 역량바탕 포트폴리오 시스템의 경험(Med Teach, 2012)

Student perspectives on assessment: Experience in a competency-based portfolio system

FAYSAL ALTAHAWI, BRYAN SISK, STACEY POLOSKEY, CAITLIN HICKS & ELAINE F. DANNEFER

Case Western Reserve University, USA

도입

Introduction

평가 문헌에서 학습자의 목소리는 거의 들리지 않는다(Cilliers et al. 2010).

The voice of the learner is remarkably silent in the assessment literature (Cilliers et al. 2010).

학습자의 주관적인 경험과 평가에 대한 인식은 피드백 수용과 사용에 영향을 미친다.

the learner’s subjective experiences and perceptions of assessment have implications for the acceptance and use of feedback.

평가 프로그램을 설계하고 평가할 때 학습자의 인식이 중요합니다 (van der Vleuten 등, 2012).

when designing and evaluating a program of assessment, learner perceptions are critical to take into consideration (van der Vleuten et al. 2012).

이 연구는 Cleveland Clinic Lerner College of Medicine (CCLCM) 자기 규제 및 반사 실습의 습관을 촉진하기 위해 고안된 역량 기반 평가 시스템에서 4 명의 학습자의 목소리를 들려준다 (Dannefer & Henson 2007, Fishleder 외 2007).

This article gives voice to four learners in Cleveland Clinic Lerner College of Medicine’s (CCLCM) competency-based assessment system which was designed to promote habits of self-regulation and reflective practice (Dannefer & Henson 2007; Fishleder et al. 2007).

모든 평가는 형성적이며, 다양한 출처와 맥락으로부터 수집된다.

All assessments are formative and collected from a range of sources and contexts.

숙련 된 의사 지도교수는 각 학생에게 평가 과정에서 코치 역할을하도록 배정됩니다.

A trained physician advisor is assigned to each student to serve as coach in the assessment process.

정기적으로, 학생들은 [자기 능력을 스스로 평가하는 에세이]와 [판단을 뒷받침하기 위해서 스스로 선정한 평가 증거]로 구성된 형성 포트폴리오를 구성합니다.

Periodically, students construct formative portfolios composed of essays self-assessing their performance in the competencies and self-selected assessment evidence to support their judgments.

매년 말에 학생들은 성취 수준이 내년으로 진급하기에 충분한 지 여부를 결정하기 위해 진급사정위원회에서 검토될 총괄 포트폴리오를 구성합니다.

At the end of each year, students construct summative portfolios that are reviewed by a promotion committee to determine whether or not the level of achievement is sufficient for promotion to the next year.

학생 경험

Student experience

보조바퀴: 포트폴리오 시스템 소개

Training wheels: introduction to the portfolio system

학생들은 역량 기반 평가 시스템으로 전환 할 때 겪는 불확실성을 자세히 설명합니다.

Students detail uncertainty upon transitioning into a competency-based assessment system.

Student 1. 나는 항상 훌륭한 시험 응시자였으며, 저의 교육 경력 전반에 걸쳐 좋은 성적을 얻으려고 저를 잘 지원해주었습니다. 물론 나는 여전히 배우는 것을 좋아하지만, 나 자신에게 증명하는 과정에 대해서도 높이 평가했습니다. 그래서 제가 포트폴리오 평가 시스템 하에서 의대를 시작한 것은 어느 정도 마지 못해합니다. 분명히, 의대는 내가 만난 최고 수준의 지적 엄격함이었고, 나는 스스로를 증명할 준비가되어있었습니다. 그러나 나는 걱정했다. 시험을 치르고 내가 익숙했던 것처럼 성적을 얻는 대신. 개선방법을 찾기 위해 피드백을 성찰해야 했다.

Student 1. I have always been a pretty good test-taker, and that served me well to get good grades throughout my educational career. Of course I still loved learning, but I also appreciated the process of proving it to myself. So it was with a certain degree of reluctance that I began medical school under the portfolio evaluation system. Surely, medical school was the highest level of intellectual rigor I had encountered, and I was ready to prove myself. But I was worried; instead of taking a test and getting a grade like I was used to, I was supposed to reflect on feedback in order to find ways to improve.

소그룹에서 처음 몇 주간, 나는 내가 어떻게해야하는지 알았다. 내가 얼마나 알고 있는지 보여 준다. 그 첫 주 동안 나는 성공하기도 했고 실패하기도 했다. 나는 지식을 전달하는 데 성공했지만, 요점으로 들어가지 못했다. 내 지식 수준에 대한 피드백은 압도적으로 긍정적 이었지만 의사 소통에서 전문성에 이르기까지 필요한 많은 다른 역량을 향상시킬 여지가있었습니다. 이것은 완전히 새로운 경기였습니다.

My first few weeks in those small groups, I did what I knew how to do: show how much I know. I both succeeded and I failed in those first weeks. I succeeded in relaying my knowledge, but failed at getting the point. Feedback for my knowledge level was overwhelmingly positive, but it quickly became clear I had room to improve in many other required competencies, from communication to professionalism. This was a new ballgame.

타는 법 배우기: 시스템을 받아들이고 활용하기

Learning to ride: acceptance and use of the system

학생들은 시스템을 받아들이기를 배우는 과정과 피드백을 최대한 활용하는 과정을 설명한다

Students detail the process of learning to accept and best utilize feedback.

학생 1. 포트폴리오 시스템의 설계와 마찬가지로 필자는 피드백을 향상시키기 위해 특정 계획을 개선하기위한 영역을 타겟팅하기 시작했습니다. 나는 조금 더 듣고 조금 덜 중단했다. 프레젠테이션을보다 명확하고 간결하게 만드는 새로운 방법을 사용했습니다. 나는 말을 기억하는 것만 큼 간단하거나 조용히 유지하는 것처럼 더 잘 의사 소통을했습니다. 보라, 그룹의 역동적 인 모습이 보였다.

Student 1. As was the design of the portfolio system, I started targeting areas to improve upon with specific plans, even if just for the sake of improving my feedback. I listened a little more and interrupted a little less. I used new methods to make my presentations clearer and more succinct. I communicated better, even if it was as simple as remembering to speak up, or to keep quiet. Lo and behold, the group dynamic improved.

이러한 작은 개선점은 계속되었지만 총괄 포트폴리오를 위해 모든 것을 조합해야 할 때, 나는 더 큰 규모로 그것을 성찰하는 나 자신을 발견했습니다. 어떤 유형의 의사와 사람이 되려고 노력하겠습니까? 의견에 대한 나의 태도는 비판에서 건설적으로 바뀌었다. 이 시스템은 필자가 다르게 다루어지지는 않았을 의사가되는 많은 측면에서 향상시키기 위해 나를 위해 일하는 것처럼 보였다. USMLE가 다가올 때 우리 학생들의 집단적 불안에 대한 불안감이 커졌다... 그러나 모두가 뛰어나게 잘 했음을 알게 되니 의심의 여지가 거의 사라져 버렸습니다. 조금이라도, 그들의 지식이 나중에 폭이 넓거나 깊이가 없다고 믿었습니다.

These small improvements continued, but when forced to put it all together for a summative portfolio, I found myself reflecting upon it on a larger scale. What type of doctor and person I would strive to become? My attitude on feedback shifted from the criticism to the constructive. The system seemed to be working for me to improve on many aspects of becoming a doctor that would not necessarily have been addressed otherwise. Even when students’ collective insecurities regarding our knowledge swelled as the USMLE approached,... the doubts were washed away when most still did remarkably well. Few, if any, believed their knowledge to be lacking in breadth or depth afterwards.

보조바퀴 떼기: 자기-동기부여적 접근으로 나아가기

Removing the training wheels: transition to a selfmotivated approach

구조화된 평가시스템에 의존하는 것에서 스스로 자신의 학습에 책임을 지는 형태로 전환됨을 ㅁ

Students describe their transition from reliance on a structured assessment system to personal accountability in their education.

학생 1. 그 이후로, 나는 포트폴리오 시스템을 받아들이는데 편안했다. 사실 나는 더 이상 나 자신에게 prove하는 것이 아니었다. 나는 나를 improve하고 있었다. 임상실습을 거치며, 나는 나의 교육에 대한 나의 모든 접근 방식이 바뀌 었다는 것을 발견했다. 나는 적극적으로 피드백을 찾고 시스템에서 자극(prompt)받지 않고도 행동했습니다. 이 접근 방식은 저의 주위에있는 모든 사람들에게 잘 받아 들여졌으며 압도적으로 긍정적 인 상호 작용을 가져 왔습니다. 

Student 1. From there on, I felt free to embrace the portfolio system. The truth was I was no longer proving things to myself. I was simply improving myself. As I moved through my clinical years, I found my entire approach to my education had changed. I was even actively seeking feedback and acting on it without prompt from the system. This approach in itself was received well by all those around me and resulted in overwhelmingly positive interactions. 

나의 이전 교육 및 학부에서, "현실로 나가면" 상황이 달라질 것이라는 말을 항상 들었다. 나는 그 말이 늘 우수웠는데, 교육경험의 요점이 나를 그 세계에 맞게 준비시키는 것이라고 믿었기 때문이다. 포트폴리오 시스템에서, 나는 무엇이 오든간에 스스로 준비되어있기 위해 세상에서 배우는 방법을 발견했습니다.

In my previous education and as an undergraduate, I had always heard that things would be different when I got ‘‘out into the real world.’’ I always found that silly because I believed that the point of the educational experience was to equip me for the world. In the portfolio system, I have discovered how to learn from the world in order to equip myself for whatever is to come.

고찰

Discussion

우리 학생들의 포트폴리오 시스템에 대한 초기 회의론은 주로 포트폴리오 기반 접근법에 대한 본질적인 우려보다는 성적이 없는 것 때문이었다는 것을 발견하는 것은 다소 놀라운 일이었습니다. 겉으로 보기에는, 학생들은 참신한 피드백 시스템을 이용할 수 있었지만 처음에는 자신의 수행에 대한 '객관적인'척도를 놓치기를 주저했다.

It was somewhat surprising to find that our students’ initial skepticism with the portfolio system was primarily due to the lack of grades, rather than any intrinsic concerns about the portfolio-based approach. Seemingly, the students were open to utilizing a novel feedback system, but were initially quite hesitant to let go of ‘‘objective’’ measures of their performance.

그러나 일부 학생들의 이야기는 성적이 없는 것이 피드백 시스템에 대한 성찰적 접근 방식을 내부화하기 위한 촉매제였다고 지적했습니다. 예를 들어, 학생 2는 성적의 상실로 인해 교육이 의무mandate이라기보다는 기회로 간주되기 시작했다고 언급했다. "학생 3은 유사하게 외적 동기에서 내적동기 부여로의 전환을 언급했다. 커리큘럼 마감일을 가이드로 삼기보다는, 시스템 거치는 과정에서 지속적인 발전을 위해 스스로의 힘을 사용하기 시작했습니다. "

However, some student’s stories have put forth that the lack of grades was in itself a catalyst for internalizing the reflective approach to the feedback system. Student 2, for instance, notes that with the loss of grades he ‘‘began to view education as an opportunity rather than a mandate.’’ Student 3 similarly addressed the shift from external to internal motivation by commenting that, ‘‘instead of using curriculum due dates as guidelines, I began to use my own gauge for continued movement through the system.’’

네 명의 모든 학생들은 모두 포트폴리오 시스템이 이전의 성적 기반 시스템에는 없었던 방식으로, 특히 자기 성찰기술과 관련하여 향상시켰다고 지적했습니다.

All four students independently indicated that the portfolio system had education in ways enhanced their that prior grade-based systems had not, particularly concerning self-reflective skills.

학생들은 포트폴리오 시스템의 과정 자체가 성적의 존재 또는 부재와 상관없이 성찰적 실천의 발전을 도왔다는 점을 지적하였다. 비록 어떤 경우에는 이러한 과정은 성적 기반 시스템의 부재로 인하여 부차적으로 이루어진 향상이었다. 왜냐하면, 퍼포먼스를 평가하기 위해서 피드백에 대한 의존도고 높아졌기 때문이다.

Students do note that the process of the portfolio system in itself aided the development of reflective practice, independently of the presence or lack of grades. Although in some instances, it also appeared that this process was enhanced secondarily by the lack of a grade-based system due to increased dependence upon feedback to assess performance. 

또한 2 명 이상의 의대생이 USMLE 1 단계에서 자신의 점수를 인용하며, 이러한 비-테스트 기반 포트폴리오 시스템의 성공에 대한 또 다른 증거를 보여줍니다. USMLE 시험점수를 언급 한 학생들은 의대 첫 2 년 동안 얻은 지식에 자신감을 주었다고 언급했다.

It is also interesting that more than one medical student cited their score on the USMLE Step 1 examas further evidence of the success of this non-test-based portfolio system. The students who mentioned the exam noted that it gave them confidence in the knowledge they had gained during the first 2 years of medical school.

[중요한 피드백을 수용하는 것]을 배운 후에 포트폴리오 시스템을 수용하는 방향으로의 전환이 발생했습니다.

The transition toward acceptance of the portfolio system developed after learning to embrace critical feedback.

보편적으로, 학생들은 일단 포트폴리오 시스템의 "겪고 나면" 피드백을 바라보는 관점이 달라진다고 말하였다. 이러한 관점의 변화는 "부족함"이 아니라 "장점의 강화"로의 긍정적인 변화를 포함합니다. 네 명의 학생들은 예정된 피드백과 첫 번째 포트폴리오 작성을 하는 때가 피드백에 대한 관리 외에도 그에 대한 성찰을 배우는 시점이라고 히야기했다.

Universally, students described a reframing in their view of feedback once they had ‘‘gone through the motions’’ of the portfolio system. This reframing involves a positive shift from ‘‘deficit thinking’’ to ‘‘proficiency strengthening.’’ All four students cited receiving scheduled feedback and the writing of the first portfolio as a time where they learned to not only manage their feedback, but reflect on it.

피드백을 가지고 성찰하는 방법의 예로는...

• 개별 의견에 초점을 맞추는 것보다 피드백의 전반적 추세를 파악하는 것, 

• 정기적으로 피드백에 대해 성찰하는 것

• 개선에 초점을 둔 목표 계획 수립

Highlighted methods included identifying trends in feedback rather than focusing on individual comments, reflecting on feedback on a regular basis, and making targeted plans for improvement.

포트폴리오 시스템은 피드백에 대한 성찰적 접근 방식의 내면화를 돕는 과정은 자전거를 타는 것을 배울 때 '훈련 바퀴'를 떼어가는 메타포를 사용하여 설명할 수 있다. 시스템은 성찰 방식을 실행하기위한 프레임워크를 제공합니다. 이 방식은 이상적으로 '교육용 바퀴'가 제거됨에 따라 학생의 제2의 성격이됩니다.

We use the metaphor of ‘‘training wheels’’ on a bicycle to describe the process by which the portfolio system aides in the internalization of the reflective approach to feedback. In this scenario, the system provides a framework for which to practice this reflective approach, which would ideally become second-nature as the ‘‘training wheels’’ are removed.

그러나 학생들이 평가 시스템에서 역량을 다루기가 어렵다는 것은 예상치 못한 발견이었다.

One unexpected finding, however, was that students hardly addressed the competencies of the assessment system

여러 서술에서 볼 때, 역량이 성찰과정의 내면화에 중요한지 여부는 불분명하다. 한 가지 가능성은 역량의 정의가 학생들이 성찰 과정에 대해 이해함에 있어서 중요한 역할을하지 않는다는 것입니다.

Whether the competencies are important for the internalization of the reflective process is unclear from these narratives. One possibility is that the competency definitions do not play an important role in the students understanding of the reflective process.

각 학생의 이야기는 의과대학의 첫 몇 년 동안 학생들의 교육적 접근법을 재구성하는 포트폴리오 시스템의 역할을 설명해준다. 또한 학생들은 의대 후반기에 포트폴리오 시스템이 덜 구조화 되더라도 이러한 성찰습관을 유지하는 방법을 자세히 설명했습니다.

Each story cites the role of the portfolio system in reshaping their educational approach during the first few years of medical school. The students also detailed how they learned to maintain these reflective habits when the structure of the portfolio system decreased during the latter years of medical school.

임상 로테이션을 완료 한 학생들은 어떻게 레지던트 및 주치의에게 서면 의견 및 구두 의견을 적극적으로 요청하였는지 설명했습니다. 특히, 학생들은 다음과 같은 노력을 언급했다.

• 임상 로테이션 시작시 임상 멘토로부터 개선이 필요한 영역에 대한 피드백을 찾고,

• 진행progress 과정을 측정하기 위해 계속적으로 피드백을 추구하며

• 심지어 피드백을 거의 주지 않는 것이 일반화된 기관에서조차 이러한 접근법을 사용함

Students who had completed clinical rotations described actively seeking both written and verbal feedback from residents and attendings. Specifically, students mentioned their efforts in 

• seeking targeted feedback for areas of self-improvement from clinical mentors at the start of clinical rotations, 

• continually pursuing feedback throughout rotations to gauge progress, and 

• even using this approach in institutions where minimal feedback was the norm.

학생들은 성찰과정의 내면화 과정에서 포트폴리오 프로세스와 형성적 피드백의 역할에 대해 높이 평가했지만, 학생들의 결손사고deficit thinking를 재구성 할 때 포트폴리오 시스템의 역량 플랫폼이 어떤 역할을하는지는 불확실합니다.

While these students appreciate the role of the portfolio process and formative feedback in the internalization of reflective practice, it remains unsettled what role the competency platform of the portfolio system plays in the reframing of students’ ‘‘deficit thinking.’’

---

Med Teach. 2012;34(3):221-5. doi: 10.3109/0142159X.2012.652243.

Student perspectives on assessment: experience in a competency-based portfolio system.

Altahawi F1, Sisk B, Poloskey S, Hicks C, Dannefer EF.

Author information

1

Cleveland Clinic Lerner College, Case Western Reserve University, Cleveland OH, USA.

Abstract

Despite considerable evidence recognizing the importance of learners' perceptions of the assessment process, there is little literature depicting the participants' experience. We aim to capture these perceptions in order to gain insights into the strengths and weaknesses of a competency-based assessment system. Cleveland Clinic Lerner College of Medicine has implemented a learner-centered portfolioassessment system built around competency standards and continuous formative feedback. Promotion of students is based upon their feedback-supported portfolio essays, but feedback itself is individualized and formative in nature under the umbrella of the competencies. Importantly, there are no grades or ranking awarded for the competencies or at promotion. Four students share personal reflections of their experience to illuminate themes from the subjective experience of the learner and to understand how to align the learners' interests with the requirements of an assessment program.

PMID:

 

22364454

 

DOI:

 

10.3109/0142159X.2012.652243