포트폴리오에 미래가 있는가?(Adv in Health Sci Educ, 2017)

Do portfolios have a future?

Erik Driessen1

포트폴리오에 미래가 있는가?

Do portfolios have a future?

포트폴리오에 대한 이러한 세계적인 돌풍이 미래의 성공으로까지 이어질 것인가?

will this global rush on portfolios perpetuate their presumed success in the future?

포트폴리오 미래 질문은 역량 기반 교육, 성찰, 평가라는 더 큰 주제에 접근할 수 있도록 해줍니다.

The portfolio future question enables me to approach some bigger topics: competency-based education, reflection and assessment.

• 교육자들이 좋아하는 포트폴리오가 왜 학생과 교사들의 그러한 저항에 맞닥뜨리는가?

• Why do portfolios meet with such resistance from students and teachers, while educators love them?

• 학생들에게 성찰하게 하고, 그들의 성찰을 평가하는 것은 윤리적인가?

• Is it ethical to require students to reflect and then grade their reflections?; and

• 역량 기반 교육이 근무지 기반의 학습에서 학습자에게 힘을 실어 줍니까, 방해가 됩니까?

다양한 종류의 포트폴리오

Different variations of a portfolio

포트폴리오를 계획할 때 무엇을 생각하십니까? 사실 포트폴리오의 형태와 용도가 너무 다르기 때문에 이에 대해 일반적인 발언을 하는 것은 거의 불가능하다. 그러나 이들의 다양한 변화에도 불구하고, 우리는 두 가지 중요한 유형, 특히 성찰형 포트폴리오와 포괄적 포트폴리오를 구별할 수 있다(Roberts et al. 2014).

What do you see when you envision a portfolio? Portfolios in fact differ so much in their form and use that it is almost impossible to make general statements about them. Despite their many variations, however, we can distinguish two overarching types, specifically the reflective portfolio and the comprehensive portfolio (Roberts et al. 2014).

성찰형 포트폴리오의 생존가능성은 낮다고 생각하나, 포괄적 포트폴리오에서는 가능성을 보고 있다.

It is for comprehensive portfolios that I do see potential, although I am less convinced of the viability of reflective portfolios.

1. 성찰형 포트폴리오

Reflective portfolios

성찰형 포트폴리오는 주로 성찰기술의 개발을 목표로 한다. 그것은 학생들이 그들의 학습이나 직업에서 중요하다고 생각되는 측면에 대한 성찰을 쓰도록 요구한다.

The reflective portfolio is largely aimed at the development of reflective skills. It requires students to write up a reflection on an aspect that is considered important to their learning or profession.

Maastricht의 1학년 학생들은, 자신이 받은 평가 피드백을 바탕으로 네 가지 역할을 성찰한다(Driessen et al. 2003). Roberts et al. (2014)는 이러한 유형의 포트폴리오를 언급하기 위해 '형성적 포트폴리오'라는 용어를 사용하지만, 이것은 혼란스럽다고 생각합니다.

first-year students in Maastricht to reflect on four roles based on the assessment feedback they received (Driessen et al. 2003). While Roberts et al. (2014) use the term formative portfolio to refer to this type of portfolio, in my view this is confusing:

형성평가와 총괄평가를 구분하는 것을 더 좋아하지 않는 이유는 이러한 구분이 첫눈에 보는 것보다 덜 명확하기 때문이다. 이 주제에 대한 비판적 관점을 위해 나는 Man Sze Lau의 "형성평가는 좋고 총괄평가는 나쁜가"라는 논문을 참조한다. 따라서 본 논문의 목적상 성찰형 포트폴리오라는 "성찰에 주된 초점을 두는 포트폴리오로서, 그 포트폴리오는 그 자체로 존재하거나, 기존 과목에 추가되는 것일 수 있다"

reason why I prefer not to distinguish between formative and summative assessment is because this distinction is less clear than one would think at first sight. For a critical perspective on this topic I refer to Man Sze Lau’s ‘‘Formative is good, summative is bad’’ paper (2015). Hence, for the purpose of this paper the term reflective portfolios refers to portfolios with a strong focus on reflection that are either self-contained or an addition to an existing course.

2. 포괄적 포트폴리오

Comprehensive portfolios

포괄적 포트폴리오는 커리큘럼에 통합된다. 즉, 평가 프로그램의 일부를 구성한다(Eva et al. 2015; van der Vleuten et al. 2012). 예를 들어, 학부 실습전 평가 프로그램(Daneffer 및 Henson 2007) 또는 국가단위 졸업후 역량바탕 평가 프로그램(Munen-van Loon et al. 2013) 등이 될 수 있다.

Comprehensive portfolios are integrated into the curriculum, i.e., they form part of an assessment program (Eva et al. 2015; van der Vleuten et al. 2012). This can be an undergraduate preclinical assessment program (Daneffer and Henson 2007) or a national postgraduate competency-based assessment program (Moonen-van Loon et al. 2013), for example.

이러한 프로그램에서 포트폴리오는 프로그램의 목적을 실현하기 위해 다른 도구들과 함께 사용된다. 포트폴리오는 다른 (평가)도구에서 생성된 모든 정보를 종합한다. 포괄적인 포트폴리오의 목표는 두 가지이다. 하나는 학생들의 학습 과정을 서포트하는 것이며, 다른 하나는 학생들의 진척도를 평가하는 것이다. 포괄적 포트폴리오에는 성찰이 포함될 수 있지만, 그 내용은 성찰적 포트폴리오보다 훨씬 더 다양하다

In these programs the portfolio is used in combination with other instruments to realize the program’s purpose. The portfolio brings together all the information that the other instruments have generated. The goal of comprehensive portfolios is twofold: to support the student’s learning process and to assess the student’s progress. Comprehensive portfolios can contain reflections, but their content is much more diverse than that of reflective portfolios.

대중과의 관계

Public relations

포트폴리오의 소멸을 막기 위해 우리가 다루어야 할 가장 중요한 문제는 포트폴리오에 대한 '나쁜 평판'이다. 지난 20년간은 포트폴리오는 "행복한 포트폴리오 개발자들과 짜증내는 포트폴리오 사용자들"로 특징지어져 왔다.

The most important issue we must address to prevent portfolio’s demise is its bad reputation. The last two decades have been characterized by happy portfolio developers and grumpy portfolio users.

과학자들은 수년 동안 이러한 저항의 이유를 조사하기 위해 노력했다(Driessen et al. 2007. 우리는 포트폴리오가 그 자체만으로는 작동하지 않는다는 것을 발견했다. 포트폴리오의 중요한 특성은 취약성이다. 포트폴리오의 이러한 특성으로 인하여, 포트폴리오는 멘토링, 개방형 구조, 학습 환경 지원, 사용자에 대한 직접적 학습 이익 등과 같은 다수의 조건이 충족된 경우에만 작동합니다(Driessen et al., 2005).

Scientists, have sought to investigate this resistance for many years (Driessen et al. 2007). We found that portfolios do not work by themselves. An important characteristic of portfolios is their vulnerability: they only work if several conditions have been fulfilled, e.g., mentoring, open structure, supporting learning environment and a direct learning gain for their users (Driessen et al. 2005).

성찰형 포트폴리오의 경우, 후자의 조건은 충족하기가 거의 불가능해 보인다. 많은 학생들은 성찰을 학습 전략으로 여기지 않는데, 특히 포트폴리오 작성시 인위적이고 고정된 형식을 사용하도록 강요당하고, 이러한 성찰의 결과를 바탕으로 학습의 방향을 잡아줄direct 기회가 거의 없을 때 특히 그렇다. 대부분의 전임상 학습은 틀이 정해져 있으며, 학생들이 자신의 학습 요구에 맞게 환경을 조정할 수 있는 유연성이 적다. 이 모든 것은 학생과 교사가 성찰형 포트폴리오에 불만을 갖게하고, 결과적으로 동기부여와 참여가 낮아지게 된다. (안필드 외 2015) 결과적으로, 학생과 교사는 포트폴리오를 그저 또 하나의 해야 할 과제로 여긴다. 그러므로, 나는 성찰형 포트폴리오가 미래의 방향이라고 생각하지 않으며, 무엇보다 학생들로 하여금 성찰하게 하고, 그 성찰을 평가하는 경우에 특히 그러하다.

In the case of reflective portfolios this latter condition appears almost impossible to satisfy. Many students do not value reflection as a learning strategy, especially not when they are forced to use an artificial and fixed format and they have little opportunity to direct their learning as a result of these reflections. Most preclinical learning is structured and there is limited flexibility to adapt the environment to the student’s learning needs. All this causes students and teachers to be unsatisfied with their reflective portfolio, and, consequently, to become less motivated and engaged (Arntfield et al. 2015). As a result, they regard portfolios as just another assignment they have to do. Therefore, I do not believe that reflective portfolios are the way of the future, especially not when considering the problems involved in requiring students to reflect and assessing these reflections.

고백

Confessions

의무적인 반성만큼 의사와 의대생을 자극하는 것은 거의 없는 것 같다. (Tomlinson 2015)

Few things seem to irritate doctors and medical students so much as mandatory reflection. (Tomlinson 2015)

반영은 가치 있는 능력이지만, 역량 기반 교육에서도 인기 있는 학습 방법이 되었습니다. 역량 기반 학습의 첫 도입부터 학생들과 주민들은 훈련과 평가 프로그램의 일환으로 의무적인 반성을 강하게 거부했다.

While reflection is a valuable competence, it has also become a popular learning method in competency-based education. From the first introduction of competency-based learning students and residents fiercely resisted mandatory reflection as part of their training and assessment program.

Brian Hodges는 "['책무성'이라는 담론으로 인한 고부담 외부 시험]과 (등장은 더 늦었지만 절대 덜 열성적이지 않은) ['자기-주도'와 '성찰'이라는 내부적 동기부여] 사이에 긴장이 고조되고 있다며 우려하였다. 성찰을 평가와 혼합하면 성찰은 고해성사가 된다. 즉, 학생은 고해성사를 하고, 외부의 '판사'가 "학생이 수행한 성찰의 정확성과 객관성을 제시하고 다듬는"것이다. 학생들이 성찰적 포트폴리오에 개인적인 감정을 밝혀야 하고, 알려지지 않은 평가자에 의해 이러한 감정들을 평가받도록 강요하는 것은 얼마나 해로운가? (Ghaye 2007)

Brian Hodges, worries about ‘‘the growing tension between high stakes external examinations driven by a discourse of ‘accountability’ and a more recent, but no less passionate, investment in internally motived notions of ‘self-direction’ and ‘reflection’’’ (Hodges 2015, p. 261). Mixing reflection with assessment leads, to reflection as confession: the student reflects (confesses) and an external judge (confessor) ‘‘guides and shapes the accuracy and objectivity of the student’s reflection.’’ How harmful is it to force students to disclose personal feelings in their reflective portfolios and have these feelings assessed by a sometimes unknown assessor? (Ghaye 2007)

나는 의학 교육에서 성찰을 활용하는 것에 장점이 있다고 확신한다. Dewey가 성찰을 정의내릴 때 "당신의 미래 행동이 "행동과 신념과 그것을 뒷받침하는 가정에 대한 체계적이고 비판적인 평가와 분석"에 의해 인도될 수 있도록 하는 것"이라고 말한 것을 지지한다. (Driessen et al. 2008. 827).

I am convinced that reflection in medical education has merits. I endorsed Dewey’s definition of reflection as letting ‘‘your future behavior be guided by systematic and critical evaluation and analysis of actions and beliefs and the assumptions that underlie them’’ (Driessen et al. 2008, p. 827).

나는 또한 "성찰은 비판적사회적탐구가 되어야 하며, 사회적 및 시스템적 권력, 사고과정과 권력관계에 내포된 가정에 더 명확한 관심을 가져야 하며, 이를 통해 변화와 행동을 이끌어야 한다"는 Ng 등의 주장에 동의한다.

I also subscribe to Ng et al.’s assertion that reflection should more be seen as a critical social inquiry, requiring ‘‘more explicit attention to social and systemic forces, and the assumptions embedded in thought processes and power relations, with an aim toward transformation and action’’ (Ng et al. 2015, p. 465).

요컨대, 성찰은 나를 딜레마에 빠지게 한다: 나는 배우고 연습하는 것이 중요하다는 것을 알지만, 나는 또한 이미 짜여진 구조에서 이뤄지는 의무적인 성찰에 대한 의구심을 갖고 있다. 아마도 [안전하고 개방적인 환경에서, 신뢰받는 사람과 나누는 성찰적 대화]를 강조하는 학습환경과 포트폴리오가 앞으로 나가가야 할 길일 것이다. 하지만, 이런 환경을 조성하기에는 의학 교육이 갈 길이 멀다.

In sum, reflection places me in a dilemma: while I recognize its importance to learning and practice, I also seriously doubt mandatory pre-structured reflection. A learning environment and a portfolio that values a reflective dialogue with a trusted person in an open and safe way, is probably the way to go. However, it is a long road for medical education to create such an environment.

병원의 카프카

Kafka at the hospital

GME에서 교육자들이 역량 기반 교육에 처음 집중했을 때, 저는 교육자들이 평가 도구를 찾는 데 급급했던 모습을 기억합니다. 저는 그 교육자로 하여금, 잠시 생각을 멈추고 그들이 평가하려고 계획하고 있는 역량을 어떻게 가르칠지에 대해 생각해보게 만들기 위해 온갖 노력을 해야만 했습니다. (오설리번 논평 2015 페이지 277)

When educators in graduate medical education first focused on competency-based education, I remember a rush to find assessment instruments. I struggled to have those same educators pause long enough to think about how they would teach the competencies they planned to assess. (O’Sullivan Commentary 2015, p. 277)

역량 기반 학습 포트폴리오는 많은 양의 세부적인 성과, 역량, EPA, 이정표를 기록하는 도구가 되었다. 훈련 기간이 끝날 때쯤 학생들은 그들이 모든 요구조건을 충족시켰다는 것을 증명해야 하고, 선생님들은 이것을 점검해야 한다. 늘 시간이 부족한 임상에서는 가르치기에도 부족한 그 시간 내에 (피드백과 학습에 대해 토론하는 대신) 포트폴리오를 체크하기도 해야 한다. 이런 식으로 포트폴리오들은 직장에서 우리의 학습자들을 empower하는 대신에, 관료적 행위로 퇴보한다.

In competency-based learning portfolios have become instruments for the recording of large quantities of detailed outcomes, competencies, entrustable professional activities and milestones. At the end of the training period students have to prove that they have met all the requirements and their teachers have to check this. In time-scarce clinical practice the limited time for teaching is used for checking portfolio checklists instead of discussing feedback and learning. In this way portfolios degenerate into bureaucratic exercises instead of empowering our learners in the workplace.

생각을 위한 음식

Food for thought

모든 학생들, 레지던트, 의사, 기타 의료 종사자들은 역량 기반 커리큘럼에서 포트폴리오를 compile하는 방식을 채택했다. 그러나, 그들은 종종 성찰형 포트폴리오에서 얻는 이득이 거의 없음을 깨달았으며, 학자들은 성찰형 포트폴리오에서 성찰을 의무화하는 것의 윤리성에 의문을 제기한다. 학생들, 레지던트들, 교사들, 학자들은 모두 역량 기반 교육에서 포괄적 포트폴리오의 구현을 둘러싼 관료주의를 비난한다.

On all continents students, residents, physicians and other health care workers have adopted the practice of compiling a portfolio in their competency-based curricula. Yet, they often perceive little gain from their reflective portfolios, while scholars question the ethics of obligatory reflection in reflective portfolios. Students, residents, teachers and scholars alike condemn the bureaucracy surrounding the implementation of comprehensive portfolios in competency-based education.

해결책은 무엇인가?

Is there a way out?

의학교육에서 포트폴리오의 선구자들이 [포트폴리오 평가] 대신 [포트폴리오 학습] 또는 [포트폴리오 기반 학습]을 말하고 있으며(Snaddden et al. 1996; Snadden and Thomas 1998), 포트폴리오를 "학습자와 관리자의 상호작용을 통해 [토론 및] 추가 학습을 유도하기 위한 촉매 역할을 하는 시스템"으로 정의하였다 (Snaddden et al. 1996, 페이지 148). 따라서, 가장 바람직하게는, 포트폴리오는 학습자와 멘토에게 "생각을 위한 음식"을 제공하는데, 포괄적 포트폴리오의 경우 학습과 과거의 성과에 대한 정보와 피드백을 풍부하게 제공할 수 있으며, 여기에 학습자의 의도와 계획에 대한 학습자의 관점이 더해지게 된다. 이러한 자료는 학습자와 멘토 사이에 퍼포먼스, reassurance, 향후 학습 및 실습 지침에 대한 대화를 가능하게 만든다(Tunissen 및 Eppich).

It is with good reason that the portfolio pioneers in medical education spoke of portfolio learning or portfolio-based learning instead of portfolio assessment (Snadden et al. 1996; Snadden and Thomas 1998) and defined portfolio as a ‘‘system [that] operates …through the interaction of a learner and supervisor using the material as a catalyst to guide [discussion and] further learning’’ (Snadden et al. 1996, p. 148). Hence, portfolios at best provide learners and their mentors with food for thought, which in the case of comprehensive portfolios can be especially rich, with information and feedback on learning and past performance, the learner’s perspective on this combined with the learner’s intentions and plans for the coming period. These materials can feed the conversations between learners and mentors about performance, reassurance, and directing future learning and practice (Teunissen and Eppich in press).

문제의 근본 원인은 이것이다

the root cause of the problem,

우리는 배움에 관심을 기울이지 않는다; 우리는 이상적인 경우에만 모든 학습자들이 멘토링을 받을 수 있는 멘토의 시간을 보장한다. 이것은 정당하지 못하다. 왜냐하면 멘토링은 우리의 의학 교육 도구 상자에서 이용 가능한 가장 강력한 학습 방법일 것이기 때문이다.

we pay no heed to learning; only in the ideal world do we ensure mentor time for every learner. This is unjust, for mentoring is likely the most powerful learning method available in our medical education toolbox (Driessen and Overeem2013).

25년 간의 포트폴리오가 드디어 그 이야기를 명확히 드러내고 있습니다. 멘토링 없이는 포트폴리오에 미래가 없으며, 우리의 역량바탕교육 프로그램을 방해하는 관료적 장애물에 그칠 것이다. 

• 우리는 학습자들에게 우리 자신을 헌신합시다. 

• 학습자와 멘토 간의 토론을 guiding하고, 학습을 지원하는 포트폴리오를 구축합시다. 

• 학생들에게는 포트폴리오 데이터를 바탕으로 학생의 경험을 파악하고, 개선 계획을 수립할 수 있도록 도와주는 멘토들을 제공합시다(Eva et al. 2015). 

• 포트폴리오를 환자 차트처럼 사용합시다. 차트는 의사와 환자에게 웰빙과 치료에 대해 논의할 수 있는 매우 유용한 정보를 제공한다. 

• 포트폴리오가 학습자 차트가 되게 하여, 그것이 '학습 궤적'을 포괄적 기록이 되도록 하자. 이 포괄적 기록은 학습자와 멘토가 상호 신뢰하는 관계 속에서 학습을 촉진하기 위하여 의미 있는 대화를 나눔으로써 더 잘 돌아갈 것이다.

프로그래램 방식 평가에 대한 최근의 요구는 그러한 학습 차트 없이는 성공할 수 없다(van der Vleuten et al. 2012; Driessen et al. 2012).

Twenty-five years of portfolio reveal a clear story: without mentoring, portfolios have no future and are nothing short of bureaucratic hurdles in our competency-based education programs. 

• Let us therefore commit ourselves to our learners. 

• Let us establish a portfolio that supports learning by guiding the discussion between the learner and the mentor. 

• Let us provide them with mentors who help them to use the portfolio data to make sense of their experiences and frame plans for improvement (Eva et al. 2015). 

• Let us use the portfolio just as the patient chart. It provides doctor and patient with very useful information to discuss well-being and treatment. 

• Let it also be a learner chart that comprehensively documents progress in a learning trajectory which is lubricated by meaningful dialogue between learner and mentor in a trusting relationship to foster learning. 

Recent calls for programmatic assessment cannot succeed without such a learning chart (van der Vleuten et al. 2012; Driessen et al. 2012).

Eva, K. W., Bordage, G., Campbel, G., Galbraith, R., Ginsburg, S., Holmboe, E., & Regehr, G. (2015). Towards a program of assessment for health professionals: From training into practice. Advances in Health Sciences Education,. doi:10.1007/s10459-015-9653-6.

Man Sze Lau, A. (2015). ‘Formative good, summative bad?’A review of the dichotomy in assessment literature. Journal of Further and Higher Education,. doi:10.1080/0309877X.2014.984600.

O’Sullivan, P. S. (2015). What’s in a learning environment? Recognizing teachers’ roles in shaping a learning environment to support competency. Perspectives on Medical Education, 4, 277–279.

Adv Health Sci Educ Theory Pract. 2017 Mar;22(1):221-228. doi: 10.1007/s10459-016-9679-4. Epub 2016 Mar 30.

Do portfolios have a future?

의학교육에서 포트폴리오: 왜 성공여부가 다양한가? 체계적 문헌고찰 (Med Educ, 2007)

Portfolios in medical education: why do they meet with mixed success? A systematic review

ERIK DRIESSEN,1 JAN VAN TARTWIJK,2 CEES VAN DER VLEUTEN

1 & VAL WASS

도입

INTRODUCTION

CBME의 어려움은 통합되고, 일관성 있고, 종단적으로 역량 개발을 formative하게 지원하는 도구를 찾고, 역량이 달성되었는지를 summative하게 평가하는 것이다. 포트폴리오는 그러한 도구이다.

The challenge has been to find instruments that formatively support the development of competence in an integrated, coherent and longitudinal fashion and summatively assess whether competence is being achieved.4,5 The portfolio is acclaimed as such an instrument.6

컨텐츠와 포맷의 다양함에도 불구하고 포트폴리오들은 기본적으로 완료된 작업, 피드백, 진행 상황, 역량 향상 계획에 대해 보고한다. 또한 포트폴리오는 성찰을 자극할 수 있는데, 포트폴리오에 포함하기 위한 증거를 수집하려면 과거로 돌아보고 자신이 이룬 것을 분석해야 하기 때문이다.

Despite variations in content and format, portfolios basically report on work done, feedback received, progress made, and plans for improving competence. Additionally, portfolios may stimulate reflection, because collecting evidence for inclusion in a portfolio requires looking back and analysing what one has accomplished.

성찰은 경험, 문제, 기존 지식을 구조화하거나 재구조화하려는 정신적인 과정으로 정의할 수 있습니다.15 이는 학습자가 자신의 발달을 이해하고 학습 계획을 세우는 데 도움이 될 수 있다.15 직무 수행과 역량 개발을 성찰하려면 자기평가를 해야 한다. 즉 학습자는 자신의 성과를 (외부) 표준과 비교해야 한다.

Reflection can be defined as the mental process of trying to structure or restructure an experience, a problem, or existing knowledge.15 This can help learners to understand their development16 and plan their learning.15 Reflecting on task performance and development of competence implies self-assessment or self-rating:17 learners have to compare their own performance with (external) standards.

방법

METHODS

Data sources

Selection of studies

We excluded studies concerning: portfolios for other health professions (nursing, dentistry, dietetics, veterinary medicine), administrators, managers, teachers and trainers in hospitals, management, finance, education, teaching, specialist trainers and academic portfolios; portfolio-related instruments, such as logbooks, personal digital assistants, and personal development plans, and descriptive articles without evaluative data.

Data abstraction

RESULTS

Search results

이러한 연구들 중 많은 것들이 방법론적 한계를 가지고 있었다. 2개의 연구를 제외하고, 21,28개의 모두 단일 그룹 설계를 가지고 있었다. 대다수는 하나의 기관에서 행해졌다. 5가지 연구에서 참여자들은 스스로 선택된 자원한 참가자였다.20,28–31 많은 연구는 포트폴리오의 도입 방법, 표본 추출 프레임, 연구 방법, 데이터 분석 또는 결과에 대한 상세한 설명이 부족했고, 이로 인해 연구의 질을 평가하기 어려웠으며, 결과를 일반화하기 어려웠다

Many of these studies had methodological limitations. With the exception of 2 studies,21,28 all had a single-group design. The majority were conducted in a single institution. In 5 studies, participants were self-selected volunteers.20,28–31 Many studies lacked a detailed description of the portfolio, how it was introduced to its users, the sampling frame, the study method, data analysis or outcomes, which limited our ability to fully appraise the quality of the study or generalise the findings.

목적1. 학습

Goal 1. Learning

전임상 단계에서 수행한 두 가지 연구는 포트폴리오가 1학년 학생들의 성찰 학습에 기여했다고 보고했고, 한 연구는 포트폴리오가 학생들의 개인적, 직업적 발전에 기여했다고 보고했다. 두 개의 연구는 임상 전 종양학 프로그램을 조직, 모니터링 및 평가하고 학생들이 악성 질병이 환자에게 미치는 영향을 이해하는 데 도움이 되는 포트폴리오의 성공적인 사용을 보고했습니다. CME에서 포트폴리오가 사용된 연구는 복합적인 결과를 낳았다. 일부에서는 포트폴리오가 성찰 학습을 촉진하고 CME의 계획과 모니터링을 지원한다고 보고하였다.

Two studies performed in the pre-clinical phase of medical school reported that portfolios contributed to Year 1 students  reflective learning32,33 and 1 study reported that portfolios contributed to students  personal and professional development.22 Two studies reported successful use of portfolios in organising, monitoring and evaluating a pre-clinical oncology programme and helping students understand the impact of malignant disease on patients.21,34 Studies where portfolios were used in CME yielded mixed results. Some reported that portfolios could stimulate reflective learning28,30 and support the planning and monitoring of CME.30

다양한 맥락에 걸친 많은 연구는 기관의 포트폴리오 준비 및 도입에 관한 문제점을 보고했다. 이것의 예는 포트폴리오의 목적이 명확하게 정의되지 않았거나 학습자와 교사들이 포트폴리오와 그것이 포함하고 있는 것에 대해 불충분하게 알고 있었다고 주장했다.35–38 한 연구에서 레지던트와 트레이너 모두의 불충분한 헌신이 포트폴리오의 제한된 사용으로 이어졌다.35 그러나 포트폴리오 설계가 트레이너와 트레이너 모두의 informing, training, gaining commitment에 초점을 맞춘 5개 연구에서는 포트폴리오가 대학원 교육에 적합한 것으로 확인되었다.39–43 한 연구는 포트폴리오의 목적과 절차에 대한 staff의 적절한 브리핑과 함께 실제 도입되었으며, 이는 포트폴리오 점수와 학생 만족도에 긍정적인 영향을 미쳤다.

Many studies across a range of contexts reported problems related to the poor preparation and introduction of portfolios by the institution. Examples of this claimed either that the purpose of the portfolio was not clearly defined35 or that learners and teachers were poorly or insufficiently informed about the portfolio and what it entailed.35–38 In 1 study this resulted in poor commitment from both residents and their trainers and limited use of the portfolio.35 However, in 5 studies where portfolio design centred on informing, training and gaining commitment from both trainers and trainees, portfolios were found to be suitable for graduate training.39–43 One study demonstrated that hands-on introduction with a proper briefing of students by staff on the portfolio s purpose and procedures had a positive effect on portfolio scores and student satisfaction with the portfolio.44

포트폴리오의 사용은 포트폴리오가 단독으로 사용되지 않고 다른 교육 활동의 일부였을 때 더 성공적이었다. 이러한 교육 활동에는 학생들을 종양 환자와 짝짓기, 튜토리얼 그룹 구성 또는 멘토링, 인터뷰 링크 등이 포함됩니다.

The use of the portfolio in undergraduate education was more successful when portfolios were not used in isolation but were part of other educational activities.21,22,32,34 These educational activities included pairing students with oncology patients,21,34 organising tutorial groups35 or mentoring,32 or linkage to an interview.22

CME에서 포트폴리오의 사용 결과를 보면, 종종 최대한의 잠재력을 활용해내지 못함을 암시했다. 이는 주로 과중한 업무부하에 의한 시간 제약20,31과 포트폴리오 유지에 시간이 많이 소요된다는 인식과 관련이 있었다.20,28,45 때때로 외부적인 요인도 문제의 원인이 되었는데, 여기에는 IT 기술 부족 문제(예: 소프트웨어 다운로드에 필요한 IT 기술 부족)등이 있다. 졸업후교육에서는 시간 부족이 한 가지 이슈이다. 연수생과 그 감독자들은 포트폴리오가 너무 시간이 많이 소요되어 사용을 기피할 수 있다고 우려했다. 매더스 등은 실현가능성을 돕기 위해 포트폴리오가 더 똑똑해져야 한다고 호소했다(서류작업이 줄어야). 이러한 효율적인 포트폴리오의 사용을 조사하는 연구는 학부 임상실습생들은 포트폴리오가 노동집약적이다고 생각하지 않았다는 점에서 이러한 가정을 뒷받침한다.

Results of the use of portfolios in CME often suggested that portfolios were not used by doctors to their full potential. This was related mainly to time constraints imposed by high daily workloads20,31 and the perception that maintaining the portfolio was time-consuming.20,28,45 On occasion, studies referred to extraneous issues, including difficulties with information technology, such as problems with downloading necessary software20 or lack of IT skills.31 Lack of time was also an issue for postgraduate training.38,41,46 Trainees and their supervisors were concerned that the portfolio might be too time-intensive and for this reason avoided using it.38,41,46 Mathers et al. made a plea for portfolios to be  smarter  (less paperwork) to aid feasibility.28 A study investigating the use of such an efficient portfolio supports this supposition, as undergraduate clerks did not find the portfolio labour-intensive.47

포트폴리오의 형식은 또한 학습에 기여한 것에 영향을 주었다. 효과적인 포트폴리오는 학습자가 자신만의 고유한 개발을 설명할 수 있는 기회를 제공하는 명확하면서 동시에 유연한 구조를 가지고 있습니다.32,35,48 명확한 지침이 중요했습니다. 대부분의 사용자는 자신이 어떤 종류의 정보를 넣어야 하는지 알고 싶어했다. 흔히 포트폴리오의 내용이 자주 규정되는 임상적 맥락에서, 포트폴리오는 관료적 도구로서 경험되었다. 학습자가 자신의 컨텐츠를 결정할 수 있는 일정량의 자유를 얻었을 때 포트폴리오에 대해 더 긍정적으로 평가하였다.

The format of the portfolio also influenced the contribution it made to learning. An effective portfolio had a clear but flexible structure, allowing learners opportunities to describe their own unique development.32,35,48 Clear instructions were important. Most users wanted to know what kind of information they were expected to provide.29,44,49 In clinical contexts where the content of a portfolio was often highly prescribed, portfolios were experienced as bureaucratic instruments.35–37,45,46 Portfolios were more highly appreciated when learners were given a certain amount of freedom to determine their content.32,50

많은 연구에서 멘토들의 적절한 지원이 부족하다고 보고되었습니다.20,31,35 다른 연구들은 교사, 트레이너 또는 교육 감독자들에 의한 멘토링이 포트폴리오의 성공에 중요한 기여를 했다고 확인했습니다.21,28,32,37,39–4멘토에는 교사, 트레이너, 감독관 또는 동료가 포함되어 있습니다. GP trainee들은 보조 트레이너가 있을 때 그들의 포트폴리오를 더 많이 이용했다. 멘토링의 중요한 영향 때문에, [멘토의 영향]과 [포트폴리오 자체를 완성하는 실용성]을 구분하는 것은 때때로 어려웠다. 분명히, 멘토링은 선생님들과 감독관들의 시간을 필요로 합니다. 하지만, 성찰 능력의 발전과 이해와 이해에 초점을 맞춘 깊은 학습 전략을 장려하는 것을 목표로 한 멘토링은 그럴 만 한 가치가 있었다.

Many studies reported the lack of adequate support from mentors.20,31,35 Other studies confirmed that mentoring by teachers, trainers or educational supervisors made an important contribution to the success of the portfolio.21,28,32,37,39–41,48 Mentors included teachers, trainers, supervisors or peers.31 General practice trainees made more use of their portfolios when they had a supportive trainer.35,38,41 Because of the significant impact of mentoring, it was difficult sometimes to discriminate between the effects of the mentor and the practicalities of completing the portfolio itself.35 Obviously, mentoring requires teacher and supervisor time.32 However, mentoring aimed at stimulating the development of reflective ability32 and deep learning strategies focused on comprehension and understanding28,43 merited the effort.

목적2. 평가

Goal 2. Assessment

포트폴리오 평가의 타당성을 조사하는 연구는 그것이 실제로 성찰 능력에 대한 타당한 시험이라는 것을 증명했다. 성찰의 질은 최종 평가 등급에서 가장 강력한 예측 변수였다. 레이아웃과 작문 스타일과 같은 다른 기준은 무시할 만한 효과를 가지고 있었다. 6개의 연구는 포트폴리오의 평가자간 신뢰성을 추정했다. 이 6개 연구의 평균 신뢰도는 0.63으로, 한 평가자가 다른 평가자로 무작위로 교체될 경우 추정된 신뢰도를 나타낸다. 그러나 2, 3 또는 4명으로 평가자가 증가하는 경우 신뢰도는 각각 0.77, 0.84 및 0.87로 증가합니다. 일반적으로 고부담 테스트에는 0.80의 값이 필요합니다.27 연구는 다수의 조치가 (훈련 받은) 평가자의 소규모 그룹 사용, 실제 평가 전 및 포트폴리오의 일부 사용 후 평가자들 간의 논의와 같은 여러 가지 평가간 합의에 긍정적인 영향을 미친다는 것을 제시했다. 

A study investigating the validity of portfolio assessment51 demonstrated it was indeed a valid test of reflective ability. Quality of reflection was the strongest predictor of the final assessment grade. Other criteria, such as lay-out and writing style, had negligible effect. Six studies estimated the inter-rater reliability of portfolios.45,46,48,51–53 The average reliability across these 6 studies was 0.63, representing the estimated reliability if one assessor were to be randomly replaced by another. However, with 2, 3 or 4 raters, the reliability would increase to 0.77, 0.84 and 0.87, respectively. A value of 0.80 is usually required for high-stakes tests.27 The studies suggested that a number of measures had a positive impact on inter-rater agreement: use of a small group of (trained) assessors;45,46,51–53 

• discussion among the raters before the actual assessment46,51–53 and after assessing part of the portfolio,46,53 and 

• the use of global criteria with rubrics.45,46,53

일반적으로, 학생 자신보다 교사와 평가자들이 포트폴리오 평가에 대해 더 많이 지지했다. 예를 들어, 심사관들이 평가를 위한 포트폴리오 사용에 대해 긍정적이었던 연구에서, 최종 학년 학생들은 내용이 사전에 정해진 포괄적인 포트폴리오가 너무 많은 서류 작업이 필요하며, 만약 공식적으로 평가를 하기 위해서는 어떻게 포트폴리오를 구성해야 하는지에 대한 더 advance information이 필요하다고 보고했다.

In general, there was more support for the formal assessment of portfolios from teachers and examiners than from students themselves.36,44,45 For example, in a study in which examiners were positive about the use of portfolios for assessment, final year undergraduate students reported that a comprehensive portfolio with prescribed content involved far too much paperwork and, if they were to be formally assessed, they needed more advance information about how to construct the portfolio.36

평가와 학습을 위한 포트폴리오의 사용은 종종 상충되는 것으로 보여진다. 즉, 학생들은 포트폴리오가 평가될 때 그들의 성찰에서 덜 솔직할 수 있다. 그러나, 하나의 포트폴리오에서 형태별 멘토링과 종합평가의 조합을 검토하는 2개의 연구는 이것이 문제가 아니라고 보고했다. 한 연구는 포트폴리오 평가가 학생들의 개방성에 영향을 미치지 않았다고 보고했으며, 다른 한 연구는 지원support과 평가의 조합이 GP와 그들의 CME tutor들에게 문제가 되지 않는다고 주장했다. 두 가지 연구는 만약 포트폴리오가 공식적으로 평가되지 않는다면, 다른 총괄평가도구가 더 우선시되고, 포트폴리오의 사용이 제한된다는 것을 보여주었다.

The use of the portfolio for assessment and learning is often seen as conflicting: students may be less open in their reflections when their portfolios are to be assessed. However, 2 studies examining the combination of formative mentoring and summative assessment in 1 portfolio reported that this was not an issue. One study described mentors  reports that portfolio assessment had no effect on students  openness32 and another claimed that the combination of support and assessment did not appear to be problematic for general practitioners and their CME tutors.28 Two studies showed that if portfolios were not formally assessed, other summative assessment instruments were prioritised and the use of portfolios tailed off.35,43

고찰

DISCUSSION

우리의 검토는 이전 문헌과 일치하며, 포트폴리오의 성공적인 사용에 있어 몇 가지 핵심 이슈가 결정적이며, 다른 분야의 연구 결과들과 일관된다.

Our review is in agreement with earlier literature, showing that several key issues are decisive in the successful use of a portfolio,55 and is consistent with findings from studies in other disciplines.

McMullan은 최근 간호학 연구에서 지원과 명확한 지침이 없다면 학생들과 멘토들이 실제로 포트폴리오 사용에 대해 점점 더 스트레스를 주게 되며, 사기를 떨어뜨린다고 결론지었다.

McMullan concluded in a recent study in nursing that, without support and clear guidelines, students and mentors became increasingly stressed and demoralised about the use of portfolios in practice.57

성공 요인

Success factors

포트폴리오로의 다양한 목표는 명확해야 하지만, 동시에 성공적으로 결합될 수 있습니다. 포트폴리오들은 학습의 형성적 촉진과 총괄평가에 동시에 사용될 수 있다. 이는 문헌에서의 이전의 논쟁과는 대조적인데, 기존 문헌은 평가와 학습을 위한 포트폴리오의 사용이 학생들의 포트폴리오가 평가될 때 그들의 성찰이 덜 open될 수 있기 때문에 상충되는 것으로 보았다. 문헌의 체계적인 검토에서 학습과 평가의 두 가지 목표를 결합하는 것은 문제를 일으키는 것으로 보이지 않는다. 오히려, 총괄평가는 포트폴리오 학습이 다른 평가 대상과 함께 그 지위를 유지하도록 하는 데 중요한 것으로 밝혀졌다.

The various goals of working with a portfolio need to be clear but can be successfully combined.28,32 Portfolios can be used concurrently in both the formative promotion of learning and summative assessment. This is in contrast to previous debate in the literature, where the use of portfolios for assessment and learning was seen as conflicting on the grounds that students may be less open in their reflections when their portfolios are to be assessed.58–60 From a systematic review of the literature, combining the 2 goals of learning and assessment does not appear to cause problems. On the contrary, summative assessment was found to be important to ensure that portfolio learning maintained its status alongside other assessed subjects.35,43

포트폴리오를 별도의 독립적인 도구가 아니라 다른 교육 활동과 통합할 수 있는 활동으로 보는 것이 바람직하다.

It is advisable to regard a portfolio not as a separate, independent instrument but as an activity that can be integrated with other educational activities.21,22

포트폴리오 지원에 멘토를 제공함으로써 학습의 효율성을 높일 수 있다. 멘토링은 상당한 시간 투자가 필요하지만 성공적인 포트폴리오 사용에 있어 중요한 것으로 보입니다. 포트폴리오 평가를 인터뷰와 결합하면 평가의 효과를 높일 수 있다.

Effectiveness of learning is enhanced by providing a mentor to support the portfolio. Mentorship requires a substantial time investment, but appears to be crucial to successful portfolio use.21,28,32,35,37,39,41,43,48 The effectiveness of assessment can be enhanced by combining the portfolio assessment with an interview.22,36,47

의학교육 포트폴리오의 통합에 대한 가장 큰 도전은 평가에 의해 driven되는 학생들의 눈에 포트폴리오의 지위가 유지되어야 한다는 것이다. 이 검토는 이것이 기관 평가 절차의 일부여야 한다는 것을 시사한다.연구 결과, 놀라울 정도로 높은 수준의 내부 신뢰도를 발견했습니다. 이것은 다른 도메인의 발견과 대조된다.

A major challenge for the integration of a portfolio into medical education is that its status must be maintained in the eyes of assessment-driven students. This review suggests that it must be part of the institutional assessment procedures.32,35,43 We found surprisingly high levels of inter-rater reliability in the studies.45,46,48,51–53 This contrasts with findings in other domains,

간호사의 포트폴리오 평가를 검토하는 과정에서 McCready는 

• 숙련된 평가자, 

• 포트폴리오 구축에 대한 명확한 지침, 

• holistic 평가 절차를 요구합니다.

In her review of portfolio assessment in nursing, McCready54 also calls for experienced assessors, explicit guidelines for portfolio construction and a holistic assessment procedure.

포트폴리오 성공에 영향을 미치는 또 다른 문제는 유연한 학습 중심 형식입니다. 포트폴리오 콘텐츠의 모든 세부사항이 규정되어 있는 엄격한 구조는 포트폴리오 사용자들로부터 부정적인 반응을 이끌어 내고 역효과를 낸다.이 검토와 다른 문헌에서 발견한 사실은 너무 많은 구조가 너무 적은 구조보다 더 큰 위험을 의미한다는 것을 나타내는 것으로 보인다. 이는 학습자가 광범위한 역량의 개발과 평가를 지원하기 위해 명확한 방향과 지침이 필요하다는 사실을 부인하지 않는다. 그러나 [포트폴리오의 모든 세부사항에 대한 세부적인 지침을 주기보다는], 명확한 지침과 잘 정의된 포트폴리오 목표를 제시함으로써 방향을 결정해야 한다.57 여기서는 균형을 잡는 것이 중요하다.

Another issue that impacts on portfolio success is a flexible learner-centred format. A rigid structure in which every detail of portfolio content is prescribed elicits negative reactions from portfolio users and is regarded as counterproductive.28,32,35,36 Findings in this review and other literature56,57 appear to indicate that too much structure implies a greater risk than too little structure. This does not deny the fact that learners do need clear directions and guidance to support the development and assessment of broad competencies.29,57 However, direction should be achieved through clear guidelines and well defined portfolio goals rather than minute directives for every detail of the portfolio.57 Striking the right balance is crucial here.

시간은 또 다른 주요 문제이다. 포트폴리오를 만들 것을 요구하는 많은 학습자들과 그들의 감독관이나 멘토들은 포트폴리오를 만들고 판단하는 것이 시간이 너무 많이 걸리거나, 그냥 불가능할 것이라고 우려한다. 임상 전 학생들에게 시간 제약이 덜 문제가 된다는 사실은, 이 학생들이 상대적으로 더 많은 시간을 마음대로 쓸 수 있다는 것을 나타낼 수 있다. 임상 환경에서 학습자가 임상 실습의 압박 속에서 시간을 찾기가 쉽지 않습니다. 우리가 검토한 연구에서 설명한 포트폴리오 중 상당수는 사용자 친화적이지 않았고 방대한 양의 서류 작업이 포함되어 있어 포트폴리오 사용자는 엄격하고 세부적인 지침을 준수해야 했다. 너무 많은 구체적인 의무적인 콘텐츠가 들어있는 포트폴리오는 관료성을 만들고, 그 결과 어떠한 교육 목적도 제공하지 못할 뿐만 아니라, 학습자들이 그들의 직접적이고 살아있는 경험의 바깥outside에서 콘텐츠를 찾도록 강요한다.

Time, or rather lack of it, is another key issue. Many learners who are asked to create a portfolio, and their supervisors or mentors, are concerned that building and judging portfolios will be exceedingly time-consuming or downright impossible.20,28,31,38,41,45,46,64 The finding that time constraints appear to be less of a problem for preclinical students may indicate that these students have relatively more time at their disposal. For learners in clinical settings, it is clearly difficult to find time amidst the pressures of clinical practice. Many of the portfolios described in the studies we reviewed were not user-friendly and involved huge amounts of paperwork, forcing portfolio users to comply with strict and detailed guidelines.35,36,45,46 Too much specific obligatory content makes portfolios bureaucratic, with the result that they both fail to serve any educational purpose and force learners to search for content outside their direct and lived experiences.32,57

연구 한계

Study limitations

"포트폴리오"라는 명칭이 너무 광범위함

Several limitations in this review should be considered. Firstly, the label  portfolio  refers to a broad range of instruments. The purpose, context, structure and content of the portfolios described in the literature reviewed here differed considerably.

함의

Implications for research and practice

비록 문헌에 따르면 포트폴리오가 항상 성공적인 것은 아니지만, 많은 연구들은 포트폴리오가 어떻게 구현되었고 왜 실패했는지에 대해 조사하지 않았다.

Although the literature indicates that portfolios are not always successful, many studies did not examine how they were implemented and why they failed.

Portfolios in medical education: why do they meet with mixed success? A systematic review.

미래의 학습자 평가하기: CBME에서는 급진적으로 다른 holistic 방법만이 통할 것이다. 잊으면 안될 여섯 가지(Med Teach, 2013)

Assessing tomorrow’s learners: In competency-based education only a radically different holistic method of assessment will work. Six things we could forget 

LAMBERT SCHUWIRTH & JULIE ASH Flinders University, Australia

도입

Introduction

역량 기반 교육(성과 기반 교육)이 세계를 정복하고 있습니다.

Competency-based education (outcome-based education) is conquering the world;

역량 기반 교육의 개념과 최적으로 일치하는 평가 프로세스를 개발하는 것은 결코 쉽지 않다(Van der Vleuten & Schwires 2005; Van der Vleuten et al., 2012).

developing assessment processes that are optimally aligned with the notion of competency-based education is far from easy (Van der Vleuten & Schuwirth 2005; Van der Vleuten et al., 2012).

해체 또는 환원주의가 고부담 시험에서 역량을 확인하는 유일한 방법이 아니다.

Deconstruction/reductionism is not the only way to capture competence in high-stakes assessment

불연속discrete 시험 요소 접근법의 기초가 되는 기본 가정은 일단 이러한 분해된 요소들이 다시 조립되면 그 결과는 원래 평가하고자 했떤 '역량'이 될 것이라는 것이다. 물론, 때때로 해체 후 재건은 효과가 있지만, 가끔은 그렇지 않을 수도 있다. 만약 당신이 자전거를 분해하고 적절히 재구성한다면 결과는 다시 자전거가 될 것이다. 하지만 개구리를 가지고 이것을 시도한다면 상황은 상당히 다를 것이다. 그렇다면, 역량은 자전거와 더 비슷할까 아니면 개구리에 가까울까? 역량 기반 교육의 중심적 교리가 통합과 holism이라는 점을 고려하면 '개구리'에 가깝다는 편이 더 그럴듯해 보인다.

The natural assumption underlying discrete testable elements approaches is that once these discrete elements are put together again the result will be‘competence’. Of course, sometimes dismantling and reconstructing can work but often it will not. If you deconstruct a bicycle and reconstruct it properly the result will again be a bicycle. But things are quite different if you try this with a frog.This, then, begs the question whether competence is more like the bicycle or like the frog. The latter seems more plausible given that a central tenet of competency-based education is one of integration and holism, so apparently in competence the whole is seen as being more than the sum of the parts.

그렇다면 어떻게 역량을 분해하지 않고 평가하느냐에 대해서, "health"에 대해서 "health"라는 현상을 이해하는 것이 유용한 비유가 될 수 있다. 세계보건기구에서 내리는 건강의 전반적인 정의는 단순히 질병이나 질병이 없는 것이 아니라, 완전한 신체적, 정신적, 사회적 웰빙의 상태입니다. 그러나 이것은 어떻게 "건강"하다는 것을 진단할 수 있는지를 이해하는 데 도움이 되지 않습니다. 보건의료인들은 이러한 '건강'의 개념을 (global phenomenon로서) 게스탈트로 간주하며, 개별적 진단 결과를 단순히 더하는(또는 곱셈하는) 데이터 포인트로 사용하지 않습니다. 대신에, 보건의료인들은 그 데이터 포인트를 '구성 요소'로 사용함으로써, 어떤 사람의 건강 수준과 그 사람의 문제를 위한 가장 적절한 관리에 대해 전문가에게 정보를 제공하는 방식으로 사용한다. 이것을 위해 health를 분해할 필요는 없다.

In order to understand how, then, to assess competence without taking it apart the phenomenon ‘health’ in health may be a helpful analogy. The WHO overall definition – Health is a state of complete physical, mental and social well-being and not merely the absence of disease or infirmity (Anonymous 1946) – does not help us understanding how to diagnose – i.e., to assess – it. Health-care workers treat the concept rather as a gestalt – a global phenomenon – and do not use individual diagnostic results as data points that simply need to be added up (or multiplied). Instead, they use them as individually meaningful data ‘building blocks’ that inform the expert about the level of health and the most suitable management of the problem. For this there is no need to deconstruct health.

이를 역량 기반 커리큘럼에 대한 평가 프로그램으로 적용하면 다음과 같은 세 가지 의미가 있다.

If we translate this to assessment programmes for competency-based curricula it would mean three things:

'역량'을 게스탈트 수준으로 바라보면서, 동시에 이를 신뢰성 있게 평가할 수 있으려면, 평가 순간과 결정 순간 사이를 서로 단절시켜놓는 평가 프로그램이 필요하다(Dijkstra et al. 2010; Vanwell). 또한 각 학생에 대한 평가 정보를 지속적으로(그리고 목적에 따라) 수집해야 하며, 수집된 정보가 충분히 풍부할 때만 결정 순간decision moment으로 이어질 수 있다(Dijkstra et al. 2012; Schuwires). 결정의 '부담'에 따라 얼마나 자료가 풍부하게 필요한지가 달라진다.

In order to keep ‘competence’ at the gestalt level and still be able to assess it credibly, a programme of assessment is needed with a disconnection between assessment moments and decision moments (Dijkstra et al. 2010; Schuwirth & Van der Vleuten 2011; Van der Vleuten & Schuwirth 2005; Van der Vleuten et al. 2012). It should employ a continuous – and even purposive – collection of assessment information about each student, which would only then lead to decision moments when the collected information is rich enough (Dijkstra et al. 2012; Schuwirth & Van der Vleuten 2011; Van der Vleuten et al. 2012). Logically, the richness of the data is in accordance with the stakes of the decision

결정을 내릴 때까지 데이터는 풍부함을 유지해야 합니다(Dijkstra et al. 2012; Van der Vleuten et al. 2012). 각 평가 성과를 이분법적(통과-실패) 결정으로 축소시키고, 역량을 일련의 이분법적 성과 집합으로 정의하는 대신, 풍부함은 끝날 때까지 유지되어야 한다(포트폴리오 같이). 이는 전체 consultation 프로세스 동안 모든 진단 정보를 누적하여 포함하는 환자 차트와 유사합니다. 이는 풍부한 정보, 학습 프로그램적 평가 및 이분법적 통과 실패 결정이 서로 조화할 수 있음을 보여준다(Shepard 2009; Schuwires & Van der Vleuten 2011).

The data needs to retain its richness until a decision has to be made (Dijkstra et al. 2012; Van der Vleuten et al. 2012). Instead of reducing each assessment result into a dichotomous (passfail) decision and defining competence as a string of dichotomous results, the richness must be retained (e.g. in a dossier or portfolio) right until the end. This is similar to a patient chart that contains all the diagnostic information throughout the whole consultation process. This shows that rich information, programmatic assessment for learning and making high-stakes dichotomous pass-fail decision can be reconciled (Shepard 2009; Schuwirth & Van der Vleuten 2011)

이러한 평가프로그램에는 본질적으로 우월하거나 열등한 평가 도구는 없다. 각 도구는 강점, 약점, 적응증 및 부작용이 있다(Van der Vleuten 1996). 이는 현재의 타당성 이론에 따르면 모든 이론들이 특정 목적을 위해서만 항상 타당하거나 타당하지 않으며, 그 자체로 타당하거나 타당하지 않은 것이 아니다. (Messick 1994; Kane 2001, 2006) 따라서 좋은 평가 프로그램은 랜덤하게 수집된 평가도구가 아니라(심지어 그 도구들의 퀄리티가 높더라도), 의도적으로 제작된 도구의 조합으로, 각 도구가 최적의 퀄리티를 갖추어야 한다.

In such a programme there are no intrinsically superior or inferior assessment instruments; each instrument has its strengths, weaknesses, indications and side effects (Van der Vleuten 1996). This is in accordance with current validity theories which are all converging on the idea that an but a instrument is never valid in itself always only for certain purpose (Messick 1994; Kane 2001, 2006). A good programme, therefore, is not a random collection of – even high quality – instruments, but a purposely built combination of instruments; each being of optimal quality.

평가 결과를 서로 합할 때 내용이 비슷한 것끼리 합해야지, 형식이 비슷한 것끼리 합해서는 안된다.

When combining the results of assessment elements content-similar combinations are more helpful than format-similar ones

거의 모든 평가 프로그램에서 (비교 가능한 내용을 가진 것끼리 결합되기보다) 형식이 유사한 것들끼리 결합된다. 이는 둘 다 '기술'이라는 trait를 측정한다는 가정 하에 이루어집니다. 이러한 자동적 가정에 도전하기 위해 이를 임상 실무와 비교하는 것이 도움이 됩니다. 여기서 우리는 나트륨 수치와 포도당 수치가 모두 lab results라는 이유로 둘을 더하는 것을 결코 상상도 못할 것이다. 

In almost all assessment programmes, elements of similar format are combined rather than elements with comparable content. This is done under the assumption that they both measure the trait ‘skills’. To challenge this automatic assumption it is helpful to – again – compare it to clinical practice. Here we would never dream of combining the sodium level and glucose level because both measures are ‘lab results’’.

이 접근방식의 또 다른 결과는 평가의 모든 항목/요소가 유의미한 것으로 취급되어야 한다는 것이다. 이것은 현재의 평가 실무에서 흔한 생각이 아니다. 일반적으로 평가의 모든 항목 또는 요소의 목적은 총 점수에 기여하고, 이를 통해 시험의 타당성에 기여하며, 이 과정에서 각 요소의 유의미성을 희생시킨다.

A further result of this approach is that every item/element of assessment has to be treated as meaningful. This is not a common idea in current assessment practice. Usually the purpose of every item or element of an assessment is to contribute to a total score and by this to the validity of the test, often at the expense of the meaningfulness of each element.

이것을 잘 보여주는 예시는 다음과 같다. 평가자들은 흔히 어떤 문항이 통계적으로 아주 안 좋을 경우, 그것이 비록 sound하고 내용 및 문구상 관련성을 갖추었더라도 그 문항을 제거해야 할지에 대한 딜레마를 겪는다. 한 문항의 통계는 총점에 기여하는 문항의 power만을 고려하는 반면, 한 문항의 내용은 내적인 의미만을 보여준다. 그러나 어떤 문항이 동일한 내용영역에 대한 다른 정보와 의미 있게 결합된다면, 내용타당도와 구인타당도가 모두 훨씬 더 잘 align될 것이다.

Illustrating this is the common dilemma assessors face whether or not to eliminate an item that has very poor item statistics and yet is of sound and relevant content and wording. The statistics would only consider the power of the item to contribute to the total score whereas the content of the item only considers its intrinsic meaningfulness. But, when items are meaningfully combined with other information from the same content domain both its content and construct validity align much better.

숫자를 다루는 것이 실세계를 다루는 것으로 바로 연결되지 않는다.

Manipulating numbers does not automatically mean manipulating the real world

통계는 종종 술 취한 사람의 전등 기둥처럼 사용된다; 빛보다는 지지를 위해 사용된다.

Statistics are often used like a lamp post to a drunken man; more for support than for illumination.

평가에서 일부 결과는 수치 값으로, 일부는 서술적 결론으로 캡처된다.

In assessment, some results are captured as numerical values and some as narrative conclusions.

그러나 숫자든 문자든 그 자체만으로는 충분하지 않다. 숫자는 일부 사람들이 생각하는 것처럼 완전히 객관적이고 완전히 모호성이 없지 않습니다 – 만약 그렇다면, 정량적 연구에 고찰 섹션이 필요한 이유는 무엇입니까? 단어와 마찬가지로 숫자도 평가 결과를 descript할 뿐이며, 인위적으로 숫자를 바꿀지라도, 그것이 설명하는 정보가 달라지지는 않습니다.

Neither type of information is better in itself. Numbers are not as completely objective and unambiguous as some tend to think – why else would a quantitative study need a discussion section? Numbers, like words are descriptors of assessment results, and artificially changing the numbers does not change the information they describe.

A-D 판사는 서로 완전히 동의하며 E의 추정치만 다른 평가들과 불일치합니다. 의 값은 0.40입니다. 이제 이 '시험'에서 이 '신뢰성'입니다. 외부 판사 E를 패널에서 제거하면 일반성이 완벽해지고 1.00이 됩니다. 모든 정신측정학자나 평가 전문가가 이것이 잘못된 관행이라고 말할 것이다. 첫째, 심사위원들은 이론적으로 무한히 많은 심사위원 집단에서 추출한 표본이므로, 심사위원 E를 추출하면 이 표본은 20%까지 감소된다. 만약 E 판사만이 유일하게 학생들을 자세히 관찰한 경험이 많은 전문가라면 어떨까?

Judge A–D completely agree with each other and only judge E’s estimates are at variance with the others. The of is 0.40. now generalisability/reliability this ‘test’ If we remove the outlying judge E from the panel the generalisability becomes perfect and is 1.00. Every psychometrician or assessment expert will tell that this is poor practice. First, the judges are a sample from a theoretically infinite pool of judges, so by taking judge E out this sample is reduced by 20%. What if judge E on closer look was an expert with lots of experience with students?

이는 단지 위의 예시와 같은 판단 연습 뿐만 아니라, 바람직하지 않은 문항 통계 때문에 시험에서 어떤 문항을 제거하는 있는 상황에도 적용된다. Number manipulation이 일어나는 많은 다른 상황들이 있다. 많은 프로그램에서 순위 또는 질적 결과는 단순히 숫자로 변환된다: '좋은', '만족'은 '8', '6' 등이 된다. 그런 다음 이러한 점수를 다른 수치 점수와 결합하여 평균 점수를 산출합니다. 이것은 종종 방어할 수 없는 정보의 유형의 변화이다. 예를 들어 '6'과 '8'의 평균은 '7'이지만, '양호'와 '만족'의 평균을 계산할 수 있다는 의미는 아니다.

This holds not only for the judgement exercise above but also for situations in which items are being removed from a test purely because of undesirable item statistics. There are many other situations in which number manipulation occurs. In many programmes, ordinal or qualitative results are simply translated into numbers: ‘good’, ‘satisfactory’, etc., then become ‘8’, ‘6’, etc. These scores are then combined with other numerical scores to produce mean scores. This is a transformation of the type of information that is often not defensible. For example, the mean of a ‘6’ and an ‘8’ is ‘7’, but this does not imply that a mean of ‘good’ and ‘satisfactory’ can be calculated.

모든 평가 순간이 항상 결과consequences를 가져야 한다는 생각은 역량 기반 교육에 별로 도움이 되지 않습니다. 그것의 주요한 부작용 중 하나는 그것이 형성평가와 총괄평가를 분리하지 않고서는 assessment-for-learning 프로그램이 되게 할 수 없다는 것이다. 역량 기반 교육에서 이것은 사실상 불가능한 것인데, 장기적으로 어떤 평가도 모든 이해당사자들에게 완전히 형성적이면서 의미가 있거나 또는 완전히 총괄적일 수 없기 때문이다.

This idea that every assessment moment must always have consequences is not a very helpful one in competency-based education. One of its major side effects is that it cannot lead to an assessment-for-learning programme without separated formative and summative assessment instruments. In competency-based education this is rather unworkable because, in the long run, no assessment can be either completely formative and meaningful to all stakeholders or completely summative.

완전히 총괄적인 평가에서 학생은 합격 여부만 알게 될 것이다. 순수한 총괄평가는 학습을 steer할 수 없으며, test-taking 행동만 바꿀 것이다.

In the latter the student would only learn whether s/he has passed or not. Purely summative assessments cannot steer learning but only test-taking behaviour;

평가가 유익하고 의미 있고 학습에 영향을 미치기 위해서는 약간의 '이빨'이 필요하다(Newble & Jager 1983; Frederiksen 1984; Cillier et al. 2010; Cillier 등). 따라서 형성적 기능과 총괄적 기능은 언제든 혼합될 수 있다.

For assessment to be informative, meaningful and have an impact on learning it needs to have some ‘teeth’(Newble & Jaeger 1983; Frederiksen 1984; Cilliers et al. 2010; Cilliers et al. 2012a, 2012b) and, therefore, the formative and summative function of assessment should whenever possible be combined.

역량 기반 커리큘럼에 대한 평가 프로그램을 설계할 때 두 기능을 결합하는 것은 불가능한 작업이 아니다. 평가가 학습자에게 피드백과 정보를 제공하는 지속적인 과정인 상황에서, 일정 기간 데이터 수집 평가 후에 이루어지는 중부담 또는 고부담 결정의 순간은 '이빨'를 가지며, 형성적일 수 있다.

Combining both functions is not an impossible task when designing an assessment programme for a competency-based curriculum. In a setup in which assessment is an ongoing process with feedback and information to the learner in conjunction with medium and more high-stakes decision moments after a period of data collection assessment can both have ‘teeth’ and be formative. figure 1

표준화가 공정한 평가의 유일한 길은 아니다.

Standardisation is not the only road to equitable assessment

지난 수십 년간, 표준화된 시험에 대해 많은 것을 배웠다. 그러나 표준화된 시험으로 달성할 수 있는 것에는 한계가 있고, 표준화가 equity를 개선하기보다는 악화시키는 경우도 충분히 있다.

In the past decades, much has been learned about standardised testing. But there is a limit to what they can achieve and there are sufficient situations in which standardisation actually reduces equity rather than improving it. 

우리는 1970년대 초 일류 대학의 남성 합창단에 대한 농담을 하곤 했다. 남녀평등의 운동에서 그들은 여자를 받아들일 의무가 있었다. 그들의 해결책은 간단했다; 모든 여성들이 합창단이 될 수 있었지만 참가 자격 요건은 그대로 남아 있었다: 그들은 프리마 비스타를 베이스, 바리톤 또는 테너로 노래할 수 있어야 한다, 

We used to tell the joke about an all male choir at a prestigious university in the early 1970s. In the movement of more equality between the sexes they were obliged to accept women. Their solution was simple; every woman could become a choir member but the entry requirements remained the same: they should be able to sing, prima vista, a moderate to difficult base, baritone or tenor piece from sheet music.

그 이유는 모든 경우에 있어서 equity는 (평가 프로세스의 퀄리티가 모든 경우에 equal하다고 가정했을 때) 같은 사람을 같게 대하는 것 뿐만 아니라, 같지 않은 사람을 같지 않게 대하는 것까지 포함되는 것이다.

The reason for this is that equity is not only treating equal people equally, but it is also treating unequal people unequally, provided that the quality of the assessment process is equal in all cases.

스크리닝 프로그램과 개별 환자에 대한 진단 프로그램이 다르다. 선별 프로그램은 환원주의적 의사결정(높은 위험 또는 낮은 위험)에 대한 구조화된 접근방식에 초점을 두며, 개개 환자에 대한 돌봄은 맞춤형 의료 서비스를 위한 세부 정보에 초점을 맞춘다. 말할 필요도 없이, 훌륭한 종합 건강 관리 시스템은 둘 다 활용되어야 하고, 따라서 평가 프로그램도 마찬가지이다; 구조화되고 표준화된 요소와 유연하고 개별화된 요소를 모두 포함해야 한다.

like screening programmes in health care differ from diagnostics in individual patient care. Screening focusses on structured approaches to reductionist decisions (high risk or low risk) and individual patient care focusses on detailed information for tailored health care. Needless to say that a good overall health-care system utilises both, and so should an assessment programme; it contains both structured and standardised elements and flexible individualised ones.

평가는 부족한 역량을 탐지하는 목적만 가진 것은 아니다: 사실은 그러면 안된다.

Assessment is not solely about detecting deficiencies; in fact it should not be

전형적으로 우리는 평가를 무능한 학생들이 합격하거나 졸업하는 것을 막는 도구로 생각하는 경향이 있다. 이렇게 하려면 평가는 학생들이 무엇이 부족한지에 초점을 맞춰야 하고, 따라서 본질적으로 꽤 징벌적 성격을 가질 수 밖에 없다.

Typically we tend to think about assessment as the instrument to prevent incompetent students from passing or graduating. In order to do this it has to focus on the deficiencies of the students and therefore has to be quite punitive in nature.

첫째, 이러한 방식의 평가는 항상 교사/평가자와 학생 사이에 긴장을 유발하며, 서로를 적대적 상황에 놓이게 한다. 이러한 긴장감은 (비밀 문제은행, 방어적인 학생 교사 관계, 교사의 멘토링 역할의 훼손, 학생들의 전략적 시험 행동, 사기 등과 같이) 학습에 반하는 전략과 행동들로 이어진다. 더 중요한 것은, 이것이 단순히 학생들을 instruct하기보다는 학생들을 educate시키려는 학교의 노력을 방해하고, 학생들의 혁신적인 학습 개발을 방해한다는 것이다. 이것은 학생들이 [지식과 이해의 한계를 탐험하는 것에 편안함을 느끼는 성인 학습자]가 되도록 하지 않는다는 것을 의미하고, 그들의 전문지식을 지속적으로 확장하기 위해 더 나아가는 것을 편안하게 느끼게 만들어주지 못함을 의미한다. 졸업후 과정에서도 현재 접근 방식은 CME에 충분히 관여하지 않는 사람들을 '징벌'하는 재인증 시스템으로 이어지며, 전문적 자기 향상보다는 등록 취소 위협을 주된 인센티브 시스템으로 활용한다.

First, it always creates a tension between teacher/assessor and student, putting both in adversarial roles. This tension leads to strategies and behaviours that are antipathic to learning such as secret item banks, defensive student teacher relationships, with compromise of the mentoring role of the teacher, strategic student test-taking behaviour, fraud, etc. More importantly, it obstructs the schools’ endeavours to educate students rather than to simply instruct them, and it stifles the students’ transformative learning development (Mezirow 2002). This means that it does not lead students to become adult learners who feel comfortable exploring the boundaries of their knowledge and understanding, and feel comfortable going further to continuously expand their expertise. Even at a post-graduate level the current approach leads to re-accreditation systems that ‘punish’ those who do not engage sufficiently in CME, using threat of deregistration as the prime incentive system rather than professional self-improvement.

둘째, 그것은 무능하고 보상받을 수 없는 학생들의 유병률이 낮다는 것을 고려하지 않는다. 특히 의학에서는 그러한 학생들의 수가 보통 적다. 이러한 학생들을 발견하는 데만 중점을 두는 평가는 필연적으로 많은 수의 문제를 가질 수 있다. 즉, 다수의 이미 훌륭한 학생들까지 시험을 받아야 하고, 각각의 시험은 (한 명의 부족한 학생을 잡아내기 위해서) 역량을 갖춘 학생을 부당하게 낙제시킬 가능성이 있다.이것이 (공공) 자원의 책임 있는 사용인지 심각하게 의문을 품을 수 있으며, 이것이 학생들에게 해롭다는 결론에 다다르게 하며, 실제로 학생의 학습을 지원해야 하는 암묵적 계약을 무시한다.

Second, it does not take into account the low prevalence of students who are incompetent and cannot be redeemed. Especially in medicine the numbers of such students are usually low. Focussing assessment purely on detecting these students is likely to have a number-needed-to-treat problem,i.e. many good students have to be tested and many tests –each with a probability of unjustly failing a competent student –have to be used in order to capture one unredeemable student.One could seriously question whether this is an accountable use of (public) resources, and conclude that this is harmful to students, and indeed neglects the implicit contract to support their learning. 

셋째, 그것은 교육적 담화를 소비자-제공자의 토론으로 강제하고, 학생들은 학교를 역량 교육을 하는 조직이 아니라 졸업장을 판매하는 기관으로 보게 된다. 시험은 교수가역량 개발을 최적화하기 위해 사용하는 도구가 아니라, 학생의 졸업장을 보류하기 위해 사용하는 도구와 거의 자동으로 연관된다.

Third, it forces the educational debate into a consumer provider discussion, where students see the school as the organisation selling diplomas rather than educating for competence. Examinations are almost automatically associated with the instruments the faculty uses to withhold students their diplomas rather than instruments the faculty uses to optimise the development of competence.

학습 설계에 대한 프로그램적 평가에서, 평가가 교육의 한 부분으로 여겨질 때, 의과대학이 '판매' 하는 '물건'은 '가장 빠른 졸업증'이 아니라 '최적의 역량'이 될 것이다. (Dannefer & Hensu 2007). 그러나 이것 때문에, 교육은 결함을 보완할 뿐만 아니라 능력과 재능을 확인하는 것이기 때문에 평가는 약점뿐만 아니라 강점에도 초점을 맞추어야 한다. 따라서 순수하게 '결함 모델'을 사용하는 대신 '차이 모델'을 선택하는 것이 더 낫다.

Where assessment can be really made into an integral part of education, in a programmatic assessment for learning design, the ‘product’ medical schools ‘sell’ is optimal competence rather than the fastest diploma (Dannefer & Henson 2007; Schuwirth et al. 2012). For this, however, assessment should be aimed not only at weaknesses but also at strengths, as education is not only remediating deficiencies but also affirming abilities and talents. So instead of using a pure ‘deficiency-model’ it is better to choose for a ‘differences model’.

Epilogue 

평가 원칙과 실천요강은 아마도 대부분의 현재 시스템보다 더 '어려울' 것이다. 왜냐하면 그것들은 풍부한 정보 수집, 많은 경우 다중 샘플링, 수집된 모든 정보에 대한 문서화와 분석, 그리고 충분히 훈련된 직원들에 의해 학생들과 열린 대화를 필요로 하기 때문이다.

The assessment principles and practices are probably ‘harder’ than most current systems, because they are based on collecting rich information, multiple sampling at many occasions, documentation and analysis of all the collected information and an open dialogue with students by staff that is sufficiently trained for this task.

Med Teach. 2013 Jul;35(7):555-9. doi: 10.3109/0142159X.2013.787140. Epub 2013 May 3.

Assessing tomorrow's learners: in competency-based education only a radically different holisticmethod of assessment will work. Six things we could forget.

역량-바탕 세계에서 평가의 개념적 진화(Med Teach, 2017)

Evolving concepts of assessment in a competency-based world

Peter Harrisa, Farhan Bhanjib,c, Maureen Toppsd, Shelley Rosse , Steven Liebermanf, Jason R. Frankb,g,

Linda Snellb,c and Jonathan Sherbinoh; on behalf of the ICBME Collaborators

도입

Introduction

역량 기반 의료 교육(CBME)은 커리큘럼 설계와 훈련생 평가에 대한 접근방식으로서, CBME의 근본적인 목표는 의료 전문가의 교육을 향상시켜 일관된 고품질 환자 치료를 제공하는 것이다(Caracio et al. 2002; Frank et al. 2010). CBME는 훈련생과 practitioner의 역량을 체계적으로 향상시키기 위해 노력하고 있으며, 역량이 달성되고 유지되는지 확인하는 것뿐만 아니라, 수월성excellence을 장려합니다.

Competency-based medical education (CBME) is an approach to curriculum design and trainee assessment whose fundamental aim is to improve the training of health care professionals so that they deliver consistent, high-quality patient care (Carraccio et al. 2002; Frank et al. 2010). CBME strives to systematically enhance abilities in trainees and practitioners, not only ensuring that competence is achieved and maintained, but also encouraging excellence.

역량 기반 평가 설계는... 

• 학습자에게 제공하는 피드백의 양과 질을 개선하는 동시에, 성찰 연습 및 평생 학습을 위한 기술 개발을 지원한다. 

• 지속적인 품질 개선 프로세스의 일환으로 평가 데이터를 활용한다. 

• 가장 중요하게는, 관련 영역에서 입증된 역량을 가진 의사가 의료를 제공하도록 하기 위함이다.

Competency-based assessment is designed 

to improve the quantity and quality of feedback to learners, while supporting the practice of reflection and the development of skills for lifelong learning; 

to utilize assessment data as part of a continuous quality improvement process; 

and, perhaps most importantly, to ensure that patient care is delivered by providers with demonstrated competence in the relevant domains.

역량 프레임워크와 CBME 평가

Competency frameworks and CBME assessment

역량 프레임워크는 효과적인 전문적 의료행위에 필요한 역량의 statement로 구성된 조직된 스키마이다.

A competency framework is an organized schema composed of statements of the abilities required for effective professional practice.

CBME는 어떤 학습 활동이든 프레임워크에 의해 정의된 하나 이상의 역량과 관련되어야 하는 구조를 제공한다.

It provides a structure within which learning activities should relate to one or more that of the competencies defined by framework.

CBME는 학습에 대한 고립된, 고부담의, 일시적인, 총괄평가보다는 학습을 위한 평가를 강조한다. 이 접근법은 통합적이며, 맥락의존적이고, 전문직업적 역량의 시연가능한 선택과 연결되어있고, 직무의 상호의존성과 역량에 필요한 평가의 다양성을 강조하는 Govaerts(2008)의 설명과 잘 들어맞는다.

CBME emphasizes assessment for learning rather than isolated, high stakes, point-in-time, summative examinations of learning. This approach fits well with the Govaerts (2008) description of integrated, context-dependent, demonstrable choices linked to professional domains, and emphasizes the interdependency of tasks and the multiplicity of assessments required for competency.

또한 학습자와 임상의사가 전문가와 동료의 직접적인 관찰과 건설적 피드백을 활용하는 평가 방법을 "buy-in"하는 것이 필수적입니다.

and it is essential that learners and clinicians “buy in” to assessment methods that utilize the direct observation and constructive feedback of experts and peers.

CBME는 다양한 환자를 대상으로 여러 번 여러 번 마주치는 관찰자를 요구해야 하는 과제를 제시합니다.

CBME presents the challenge of requiring multiple observers of multiple encounters at multiple times with diverse patients

역량에 대한 총괄적 판단은 고립적으로 내려져서는 안 된다(Holmboe et al. 2010). 대신, 복수의 관찰과 평가점수가 모여져서 판단을 내릴 훈련자의 실제 그림을 전달하는 방식으로 결합되어야 한다. "결정 순간"은 "평가 순간" 에서 분리되어야 하며(Schuwrence & van der Vleuten 2011), 데이터 수집은 종합적인 결정을 뒷받침할 만큼 충분히 풍부해질 때까지 계속되어야 한다.

Summative judgments of competence should not be made in isolation (Holmboe et al. 2010); rather, multiple observations and ratings need to be combined in a manner that conveys a real picture of the trainee to be judged collectively. “Decision moments” need to be disconnected from “assessment moments” (Schuwirth & van der Vleuten 2011), and data collection should continue until it is rich enough to support a summative decision.

CBME의 평가는 단순히 역량의 부재를 확인하는 것에서 그치면 안되며, 역량 향상에 초점을 맞춰야 한다.

Assessment in CBME should focus on improving competence, not simply on identifying incompetence (Schuwirth & Ash 2013).

CBME평가의 타당성 개념

Conceptualizing validity in CBME assessment

평가의 타당성은 특히 총괄 평가에서 가장 큰 관심사이다. 20세기 중반에, 의학 교육에서의 정신측정학의 도입은 [판단의 정확성 판단을 목적으로 하는 평가 데이터의 엄격한 interrogation]을 위한 체계적인 접근법을 제공했다. 그러나, 전통적인 타당성 representation은 결정의 정확성을 제한적이고 피상적으로만 이해할 수 있게 만든다(즉, 내용, 준거, 구인 타당도)

The validity of an assessment, particularly a summative assessment, is of paramount concern. During the mid-20th century, the adoption of psychometrics in medical education offered a systematic approach to the rigorous interrogation of assessment data in order to determine the accuracy of a judgment. However, it is now understood that traditional representations of validity (i.e. content, criterion, and construct validity) can result in a limited and superficial understanding of the accuracy of a judgment.

특히, 전통적인 정신측정적 접근법은 양적 데이터만이 역량의 판단에 사용하게 만들며(Hodge 2013), 종종 측정하기 쉬운 지식이나 기술에 초점을 맞추고, 역량 척도는 과도하게 환원적인 것으로 대체시킨다(Govaert et al.)

Specifically, a traditional psychometric approach allows only quantitative data to inform a judgment of competence (Hodges 2013), often focusing on knowledge or skills that are easy to measure, and leading to overly reductionist surrogates of competence (Govaerts et al. 2007).

25년 전, 메시크(1989년)는 양적 점수의 통계적 정확성을 넘어서는 타당성 정의를 제안했다. 타당성은 "경험적 근거와 이론적 합리성이 추론/시험 점수/다른 평가 방식에 기초한 조치의 적절성과 적합성을 뒷받침하는 정도에 대한 통합된 평가적 판단"이다. 이러한 개념화를 바탕으로, 케인(1992)은 타당성을 최종 판단의 "진실성"에 대한 [추론의 거미줄]로 해석했다. 이 개념에 따르면 타당성은 "숫자"가 아니라 의사의 "진짜" 역량에 대한 최종 판단을 뒷받침하는 '주장'이다.

More than 25 years ago, Messick (1989, p. 5) proposed a definition of validity that moved past the statistical accuracy of quantitative scores: “Validity is an integrated evaluative judgement of the degree to which empirical evidence and theoretical rationales support the adequacy and appropriateness of inferences and actions based on test scores or other modes of assessment.” Building on this conceptualization, Kane (1992) construed validity as a web of inferences about the “truth” of a summative judgment. By this conception, validity is not a “number” but, rather, an argument that supports the final judgment about “true” physician competence.

기본적으로, 네 가지 핵심 추론은 

• 관찰에서 점수로 이동, 

• 단일 점수에서 글로벌 점수로 이동, 

• 총괄 판단으로 외삽, 

• 이러한 데이터를 평가 프로그램의 구조에 도움되는 정보로 연결하는 것이다.

Essentially, four key inferences are made in building a validity argument: moving from observation to score; moving from a single to a global score; extrapolating to a summative judgment; and linking these data to the constructs that inform the assessment program (Schuwirth & van der Vleuten 2012; Cook et al. 2015).

CBME의 평가는 [교육자 그룹에 의해 평가 프로그램이 신중히 설계되어야 하며], [교수진은 학습과 퍼포먼스의 문서화를 모두 서포트하는 방식으로 평가 도구를 사용]해야 한다.

Assessment in CBME requires the deliberate design of a program of assessment by a group of educators and the use of assessment tools by teaching faculty in a manner that both supports learning and documents performance.

질적 평가

Qualitative assessment

많은 출처로부터 잠재적으로 풍부한 정성적 평가 정보를 이용할 수 있다.

Many sources of potentially rich qualitative assessment information are available

질적 접근법은 특히 "전문직업성과 같은 도메인-독립적인 역량"을 평가하는데 유용하며, 학습자의 개발을 안내하는 실행 가능한 피드백을 제공하는 데 유용하다.

Qualitative approaches are especially useful in assessing what van der Vleuten et al. (2010, p. 709) refer to as “domain-independent competencies” such as professionalism and in providing actionable feedback to guide learners in their development.

지금까지 정성적 평가의 구현은 교수 및 학생의 시간과 노력(예를 들어, 포트폴리오의 컴파일 및 평가)부담 뿐만 아니라, 신뢰도와 타당도에 대한 전통적인 심리측정적 구인에 의해서도 저해되어 왔다. 이러한 전통적인 개념에서는 질적 데이터는 표준화된 시험을 통해 얻은 점수에 비해 나쁜 것으로 여겨져왔다.

To date, the implementation of qualitative assessment has been hampered not only by the time and effort it demands of faculty and often learners – for example, in the compilation and assessment of portfolios (Donato & George 2012) – but also by an emphasis on the traditional psychometric constructs of reliability and validity, under which qualitative data may fare poorly in comparison with scores obtained through standardized testing.

소위 "심리측정학 담화" (Hodge 2006)는 의학 교육에서 질적 평가 방법의 사용과 refinement를 억제해왔지만, 질적 방법의 사용이 점차 늘어나면서, 신뢰성과 타당성에 대한 전통적 강조는 새로운 구인인 trustworthiness와 authenticity에 의해서 되욱 강화되었다.

광범위한 영역에서 다양한 유형과 평가 포인트의 필요성이 광범위하게 받아들여진다(van der Vleuten & Schuwer 2005). 이러한 다수의 평가 지점들(이 중 다수는 본질적으로 질적 자료이다)을 통합하는 것은 그 자체가 질적 평가이다.

마일스톤과 평가

Milestones and assessment

CBME는 퍼포먼스의 발전상황과 최종수준을 모두 반영할 수 있는 마일스톤의 개발을 촉진한다. 마일스톤는 "발달 연속체를 따라 정의된, 관찰가능한 개인의 역량에 대한 마커"이다(이 호에서 Englander et al. 2017). 이들은 준거 기반이며, 마일스톤을 모두 모으면, 특정 역량 또는 성과를 통한 학습자의 개발 여정을 표로 만들 수 있다.

CBME promotes the development of milestones that can reflect both progression and exit levels of performance. A milestone is a “defined, observable marker of an individual’s ability along a developmental continuum” (Englander et al. 2017, in this issue). They are criterion-based and, when taken together, chart the developmental journey of a learner through a particular competency or performance.

progressive step을 포함하는 이정표는 DP과 피드백에 대한 강조와 잘 들어맞는다. 이들은 [예상된 순차적 행동]에 대해 명확히 표현된 근거를 제공하고, 학습자와 평가자를 위한 공유된 정신 모델을 encourage한다.

Milestones that incorporate progressive steps align well with an emphasis on deliberate practice and feedback. They provide a clearly articulated basis for expected, sequential behaviors and encourage a shared mental model for learners and assessors that can guide learning.

평가에 대한 프로그래밍 방식 접근 방식은 진행 상황을 매핑하는 마일스톤에 의존합니다. 그들은 프로그램과 훈련생 모두에게 정보를 제공하고, 한 시점에 개인의 지위를 집합적으로 기술한다.

Programmatic approaches to assessment rely on milestones to map progress. They are informative for both programs and trainees, and collectively describe an individual’s status at a point in time.

반복적으로 수집된 개인화된 자료를 통해 

• 훈련자의 교육 궤적을 추적할 수 있으며, 

• 표준 이하의 성과를 조기에 탐지할 수 있고, 

• 분야에서의 성취도를 조기에 입증한 경우에는 가속 옵션option of acceleration을 사용할 수 있다.

repeated personalized data allow a trainee’s educational trajectory to be tracked and enable the early detection of substandard performance or the option of acceleration where achievement in an area is demonstrated early.

프로그램 수준에서의 결정 외에도, 훈련생들은 자기평가 기술을 개발할 수 있는 도구를 제공하는 평가 시스템을 요구한다. 지금의 훈련 및 평가 시스템은 훈련생들에게 자신을 정확하게 평가하고(Davis et al. 2006) 행동 중 성찰이나 행동 후 성찰을 수행하는 방법을 가르치는 것에 어려움을 겪고 있다.

In addition to program decisions , trainees require assessment systems to provide them with the tools to develop skill in self-assessment. Current systems of training and assessment have struggled with the challenge of teaching trainees how to assess themselves accurately (Davis et al. 2006) and to carry out reflection-on-practice or reflection-in-practice (Eva & Regehr 2005).

CBME는 guided 자기평가를 용이하게 하기 위해 교사와 학습자 사이의 정기적인 의사소통을 요구한다. 최종 목표는 독립적인 연습 동안 평생 학습을 지원할 강화된 자기성찰 기술을 개발하는 것이다.

CBME requires regular communication between teacher and learner to facilitate guided self-assessment; the ultimate goal is to develop enhanced self-reflection skills that will support lifelong learning during independent practice.

피드백과 학생 성과

Feedback and student outcomes

기존의 접근 방식과 달리, CBME는 성과 달성 마일스톤에 대한 이해와 투명성을 높였으며, 따라서 교육자와 교육 기관 모두에 대한 책임감을 높여준다. CBME에 사용되는 실무 중심의 역량 프레임워크는 피드백과 평가를 빈번하게 사용한다면 trainee의 향상된 관심을 촉진할 수 있다.

In comparison with the traditional approach, CBME provides greater understanding and transparency of achievement milestones, and thus improved accountability for both trainees and training organizations. The more practice-focused competency frameworks used in CBME can also foster improved attention to trainees, given the more frequent use of feedback and assessments.

평가는 관찰된 행동과 원하는 행동 사이의 차이를 줄이겠다는 목표를 가지고, 바람직한 관행을 식별하고 장려해야 한다.

Assessments should identify and encourage desired practice, with the goal of reducing the differences between observed and desired practice.

훈련생과 공유하는 형성적 피드백은 비효과적이거나 안전하지 않은 행동을 교정하는 데 도움을 줄 수 있으며, 효과적인 행동을 강화한다(Bazrafkan et al. 2013).

Formative feedback shared with trainees can help them correct behavior that is ineffective or unsafe, and reinforces behaviors that are effective (Bazrafkan et al. 2013).

형성적 피드백을 공유하기 위해서는 학습자가 자신의 강점과 약점을 인식할 수 있는 안전한 환경을 조성해야 한다(Bazrafkan et al. 2013).

The sharing of formative feedback creates a safe environment where learners can gain awareness of their strengths and weaknesses (Bazrafkan et al. 2013).

임상의들의 참여가 극대화되고 지속되기 위해서는, 평가는 실제 임상의들의 활동과 resonate하도록 임상의 작업흐름과 연계되어야 한다. CBME에서 WBA에 대한 강조가 증가하면 학습자와 평가자 사이의 열린 대화와 풍부한 대화를 통해 개발을 촉진할 수 있는 기회가 생깁니다. 교수진은 이러한 피드백을 전달하고 긍정적이고 안전한 환경을 조성하는 데 능숙해야 하며, 학습자는 중요한 피드백을 기꺼이 받아들여야 합니다.

Assessment needs to link to (and be embedded in) clinical workflow, resonating with practising clinicians so that their participation is maximized and sustained. The increased emphasis on workplace assessment in CBME should create the opportunity for an open and rich dialogue between learners and their assessors to promote development. Faculty must be skilled in conveying this feedback and in creating a positive and safe environment, and learners will need to be willing to accept critical feedback.

일단 무능의 영역이 확인된다면, 협력적 접근법은 반복된 평가의 수행을 촉진한다. CBME는 "경계성" 레지던트가 통과/실패 판단의 결과의 영향을 받기보다는, 각각의 중요한 이정표를 진정으로 달성하도록 만든다. remediation과 enrichment은 CBME라는 동면의 양면이다.

A collaborative approach fosters repeated assessment once an area of dyscompetence (Frank et al. 2010) has been identified and remediated. This allows “borderline” residents not to be pushed through as an effect of dichotomous pass/fail judgments, but to truly achieve each significant milestone. Remediation and enrichment are the two sides of the CBME coin (Schuwirth & van der Vleuten 2011).

현재 많은 평가 시스템이 경계성 또는 failing 교육자에게 상당한 노력과 에너지를 집중하고 있으며, 한 가지 이유는 "Fail 주는 것에 fail"한 것을 극복할 적절한 준비가 되지 않은 문화 때문이다. CBME는 교육자들이 좀 더 천천히 진보하는 사람들을 돕도록(배제하도록)할 것을 요구하며, 동시에 이미 표준을 충족하는 학습자에게는 accelerating과 challenging하도록 만든다.

Many assessment systems currently focus substantial effort and energy on the borderline or failing trainee with a culture that is not adequately prepared to overcome the “failure to fail” (Dudek et al. 2005). CBME challenges educators to assist (or exclude) those progressing more slowly, while shifting more attention to accelerating and challenging learners who are satisfying the standards.

학습자는 [특정 분야의 학습에 대해 "역량"을 달성하여 완료되었다고 생각할 위험]이 있으며, 의사로 역할을 하는 내내 지속적으로 학습을 해야할 필요를 인식하지 못할 수도 있다. CBME의 평가는 성취 또는 달성 실패뿐만 아니라 수월성excellence에 관한 언어를 개발할 필요가 있다.

In view of the risk that learners may infer that their learning in a particular area is complete on achieving “competence” and fail to appreciate the need for continual learning throughout their career, assessment in CBME needs to develop a language around excellence and not just around the achievement, or failure to achieve, competence.

Authentic 환경에서의 평가

Assessment in the authentic environment

Holmboe et al. (2010)은 학습과 평가가 발생하는 임상 마이크로 시스템을 묘사한다. 개개 역량 및 역량 집합을 달성하기 위하여 수행하는 deliberate practice와 관련된 WBA는 잦은 형성 평가와 다수 관찰자에 의한 지원을 필요로 한다.

Holmboe et al. (2010) describe the clinical microsystems in which learning and assessment occur. Work-based assessment related to the deliberate practice of both individual and sets of competencies requires support by frequent formative assessment and multiple observations.

최근의 연구는 평가 도구에서 명확한 임상적 앵커clinical anchors가 사용되었을 때 평가자 간 일치가 향상됨을 보여주었다. 평가자 훈련의 어려움 중 하나를 줄이는 방법은, 평가 도구에서 (임상 평가자의 언어를 더 많이 사용함으로써) recognizable clinical rating을 사용하는 것이다.

Recent work noted enhanced agreement when clear clinical anchors were used in an assessment tool. One of the difficulties of assessor training may be reduced by the greater use of recognizable clinical ratings (that is, use the language of clinical assessors) in assessment tools.

평가자의 경우, 이러한 다수의 관찰은 적절히 구성된 역량 위원회의 구성원 간에 공유되어야 한다. 이 위원회는 "안전한 장소"에서 합법적으로 기능함으로써 개인 훈련자의 니즈에 대해 자유롭게 토론할 수 있다.

For the assessors, these multiple observations ought to be shared among the members of a properly constituted competency committee that can function in a “safe place” legally (along the lines of peer-review or morbidity meetings) to allow free discussion about the needs of individual trainees.

"군중의 지혜" 또는 [역량 판단을 위한 집단 과정]이 중요하다는 증거가 대두되고 있다. 어떤 하나의 방법이나 다수 방법의 조합도 의사에게 필요한 모든 능력을 평가할 수 없기 때문에, 그룹 판단은 역량에 대해 가능한 최선의 결정을 내릴 수 있게 해준다. 또한 그룹 프로세스는 단일 평가자 도구를 누적한 것보다 프로페셔널리즘과 관련된 문제를 더 잘 식별할 수 있다(Hemmer et al. 2000).

There is emerging evidence that the “wisdom of crowds” or a group process in making judgments of competence is important. Since no single method or combination of methods can assess all of the competencies required of a physician, group judgment can produce the best possible decisions about competence. Additionally, the group process may be better able to identify issues concerning professionalism than cumulative single-assessor tools (Hemmer et al. 2000).

교수자를 서포트하는 것으로는 적절한 시간을 확보해줌으로써, 작업 기반 평가를 완료하고 후보자의 전체 진행 상황을 "판단"하는 그룹에 참여할 수 있게 해야한다.

Faculty support to ensure that adequate time is dedicated for completing work-based assessments and participating in groups that “judge” the overall progression of the candidate is critical.

1~2개월마다 로테이션이 바뀜으로서 생기는 파편적 학습 환경은 평가의 연속성을 떨어뜨린다. 각 평가자(또는 평가자 팀)이 [각 학습자를 대상으로 아무 정보도 없이 시작하는 것]이 매번 반복되지 말아야 합니다. 임상에서 우리는 관리에 필수적인 임상 세부 사항을 공유하지 않은 상태로 환자를 인계하지 않는다. 학습자를 인계할 때도 마찬가지이다. 불완전한 핸드오버는 불필요한 위험을 발생시킬 수 있습니다. 발달 궤적에 대한 ownership은 학습자에게 달려 있지만, 적절한 이정표 또는 EPA를 달성하고 있는지 여부를 결정하기 위해서는 그 정보가 교수진과 공유되어야 합니다. 성과 결과를 전향적으로 제공함으로써, 우리는 그 다음의 평가자들이 entrustment 결정을 내릴 때, 그러한 정보의 가치에 반하여 생길 수 있는 편향의 위험을 balance해야 한다.

The fragmented learning environment created by a change of rotations every one or two months results in a lack of continuity in assessment. The perpetual cycle of each assessor (or assessor team) starting from scratch with each learner should not be acceptable. In the clinical context, we do not hand over a patient without sharing clinical details essential for care, and we should expect a similar forwarding of information in the handover of learners. An incomplete handover can create unnecessary risk. Although ownership of the developmental trajectory rests with the learner, it also needs to be shared with faculty to determine whether the appropriate milestones or EPAs are being achieved. In feeding performance results forward, we must balance any risk of biasing subsequent assessors against the value of such information to their entrustment decisions.

학습과 평가 연속체

The learning and assessment continuum

매일 75건 이상의 새로운 무작위 통제 임상시험과 11건의 체계적인 리뷰가 출판되고 있으며, 의학 지식은 그 어느 때보다 빠르게 확장되고 있다(Bastian et al. 2010). 확립된established 의사들이 새로운 의학 지식을 그들의 후배들만큼 일관되게 통합하지 않는 다는 것은 놀라운 일이 아니다. (Lipner et al. 2011) 또한 (지속적 학습과 적절한 지속적인 평가에 대한) CBME 접근방식을 적용한다면, 사용빈도가 떨어지면서 자연적으로 발생하는 지식과 기술의 쇠퇴와 연령의 영향을 완화할 수 있으며, 적어도 그러한 상태를 인식할 수 있다(Baxter et al. 2014). Lockyer 등은 평가가 임상의사의 CPD에서도 일상화되기 위해서는 레지던트 교육 이후까지 확장되어야 한다고 주장하였다.

Medical knowledge is expanding faster than ever with the publication of over 75 new randomized controlled trials and 11 systematic reviews every day (Bastian et al. 2010). It should not surprise us if established physicians are not integrating new medical knowledge as consistently as their junior colleagues (Lipner et al. 2011). Additionally, the decay in knowledge and skills that occurs naturally with infrequent use and the effects of age can be mitigated or at least recognized with a CBME approach to continuing learning and appropriate ongoing assessment (Baxter et al. 2014). As Lockyer et al. (2017b) discuss in this issue, assessment needs to extend beyond the completion of residency training to become routine within clinicians’ continuing professional development (CPD).

CBME는 학습 개발에 대한 정보의 논리적 구조를 제공하여 다음 교육 단계로 나아가게 할 수 있으며, CPD로 나아가게 해준다. 성과에 대한 유익한 평가는 CPD 프로파일을 구성하거나, 세부전공 또는 practice focus에도 영향을 미칠 수 있습니다.

CBME can provide a logical structure for information on learning development to flow forward to the next training stage and into CPD. An informative appraisal of achievements can help structure the CPD profile or possibly influence areas of subspecialization or practice focus.

결론

Conclusions

CBME로 전환하는 근거 중 하나는, 교육자와 교육 기관 모두가 성과 수준에 대해서 더 명확하게 이해할 수 있으며, 책무성을 더 높여준다는 것이다. 이러한 명확하고 보다 실무 중심적인 역량 프레임워크의 한 가지 함축적 의미는 모든 훈련생들에게 더 많은 관심을 기울이는 것이다.

The rationale for moving to CBME includes a clearer understanding of levels of achievement and improved accountability of both trainees and training organizations. One implication of these clearer and more practice-focused competency frameworks is greater attention to all trainees.

CBME에서의 평가는 역량 프레임워크에 기초해야 하며, 바람직한 성과와 관찰된 성과 간의 차이에 기초한 교육 계획을 개발해야 한다.

Assessment within CBME should be based on competency frameworks and develop an educational plan based on the differences between desired and observed performance.

CBME에서 평가의 초점은 명확하고, 정기적이며, 예상되는 피드백을 바탕으로 한 개인의 발달에 있다. CBME에서의 평가는 단순히 역량을 갖추는 것이 아니라, 학습자와 프로그램이 탁월함을 추구하도록 inspire하는 것입니다.

The focus for assessment in CBME is on individual development based on clear, regular, and expected feedback. Assessment in CBME is not simply about meeting bare competence, but is also intended to inspire learners and programs to strive for excellence.

CBME 맥락에서 타당성이란 단일 도구의 통계 분석에서 벗어나, 평가 프로그램에서 도출된 추론 및 행동에 대한 평가로 전환해야 한다. Miller의 고전적 서술의 "does" 수준을 목표로 하는 진정한 직장 기반 평가는 이러한 타당성의 개념에 매우 중요합니다. Progression이나 능력에 대한 판단은 "군중의 지혜"을 포함해야 한다.

Validity in the context of CBME requires a shift away from the statistical analysis of single tools toward the evaluation of inferences and actions that derive from program of assessment. Authentic workplace-based assessment targeted at the “does” level of Miller’s classic description is critical to this notion of validity. Judgments of progression or competence need to involve the “wisdom of crowds”

Cook DA, Brydges R, Ginsburg S, Hatala R. 2015. A contemporary approach to validity arguments: a practical guide to Kane's framework. Med Educ. 49:560–575.

Lockyer J, Bursey F, Richardson D, Frank JR, Snell L, Campbell C; ICBME Collaborators. 2017a. Competency-based medical education and for continuing professional development: a conceptualization change. Med Teach. 39:617–622. ==

Englander R, Frank JR, Carraccio C, Sherbino J, Ross S, Snell L; ICBME Collaborators. 2017. Toward a shared language for competency-based medical education. Med Teach. 39:582–587. ==

Schuwirth LWT, van der Vleuten C. 2012. Programmatic assessment and Kane’s validity perspective. Med Educ. 46:38–48.

Evolving concepts of assessment in a competency-based world.

CBME에서 평가의 핵심 원칙(Med Teach, 2017)

Core principles of assessment in competency-based medical education 

Jocelyn Lockyera, Carol Carracciob, Ming-Ka Chanc, Danielle Hartd,e, Sydney Smeef, Claire Touchief,g, Eric S. Holmboeh and Jason R. Franki,j; on behalf of the ICBME Collaborators

aCumming School of Medicine, University of Calgary, Calgary, Canada; bAmerican Board of Pediatrics, Chapel Hill, NC, USA; cMax Rady College of Medicine, Rady Faculty of Health Sciences, University of Manitoba, Winnipeg, Canada; dHennepin County Medical Center, Minneapolis, MN, USA; eUniversity of Minnesota Medical School, Minneapolis, MN, USA; fMedical Council of Canada, Ottawa, Canada; gFaculty of Medicine, University of Ottawa, Ottawa, Canada; hAccreditation Council for Graduate Medical Education, Chicago, IL, USA; iRoyal College of Physicians and Surgeons of Canada, Ottawa, Canada; jDepartment of Emergency Medicine, University of Ottawa, Ottawa, Canada

도입

Introduction

CBME가 설립되면서, 초점은 학습을 위한 평가로 옮겨가고 있다. 반 데르 베루텐 외 연구진들은 "평가가 그 자체로 목표가 될 때, 그것은 사소하고 결국 버려질 것이다. 평가는 학습을 유도해야 하며, 일상적 루틴 속에 통합되어 있으며, 궁극적으로는 학습 관행에 없어서는 안 될 것으로 여겨질 때 그 효용성을 갖는 것이다."(2010년, 페이지 712).

as CBME becomes established, the focus is shifting to assessment for learning. Van der Vleuten et al. suggest that “whenever assessment becomes a goal in itself, it is trivialized and will ultimately be abandoned. Assessment has utility insofar as it succeeds in driving learning, is integrated in a routine and ultimately comes to be regarded as indispensable to the learning practice.” (2010, p. 712).

슈워스와 반 데르 베레텐(2006)은 새로운 심리학적 모델을 호소하며, 학습자가 미리 결정된 결과를 달성했는지 여부만을 묻는 대신 새로운 심리학적 모델을 요구하기 위해 우리는 보다 중요한 질문을 제기합니다. "미래에 이 학생에게 어떤 케이스가 주어졌을 때, 이 학생의 수행능력이 기준에 미치지 못할 위험성은 얼마나 클까?"

In a plea for new psychometric models, Schuwirth and van der Vleuten (2006) proposed that, rather than asking only whether a learner has achieved a predetermined outcome, we pose a more critical question: How big is the risk of the student performing below the standard in a future case given his or her history and the current observation?

레지던트 교육을 마친 의사가 안전하고 효과적이며 환자 중심적인 치료를 제공할 수 있는 가능성을 극대화하기 위해 평가 프로그램이 갖추어야 할 요소는 다음과 같습니다. 

• 활동(정보의 수집, 합성, 해석, 가중치 할당) 

• 지원(교수개발, 심리측정학적 분석)

• 문서화(규칙, 블루프린트, 정보 관리) 

• 개선(연구, 개발, 학습 환경, 변화 관리 등에 대한 개선) 

• 책임(과학 연구, 외부 검토, 비용-효과성, 정치 및 법적 요건과 관련한 책임)

to maximize the probability that a physician graduating from residency training can provide safe, effective, patient-centered care, the elements of an assessment program include 

• actions (collecting, synthesizing, interpreting, and assigning weight to information); 

• support (faculty development and psychometric analysis); 

• documentation (rules, blueprints,and information management); 

• improvement (with regard to research, development, the learning environment, and change management); 

• accountability (with regard to scientific research, external review, cost effectiveness, and political and legal requirements) (Dijkstra et al. 2010).

더욱이, CBME의 평가는 레지던트 훈련에서 종료되어서는 안 된다. 역량은 한 번 달성하고 끝나는 것이 아니라, 역량에 대해서는 언제나 재평가가 필요한 다른 맥락이나 상황이 존재한다(Eva et al. 2013).

Moreover, assessment in CBME should not end with residency training. Competence is not something one can attain once and for all: there will always be another context or occasion that necessitates reassessment (Eva et al. 2013).

의미 있는 역량 기반 평가에 대한 우리의 비전은 다음을 포함해야 합니다. 

• (1) 지속적인, 적시에 이루어지는 평가, 또한 평가의 지속적인 발전을 보장하기 위한 종합적인 정기 검토(Archer 2010) 

• (2) 복수의 평가자와 평가법을 적절히 활용하여 옳은 목적을 위해 올바른 평가를 수행하고, 평가자의 피로를 방지(Norcini et al. 2011; Hodge 2013). 

• (3) 역량에 대한 판단에 도달하기 위해 그룹 프로세스를 통하여 수집된 데이터를 통합 

• (4) 모든 평가자에 대한 교수개발. 근무지에서 훈련생을 관찰하는 사람이야말로 진정한 측정 도구이다. 

• (5) 피드백이 실제에 통합되도록 형성 피드백 제공자와 수신자 사이의 관계를 최적화한다(Watling et al. 2012).

Our vision for meaningful competency-based assessment should include 

• (1) timely ongoing assessments, with comprehensive periodic reviews to ensure continued progress (Archer 2010); 

• (2) the best use of multiple assessors and assessments to enable the right assessment to be made at the right time for the right purpose, while avoiding assessor fatigue (Norcini et al. 2011; Hodges 2013); 

• (3) a synthesis of data collected through group processes to reach judgments about competence; 

• (4) faculty development for all assessors, who, as observers of trainees in the workplace, are the true measurement instrument; and 

• (5) optimized relationships between the givers and receivers of formative feedback to enhance the incorporation of feedback into practice (Watling et al. 2012).

CBME의 핵심 평가원칙

Core assessment principles of CBME

학습을 위한 평가

Assessment for learning

평가 전략은, 각 단계에 맞춰서 제공되는 형성적 피드백이 학습뿐만 아니라 평가에도 기여하고 정보를 제공합니다. 'Does' 수준에서 보자면, 평가는 사람이 일하고 배우는 진정한 맥락의 일부가 된다.

(Table 1). The assessment strategies tied to each level inform and contribute to learning as well as assessment, provided that formative feedback is given. At the “does” level, assessment becomes part of the authentic context in which one works and learns;

학습자가 자신의 학습에 적극적으로 참여하는 것은 평생 학습에 있어 기술을 개발하는 데 중요한 것으로 오랫동안 이해되었다. 평가는 학습자에 의해 및 학습자와 함께 by and with 수행해야 합니다. 이 원칙을 구체화하는 전략 두 가지이다. 

• Informed self-assessment: 학습자가 학습을 guide하기 위해서 [내부 소스]뿐만 아니라 [신뢰할 수 있는 외부 소스]로부터 데이터를 이끌어낼 수 있도록 권장

• 포트폴리오: 학습자가 자신의 학습 내용을 기록하고 성찰하도록 권장

The active engagement of learners in their own learning has long been understood as crucial to developing skills in lifelong learning (Dewey 1974; Knowles 1975). Assessment should be performed by and with the learner. Two strategies that embody this principle are 

• informed self-assessment, whereby the learner is encouraged to draw on data from credible external as well as internal sources to guide learning (Sargeant et al. 2010), and 

• the use of portfolios, which encourage learners to document and reflect on their learning (van Tartwijk & Driessen 2009).

자신을 정확하게 평가하기는 어렵다. 그러나, 자기평가가 성찰을 동반할 경우, 특히 "reflection-in-action RIA"가 포함된 경우, 학습자가 언제 멈추고 피드백이나 도움을 요청해야 할지를 알 수 있습니다(Eva & Regehr 2005). 이 행동을 "자기 주도적 평가 탐색"(Eva & Regehr 2008)이라고 한다. 펠그림 등은 교수진이 제공한 피드백의 특수성과 학습자의 후속 성찰의 특수성 사이의 연관성을 보여주었다. Sarnard 외 연구진(2011)은 특히 피드백과 결합된 경우, 정보에 근거한 자기 평가informed self-assessment가 전문적 성장을 위한 강력한 촉매가 될 수 있다는 것을 발견했다.

It is difficult to accurately assess oneself (Eva & Regehr 2007). However, when self-assessment involves reflection, particularly “reflection-in-action,” it allows the learner to know when to stop and ask for feedback or help (Eva & Regehr 2005). This behavior is termed “self-directed assessment seeking” (Eva & Regehr 2008). Pelgrim et al. (2013) demonstrated the connection between the specificity of the feedback given by faculty and the subsequent specificity of reflections by learners,. Sargeant et al. (2011) also found that informed self-assessment, especially when combined with feedback, can be a powerful catalyst for professional growth.

CBME와 포트폴리오 평가의 핵심은 학습자가 그 과정에 적극적으로 참여하여 평가가 "교육가능한 순간teachable moment"으로 이어지는 것이다.

Fundamental to both CBME and portfolio assessment is the active engagement of the assessment as the learner in the process, leading to “teachable moment.”

포트폴리오의 사용은 "포트폴리오하다"라는 능동태로서 구상하는 것이 가장 적절하다.

The use of portfolios is best conceived in an active sense: “to portfolio” (Friedman Ben David et al. 2001).

학습의 평가

Assessment of learning

전통적으로 평가는 교육 성과에 초점을 맞추고 있다.

Traditionally, assessment has focused on educational outcomes

CBME는 작업 기반 평가로 전환되므로, 우리의 생각 역시 훈련생들의 능력이 환자에게 제공하는 관리 품질에 미치는 영향을 고려하는 평가로 전환되어야 한다(Kogan & Holmboe 2013). 의학 교육은 학습자의 학습성과 개선뿐만 아니라 환자의 치료성과 개선에도 필요하며, 후자가 궁극적인 목표이다.

With CBME comes a shift to work-based assessment, and our thinking must shift to assessments that take into account the impact of trainees’ competence on the quality of care provided to the patient (Kogan & Holmboe 2013). Medical education will need not only to improved learner outcomes but also to better patient care, the latter being the ultimate goal.

평가 최적화

Optimizing assessment

CBME 시대의 평가 프로그램을 최적화하려면 

(1) 복수의 방법 

(2) 복수의 평가자

(3) 평가자 선정 및 훈련 

(4) 심리측정학 역할의 재개념화

(5) 역량에 대한 중요한 결정을 내릴 때 그룹 과정의 중요성 인식

Optimizing an assessment program in the era of CBME will require 

(1) multiple methods; 

(2) multiple assessors; 

(3) the selection and training of assessors; 

(4) a reconceptualization of the role of psychometrics; and 

(5) a recognition of the importance of group process in reaching critical decisions about competence.

다양한 방법

Multiple methods

평가 프로그램은 구조화된 척도와 구조화되지 않은 척도를 모두 사용하여 정보를 목적에 맞추어 수집해야 하며, 정량적 데이터와 정성적 데이터를 평가해야 하며, 사용되는 데이터의 풍부함과 엄격함이 의사결정의 부담stakes에 부합하도록 해야 합니다. 향후에 학습자가 당면할 real-world practice에 대한 추론을 뒷받침하는 정보를 수집하고자 한다면, 평가 프로그램은 nonstandardized 방법을 반드시 포함해야 한다(van der Vleiten et al. 2012).

An assessment program 

• should collect information purposefully, using both structured and unstructured measures; 

• it should value quantitative and qualitative data and 

• ensure that the richness and rigor of the data used align with the stakes of the decision being made (Schuwirth & Ash 2013). 

A comprehensive program must include nonstandardized methods if it hopes to gather information that supports inferences about future real-world practice (van der Vleuten et al. 2012).

모든 평가 방법에는 한계가 있기 때문에, 한 가지 기법의 단점을 보완하기 위해 여러 가지 방법이 필요하다(van der Vleuten 1996). 질적 데이터에 의존하는 작업 기반 평가는 방어가능할 뿐만 아니라 바람직할 수 있다. CBME의 약속을 실현하기 위해 의학교육자와 훈련 프로그램은 업무 기반 평가의 "지저분함"과 정성적 데이터에 대한 의존성을 수용해야 한다.

Because all assessment methods have their limitations, multiple methods are needed to compensate for the shortcomings of any one technique (van der Vleuten 1996). work-based assessments, which rely on qualitative data, can be both defensible and desirable. To realize the promise of CBME, medical educators and training programs will need to embrace the “messiness” of work-based assessment and its reliance on qualitative data.

다양한 평가자

Multiple assessors

우리는 평가자의 단점을 보완할 다수의 평가자가 필요하다.

we need multiple assessors to compensate for rater shortcomings

과거에는, 이러한 단점들 때문에 [전문가의 총괄적 판단]이 아니라 OSCE에서 사용하는 것과 같은 [더 신뢰할 수 있는 체크리스트]로 평가하도록 만들었다. 그러나 이후에 총괄적 평가와 체크리스트를 비교했을 때 전자가 더 신뢰할 수 있다는 놀라운 결과가 나왔다(Regehr et al. 1998).

In the past, such shortcomings have shifted assessment strategies away from expert global judgments and toward more “reliable” checklists, such as those used in observed structured clinical examinations. However, subsequent comparisons of expert judgments with checklists yielded the surprising finding that the former were more reliable (Regehr et al. 1998).

평가자 교육은 평가자를 교정하고, 평가자 불일치에 따르는 이러한 분산의 일부(전부는 아님)를 해결하는 데 도움이 되는 것으로 나타났습니다. 깅리치 등은 평가자가 어떤 사람을 처음 만나게 되면, 과거에 만났던 사람과의 상호작용으로부터 형성된 스키마를 근거로 새로 만난 사람을 분류한다고 추정하였으며, 이는 패턴 인식이 임상 의사결정에 영향을 미치는 영향과 거의 동일하다.

Rater training has been shown to be helpful in calibrating raters and in addressing some – but not all – of this variance. Gingerich et al. (2011) postulate that raters spontaneously categorize new individuals on the basis of preformed schemas of interactions with previous individuals, in much the same way as pattern recognition influences clinical decision-making.

평가자 선발 및 훈련

Assessor selection and training

누구를 평가자로 포함시키는지를 결정할 때(종종 쉽게 짐작하는 것보다) 누가 가능한지, 누가 자원하는지, 누가 공식적으로 책임을 맡고 있는지, 누구에게 구체적인 과제나 사건에 대한 평가를 믿고 맏길 수 있는지에 따라 달라진다. 관찰자 및 평가자로서의 능력은 부차적인 문제인 경우가 흔하다.

More often than may be acknowledged, assessor selection depends on who is available, who volunteers, who has formal assessment responsibilities, and who can be convinced to perform the assessment for a specific task or event. Secondary consideration, if any, is given to the assessors’ skills as an observer and assessor.

평가자를 교육하는 주된 이유 중 하나는 학습자에 의해서 care를 받는 환자들이 안전하고 효과적이며 환자 중심적인 치료를 받도록 하기 위함이다(Kogan et al. 2014).

One of the primary reasons to train assessors is to ensure by that patients cared for learners receive safe, effective, patient-centered care (Kogan et al. 2014).

한 사람이 어떻게 유능한 평가자로 변모하는지 생각해볼 필요가 있다. 평가자로서 필요한 지식은 두 가지이다: 평가를 해야 하는 역량에 대한 지식(Ponnamperuma 2013)과 평가자의 고유 역할인 관찰 및 기록 작업에 대한 이해이다(Kogan & Holmboe 2013)

we need to think about how someone becomes a competent assessor. The knowledge required is at least twofold: knowledge of the competencies being assessed (Ponnamperuma 2013), and an understanding of the observational and recording tasks intrinsic to the assessor role (Kogan & Holmboe 2013).

CBME에서의 평가를 위해서 각 기관은 평가가 학습learning에 통합되는 교육 커뮤니티를 만들고, 나아가 평가 기술 습득이 teaching에 통합되게 해야 한다.

Moving to CBME will challenge institutions to create educational communities in which assessment is integrated into learning and, moreover, the acquisition of assessment skills is integrated into teaching.

훈련의 필요성은 분명한 것 같지만, 어떻게 해야 하는지는 덜 명확하다.

Although the need for training seems clear, how to go about it is not always so.

심사원 훈련분야에서 어느 정도의 가능성을 보여주는 기술은 

• 행동 관찰 훈련(BOT), 

• 성능 차원 교육(PDT) 

• 기준 훈련 프레임(FoRT) 

The techniques that show some promise in the field of assessor training are 

• behavioral observation training (BOT), 

• performance dimension training (PDT), and 

• frame of reference training (FoRT). 

• BOT는 관찰 프로세스에 익숙해지게 만들고, 관찰 스킬을 향상시킨다. 세 가지 전략이 있다: 

• 관찰 빈도 증가("연습해야 완벽해진다" 원칙)

• 관찰을 위한 적절한 준비 

• 관찰 기록을 위한 간단한 도구 제공 

• PDT는 평가자가 역량에 대한 행동적 기준 및 표준을 학습하고 적용하는 데 도움이 되는 대화형 그룹 프로세스이며 FoRT의 중요한 precursor이다(Holmboe et al. 2004). 

• FoRT는 평가자가 성과의 여러 수준을 정확하게 구별할 수 있도록, [평가자의 판단]을 [공통의 준거에 기반한 frame of reference]와 일치시키기 위한 대화형 프로세스이다(Leavens 2001; Kogan et al. 2014). 

• BOT familiarizes assessors with observation processes and improves observation skills by means of three strategies: increased frequency of the observation (the “practice makes perfect” principle); proper preparation for observations; and provision of simple tools to record observations (Holmboe et al. 2008). 

• PDT is an interactive group process that assists assessors in learning and applying behavioral criteria and standards for competencies and is an important precursor of FoRT (Holmboe et al. 2004). 

• FoRT is also an interactive process that seeks to align assessor judgments with a common criterion-based frame of reference to enable assessors to make accurate distinctions between levels of performance (Lievens 2001; Kogan et al. 2014). 

PDT와 FoRT 모두 학습과 신중한 연습을 위해 사례 자료(비디오 테이프 검토, 객관적인 구조화된 교육 검사 등)의 사용에 의존합니다.

Both PDT and FoRT rely on the use of case material (video tape review, objective structured teaching examination, etc.) for learning and deliberate practice.

평가자 훈련만으로 평가자 인식에 내재된 모든 한계를 극복할 수 없다(Gingerich et al. 2011; Yeates et al. 2012; Govaerts & van der Vleiten 2013). 평가자로서의 능력은 선천적인 것이 아니라 습득가능한 것이다. 이는 장시간에 걸친 DP와 교정을 필요로 한다(Berndonk et al. 2013; Govaerts et al. 2013; Kogan & Holmboe 2013). 따라서, 아무리 잘 만들었떠라도, 일회성 훈련 개입은 충분하지 않다.

Training in assessment cannot overcome all the limitations inherent in rater cognition (Gingerich et al. 2011; Yeates et al. 2012; Govaerts & van der Vleuten 2013), and much research into effective rater training is needed. Assessment ability is acquired, not innate; it requires deliberate practice and refinement over time (Berendonk et al. 2013; Govaerts et al. 2013; Kogan & Holmboe 2013). Therefore, one-time training interventions, no matter how appropriate, are insufficient.

심리측정의 역할 재개념화

Reconceptualizing the role of psychometrics

Norcini 외 연구진(2011)은 "좋은 평가"는 타당성(또는 일관성), 재현성 또는 일관성(신뢰성), 다른 평가 접근법에 대한 동등성, 실현가능성, 수용가능성, 교육적 효과, 학습에 대한 촉매적 효과로 특징지어져야 한다고 결론지었다.

Norcini et al. (2011) concluded that a “good assessment” should be characterized by 

• validity or coherence; 

• reproducibility or consistency (reliability); 

• equivalence with other assessment approaches; 

• feasibility; 

• acceptability; and 

• a consideration of the educational effect and/or 

• the catalytic effect on learning.

신뢰성과 타당성에 대한 전통적인 생각에 대한 의문이 제기되었다. Hodges는 "주관성의 개념은 편견의 함축으로 간주되었으며, 적절한 표본 추출이 편견을 완화시킴에도 불구하고, 표준화가 곧 신뢰성으로 가는 길로 홍보되어왔음"을 지적했다. 신뢰할 수 없는 점수를 산출하는 객관적 척도(예: 표준화된 점검표)가 존재할 수 있으며, 반대로 신뢰할 수 있는 점수를 제공하는 주관적 척도(글로벌 등급 평가 척도를 사용한 전문가 판단)도 존재할 수 있다(van der Vleuten 1996).

traditional thinking about reliability and validity was questioned. Hodges (2013) pointed out that the notion of subjectivity had taken on the connotation of bias, and that standardization was touted as the ticket to reliability, even though adequate sampling mitigates bias (Eva & Hodges 2012) and is the main determinant of reliability (van der Vleuten & Schuwirth 2005). One can have objective measures (such as standardized checklists) that yield unreliable scores, and subjective measures (such as expert judgments using global rating scales) that provide reliable scores (van der Vleuten 1996).

타당성은 더 이상 도구의 고유한 속성이 아니다. 대신, 타당성 증거는 우리가 내리는 결정을 뒷받침하기 위해 우리가 사용하는 방법과 도구에 기초하여 축적하는 것이다. 타당성의 증거를 만드는 것은 우리가 만들고자 하는 추론과 판단을 구체화하는 것으로부터 시작한다.

Validity is no longer seen as an inherent property of a tool. Instead, validity evidence is something that we accumulate, on the basis of the methods and tools that we use, to support the decisions we make. Building evidence of validity is a process that begins with articulating the inference or judgment we want to make.

CBME가 도입된 이후, 여러 곳에서 공통적으로 평가를 위해 역량을 작은 단위의 행동으로 환원시켰다. 이러한 "원자화"는 trivialization으로 이어질 수 있고, 실제로 타당성을 위협할 수도 있다. 호지(2013년)는 "역량을 재구성"하기 위한 목적하에, 서로 다른 목적을 갖는 평가도구로부터 수집된 세부점수를 합산하는 것은 "방향이 반대opposite"이며, 타당성 위협이 된다고 강조하였다.

Since the introduction of CBME, a common practice has been to reduce competencies to small units of behavior for the purposes of assessment. This “atomization” can lead to trivialization and may actually threaten validity (van der Vleuten & Schuwirth 2005). Hodges (2013) also highlights the threat to validity posed by the “opposite” practice of aggregating sub-scores from instruments with different purposes to “reconstitute competence.”

책임 있는 전문 활동(EPA)과 마일스톤 프로젝트는 이러한 우려에 대응합니다.

entrustable professional activities (EPAs) and the Milestone Project respond to these concerns.

호지(2013년)에 따르면 "집단적 관점"은 [데이터 수집]과 [독립적인 판단의 통합 및 해석] 모두를 frame할 수 있다. 통합된 역량을 요구하는 전문 활동인 EPA에 기초한 전체론적 평가는 개별 역량에 대한 보다 세부적인 설명과 형성적 피드백의 자료substrate을 제공하는 이정표와 함께 역량 기반 평가를 진행한다.

Hodges (2013) suggests that a “collective perspective” can frame both data-gathering and the aggregation and interpretation of independent judgments. Holistic assessment based on EPAs, which are professional activities that require integrated competencies, in combination with milestones, which provide a more granular description of individual competencies and the substrate of formative feedback, will advance competency-based assessment.

그룹 프로세스의 필요성

Importance of group process

복수의 평가자가 필요함에도 불구하고 "모든 것"을 측정할 수 있는 평가자와 평가 방법의 조합은 없다. 통합 과정은 여전히 필수적이며, 그룹 판단은 entrustment 결정의 신뢰성을 최대화하는 최선의 방법일 수 있다. Schwind 외 연구진(2004)은 외과 전공의가 결여된 역량들 중 18%는 위원회에서의 논의에서만 탐지되었음을 발견했다.

Despite the need for multiple assessors, no combination of assessors and assessment methods can measure “all things.” A synthesis process is still essential, and group judgment may provide the best means of maximizing the reliability of entrustment decisions. Schwind et al. (2004) found that 18% of competency deficiencies in a surgery residency were detected only during discussion at a clinical competency committee.

정보 관리와 문서화

Information management and documentation

(Table 2).

현재 데이터 합성 및 통합은 많은 시간과 노력을 들여 수동으로 수행됩니다. 기술은 다음과 같은 도움을 줄 수 있다.

(1) 개인 및 프로그램 수준의 성능에 대한 신속한 반영 

(2) 진행 결정 및 학습자에 대한 기타 중요한 판단을 통지한다. 

(3) 개발 연속체를 따라 기술 진보에 관한 개별 학습자 피드백을 제공한다. 

(4) 학습의 필요성 및 성과 격차에 대한 훈련자의 반성을 자극하기 위해 대시보드(참조 그룹에 대한 개별 또는 프로그램의 성과를 시각적으로 표현)를 작성한다. 

(5) 프로그램 책임자를 위한 대시보드를 만들어 개별 및 총 학습자 진행 상황을 다른 프로그램의 지역 및 국가 동료 그룹과 비교하고 국가 또는 국제 표준에 대한 비교를 제공할 수 있다(Schumacher et al. 2014).

Currently, data synthesis and aggregation are done manually at great expense of time and effort. With these developments, technology can 

(1) prompt reflection on performance at the individual and program level; 

(2) inform progression decisions and other important judgments about learners; 

(3) provide individual learner feedback regarding skill progression along a developmental continuum; 

(4) create dashboards (graphic representations of an individual’s or program’s performance against a reference group) to stimulate trainees’ reflection on learning needs and performance gaps; and 

(5) create dashboards for program directors to compare individual and aggregate learner progress with local and national peer groups in other programs as well as to provide comparisons against national or international standards (Schumacher et al. 2014).

기술은 (인증 및 재검증 또는 인증 유지 관리를 포함한) 저부담과 고부담 상황 모두에서, 형성평가 및 총괄평가에 역할을 할 수 있다. 그러나 환자와 학습자 데이터의 보안이 매우 중요합니다.

Technologies could play a role in formative and summative assessments, in both low-stakes and high-stakes contexts, including for certification and revalidation or maintaining the maintenance of certification. However, security of patient and learner data will be critically important.

평가 프로그램 감사, 투명성, 책임성의 세 가지 문서 문제가 있습니다. 

There are three documentation issues to highlight: assessment program auditing, transparency, and accountability. 

• 감사 추적은, 정성적 평가를 위한 타당성 증거의 일부로서, 모든 고부담 결정에서도 타당성 증거의 중요한 구성요소이다. 감사는 판단의 dependability 또는 conformability를 높여서 신뢰도를 확립한다(van der Vleuten et al. 2010). 감사에는 프로세스 문서화, 결과 서포트(예: 학습자가 의사결정에 의문을 제기한다면), 외부 검토자의 품질 증거 제공이 포함됩니다. ACGME가 학습자 마일스톤 평가를 위해 요구하는 임상 역량 위원회는 향후 감사 문서의 단계를 설정한다(Nasca et al. 2012). 
• 투명성은 감사 추적을 생성하는 것과 관련이 있습니다. 이 두가지 모두에서 규칙, 증거, 사고 과정 및 의사결정 이유를 문서화하는 것이 필수적이다. 평가가 일련의 점수에 근거한 판단을 넘어, 그 점수에 대한 해석을 포함하는 것이 될 때, 최종적으로는 그 점수에 대한 해석이 더 신뢰할 수 있게 된다(Govaerts & van der Vleuten 2013).
• 궁극적으로, 책무성이 필요하다. 종합적으로 정보를 종합하고 결정을 내리는 사람은 trainee는 물론, 더 큰 의료 시스템에 대해서도 책임이 있으며, 의사의 진급 능력에 대한 이 사람들의 판단을 신뢰할 수 있어야 한다.

• The audit trail, which is part of the validity evidence for qualitative assessment, is likewise an important component of the validity evidence for any high-stakes decision. Auditing establishes trustworthiness by addressing the dependability or conformability of a judgment (van der Vleuten et al. 2010). Auditing involves documenting the process, supporting the outcome (e.g. if learners question a decision), and providing evidence of quality for external reviewers. The clinical competency committee required by the ACGME for assessing learner milestones sets the stage for auditing documentation going forward (Nasca et al. 2012). 

• Transparency goes hand in hand with creating an audit trail, and documenting the rules, evidence, thought processes, and reasons for decision-making are essential to both. Taking assessment beyond a judgment based on a set of scores to a judgment that includes an interpretation of those scores should be more trustworthy in the end (Govaerts & van der Vleuten 2013). 

• Ultimately, there has to be accountability. Those who synthesize and reach decisions are responsible to the trainee and to the larger health care system that trusts their judgments about a physician’s ability to progress further.

평가 시스템의 향상

Improving the assessment system

학습의 한 단계에서 다음 단계로 정보를 전달할 수 있는 프로그램은 학습자가 시간 경과에 따른 gap에 초점을 맞추고 strength에 기초할 수 있도록 합니다(Eva et al.2013). 마찬가지로, 프로그램 수준에서, 몇몇 훈련생들의 평가로부터 수집된 데이터를 취합하여 커리큘럼 효과를 평가하거나, 또는 내 코호트가 합리적인 기간 동안 원하는 역량 수준에 도달할 수 있는지 여부를 판단할 수 있다.

Programs that can forward information from one phase of learning to the next will enable learners to focus on gaps and build on strengths over time (Eva et al.2013). Similarly, at the program level, data collected from the assessment of several trainees can be aggregated to assess curriculum effectiveness or to determine whether a cohort within was able to reach desired levels of competence a reasonable period

프로그램은 어떤 환경에서 누가, 어떤 환경에서, 그리고 왜 작동하는지 계속 물어봐야 한다(Pawson & Tilley 1997). Pawson이 지적했듯이 프로그램 개입은 거의 언제나 지속적으로 개선되고 수정되어야 하는 "부분적 해결책"이다.

Programs should continually ask what works, for whom, in what circumstances, and why (Pawson & Tilley 1997). As Pawson has noted, program interventions are almost always “partial solutions” that must be continually refined and revised (Pawson 2013). 

Conclusions

Schuwirth LWT, Ash J. 2013. Assessing tomorrow’s learners: in competency-based education only a radically different holistic method of assessment will work. Six things we could forget. Med Teach. 35:555–559. ==

Harris P, Bhanji F, Topps M, Ross S, Lieberman S, Frank JR, Snell L, Sherbino J; ICBME Collaborators. 2017. Evolving concepts of assessment in a competency-based world. Med Teach. 39:603–608.

Hawkins RE, Durning SJ. 2017. Program evaluation. In: Holmboe ES, Durning SJ, Hawkins RE, editors. Practical guide to the evaluation of clinical competence. 2nd ed. Philadelphia: Elsevier; p. 303–331. XXX

Kane MT. 2013. Validating the interpretations and uses of test scores. J Educ Meas. 50:1–73.

Med Teach. 2017 Jun;39(6):609-616. doi: 10.1080/0142159X.2017.1315082.

Core principles of assessment in competency-based medical education.

CBME에서 양적 피드백과 질적 피드백(Med Teach, 2017)

Qualitative and quantitative feedback in the context of competency-based education

Ara Tekiana , Christopher J. Watlingb, Trudie E. Robertsc, Yvonne Steinertd and John Norcinie 

aDepartment of Medical Education, College of Medicine, University of Illinois, Chicago, IL, USA; bSchulich School of Medicine and Dentistry, Western University, London, ON, Canada; cMedical Education Unit, Leeds Institute of Medical Education, Leeds, UK; dCenter for Medical Education, McGill University, Montreal, QC, Canada; eFoundation for Advancement of International Medical Education and Research, Philadelphia, PA, US

도입

Introduction

CBME 는

(1) 성과에 초점을 맞춘다. 

(2) 능력을 강조한다. 

(3) 시간 기반 학습을 강조하지 않는다. 

(4) 학습자 중심성을 유도한다

CBME 

(1) focuses on outcomes, 

(2) emphasizes abilities, 

(3) deemphasizes time-based learning and 

(4) promotes greater learner-centeredness.

피드백의 맥락에서 평가

Assessment in the context of feedback

놀랍게도, 피드백에 대한 연구는 그것이 가변적인 효과를 가지고 있다는 것을 나타낸다. (van de Ridder et al. 2015)

Surprisingly, the research on feedback indicates that it has a variable effect (van de Ridder et al. 2015).

이러한 가변적 효과에 대한 설명은 피드백 자체, 즉 질적인지 양적인지, 누가 그것을 전달하는지, 그것이 어떻게 전달되는지, 언제 전달되는지, 그리고 강사 및 학습자의 상황 및 개인적 특징은 무엇인지 등에 초점을 맞추는 경우가 많습니다. 그러나 좋지 않은 평가도 한몫을 할 수 있다. 피드백은 항상 평가에 따라 예측되며, 평가가 부정확할 경우 피드백은 기껏해야 비효과적이며, 최악의 경우는 해롭기 때문이다.

Explanations of these variable effects often focus on the feedback itself: whether it is qualitative or quantitative; who delivers it; how it is delivered; when it is delivered; and the situational and individual characteristics of the instructor and learner (Shute 2008). However, poor assessment may also play a role. Feedback is always predicated on assessment and if that assessment is inaccurate, feedback will be at best ineffective and at worst harmful.

이러한 어려움을 피하려면 측정 오차의 가장 큰 근원인 "수신자와 관찰자의 맥락특이성 효과"를 관리하는 것이 중요하다.

To avoid these difficulties, it will be important to manage the largest sources of measurement error, which are context specificity effects for recipients and observers.

피드백의 맥락에서 평가는 강점과 약점에 대한 추론을 서포트하고 교육적 인터벤션의 선택을 촉진해야 한다(Bennett 2009).

Assessment in the context of feedback should support inferences about strengths and weaknesses and facilitate the selection of educational interventions (Bennett 2009).

따라서, 피드백은 실행 계획과 분명한 연관성을 가져야 한다. 그러나 현실에서, 우리는 종종 피드백의 토대로 총괄평가를 사용한다. 그러나 총괄평가라는 책임감있는 측정은 전반적인 학습 추정치를 제공하기 위해 고안되었으므로, 종종 강점과 약점에 대한 구체적인 정보가 부족하고, 특정한 교육적 개입과 관련이 없으며, 학생들의 태도에 부정적인 영향을 미친다.

Thus, it should have an obvious link to an action plan. In practice, we often use summative assessment as the basis for feedback. These accountability measures are designed to provide an overall estimate of learning, so they often lack specific information about strengths and weaknesses, they are not associated with specific educational interventions, and they negatively impact students’ attitudes.

예를 들어, 졸업시험은 다음 단계의 교육에 대한 준비 상태에 대한 전반적인 판단을 제공하도록 설계되었지만, 이것으로는 장점과 약점을 추정할 수도 없고, 이것이 교정 또는 개선을 위한 구체적인 계획과 연관되지도 않습니다. 따라서 평가의 내용과 형식은 피드백의 목적으로 특별히 선정되어야 하며 실행 계획에 직접 연결되어야 한다. 이를 위해서는 추가 자원이 필요할 수 있는데, 전체 퍼포먼스 추정치를 생성하는 것보다 측정 관점에서 장점과 단점을 식별하는 것이 더 어렵기 때문이다.

For example, exit examinations are designed to provide an overall judgment about readiness for the next stage of training, but they are not capable of estimating strengths and weaknesses nor are they associated with specific plans for remediation or improvement. Therefore, the content and format of assessments need to be chosen specifically for the purpose of feedback and have a direct connection to action plans. This may require additional resources since the identification of strengths and weaknesses is more challenging, from a measurement perspective, than generating an overall estimate of performance.

수신인과 관찰자의 맥락특이성 효과는 관찰 기반 평가에서 측정 오류의 가장 큰 원천일 수 있다. 케이스별로 퍼포먼스가 다르다는 것이 반복적으로 입증되었습니다. 구체적인 맥락에 따라, 강점과 약점에 대한 자신감 있는 판단을 내리기 위해서는 더 폭넓은 표본 추출이 필요하다. 제한된 샘플에 기초한 피드백은 덜 정확하고 유용할 가능성이 적다. 따라서 교육 프로그램은 여러 가지 맥락에 걸쳐 다양한 피드백 상호작용을 보장해야 한다.

Context specificity effects for recipients and observers are probably the largest sources of measurement error in any observation-based assessment. It has been repeatedly demonstrated that performance is case specific. Depending on the specific context, wider sampling is required to generate confident judgments about strengths and weaknesses. Feedback based on a limited sample is less accurate and less likely to be useful. Educational programs should thus ensure multiple feedback interactions across multiple contexts.

이는 추가 평가 정보를 얻을 기회를 제공한다는 점에서 '대화를 중심으로 한 접근법'이 더 효과적일 수 있음을 의미한다(Brehaut et al. 2016). 마찬가지로, 자기 평가에 기초한 피드백은 정확하지 않을 가능성이 낮으므로 다른 사람의 관찰결과를 바탕으로 자기 평가를 보완하는 것이 중요하다(Davis et al. 2006).

This implies that an approach built around dialog may be more effective because it provides an opportunity to acquire additional assessment information (Brehaut et al. 2016). Similarly, it means that feedback based on self-assessment is unlikely to be accurate so it is critical to supplement self-assessment with the observations of others (Davis et al. 2006).

관찰자 훈련은 중요하다. 이러한 훈련의 목적은 의견 불일치에 대한 부적절한 원인(예: 평가 양식의 오해에 기초한 관찰자 간의 차이)을 제거하고, 일관되게 표준의 적용할 수 있도록 유도하는 것이다.

observer training is important. The aim of such training is to eliminate inappropriate reasons for disagreement (e.g. differences between observers based on misunderstandings of the rating form) and encourage the application of consistent standards.

한편, 관찰자 변동성은 또한 훈련생들이 여러 번의 만남 과정에 걸쳐 여러가지 건설적인 관점에 노출될 수 있는 기회를 제공하기 때문에 ongoing 또는 periodic 평가 프로그램이 더 효과적일 수 있다는 것을 의미한다.

Observer variability also implies that a program of ongoing or periodic assessment is likely to be more effective, since it offers the opportunity for trainees to be exposed to multiple constructive perspectives over the course of several encounters.

문제점과 기회

Challenges and opportunities

의학 훈련에서, "단어로서의 피드백"은 종종 대화처럼 느껴지지 않는 서면 형태로 제공된다. 서면 코멘트는 [피상성]과 [지나친 정치성]이라는 쌍둥이 병폐를 겪는다. 따라서 학습자는 서술적 코멘트의 의미를 판독하기 위해 "행간읽기"를 해야 하며, 종종 유용한 지침이나 지시를 주지 못하는 경우가 많습니다(Lye et al. 2001; Ginsburg et al. 2015). 촉진은 앞으로 나아갈 길을 제공할 수 있다. 예를 들어 Sarnard 등(2015년)은 학습자가 서면 코멘트에 대해 진정한 대화를 나누고, 피드백 다이내믹에서 대화가 적절한 위치를 갖도록 할 것을 옹호합니다.

In medical training, “feedback as words” is often provided in written form, which does not feel very much like a conversation. Written comments suffer the twin maladies of superficiality and over-politeness. As a result, learners must “read between the lines” to decipher the meaning of narrative comments and are often left without useful guidance or direction (Lye et al. 2001; Ginsburg et al. 2015). Facilitation may offer a way forward. Sargeant et al. (2015), for example, advocates engaging learners in an authentic conversation about written comments, returning conversation to its rightful place in the feedback dynamic.

게다가, 의학은 상습적으로 코치와 평가자의 역할 경계를 모호하게 한다. 일반적으로 학생들에게만 책임이 있는 스포츠 코치나 음악 교사들과는 달리, 의료 교사들은 기관, 지역사회, 그리고 대중에게도 책임이 있다.

Complicating matters further, medicine habitually blurs the lines between the roles of coach and assessor. Unlike sports coaches or music teachers, whose accountability is generally to their students alone, medical teachers are also accountable to institutions, communities and the public.

교사들이 한 학습자에게 코치와 평가자의 역할을 동시에 수행할 때, 피드백 대화는 흐려지고, 그것의 이해관계와 의도가 불분명해진다. 결과적으로, 자신의 약점을 다루고 해부하려는 학습자의 의지가 손상될 수 있다. 잠재적인 해결책은 코칭에 대해 보다 명확하게 설명하는 대화를 만드는 것입니다. 그러한 대화에서 교수자와 학습자는 모두 개발적이고 개선적인 의도를 잘 이해할 수 있다.

when teachers act as coaches and assessors at the same time for the same learner, the feedback conversation becomes fraught, its stakes and intent unclear. As a result, a learner’s willingness to table and dissect their weaknesses may be compromised. A potential solution is to create conversations that are more clearly about coaching – where the developmental, improvement-oriented intent is well understood by both players.

대화는 단어만으로 이뤄지는 것이 아니다. 피드백이 진정한 반향을 불러일으키기 위해서, 우리는 우리가 대화하는 것, 즉 단어, 사람, 관계, 그리고 맥락을 만드는 모든 것에 주의를 기울이는 진정한 대화에 우리의 말을 포함시켜야 합니다.

Words alone do not a conversation make. For feedback to resonate, we need to ensure that we embed our words in authentic conversations where we attend to all the things that make conversations tick – words, people, relationships and context.

강점

Strengths

어떤 상황에서, 숫자는 천 장의 사진보다 더 의미 있을 수 있다. 숫자는 종합적인 개요 또는 추세를 효율적으로 전달할 수 있다. 또한 평가를 통해 획득한 누적 데이터는 학습진행률의 "개별화된" 지표로서 기능할 수 있기 때문에, 이를 기반으로 학습자의 프로필을 개발할 수 있습니다.

Under appropriate circumstances, numbers can be more meaningful than a thousand pictures. Numbers can efficiently convey aggregate overviews or trends. Moreover, they can be used to develop profiles of learners based on cumulative data acquired through assessments that can function as “individualized” indicators of learner progress

예를 들어, 야구에서 데이터 분석은 선수의 팀 기여도를 결정하기 위해 과거의 성과를 평가하고 미래의 성과를 예측하는 데 사용된다. 이것은 세이버메트리스라고 불린다.

For example, in baseball, data analytics are used in evaluating past performance and predicting future performance to determine a player’s contributions to his team. This is called sabermetrics.

약점

Weaknesses

숫자들은 유용한 정보를 제공하지만 숫자만으로는 감정적으로 도움이 되지 않을 수 있다. 숫자는 학습자의 교육 프로세스를 translating 것과 관련된 다른 여러 교육적 요소를 비인간화하거나 누락시킬 수 있다. 숫자에만 기반하여 수립한 학습 계획은 실제로 학습자의 요구를 충족하지 못할 수 있으며, 이러한 방식으로 계획을 개발하면 그 결과를 검토하는 것도 어려울 것이다.

While numbers may provide useful information, numbers alone can be emotionally unhelpful. They can depersonalize and miss other educational factors involved in translating the educational processes of the learner. Learning plans based on numbers alone may not actually fulfill the learner’s needs and reviewing the results of plans developed in this way will be difficult.

그렇다면 그 결론을 입증하기 위해 교수진의 피드백이 조합되어야 한다.

It is likely then that a combination of feedback from Faculty but based on numerical evidence to substantiate the conclusions will be the way forward.

교수개발과 피드백

Faculty development and feedback

피드백이 효과적이려면(Holmboe et al. 2011), 교수개발이 필수적이다. 보다 구체적으로 말하면, 교사들이 직면하는 공통된 과제를 해결하기 위해서 모든 교수개발 프로그램은 피드백이 발생하는 상황을 고려해야 한다.

faculty development is essential for feedback to be effective (Holmboe et al. 2011), be it in words or numbers. More specifically, any faculty development program must consider the context in which it occurs, address common challenges that teachers encounter

피드백은 여러 가지 맥락에서 발생하며 학습자와 교수진의 관점에서 모두 틀을 잡을 수 있다. 예를 들어, 학습자들은 종종 그들이 "측정"될 수 있는지 궁금해하면서, 동시에 감독관에게 "들키지 않을 수" 있기를 바란다. 그들은 또한 그 시험의 'stakes'가 무엇인지 걱정한다. 그것이 감독자의 신뢰인지, "좋은" 학생이라는 평판인지 등이 될 수 있다.

Feedback occurs in multiple contexts and can be framed from both a learner’s and a faculty member’s perspective. For example, learners often hope that they may “go unnoticed” by their supervisor while at the same time wondering if they will “measure up”. They also worry about what is at stake for them, be it the trust of the supervisor, the reputation of being a “good” student

그러나 대부분의 경우에 있어서 정말 중요한 것은 [학습자의 학습]과 [학습자가 가능한 최고의 의료 전문가로 발전하도록 하는 능력]이다. 이상적으로, 피드백은 장점을 토대로 약점을 해결하는 기회로 여겨져야 한다. 

In most cases,however, what is really at stake is their learning and their ability to develop into the best possible health care professional that they can be, and ideally, feedback should be seen as an opportunity to build on strengths and address personal weaknesses. 

교직원의 관점에서 교사들은 종종 

-어떻게 하면 환자와 학습자의 요구를 가장 잘 조화시킬 수 있는지, 

-학습자가 자신의 잠재력에 어떻게 도달할 수 있는지, 그리고 

-피드백을 제공하는 데 있어 공통적인 문제를 어떻게 해결할 수 있는지 궁금해 한다.

From a faculty perspective, teachers often wonder 

-how they can best balance the needs of their patients and learners, 

-how they can help learners reach their potential, and 

-how they can address common challenges in giving feedback

학습자와 교사 모두에게 피드백은 [인식된 stakes]과 [실제 stakes] 사이, 그리고 [새롭게 부상하는 필요]와 [기존의 우선 순위] 사이에서 균형을 잡는 행동이 될 수 있습니다.

For both learners and teachers, feedback can be a balancing act, between perceived and actual stakes and between emerging needs and priorities.

지금까지 학생과 레지던트에 대한 피드백을 높이기 위해 고안된 다양한 교수진 개발 프로그램들이 있지만, 이러한 폭넓은 내용과 접근방식에도 불구하고, 피드백 프로세스를 개선하려는 대부분의 교수개발 프로그램들이 직면한 주요 과제는 시스템 변화를 유발하는 것이다.

To date, diverse faculty development programs designed to enhance feedback to students and residents . Despite this breadth of content and approaches, however, bringing about systems changes remains a major challenge facing most faculty development programs trying to improve the feedback process.

앞으로, 지금까지 다루어졌던 핵심 콘텐츠에 초점을 맞추는 것이 좋습니다(위에서 설명). 여기에는 다음의 것들이 포함될 수 있다.

• 담론을 바꾸다 ("행동"에서 "피드백의 관계적 측면"으로) 

• 피드백을 주는 범위를 넓히다 ("행하는 것"에서 "되는 것"으로) 

• 피드백을 더 심각하게 받아들이다 ("잘 했어요"에서 "변화를 위한 계획"으로).

Moving forward, we would suggest an additional focus to the core content that has been addressed to date (and described above). This would include the need 

• to change the discourse (from behaviors to the relational aspects of giving feedback), 

• to expand the scope of giving feedback (from “doing” to becoming) and 

• to take feedback more seriously (from saying “good job” to planning for change).

피드백의 담론을 바꿀 때, 교수진들은 종종 "tick-box"로 인식해온 것에서 벗어날 수 있고, 교사들과 학습자들 사이의 의미 있는 대화로 피드백을 바라볼 수 있으며, 교수자-학습자 사이의 관계에 신경쓸 수 있고, 학습자는 "Fail의 공포"를 극복하고, 교수자는 "Fail시키지 못한 실패"를 극복할 수 있으며, 신뢰감과 유대감을 쌓기 위해 노력하게 될 것이다.

In changing the discourse of feedback, faculty members should be encouraged to move away from what is often perceived as a “tick-box” exercise to a meaningful conversation between teachers and learners, look at the teacher-learner relationship and what learners and teachers perceive, overcome a “fear of failure” among learners and a “failure to fail” among teachers and work on building a sense of trust and collegiality.

피드백의 범위를 확대하는 것은 다음을 포함한다.

• 피드백과 관찰을 연결하고, 

• 판단보다 학습에 초점을 두고,

• 구체적인 행동 뿐만 아니라 관찰한 것의 "게스탈트"를 고려하고, 

• 학습자 및 환자 요구에 집중 하고,

• 평가 과정에서 피드백의 역할을 강화한다. 

Expanding the scope of feedback includes 

• linking feedback to observation, 

• moving away from judgment to learning, 

• considering the “gestalt” of what is observed as well as specific behaviors, 

• focusing on learner and patient needs and 

• reinforcing the role of feedback in the assessment process. 

피드백을 심각하게 받아들이는 것은 다음을 포함한다.

• 피드백을 "일상화된 실천"으로 만들고

• 학생과 레지던트를 정기적으로 관찰하는 것 

• 교수자가 보는 것이 무엇인지 identify하고, 

• 관찰된 행동을 토대로 구체적이고 측정 가능한 피드백을 제공하고, 

• 학습자가 피드백을 요청할 수 있도록 empower하고,

• 피드백과 관련한 stakes를 인지하는 것

Taking feedback seriously refers to the need for 

• making feedback a “routine practice”, 

• observing students and residents on a regular basis, 

• identifying what teachers see and 

• giving feedback that is specific and measurable, based on observed behaviors, 

• empowering learners to solicit feedback and 

• recognizing the stakes involved.

대안적 접근법은 (특히 교수개발이 개인 수준과 시스템 수준 모두에서 변화를 촉진하는 것을 목표로 하는 경우) 이러한 목표를 달성하는 데 도움이 될 수 있다. 

Alternate approaches may also help to achieve this objective, especially if faculty development aims to promote change at both individual and systems levels. 

workshop에서 workplace로 이동하는 것이 개인 수준에서 갖는 장점은...실제로 교사가 어떻게 행동하는지 관찰할 수있고, 피어코칭을 총진하며, 다양한 교수개발전략을 활용할 수 있다.

At the individual level, there is merit in moving from the workshop to the workplace so that we 

-can observe teachers in action (Steinert 2014), 

-promoting peer coaching (Regan-Smith et al. 2007) and 

-taking advantage of a broad range of faculty development strategies

시스템 수준에서는 피드백 프로세스의 가치를 평가하고, 학습자에 대한 직접관찰을 장려하며, 종단적 교사-학습자 관계를 위한 기회를 창출하고, "크리티컬" 피드백을 일상화하며, 학습자가 피드백을 요청할 수 있도록 empower하고, 교수가 자신을 코치로서 인식하도록 해야 합니다.

At the systems level, we need to find ways to value the feedback process, encourage direct observation of learners, create opportunities for longitudinal teacher–learner relationships, normalize “critical” feedback, empower learners to solicit feedback and help faculty members view themselves as coaches.

우리는 또한 현재의 강점을 바탕으로 여러 이해당사자를 참여시켜야 할 것이다.

We will also need to build on current strengths, engage multiple stakeholders (including students, residents and patients),

Conclusions

결론은 다음과 같다.

we concluded that 

(1) 피드백에 선행하는 평가는 피드백의 교육적 효과를 최적화하도록 설계되어야 한다. 

(1) the assessment that necessarily precedes feedback should be designed to optimize its educational effect; 

(2) 대화나 논의의 형태로 제공되는 질적 피드백은 신뢰성에 도움이 되고, 정서적 장애물에 대처하며, 편안한 환경을 조성할 수 있다. 

(2) qualitative feedback in the form of a conversation or discussion would lend to its credibility, address emotional obstacles and create a context in which it is comfortable; 

(3) 비록 한계가 있지만, 개별화된 데이터의 형태를 갖는 양적 피드백은 그 '수치'를 증가시키기 위한 요구를 충족시키고, 학생들이 어떻게 개선할 것인가에 대한 전략을 고안하도록 도울 수 있으며, 학생들이 자신의 동료와 자신을 비교할 수 있도록 한다. 

(3) even though it has limitations, quantitative feedback in the form of individualized data could fulfill the demand to increase it, help students devise strategies on how to improve, allow students to compare themselves to their peers; and 

(4) 교수개발은 문화 및 시스템 변화를 통합하고 촉진할 필요가 있다. 피드백에 대한 더 나은 이해가 더 효율적이고 효과적인 학습을 가져올 것이다.

(4) Faculty development needs to incorporate and promote cultural and systems changes. We believe, that a better understanding of feedback will result in more efficient and effective learning.

Med Teach. 2017 Dec;39(12):1245-1249. doi: 10.1080/0142159X.2017.1372564. Epub 2017 Sep 19.

Qualitative and quantitative feedback in the context of competency-based education.

좋은 평가의 기준: Ottawa 2010 컨퍼런스의 합의문과 권고안(Med Teach, 2011)

Criteria for good assessment: Consensus statement and recommendations from the Ottawa 2010 Conference

JOHN NORCINI1, BROWNELL ANDERSON2, VALDES BOLLELA3, VANESSA BURCH4, MANUEL JOA˜ O COSTA5, ROBBERT DUVIVIER6, ROBERT GALBRAITH7, RICHARD HAYS8, ATHOL KENT9, VANESSA PERROTT10 & TRUDIE ROBERTS11

1FAIMER, USA, 2AAMC, USA, 3Universidade Cidade de Sa˜ o Paulo, Brazil, 4University of Cape Town and Groote Schuur Hospital, South Africa, 5University of Minho, Portugal, 6Maastricht University, The Netherlands, 7National Board of Medical Examiners, USA, 8Keele University, UK, 9University of Cape Town, South Africa, 10University of Cape Town, South Africa, 11University of Leeds, UK

맥락

Context

정의

Definitions

평가에는 정보를 테스트, 측정, 수집 및 결합하고 피드백을 제공하는 작업이 포함됩니다.

Assessment involves testing, measuring, collecting, and combining information, and providing feedback.

어떤 관점에서 보든, 평가에 대한 사전적 정의는 동사 ''시험하기test''에 대해 두 가지 뚜렷한 의미를 지닌다 (Crossley 외. 2002). 

• 하나는 평가 대상에 대한 더 많은 정보를 얻으려는 시도로 무언가의 가치를 발견하는 것입니다. 

• 다른 하나는 trial(즉, 평가의 영향)을 통해 무언가의 품질을 향상시키는 것입니다. 

이 두 가지 의미는 평가의 중요성, 적용, 그리고 훌륭한 평가를위한 기준의 파악에 중요합니다.

No matter the perspective, the dictionary definition carries two distinct meanings to the verb ‘‘to test’’ (Crossley et al. 2002). One is to discover the worth of something by trial, with the purpose of obtaining more information about the object of assessment. The other is to improve the quality of something by trial (i.e., the impact of assessment). These two meanings are central to understanding the importance of assessment, its applications, and to identifying the criteria for good assessment.

역사적 관점 

Historical perspective

선발을 위한 지식 및 / 또는 성과의 측정은 역사적으로 가장 많이 보급되어 왔습니다. 가장 이른 평가 기록은 중국에서 한 왕조 (기원전 206 년부터 220 년까지)로 거슬러 올라간다. 중세 이슬람의 의학 실습은 역량 테스트를 필요로 했으며, 17 세기 예수회 제사장들은 중국에 입국 한 선교사들의 영향을 받아 학교 진학을위한 경쟁 시험을 사용했다.

Measurement of knowledge and/or performance for the purposes of selection has been its most pervasive role throughout time. The earliest records of assessment date back to the Han dynasty in China (206 BC to 220 AD) where candidates were selected for government service. The practice of medicine in medieval Islam required competence testing and by the seventeenth century Jesuit priests were using competitive examination for entry into their schools, possibly influenced by the missionaries who had traveled to China.

의학 교육과 관련하여 공식 평가 개발을 향한 첫 번째 단계는 비엔나 및 프랑스 의과 대학에서 인턴 과정 중 시험을 실시하는 것이 었습니다. 1788 년부터 파리의 인턴십 입학은 경쟁 구두 및 구술 시험으로 결정되었습니다 (Lesky 1970, Poynter 1970). 1850 년대 영국의 옥스포드 (Oxford)와 케임브리지 대학 (Cambridge university)에서 의학계 학생들을위한 졸업시험이 도입되었습니다. 1861년에는 이러한 검사는 1858 년 영국에서 설립 된 General Medical Council에서 규정 한 국가의 법적 요구 사항이되었습니다. 이 관행은 19 세기 후반 유럽 의과 대학에 빠르게 확산되었습니다.

With regard to medical education, the first step toward the development of formal assessments was the introduction of examinations during an internship in Viennese and French medical schools. From 1788, entry to these internships in Paris was decreed to be by competition in the form of written and oral examinations (Lesky 1970; Poynter 1970). Exit level examinations for medical students were subsequently introduced in Britain in the 1850s at Oxford and Cambridge universities. By 1861, such examinations became a statutory national requirement stipulated by the General Medical Council established in Britain in 1858. This practice rapidly spread throughout medical schools in Europe in the latter part of the nineteenth century.

대서양을 가로 질러, 미국에서는 상황이 아주 달랐습니다. 1800 년대에 Abraham Flexner (Flexner 1910)가 작성한 보고서에 설명 된대로 사적 및 공적 자금으로 '의과 대학'이 확산되었고, 이들은 교육, 훈련 및 평가 기준이 광범위하게 서로 달랐다. 이 보고서는 이후 미국에서의 의학 교육에 혁명을 일으켰으며, 1912 년에는 면허위원회의 일원이 American Medical Association’s Council on Medical Education (Kassebaum)가 결정한 학업 기준 (기준)에 근거하여 Federation of State Medical Boards 을 구성했습니다. 1930 년대에는 미국에서의 의료 훈련이 표준화되었고, 대학에서는 실험실 기반 및 병원 기반 교육을 제공하며, 졸업시험을 치르게 되었다 (Starr 1982).

Across the Atlantic, in the USA the situation was quite different. During the 1800s there had been a proliferation of ‘‘medical colleges’’ both privately and publicly funded, in which the standards of teaching, training, and assessment varied widely as described in the report authored by Abraham Flexner (Flexner 1910). This report subsequently revolutionized medical education in the USA and by 1912, a group of licensing boards formed the Federation of State Medical Boards which agreed to base their practice on academic standards (criteria) as determined by the American Medical Association’s Council on Medical Education (Kassebaum 1992). By the 1930s, medical training in the USA had been standardized and colleges offered laboratory-based and hospital-based training with exit examinations (Starr 1982).

지난 50 년 동안 전 세계적으로 학부 의대생 및 대학원생 평가에 관한 중요한 발전이 4가지 있었습니다.

. 의학적 역량의 다양한 차원을 지향하는 광범위한 평가 도구 개발,

. 새로운 교수법 및 학습 접근법의 개발 및 적용,

. psychometrics의 세련된 향상과 개별 평가 도구 및 결과에 대한 적용

. 평가의 핵심 요소로서 컴퓨터의 역할 증가 (Norcini 2005)

Over the past 50 years, there have been at least four major developments relevant to the assessment of undergraduate medical students and postgraduate trainees worldwide.

. development of a wide range of assessment tools, directed to different dimensions of medical competency, 

. development and application of new teaching and learning approaches, 

. increased sophistication of psychometrics and its application to individual assessment tools and results, and

. growing role of the computer as an integral part of assessments (Norcini 2005)

20 세기 중반까지 의과 대학 시험은 에세이와 구술 시험의 사용에 크게 의존했으며 통과 기준은 주관적이었습니다. 그러한 검사의 임의적 성격과 그 열악한 신뢰성에 대한 인식은 지난 50 년 동안 정신 측정 학적으로 강력한 평가 도구를 개발하게되었습니다. 여기에는 객관식 질문, 그리고 (시험 환경뿐만 아니라 작업 환경에서 성과를 평가하는) 다양한 양식이 포함됩니다

Until the middle of the twentieth century, medical school examinations relied heavily on the use of essays and oral examinations and the standards for passing were subjective. Recognition of the arbitrary nature of such examinations and their poor reliability led to the development of a large array of psychometrically robust assessment tools over the past 50 years. These include multiple choice questions and a range of modalities assessing performance both in an examination setting as well as in the workplace

이러한 발전은 몇 가지 기준에 의해 주도되었습니다.

. 평가는 재현 가능성 (신뢰성), 타당성, 실현 가능성, 공정성 및 학습에 도움이되어야합니다 (van der Vleuten 1996).

. 평가의 내용과 형태는 그들의 목적과 바람직한 결과에 부합 할 필요가 있으며,

. 수험자의 수행이 사례 또는 내용에 따라 다르기 때문에, 정확한 표본 추출을 위해서는 광범위한 표본 추출이 필요합니다(예 : 다중 생검).

. 합격 점수는 체계적으로 유도되어야 하며 평가의 전반적인 신뢰성이 중요합니다.

. 평가는 명확하게 정의 된 표준에 따라 작성되어야하며, 체계적이고 신뢰할 수있는 방법을 사용하여 derive되어야합니다

These developments have been driven by a few criteria:

. the assessments need to be reproducible (reliable), valid, feasible, fair, and beneficial to learning (van der Vleuten 1996),

. the content and form of assessments need to be aligned with their purpose and desired outcomes,

. broad sampling is needed to achieve an accurate representation of ability since examinee performance is case or content specific (multiple biopsies),

. systematically derived pass–fail scores and the overall reliability of an assessment are important, and

. assessments need to be constructed according to clearly defined standards and derived using systematic and credible methods.

좋은 평가의 기준을 정하는 것의 중요성

The importance of defining criteria for good assessment

이해관계자

Stakeholders

다양한 이해 관계자가 평가 및 결과에 관련되거나 영향을받습니다. 이해 관계자는 환자, 일반 대중, 건강 관리 고용주, ​​전문 및 규제 기관, 대학, 의과 대학, 교육 기관, 개별 교사 및 최종적으로 동등하게 중요한 수험자를 포함합니다 (Amin 외). 이해 관계자는 동일한 평가조차도 다른 용도로 사용하며, 당연히 그러한 평가를 평가하는 다양한 기준의 중요성에 관해 다소 다른 우선 순위를 가지고 있습니다.

A number of different stakeholders are involved with or affected by assessments and their results. Stakeholders include the patients, general public, healthcare employers, professional and regulatory bodies, universities, medical schools, training organizations, individual teachers, and, finally and equally important, the examinees themselves (Amin et al. 2006). The stakeholders make different uses of even the same assessments and, not surprisingly, have somewhat different priorities when it comes to the importance of various criteria against which those assessments should be judged.

학생들은 자신의 학습에 영향을 미치는 특정 사회 문화적 맥락에서 왔으며, 평가에 의해 발전된 발달을 보였다 (Vygotsky, 1978). 학습자는 이렇게 지속적인 평가를 성공적으로 수행해가면서 (치료자, 카운슬러 또는 과학자와 같은) 점차적으로 사회에서 새로운 역할에 적응해간다 (Downie & Calman 1987; Rees & Jolly 1998). 또한, Boud (2000)는 평가가 평생 학습의 핵심 특징이라고 제안했다. Rushton (2005)은 이러한 관점을지지하면서 "학생들이 미래의 학습 경험에 대한 독립적 인 평가를 계속하는 데 필요한 준비를 학생들에게 제공합니다."

Students come from a specific socio-cultural context, which affects their learning, and they have their development shaped by assessment (Vygotsky 1978). If successful with these ongoing assessments, the student gradually adopts new roles within society such as healer, counselor, or scientist (Downie & Calman 1987; Rees & Jolly 1998). Further, Boud (2000), has proposed that assessment is a key feature of lifelong learning. Rushton (2005) supports this perspective, stating ‘‘(it) equips students with the preparation required to continue independent assessment of their future learning experiences’’.

평가에 대해 다양한 교수 및 학습 기관은 학생과는 약간 다른 시각을 가지고 있습니다.

The various teaching and learning institutions have a slightly different perspective, from students, on assessment.

규제 기관은 환자, 일반 대중 및 고용주를위한 게이트 키퍼 역할을하기 때문에 훌륭한 평가를 보장하는 데 중요한 역할을합니다. 이 맥락에서의 평가는 직업적 표준의 유지 및 개인과 사회 모두에 대한 책임 성과 밀접하게 연관되어 있으며, 이는 훌륭한 평가를위한 명확한 기준을 가질 필요성을 강조합니다. 결국 대중은 모든 의사가 유능하고 숙련 된 의료 종사자가 되도록 평가 절차가 수행되었다는 믿음에 따라 개인 의사를 신뢰할 수 있다.

Regulatory bodies have a critical role in ensuring good assessment since they serve as gatekeepers for patients, the general public, and employers. Assessment in this context is closely linked with the maintenance of professional standards and with accountability – both to the individual and to society – which reinforces the need to have clear criteria for good assessment. In the end, the public entrusts itself to individual doctors based on the belief that the assessment process has been carried out in such a way that all are competent and skilled health practitioners.

평가의 좋은 기준은 품질을 향상시킬뿐만 아니라 의도하지 않은 결과를 피하기 위해서도 중요합니다. Newble (1998)은 평가와 커리큘럼 개혁 간의 불일치가 학생 행동에 바람직하지 않은 영향을 미친 결과를 설명했다. 교과 과정 개혁의 일환으로, 그는 교훈적인 가르침이 어떻게 와드 중심의 가르침으로 대체되었는지 설명합니다. 그러나 한 해가 진행됨에 따라 학생들이 병동에서 거의 볼 수 없었고, 강의식 교육이 점점 더 많이 요구되었고, 학생들은 책 학습에 더 많은 시간을 할애했습니다. 그 이유는 평가 방법이 교과 과정 개혁과 일치하지 않았고 이전의 교훈 학습 스타일을 선호했기 때문입니다. 즉 기관적 수준에서 평가 방법론은 기관의 사명과 교육 프로그램의 목표를 훼손하고 있었다 (Trigwell 2001). 이 예는 평가를 교육 실무와 조화시키는 것이 중요하다는 것을 강조합니다.

Good criteria for assessment are important not only to improve quality but also to avoid unintended effects. Newble (1998) described how a mismatch between assessment and curriculum reform resulted in undesirable effects on student behavior. As part of curricular reform, he describes how didactic teaching was replaced with ward-based teaching. However, as the year progressed students were seldom seen on the wards, didactic teaching was increasingly requested and more time was devoted to book learning. The reason for this was that the assessment methods did not match the curricular reform but favoured the former style of didactic learning. Thus, at an institutional level, the assessment methodology was undermining the institutional mission and the goal of the educational program (Trigwell 2001). This example highlights the importance of aligning the assessment with educational practice.

배움과 가르침

Learning and teaching

많은 유명 명언들은 Miller 's (1990)의 "Assessment Driven Learning"과 Ben-David (2000)의 평가에서 "Assessment expands professional horizon"등 교육 과정에서 평가의 중심 역할을 강조합니다.

Many well-known adages emphasize the central role of assessment in the educational process such as Miller’s (1990) assertion that ‘‘Assessment drives learning’’ and Ben-David’s (2000) view that ‘‘Assessment expands professional horizons’’.

가치를 발견하고 품질을 향상시키는 두 가지 목표를 달성하려면 학습 평가가 중요합니다 (Arnold 2002). 교육 기관 및 교육자는 평가를 [책무성을 위한 도구]로만 간주하는 것으로부터 벗어나 [개선을위한 방법]으로 보기 시작했다(Colliver 2002; Cottrell 2006). 학습의 견고한 평가와 그것을 뒷받침하는 이론의 개발에 대한 강조가 강조됩니다. 이것은 여전히 ​​진행중인 작업입니다. 노먼과 슈미트 (Norman and Schmidt, 1999)는 "교육자들이 이론을 언급 할 때, 그것은 마치 술 취하는 사람들이 (illumination이 아니라 support를 위해) 가로등을 사용하는 것과 같은 방식으로 더 자주 사용된다"고 지적했다.

In order for it to achieve its two goals – that of discovering worth as well as improving quality – the assessment of learning is critical (Arnold 2002). Institutions and educators have moved from viewing assessment as only a tool for accountability to viewing it as a method for improvement as well (Colliver 2002; Cottrell 2006). The emphasis is on the need for the robust assessment of learning and the development of a theory to support it. This is still a work in progress; as Norman and Schmidt (1999) note: ‘‘When educators do make reference to theory, it is more frequently used the same way as a drunkard uses a light post –more for support than for illumination’’. 

평가의 중요성을 인식하고 교육 및 학습 연구와 연결하지 않는 것은 실수입니다 (Shepard 2000)

It would be a mistake to recognize the importance of assessment and yet not to connect it with the scholarship of teaching and learning (Shepard 2000)

좋은 평가의 기준에 대한 현재의 이슈 

Current issues in criteria for good assessment

세 가지 분류 

The state of the art of assessment may be organized into three categories: 

. 실천이 증거와 일치하는 영역 : 실천에 도움이 되는 증거가 있고 실무가 일반적으로 그 증거와 일치하는 경우의 평가 상황.

. 실천이 아직 증거와 일치하지 않는 영역 : 증거가 있지만 실제적으로 일반적으로 무시되는 평가 상황 (예 : 가능성이있는 문제가있는 곳).

. 증거가 부족한 영역 : 증거에 의해서 도움을 받을 수 없는 평가 상황 (즉, 연구가 필요함)

. Areas where practice is consistent with the evidence:Assessment situations where there is evidence that informs practice and where practice is generally consistent with that evidence. 

. Areas where practice is not yet consistent with the evidence:Assessment situations where there is evidence but it is generally ignored in practice (e.g., where there are issues of feasibility). 

. Areas where there is a lack of evidence: Assessment situations that are not informed by the evidence (i.e.,research is needed). 

분류1: 실천이 근거와 일치함

Category 1: Practice is consistent with the evidence

지필고사

Written examinations.

객관식 질문, 에세이 및 유사한 형식을 통한 지식, 종합 및 판단 평가는 주로 첫 번째 범주에 속합니다. 이 범주의 평가 기준은 일반적으로 잘 정립되고 수용됩니다. 상당한 규모의 증거 기반이 있으며 합리적인 자원이있는 곳에서 고부담 (지역, 국가 및 지역 시험) 및 저부담 시험에서의 적용은 일반적으로 증거와 일치합니다

The assessment of knowledge, synthesis, and judgment through multiple choice questions,essays, and similar formats falls predominantly into the first category. The criteria for the assessments in this category are generally well established and accepted. There is a sizeable evidence base and, where reasonable resources are available,their application in high stakes (local, national, and regional examinations) and low stakes settings, is typically consistent with the evidence

OSCE를 사용한 임상 기술 평가는이 범주에 포함됩니다. 지난 30 년 동안 OSCE의 신뢰성, 실현 가능성 및 타당성 및 표준화 된 환자의 사용에 대한 광범위한 연구가 개발되었습니다. OSCE 형식은 증거 (범주 1)와 일치하는 다양한 고부담 및 저부담 상황에 적용되었습니다.

Assessment of clinical skills using the OSCE is included in this category.Over the past 30 years, an extensive body of research about the reliability, feasibility, and validity of the OSCE and the use of standardized patients has been developed. The OSCE format has been applied in a variety of high and low stakes situations in a fashion consistent with the evidence (category1).

분류2: 실천이 근거와 일치하지 않음

Category 2: Practice is not yet consistent with the evidence 

시뮬레이션

Simulation.

지난 수십 년 동안 수행 된 연구는이 기술을 평가에 사용하는 것을 매우지지하고 있으며, 다양한 상황 (카테고리 1)에서의 성공적인 배치deployment를 위해 광범위한 지침이 제공됩니다. 시뮬레이션의 일반적인 적용에 대한 주된 장애impediment는 그것의 타당성과 관련이 있습니다. 특히 장치가 비싸고 전용 시설 (시뮬레이션 센터)을 만들어야 할 수도 있으며, 좋은 시험 재료의 개발은 상당한 자원을 요구할(카테고리 2) 수 있습니다.

Research done over the past few decades is very supportive of the use of this technology in assessment and broad guidance is available for its successful deployment in a variety of different situations(category 1). The main impediment to the general application of simulation relates to its feasibility. Specifically, the devices are expensive, they may require the creation of a dedicated facility (simulation center), and the development of good testing material can be resource intense (category 2). 

근무지기반학습

Workplace-based assessment that supports clinical training.

최근 몇 년간, (임상 훈련을 지원하는) 직접 관찰을 통한 형성 평가가 강조되고 있습니다. 예비 연구는 일반적으로 그러한 결과를 지지하며, 문헌 번호는 다양한 목적에 필요한 평가자와 만남과 같은 문제에 대한 광범위한 지침을 제공합니다. 타당성은 그것의 실행에 대한 주요 장애물(카테고리 2)이며, 특히 임상 교수가 충분한 수의 평가를 수행하는 시간을 찾기가 어렵습니다.

In recent years, there has been an increasing emphasis on directly observed formative assessment that supports clinical training. Preliminary research is generally supportive and the literature number provides broad guidance on issues such as the of assessors and encounters needed for various purposes. Feasibility (category 2) is the major obstacle to its implementation and, in particular, it is difficult for clinical faculty to find time to perform a sufficient number of assessments. 

분류3: 근거가 부족함

Category 3: Lack of evidence

직무 평가

Assessment of work.

정확한 환자 기록 (카테고리 2)에 대한 지속적인 액세스가 필요하기 때문에 타당성 및 수용 가능성이 이용 가능한 척도에 관하여 대부분에서 주요 쟁점입니다. 마지막으로, 환자 만족도 측정과 같은 몇 가지 조치가 있는데, 이는 좋은 증거가 있으며 실현 가능한 것입니다 (범주 1).

Feasibility and acceptability are major issues for most of the available measures since they require continuous access to accurate patient records (category 2). Finally, there are a few measures, such as patient satisfaction measures, for which there is good evidence and that are feasible (category 1).

예를 들어, ACGME 역량은 의학 지식, 환자 간호, 의사 소통 기술, 전문성, 시스템 기반 실습 및 실습 기반 학습 및 개선입니다. 각 역량은 다음과 같이 정의됩니다.

for example, the ACGME competencies are 

• medical knowledge, 

• patient care, 

• communication skills, 

• professionalism, 

• systems-based practice, and 

• practice-based learning and improvement. 

Each competency is defined as follows:

이러한 역량 중 의학 지식, 환자 간호 및 의사 소통 기술 (범주 1) 프로페셔널리즘 평가 (범주 2)에 관한 문헌이 증가하고있는 반면, 실습 기반 학습 및 개선 및 시스템 기반 실습 (카테고리 3) (Arnold 2002; Driessen et al., 2005; Cruess et al., 2006; Epstein 2007; Lurie et al. 2009; Varkey et.)에 대한 연구는 비교적 새로운 연구이며, 이러한 역량에 대한 좋은 평가 기준을 결정하기 위해서는 상당한 연구가 필요하다. al., 2009).

Of these competencies, there is a substantial literature on the assessment of medical knowledge, patient care, and communication skills (category 1) and a growing literature in the assessment of professionalism (category 2), while practice-based learning and improvement and systems-based practice are relatively new and considerable research is needed to determine the criteria for good assessment of these competencies (category 3).(Arnold 2002; Driessen et al. 2005; Cruess et al. 2006; Epstein 2007; Lurie et al. 2009; Varkey et al. 2009).

좋은 평가에 대한 초안 합의문

Draft consensus criteria for good assessment

어떤 하나의 기준도 모든 상황에 똑같이 적용되지 않습니다. 사실, 동일한 기준이라도 평가의 목적과 맥락에 따라 다른 중요성을 가질 것으로 기대되어야한다. 예를 들어, 의과대학생이 지식에 대한 책임에 대한 필요성을 충족시키기 위해 고안된 우수한 총괄시험 (예 : 면허 시험)은 동시에 미래의 학습이나 교과 과정 개혁을 안내하는 상세한 피드백을 기대할 수 없습니다.

No single set of criteria for good assessment apply equally well to all situations. In fact, the same criteria should be expected to have different importance depending on the purpose and context of assessment. For example, a good summative examination designed to meet the need for accountability for the knowledge of medical graduates (e.g., a medical licensing examination) cannot be expected to, at the same time, produce detailed feedback that would guide future learning or curricular reform.

마찬가지로, 동일한 평가에 대해서도 여러 기준이 모든 이해 관계자에게 동일한 가중치를 갖지 않는다. 예를 들어, 환자에게는 면허 시험의 타당성 또는 일관성이 더 중요하며, 시험을 치르는 의사 또는 비용을 지불하는 정부가 얼마나 비용이 드느냐가 주된 관심사는 아니다. 기준의 중요성은 이해 관계자의 관점에 따라 달라질 것입니다.

Similarly, the criteria are not of equal weight for all stakeholders even given the same assessment. For example, the validity or coherence of a licensing examination may be of more importance to patients than how much it costs the doctors who take it or the government that finances it. The importance of the criteria will vary with the perspective of the stakeholder.

좋은 평가의 기준

Criteria for good assessment

이러한 기준 중 많은 부분이 이전에 설명되었으며 우리는 여기에서 그들의 중요성을 계속 지원합니다. 그러나 우리는 평가의 촉매 효과에 특히 중점을 둔다.

Many of these criteria have been described before and we continue to support their importance here. However, we place particular emphasis on the catalytic effect of assessment.

• (1) 타당성 또는 Coherence.

• (2) 재현성 또는 일관성.

• (3) 동등성. 동일한 평가는 다른 기관 또는 시험주기에 걸쳐 시행 될 때 동등한 점수 또는 결정을 산출합니다.

• (4) 적용가능성. 환경과 상황에 따라 평가는 현실적이고 현실적이며 합리적입니다.

• (5) 교육적 효과. 평가는 시험을 준비하는 사람에게 교육적 이득이 있어야 한다

• (6) 촉매 효과. 평가는 교육을 창출하고 향상시키고 지원하는 방식으로 결과와 피드백을 제공합니다. 미래의 학습을 촉진시킵니다.

• (7) 수용 가능성. 이해 관계자는 평가 프로세스 및 결과를 신뢰할 수 있음을 확인합니다.

(1) Validity or coherence.

(2) Reproducibility or consistency.

(3) Equivalence. The same assessment yields equivalent scores or decisions when administered across different institutions or cycles of testing. 

(5) Educational effect. The assessment motivates those who take it to prepare in a fashion that has educational benefit. 

(6) Catalytic effect. The assessment provides results and feedback in a fashion that creates, enhances, and supports education; it drives future learning forward. 

(7) Acceptability. Stakeholders find the assessment process and results to be credible. 

평가 목적에 따른 기준

The criteria and assessment purpose

형성평가

Formative assessment. 

효과적인 형성평가는 종종 비공식적이고, 기회적이이나, 학습을 촉진하기위한 것입니다. 정의에 따르면, 그것을 특징 짓기 위해 두드러지는 기준은 촉매 효과catalytic effect입니다. 그것은 다음의 경우에 가장 잘 작동합니다.

(1) 교육 과정 및 / 또는 작업 흐름에 포함되며embed,

(2) 구체적이고 실행 가능한 피드백을 제공하고,

(3) 지속적이며

(4) 시기 적절하다.

Effective formative assessment is typically low stakes, often informal and opportunistic in nature, and is intended to stimulate learning. By definition, the criterion that stands out to characterize it is ‘‘catalytic effect’’. It works best when it 

(1) is embedded in the instructional process and/or work flow, 

(2) provides specific and actionable feedback, 

(3) is ongoing, and 

(4) is timely. 

• 결과적으로 동등성, 재현가능성-일관성과 같은 기준의 중요성은 어느 정도 감소합니다.

• 교육 효과와 교육의 질이 가장 중요하게 유지되는 가운데 , 타당성 - 일관성은 핵심이 된다.

• 실현가능성 또한 지속적이고 시의적절하며 수험생의 어려움에 맞추어져 있다면 형성평가가 더 효과적이라는 사실에 대응하여 중요성이 증가합니다.

• 마찬가지로, 수용가능성도 ((교수진과 학생 모두) 프로세스에 전념하고 피드백에 대한 신뢰성을 부여하며 중요한 영향을 미치는지 확인하는 데 특히 중요합니다.

• Consequently, the importance of criteria such as equivalence and reproducibility-consistency diminishes to some degree. 

• Validity-coherence remains central while educational effect and educational quality become paramount. 

• Feasibility also increases in importance in response to the fact that formative assessment is more effective if it is ongoing, timely, and tailored to examinees’ individual difficulties. 

• Likewise acceptability, both for faculty and students, is especially important if they are to commit to the process, give credibility to the feedback they receive, and ensure that it has a significant effect.

총괄평가

Summative assessment. 

• 효과적인 총괄평가는 일반적으로 중부담, 고부담이며 기본적으로 책임에 대한 필요성에 응답하기위한 것입니다.

• 종종 일관된 고품질의 테스트 자료, 중요한 컨텐츠 전문 지식, 체계적인 표준 설정 프로세스 및 안전한 관리가 필요합니다.

• 따라서 타당성-일관성, 재현성-일관성, 동등성과 같은 기준이 가장 중요합니다.

• 실현가능성, 수용 가능성 및 교육적 효과 또한 중요하지만 정신 분석 기준과 동일한 정도로 중요하지는 않습니다. 정신분석적 기준은 점수에 대한 신뢰도와 근본적인 의미를 결정합니다.

• 촉매 효과가 있으면 좋겠지만, 이 상황에서는 덜 강조됩니다. 그러나 유용한 피드백을 제공하지 않아 지속적인 교육에서 학습자를 지원할 수있는 기회를 놓치게됩니다.

Effective summative assessment is typically medium or high stakes and is primarily intended to respond to the need for accountability. 

It often requires coherent, high-quality test material, significant content expertise, a systematic standard-setting process, and secure administration. 

Consequently, criteria such as validity-coherence, reproducibility-consistency, and equivalence are paramount. 

Feasibility, acceptability, and educational effect are also important, but not to the same degree as the psychometric criteria, which will to a great extent determine credibility in the scores and the underlying implications. 

A catalytic effect is desirable but is less emphasized in this setting. 

However, by not providing useful feedback, we miss the opportunity to support the learners in their continuing education. 

이해관계자와 기준

The criteria and stakeholders

피험자

Examinees. 

수험생은 조형 및 종합 평가에 vested interest가 있으며, 학습을 지원하는 정보를 찾는 데 적극적으로 관여해야합니다.

Examinees have a vested interest in both formative and summative assessment and they must be actively involved in seeking information that supports their learning. 

• 형성 평가의 경우 교육 효과, 촉매 효과 및 수용 가능성이 학습자가되기 때문에 수험생에게 가장 큰 관심사가 될 수 있습니다.

• 수험생은 타당성을 당연하게 여길 수도 있으며, 실현 가능성은 비용 및 편의성 측면에서 문제가됩니다.

• 동등성 및 신뢰성 - 일관성은 덜 즉각적인 요구이다.

For formative assessment, educational effects, catalytic effects, and acceptability are likely to be of most concern to examinees since they are the drivers of learning. 

Examinees may take validity-coherence for granted and feasibility will be an issue in terms of cost and convenience. 

Equivalence and reliability-consistency are less immediate. 

• 총괄 평가의 경우, 공정성에 대한 인식은 수험생에게 가장 두드러 질 것입니다.

• 따라서 타당성 - 일관성, 재현성 - 일관성, 동등성 및 수용성과 같은 기준이 가장 중요합니다.

• 촉매 효과는 (특히 실패한 수험생의) 재교육을 지원합니다.

• 성공적인 수험자에게 피드백이 제공되지 않거나 사용하지 않으면, 지속적 학습을 지원할 수있는 기회를 놓치게됩니다.

For summative assessment, issues related to perceived fairness will be most salient for examinees. 

Hence, criteria such as validity-coherence, reproducibility-consistency, equivalence, and acceptability will be most important. 

The catalytic effect will support remediation, especially for the unsuccessful examinees. 

When successful examinees are not provided feedback or do not use it, it misses the opportunity to support ongoing learning.

교사-교육기관

Teachers-educational institutions. 

교사와 교육기관은 학생들의 평가에서 교육과 책임에 대한 이중적인 역할을 수행하데 관련된 모든 측면에 관심을 가지고 있습니다. 위에 요약 된 내용과 일치하는 기준은이 두 가지 목적에 다르게 적용됩니다.

These stakeholders have interests in every facet of the assessment of students to fulfill their dual roles in education and accountability. Consistent with what was outlined above, the criteria apply differently to these two purposes.

교사 및 교육 기관 모두에게 학생 평가 정보는 중요한 부차적 목적이 있다.

이 데이터는 교육 과정의 결과에 대해 말합니다. 즉, 학생들의 총괄 평가는 적절하게 집합 된 것으로, 종종 교사와 교육 기관을위한 형성 평가의 역할을합니다. 이 목적에 관해서라면, 동등성, 재현성 - 일관성과 같은 기준보다 교육적 효과가 조금 더 중요하다. 타당성 - 일관성은 중요하지만 좋은 학생 평가의 일부로 다루어야하며, 실현가능성은 데이터가 이미 이용 가능하므로 straightforward해야 한다.

For both teachers and institutions, student assessment information serves an important secondary purpose. 

These data speak to the outcomes of the educational process. In other words, students’ summative assessments, appropriately aggregated, often serve as formative assessment for teachers and institutions. 

When combined for this purpose, criteria such as equivalence and reproducibility-consistency are a bit less important while educational effect and educational effect are a bit more important. 

Validity-coherence is important but should be addressed as part of good student assessment, while feasibility should be straightforward since the data are already available.

학생 평가 재사용 이외에도 교육 기관은 개별 교사 및 프로그램 평가에 engage합니다. 이러한 평가 응용 프로그램은 크게 formative 또는 summative로 분류 할 수 있으며 기준은 위에서 언급 한대로 적용됩니다.

Beyond repurposing student assessment, institutions engage in the assessment of individual teachers and programs. 

These assessment applications can be broadly classified as either formative or summative and the criteria apply as noted above.

환자

Patients.

환자는 형성 평가의 사용을 확실히 지지하지만, 총괄평가가 더 즉각적인 관심사입니다.

따라서 타당성-일관성, 재현성-일관성, 동등성과 같은 기준이 가장 중요합니다.

실현가능성, 수용가능성, 교육 효과 및 촉매 효과는이 그룹에 덜 관심의 대상입니다.

그러나 장기적으로는 지속적 개선을 지원하는 형성 평가가 동동하거나 더 중요할 것입니다.

While patients certainly support the use of formative assessment, summative assessment is a more immediate concern. 

Consequently, criteria such as validity-coherence, reproducibility-consistency, and equivalence are of the most importance. 

Feasibility, acceptability, educational effect, and catalytic effect are of less concern to this group. 

In the long term, however, formative assessment that supports continuous improvement will be of equal or greater importance.

헬스케어 기관, 규제기관

Healthcare system and regulators. 

의료 시스템 및 감독 당국의 가장 긴급한 요구는 의료제공자provider가 노동력으로 포함되기에 유능하고 안전한지 판단하는 것입니다. 이 필요성은 총괄 평가에 근거한 올바른 결정을 의미하므로 타당성-일관성, 재현성-일관성 및 동등성이 가장 중요합니다. 실행가능성도 중요합니다. 

The most pressing need of the healthcare system and the regulators is to determine which providers are competent and safe enough to enter the workforce. 

This need implies correct decisions based on summative assessment, so validity-coherence, reproducibility-consistency, and equivalence are paramount. Feasibility is also important. 

보건 시스템이 어떤 형태의 CQI에 관여하는 것이 점점 더 보편화되고 있습니다. 이러한 시스템은 종종 작업 흐름에 포함되며 의료 종사자에게 그들의 활동과 결과에 대해 지속적이고 구체적인 피드백을 제공합니다.

교육 효과, 촉매 효과, 실현 가능성 및 수용 가능성과 함께 타당성- 일관성은 핵심적인 요소입니다.

It is growing more common for health systems to engage in some form of CQI. 

These systems are often embedded in the work flow and they provide ongoing, specific feedback to healthcare workers about their activities and outcomes. 

Validity-coherence is central, along with educational and catalytic effects, feasibility, and acceptability.

Med Teach. 2011;33(3):206-14. doi: 10.3109/0142159X.2011.551559.

Criteria for good assessment: consensus statement and recommendations from the Ottawa 2010Conference.

새로운 전체론적 평가방법: 평가 프로그램(FEM, 2016)

A new holistic way of assessment: programmatic assessment

Cees P.M. van der Vleuten, Sylvia Heeneman

도입

Introduction

각 요소의 정당성

A justification of its components

평가와 합격-불합격 결정의 분리

Decoupling of assessment and pass/fail decisions

단일 평가가 어떻게 왜곡되는지 보여주는 것은 매우 쉽다. 예를 들어, 실제 실행에서 대부분의 테스트는 신뢰성이 충분하지 않으며 우리는 그 결과로 상당한 잘못된 긍정적이고 부정적인 결정을 내린다.

It is very easy to demonstrate how any single assessment is fl awed. For example, Most of our tests in actual practice have insufficient reliability and we make substantial false positive and negative decisions as a result of that.

어떤 방법이든 측정할 수 있는 것에 한계가 있고 그 타당성은 제한될 것이다. 이것의 실질적 함의는 한 번의 측정은 측정이 아니며, 가능한 한 많은 정보를 결합할 필요가 있다는 것이다. 프로그램적 평가에서는 모든 단일 평가를 데이터 포인트라고 합니다. 데이터 포인트는 은유적으로 사진의 픽셀과 유사합니다. 단일 픽셀은 이 사진이 무엇에 관한 것인지 알려주지 않습니다.

any method has limitations in what it may measure and its validity will be limited. Th e practical implication is that one measure is really no measure and that we need to combine information as much as possible. In programmatic assessment any single assessment is called a data point. A data point is metaphorically similar to a pixel in a picture. A single pixel will not tell you what the picture is about.

개별 데이터포인트는 정보를 준다

Individual data points are informative

대부분의 평가 관행은 상대적으로 정보가 부족하다.

Most assessment practices are relatively information poor.

등급은 매우 형편없는 정보 전달자입니다. 그리고 이는 사람이 얻을 수 있는 가장 낮은 수준의 피드백이다. [5]. 특히 복잡한 기술을 평가할 때 그렇습니다.

A grade is a very poor information carrier and kind of represents the poorest feedback one may get [5]. Th is is particularly true when complex skills are being assessed

이러한 복잡한 기술들로 인해, 점수는 사실상 무의미하며 추가적인 개선에 대한 단서를 제공하지 않는다.

With these complex skills, grades are virtually meaningless and provide no cues for further improvement.

프로그램적 평가에서 모든 데이터 포인트는 정보가 풍부하고 피드백 지향적입니다. 피드백이 없는 평가가 있어서는 안 됩니다.

In programmatic assessment every data point is information rich and feedback oriented. Th ere should be no assessment without feedback.

평가 커뮤니티는 이를 발견하고 있으며 우리는 점수에서 단어로 전환하고 있습니다 [8]. [개별 데이터 포인트에 대해서는 의사결정이 필요하지 않다는 사실]은 [평가자가 주관성이나 신뢰성의 문제에 대해 걱정하지 않아도 된다는 것]을 의미한다. 오직 관심사는 풍부한 정보를 제공하였냐는 것이다.

The assessment community is discovering this and we are shifting from scores to words [8]. Th e fact that decision making is not needed in individual data points allows the assessor not to worry about issues of subjectivity or reliability. Th e only concern is to provide rich information.

다방면에 걸친 방법 선택

Eclectic choice of methods

프로그램적 평가에서 건설적 정렬은 모든 데이터 포인트의 핵심이다. 평가방법은 가능한 한 커리큘럼의 교육 목표의 의도를 반영해야 한다[9]. 평가방법의 선택은 그것을 사용하는 순간에, 그리고 평가 프로그램 전체 [10]와 관련하여 그것을 사용하는 정당성에 의해 정의된다. 무슨 방법이든 괜찮다. 전통적인 방법, 진정한 방법, 주관적인 방법, 개인화된 방법 또는 팀 지향적인 방법. 바람직한 교육 효과를 달성하기 위해 평가 방법을 다양하게 하는 것이 현명하다.

In programmatic assessment constructive alignment is key to any data point: the method should reflect the intent of the instruction goals of the curriculum as closely as possible [9]. Th e choice of method will be defined by your justification for using it at that moment in time and in relationship to the programme of assessment as a whole [10]. Any method may go: traditional, authentic, subjective, individualized or team oriented. It is wise to vary methods of assessment to achieve desirable educational effects.

최대한의 건설적 정렬을 달성하기 위해 교육 과제가 곧 평가 과제일 수 있다. 예를 들어, 임상 문제의 증거 기반 의학(EBM) 합성을 작성하기 위해 학습 프로그램에서 예정된 과제이지만 동시에 이 과제의 퀄리티를 평가할 수 있다.

To achieve maximal constructive alignment the educational task may also be the assessment task. For example, to be able to write an evidence-based medicine (EBM) synthesis of a clinical problem, a task scheduled in a learning program, but at the same time the quality of this task may be assessed.

전형적으로 우리의 평가 방법은 매우 모듈적이다. 그러나 종단적 평가도 생각하라. CanMEDS 또는 기타 프레임워크와 같은 현대의 역량 프레임워크는 일반적으로 프로그램 전체에 걸쳐 커리큘럼을 가져야 한다. 평가는 또한 본질적으로 종단적일 수 있다.

Classically our assessment methods are very modular. Th ink also of longitudinal assessment. Modern competency frameworks, such as the CanMEDS or any other framework, typically require curricula to have longitudinal strands throughout the program. Th e assessment may also be longitudinal in nature.

피드백의 제공만으로는 그 피드백을 이용하기에 충분하지 않습니다 [11]. 마찬가지로, 자기 주도적 학습의 기초로서 성찰을 하기 위해서는 외부 지원이 필요하다[12]. 그래서 우리는 학생들이 그들의 훈련 프로그램을 통해 지도받는 멘토링 시스템을 도입했다. 멘토링은 학습자의 성공과 발전을 위한 매우 강력한 도구인 것으로 나타났습니다 [13].

The provision of feedback is not enough for feedback to be used [11]. Similarly, reflection as a basis for self-directed learning needs external support [12]. Therefore we have introduced a mentoring system where students are being coached through their training program. Mentoring has been shown to be a very powerful instrument for learner success and development [13].

멘토는 e-포트폴리오에 접근할 수 있다. 멘토와 학습자는 일년 내내 또는 그들이 중요하다고 생각하는만큼 각자 다른 빈도로 여러 번 만난다. 멘토 미팅은 학습자가 준비합니다. 그들은 포트폴리오의 정보를 성찰하고 자가 진단하며 잠재적인 교정조치를 제안해야 한다. 학습자와 멘토 모두 그들의 관계를 높이 평가한다. (크고 도전적인 과정에 있는) 학습자는 익명의 누군가가 아니며 멘토들은 학습자들과의 긴밀한 상호작용을 소중히 여긴다. 

The mentor has access to the e-portfolio. Mentor and learner meet a number of times throughout the year or in any other frequency that they deem important. Mentor meetings are prepared by learners. They are required to reflect on the information in the portfolio, to self-diagnose and to suggest potential remediation. Both learners and mentors appreciate their relationship. Learners are not anonymous persons in a big and challenging course and mentors cherish the close interaction with learners. 

학문적이든 개인적이든 학습자들의 문제점이 조기에 발견된다. 학습자들은 지지를 받고 있다고 느끼고 그들은 수월성을 위해 위해 도전한다. 최소 성능 또는 해제disengagement는 절대 용인되지 않습니다. 멘토들은 그들의 역할에 대해 훈련을 받긴 하지만, 더 중요한 것은 멘토 네트워크의 중요성이며, 이러한 훈련동안 동안 정보를 교환하고 스스로 배우기 위해 정기적으로 만나는 것이 더 중요하다.

Problems with learners, academic or personal, are spotted early on. Learners feel supported and they are challenged to excel. Minimum performance or disengagement is simply not tolerated. Mentors are being trained for their role, but more importantly they meet on a regular basis to exchange information and learn themselves during these meetings, stressing the importance of a mentor-network.

의사결정의 부담이 높아지면, 그에 따라 사용하는 데이터포인트도 늘어나야 한다.

Stakes of decision-making and number of data points are proportionally related

프로그램적 평가에서 형성평가 대 총괄평가의 개념은 연속적인 stakes로 대체된다. 모든 개별 데이터 포인트는 저부담이다. 그러나 무부담은 아니며, 왜냐하면 어떤 정보라도 전체 과정에 사용될 수 있기 때문이다. 일단 사진을 이해하기에 충분한 픽셀이 있다면, 고부담의 결정을 내릴 수 있다.

In programmatic assessment the notion of formative versus summative assessment is replaced by a continuum of stakes. Any individual data point is low stake. It is not of no stake, because any piece of information may be used in the whole process. Once there are sufficient pixels to understand the picture, high stake decisions can be taken.

고부담 결정 결과에 학습자가 놀라서는 안 된다. 따라서 중간 결정도 내려져야 한다.

High stake decisions should be of no surprise to the learner. Th erefore, intermediate decisions should be given as well.

평가정보를 의미있게 합산해야 한다

Meaningful aggregation of assessment information

결정을 내리기 위해서는, 모든 평가 정보를 종합해야 합니다. 합산은 일반적으로 같은 방법 내에서 이루어집니다. 예를 들어, OSCE에서 심폐재활 스테이션의 점수는 병력수집 및 의사소통 스테이션의 점수와 합산된다. 그러나 이 스테이션들은 개념적으로 공통점이 거의 없다. 프로그래밍 방식에서 평가 정보는 의미 있는 범주 내에서 여러 방법에 걸쳐 집계됩니다. 예를 들어, OSCE의 의사소통에 대한 정보는 (동일한 것에 대한) 다중 소스 피드백 평가의 정보와 함께 통합될 수 있다. 또한 의미 있는 집계가 이루어질 수 있는 방식으로 모든 평가수단을 설계하는 것이 중요하다. 실제로 이는 (대부분의) 평가가 역량에 따라 구조화됨을 의미한다.

In arriving at a decision, all assessment information needs to be aggregated. Conventionally aggregation is done within a method to a total. For example, in an OSCE it is common aggregate information on a resuscitation station with a history taking and communication station. Yet these stations have conceptually little in common. In programmatic assessment information is aggregated across methods within meaningful categories. For example, the information on communication in the OSCE may be aggregated with information from a multisource feedback assessment. Th is also reveals the importance of structuring all assessment instruments in such a way that meaningful aggregation can be done. In practice this means that (most) assessments are structured according to competencies.

고부담결정의 절차는 강건해야 한다.

High stake decision-making is procedurally robust

모든 데이터 포인트를 객관적으로 만들려고 노력하기보다, 데이터 포인트의 집합이 객관적이어야 한다.

Instead of trying to make every data point objective, the collective of data points should be objective.

예를 들어, 엄격한 체크리스트를 사용하는 것으로 달성할 수 있지 않으며, 그보다는 고부담 판단에 신뢰성을 가져다줄 적절한 절차에 대한 절차적 조치를 취해야 한다[14].

not achieved by for example strict use of checklists, but rather by taking procedural measures of due process that will bring credibility to the highstake judgment [14].

몇 가지 예가 도움이 될 수 있다. 고부담 결정은 개인이 아닌 전문가 위원회가 내린다. 위원회는 멘토들과 독립적이며 멘토는 할 말이 없다no say. 또한 멘토와 학습자 간의 관계를 보호합니다. 학습자는 멘토에게 솔직해질 수 있습니다. 위원회는 포트폴리오를 판단하기 위해 서술 기준을 사용한다. 기준은 서술적 정보이지 체크리스트가 아니다. 체크리스트는 프로세스를 사소한 것으로 만들trivialize 수 있습니다. 서술은 해석의 여지를 남기고 유연성을 제공한다.

A few examples may help. The decision is made by a committee of experts, not by an individual. Th e committee has independence to the mentors and the mentor has no say. Th is also protects the relationship between mentor and learner. Th e learner can be frank to the mentor. Th e committee uses narrative criteria to judge the portfolio. The criteria are narratives not checks. Checks would invite the process to trivialize. Th e narratives leave room for interpretation and provide flexibility.

예상과는 달리, 이 평가 절차는 그다지 비싸지 않다. 95%의 학습자는 정보가 명확하고 결정은 명확합니다.

Contrary to what might be expected, this assessment procedure is not very expensive. For 95% of learners the information is clear and the decision clear-cut.

학생의 학습에 평가프로그램의 영향: 이론 vs 실천(Med Educ, 2015)

The impact of programmatic assessment on student learning: theory versus practice

Sylvia Heeneman,1,2 Andrea Oudkerk Pool,1,3 Lambert W T Schuwirth,2,3,4 Cees P M van der Vleuten2,3 &

Erik W Driessen2,3

도입

INTRODUCTION

AFL은 커리큘럼과 구체적인 교육 환경으로 전환translate되어야 한다. 학생들은 자신의 성과에 대한 충분하고 의미 있는 정보를 받아야 한다. 두 번째 필수적 요소는 학생들은 이러한 정보로부터 의미를 적극적으로 추상화하고 이를 사용하여 학습을 관리하고 성과 개선의 소유권ownership을 획득함으로써, 다음 번에 더 나은 성과를 달성하고 학습자로서 진보할 수 있다.9

Assessment for learning needs to be translated into curricula and concrete educational settings. students should receive enough and meaningful information on their performance. A second sine qua non is that students actively abstract meaning from this information and use it to manage their learning and gain ownership of their performance improvement, allowing them to perform better the next time and to progress as learners.9

학습에 도움이 될 수 있는 평가 환경의 요소 또는 특성에 관한 많은 연구가 보고되었다. 여기에는 

• 지지적 학습 환경과 신뢰할 수 있는 피드백, 

• 형성적 평가, 

• 서술적 피드백, 

• 피드백을 성찰하고 사용할 기회가 포함됩니다.13

A number of studies have reported on elements or characteristics of assessment environments that may be conducive to learning. These include 

a supportive learning environment and credible feedback,12 

formative assessment, narrative feedback and the opportunity to use feedback in reflection.13

METHODS

Setting

The research setting is a 4-year, graduate-entry Master’s programme (50 students per year), designated the Physician–Clinical Investigator (P-CI) programme, at Maastricht University, the Netherlands. The curriculum is competency-based and uses the CanMEDS framework.18 In the programme, programmatic assessment is implemented; the structure and components are shown in Table 1.11

평가 프로그램은 다음 기능을 통해 학습에 대한 평가를 강화하도록 설계되었습니다. 

• (i) 평가 및 과제 형식의 다양성은 progress 및 역량 개발에 대한 정보와 피드백을 개별 학습자에게 제공하는 것을 최적화하는 데 사용됩니다. 

• (ii) 동업자와 교사의 서술적 피드백을 퍼포먼스에 대한 풍부한 정보를 제공하기 위해 사용한다. 

• (iii) 모든 피드백과 정보를 포트폴리오로 하게 되며, 이것은 학생이 개인적인 성찰을 위해, 학습 내용을 자기-조절하고, 특정 학습 목표를 통해 학습에 대한 후속 조치를 취하는 데 사용합니다. 

• (iv) 모든 학생들이 개인 멘토에 의해 지도된다.

• (v) 평가 및 과제 또는 과제(표 1)는 학생들에게 합격/불합격 결정만을 초래하지 않으며, 궁극적 종합적 의사결정에 도움이 되도록 의도한다는 점에서 직접적으로 총괄적이지 않다. 

• (vi) 다음 단계로 승격하기 위한 높은 수준의 결정은 포트폴리오에서 수집된 모든 정보에 기초한다.

The programme of assessment is designed to foster assessment for learning through the following features: 

• (i) diversity in assessment and assignment formats is used to optimise the provision of information and feedback to individual learners about their progress and competency development throughout the year; 

• (ii) narrative feedback from peers and teachers is used to provide rich information on performance; 

• (iii) all feedback and information are combined into a portfolio and used by students for personal reflection, to self-regulate their learning and to follow up on learning through specific learning objectives; 

• (iv) all students are coached by a personal mentor; 

• (v) assessments and assignments or tasks (as shown in Table 1) are not directly summative in the sense that they do not result only in a pass/fail decision for the student, but are meant to be informative and contribute to the eventual summative decision at the end of a study phase, and 

• (vi) a high-stakes decision for promotion to the next phase is based on all information collected and collated in the portfolio.

Methodology and data collection

A qualitative approach was chosen to explore the students’ own experiences in their natural context,19 using an interpretative, constructivist approach.20 Individual semi-structured interviews with 17 students (seven men and 10 women) were conducted. Students were sampled using maximum variation sampling to ensure that the multiple perspectives of individuals were represented.21

Ethical considerations

Analysis of interviews

결과

RESULTS

학습을 지원 또는 억제하는 것으로 간주되는 종합 평가 프로그램의 요소

Elements of the comprehensive programme of assessment considered to support or inhibit learning

종합적인 평가 프로그램의 평가 및 평가 활동은 지원 및 억제 효과를 모두 가지고 있었다. 이것은 또한 개별 학생과 프로그램 내에서의 사회적 상호 작용과 같은 요소에 대해서도 마찬가지였다. 표 3

Evaluation and assessment activities from the comprehensive programme of assessment, had both supporting and inhibiting effects. This also held true for factors inherent in the individual student and in the programme, such as social interaction amongst students and the curriculum. Table 3

학습 환경 평가에서 학습의 능동적 구성에 중요한 것으로 간주되는 학습의 레이어

Layers of learning considered important for the active construction of learning in an assessment for learning environment

학생들은 몇몇 '학습 레이어'를 인식했다. 여기에는 

• 돌아올 평가 및 과제에 의해 촉진되는 학습 활동, 

• 실제 평가 중 학습, 

• 종합적인 평가 프로그램에 의해 생성된 정보와 피드백을 통한 학습 등이 포함됩니다.

Students perceived several ‘layers of learning’. These included 

• learning activities instigated by upcoming assessments and assignments, 

• learning during the actual assessment, and 

• learning from the information and feedback generated by the comprehensive programme of assessment.

평가 및 과제 수행 시 발생하는 학습 활동: 사전 평가 효과

Learning activities instigated by assessment and assignment tasks: pre-assessment effects

평가 또는 과제는, 형성적 과제로서, 정보를 제공하고 포트폴리오에서 사용하도록 설계되었다. 그러나 대부분의 학생들이 이러한 과제가 총괄적인 합격/불합격 결정과 관련이 있다고 보았기 때문에, 실제로는 그렇게 인식되지 않닸다. 이는 평가일이 다가옴에 따라 연구 활동이 증가된 사전 평가 효과를 가져왔다.

Assessments or assignments were designed to give information, as formative tasks, and to be used in the portfolio. This was perceived differently by most students because these tasks were seen to be associated with summative pass/fail decisions. This resulted in pre-assessment effects of increased study activity as the assessment day drew nearer.

만약 당신이 당신의 지식 테스트를 통과하지 못한다면, 당신은 재시험을 봐야 한다. 합격 또는 불합격의 개념은 여전히 존재한다. (인터뷰 11)

if you do not pass your knowledge tests, you have to resit them. So, the concept of pass or fail still exists really. (Interview 11)

'패스'만 받으면 충분하다는 메시지는 그들이 탁월함을 위해 노력하도록 동기를 부여하지 않았다. 평가 과제가 같은 순간에 다른 (평가) 활동과 경쟁해야 할 때, 탁월함보다는 허용 가능한 기준을 목표로 하는 이러한 경향은 특히 지배적이었다.

평가 활동 중 학습: 순-평가 효과

Learning during assessment activities: pure assessment effects

모든 학생들은 구두 시험이 배움에 매우 유용하다고 느꼈다. 어떤 사람이 사실 대신에 그리고 전문가 앞에서 메커니즘에 대해 설명해야 하는 기대는 학생들이 더 깊은 이해를 하도록 만들었다. 또한 전문가와의 상호작용은 직접적인 학습 효과(즉, 순수 평가 효과)가 있었다.

All students felt that oral examinations were very valuable for learning. The expectancy that one would be required to explain mechanisms instead of facts, and in front of an expert, constructed the students’ learning towards a deeper understanding. In addition, the interaction with the expert had a direct learning effect (i.e. a pure assessment effect):

종합적인 평가 프로그램에 의해 생성된 정보와 피드백을 통해 학습: 평가 후 효과

Learning from information and feedback generated by the comprehensive programme of assessment: post-assessment effects

동료의 피드백은 성찰을 위한 좋은 자료 출처로 평가되었고, 프로페셔널리즘이나 협업과 같은 그룹 작업과 관련된 역량에 유용했다.

Peer feedback was valued as a good source of material for reflection, and was useful for competencies related to group work, such as professionalism and collaboration.

피드백은 프로그램에서 너무 밀접하게(고밀도로) 계획되어 있어서 피드백을 전달하고 받고 피드백을 성찰하는 것이 지겨웠다weariness. 또한, 피드백의 밀도는 품질에 영향을 끼쳤다; 때때로 피드백 라운드에서 제기된 것과 동일한 피드백을 동료 피드백이 재현하면서 반복되었다.

Feedback was too densely planned in the programme, leading to a weariness of delivering and receiving feedback and reflecting on the feedback. In addition, the density of feedback affected its quality; sometimes the same feedback was repeated as peers reproduced issues that had already been raised in feedback rounds,

학생들은 피드백을 제공하라는 압박감을 느꼈으며, 이는 학습에 효과적인 것은 아닌 세부 사항('개선 사항 조사')에 대한 피드백으로 이어졌습니다.

students felt pressurised to offer feedback, which, as they said, led to feedback on details (‘searching for improvement points’), not all of which were effective for learning:

저는 단지 여러분이 원하는 부분이 있다는 것을 알게 됩니다: 저는 여전히 개선을 위해 몇 가지 요점을 제기해야 하고, 그리고 여러분은 몇 가지 사소한 세부 사항을 찾기 위해 깊게 파고들어야 합니다 [...] 그리고 나서, 그 코멘트를 결정하는 것은 매우 어렵습니다.

I just find that there comes a point where you feel like: I still have to bring up some points for improvement, and then you have to dig deep to find some little detail [...] And then it’s very tricky to determine if the comment concerns a genuine issue or if it’s just far-fetched. (Interview 10)

고찰

DISCUSSION

우리는 평가 프로그램 자체뿐만 아니라 개별 학생 또는 프로그램과 관련하여 학습을 지원하거나 억제하는 요소를 식별하였습니다. 분석 결과, 어떤 요소가 학습을 지원할지 또는 억제할지는 그 요소를 학습자가 어떻게 인지하느냐에 따라 결정된다는 것이 밝혀졌습니다.

we identified elements that supported or inhibited learning which related not only to the assessment programme itself, but also to the individual student or to the programme . The analysis revealed that whether or not an element would support or inhibit learning depended on how it was perceived by the individual learner.

따라서 조사 결과는 다음과 같이 나타났다. 

• (i) 평가 프로그램의 일부로서 구두시험은 긍정적이고 순수한 평가 학습 효과를 가지고 있다.

• (ii) 채점 시스템(예: 합격/불합격 또는 채점)이 학습 반응에 중요한 결정 요인이었다. 

• (iii) 학습 및 성찰 활동에 대한 동기 부여가 일부 학생들에게는 외부적이었다. 

• (iv) 포트폴리오의 성찰 활동은 긍정적으로 간주되었으며, 전체 평가 프로그램에 의해 생성된 정보와 피드백의 후속 조치를 지지하는 것으로 보였으며, 사후 평가 학습 효과와 학습의 자기조절을 유발하였다.

Thus, findings showed that: 

• (i) oral examinations as part of programmatic assessment had positive, pure assessment learning effects; 

• (ii) the grading system (i.e. pass/fail only or marks) was an important determinant of the learning response; 

• (iii) motivation for learning and reflective activities was extrinsic for some students, and 

• (iv) reflective activities in a portfolio were regarded positively and were seen as supportive of the follow-up of the information and feedback generated by the comprehensive programme of assessment, evoking a post-assessment learning effect and self-regulation of learning.

평가 및 과제 활동의 형성적 특성은 학생들게 원래의 의도대로 인식되지 않았으며, 오히려 사전 평가 효과가 우선되는 총괄평가 활동으로 해석되었다.4

It was evident that the formative nature of the assessment and assignment activities was not regarded as such by the students; rather, these were interpreted as summative assessment activities for which pre-assessment effects prevailed.4

이론적인 개념들을 실행으로 해석하는 것이 계획대로 되지 않는 것은 드문 일이 아니다.

It is not uncommon for the translation of theoretical concepts into practice not to go as planned.

본 연구에서는, 이러한 구현 관련 요인들은

• 시간의 접근에 대한 절차와 바쁜 프로그램의 영향 

• 피드백을 제공할 의향 

• 친화력 부족 또는 부정적 동기 

• 총괄평가의 지속적인 메시지(예: 재교육 세션의 결과) 

In the current study, these implementation-related factors were recognised in addition to 

• the effects of procedures and a busy programme on access to time or 

• willingness to provide feedback, 

• lack of affinity or negative motivation, and 

• a persistent message of summative assessment (e.g. as a result of the organisation of remediation sessions).

이 학생들의 과거 교육 경험을 전체적으로 보면, 그들이 고전적이고 종합적인 합격/불합격 시스템에 몰두했다는 것을 잊어서는 안 된다.

It should not be forgotten that these students have been immersed in a classical, summative pass/fail system during their entire previous education.

기존의 평가 정보에 입각한 관행에서 벗어나 가치 있는 정보 제공자로서의 평가의 비전을 향해 나아가는 것은 쉽지 않을 수 있습니다. Taras36,37은 모든 평가는 판단을 내리는 총괄 평가에서 시작한다고 주장했다. 형성적 평가는 실제로 후속 피드백 루프를 나타냅니다. 이 피드백 루프에서 학생은 원하는 실제 성과를 모니터링하기 위해 총괄 평가와 피드백을 사용하게 되며, 후속 학습 목표를 수립합니다.

It may not be easy to break away from conventional assessment-informed practices and move towards a vision of assessment as a valuable information-provider. Taras36,37 argued that all assessment starts with summative assessment, in which a judgement is given, and that formative assessment actually represents the subsequent feedback loop, in which the summative assessment and feedback are used by the student to monitor the desired and actual performance, and make learning objectives for follow-up.

이러한 효과는 타라스, 36,37에 의해 영감을 받은 '형성적 평가 루프' 또는 평가 후 평가 작업 완료 또는 피드백을 받은 후 학습이 이루어지는 평가 후 효과로 칭할 수 있다.3

This effect could be termed the ‘formative assessment loop’, as inspired by Taras,36,37 or as a post-assessment effect, whereby learning takes place after the assessment task has been completed or feedback received.3

이는 또한 평가의 촉매 효과로 설명되며, 이것은 평가가 피드백을 생성하며, 교육을 강화하고 지원할 기회를 만들고, 이론에 따라 학습을 전진시킬 수 있다.38 요약하면, 평가 및 과제를 '형성적'이라고 지칭하는 것은 이론과 맞지 않을 수 있으며, 학생의 인식과도 맞지 않을 수 있다. 그러나 프로그램적인 평가 접근법을 사용하는 것은 여전히 사후 평가 효과를 통한 학습으로 이어질 수 있다.

This has also been described as the catalytic effect of assessment, in which the assessment generates feedback, which, in turn, creates the opportunity to enhance and support education, and to move learning forward.38 In summary, designating assessment and assignment tasks as ‘formative’ may not align with the theory, and will not match the perception of students, but using a programmatic assessment approach may still lead to learning via a post-assessment effect.

성적등급제는 또한 학습 반응에 영향을 미치는 것으로 나타났습니다.

The grading system was also shown to influence the learning response.

윌킨슨43은 패스 기준이 정의되어야 한다고 강조했다. 현재 상황에서 criterion-referenced standards은 성과를 '실패', '통과' 또는 '매우 뛰어남'을 대표하는 것으로 지정하는 데 사용되었지만, 합격/불합격'을 사용하는 평가 과제의 맥락에서 학생들은 이것을 명확하게 인지하지 못했다. 따라서 학교의 기대치를 명확히 전달하고, 조심스럽게 도입하는 것이 필요할 것이다.

Wilkinson43 emphasised that the pass standard must be defined. Although criterion-referenced standards were used to designate performance as representative of ‘fail’, ‘pass’ or ‘excellent’ in the current setting, this was less clearly perceived by students in the context of the assessment task using pass/fail grading, which again indicates that careful implementation and the communication of expectations is important.

패스에 만족하거나, 학습을 위한 외부 동기 부여요소로서 성적이 필요하다고 말하는 학생이 반드시 평생 학습자가 되지 못하는 것은 아니다: 다른 평가나 과제의 우선순위 결정과 같은 다른 맥락적 요소가 그 당시에는 우선할 수 있다. 포트폴리오 시스템에 (글자) 등급을 추가하는 것이 지식과 기술에 관한 학생들의 확신과 자신감을 증가시킨다는 어떤 증거들이 있다.44 총괄평가 프로그램에서의 피드백과 점수들의 조합은 신중하게 설계되어야 할 필요가 있다.

A student who is satisfied with a pass or expresses a need for a grade as an extrinsic motivator to learn is not necessarily a poor lifelong learner: other contextual factors may prevail at that time, such as the prioritising of another assessment or assignment tasks. There is some evidence that adding a (letter) grade to a portfoliobased system increases students’ affirmation and self-assurance regarding knowledge and skills.44 The combination of feedback and grades in a comprehensive programme of assessment needs to be carefully designed with awareness of the effects on student learning.

소수의 학생들에게는 포트폴리오의 성찰적 실천이 유용하다고 인식되지 않았다. 이 학생들은 포트폴리오 평가를 통과하는데 필요한 것만을 하기 위한 제한된 내적 동기부여와 신중한 노력을 보여주었다. 그러나, 이것이 항상 흑백논리의 문제는 아니었다. 그리고 외부적인 동기에도 불구하고, 학생들은 총괄평가 프로그램에 의해 생성된 정보로부터 배웠다고 말했다. 이는 개인, 업무 및 상황에 따라 피드백에 대한 조절초점(촉진 또는 예방)이 혼합될 수 있다고 보고한 Watling 등,26의 결과와 일치한다.

For a minority of students, the reflective practice in the portfolio as such was not perceived as useful; these students demonstrated limited intrinsic motivation and a deliberate effort to do only what was necessary to pass the portfolio assessment. However, this was not always a black-and-white issue, and despite the extrinsic motivation, students indicated that they did learn from the information generated by the comprehensive programme of assessment. This aligns with the findings of Watling et al.,26 who reported that the regulatory foci (promotion or prevention) to feedback may blend depending on the individual, task and context.

4 Cilliers FJ, Schuwirth LWT, van der Vleuten CPM. Modelling the pre-assessment learning effects of assessment: evidence in the validity chain. Med Educ 2012;46:1087–98. XXX

Med Educ. 2015 May;49(5):487-98. doi: 10.1111/medu.12645.

The impact of programmatic assessment on student learning: theory versus practice.

Medical NLE(의사국가시험)의 전세계적 근황(Int J Health Policy Manag, 2018)

The International Landscape of Medical Licensing Examinations: A Typology Derived From a Systematic Review

Tristan Price1,2, Nick Lynn1,2, Lee Coombes3, Martin Roberts1,2, Tom Gale1,2, Sam Regan de Bere1,2, Julian Archer1,2*

도입

Introduction

의학교육의 국제화는 의대의 최근 확산과 의대생들의 이동성을 의미한다. 세계적으로 1995년과 2003년 사이에 의과대학 수는 약 54% 증가했고 그 이후로 계속 증가해 왔다. 어떤 면에서는 이것은 세계화가 고등교육에 미치는 영향의 일부분이며, [학생들에게 해외에서 공부하는 것을 선택할 기회를 주는 자유 시장]과 [노동력 요구를 충족시키기 위해 해외 시민들을 고등 교육에 조달하는 것을 목표로 하는 정부정책 목표를 갖는 관리형 시장]에 의해 추진된다. .8

The internationalization of medical training refers to the recent proliferation of medical schools and the mobility of medical students. Globally, it has been reported that between 1995 and 2003 the number of medical schools has increased by around 54% and has been rising ever since.7 In some respects this is part and parcel of the impact of globalization on higher education more generally, driven by both the free market giving students the opportunity to choose to study abroad, and the managed market whereby government policies have been aimed at procuring higher education for its citizens from abroad in order to meet workforce needs.8

이와 연관지어, 의료진의 이동성이 현저하게 증가했다. 이는 의료 교육의 국제화에 의해 공급 측면에 도움이 되며, 의사 및 기타 의료 전문가와 함께 훈련된 국가 이외의 국가 시스템에 점점 더 익숙해지고 있습니다. 게다가, 특히 유럽 경제 지역에서, 자유무역협정은 노동의 자유로운 이동을 가정한 내부 시장을 창출하려고 노력했다. 수요 측면에서는, 선진국 경제에서는 자격 있는 의사들의 수가 거의 보편적으로 부족하며, 의과대학들은 증가하는 지역에 대한 수요에 대처하기 위해 압박을 받고 있다. 

Relatedly, there has also been a marked increase in the mobility of the medical workforce, aided on the supply side by the internationalization of medical training, with doctors and other healthcare professionals increasingly familiar with the systems of countries other than those in which they trained. In addition, free trade agreements, most notably in the European Economic Area, have sought to create internal markets predicated on the free movement of labor.9 On the demand side, in highly developed economies there is an almost universal shortage of qualified doctors,10 with medical schools under strain to cope with the rising demand for places. 

이것의 순수net 효과는 그들이 결국 진료할 환경과 전혀 다른 교육과정, 규제, 문화적 기준을 가진 시스템 하에서 훈련해 온 의사들의 수의 증가이다. 국제 의학교육 표준에 관한 뚜렷한 차이에 대한 우려가 반복적으로 제기되어 왔다. 그리고 어떤 경우에 학생들은 그들의 본국가에서 의과대학에 입학하지 못했을 때 해외 의대에 입학허가를 받는다.12 따라서 의료 지도자들은 새로운 "글로벌 안경"을 통해 표준화와 규정을 보아야 한다.

The net effect of this has been an increasing number of doctors who have trained under a system with different curricula, regulatory and cultural norms than the one in which they end up practicing. Concerns have repeatedly been raised about marked differences in the standards in medical education internationally11 and in some cases that students are being admitted to medical schools overseas who would not have gained entry in their domiciled nation.12 As a result medical leaders are having to view standardization and regulation through new “global glasses.”9

세계화의 역학 외에도, (국가가 멀리 떨어진 곳에서 전문직 종사자들에 대한 통제를 촉진하고자 하는) 신자유주의 경영시스템은 평가 방법론의 중앙 집중화와 표준화를 가져왔다. 이 과정에서 가장 큰 촉매는 의료계 종사자들에 대한 규제를 강화하라는 대중의 압력을 증가시킨 고위층 스캔들이었다.15

In addition to the dynamics of globalization, neo-liberal systems of management, where the state seeks to promote its control of professionals from a distance, has resulted in the centralization and standardization of assessment methodologies.2,13,14 One major catalyst in this process has been high profile scandals that have increased public pressure for greater regulation of the health professions.15

이후 표준화를 향한 추진은 국가 및 기타 대규모 면허 시험에 대한 근거의 기초를 집중시켰다. 이 문제에 대해서는 의견이 나뉜다.

The subsequent drive towards standardization has brought into focus the evidence base for national and other large scale licensing examinations. Opinion on this subject is divided,16,17

일부 학자들과 교육론자들은 모든 새로운 의사들이 최소 기준을 달성했는지 확인하기 위해 검사를 받아야 한다고 주장한다,21  그리고 모두가 그 직업에 들어가기 위해 통과해야 하기 때문에 그것은 '공정'하다. 이를 지지하는 또 다른 근거는 자원과 전문성을 풀링하는 것이 테스트 표준을 높여줄 뿐만 아니라, 비용 효율적이라는 것이다.22,23

Some academics and educationalists argue that all new doctors should be tested to make sure that they have achieved a minimum standard,21 and that all must pass to enter the profession so it is ‘fair.’19 A further argument for pooling resources and expertise is that it drives up testing standards and is cost effective.22,23

이러한 주장은 부분적으로 의과대학 평가가 표준화되지 않았다는 우려에 의해 주도되었다,24 그리고 의과대학별로 표준화되지 않은 평가는 시험에서, 그리고 더 나아가 진료에서 불공평한 차이를 만든다.

These arguments for better collaborative working have been driven in part by concerns that medical school assessment is unstandardized,24 and that this makes an unfair difference to subsequent performance with testing,25,26 and more importantly in practice.27-30

일부 최근 연구는 NLE 점수와 환자 결과, 불만 사항 사이의 상관 관계를 보여 주었지만 이것은 NLEs가 더 나은 의사들을 이끌었다는 주장을 그 자체로 뒷받침하지 않는다.34,35  교란 변수 중 하나는 가장 높은 점수를 받은 사람들이 가장 좋은 직업을 가질 가능성이 있다는 증거이다. 그리고 이러한 (더 나은) 작업 환경은 더 나은 환자 결과와 더 적은 불만사항으로 이어질 수 있다.

Although some recent studies have shown correlations between NLE scores and both patient outcomes31 and complaints,28 this does not in itself support the assertion that NLEs lead to better doctors.34,35 One of the confounding variables identified is the evidence suggesting that those who get the highest scores are likely to get the best jobs, and it is this working environment that may lead to both better patient outcomes and fewer complaints.36-38

이와 동시에, 이러한 방식으로 의학교육을 표준화하는 것이 커리큘럼의 혁신과 발전을 줄일 수 있다는 우려도 있다. 

그리고 NLE는 현재 의과대학 전체에 걸쳐 그리고 최근에는 실무에서 새로운 형태의 시험으로 시대에 뒤떨어져 있습니다.4,5,16  일부 의견제출자들은 NLE의 초점은 쉽게 "시험가능한" 학습 성과라고 제안하였으며, 그러한 역량이 실제 의료행위와 잘 상관되지 않는다고 지적한다. 또 어떤 이들은 학생들이 가장 높은 점수를 얻기 위해 경쟁하면서, 스트레스와 번아웃을 겪는다며 NLE가 학생에게 미치는 결과에 초점을 맞추었다.27

At the same time there are concerns that standardizing medical education in this way will reduce innovation and advancements in curricula,18,39,40 and that NLEs are now outof-date with the new modalities of testing throughout medical school and more recently in practice.4,5,16 Some commentators have suggested that learning outcomes that are easily testable simply become the focus of NLEs, and that those competences do not correlate well with actual practice.17,18,41 Others have focused on the consequences of NLEs for candidates, including stress and burnout as students compete for the highest grades.27

방법

Methods

Information on NLEs is substantial but dispersed. As such, to answer the central research question, three different sources of information were searched.

The full inclusion and exclusion criteria is listed in Table 1.

In order to further develop the typology of NLEs that is presented in this paper, medical regulators’ websites or those bodies responsible for licensing doctors were reviewed. The search was limited to the 49 countries described by the United Nations (UN) as ‘very high human development.’45 This limitation was applied as it was assumed that only those countries with adequate resources would be likely to have a NLE. From each website any publicly available details were extracted about how doctors are licensed in that country and the process by which each regulator dealt with doctors who wished to live and work in their jurisdictions.

분석

Analysis

The data from this paper are therefore derived from three sources: the academic literature, publicly available information from regulators’ websites, and a survey of medical regulators.

결과

Results

온라인 사이트에서 NLE에 대한 세부 정보를 제공하는 23개 국가는 표 2에 나와 있습니다. 여기에는 NLE의 구성요소 및 후보 유형(예: 국제 의료 졸업생)에 대한 정보만 포함됩니다.

The 23 countries whose online sites yielded details about a NLE are listed in Table 2. This includes information on the component parts of the NLE as well as the candidate type eg, international medical graduate only.

후보자에 따라 분류되는 자격증 시험에 대한 네 가지 접근방식이 기본적으로 존재한다.

Categorized according to candidacy, essentially four different approaches to licensing examinations exist:

1. 국가 사법권에서 진료하고자 하는 의대졸업생은 국가 자격증 시험을 통과해야 하는 경우

2. 국가 사법권이나 국제 의료 졸업생(IMG) 출신이든 모든 예비 의사가 해당 사법권 내에서 실습을 위해 국가 면허 시험에 합격해야 하는 경우

3. IMG의 자격요건이 국가 사법권의 학생과 비교 가능한 것으로 인정되지 않을 경우, 자격증 시험에 합격해야 하는 경우

4. 작동 중인 NLE이 없는 경우

1. Where graduating medical students wishing to practice in their national jurisdiction must pass a national licensing exam before they are granted a license to practice;

2. Where all prospective doctors, whether from the national jurisdiction or international medical graduates (IMGs), are required to pass a national licensing exam in order to practice within that jurisdiction;

3. Where IMGs are required to pass a licensing exam if their qualifications are not acknowledged to be comparable with those of students from the national jurisdiction;

4. Where there is no NLE in operation.

첫 번째 접근방식을 채택한 국가는 독일, 53 스위스, 폴란드, 54 바레인, 55 카타르,56 및 크로아티아 57이다. 이러한 관할권의 모든 국내 교육을 받은 학생들은 면허를 신청하기 전에 시험을 통과해야 한다. 그러나 일부 IMG는 EEA 내에서 일하는 경우, 예를 들어 EEA 내에서 졸업생들은 면허 시험에서 면제된다.

The countries that have adopted the first approach are Germany, 53 Switzerland, Poland,54 Bahrain,55 Qatar,56 and Croatia.57 All home trained students in these jurisdictions are required to pass the examination before they can apply for a license to practice. However, some IMGs may be exempted, eg, graduates from within the EEA are exempt from the licensing exams if they work within the EEA.

두 번째 접근방식은 국가 사법권 내에서 의료 행위를 하려는 예비 의사가 의료 훈련을 마친 장소에 관계없이 국가 면허 시험에 통과해야 한다는 것이다. 이 접근법은 캐나다, 칠레, 일본, 홍콩, 한국, 아랍 에미리트 연합국(UAE), 미국을 포함한 다수의 국가들에서 사용된다. 이러한 시스템에 관한 대부분의 학술 문헌은 북미에서 나온다.58 그러나 국가 면허시험이 최소 국가 표준을 나타내는 반면, IMG에 대한 추가 훈련이 필요할 수 있다는 점에 유의해야 한다. 예를 들어, 미국에서는 서로 다른 관할권이 그들 자신만의 NLE pass rate를 설정하며, 따라서 IMG는 면허를 취득하기 전에 적어도 1년 전에 해당 관할권 내에서 추가 훈련을 받아야 할 수 있습니다.

The second approach requires that any prospective doctor seeking to practice medicine within the national jurisdiction must pass the national licensing exam, regardless of where they have completed their medical training. This approach is used in a number of comparable countries, including Canada, Chile, Japan, Hong Kong, South Korea, the United Arab Emirates (UAE), and the United States. Most of the academic literature around these systems emanates from North America.58 It should be noted however that in some cases while the national licensing exam represents a minimum national standard, further training may be required of IMGs. For example, in the United States, where different jurisdictions set their own NLE pass rates, IMGs may have to undertake further training within that jurisdiction of at least a year before gaining a license.

면허 시험의 세 번째 범주는 IMG만을 대상으로 하며, 이러한 이유로 일부에서는 엄격히 말해서 "국가적인" 면허 시험이라고 인식하지 않을 수도 있다. 그러나, 이러한 시험의 시행은 국가 수준에서 이루어지며, 시험은 특정한 기술보다는 일반적이고, 연습 면허를 얻기 위해서는 시험에서의 성공이 필요하다.

The third category of licensing examination only targets IMGs and for this reason some may not perceive it be, strictly speaking, a “national” licensing exam. However, administration of these examinations is conducted at the national level, the examinations cover generic rather than specific skills, and success in the exam is necessary in order to gain a license to practice.

이 접근법은 의료 위원회 웹 사이트에 포괄적인 정보가 제공되는 호주59와 뉴질랜드,60에서 사용되며, 장래의 IMG 의사들은 자신의 자격을 따라야 하는 '경로'를 결정할 수 있습니다. 호주와 뉴질랜드, 그리고 영국은 현재 면허 규제의 '인정' 모델을 운영하고 있다. 이러한 각각의 경우, 장래의 IMG 의사들은 그들의 언어 능력을 입증하고 그들의 기본적인 의료 자격에 대한 검증된 문서를 제공해야 합니다. 호주 시스템에서는 어떤 IMG 자격은 호주나 뉴질랜드 출신과 동등하다고 간주되지만 어떤 자격은 그렇지 않다. 수용 가능한 것으로 간주되는 자격을 확립하는 과정이 항상 간단하지는 않다.

This approach is used in Australia59 and New Zealand,60 where comprehensive information is provided on the medical council websites, allowing prospective IMG doctors to determine what ‘pathway’ into the physician workforce their qualifications require them to follow. Both Australia and New Zealand, as well as the United Kingdom, currently operate an ‘accreditation’ model of licensing regulation. In each of these cases the prospective IMG doctors are required to evidence their language competence and to provide validated documentation of their primary medical qualifications. In the Australian system certain IMG qualifications are considered to have parity with those of graduates from Australia or New Zealand, whereas others are not. The process that establishes which qualifications are deemed acceptable is not always straightforward.

유럽에서는 EEA 회원국들이 회원국을 가로질러 시민들의 자유로운 이동을 규정하는 지침에 의해 제한을 받는다. 이는 라이센스 검사의 세 번째 범주에 영향을 미치는데, 이는 EEA 외부에서 여권을 소지하고 있는 사람(여기서 비 EEA IMG라고 함)에만 국한되기 때문입니다. 이러한 비 EEA IMG의 경우, 유럽 전역에서 다양한 examination 프로세스를 수행해야 선택한 국가에서 실습을 수행할 수 있습니다. 일부에서는 이러한 프로세스가 결함이 있다고 주장하는데, 부분적으로는 라이센싱 프로세스와 관련하여 많은 EEA 회원국에서 사용할 수 있는 정보가 거의 없기 때문이며, 또한 구현과 퀄리티 보장에 일관성이 부족한 것으로 보이기 때문이다.61

In Europe, those countries that are EEA member states are constrained by directives that stipulate the free movement of citizens across member states. This has implications for this third category of licensing examination as it is limited to only those who hold passports from outside the EEA, referred to here as non-EEA IMGs.50 For these non-EEA IMGs it means that across much of Europe they are required to undertake a range of examination processes to gain a license to practice in their chosen country. Some argue that these processes are flawed, partly because there is often little information available in many of the EEA member states concerning their licensing processes and there appears a lack of consistency in implementation and quality assurance.61

예를 들어, 스웨덴에서는 EU/EEA IMG가 이수해야 하는 것보다 비 EU/EEA IMGs가 수행해야 하는 국가 면허 프로세스가 체계적이지 않고, 관료적이며 엄격한 것으로 기술하고 있습니다..61 다른 사람들은 그것이 스웨덴만의 경험이 아니라고 제안했습니다.62 이러한 형태의 NLE 접근법과 관련하여, 그리고 앞서 설명한 접근법과 달리, 결론을 도출할 수 있는 쉽게 구할 수 있는 연구가 부족하다는 점을 유념하는 것이 중요하다.

In Sweden for example, non-EU/EEA IMGs have described the national licensing process in that country as being disorganized, bureaucratic, and stricter than the process undertaken by EU/EEA IMGs.61 Others have suggested that the Swedish experience is not unique in Europe.62 In relation to this form of NLE approach, and unlike the previous approaches described, it is important to note that there is a lack of readily available research from which conclusions can be drawn.

마지막으로, 쿠웨이트와 몰타와 같은 관할권은 NLE를 그 관할구역과 IMG에서 훈련을 받은 장래의 의사들을 위한 직업으로의 진입을 규제하는 수단으로 삼았다.

Finally, jurisdictions such as Kuwait and Malta have eschewed NLEs as a means of regulating entry into the profession for both those prospective doctors who have trained in that jurisdiction and for IMGs.

Discussion

직업 규제의 영향을 이해하기 위한 표준 경제 모델은 서비스 제공 비용과 그 품질, 즉 라이선싱은 비용을 증가시키지만 서비스 품질도 증가시킨다는 개념에 기초한다. Shapiro는 이 모델을 개발하였고, 비록 전문직을 규제하는 것이 서비스 제공의 전반적인 비용을 증가시키지만, 그것은 인적 자본에 대한 투자를 장려하기 때문에(더 나은, 효율적 훈련) 양질의 서비스를 제공하는 한계 비용을 감소시킨다.63 그러나 의학의 국제화는 이 모델의 직접적인 적용을 더욱 어렵게 만든다. 면허증은 자격을 갖춘 의사들의 총량net을 부족하게 만들 수 있기 때문에, 이용 가능한 의사들의 집단이 아무리 잘 훈련되어도 서비스의 질은 떨어뜨리게 된다.64

The standard economic model for understanding the impact of occupational regulation rests on the notion that there is a trade-off between the cost of service provision and its quality, ie, licensing increases the costs but also the quality of service. Shapiro developed this model, arguing that although regulating professions does increase the overall costs of service provision, it decreases the marginal costs of providing a quality service as it encourages investment in human capital (ie, better and more efficient training).63 However, the internationalization of medicine makes the direct application of this model more difficult, as licensing may result in a net shortage of qualified doctors, reducing the quality of service no matter how well trained the available pool of doctors.64

우리의 두 번째 범주인 IMG를 위한 면허를 가진 나라들은, 의료 제공의 요구를 충족시키는데 필요한 외국인 의사 채용을 유지하는 문제를 분명히 가지고 있습니다. 그래서 그들은 어느 정도의 실용주의를 적용합니다. 국제적 의사 부족에서 발생하는 요구는 IMG가 그들이 선택한 관할권에서 NLE를 통과하기 전에는 절대 의료행위를 금지하는 것은 아님을 것을 의미합니다. 

Those countries with across the board licensing, our second category, clearly have the problem of sustaining the recruitment of foreign doctors required to meet the demands of healthcare provision; as such they apply a degree of pragmatism. The demands that arise from the international shortage of physicians65 mean IMGs are not always prevented from practicing prior to passing the NLE in their chosen jurisdiction. 

북미 내에는 IMG가 최종적으로 통과해야 하는 NLE를 준비할 수 있도록 지원하는 광범위한 지원 시스템이 있습니다. 캐나다에서는 국가 면허 제도가 어느 정도까지는 IMG에 의해 circumvented 될 수 있습니다. 다양한 형태의 임시면허는 표준화의 필요성과 시골지역 내 의사 부족분을 메울 필요를 조화시키기 위한 목적으로 사용된다.66 따라서, 노동력 계획 관점에서, 국가 면허를 도입하는 것은 면허 시험 자체를 개발하는 것보다 더 부담이 큰onerous 과정일 수 있다. IMG의 의사들은 언어나 교육 시스템에 익숙하지 않기 때문에 의학 역량에 관계없이 불이익을 받을 가능성이 높다.68

Within North America there is an extensive support system which assists IMGs in preparing for the NLEs that they must eventually pass.66,67 In Canada the national licensing system is, to a degree, circumvented by IMGs using provincial licensing to practice until they are able to get full Licentiate of the Medical Council of Canada. The various forms of provisional licensing are used to balance the need for standardization against the need to cover doctor shortfalls within rural provinces.66 Thus, from a workforce planning perspective, introducing national licensing may be a more onerous process than developing the licensing assessments themselves. IMG doctors are likely to be disadvantaged, regardless of medical competence, as they are less familiar with the language and educational system.68

우리의 유형학의 세 번째 범주는 IMG의 자격요건이 국가 규정과 양립할 수 없는 것으로 간주될 때 일종의 자격증 시험을 보아야 하는 비슷한 문제에 직면하지만, 이러한 시스템은 일반적으로 더 다용도적이고 적응과 변화를 가능하게 한다. 호주에서 IMG는 [심각한 의사 부족에 직면하고 있는 시골지역]이나 캐나다와 같은 [전문 분야 내에서 특별한 필요가 있을 경우] 임시 면허에 대한 비교적 쉬운 접근을 제공한다. 그러나 캐나다와 달리 IMG가 영구적인 시민이 될 것이라는 가정은 더 적다.69

The third category of our typology, where IMGs have to sit some sort of licensing exam when their qualifications are deemed incompatible with national regulations, face similar issues, but these systems are generally more versatile and amenable to adaptation and change. In Australia, IMGs are offered relatively easy access to temporary licenses within specialties in which they have particular needs, or like Canada, in rural areas facing acute doctor shortages. Unlike Canada, however, there is less of an assumption that the IMGs will become permanent citizens.69

여기서 더 넓은 점은, 고도로 발달된 국가에서, 국가 면허 시스템은 의사 부족과 전세계 의료 인력의 증가하는 이동성의 맥락을 고려하여 운영되어야 한다는 것이다.

The broader point here is that, in highly developed countries, national licensing systems have to operate within the context of doctor shortages and the increasing mobility of the global medical workforce.

국제적으로 NLE를 요약하면summarize 여러 국가의 문화적, 역사적 세부 사항을 무시할 위험이 있습니다. 북미와 같이 북미와 같은 관할권이 막대한enormity 국가의 경우, 주 및 연방 시스템이 의료 규정에 대한 접근 방식이 모두 반영된 해결책을 모색해 왔다.

Summarizing NLEs internationally does have the risk of ignoring the cultural and historical subtleties of different nations. Some nation states have sought solutions to the enormity of their jurisdiction such as in North America where the State and Federal systems have been mirrored in their approach to medical regulation.

이 연구의 또 다른 한계는 고도로 발전된 국가들의 관점에서만 이러한 문제들을 보는 것이다. 의료 교육을 충분히 받은 인력진에 대한 접근은 개발 도상국들과 개발 도상국들을 구별하는데 사용될 수 있는 요인들 중 하나이다.73 따라서 의료인력의 이동성 증가는 개발도상국에 중요한 영향을 미치며, 특히 "국제보건의 장애물"이라고 일컬어졌던 "두뇌 유출"이 특히 그러하다.

Another limitation of this study is that it views these issues solely from the perspective of highly developed countries. Access to a sufficient medically-trained workforce is one of the factors that can be used to distinguish developed from developing countries.73 Thus the increasing mobility of the medical workforce has important implications for the developing world, in particular the “brain drain” that occurs when doctors travel to work oversees,74,75 which has been described as an “obstacle to global health.”74

Conclusion

3. Sklar DP. What happens after medical school? Current controversies about licensure, maintenance of certification, and continuing professional development. Acad Med. 2016;91(1):1-3. doi:10.1097/ acm.0000000000001011 XXX

34. Archer J, Lynn N, Coombes L, et al. The impact of large scale licensing examinations in highly developed countries: a systematic review. BMC Med Educ. 2016;16(1):212. doi:10.1186/s12909-0160729-7

35. Boulet J, van Zanten M. Ensuring high-quality patient care: the role of accreditation, licensure, specialty certification and revalidation medicine. Med Educ. 2014;48(1):75-86. doi:10.1111/medu.12286

Int J Health Policy Manag. 2018 Apr 28;7(9):782-790. doi: 10.15171/ijhpm.2018.32.

The International Landscape of Medical Licensing Examinations: A Typology Derived From a Systematic Review.

평가의 긴장 관리: 이것 또는 저것의 사고방식을 넘어서(Med Educ, 2018)

Managing tensions in assessment: moving beyond either–or thinking

Marjan J B Govaerts,1 Cees P M van der Vleuten1 & Eric S Holmboe2

도입

INTRODUCTION

궁극적으로 보건 전문 교육 (HPE)의 목적은 학습자를 [전문직과 지역 사회가 받아 들일 수있는 능력 기준을 달성]했을뿐만 아니라 무엇보다 먼저 [수월성, 평생 학습, 자기 분야의 지속적 발전, 고품질 의료 서비스에 헌신할 수 있는] 자격을 갖춘 전문가로 전환시킴으로써 건강 시스템의 질을 향상시키는 것입니다. .1,2 다른 교육 시스템과 마찬가지로 HPE에서도 이러한 교육 목표를 달성하는 데 있어 평가는 그 토대가 된다.3

Ultimately, the purpose of health professions education (HPE) is to benefit the quality of health systems by transforming learners into qualified professionals who not only have achieved standards of competence that are acceptable to the profession and the community, but are first and foremost committed to excellence, lifelong learning and the ongoing advancement of the field and high-quality care.1,2 In HPE, as in any other education system, assessment is seen as fundamental to achieving these education goals.3

CBE의 틀 내에서 평가는 일반적으로 [전문 역량 개발을 촉진]하고 [학습자와 의사의 실습 적합성에 대한 강건한 의사 결정을 보장]하는 데 중점을 둡니다. 역량 기반 평가 시스템은 일반적으로 복잡한데, 왜냐하면 CBME에서의 평가는 평가 프로그램에 의존하고 있으며, [의료 시스템]뿐만 아니라 [고도로 복잡한 교육]에 embed되어있기 때문이다.

Within the framework of CBE, assessment typically focuses on fostering the development of professional competence and ensuring robust decision making about learners’ and physicians’ fitness for practice. Competence-based assessment systems are typically complex as they rely on programmes of assessment and must be embedded in highly complex education as well as health care systems.6,7

따라서 평가 시스템은 상당한 긴장tension속에 있게 되는데, 왜냐하면 이 시스템은 형성적 목적과 및 총괄적 목적을 달성해야 하고, 효율적이면서 효과적이어야하며, 학습자, 교육 기관, 환자 및 의료 기관의 요구를 충족시켜야 하기 때문이다. 이러한 상충하는 요구를 해결하기 위해서는 표준화되고 authentic한 평가시스템이 필요합니다. 이 평가 시스템은 통제와 동시에 신뢰를 가능케 해야하며, 고품질의 퍼포먼스를 보여줌과 동시에 학습을 가능하게 하면서 학습에 가치를 부여하는 문화를 육성해야 한다.

Assessment systems are thus bound to be rife with tensions as they must fulfil formative and summative assessment purposes, be efficient and effective, and meet the needs of learners, education institutes, patients and health care organisations. Addressing these competing demands requires systems that are standardised as well as authentic, that allow for control as well as trust, and that foster cultures that enable and value learning as well as high-quality performance. 

HPE를 개선하려는 압력이 커지면서 현대의 평가 프로그램에 내재 된 이러한 여러 극성polarities이 강조되고 있기 때문에, 그 결과로서 생기는 긴장은 [희소성 (비용 절감과 동시에 고품질 성능에 대한 요구 증가)]과 [다양성(예 : 교육 개혁에서 '무엇'과 '어떻게'에 관한 여러 관점)]으로 인해서 더욱 두드러진다. 이러한 희소성과 다양성은 건강 전문가를 교육하고 평가하는 올바른 방법이 무엇인가에 대한 논의에서도 나타난다.

As increasing pressures to reform HPE accentuate these multiple polarities inherent in modern assessment programmes, the resulting tensions seem to become even more salient in times of scarcity (increasing demands for high- quality performance while reducing costs) and plurality (e.g. multiple perspectives on the ‘what’ and ‘how’ in education reform), as illustrated by ongoing debates about what is right about how to educate and assess health professionals.8,9

이러한 긴장에 대응하는 방식이 곧 평가 관행과 개혁의 운명을 결정하는 중요한 요소가 될 수 있습니다.

조직 시스템의 긴장감에 대한 흔한 대응은 연구원들이 [완벽하고 내적으로 일관된 이론을 통해 다각적인 현실을 포착하려고하는] 소위 '우연성 접근법contingency approach'의 적용으로서, 실무자는 긴장을 '고쳐야 하고 고칠 수 있는 문제'로 바라본다.

A common response to tensions in organisational systems is the application of the so-called ‘contingency approach’ whereby researchers seek to capture a multifaceted reality with a perfect, internally consistent theory, and practitioners look upon tensions as ‘problems that need [to] and can be fixed’.14,15 

우연성 렌즈contingency lens를 통해 평가 시스템을 바라보게 되면, 평가에서 해결해야 하는 문제는 [하나의 정답에 동의 할 수 있다면] 해결되고 사라질 수있는 문제가됩니다. 그런 다음 우리는 일반적으로 어떤 조건에서 A와 B 중 어느 것을 선택해야하는지를 파악하기 'if-then'통찰력을 탐색하기 시작합니다.

Through the contingency lens, challenging tensions in assessment systems become problems that will be solved and disappear if we can agree upon the single right answer. We then typically start searching for ‘if–then’ insights, striving to identify under which conditions either A or B needs to be selected

이 접근 방식은 일반적으로 '이것 또는 저것' 방식의 토론을 통해 평가 설계 및 구현에 대한 합리적인 의사 결정을 가능하게합니다.

This approach typically results in ‘either–or’ discussions, enabling rational decision making about assessment design and implementation.

이러한 논의를 통해 제시되는 해결책은 일반적으로 이상적 평가를 성공적으로 수행하기 위해 또는 다른 사람들의 견해와 사고의 오류 가능성을 설명하기 위해 어떻게 장벽을 '극복'할 것인지에 대한 수단을 다루게 된다.

Proposed solutions then typically include measures to ‘overcome’ barriers to the successful implementation of the assessment ideal or to provide arguments to illustrate the fallibility of others’ views and thinking.

그러나 이러한 전통적인 '문제 해결'방식은, 다양한 긴장을 해결하는 데에는 부적절한데, 왜냐하면 일반적으로 조직의 양극성 및 복잡성을 지속가능하게 address하지 못하기 때문이다. 마찬가지로, HPE 공동체에서 지속적으로 반복되는 논쟁은 평가와 관련된 많은 긴장을 [해결할 수 있는 문제]로 보기보다는, [조심스럽게 관리되어야하는 polarities]로 봐야 한다고 제안한다. 이것이 Polarity ThinkingTM의 핵심 전제입니다.

It is increasingly recognised, however, that traditional ‘fix-the-problem’ approaches to coping with multiple tensions are generally inadequate as they fail to sustainably address the quantity and complexity of polarities in organisations. Likewise, the widespread ongoing and recurring debates in the HPE community suggest that many assessment tensions do not represent problems that can be resolved, but polarities that need to be carefully managed. This is the core premise of the Polarity ThinkingTM

문제를 '극성' 으로 재구조화하기

REFRAMING PROBLEMS AS POLARITIES

Polarity ThinkingTM의 기본 전제는 [긴장이란 복잡하고 역동적이며 모호한 시스템에서 인간의 행동에 내재되어 있기 때문에] 장기적인 성공과 지속적인 변화를 달성하기 위해 긴장을 수용해야 한다는 것이다.15,27-30이 관점을 뒷받침하는 핵심 원칙 박스 1에 요약되어있다.

The foundational premise of Polarity ThinkingTM is the view that tensions must be accepted in order to achieve long-term success and sustained transformation because they are inherent to human behaviours in complex, dynamic and ambiguous systems.15,27–30 Key principles underpinning this perspective are summarised in Box 1.

기본적으로 양극은 서로 반대되거나 경쟁하는 것처럼 보일 수 있지만, 사실 이 둘은 상호 의존적이며 목표를 달성하기 위해 서로를 필요로 하는 두 개 (또는 그 이상)의 값 또는 대안적 관점 ( '극poles')입니다. 각 극은 달성해야 하는 목표에 대해서 긍정적인 결과를 가져오지만, 한 극을 희생시키면서 다른 극을 강조하면 부정적인 결과가 발생합니다. 조직 체계에서, 서로 다른 상호 관계를 가지는 양극의 공존은 일반적으로 '긴장'으로 경험된다.

Basically, polarities are two (or more) values or alternative views (called ‘poles’) that may appear as opposite or competitive but are interdependent and need each other to achieve a goal neither can reach alone.28 Each of the poles brings positive outcomes to the overarching goals to be achieved, whereas emphasising one pole at the expense of the other will result in negative outcomes. In organisational systems, the coexistence of these different yet interrelated poles is commonly experienced as ‘tension’. 

Polarity ThinkingTM은 이러한 긴장이나 딜레마를 관리 할 때 'if-then'이나 'either-or'사고 방식이 아닌 'both-and' 사고 방식을 필요로합니다. 평가 시스템 내에서 학습을위한 평가 (형성)와 학습의 평가 (총괄)는 극성의 전형적인 예입니다

Polarity ThinkingTM entails a ‘both–and’ mindset rather than ‘if–then’ thinking or ‘either–or’ solutions in managing these tensions or dilemmas. Within assessment systems, assessment for learning (formative) and assessment of learning (summative) are typical examples of polarities

양질의 환자 치료를 위한 강건한 판단과 높은 수준의 학습 보장이라는 궁극적 인 목표를 모두 달성하려면 두 가지가 모두 필요합니다. 평가에서, 총괄평가가 없는 형성평가는 존재할 수 없다 :

We need both, however, to achieve our ultimate goals of ensuring robust judgements and high-quality learning for high-quality patient care. In assessment, there can be no formative assessment without summative assessment:

총괄평가는 암묵적으로든 명시적으로든 형성평가에 항상 포함된다. 마찬가지로 형성평가 없이는 학습의 타당하고 공정한 (총괄)평가가 불가능하다고 주장 할 것이다.

Summative assessment is thus always embedded in formative assessment, either implicitly or explicitly.31 Likewise, people will argue that valid, fair assessment of learning is not possible without ongoing formative assessment.

양극화 (또는 역설) 문제를 재구성하는 것은 조직 과학에서 상당히 잘 정립되어 있습니다

Reframing problems as polarities (or paradoxes) is fairly well established in organisation science

보다 최근에는 Polarity ThinkingTM 모델이 헬스케어개혁을 최적화하기 위해 성공적으로 도입되었는데, 이는 전통적인 변화 노력이 원하는 결과의 지속 가능한 성취로 이어지지 않았기 때문입니다 .30,35

More recently, Polarity ThinkingTM models have been successfully introduced to optimise health care reform, as traditional change efforts did not result in the sustainable achievement of desired outcomes.30,35

평가에서 극성과 긴장: 분류와 논쟁

POLARITIES AND TENSIONS IN ASSESSMENT: CATEGORISATION AND DEBATES

평가 시스템의 많은 긴장은 핵심 요소들 간의 복잡한 상호 관계 및 상호 작용을 반영하는 것으로 보이며, 많은 경우 책무성과 비용 효율성에 대한 압력 증가로 인해 발생한다.

many tensions in assessment systems seem to reflect the complex interrelationships and interactions among these core elements, not infrequently driven by increasing pressures for accountability and cost-effectiveness. 

수십 년 동안 학습을위한 강력한 동인으로서의 형성 평가의 중요성이 인정되었습니다 .17,36-38 피드백, 학습 과정 및 평가에의 학생 참여를 강조하면서, 학생 및 연수생을 효율적 학습자, 평생 학습자로 발전시키는 것을 목표로합니다 .

For many decades, the significance of formative assessment as a powerful driver for learning has been acknowledged.17,36–38 With its emphasis on feedback, learning processes and student engagement in assessment, it aims to develop students and trainees into efficient, lifelong learners.

(CBME에서는) 개개인에 맞는 학습 궤적이 등장하면서 유연한 커리큘럼과 작업 프로세스의 재구성이 발생하게 되는데, 이로 인해 학교 및 보건 의료 기관의 (부족한) 재정적, 물질적, 관리적 자원뿐만 아니라 퀄리티에까지 영향을 미치는 경우가 발생하게 되고, 이것이 AFL과 연관된 긴장이 salient해지는 상황이다. 교육과 헬스케어가 서로 얽혀있는 시스템에서 [안정된 근무 절차를 유지]하면서 동시에 [유연하고 역동적인 학습을 창출]하고 [효율성과 효과성]이라는 목표가 서로 상충할 때 평가 전략에 관한 갈등('긴장')과 모호성이 발생할 수 있습니다.

Assessment for learning tensions may become salient if the emergence of individual learning trajectories involves flexible curricula and the reorganisation of work processes, impacting not only on the (scarce) financial, material and administrative resources of schools and health care institutions, but also on the quality of patient care.39–41 The need to create flexible and dynamic learning while maintaining stable working routines in the interwoven systems of education and health care and competing goals of efficiency and effectiveness may then create conflict (‘strain’) and ambiguity regarding assessment strategies. 

학습의 평가AOL는 오랫동안 평가 내용과 접근법을 거의 독점하고 있었다. 최근까지도 총괄평가의 맥락에서 책무성, 공정성, 동등성의 문제가 HPE의 평가 개발 및 연구를 지배해오고 있다. AOL과 관련된 긴장은 양질의 진료를 보장하기 위해 무엇을 평가할 필요가 있는지를 정의함에 있어서 이해 관계자의 관점이 다양하다는 것에서 비롯 될 수 있습니다.

Assessment of learning has for long been the almost exclusive focus of assessment content and approaches; issues of accountability, fairness and equivalence in the context of summative assessment have dominated assessment development and research in HPE until very recently. Tensions within assessment of learning may stem from the plurality of stakeholders’ views on how to define what needs to be assessed in order to ensure high-quality care.

마찬가지로 비록 환자 치료의 복잡성을 보면, 팀워크와 조직 성과가 환자 성과에 크게 기여하지만, 동시에 의료에서는 개개인의 능력도 일정 수준 이상으로 보장해야하기 때문에 개인과 집단 간의 긴장을 유발할 수있다 .45,46 마찬가지로 CBE에서 평가를 개혁하다보면, [비용 효율성('의료행위에 대한 적합성'- '충분 함')과 수월성] 그리고 [역량에 대한 전체론적 접근과 분석적 접근] 사이에서도 긴장이 발생할 수 있다.

The complexity of patient care may drive tensions between the individual and the collective because individual competence needs to be assured although teamwork and organisation performance largely contribute to patient outcomes.45,46 Similarly, efforts to reform assessment in CBE may drive tensions between cost- effectiveness (focus on ‘fitness for practice’ – being ‘good enough’) and excellence47,48 and/or between holistic and analytic approaches to competence.

예를 들어 '전문 역량은 개별 역량을 입증하는 것 이상이며, (지역 사회의 건강요구를 충족시키기 위해서는) 전문 역량은 지식, 기술, 규범, 가치, 판단, 추론으로 분리 할 수없고, 통합적으로 정의되어야 함'은 널리 인정되고 있음에도, 전문 역량 개발은 별도의 역량 또는 역량 영역에 대한 기술 및 평가를 요구할 수있다.

Although it is widely acknowledged, for example, that ‘professional competence is more than a demonstration of isolated competencies’ and that professional competence is to be defined as the inseparable and integrated use of knowledge, skills, norms, values, judgement and reasoning to serve the health care needs of the community,49 the development of professional competence may require the description and evaluation of separate competencies or competency domains

평가 설계(구조화 및 조직화)에서도 긴장이 발생할 수 있는데, 원하는 결과 달성이 서로 상충하면서 공존하는 프로세스와 시스템을 필요로 할 경우에 그러하다.

Tensions when designing (structuring and organising) assessment will surface if the achievement of the desired outcome requires different competing, yet coexisting processes and systems.

일반적인 긴장은 [표준화와 authenticity] 사이에서, 또는 [(외부) 통제 (예 : 규제 기관)와 로컬 평가 전문성에 대한 신뢰] 사이에서 평가 결정의 중요한 자원으로 작용합니다. 내부 및 외부 이해 관계자들의 경쟁 요구는 [동등성 (예 : 국가 면허 시험 실시)과 의대 또는 직장 커리큘럼] 간의 긴장을 야기 할 수 있습니다.

Common tensions operate between standardisation and authenticity, or between (external) control (e.g. regulatory bodies) and trust in local assessment expertise as a critical resource in assessment decisions. Competing demands of internal and external stakeholders may raise tensions between equivalency (such as through the implementation of national licensing tests) and alignment with the medical school’s or workplace curriculum. 

이로 인해서 심각한 딜레마가 발생할 수 있는데, 책무성에 대한 평가의 질을 보장하려는 [하향식, 처방식 (국가적) 강제사항이나 시험]과 같은 노력이 [프로그램 자율성과 전문적 integrity]의 훼손을 의미하는 것으로 해석되는 반면, 그것에 따르지 않을 경우 [프로그램 인증을 잃는 결과]를 초래할 수있는 상황에서 발생할 수 있습니다 52.53

Serious dilemmas may then arise in contexts in which efforts to ensure quality of assessment for accountability through top-down, prescriptive (national) mandates or tests are interpreted to signify loss of programme autonomy and professional integrity, whereas non-compliance may result in the loss of programme accreditation.52,53

AFL과 AOL 사이의 긴장은 [정성적 대 정량적 평가 접근법에 관한 논쟁], [주관적 대 객관성]의 역할, 평가 설계에 대한 [심리측정 대 교육측정]의 접근 등에서 발생할 수 있다.

tensions between assessment for and of learning surface in debates around qualitative versus quantitative assessment approaches,26 the role of ‘objectification’ (objectivity) versus subjectivity54,55 and a psychometric versus ‘edumetric’ or educational approach to assessment design.56

특히 책무성과 비용 효율성의 요구 사항은 등급화 및 표준화 된 평가를 선호하는 객관화 된 양적 평가를 더 유도할 수 있다.

The requirements of accountability and cost-effectiveness in particular may push towards objectified quantitative assessment outcomes, favouring grades and standardised assessments.

결과적으로, 긴장은 서로 다른 모호하고 때로는 상충되는 평가 전략을 통해서도 나타날 수 있습니다.

• 본질적으로 표준화되지 않은 평가 (예 : 진정한 평가를위한 표준화 된 서술)를 표준화하려는 것, 57,58

• 세부 평가 척도 및 작업 별 체크리스트의 사용을 통한 performance-in-context의 '측정'

• EPA와 Milestones을 통한 역량 개발의 '대상화' 및 역량 개발 

As a consequence, tensions may surface through differing, ambiguous and sometimes conflicting assessment strategies such as 

• the ‘standardisation’ of inherently unstandardised assessments (e.g. standardised narratives for authentic assessments),57,58 

• ‘measurement’ of performance-in-context through the use of detailed rating scales and task-specific checklists,59,60 or 

• the ‘objectification’ of competence and competence development through the use of entrustable professional activities and milestones.61,62

또한 교육적 책무성은 '시간제어 기능'을 동반할 수 있는데, 왜냐하면 평가는 (암시 적으로 또는 명시 적으로) 학습의 속도를 높이기 위해 사용되기도 하기 때문이다. 빈번한 평가는 개별 진행 상황과 학습 과정의 효율을 제어하는 ​​'초시계'가됩니다.

In addition, education accountability may entail a ‘timekeeping function’ of assessment as assessment may (implicitly or explicitly) serve to increase the rate of learning: frequent assessments become ‘stopwatches’, controlling individual progress and the efficiency of learning processes.63

평가 설계와 AFL 간의 긴장은 [의미있는 피드백을 기반으로 한 개별화 된 학습을 가능하게 하려는 필요성]과 [효율성 및 책임 성을 찾아 구조화 및 표준화하려는 욕구] 사이의 갈등을 동등하게 반영 할 수 있습니다.

Tensions between assessment design and assessment for learning may equally reflect conflicts between the need to enable individualised learning on the basis of meaningful feedback and the desire to structure and standardise in search of efficiency and accountability.

이 점에서 숫자 (성적) 대 단어 (내러티브)의 사용에 대한 토론이 실례 일 수 있습니다. 일반적으로 성적은 가장 정보가 부족한 피드백 유형으로 간주되는 반면, 피드백은 단어 사용을 통해 전달되는 것이 고품질로 여겨집니다. 그러나 비록 퍼포먼스 개선을 위한 피드백에서 질적 서술의 역할은 명백하지만, 연구 결과에 따르면 평가의 표준화와 능력 향상을 반영하는 성적점수를 제공하는 것도 학습자의 자기 효능감 및 역량 감각을 향상시킬 수 있으며, 여기에는 공정성과 동등성에 대한 학생의 인식도 포함한다. 20,24,70,71

Discussions about the use of numbers (grades) versus words (narratives) may be illustrative in this respect. In general, grades are considered to be the poorest form of feedback, whereas high-quality feedback is believed to be conveyed through the use of words. However, although the role of quality narratives in feedback for performance improvement is undisputed, research findings show that the standardisation of assessment and provision of grades that reflect progress towards competence may enhance learners’ sense of self-efficacy and competence, as well as perceptions of fairness and equivalence with respect to levels of competence upon graduation.20,24,70,71

숫자 역시 학습자와 학습자의 진도에 대한 개별화 된 프로파일로 매우 효율적으로 모여서 자기 평가를 지원하고, 변화를 위한 성찰과 행동을 자극 할 수 있습니다 .72 Tekian et al. "적절한 상황에서 숫자는 수천 장의 그림보다 더 의미가있을 수있다."라고 말했다. 따라서 다양한 이해 관계자는 수치 평가 데이터를 제공하는 것이 수월성의 문화를 유지하는 데 필수적이라고 인식할 수 있습니다. 수치 데이터는 학습자에 대해서 효율적이고 심리측정학적으로 타당하게 순위를 정할 수 있게하며, 고도로 경쟁이 치열한 환경에서 '객관적으로' 수월성을 보여줄 수 있고, 이해 관계자들로 하여금 나중에 defensibly 입학 결정에 대해 '최고 성능'개인을 선택할 수 있습니다.

Numbers can be very efficiently aggregated into individualised profiles of learners and learners’ progress, supporting self-assessment and inciting reflection and action for change.72 As Tekian et al. state: ‘Under appropriate circumstances, numbers can be more meaningful than a thousand pictures.’72 Various stakeholders may thus perceive the provision of numerical assessment data to be essential in maintaining a culture of excellence: numerical data enable the efficient and psychometrically sound ranking of learners, allowing learners to ‘objectively’ demonstrate excellence in a highly competitive environment and allowing stakeholders to defensibly select the ‘best-performing’ individuals for later admissions decisions.

건강 관리 및 건강 관리 시스템은 분명히 complex context이다. 분명히 고품질의 효율적인 환자 진료와 고품질의 효율적인 교수 및 학습 제공에있어 상충하는 목표 사이의 긴장은 제한된 자원과 책임에 대한 압박의 조건 하에서 더욱 두드러 질 것입니다.

Clearly, health care and health care systems represent complex contexts . Obviously, the tensions of competing goals in the delivery of high-quality, efficient patient care, as well as high-quality, efficient teaching and learning, are likely to become more salient under conditions of limited resources and increasing pressures for accountability.73 

보건 의료 환경에서, 전공의가 학습자이면서 보건 의료 제공자가 되고, 의사는 건강 관리 제공자, 코치, 평가자의 여러 역할을 수행해야 할 경우 학습과 수행 사이의 긴장이 발생할 수 있습니다. 직장 환경에서 연수생은 직업을 통해 배우며 학습의 평가는 필연적으로 작업의 질에 대한 판단과 관련됩니다. 따라서 비판적 피드백은 학습자에게 불편함을 갖게 만들 수 있다 .74 마찬가지로 평가자는 헤징 (hedging)과 같은 언어 전략을 사용함으로써, trainee에게 건설적인 피드백을 제공하면서도 원활한 사회적인 상호 작용과 관계를 유지하고자 하는데, 이것은 supervisor가 내부 (학습자쪽으로)와 외부 (기관 및 대중에 대한)에 대한 책무성 사이의 상충과 긴장을 드러낸다.

In health care settings, learning–performance tensions may surface if an individual is required to fulfil the multiple roles of learner as well as health care provider (trainees), or health care provider, coach and assessor (clinicians). In workplace settings, trainees learn through and for work, and assessment of their learning inevitably involves judgement of the quality of their work. Critical feedback can thus feel uncomfortable to learners.74 Similarly, assessors’ use of linguistic strategies, such as hedging, in attempts to maintain smooth social interactions and working relationships with their trainees while providing constructive feedback may reflect supervisors’ competing goals and conflicts between internal (towards learners) and external (towards institutions and the public) accountability.75,76

교육 기관 수준에서, management 측에서는 직업의 문지기 역할을 하는 교사의 역할을지지 할지라도, 학생의 retention과 교육 기관이나 훈련 프로그램의 관련 자금에 대한 우려가 있음을 직원에게 알리곤 한다.77 또한 일부 조직 (HPE 및 건강 관리 환경 포함)에서 trainee의 rating이 낮거나 평균 이하인 것은 (비록 그것이 정확한 평가일지라도) 받아들일 수 없는 것이고, 암묵적인 조직의 규범 및 적합성에 대한 압력이 임상 환경에서 rating을 부풀리기에 중요한 요소가 될 수 있다 79

At the level of the education institution, although management may support the role of teachers as the profession’s gatekeepers, it may at the same time tell staff that there is concern about the retention of students and the related funding of the institution or training programme.77 In addition, low or below average ratings are considered unacceptable in some organisations (including in HPE and health care settings) even if they are accurate, and implicit organisational norms and pressures for conformity may be a significant factor in inflating ratings in clinical settings.78,79

문화적 맥락과 평가 간의 상호 작용은 현재의 의료 문화의 핵심 가치인 [자율과 독립] 대 [일상적인 직접 관찰과 피드백을 근본적으로 소중히 여기는 학습 문화] 사이의 갈등을 유발할 수 있다 .73,74,80

Interactions between the cultural context and assessment may also spur conflicts between autonomy and independence – core values in the current culture of medicine – and a learning culture that fundamentally values routine direct observation and feedback seeking.73,74,80

[성과(보기 좋음)와 학습(실패를 인정하고 약점을 보이기를 기꺼이하는) 사이의 갈등]은 학습자가 개발 및 전문성을 육성하기위한 신뢰 관계, 상호 의존성 및 협력에 관여해야 할 필요성 사이에서 고심하게 만들수 있으며, 이 때 학습자는 경쟁이 치열한 레지던트 훈련 프로그램이나 최상위 병원 및 의료 기관에 자리를 잡기 위해 다른 사람들보다 우위를 점해야 한다.81,82

Tensions between performance (looking good) and learning (being willing to show weaknesses, to admit and learn from failure) may additionally result in learners grappling with the need to engage in trustful relationships, interdependence and collaboration to foster development and expertise, while being competitive and seeking to outperform others in the battle for placements in residency training programmes or top-tier hospitals and health care organisations.81,82

프로그램 방식 평가 접근법에서, [빈번한 저부담 성과 평가와 피드백을 통한 발달적 평가]는 [이 평가자료를 활용하여 강력한 의사 결정을 보장하려는 총괄적 사용]과 충돌한다. 학습자와 교사는 mixed 메시지를 경험할 때 심리적 안전과 책임감 사이의 긴장에 직면 할 수 있습니다. 결과적으로, 학습자와 교사는 저부담 평가를 고부담 평가로 인식하여 학습과 학습 전략에 부정적 영향을 주게 된다.69,83 85

In programmatic assessment approaches, enhancing developmental assessment functions through frequent low-stakes performance evaluation and feedback conflicts with the summative use of these assessment data to ensure robust decision making. Learners, as well as teachers, may then face tensions between psychological safety and accountability when experiencing mixed messages . As a result, learners and teachers may perceive low- stakes assessments as high stakes, which impacts negatively on learning and learning strategies.69,83 85

조직 수준에서도 유사한 긴장이 발생할 수있다. [효율적이고 자기 통제적인 평생 학습의 강화]가 교육 개혁의 최우선 과제이지만, 책무성 압력은 ​​교육 기관이 [선발, 규율, 통제의 목적을 위한 평가]에 집중하게 만든다.

Similar tensions may occur at organisational levels: while the enhancement of efficient, self- regulated lifelong learning is a pressing priority in education reform, accountability pressures may result in education institutions focusing on assessment for the purposes of selection, discipline and control.

극성 사고: 평가에 적용

POLARITY THINKING: APPLICATION TO ASSESSMENT

책무성 및 비용 효과에 대한 압력 증가로 인한 긴장감이 발생한다.

increasing pressures for accountability and cost-effectiveness drive tensions

이러한 긴장감은 상충하거나 상반되는 목표, 신념, 가치 사이에서의 복잡한 상호 작용으로 인해 발생하며, 각각은 평가 현실에 대한 동등하게 타당한 견해를 나타냅니다.

tensions arise from the complex interplay among competing or conflicting goals, beliefs and values, each of which represent equally valid alternative views of assessment reality.

복잡한 평가 시스템에서 단순한 'ifs'를 찾는 것은 어려울 수 있기 때문에, 단순한 'either-or' 해결책 또는 'if-then' 전략을 통해 핵심 딜레마를 관리하려는 시도는 효과는 제한적일 수 있습니다 (또는 실패 할 수도 있습니다). 오히려 평가 및 평가 개혁에서 많은 만성적인 문제는 시간이 지남에 따라 필요한 모든 극과 극성 간의 긴장을 반영하며, 지속 가능하고 긍정적 인 성과를 달성하기 위해 관리되어야합니다.

Attempts to manage key dilemmas through simple ‘either–or’ solutions or ‘if–then’ strategies are likely to have limited effectiveness (or might even fail), purely because simple ‘ifs’ may be hard to find in complex assessment systems. Rather, the many chronic issues in assessment and assessment reform reflect multiple tensions between poles and polarities that are all necessary over time and should be managed to achieve sustainable and positive outcomes.

Polarity ThinkingTM 모델을 사용하여 극성을 관리하는 데는보고, 매핑 및 탭핑 / 레버리지 세 가지 필수 단계가 필요합니다.

Use of the Polarity ThinkingTM model to manage polarities involves three essential steps – seeing, mapping and tapping/leveraging

Polarity ThinkingTM을 사용하려면 프로세스에 모든 주요 이해 관계자의 참여가 필요합니다 .28-30

Use of the Polarity ThinkingTM requires the engagement of all key stakeholders in the process.28–30

첫 번째 단계(seeing)는 극성이 있다는 것을 알고 받아들이며, 극성을 식별하고 작동 방식을 이해하는 것입니다. 주요 극성은 평가 문헌을 검토하고 (예 : 본 백서에 제시된 바와 같이) 일상적인 평가 관행에서 직면하는 어려움과 딜레마에 대해 이해 관계자와의 대화를 통해 파악할 수 있습니다.

The first step (seeing)is to know and accept that there are polarities, and to identify them and understand how they work. Key polarities can be identified by reviewing the assessment literature (e.g. as presented in this paper) and by holding conversations with stakeholders about the challenges and dilemmas they face in day-to-day assessment practice.

다음 단계 (매핑)는 각기 다른 가치 또는 관점 (즉, 극)에 딜레마의 근본적인 이름을 부여하고 협업을 통한 대화를 통해 각 pole과 관련된 긍정적인 (위쪽) 결과와 부정적인 (아래쪽) 결과를 식별하는 것입니다. 이를 통해 이해 관계자는 다양한 관점과 전체적으로 딜레마를 탐색 할 수 있습니다.

The next step (mapping)is to give a name to the different values or points of view (i.e. poles) underlying a dilemma and, through collaborative conversation, to identify the positive (upside) and negative (downside) outcomes associated with each of the poles. This will encourage stakeholders to explore the dilemma from multiple perspectives and as a whole.

3 단계 (두드림 / 레버리지)에는 이해 관계자들이 각 극의 단점을 피하면서 두 극의 힘을 최대화하기 위해 채택해야하는 전략이나 행동에 대한 토론을 포함합니다. 동시에 각 극마다 조기 경고 신호가 식별되어 하나의 극점이 다른 극점의 무시에 지나치게 초점을 맞추고 있음을 나타낼 수 있습니다.

Step 3 (tapping/leveraging) involves engaging stakeholders in discussions about strategies or actions that need to be adopted to maximise the upsides of both poles while avoiding the downsides of each pole. At the same time, for each of the poles, early warning signs can be identified to indicate that one pole is being overly focused on to the neglect of the other.

그림 2는 공통 평가 극성에 대한 극성지도의 가상의 예를 나타냅니다. 표준화와 진정성 사이의 딜레마입니다.

Figure 2 presents a (fictitious) example of a Polarity   Map for a common assessment polarity: the dilemma between standardisation and authenticity.

이 그림은 한 극이 집중되고 다른 한 편이 무시 된 경우 (사분면) 양성 결과의 상실과 각 극의 잠재적 한계를 보여줍니다 (낮은 사분면).

The figure also shows the potential limitations of each pole (lower quadrants) and the loss of positive outcomes when one pole is focused on and the other neglected (diagonal quadrants).

그림 3의지도는 양적 (숫자) 평가 방법과 질적 (단어) 평가 방법 간의 극성을 관리 할 수있는 방법의 예를 제공합니다.

The map in Fig. 3 is filled in to provide an example of how the polarity between quantitative (numbers) and qualitative (words) assessment approaches can be managed.

극성지도는 반드시 포괄적 인 것은 아니며 오히려 편향 요소 (즉, 편익)와 단점 (즉, 잠재적 인 해악)을 포함하여 각 극의 가장 영향력있는 핵심 요소에 초점을 둡니다.

Polarity maps are not necessarily comprehensive, but, rather, focus on the key, most impactful elements of each pole, including both the upsides (i.e. benefits) and downsides (i.e. potential harms).

결론

CONCLUSIONS

교육 및 보건 의료 조직의 복잡성과 변화가 계속 커지면서 양 극성과 긴장 상태가 나타날 가능성이 큽니다.

Assessment polarities and tensions are likely to surface with the continued rise of complexity and change in education and health care organisations.

우리는 Polarity Thinking의 렌즈를 통해 평가의 모든 문제를 검토하는 척하지 않습니다. 그것의 "양자 및"접근법은 연구원들이 존재하는 긴장감, 논쟁과 평가 개혁을 촉발하는 방법, 그리고 바람직한 결과를 얻기 위해 배우들이 이러한 긴장을 어떻게 탐색 하는지를 도울 수 있습니다.

We do not want to pretend that all problems in assessment are to be viewed through the lens of Polarity Thinking. Its ‘both–and’ approach may help researchers to clarify the tensions that exist, how they fuel debates and assessment reform, and how actors navigate these tensions to achieve desirable outcomes.

3 Eva KW, Bordage G, Campbell C, Galbraith R, Ginsburg S, Holmboe E, Regehr G. Towards a program of assessment for health professionals: from training into practice. Adv Health Sci Educ Theory Pract (4):897–913. 2016; 21

5 Harris P, Bhanji F, Topps M, Ross S, Lieberman S, Frank JR, Snell L, Sherbino J; ICBME Collaborators. Evolving concepts of assessment in a competency- (6):603–8. based world. Med Teach 2017;

6 Lockyer J, Carraccio C, Chan MK, Hart D, Smee S, Touchie C, Holmboe ES, Frank JR; ICBME Collaborators. Core principles of assessment in competency-based medical education. Med Teach (6):609–16. 2017;

8 Boyd VA, Whitehead CR, Thille P, Ginsburg S, Brydges R, Kuper A. Competency-based medical education: the discourse of infallibility. Med Educ (1):45–57. 2018;

9 Holmboe ES, Sherbino J, Englander R, Snell L, Frank JR; ICBME Collaborators. A call to action: the controversy of and rationale for competency-based (6):574–81. medical education. Med Teach 2017;

10 Krupat E. Critical thoughts about the core entrustable professional activities in undergraduate medical (3):371–6. education. Acad Med 2018;

30 Wesorick B, Shaha S. Guiding health care transformation: a next-generation, diagnostic remediation tool for leveraging polarities. Nurs (6):691–702. Outlook 2015; XXX

Egener BE, Mason DJ, McDonald WJ, Okun S, Gaines 51 ME, Fleming DA, Rosof BM, Gullen D, Andresen ML. The charter on professionalism for health care (8):1091–9. organizations. Acad Med 2017;

Price T, Lynn N, Coombes L, Roberts M, Gale T, 53 Regan de Bere S, Archer J. The international landscape of medical licensing examinations: a typology derived from a systematic review. Int J Health (9):782–90. Policy Manag 2018; 7

39 Nousiainen MT, Caverzagie KJ, Ferguson PC, Frank JR; ICBME Collaborators. Implementing competency- based medical education: what changes in curricular structure and processes are needed? Med Teach (6):594–8. 2017;

44 Tekian A, Hodges BD, Roberts TE, Schuwirth L, Norcini J. Assessing competencies using milestones (4):399–402. along the way. Med Teach 2015; 37

61 Carraccio C, Englander R, Gilhooly J, Mink R, Hofkosh D, Barone MA, Holmboe ES. Building a framework of entrustable professional activities, supported by competencies and milestones, to bridge the educational continuum. Acad Med 2017; 92 (3):324–30.

76 Sebok-Syer SS, Klinger DA, Sherbino J, Chan TM. Mixed messages or miscommunication? Investigating the relationship between assessors’ workplace-based assessment scores and written comments. Acad Med (12):1774–9. 2017;

Massie J, Ali JM. Workplace-based assessment: a 65 review of user perceptions and strategies to address the identified shortcomings. Adv Health Sci Educ (2):455–73. Theory Pract 2016;

Harrison CJ, K€onings KD, Schuwirth L, Wass V, van 67 der Vleuten C. Barriers to the uptake and use of feedback in the context of summative assessment. Adv (1):229–45. Health Sci Educ Theory Pract 2015;

69 Schut S, Driessen E, van Tartwijk J, van der Vleuten C, Heeneman S. Stakes in the eye of the beholder: an international study of learners’ perceptions within (6):654– programmatic assessment. Med Educ 2018; 52 63.

72 Tekian A, Watling CJ, Roberts TE, Steinert Y, Norcini J. Qualitative and quantitative feedback in the context of competency-based education. Med Teach 2017; 39 (12):1245–9.

Med Educ. 2018 Oct 5. doi: 10.1111/medu.13656. [Epub ahead of print]

Managing tensions in assessment: moving beyond either-or thinking.

평가에 관한 학생의 관점: 역량바탕 포트폴리오 시스템의 경험(Med Teach, 2012)

Student perspectives on assessment: Experience in a competency-based portfolio system

FAYSAL ALTAHAWI, BRYAN SISK, STACEY POLOSKEY, CAITLIN HICKS & ELAINE F. DANNEFER

Case Western Reserve University, USA

도입

Introduction

평가 문헌에서 학습자의 목소리는 거의 들리지 않는다(Cilliers et al. 2010).

The voice of the learner is remarkably silent in the assessment literature (Cilliers et al. 2010).

학습자의 주관적인 경험과 평가에 대한 인식은 피드백 수용과 사용에 영향을 미친다.

the learner’s subjective experiences and perceptions of assessment have implications for the acceptance and use of feedback.

평가 프로그램을 설계하고 평가할 때 학습자의 인식이 중요합니다 (van der Vleuten 등, 2012).

when designing and evaluating a program of assessment, learner perceptions are critical to take into consideration (van der Vleuten et al. 2012).

이 연구는 Cleveland Clinic Lerner College of Medicine (CCLCM) 자기 규제 및 반사 실습의 습관을 촉진하기 위해 고안된 역량 기반 평가 시스템에서 4 명의 학습자의 목소리를 들려준다 (Dannefer & Henson 2007, Fishleder 외 2007).

This article gives voice to four learners in Cleveland Clinic Lerner College of Medicine’s (CCLCM) competency-based assessment system which was designed to promote habits of self-regulation and reflective practice (Dannefer & Henson 2007; Fishleder et al. 2007).

모든 평가는 형성적이며, 다양한 출처와 맥락으로부터 수집된다.

All assessments are formative and collected from a range of sources and contexts.

숙련 된 의사 지도교수는 각 학생에게 평가 과정에서 코치 역할을하도록 배정됩니다.

A trained physician advisor is assigned to each student to serve as coach in the assessment process.

정기적으로, 학생들은 [자기 능력을 스스로 평가하는 에세이]와 [판단을 뒷받침하기 위해서 스스로 선정한 평가 증거]로 구성된 형성 포트폴리오를 구성합니다.

Periodically, students construct formative portfolios composed of essays self-assessing their performance in the competencies and self-selected assessment evidence to support their judgments.

매년 말에 학생들은 성취 수준이 내년으로 진급하기에 충분한 지 여부를 결정하기 위해 진급사정위원회에서 검토될 총괄 포트폴리오를 구성합니다.

At the end of each year, students construct summative portfolios that are reviewed by a promotion committee to determine whether or not the level of achievement is sufficient for promotion to the next year.

학생 경험

Student experience

보조바퀴: 포트폴리오 시스템 소개

Training wheels: introduction to the portfolio system

학생들은 역량 기반 평가 시스템으로 전환 할 때 겪는 불확실성을 자세히 설명합니다.

Students detail uncertainty upon transitioning into a competency-based assessment system.

Student 1. 나는 항상 훌륭한 시험 응시자였으며, 저의 교육 경력 전반에 걸쳐 좋은 성적을 얻으려고 저를 잘 지원해주었습니다. 물론 나는 여전히 배우는 것을 좋아하지만, 나 자신에게 증명하는 과정에 대해서도 높이 평가했습니다. 그래서 제가 포트폴리오 평가 시스템 하에서 의대를 시작한 것은 어느 정도 마지 못해합니다. 분명히, 의대는 내가 만난 최고 수준의 지적 엄격함이었고, 나는 스스로를 증명할 준비가되어있었습니다. 그러나 나는 걱정했다. 시험을 치르고 내가 익숙했던 것처럼 성적을 얻는 대신. 개선방법을 찾기 위해 피드백을 성찰해야 했다.

Student 1. I have always been a pretty good test-taker, and that served me well to get good grades throughout my educational career. Of course I still loved learning, but I also appreciated the process of proving it to myself. So it was with a certain degree of reluctance that I began medical school under the portfolio evaluation system. Surely, medical school was the highest level of intellectual rigor I had encountered, and I was ready to prove myself. But I was worried; instead of taking a test and getting a grade like I was used to, I was supposed to reflect on feedback in order to find ways to improve.

소그룹에서 처음 몇 주간, 나는 내가 어떻게해야하는지 알았다. 내가 얼마나 알고 있는지 보여 준다. 그 첫 주 동안 나는 성공하기도 했고 실패하기도 했다. 나는 지식을 전달하는 데 성공했지만, 요점으로 들어가지 못했다. 내 지식 수준에 대한 피드백은 압도적으로 긍정적 이었지만 의사 소통에서 전문성에 이르기까지 필요한 많은 다른 역량을 향상시킬 여지가있었습니다. 이것은 완전히 새로운 경기였습니다.

My first few weeks in those small groups, I did what I knew how to do: show how much I know. I both succeeded and I failed in those first weeks. I succeeded in relaying my knowledge, but failed at getting the point. Feedback for my knowledge level was overwhelmingly positive, but it quickly became clear I had room to improve in many other required competencies, from communication to professionalism. This was a new ballgame.

타는 법 배우기: 시스템을 받아들이고 활용하기

Learning to ride: acceptance and use of the system

학생들은 시스템을 받아들이기를 배우는 과정과 피드백을 최대한 활용하는 과정을 설명한다

Students detail the process of learning to accept and best utilize feedback.

학생 1. 포트폴리오 시스템의 설계와 마찬가지로 필자는 피드백을 향상시키기 위해 특정 계획을 개선하기위한 영역을 타겟팅하기 시작했습니다. 나는 조금 더 듣고 조금 덜 중단했다. 프레젠테이션을보다 명확하고 간결하게 만드는 새로운 방법을 사용했습니다. 나는 말을 기억하는 것만 큼 간단하거나 조용히 유지하는 것처럼 더 잘 의사 소통을했습니다. 보라, 그룹의 역동적 인 모습이 보였다.

Student 1. As was the design of the portfolio system, I started targeting areas to improve upon with specific plans, even if just for the sake of improving my feedback. I listened a little more and interrupted a little less. I used new methods to make my presentations clearer and more succinct. I communicated better, even if it was as simple as remembering to speak up, or to keep quiet. Lo and behold, the group dynamic improved.

이러한 작은 개선점은 계속되었지만 총괄 포트폴리오를 위해 모든 것을 조합해야 할 때, 나는 더 큰 규모로 그것을 성찰하는 나 자신을 발견했습니다. 어떤 유형의 의사와 사람이 되려고 노력하겠습니까? 의견에 대한 나의 태도는 비판에서 건설적으로 바뀌었다. 이 시스템은 필자가 다르게 다루어지지는 않았을 의사가되는 많은 측면에서 향상시키기 위해 나를 위해 일하는 것처럼 보였다. USMLE가 다가올 때 우리 학생들의 집단적 불안에 대한 불안감이 커졌다... 그러나 모두가 뛰어나게 잘 했음을 알게 되니 의심의 여지가 거의 사라져 버렸습니다. 조금이라도, 그들의 지식이 나중에 폭이 넓거나 깊이가 없다고 믿었습니다.

These small improvements continued, but when forced to put it all together for a summative portfolio, I found myself reflecting upon it on a larger scale. What type of doctor and person I would strive to become? My attitude on feedback shifted from the criticism to the constructive. The system seemed to be working for me to improve on many aspects of becoming a doctor that would not necessarily have been addressed otherwise. Even when students’ collective insecurities regarding our knowledge swelled as the USMLE approached,... the doubts were washed away when most still did remarkably well. Few, if any, believed their knowledge to be lacking in breadth or depth afterwards.

보조바퀴 떼기: 자기-동기부여적 접근으로 나아가기

Removing the training wheels: transition to a selfmotivated approach

구조화된 평가시스템에 의존하는 것에서 스스로 자신의 학습에 책임을 지는 형태로 전환됨을 ㅁ

Students describe their transition from reliance on a structured assessment system to personal accountability in their education.

학생 1. 그 이후로, 나는 포트폴리오 시스템을 받아들이는데 편안했다. 사실 나는 더 이상 나 자신에게 prove하는 것이 아니었다. 나는 나를 improve하고 있었다. 임상실습을 거치며, 나는 나의 교육에 대한 나의 모든 접근 방식이 바뀌 었다는 것을 발견했다. 나는 적극적으로 피드백을 찾고 시스템에서 자극(prompt)받지 않고도 행동했습니다. 이 접근 방식은 저의 주위에있는 모든 사람들에게 잘 받아 들여졌으며 압도적으로 긍정적 인 상호 작용을 가져 왔습니다. 

Student 1. From there on, I felt free to embrace the portfolio system. The truth was I was no longer proving things to myself. I was simply improving myself. As I moved through my clinical years, I found my entire approach to my education had changed. I was even actively seeking feedback and acting on it without prompt from the system. This approach in itself was received well by all those around me and resulted in overwhelmingly positive interactions. 

나의 이전 교육 및 학부에서, "현실로 나가면" 상황이 달라질 것이라는 말을 항상 들었다. 나는 그 말이 늘 우수웠는데, 교육경험의 요점이 나를 그 세계에 맞게 준비시키는 것이라고 믿었기 때문이다. 포트폴리오 시스템에서, 나는 무엇이 오든간에 스스로 준비되어있기 위해 세상에서 배우는 방법을 발견했습니다.

In my previous education and as an undergraduate, I had always heard that things would be different when I got ‘‘out into the real world.’’ I always found that silly because I believed that the point of the educational experience was to equip me for the world. In the portfolio system, I have discovered how to learn from the world in order to equip myself for whatever is to come.

고찰

Discussion

우리 학생들의 포트폴리오 시스템에 대한 초기 회의론은 주로 포트폴리오 기반 접근법에 대한 본질적인 우려보다는 성적이 없는 것 때문이었다는 것을 발견하는 것은 다소 놀라운 일이었습니다. 겉으로 보기에는, 학생들은 참신한 피드백 시스템을 이용할 수 있었지만 처음에는 자신의 수행에 대한 '객관적인'척도를 놓치기를 주저했다.

It was somewhat surprising to find that our students’ initial skepticism with the portfolio system was primarily due to the lack of grades, rather than any intrinsic concerns about the portfolio-based approach. Seemingly, the students were open to utilizing a novel feedback system, but were initially quite hesitant to let go of ‘‘objective’’ measures of their performance.

그러나 일부 학생들의 이야기는 성적이 없는 것이 피드백 시스템에 대한 성찰적 접근 방식을 내부화하기 위한 촉매제였다고 지적했습니다. 예를 들어, 학생 2는 성적의 상실로 인해 교육이 의무mandate이라기보다는 기회로 간주되기 시작했다고 언급했다. "학생 3은 유사하게 외적 동기에서 내적동기 부여로의 전환을 언급했다. 커리큘럼 마감일을 가이드로 삼기보다는, 시스템 거치는 과정에서 지속적인 발전을 위해 스스로의 힘을 사용하기 시작했습니다. "

However, some student’s stories have put forth that the lack of grades was in itself a catalyst for internalizing the reflective approach to the feedback system. Student 2, for instance, notes that with the loss of grades he ‘‘began to view education as an opportunity rather than a mandate.’’ Student 3 similarly addressed the shift from external to internal motivation by commenting that, ‘‘instead of using curriculum due dates as guidelines, I began to use my own gauge for continued movement through the system.’’

네 명의 모든 학생들은 모두 포트폴리오 시스템이 이전의 성적 기반 시스템에는 없었던 방식으로, 특히 자기 성찰기술과 관련하여 향상시켰다고 지적했습니다.

All four students independently indicated that the portfolio system had education in ways enhanced their that prior grade-based systems had not, particularly concerning self-reflective skills.

학생들은 포트폴리오 시스템의 과정 자체가 성적의 존재 또는 부재와 상관없이 성찰적 실천의 발전을 도왔다는 점을 지적하였다. 비록 어떤 경우에는 이러한 과정은 성적 기반 시스템의 부재로 인하여 부차적으로 이루어진 향상이었다. 왜냐하면, 퍼포먼스를 평가하기 위해서 피드백에 대한 의존도고 높아졌기 때문이다.

Students do note that the process of the portfolio system in itself aided the development of reflective practice, independently of the presence or lack of grades. Although in some instances, it also appeared that this process was enhanced secondarily by the lack of a grade-based system due to increased dependence upon feedback to assess performance. 

또한 2 명 이상의 의대생이 USMLE 1 단계에서 자신의 점수를 인용하며, 이러한 비-테스트 기반 포트폴리오 시스템의 성공에 대한 또 다른 증거를 보여줍니다. USMLE 시험점수를 언급 한 학생들은 의대 첫 2 년 동안 얻은 지식에 자신감을 주었다고 언급했다.

It is also interesting that more than one medical student cited their score on the USMLE Step 1 examas further evidence of the success of this non-test-based portfolio system. The students who mentioned the exam noted that it gave them confidence in the knowledge they had gained during the first 2 years of medical school.

[중요한 피드백을 수용하는 것]을 배운 후에 포트폴리오 시스템을 수용하는 방향으로의 전환이 발생했습니다.

The transition toward acceptance of the portfolio system developed after learning to embrace critical feedback.

보편적으로, 학생들은 일단 포트폴리오 시스템의 "겪고 나면" 피드백을 바라보는 관점이 달라진다고 말하였다. 이러한 관점의 변화는 "부족함"이 아니라 "장점의 강화"로의 긍정적인 변화를 포함합니다. 네 명의 학생들은 예정된 피드백과 첫 번째 포트폴리오 작성을 하는 때가 피드백에 대한 관리 외에도 그에 대한 성찰을 배우는 시점이라고 히야기했다.

Universally, students described a reframing in their view of feedback once they had ‘‘gone through the motions’’ of the portfolio system. This reframing involves a positive shift from ‘‘deficit thinking’’ to ‘‘proficiency strengthening.’’ All four students cited receiving scheduled feedback and the writing of the first portfolio as a time where they learned to not only manage their feedback, but reflect on it.

피드백을 가지고 성찰하는 방법의 예로는...

• 개별 의견에 초점을 맞추는 것보다 피드백의 전반적 추세를 파악하는 것, 

• 정기적으로 피드백에 대해 성찰하는 것

• 개선에 초점을 둔 목표 계획 수립

Highlighted methods included identifying trends in feedback rather than focusing on individual comments, reflecting on feedback on a regular basis, and making targeted plans for improvement.

포트폴리오 시스템은 피드백에 대한 성찰적 접근 방식의 내면화를 돕는 과정은 자전거를 타는 것을 배울 때 '훈련 바퀴'를 떼어가는 메타포를 사용하여 설명할 수 있다. 시스템은 성찰 방식을 실행하기위한 프레임워크를 제공합니다. 이 방식은 이상적으로 '교육용 바퀴'가 제거됨에 따라 학생의 제2의 성격이됩니다.

We use the metaphor of ‘‘training wheels’’ on a bicycle to describe the process by which the portfolio system aides in the internalization of the reflective approach to feedback. In this scenario, the system provides a framework for which to practice this reflective approach, which would ideally become second-nature as the ‘‘training wheels’’ are removed.

그러나 학생들이 평가 시스템에서 역량을 다루기가 어렵다는 것은 예상치 못한 발견이었다.

One unexpected finding, however, was that students hardly addressed the competencies of the assessment system

여러 서술에서 볼 때, 역량이 성찰과정의 내면화에 중요한지 여부는 불분명하다. 한 가지 가능성은 역량의 정의가 학생들이 성찰 과정에 대해 이해함에 있어서 중요한 역할을하지 않는다는 것입니다.

Whether the competencies are important for the internalization of the reflective process is unclear from these narratives. One possibility is that the competency definitions do not play an important role in the students understanding of the reflective process.

각 학생의 이야기는 의과대학의 첫 몇 년 동안 학생들의 교육적 접근법을 재구성하는 포트폴리오 시스템의 역할을 설명해준다. 또한 학생들은 의대 후반기에 포트폴리오 시스템이 덜 구조화 되더라도 이러한 성찰습관을 유지하는 방법을 자세히 설명했습니다.

Each story cites the role of the portfolio system in reshaping their educational approach during the first few years of medical school. The students also detailed how they learned to maintain these reflective habits when the structure of the portfolio system decreased during the latter years of medical school.

임상 로테이션을 완료 한 학생들은 어떻게 레지던트 및 주치의에게 서면 의견 및 구두 의견을 적극적으로 요청하였는지 설명했습니다. 특히, 학생들은 다음과 같은 노력을 언급했다.

• 임상 로테이션 시작시 임상 멘토로부터 개선이 필요한 영역에 대한 피드백을 찾고,

• 진행progress 과정을 측정하기 위해 계속적으로 피드백을 추구하며

• 심지어 피드백을 거의 주지 않는 것이 일반화된 기관에서조차 이러한 접근법을 사용함

Students who had completed clinical rotations described actively seeking both written and verbal feedback from residents and attendings. Specifically, students mentioned their efforts in 

• seeking targeted feedback for areas of self-improvement from clinical mentors at the start of clinical rotations, 

• continually pursuing feedback throughout rotations to gauge progress, and 

• even using this approach in institutions where minimal feedback was the norm.

학생들은 성찰과정의 내면화 과정에서 포트폴리오 프로세스와 형성적 피드백의 역할에 대해 높이 평가했지만, 학생들의 결손사고deficit thinking를 재구성 할 때 포트폴리오 시스템의 역량 플랫폼이 어떤 역할을하는지는 불확실합니다.

While these students appreciate the role of the portfolio process and formative feedback in the internalization of reflective practice, it remains unsettled what role the competency platform of the portfolio system plays in the reframing of students’ ‘‘deficit thinking.’’

Med Teach. 2012;34(3):221-5. doi: 10.3109/0142159X.2012.652243.

Student perspectives on assessment: experience in a competency-based portfolio system.

포트폴리오 기반 평가프로그램의 근거: 학생은 근거로 무엇을 선택하는가?(Med Teach, 2012)

Evidence within a portfolio-based assessment program: What do medical students select to document their performance?

ELAINE F. DANNEFER1, S. BETH BIERER1 & SOPHIA P. GLADDING2

1Case Western Reserve University, USA, 2University of Minnesota, USA

도입

Introduction

단일 스냅 샷은 전체 퍼포먼스 그림을 구성하는 데 충분하지 않습니다.

A single snapshot will not suffice to form an overall picture of performance.

의학 교육자로서의 우리의 과제는 연수생의 능력에 대한 유효한 결론을 도출하는 데 필요한 '성과 스냅 샷'의 유형과 양을 결정하는 것입니다.