형성평가에 집중하기: 학생의 성장과 발달을 목적으로 하는 평가시스템 (Acad Med, 2016)

형성평가에 집중하기: 학생의 성장과 발달을 목적으로 하는 평가시스템 (Acad Med, 2016)

Focusing on the Formative: Building an Assessment System Aimed at Student Growth and Development

Lyuba Konopasek, MD, John Norcini, PhD, and Edward Krupat, PhD

학생들에게 피드백과 지침을 제공함으로써 형성 평가는 학습과 성과에 긍정적 인 영향을 미친다. 2,3 형성평가는 자기 조절 학습과 informed-자기 평가의 필수적인 요소이다.

By providing feedback and guidance to students, formative assessment has positive effects on learning and performance.2,3 It is an essential element of self-regulated learning4,5 and informed self-assessment.6

총괄 평가를 수행 할 때 우리는 교육자보다는 규제자regulator로서의 역할을 하게 된다. 포괄적인 평가가 반드시 필요한 것은 사실이지만, 우리의 평가 초점은 훨씬 더 넓어 져야합니다. 교육자는 형성평가를 통해 정보를 전달하고, 가치를 심어주고, 우수성과 지속적인 학습을 유도하게 된다.

when practicing summative assessment, we are acting far more as regulators than educators. Although summative assessment is certainly necessary, our assessment focus must be far broader. The educator’s role, accomplished via formative assessment, is to impart information, instill values, and inspire excellence and ongoing learning.

현재 교육트렌드에서의 형성평가

Formative Assessment in Light of Current Educational Trends

학습 결과와 특정 학습 목표를 연결하는 역량 기반 평가에서는 지속적이고 빈번한 평가가 필요합니다 .11,12 자기 주도적 평가 추구 행동 (self-directed assessment-seeking behavior)과 같은 활동을 통해 학습자를 적극적으로 참여시키는 것이 역량 기반 의학 교육의 필수 구성 요소로 간주됩니다.

Competency-based assessment that links learning outcomes with specific learning objectives requires continuous and frequent assessment.11,12 Actively engaging the learner, through activities such as self-directed assessment- seeking behavior,13 in which students actively seek feedback on performance for the purpose of improvement, is considered an essential component of competency-based medical education.12

학부 의학 교육에서의 형식 중심 평가 시스템의 사례

The Case for a Formatively Focused Assessment System in Undergraduate Medical Education

LCME는 학부 의학 교육 (UME)의 요구 사항으로서 형성 평가를 요구했으며, 이는 학생들로부터 재교육을 목적으로 midclerkship 또는 midcourse 피드백을 주는 것이다.

The Liaison Committee on Medical Education (LCME) has mandated formative assessment as a requirement in undergraduate medical education (UME) through midclerkship and/ or midcourse feedback to students for remediation purposes.14

피드백이 예상되고 존중되며 모든 학습자에게 정기적으로 주어지는 음악 및 스포츠와 같은 다른 전문 교육 문화와는 달리, 의학 교육에서는 진정한 피드백 문화를 육성하지 못했습니다 .15,16

Unlike other professional training cultures such as music and sports, in which feedback is expected, respected, and given regularly to all learners, we have not yet cultivated a true feedback culture in medical education.15,16

오늘날 일반적으로 사용되는 형성평가는 서로 의사 소통을하지 않는 의사들이 각자 독립적으로 수행하는 일련의 펀치 생검에 비유 될 수 있습니다. 이러한 평가는 context-dependent하며, 종종 대충대충 이루어지고, 학습자가 잘 지내고 있는지 확인하는 데 중점을 둡니다. 이러한 평가는 매우 심각하지 않으며 학생들이 "학점에 반영되지"않기 때문에 진정으로 가치를 평가받지 못합니다. 잠재적 인 문제를 발견하는데 도움이 되지만, 대개 remedial 과정은 교사의 수업 시간으로 제한됩니다. 부정적이든 긍정적이든 정보는 후속 강좌 및 강사에게 거의 전달되지 않습니다.

Formative assessments typically used today could be likened to a series of punch biopsies performed by independent physicians who do not communicate with each other. They are highly context dependent, often done on the fly, and focused on ensuring that the learner is doing well. These assessments do not go very deep, nor are they truly valued by the students because they do not “count for a grade.” They may uncover a potential problem, but remediation efforts are usually limited to the time of that teacher’s course. Information, negative or positive, is rarely passed on to future courses and instructors.

평가는 서로 무관한 일련의 사건이기보다 조직적이고 지속적인 프로세스의 일부일 때 가장 유용하다고 제안합니다. 평가과정은 다음과 같은 정보를 만들어야 한다.

• (1) 학생들에게 그들의 성과에 대해 알리는 상세한 피드백으로 체계적으로 번역되는 정보 

• (2) 교수가 지원하고지도하는 개선을위한 특정 계획을 개발하게 하는 정보

• (3) 학생들은 진도의 증거를 제시해주는 정보

• (4) 시간이 지남에 따라 계속되는 주기의 일부로서의 정보. 

We suggest that assessment is most useful when it is part of an organized and ongoing process rather than a set of unrelated events. The process should generate information that 

(1) is systematically translated into detailed feedback that informs students about their performance, 

(2) leads to the development of specific plans for improvement supported and guided by faculty, 

(3) is subject to follow- through whereby students present evidence of progress, and 

(4) is part of a continuous cycle over time. 

그러한 과정은 학습자가 의학의 질적 향상에 일반적으로 사용되는 체계 인 개인적이고 교육적인 PDSA주기 (그림 1 참조)에 참여하도록 권장합니다.

Such a process would encourage the learner to engage in a personal, educational plan–do–study–act (PDSA) cycle (see Figure 1), a commonly used framework in quality improvement in medicine,17

대학원 의학 교육 (GME)의 차세대 인증 시스템은 형성 및 총괄 평가를  단일 시스템으로 통합하여 체계적으로 모아서 학습자와 의도적으로 공유함으로써 궁극적으로 최종 합계 결정을 알려줍니다.

The Next Accreditation System18,19 in graduate medical education (GME) integrates formative and summative assessments into one system, with formative data gathered systematically and shared deliberately with the learner over time, ultimately informing the final summative decision.

마일스톤은 형성평가를 위한 틀을 제공하고, 수련 프로그램 과정에서 레지던트가 역량을 달성하고 독립적 인 진료행위를 준비해갈 수 있도록 종적, 발달 적 접근을 촉진하기위한 것입니다. 이 새로운 평가 시스템은 performance가 아니라 learning에 관심을 가지게 하며, 이는 UME 평가를 지지하는 것과 거의 같은 방식이다.

Milestones are intended to serve as a framework for formative assessment20 and to promote a longitudinal, developmental approach, over the course of a residency program, to achieving competence and becoming ready for independent practice. This new assessment system shifts attention away from performance and instead emphasizes learning in much the same way that we are advocating for UME assessment.

UME에 집중적으로 집중 한 평가 시스템 구축에 대한 도전

Challenges to Building a Formatively Focused Assessment System in UME

대조적으로, UME에서의 평가에 대한 도전 과제는 상당히 다양합니다. 교수들은 기대역량에 대한 명확한 기준이 없으며, 잠재적으로 자신의 분야에 들어올 가능성이 낮은 학습자에게 투자를 덜 한다. 더욱이 학생들은 개인적인 성취도와 경쟁 우위에 초점을 둔 문화에서 의대에서 건설적인 피드백을 받거나 신뢰할 준비가 되어있지 않다. 긍정적인 피드백이 아닌 모든 것은 학생들을 "경쟁에서 뒤떨어지게"한다고 여긴다. UME의 교수들은 종종 자신을 지식의 전달자로 간주하여 평가를 다른 사람들에게 넘긴다. 더우기 교수들이 학생들을 만나는 시간이 일반적으로 짧기 때문에 교사들은 어떤 형태의 평가를 통해 학생들의 강점과 단점을 알게 되는 순간, 학생은 이미 다른 교수에게 가 있다.

In contrast, the challenges for assessment in UME are considerably more diverse; faculty might be uncertain about expected standards of competence and potentially less invested in learners who are not entering their field. Further, students often come to medical school from a culture that focuses on individual achievement and competitive advantage,21,22 and they may not be prepared to accept constructive feedback or to trust that anything but positive feedback will somehow put them at a “competitive disadvantage.” They may not see the value of formative assessment if it does not “count towards the grade.” Teachers in UME often view themselves narrowly as imparters of knowledge, leaving assessment to others. Compounding the problem, their exposure to students is typically brief, so that by the time teachers come to know their students’ strengths and shortcomings through some form of assessment, the students become someone else’s “gift,” if they are strong—or “burden,” if they have challenges.

형성평가 중심적 시스템의 개념적 토대

Conceptual Underpinnings of a Formatively Focused Assessment System

형성평가를 강조하는 평가 시스템은 개선을 포용하고 지원하는 문화에서만 번성 할 수 있습니다. 대부분 개인의 방향을 언급하면서, 심리학자 캐롤 드벡 (Carol Dweck)은 "수행"오리엔테이션 과 "학습"오리엔테이션을 구별했다. 23,24 

• 전자를 평가하는 시스템에서 학생들은 잘 보이기 위해, 다른 사람에게 호감을 얻고자 한다. 이러한 방향으로 학생들은 오류를 숨기고, 불확실성을 숨기거나 거부하며, 피드백을 징벌 적으로보고 일반적으로 피해야합니다. 

• 대조적으로 학습 오리엔테이션은 학생의 목표가 향상되는 것인데, 당면 과제 또는 기술에 대한 숙달을 얻는 것입니다. 학습 오리엔테이션을 통해 학생들은 조언을 얻기 위해 자유롭게 불확실성을 인정합니다. 의견은 향상시킬 수있는 방법과 방법을 확인하는 방법으로 환영받을 것입니다.

An assessment system that emphasizes the formative can only thrive in a culture that embraces and supports improvement. Referring largely to individual orientations, psychologist Carol Dweck has distinguished between a “performance” orientation versus a “learning” or “mastery” orientation.23,24 In the system that values the former, students have the goal of looking good, to make others think favorably of them. With such an orientation, students are prone to hide errors, mask or deny any uncertainty, and view feedback as punitive and generally to be avoided. In contrast, a learning orientation is one in which the student’s goal is to improve—to gain mastery over the subject or skill at hand. With a learning orientation, students would freely admit uncertainty in order to gain advice and counsel. Feedback would be welcomed as a way of ascertaining where and how to improve.

형성 평가가 효과적이기 위해서는 의대에서 학습 오리엔테이션이 번창 할 수있는 문화를 창조 할 수 있어야합니다. 이것은 의과 대학의 첫 날에 학생들이 위험을 감수하고 자신의 강점과 도전을 드러낼 수 있다고 들을 때 시작되며 교과 과정 전반에 걸쳐 그 원칙이 강화됩니다.

For formative assessment to be effective, a medical school can (and must) create a culture in which a learning orientation can thrive. This begins on day one of medical school, when students are told that they can take risks and expose both their strengths and challenges, and that principle is reinforced throughout the curriculum.

Vygotsky의 근 지구 ​​발달 지대 (ZPD) 이론은 형식 중심의 평가 시스템에 정보를 제공하는 데 유용합니다. ZPD는 학생의 능력의 한계에있는 지식이나 기술, 도전을 받았지만지도를 통해 달성 할 수있는 지식 "기술"이라고 정의됩니다. 

Vygotsky’s26 theory of the Zone of Proximal Development (ZPD) is also useful in informing a formatively focused assessment system. The ZPD is defined as..

the “learning edge”: the knowledge or skills that are at the limits of a student’s competence, the ones by which they are challenged but that are achievable through guidance. 

비고츠키에 따르면, 특정 분야를 마스터 한 "지식이 풍부한 다른 사람"이 ZPD에서 학습자를 지도해야합니다. 이 코칭에서 형성평가가 중요합니다. 교수진이 ZPD에서 "지식이 풍부한 다른 사람"로 역할을 하고, 이를 위해 학생들과의 신뢰를 구축하는 것은 성과에 대해 학습하는 것을 장려하는 교육 시스템을 향한 진정한 문화 변화가 될 것입니다.

According to Vygotsky, a “knowledgeable other,” someone who has mastered the area already, needs to coach learners in their ZPD. Formative assessment is critical to this coaching. Empowering faculty to function as “knowledgeable others” in the ZPD and building the trust of the students that faculty will function in this way would be a real culture shift toward an educational system that encourages learning over performance.

UME에서 형성평가에 초점을 둔 시스템 도입

Implementing a Formatively Focused Assessment System in UME

요소

Elements

사실상 모든 평가 접근법은 형성평가에 사용할 수 있으며, 다만 자기 반성을 장려하고 학습지도, 안내 및 촉진에 사용되는 피드백 제공에 중점을 두도록 고안되기만 하면 된다.

Virtually all assessment approaches can be used in formative assessment, as long as they are specifically devised to emphasize providing feedback that encourages self-reflection and are used to direct, guide, and catalyze learning.

특성

Characteristics

List 1 highlights the characteristics of an institutional culture

기관문화의 특성

List 1 Institutional Characteristics of a Formatively Focused Assessment System

기관에서 형성평가는...

• 체계적이고 통일 된 체계의 특성을 지니면서 조직되고, 통합되고 포괄적이어야합니다

• 총괄 평가 시스템을 보완한다. 시스템을 매핑 할 때 교육자는 형성적 요소와 총괄적 요소의 목적과 최적 사용을 고려해야합니다.

• 다양한 출처에서 다양한 형태로 데이터와 피드백을 제공합니다.

• central stewardship과 local accountability를 겸비한다. 의과 대학 지명 위원은 두 평가 기능이 서로 보완 할 수 있도록 형성 및 총괄 평가 시스템을 감독해야합니다.

• 학습자의 전체 기간 동안 지속적인 프로세스로 간주되어 여러 시점에서 구현됩니다.

• 피드백 및 개선 토론이 학습자와 교사라는 개인 사이의 정보 전달이 아니라 팀 노력의 일부가되도록 평가 데이터의 체계적인 수집 및 활용을 포함시킵니다.

• 개선의 책임은 학습자와 교사 모두에게 맡기고, 진행 상황을 찾고 모니터링하는 데 책임을 지도록하십시오.

• 피드백을 효율적으로 찾고, 받고, 사용하는 방법에 관한 학습자 세션을 포함시킵니다.

• 교사가 학습자의 자기 개선을 장려하기위한 적절한 동기 부여 기법을 사용하여 코치로 참여하는 법을 배울 수 있도록 교수진 개발 세션을 포함시킵니다.

Institutionally, a formative assessment system should:

• Be organized, integrated, and comprehensive, having the characteristics of a coordinated and uni ed system.

• Be complementary to the summative assessment system. In mapping a system, educators should consider purpose and optimal use of formative and summative elements.

• Provide data and feedback in many different forms from a variety of sources.

• Have both central stewardship and local accountability. A designee of the medical school should oversee both formative and summative assessment systems to ensure that both assessment functions are serving to complement one another.

• Be seen as a continuous process over the learner’s entire tenure and implemented at multiple points in time.

• Include systemic collection and utilization of assessment data so that feedback and improvement discussions become part of a team effort rather than a private transfer of information between learner and teacher.

• Place responsibility for improvement on both learner and teacher, and hold both accountable for seeking and monitoring progress.

• Include learner sessions on how to effectively seek, receive, and use feedback.

• Include faculty development sessions so that teachers can learn how to engage as coaches, using appropriate motivational techniques to encourage self-improvement in learners.

List 2 articulates attributes of this culture’s learner–teacher relationship.

교사-학습자 관계

List 2 Learner–Teacher Relationship in a Formatively Focused Assessment System

형성평가에서 학습자와 교사의 관계는 다음과 같아야 한다.

Interpersonally, the nature of the student–teacher relationship in a formative assessment should:

• 발달적이다. 평가자와 학생 모두 적절한 표식과 교수가 학생이 다음 단계에 도달 할 수있는 방법을 알릴 수 있도록 마커 또는 마일스톤을 배치해야합니다.

• 학습자 중심이다. 평가 방법은 학생의 학습 목표와 관련되어야하며 학생의 수행은 외부 수행 측정과 관련되어야합니다.

• 개선을 중시한다. 학습자는 지속적인 개선을 위해 끊임없이 노력하고 최소한의 능력으로 시험 점수를 수락하고 새로운 과목으로 옮기기보다는 우수성을 열망해야합니다.

• 학생들의 자기 반성을 장려하십시오. 학생들은 자체 평가 능력을 향상시키고 성과 향상을 위해 피드백을 사용하는 기술을 내부화 할 수 있도록 자신의 성과 평가에 대한 책임을 져야합니다.

• 광범위한 평가 데이터를 활용하여 학습자의 사고 프로세스 및 다양한 차원의 성과를 탐구하도록 유도하십시오.

정기적으로 예정된 피드백을 학습자에게 참여시켜 루프를 닫습니다. 피드백은 정기적으로 스케줄링되어야하며, 학습자가 지속적으로 향상시킬 동기를 부여하기 위해 실질적이고 구체적이어야합니다.

• 관계 구축을 장려하십시오. 피드백은 학습자와 교사 간의 유대감을 강화하기 위해 코칭을 중심으로 직접 대면해야합니다.

• 학습자가 계속해서 성과 문제에 대해 책임을 지는지 확인하기위한 후속 조치를 포함시킵니다.

• 막연한 격려가 아닌 개선 방향 및 자원을 학습자에게 제공하고 학습자가 개선을위한 자신의 전략을 식별하도록 권장합니다.

• 피드백 대화의 본질과 그것을 더욱 효과적으로 만드는 방법에 대한 교사의 자기 반성을 장려하십시오.

• Be developmental. Markers or milestones must be laid out for both assessors and students so that they have a sense of the proper expectations and faculty can communicate how student may reach the next level.

• Be learner centered. Assessment methods should relate to the student’s learning goals, and the student’s performance should be related to external measures of performance.

• Be improvement focused. Learners should be encouraged to work constantly towards continuous improvement and aspire to excellence rather than accepting a test score, even minimal competence, and then moving on to a new subject.

• Encourage student self-reflection. Students should be encouraged to take responsibility for assessing their own performance so as to improve skills in self-assessment and internalize skills for using feedback to improve performance.

• Draw on a broad range of assessment data, which encourage exploration of the learner’s thinking process and multiple dimensions of performance.

• Involve regularly scheduled feedback to the learner to close the loop. Feedback must be regularly scheduled rather than exclusively “on-the-fly,” and be substantive and specific to motivate the learner to continue improving.

• Encourage relationship building. Feedback should be given face to face, with a coaching focus so as to strengthen the bond between learner and teacher.

• Include follow-up to ensure that the learner is accountable for continuing to work on performance issues.

• Provide learners with directions and resources to improve, rather than just vague encouragement, and encourage the learners to identify their own strategies for improvement.

• Promote teacher self-reflection on the nature of the feedback conversation and ways of making it more effective.

인프라

Infrastructure

역량 기반 평가 시스템의 토대는 성취에 대한 일련의 기대치입니다.

The foundation of any competency-based assessment system is a set of defined expectations for achievement.

잘 정의 된 성취 마커의 토대 위에는 형식 중심의 평가 시스템을 지원하는 네 가지 기둥, 즉 교수 개발, 학습자 개발, 장기 어드바이저 및 코칭 프로그램, 문서 작성 방법이 있습니다.

On this foundation of well-defined markers of achievement stand four pillars to support the formatively focused assessment system: faculty development, learner development, a longitudinal advising and coaching program, and a method for documentation.

교수개발

Faculty development.

효과적인 학생 - 교사 관계를 구축하는 것은 최적의 학습에 필수적이며 이것은 명시적으로 가르 칠 수 있습니다 .34 피드백 전략은 학생 - 교사 관계를 구축하고 학습자가 개선을위한 자체 전략을 스스로 평가하고 개발하도록 도전해야합니다. ask-discuss-ask 피드백 프레임 워크는 이러한 목표를 달성하기 위해 고안되었습니다.

Building an effective student–teacher relationship is essential to optimal learning and can be taught explicitly.34 Feedback strategies should be tailored to building the student–teacher relationship and challenging learners to self-assess and develop their own strategies for improvement. The ask–discuss–ask feedback framework35 is designed to achieve these goals.

마지막으로 교수진은 비고츠키의 ZPD에서 "지식이 풍부한 타자"의 역할을 하도록 교육 받아야하며, 학생들이 자신의 "학습 장점"을 발견하고 공유하고 개선을 위해지도하도록 권장해야합니다.

Finally, faculty need to be trained in Vygotsky’s ZPD, to serve as the “knowledgeable other,” encouraging students to discover and share their “learning edge” and coaching them for improvement.

학습자 발달

Learner development.

피드백, 발달 및 성장주기에 참여하기 위해 의대생을 훈련시키는 과정은 학생들이 자신의 한계를 인정하고 피드백을 얻는 과정이 안전하며, 심지어 보상받는 것처럼 느끼는 학습 / 숙달 문화를 만드는 것으로 시작됩니다.

The process of training medical students to become engaged in the cycle of feedback, development, and growth begins with creating a learning/mastery culture where students feel safe, even rewarded, for acknowledging their limitations and seeking feedback.

종단적 학문적 조언과 코칭

Longitudinal academic advising and coaching.

우리가 제안하려는 시스템에는 교수들이 조언자(학생)에게 밀접하게 투자되고 학생이 교수를 가치있는 자원으로 보게되는 종단 학업 상담 프로그램은 필수적입니다. 어드바이저는 학생들의 총괄평가와 형성평가에 액세스 할 수 있으며 개별 학습 계획 (ILP)을 개발하는 데 도움을 줄 책임이 있습니다.

A longitudinal academic advising program, in which faculty members become closely invested in their advisees and students come to see faculty as valuable resources, is essential to our proposed system. Advisors would have access to students’ summative evaluations, as well as formative evaluations, and would be responsible for assisting them in developing individual learning plans (ILPs).38

교사와 학습자 사이의 신뢰 관계를 수립하는 것은 지속적인 장기간의 관계를 통해 달성되는데, 이는 주로 임상 코칭 프로그램보다 조언 프로그램에서보다 쉽게 ​​구현된다. 왜냐하면 학생은 로테이션 블록이 짧고, 교수들은 입원환자 블록이 짧기 때문이다.

establishing a trusting relationship between teacher and learner is achieved through sustained, longitudinal relationships, more easily implemented in an advising program than in a clinical coaching program, given the short curricular rotation blocks for students and shorter inpatient blocks for faculty.

그러나 많은 학교에서는 종일 학생 - 교사 경험을 구조화하는 것이 현실성이 낮다는 것을 발견했다,

However, many schools have not found it feasible to structure longitudinal student–teacher experiences,

UME에서 학생들에 관한 정보를 공유하거나 "forward feeding"에 관한 많은 논쟁이 있습니다. 어떤 사람들은 자기 실현적인 예언, 라벨링, 잠재적 인 낙인 찍힘의 위험에 대해 경고하고, 다른 사람들은 올바르게 끝나면 학생의 이익을위한 정보를 공유하는 것이 의미있는 종단 평가에 기여하고 더 나은 의사를 개발한다고 주장한다. 사실, 대다수의 내과 전임 강사가 승인했으며 학생 교육 전반에 걸쳐 형성 평가를 체계화하고 학습 결과에 대한 책임을 증진시키는 데 중요한 요소가 될 수 있습니다.

Much controversy surrounds sharing information about students, or “forward feeding,” in UME. Some have warned about the dangers of self-fulfilling prophecies, labeling, and potential stigmatization, while others argue that when done correctly, sharing information for the student’s benefit contributes to meaningful longitudinal assessment and develops better doctors.43–45 In fact, forward feeding has been endorsed by a majority of internal medicine clerkship directors46 and may be a critical element of systematizing formative assessment throughout a student’s education and promoting accountability for learning outcomes.

학습과 평가의 연속성을 일반화하는 한 가지 방법은 교사와 학습자 모두에게 정보를 전달하는 것입니다.

One way to generalize the continuity of learning and assessment is to charge both teacher and learner with carrying information forward.

문서화

Formative documentation.

학습 활동, 달성 된 역량 및 주어진 피드백에 대한 필수 문서화는 형식에 중점을 둔 평가 시스템에서 필수적입니다. 성적표는 요약 평가의 공식 문서로 사용되지만, 학습자가 심각한 어려움을 겪지 않는 한 조형 평가는 종적으로 문서화 될 가능성이 적습니다. 많은 사람들이 총괄적인 목적으로 엄격하게 사용되었지만 개발 능력을 문서화하기 위해 포트폴리오를 동등하게 사용할 수 있습니다.

Required documentation of learning activities, competence achieved, and feedback given is essential in a formatively focused assessment system. While the transcript serves as a formal documentation of summative assessment, formative assessment is less likely to be documented longitudinally unless a learner is experiencing serious difficulties. Although used by many strictly for summative purposes, the portfolio can be used equally for documenting developing competence.

자원

Resources

우리가 제안하는 대부분은 새로운 프로그램을 위해서 많은 자본 지출이 필요하다가보다, 문화적 변화에 대한 강력한 지도력과 관리 및 기존 인프라의 재구성이 필요하다.

Much of what we propose demands strong leadership and management of cultural change and a retooling of existing infrastructure, rather than a large outlay of capital for new programs.

결론

Conclusion

형성평가는 폐쇄 루프를 형성하는 여러 구성 요소를 포함하는 연속 프로세스로 간주되어야합니다. 

• 관련된, 유용한 정보를 수집하는 것

• 학생과 그가 상호 작용하는 모든 사람들간에 정보를 공유하는 것; 

• 목표를 달성하기위한 지침 및 자원의 도움을 받아 자기 주도적으로 (그러나 면밀한 감독하에) 학습 목표를 개발

• 목표를 달성하기위한 진전과 장벽을 파악하기 위해 정기적으로 후속 조치를 취해야합니다.

Formative student assessment must be seen as a continuous process involving several components forming a closed loop: 

• collecting relevant, usable information; 

• sharing that information between a student and all those with whom he or she interacts; 

• developing self-directed (but closely overseen) learning goals along with guidance and resources for accomplishing these goals; and 

• regularly following up to identify progress and any barriers to achieving those goals.

예를 들어, 코스가 끝날 때의 인터뷰에서 학생은 강점, 도전 과제 및 학습 목표를 공유하고 교수로부터 피드백을받을 수 있습니다. 학생들은 advisor과 만나서 다음 번 clerkship을 위한 학습 계획을 수립하고 교육용 PDSA주기의 일부로 그것을 공유하고 구현할 준비가되었습니다.

For example, in an interview at the end of a course, a student would share strengths, challenges, and learning goals and receive feedback from a faculty member. Students would then meet with their advisor to develop a learning plan for the next clerkship and arrive prepared to share it and implement it as part of their educational PDSA cycle.

흔히 인정되지는 않지만, 교육에서 지지되는 원칙과 임상 진료의 질적 향상의 원칙 사이의 유사점은 주목할 만하다. 학습자 중심 교육에 대한 관심으로부터 환자 중심의 치료에 대한 헌신은 어떻게 다른가요? 치료의 지속성과 조정은 우리가 환자의 회복뿐 아니라 학생의 발달에 관해 이야기 할 때도 마찬가지로 중요합니다. 평가 및 품질 관리는 시스템의 모든 요소가 동기화되어있는 경우와 격리 된 개인의 기술에 의존하기보다는 함께 일하는 전문가들 간의 팀워크가있는 경우에 가장 효과적입니다. 환자 중심의 치료와 학습자 중심의 교육 모두에서 성공적인 핸드 오프를 수행하고 지속적인 모니터링을 수행하는 방법을 아는 것이 중요합니다. 본질적으로, 의대생의 양질의 형성 평가는 좋은 약의 실습 그 이상이며, 우리가 임상에있는 것처럼 교육 분야에서 헌신적이어야합니다.

Although not often recognized, the parallels between the principles espoused here and those of quality improvement in clinical care are noteworthy. How different is a commitment to patient- centered care from a concern for learner- centered education? Continuity and coordination of care seem equally relevant when we talk about improvement of the student as well as recovery of the patient. Assessment and quality care both work best when all of the elements of the system are in sync, and when we have teamwork among professionals working together rather than relying on the skills of isolated individuals. It is crucial in both patient-centered care and learner- centered education to know how to conduct successful handoffs and engage in constant monitoring. In essence, quality formative assessment of medical students is little more than the practice of good medicine, and we should be as committed to it in the educational sphere as we are in the clinical.

12 Holmboe ES, Sherbino J, Long DM, Swing SR, Frank JR. The role of assessment in competency-based medical education. Med Teach. 2010;32:676–682.

15 Archer JC. State of the science in health professional education: Effective feedback. Med Educ. 2010;44:101–108.

16 Watling C, Driessen E, van der Vleuten CP, Vanstone M, Lingard L. Beyond individualism: Professional culture and its influence on feedback. Med Educ. 2013;47:585–594.

20 Holmboe ES. Realizing the promise of competency-based medical education. Acad Med. 2015;90:411–413.

22 Gunderman RB, Kanter SL. Perspective: “How to fix the premedical curriculum” revisited. Acad Med. 2008;83:1158–1161.

27 van der Vleuten CP, Dannefer EF. Towards a systems approach to assessment. Med Teach. 2012;34:185–186.

28 Dijkstra J, Van der Vleuten CP, Schuwirth LW. A new framework for designing programmes of assessment. Adv Health Sci Educ Theory Pract. 2010;15:379–393.

41 Hirsh DA, Holmboe ES, ten Cate O. Time to trust: Longitudinal integrated clerkships and entrustable professional activities. Acad Med. 2014;89:201–204.

42 Hauer KE, O’Brien BC, Hansen LA, et al. More is better: Students describe successful and unsuccessful experiences with teachers differently in brief and longitudinal relationships. Acad Med. 2012;87:1389– 1396.

---

Acad Med. 2016 Nov;91(11):1492-1497.

Focusing on the Formative: Building an Assessment System Aimed at StudentGrowth and Development.

Konopasek L1, Norcini J, Krupat E.

Author information

1

L. Konopasek is designated institutional official, NewYork-Presbyterian Hospital and associate professor of pediatrics, Weill Cornell Medicine, New York, New York. J. Norcini is president and chief executive officer, Foundation for Advancement of International Medical Education and Research, Philadelphia, Pennsylvania. E. Krupat is director, Center for Evaluation, Harvard Medical School, Boston, Massachusetts.

Abstract

This Perspective addresses the need for an integrated system of formative and summative assessment in undergraduate medical education with a focus on the formative. While acknowledging the importance of summative assessment, which asks whether trainees have met criteria for progression, the authors propose that a formatively focused assessment system can best accomplish a central task of competency-based medical education: transmitting feedback to learners in a format and a manner that will help them to improve, develop, and grow. Formative assessment should not be seen as a set of singular events but, rather, as a process that is organized and integrated over time, much like the cycle of quality improvement in medicine. To justify this position, the authors discuss its conceptual underpinnings and rationale, including the need to prepare learners for the formatively focused assessment system of graduate medical education. Next, the authors identify assessment strategies that could be employed, as well as the characteristics of an institutional culture and the learner-teacher relationship necessary for a learner-centered, improvement-focused assessment system to succeed. Finally, an infrastructure for such a system is proposed. This consists of a foundation of well-articulated and disseminated milestones for achievement and four pillars: faculty development, learner development, longitudinal academic advising and coaching, and documentation of developing competence. The authors conclude by suggesting that the guidelines proposed are analogous to the principles of continuity and coordination of care, so much valued in the world of medicine yet often overlooked in the world of education.

PMID:

 

27028028

 

DOI:

 

10.1097/ACM.0000000000001171