프로그램적평가의 이론적 고려사항(Med Teach, 2020)

프로그램적평가의 이론적 고려사항(Med Teach, 2020)

Theoretical considerations on programmatic assessment

Dario M. Torrea, L. W. T. Schuwirthb and C. P. M. Van der Vleutenc,d

도입

Introduction

PA(Programmatic assessment)는 평가를 시스템이나 프로그램 전체로 보는 평가 접근방식이다(Van der Vleuten and Schuwirth 2005). 최적의 건설적 정렬을 달성하기 위해 의도적인 방법 조합을 사용한다(Bigs 1996). PA의 각 개별 평가는 전형적으로 학습에 최적화된 데이터 지점일 뿐이다. 즉, 데이터 포인트당 합격/불합격 결정이 이루어지는 것이 아니라, 데이터 포인트 간에 충분한 정보를 수집한 후에야 통과/실패 결정을 의미한다. PA에서는 주기적으로 성찰과 자기조절학습이 촉진되는데, 이는 데이터 포인트에서 얻은 정보에 대해 정기적으로 진척 상황을 논의하는 코치(실적 데이터를 수집하여 사용하는 교수진)와 논의하기 때문이다. 충분한 데이터가 수집된 후에야, 일반적으로 (독립적) 평가위원회 형태에서 총괄적 결정이 이루어진다(PA의 핵심 측면에 대한 개요는 표 1 참조). 거의 모든 경우에서 PA는 이른바 학습을 위한 평가AfL라는 철학과 연관되어 있다.

Programmatic assessment (PA) is an approach to assessment in which assessment is seen as a system or a program as a whole (Van der Vleuten and Schuwirth 2005). It uses a deliberate mix of methods to achieve optimal constructive alignment (Biggs 1996). Each individual assessment in PA is merely a data point which is typically optimized for learning. This means that pass/fail decisions are not taken per data point, but only after enough information across data points has been collected. In PA, self-regulated learning is promoted by periodic reflection by the learners on the information received from the data points and with coaches (faculty members who gather and use performance data to stimulate and support students in managing their learning) who regularly discuss the learner’s progression. Only when sufficient data are collected, a summative decision is taken, usually in the form of an (independent) committee of assessors (see Table 1 for an overview of the core aspects of PA). In almost all cases, PA is associated with a so-called assessment for learning philosophy (Schuwirth and Van der Vleuten 2011).

그러나 PA의 이론적 기반은 명확하게 설명되지 않았다.

However, the theoretical underpinnings of PA have not been clearly described.

• 첫 번째 그리고 가장 분명한 이유는 다른 과학 영역과 마찬가지로 의학 교육 뒤의 과학은 이론과 그에 뒤따르는 가설에 대한 실험적인 테스트를 통해 발전하기 때문이다. 

• 또 다른 중요한 이유는 이론이 연구 결과를 이해하는데 중요하며, 특정 현상이 발생하는 이유를 이해하면 교육자들이 한 교육적 맥락에서 다른 교육적 맥락으로 연구 결과를 적용adapt할 수 있다는 것이다(Cianciolo et al. 2013).

• The first and most obvious reason is that, like any scientific domain, the science behind medical education progresses through experimental testing of theories and their ensuing hypotheses. 

• Another important reason is that theories are important for making sense of research findings and that understanding why certain phenomena occur allows educators to adapt research findings from one educational context to another (Cianciolo et al. 2013).

우리는 여기서 경고할 것이 있다. 이 글의 목적은 특정 이론이 PA의 교리를 설명하는데 다른 이론보다 낫다고 주장하는 것이 아니다.

We want to express a caveat here. The purpose of this article is not to argue that one particular theory is better than others to explain the tenets of PA.

표 1. 프로그램 평가의 특성.

Table 1. Characteristics of programmatic assessment.

프로그램은 각각의 개별적인 방법의 강점과 약점이 어떻게 시너지적으로 결합되는지를 바탕으로 의도적으로 복수의 측정도구를 사용한다.

The program uses multiple instruments deliberately based on how each individual method’s strengths and weakness are combined synergistically.

PA의 평가는 학습자의 강점, 약점 및 진행상황에 대한 정보를 수집하고 수집하는 지속적이고 종단적 과정이다.

The assessment in PA is a continual and longitudinal process during which information about the learner’s strengths, weaknesses, and progress is collected and collated.

학습자에 대한 정보는 평가도구 내withn에서 수집되지 않고(예: OSCE의 한 스테이션과 다른 스테이션의 성과를 결합한 결과) 평가도구들 사이의 의도적 삼각 측량(다른 평가 방법의 관련 정보와 함께 OSCE 스테이션에서의 성과)하여 역량에 대한 의미 있는 "진단"에 도달한다.

Information about the learner is not collated within instruments (such as the result on one station in an OSCE being combined with performance on another station) but purposefully triangulated across instruments (performance on the OSCE station with relevant information from another assessment method) to arrive at a meaningful “diagnosis” of competence.

의사결정은 비례적이다; 평가결정의 부담은 그것이 근거하는 정보의 풍부함에 비례한다.

Decision-making is proportional; the stakes of an assessment decision are proportional to the richness of the information on which it is based.

평가 프로세스의 품질과 효용성은 표준 심리측정, 멤버체킹, 포화, 단계별 복제, 전문성 개발 등 다양한 품질 보증 프로세스에 의해 결정된다.

Quality and utility of the assessment process are determined by a variety of quality assurance processes, including standard psychometrics, member checking, saturation of information, stepwise replication, and expertise development.

핵심은 통해 정보를 풍부하게 유지하는 것으로서, 이를 통해서 (환원주의자와 달리) 전체적인holistic 역량의 평가가 가능하다. 한 가지 방법은 포트폴리오를 통한 수집이다.

The focus is on keeping the information rich, for instance through collection in a portfolio, to enable holistic, as opposed to reductionist, assessment of competence.

초기 초점은 학습에 대한 평가 정보를 (단순히 행동주의적인 방식이 아니라) 학습을 위하여, 학습자에게 의미 있는 방식으로 사용하는 데 있다.

The initial focus is on using the assessment information on driving learning in a way that is meaningful to the learner rather than merely behaviorist.

성공적인 학습과 개선은 다른 학생들보다 더 잘하기 보다는 각각의 학생이 될 수 있는 최고의 건강 전문가가 되는 것으로 정의된다.

Successful learning and improvement are defined as becoming the best health professional each student can be, rather than being better than the other students.

핵심은 [피드백을 수용하거나 사용하려 하지 않(못)하거나, 피드백을 학습의 원동력과 개선의 동력으로 사용하지 않(못)으려고 하는] 학습자를 식별하는 데 있다.

The focus is on identifying those learners who are unable or remain unwilling to accept and use feedback and demonstrate using it to drive their learning and to improve.

PA에서는 피드백 루프를 항상 닫혀야 한다.

In PA, the feedback loop has to be closed all the time.

PA는 다소 체계적이고 학교 통제적인 평가에서 자기 소유의 평가와 학습에 이르기까지 학습자의 기관과 학습 진전에 대한 책임을 점진적으로 증가시키려 한다.

PA seeks to gradually increase the learner’s agency and accountability for their own learning and progress, starting from rather structured and school-controlled assessment to self-owned assessment and learning.

프로그래밍 방식 평가: 모델

Programmatic assessment: The model

1. 교육활동은 일련의 [학습과제]를 수반하며, 교육설계원칙에 근거한 커리큘럼을 만드는 데 기여하는 방식으로 정비된다.

1. Training activities involve a series of learning tasks and are arranged in such a way that they contribute to create a curriculum based on principles of instructional design

2. [평가 활동]은 학습자에게 의미 있고 지속적인 학습과 성장을 지원하도록 설계된다. 그들은 교사에게 다양한 평가 방법에서 얻은 복수의 평가 데이터 포인트를 제공한다.

2. Assessment activities are designed to be meaningful to the learner and to support ongoing learning and growth. They provide the teacher with multiple assessment data points from a wide array of assessment methods.

a. 평가자의 주요 임무는 각 데이터 지점의 정보를 활용하여 학습자에게 피드백을 제공하고, 또한 이전 평가 정보에 기초하여 학습자의 진행 상황에 대한 결정을 내리는 것이다. 저부담 데이터포인트 정보는 평가자에 의해 나중에 활용될 수 있다.

a. The main task of the assessor is to provide feedback to the learner by utilizing the information from each data point and to make a decision about the progress of the learner also based on previous assessment information. Low-stake data point information can be later utilized by the assessor.

b. 평가와 훈련training 활동은 매우 밀접하게 연관되어 있으며 때로는 같을 수도 있다. 대부분의 평가 과제는 개발적이지만 숙달 지향적인 것도 있다. 숙달 지향적 과제는 보통 고부담이지만, 그것은 여전히 피드백의 기회가 있으며, 저부담 활동과는 완전히 관련이 없거나 영향을 받지 않을 수 있다.

b. Assessment and training activities are very closely interrelated and sometimes, they may be the same. Most assessment tasks are developmental but some are mastery-oriented. A mastery-oriented task is high stakes, but it does still constitute an opportunity for feedback and may not be completely unrelated or unaffected by low-stakes activities.

3. 따라서 평가 활동은 종단적 방식으로 이루어진다. PA에는 지속적으로 정보를 수집하는 과정이 있으며(공식적 평가를 통해 이뤄지거나, 비공식적/공식적 피드백을 통해 이뤄진다), 정기적인 성찰과 교수/코치와의 미팅을 진행한다. 학습자의 피드백 수행enactment은 평가의 필수적인 부분이다.

3. Assessment activities happen therefore in a longitudinal fashion. There is a continuous process of collecting information – either through formal assessments or through informal and formal feedback – in a dossier or portfolio with periodic reflections and meetings with a faculty member/coach. The enactment on feedback by the learner is an integral part of the assessment.

4. 지원활동에는 성찰적 학습과 자기조절학습이 포함된다. 학습자는 학습 및 평가 활동의 정보에 기초하여 성찰적 학습을 수행한다. 자기조절학습은 학생을 지도하고 멘토링하는 교직원의 서포트를 받는다. 사회적 상호작용은 성찰활동과 자기조절 학습을 위한 비계scaffold를 제공한다.

4. Supporting activities include reflective and self-regulated learning. Reflective learning performed by learners is based on information from learning and assessment activities. Self-regulated learning is supported by faculty through students’ coaching and mentoring. Social interaction provides a scaffold for reflective activities and self-regulated learning.

5. 중간 및 최종 평가는 연속체에 걸친 훈련과 평가 활동 전반에 걸쳐 교차하는 의사결정 지점이다. 중간 평가는 교정조치 지향적remediation-oriented이며, 학습을 위한 정보가 풍부한 권장사항을 제공하며, 학습자의 종단적 개발을 목표로 한다.

5. Intermediate and final evaluations are decision points interspersed throughout training and assessment activities across the continuum. Intermediate evaluations are remediation-oriented, provide information-rich recommendations for learning, and are aimed at the longitudinal development of the learner.

6. 최종 평가는 학습자가 프로그램을 진입/진학할progress 수 있는지 또는 종료해야 하는지 여부를 결정한다는 목표를 가진 고부담 결정이다. 복수의 데이터 포인트와 중간 평가의 정보를 활용하여 판단을 내리는 전문가 위원회에 의해 달성된다(Van der Vleuten et al. 2012).

6. The final evaluation is a high-stakes decision with the goal of determining whether the learners can progress in the program or should exit. It is achieved by a committee of experts who make a judgment utilizing information from multiple data points and intermediate evaluations (Van der Vleuten et al. 2012).

이론적 특

Theoretical frameworks

PA 기본원칙: 의미 구축

Fundamental PA principle: Meaning making

PA에서 의미와 의미구축이 중심적인 역할을 한다. PA 의미구축에서, 학습자는 자신이 이용할 수 있는 모든 정보를 분석하고 삼각측량하여 특정한 장점과 약점을 식별하도록 요구되거나, 그렇게 할 동기를 부여 받는다. 그 결과 학습자는 정보의 의미를 적극적으로 구축하고, 자신의 성과를 새롭게 파악하며, 향후 학습을 위한 구체적인 계획을 설계한다. 

Meaning and meaning making play a central role in PA. In PA meaning making, learners are required or incentivized to analyze and triangulate all information available to them, identifying specific strengths and weaknesses. As a result, learners actively construct meaning of the information, develop a new understanding of their performance, and design concrete plans for future learning. 

평가 방법에 걸쳐 정보를 삼각측량할 수 있도록 교사와 학습자는 정보가 결합합으로써 의미를 파악할 수 있어야 한다. 이는 임상의사가 병력청취와 신체검사 결과(Tweed and Wilkinson 2019)를 결합하여 의미를 파악하는 것과 비슷하다. 의미구축은 또한 건설적인 피드백의 제공과 유용하고 실행 가능한 학습 목표의 형성에 중요하다. 몇 가지 이론은 왜 이것이 더 나은 판단과 더 나은 학습으로 이어질 수 있는지를 뒷받침한다.

In order to be able to triangulate information across assessment methods, the teacher and learner must be able to see meaning in the way the information is combined – much like a clinician sees meaning in combining a lab result with a history taking response and a physical examination finding (Tweed and Wilkinson 2019). This meaning making is also important for the provision of constructive feedback and the formulation of useful and actionable learning goals. Several theories underpin why this would lead to better judgments and better learning.

설명 이론: 구성주의자 및 사회적 구성주의자

Explanatory theories: Constructivist and social constructivist

[구성주의적 접근법]에서 학습은 능동적인 의미 생성 과정으로 간주된다. 학습은 미래의 문제 해결을 위해 지식을 보유하고 접근하기 위해 내부적으로 구성되어야 한다. 이 이론은 더 많은 지식과 이해는 '구성construction'이라고 기술하고 있는데, 이것은 학습자가 기존의 지식과 이해에 기반하여 적극적으로 구축되어야 하고 따라서 수동적으로 획득되지 않는다는 것을 의미한다. 학습은 또한 이해관계자(학습자와 교사)와 교사들 사이의 사회적 활동이다(Dewey 1938; Bruner 1960; Vygotsky 1978; Bruner 1986). 따라서 [효과적인 학습이라는 목적을 가진 상호작용]은 이해관계자들 사이의 shared meaning making에 달려 있다.

In a constructivist approach, learning is seen as an active process of meaning making, positing that knowledge has to be constructed internally in order to be retained and accessible for future problem-solving. The theory states that further knowledge and understanding are constructions, which means that they have to be actively built on existing knowledge and understanding and are therefore not acquired passively. Learning is also seen as a social activity between stakeholders (learners and teachers) and teachers facilitate and support students’ active involvement with the material (Dewey 1938; Bruner 1960; Vygotsky 1978; Bruner 1986). Interaction with the purpose of effective learning thus depends on shared meaning making between the stakeholders.

사회적 구성주의는 인지 발달과 깊은 이해에서 [사회적 과정의 가치]를 강조한다. 다른 사람들과의 결정적 상호작용은 기존 지식에 대한 새로운 지식의 구축을 촉진할 뿐만 아니라 학습자들이 그들의 이해를 구성하고 재구성하도록 한다. 따라서 그들은 사회적이고 협력적인 환경을 통해 학습된 지식과 이해에 대한 다양한 의미 있는 관점을 만들어 낸다. 따라서 학습 과정의 협력적 성격과 문화적 사회적 맥락의 중요성을 강조한다. 인지 과정의 강화는 사회적 상호작용에서 비롯되고, 사회적 상호작용의 결과다. 학습은 [학습자에 의한 새로운 지식의 동화]일 뿐만 아니라 학습은 [학습자가 지식 공동체로 통합되는 과정]이기도 하다(Vygotsky 1978; Bruner 1986). 따라서 의미 부여와 의미 있는 상호작용은 이러한 프로세스의 필수불가결요소이다.

Social constructivism stresses the value of the social process in cognitive development and deep understanding. The critical interactions with others not only facilitate the building of new knowledge on existing knowledge but also make the learners construct and reconstruct their understanding. Thus, they create various meaningful perspectives on the learned knowledge and understanding through a social and collaborative setting. It emphasizes, therefore, the collaborative nature of learning and the importance of the cultural and social context in the learning process. This strengthening of cognitive processes originates in and is the result of social interactions. Learning is not only the assimilation of new knowledge by learners, but it is also the process by which learners become integrated into a knowledge community (Vygotsky 1978; Bruner 1986). Meaning making and meaningful interaction are therefore sine qua nons for these processes.

기본 PA 원리: 종단성

Fundamental PA principle: Longitudinality

PA에서도 학습자의 진행 상황에 대한 정보를 종단적으로 수집하는 접근법은 중요하다. 그것은 더 긴 기간 동안의 평가 참여가 가능하게 하며, 스냅숏보다는 더 많은 장면을 제공한다. 또한, 의사결정의 부담이 데이터의 신뢰성, 풍부성 및 견고성에 비례해야 하는 비례성 원칙(Schuwirth et al. 2017)이 있다. 이 원칙에 따르면, 오랜 시간 동안 평가에 참여한다면prolonged engagement, 여러 평가의 데이터 포인트를 수집하고 수집하는 데 더 많은 시간을 사용할 수 있고, 고부담 의사결정에 대한 이해관계자 수가 늘어날 것이다. 그리고 평가 피드백이 이전의 피드백에 기반하여 구축build on될 수 있도록 한다.

The approach to collect information about the learner’s progress longitudinally is important in PA as well. It provides a longer assessment engagement and thus more of a movie rather than a snapshot. Further, in accordance with the principle of proportionality (Schuwirth et al. 2017)in which the stakes of the decisions have to be proportional to the credibility, richness, and robustness of data, prolonged engagement allows for more time to collect and collate multiple assessments’ data points and greater stakeholder numbers in relation to high stakes in decision making and it enables the assessment feedback to better build on previous feedback.

설명 이론: 구성주의자 및 사회 구성가

Explanatory theories: Constructivist and social constructivist

듀이(1938년)는 수십 년 전, 모든 경험은 이전의 경험에 의해 형성되고 '어떤 식으로든 다음에 오는 경험의 질을 변화시킨다는' [경험의 연속성]의 원리를 기술했다(p. 27). 연속성의 원칙에 기초하면, 효과적인 교육은 지속적인 성장의 과정으로 간주되고 경험의 질은 이후의 경험에 영향을 미치는 방법으로 의도된다. 따라서 경험의 연속성의 원칙은 지속적인 학습을 지원하기 위해 평가, 훈련 및 지원 활동을 배치하는 PA의 중요한 측면이다.

Dewey (1938), many decades ago, described the principle of continuity of experience in which every experience is shaped by the previous experience and ‘modifies in some ways the quality of those which come after’ (p. 27). Based on the principle of continuity, effective education is seen as a process of continuous growth and the quality of the experience is intended as a way to influence later experiences. The principle of continuity of experience is therefore an important aspect of PA in which assessment, training, and supporting activities are arranged to support ongoing learning.

이것은 비고츠키(1978년)와 푸에르슈타인 등의 작업에 의해 더욱 지원되며(2002년), 여기서 핵심은 정적 평가와 반대되는 동적 평가 개념이다. 동적 평가는 assisted performance를 통한 학습자의 미래 발전을 목표로 한다. 그것은 단순히 학생이 특정 시점에 무엇을 할 수 있느냐(배움의 관점에 대한 더 많은 평가)가 아니라, 학생이 피드백과 도움(배움에 대한 평가)에 어떻게 대응할 수 있느냐에 대한 것이다. 그러므로 강조되는 것은 과거에 배운 것이 아니라 현재와 미래에서 배울 수 있는 것에 있다. 

This is further supported by the work of Vygotsky (1978) and Feuerstein et al. (2002) in which the concept of dynamic assessment, opposed to static assessment, is central. Dynamic assessment aims at the future development of the learner through a process of assisted performance. It is not merely about what the student can do at a certain point in time (more an assessment of learning perspective) but how the student could respond to feedback and assistance (assessment for learning). The emphasis is therefore not on what has been learned in the past but on what can be learned in the present and the future. 

현대 교육에서, 이것은 불가능한 기대가 아니다; 평생학습에 대한 기대가 증가함에 따라, 우리는 – 행동주의자와 같은 방식의 – 통제는 졸업으로 끝나며, 대학의 사회에 대한 책임은 졸업과 함께 시작된다는 것을 깨닫는다. ...다음의 것들은 [사회적 학습 맥락에서 발생하는, 사회 구성주의 이론적 프레임워크에 기반을 둔] PA의 요소 중 하나이다.

• 학습자에게 피드백을 지속적으로 전달하며, 학습을 지원하고 만들기 위한 평가 활동의 배치

• 학생들을 지도하고 지도하는 교육자  역할

• 고부담 또는 저부담 결정을 내리는 전문가 위원회를 구성하는 평가자 간의 사회적 상호의존성과 상호작용 

In modern education, this is not an implausible expectation; with the increasing expectation of the lifelong learner, we realize that the – behaviorist – span of control ends with graduation and the university’s responsibility to society starts with graduation. 

• The arrangement of assessment activities to support and create learning with constant delivery of feedback to learners, 

• the role of teachers in coaching and mentoring students, and 

• the social interdependence and interactions among assessors in the setting of a committee of experts who make high or low stakes decisions 

...are some of the elements of PA that occur in a social learning context and are grounded in a social constructivist theoretical framework.

앞선 학습이 다음에 뒤따를 학습에 미치는 영향의 중요성을 감안하여, PA는 지식의 재구조화가 일어날 수 있도록 하는 교육적 핵심 요소를 포함한다. PA는 새로운 지식 구조의 개발을 위한 비계를 만들고 학생들에게 새로운 상황에서 개념과 전략을 적용할 수 있는 지속적인 기회를 제공한다. 이러한 맥락에서, 가르침과 평가는 학습의 목표, 특히 [현재의 이해]와 [추구하는 새로운 이해 사이]의 격차를 좁히는 목표를 향해 혼합blend된다. 학습을 위한 평가AfL와 학습의 평가AoL 구성요소의 조합은 (다른 평가 행위와 도구의 여러 데이터 포인트에 의해 지원되는) 교육 연속체 전체에 걸쳐 지속적인 평가를 가능하게 한다.

In view of the importance of prior learning as an influence on new learning, PA includes key elements of pedagogic practice that allow knowledge restructuring to occur. PA creates the scaffold for the development of new knowledge structures and provides students with continuous opportunities to apply concepts and strategies in novel situations. In this context, teaching and assessment are blended toward the goals of learning, particularly the goal of closing gaps between current understanding and the new understandings sought. The combination of components of assessment for and of learning allows creating a continuous assessment across an educational continuum supported by multiple data points from different assessment practices and tools.

기본 PA 원칙: 지속적인 피드백 및 피드백 루프 닫기

Fundamental PA principle: Continuous feedback and closing the feedback loop

PA에서는 피드백의 제공 및 획득과 피드백 루프의 폐쇄를 위한 중심 역할이 존재한다. 이것은 형성적 평가와 혼동되어서는 안 된다. 그보다, 이것은 [피드백 과정을 학습을 유도하는 최적의 접근방식으로 사용하는 것]에 관한 것이다. 이는 학생들이 피드백을 사용해야on board하고, 후속 학습 목표에서 의도한 개선을 이루었음을 증명해야 한다는 것을 의미한다. 

In PA, a central role exists for the provision and uptake of feedback and closing the feedback loop. This is not to be confused with formative assessment; instead, it is about an approach in which the feedback process is used to optimally drive student learning. This means that the student has to take the feedback on board and has to demonstrate that the ensuing learning goals have led to the purported improvement. 

이것은 [PA의 총괄적 측면]이란 일회성으로 특정 합격 점수를 획득하는 것이 아니라, 외부 세계에서도 수용할 수 있는 목표에 상호 합의하는 지속적인 과정이라는 것을 의미한다. 이것은 학습자에게 쉬운 과정이 아니며 종종 학습자들을 그들의 안전 영역 밖으로 밀어낼 것이다. 다양한 이론들이 이것이 효과적인 학습을 용이하게 하는 이유를 설명한다.

This means that the summative aspect in PA is not the attainment of a certain cutoff score in a one-off occasion but a continuous process of reaching mutually agreed upon targets which are also acceptable to the outside world. This is not an easy process for the learner and will often push them outside of their comfort zone. Various theories explain why this facilitates effective learning.

설명 이론: 인지적 및 인지적 발달 방향

Explanatory theories: Cognitivist and cognitive development orientation

동화 이론(Ausubel 2012)과 인지 개발 이론(Vygotsky 1978)은 PA의 중요한 이론적 신조다. 동화 이론은 새로운 사상이 확립된 사상이나 관념에 의해 관련되고 동화되었을 때 효과적으로 학습되어 새로운 인지 구조를 만들 수 있다고 가정한다. PA에서는 새로운 데이터 포인트가 이전의 '기존의established' 데이터 포인트에 지속적으로 동화되며, 평가 데이터는 이전의 확보된 평가 데이터와 동화되어 중간 및 최종 평가로 이어진다.

Assimilation theory (Ausubel 2012) and the theory of cognitive development (Vygotsky 1978) are important theoretical tenets of PA. Assimilation theory posits that new ideas are effectively learned when they are related to and assimilated by established ideas or notions, so that they can create a new cognitive structure. In PA, new data points are continually assimilated to previous ‘established’ data points, and assessment data are assimilated to previous established assessment data, leading to both the intermediate and final evaluation of the model.

Vygotsky의 인지 발달 이론에서, 하나의 중심 목표는 인지 갈등을 만들어 인지 성장을 장려하는 것이다.

In Vygotsky’s theory of cognitive development, one central aim is to encourage cognitive growth by creating cognitive conflict,

Vygotskian 이론의 핵심 개념은 학습자의 실제 개발과 잠재적 개발 사이의 공간 또는 거리로 의도된 근위부 개발 영역(ZPD)이다. ZPD는 학습과 개발이 상호 작용하는 영역을 나타내며 개발 준비의 척도를 제공한다. ZPD에 있는 어려운 과제들은 최대치의 인지적 성장을 촉진한다. 따라서 교육자가 종단적 저부담 평가와 고부담 평가를 통합하므로써, ZPD에서 학습자의 성과를 점진적으로 평가할 수 있는 기회를 만든다면, PA에서 새로운 통찰력을 제공할 수 있을 것이다. ZPD는 [세계에 대한 학습자의 기존 개념]이 [새로운 정보]와 충돌할 때 존재하며, 이는 학습자 자신의 능력에 대한 자기 인식에도 적용된다.

A key concept of the Vygotskian theory is the zone of proximal development (ZPD) which is intended as the space or distance between the actual and potential development of a learner. The ZPD represents an area in which learning and development interact and it provides a measure of developmental readiness. Challenging tasks that are in the ZPD promote maximum cognitive growth. Therefore, the opportunity for educators to progressively assess learners’ performance in the ZPD, integrating longitudinal lowand high-stakes assessment information, may provide a new insight in PA and deserves further exploration. The ZPD exists when the learner’s existing conceptualizations about the world clash with new information, and this applies to self-conceptualizations about the learner’s own competence as well.

이것은 메지로의 변혁적 학습 이론(Mezirow 2002)에 의해 제시된 혼란스러운 딜레마와 유사하다. 이 딜레마는 여러분 주변의 세계와 학습자로서 여러분 자신을 이해하는 출발점이 된다. PA의 개발 구조와 지원 활동은 ZPD에서 학생과 교사의 상호작용을 허용하며, 따라서 인지 발달과 인지적 변화를 촉진한다.

This is similar to the disorientating dilemma as posited by Mezirow’s transformative learning theory (Mezirow 2002), in which the disorientating dilemmas serve as a starting point for reframing understanding, both of the world around you and of yourself as a learner. The developmental structure and supporting activities of PA allow the interaction of students and teachers in the ZPD, therefore promoting cognitive development and cognitive change.

기본 PA 원칙: 학습에 대한 평가 및 학습에 대한 평가

Fundamental PA principle: Assessment for learning and assessment as learning

학습을 위한 평가AfL로서 PA는 [교육 과정과 평가 과정 사이의 경계가 더 모호]하다는 점에서 더 전통적인 접근 방식과는 다르다. 보다 전통적인 접근법에서 평가는 단지 교육 과정의 결과를 측정하는 것을 목적으로 한 교육 이외의 과정으로 볼 수 있는 반면, PA에서 평가와 교육은 서로 불가분한 영역이다. 이것은 아마도 철학적 입장에서 가장 어려운 변화일 것이다. 그러나 PA가 왜 전통적인 평가보다 더 나은 학습자 역량의 개발을 지원하는지에 대한 타당한 이론적 뒷받침이 있다.

The PA as an assessment for learning approach is different from a more traditional approach in that the lines between educational and assessment processes are fuzzier. In the more traditional approaches, assessment can be seen as a process extrinsic to education, merely aimed at measuring the outcome of the educational process, whereas in PA, the assessment process is an inextricable part of education. This is perhaps the most difficult change in philosophical stance but there is, again, plausible theoretical underpinning of why PA supports the development of learner competence, likely even better than traditional assessment.

설명 이론: 교육적 설계 및 구성주의적 지향 이론

Explanatory theories: Theory of instructional design and constructivist orientation

학습 과제와 평가 활동의 상호 결합을 '학습으로서의 평가'라고 부르기도 한다. 학습 과제에는 TBL 또는 PBL 소그룹 튜토리얼, 자율학습, 강의, 역사 및 신체검사 작성, 문제해결 과제 등 학습으로 이어지는 여러 가지 학습 활동이 포함될 수 있다. 학습 과제 분석에는 목표와 활성화 목표를 달성하는 데 필요한 필수 역량의 식별이 포함된다(Gagne 등 2005).

The interweaving of learning tasks and assessment activities is sometimes called ‘assessment as learning.’ A learning task may involve a number of learning activities leading to learning: a TBL or PBL small group tutorial, a self-study, a lecture, a history and physical exam write up, or a problem-solving assignment. Learning task analysis involves the identification of prerequisite competencies which are needed to achieve target and enabling objectives (Gagne et al. 2005).

그 다음, 프로그램에서 목적적합한 과제 선정이 요구된다. 학습 과제는 학생이 필요한 기본 지식, 기술 또는 이해를 습득하는 데 도움이 되도록 만들어져야 하며, 이는 목표에 도달하거나 더 깊이 있는 학습을 촉진하는 [도약대 역할]을 하게 된다. 이 원칙은 medical competence의 획득뿐만 아니라 learning how to learn에도 해당된다. PA에서는 학습자가 학습 목표를 공식화하고 성공적으로 제정enact하기 위해 이것을 사용할 것이라는 기대와 함께, 학습자가 의미를 부여하기 위한 지속적인 피드백과 요구사항requirement은 '학습'에 관한 학습과제로 간주된다. PA의 학습과제 개념은 학습과제에 대한 Gagne의 분석에 타당하게 근거하고 있다. 즉, 훈련 활동과 평가 활동이 밀접하게 연관되어 있을 뿐만 아니라, medical competence와 learning to learn에 대한 학습도 이루어지고 있다.

A purposeful selection of tasks in the program is then required; learning tasks are set to support the student in acquiring necessary basic knowledge, skills, or understanding to serve as a springboard to reach target objectives or promote further and deeper learning. This principle does not only pertain to the acquisition of medical competence but also to learning how to learn. In PA, the continuous feedback and requirement for the learner to make meaning, in conjunction with the expectation that the learner will use this to formulate and successfully enact learning goals, are to be seen as learning tasks on ‘learning to learn.’ The concept of learning tasks of PA is plausibly grounded in Gagne’s analysis of learning tasks. In other words, not only are training activities and assessment activities closely connected, but also are learning for medical competence and learning to learn.

마찬가지로 Merri€enboer와 Kirschner(2017년)는 10단계 및 4C/ID(4개 구성 요소 지침 설계) 모델을 설명한다. 이 모델의 주요 요소와 첫 번째 요소 중 하나는 학습 과제의 설계를 수반한다. PA 모델과 유사하게, 4C/ID 모델의 구조적 요소는 상호의존적이며, 퍼포먼스 평가의 설계는 특정한 시점에 각 과제에 대한 성과를 측정할 수 있다. 이를 통해 학습과제에 대한 학습자의 종단적 진행을 모니터링할 수 있다.

Similarly, Merri€enboer and Kirschner (2017) describe a ten-step and 4C/ID (4 components instructional design) model. One of the main and first component of this model entails the design of learning tasks. Similar to the PA model, the structural elements of 4C/ID model are interdependent and the design of performance assessments allows to measure performance on each of the tasks, at particular points in time. This allows for monitoring the learners’ longitudinal progression over the leaning tasks.

또한, 4C/ID의 단계 중 하나는 학습 과제의 시퀀스(3단계)를 포함한다. 이 순서는 단순한 것에서 복잡한 것으로 나아가는 것이며, 수행능력 평가(2단계)와 결합되어서 함께 학습을 최적화하고 개별화된 학습 개발 궤적을 만든다. Van Merri€enboer와 Kirschner(2017년)는 4C/ID 모델에서 평가의 총괄적 초점(AoL)은 고부담 결정을 내리는 것에 있지만, 동시에 강력한 형성적 기능 - 의미있는 피드백 - 을 수행해야 한다고 주장했다.

Further, one of the steps involves the sequence of learning tasks (step 3), from simple to more complex, which, coupled with frequent performance assessments (step 2), optimizes learning and creates individualized learning developmental trajectories. In the 4C/ID model, Van Merri€enboer and Kirschner (2017) contend that even though the summative focus of assessment (assessment of learning) is to make high-stakes decisions, it must also perform a strong formative – meaningful feedback – function.

따라서 학습과 평가 과정을 성공적으로 진행하기 위하여 AoL과 AfL은 건설적으로 정렬되고, 교육 이론과 설계와 완벽하게 통합되어야 하지만, 이것이 얼마나 성공할 수 있는가는 [교사나 코치의 질]과 [조직의 학습 문화]에 달려 있다(Harrison 등 20).16, 2017).

Therefore, assessment of and for learning can be constructively aligned, and fully integrated with instructional theory and design, if they are to succeed in driving the learning and assessment process, but how successful this can be done depends on the quality of the teacher or coach and the learning culture in the organization (Harrison et al. 2016, 2017).

PA 기본원칙: 학생 주체성과 책임

Fundamental PA principle: Student agency and accountability

PA의 중요한 측면은 학생들이 자신의 학습과 평가에 대한 주체성과 책임을 맡도록 허용하거나 만드는 것이다. 앞에서 말했듯이, 학습자의 학습과 평가에 대한 행동주의자적 통제 범위는 그들의 졸업으로 끝나지만, 의대의 사회에 대한 책임은 졸업으로 시작된다. 그러므로 PA 프로그램은 점차적으로 그 기관과 책임을 학습자에게 넘기는 것을 추구한다. 이는 행동주의자와 자기조절이론에 정통한 운전자 사이의 의식적이고 의도적인 균형이 구현의 일부임을 암시한다. 

An important aspect of PA is allowing or making the student assume agency and accountability for their own learning and their own assessment. As said before, the span of – behaviorist – control over the learners’ learning and assessment ends with their graduation but the medical school’s responsibility to society starts with graduation. PA programs therefore seek to gradually hand over that agency and accountability to the learner. This implies that a conscious and purposeful balance between behaviorist and self-regulation theory-informed drivers is part of the implementation.

설명 이론: 자기결정론(SDT)과 자기규제학습이론(SRL)

Explanatory theories: Self-determination theory (SDT) and self-regulation learning theory (SRL)

지원 활동, 특히 '자율성 지지 교육'이라는 개념은 PA 모델의 핵심 요소로서 학습자와 교사가 참여한다. 이러한 '자율성 지원 교육'은 무엇보다도 SDT와 SRL의 두 가지 이론적 프레임워크에 근거를 두고 있다.

Supporting activities, in particular the concept of ‘autonomy-supportive teaching,’ are a key component of the PA model and involve learners and teachers. Such ‘autonomy-supportive teaching’ is grounded in, among others, two theoretical frameworks, SDT and SRL.

SDT의 주요 축 중 하나는 자율성의 개념과 필요성이다. SDT에서 자율성은 '[자기 행동]의 인식된 기원이나 근원이 되는 것'(Deci와 Ryan 2004, 페이지 8)으로 의도되므로, 자율적 행동은 자아의 표현이다. SDT에서는 자율성-지지적 교사는 학생에게 독립적인 업무의 기회를 제공하고, 내부 동기를 지원하며, 학생들의 요구에 유연하고 대응한다. 따라서 '자율성 지지적 교육'은 PA의 맥락에서 교사들이 하는 주요한 역할이며, 코칭은 학생들의 자기 결정을 촉진하고, 학생들을 자율성의 연속체에서 움직이도록 돕는다.

One of the main pillars of SDT is the concept of or need for autonomy. In SDT, autonomy is intended as ‘being the perceived origin or source of one’s own behaviour’ (Deci and Ryan 2004, p. 8) and therefore, an autonomous behavior is an expression of the self. In SDT, autonomy-supportive teachers provide opportunities for independent work and support internal motivations, and they are flexible and responsive to the needs of the students. Therefore, ‘autonomy-supportive teaching’ is a major role teachers play in the context of PA, and the coaching fosters students’ self-determination and helps move the students across an autonomy continuum.

성공적인 평생 학습자에게 필요한 원하는 자율성을 달성할 수 있도록 하기 위해, 자기조절학습(SRL)은 통찰력이 있을 수 있다(Pintrich 2004; Schunk 2005). SRL은 학습자가 목표 설정, 학습 전략 선택 및 자체 성과 평가에 관여한다는 것을 전제로 한다. 또한 '자율적 지원 교육'의 개념은 [교사가 학생의 목표 설정, 학습 과제 제안, 학습과정 감시 및 평가 등을 돕는] 사회적조절학습의 원칙에도 근거를 두고 있다(Zimmerman 1998; Bandura 2001).

In order to be able to achieve the desired autonomy needed for successful lifelong learners, self-regulated learning (SRL) can be insightful (Pintrich 2004; Schunk 2005). SRL posits that learners are involved in goal setting, selecting learning strategies and evaluating their own performance. The concept of ‘autonomy-supportive teaching’ is also grounded in the principle of socially regulated learning in which the teacher helps the student in setting goals, suggesting learning tasks, monitoring and assessing the learning process (Zimmerman 1998; Bandura 2001).

설명 이론: 행동주의적 성향과 고의적 실천 원칙

Explanatory theories: Behaviorist orientation and principles of deliberate practice

행동주의적인 접근법의 교리는 우리가 PA에서 숙달학습의 개념을 접할 때 해당되는 것이다(Block 1980; Guskey 1980; Skinner 2011). 숙달학습에서 학생들은 정해진 수준의 숙련도를 보여주지 않으면 다음 수준의 수업으로 나아갈 수 없다. 이러한 숙달력은 의료 역량의 요소와 관련될 수 있지만 학습의 요소에도 해당될 수 있다. 예를 들어, 성찰 또는 자기분석 문서를 작성하는 것은 일련의 프로그램된 연습을 통해 배울 필요가 있을 수 있다. 이러한 모든 측면에 대해, [점진적으로 과제의 난이도를 증가시키면서, 즉각적인 보강과 피드백을 결합]하는 shaping이라는 개념은 행동주의자적 원칙이다.

Tenets of behaviorist approaches are considered when we encounter the concept of mastery learning in PA (Block 1980; Guskey 1980; Skinner 2011). In mastery learning, students cannot progress to the next level of instruction unless they demonstrate a set level of proficiency. This mastery can pertain to elements of medical competence but also to elements of learning to learn. For example, producing reflection or self-analyses documents may need to be learned through a series of programed exercises. For all these aspects, the concept of shaping, where instruction proceeds with tasks of increasing levels of difficulty, coupled with immediate reinforcement and feedback is a principle of the behaviorist orientation.

숙달학습은 어떤 면에서 [의도적인 연습DP]의 핵심 원칙이다. DP는 코치에 의해서 설계되는 활동으로서, 반복과 정교화를 통해 개인의 성과를 향상시키는 것이 목적이다(Anders Ericsson 2008). [학습자 동기 부여]와 [과제 설계]는 DP의 중요한 요소들이다. 교육자는 [학습자의 사전 지식 및 이해를 고려하여, 단시간의 교육 후에 학습자가 과제를 정확하게 이해할 수 있도록] 해야 한다. 학습자는 각 과제와 관련된 활동이 끝난 후 즉시 관련 피드백과 성과에 대한 지식을 얻어야 한다.

Mastery learning is a key principle of deliberate practice for some aspects – typically the more technical aspects – as is meaning making to others – typically the more understanding/insight-related aspects. Deliberate practice is intended as the activity designed by a coach to improve performance of an individual through repetition and refinement (Anders Ericsson 2008). Learners’ motivation and the design of the task are crucial elements of deliberate practice. Educators should take into account ‘the pre-existing knowledge and understanding of the learners, so that the task can be correctly understood after a brief period of instruction.’ Learners should receive immediate relevant feedback and knowledge of results of their performance after each task-related activity.

또한, 비고츠키아의 관점에 따르면, [배우는 과정에서는 교사와 학생이 학습 프로세스의 shaping과 directing 책임을 분담하지만], 점차적으로 책임이 바뀌는 co-regulated learning에 참여해야 할 것이다. 이를 위해 초기 비계는 서서히 제거되고 학생은 점차적으로 자신의 학습에 대한 책임감을 높여 자기 조절 능력을 키울 것으로 예상된다(van Houten-Schat et al. 2018). PA에서 학생과 교사의 관계는 매우 중요하며, PA의 역할은 실제로 그들의 발전의 다른 단계에 있는 학생들의 자기조절을 강화하는 것일 수 있다.

Further, according to the Vygotskian perspective, teacher and student will have to engage in co-regulated learning, in which they share the responsibility of shaping and directing the learning process but with a gradual change of responsibilities. For this, the initial scaffold will be slowly removed and the student is expected to gradually take increasing responsibility of his or her own learning, developing self-regulating skills (van Houten-Schat et al. 2018). In PA, the relationship of student and teacher is crucial, and one role of PA might indeed be that of foster self-regulation of students at different stages of their development.

해설론: 직업수요원론

Explanatory theories: Job demand–resource theory

고용수요원론(JDR-T) (Bakker and Demeruti 2017)에서 직업 특성은 크게 두 가지 범주로 나뉜다. 직무 요구와 직무 자원. 

• 직무 요구는 [높은 업무 부담이나 감정적으로 힘든 상황]과 같은 신체적, 심리적, 조직적 노력이다. 

• 직무 자원은 직무 요구를 줄여주거나, 자율성을 높여주거나, 성과에 대한 피드백을 제공하거나, 개인의 성장을 촉진하거나, 업무 목표를 달성하는 것이 포함된다. 직무 자원은 미래의 업무 참여와 동기를 예측한다.

In the job demand–resource theory (JDR-T) (Bakker and Demerouti 2017), job characteristics fall into two main broad categories: job demands and job resources. 

• Job and demands are physical psychological organizational efforts that may include high work pressure or emotionally demanding situations. 

• Job resources are those aspects of the job that reduce job demands, foster autonomy, provide feedback on performance, promote personal growth, and achieve work goals. Job resources predict future work engagement and motivation.

PA 평가에서 지원 활동에서 교직원의 역할은 바커와 데메루티(2017년)가 정의한 [직무 자원의 창출]과 유사할 수 있다. 코치로 활동할 때 교수들은 학생들의 자기 결정과 자율성을 개발하고, 상호작용적 사회적 학습 환경을 조성하며, 학생들이 직업 수요에 대처할 수 있도록 하고, 발전과 성장의 기회를 창출할 수 있도록 하는 직업 자원을 제공하기 위해 노력한다.

In PA assessment, the role of the faculty within the supporting activities may be similar to that of creating job resources as defined by Bakker and Demerouti (2017). Faculty when acting as coaches contribute to develop students’ self-determination and autonomy, foster an interactive social learning environment, and strive to provide those job resources that allow students to cope with job demands while creating opportunities for development and growth.

고찰

Discussion

의학연구와 달리 의학교육연구는 연구결과의 완벽한 복제를 자동적으로 가정하지는 않는다. 따라서 (RCT처럼) 의료 연구가 문맥적 특징에 관계없이 다른 맥락에서 복제할 수 있는 발견을 목표로 하는 경우가 많다면, 종종 의학교육 연구는 '복잡성' 또는 '시스템'을 가정하고 시작한다(Rosas 2015). 복잡한 상황에서, 발견을 한 맥락에서 다른 맥락으로 직접 복제하는 것은 작동하지 않는다; 대신에, 어떤 것이 작용하여 다른, 약간 다른 문맥에 맞게 수정되거나 전달될 수 있는 이유를 이해할 필요가 있다. 그러한 이해는 문제 해결을 transfer하는데 있어서 깊은 구조deep structure의 역할과 유사하다고 볼 수 있다(Eva et al. (Eva et al. 1998). 따라서 이론은 특정 상황이나 학습 조직에서 발생할 수 있는 구현의 과제를 극복하는 데 도움이 될 수 있다(Torre 등 2006).

Unlike in medical research, medical education research does not automatically assume perfect replication of research findings. So, where medical research is often aimed at producing findings that can be replicated in any other context regardless of contextual features – typically like randomized controlled trials – often (medical) education research starts from the assumption of complexity or systems (Rosas 2015). In complex situations, direct replication of findings from one context to another does not work; instead, there is a need to understand why something works so it can be adapted or transferred to fit another, slightly different context. Such understanding can be seen as analogous to the role of a deep structure in transfer of problem solving (Eva et al. 1998). Theory can therefore help overcome the challenges of implementation that may arise in specific contexts or learning organizations (Torre et al. 2006).

이론이 PA의 실행을 위한 기회를 알려준 한, 우리는 이론이 구현 도전에 직면하는 데 어떻게 도움이 될 수 있는지에 대한 예를 설명하기를 좋아한다. 예를 들어, 학생들은 임상실습에서, 그들은 한 번의 로테이션에서 동안 문제가 있을 수 있다. 그런 다음, 향후 로테이션 감독자/조정자가 이러한 문제에 대해 알아야 후속 로테이션 중에 이러한 문제를 학생에게 구체적으로 지원할 수 있다. 그러나, 감독관에게 앞선 로테이션의 정보를 주는 것을, 다음 감독관에게 편견을 갖게 하며, 학생들은 마치 '범죄 전과criminal case record'를 부당하게 넘기는 것처럼 인식할 수 있다. 그러나 PA 관점에서는, 이것은 '관리의 연속성' 프로세스에 더 가까울 것이다. 이 딜레마는 학습 맥락에 대한 표준 평가에서 주요 문제지만, PA 맥락에서 쉽게 해결할 수 있다.

As far as theory informed opportunities for the implementation of PA, we like to illustrate an example of how theory may help face an implementation challenge. For instance, when students are in their clinical rotations, they might have issues during one rotation. It is then imperative that the supervisor/coordinator of future rotations knows about these issues, so that they can specifically support the student with these during the subsequent rotations. However, notifying that supervisor may be perceived by the students as an unfair transfer of a ‘criminal case record’ and therefore may be seen to be biasing the next supervisor. From a PA view, it would be more like a ‘continuity of care’ process. This dilemma is a major one in a standard assessment of learning context, but it is an easy one to solve in a PA context.

한 로테이션을 도는 동안 문제를 경험한 학생은 학습 코치 –와 함께 –을 분석하고 교정조치 계획을 제시하도록 요청 받는다. 그 후 학생은 미래의 감독자와 이 계획을 소통하고 토론하며 이 계획을 어떻게 실행할지 준비할 것으로 예상된다. 점검 단계에서, 감독관이 계획에 서명하도록 요구될 수 있으며, 그것은 포트폴리오의 일부가 된다. 또한 학생과 그들의 학습 코치는 학생들이 이러한 어려운 대화를 다루는 방법을 배울 수 있도록 하기 위해 미래의 감독자/코디네이터와 그들의 문제를 소통하는 방법을 토론하고 연습할 수 있다. 이와 같이, 정보의 연속성과 종단성이 보호된다면, 학생이 자신의 학습에 주체성을 가지게 되고, 지난 로테이션의 문제는 단순히 나쁜 경험이 아니라 학습의 기회로 여겨지며, 그 문제는 단순히 성적표에 대한 체크박스가 아니라 학습의 의미 형성을 최적화하고, 자기조절학습을 촉진하고, 지속적인 성장과 학습자의 발전을 자극하는 수단으로 사용될 것이다.

The student who experiences issues during one rotation is asked to analyze – together with their learning coach – and provide a plan for remediation. The student is then expected to communicate and discuss this plan with their future supervisor and make arrangements for how to implement this plan. As a check, it can be required that the supervisor signs a plan and it becomes part of the portfolio. The student and their learning coach could also discuss and practice the way the student would communicate their issues with their future supervisor/coordinator, as a way of allowing the student to learn how to deal with these difficult conversations. As such, continuity of care and longitudinality of information is safeguarded, agency lies with the student for their own learning, the issues in the past rotation are not merely bad experiences but opportunities for learning, and the issues are not just a tick box on an academic transcript, but are being used to optimize meaning making of learning, foster self-regulated learning, and promote continuous growth and learner’s development.

우리가 다루지 않은 것과 점점 더 중요한 이슈로 인식되고 있는 것은 [조직문화]와 [소위 순진한 인식론]의 역할이다. 전자는 조직의 변화 의지를 촉진하거나 저해한다는 점에서 중요하다(Harrison et al. 2017). 후자는 더더욱 극복하기 어렵다, 깊은 신념과 관련되기 때문에, 우리는 비체계적이고 유도되지 않은 경험에 의해 우리 주변의 세계에 대해 발전한다(Vosniadou 1994). 이러한 현상은 종종 사람들로 하여금 그들이 교육받고 평가받는 방식이 현대 교육의 틀이 되어야 한다고 믿게 한다. 하지만, 우리가 50년 전처럼 의술을 실천하지 않는 것처럼, 우리도 50년 전처럼 교육을 실천하는 것을 목표로 해서는 안 된다. 왜 의학은 왜 일반적으로 진보하는 방향으로 자연스러운 전문직업적 경향을 갖는데 있고, 의학 교육에 관해서는 보수적이 되는지는 여전히 불분명하다. 우리는 이 분야에서 아직 이 요소를 우리의 서술에 포함시키기에는 충분한 이론적 발전이 없다고 느꼈다.

What we have not addressed and what is increasingly being recognized as a significant issue is the role of organizational culture and of so-called naïve epistemologies. The former is significant in that it facilitates or hampers the willingness in the organization to change (Harrison et al. 2017). The latter is even more difficult to overcome, as it relates to the deep beliefs, we develop about the world around us by unsystematic and unguided experience (Vosniadou 1994). This phenomenon often leads people to believe that the way they were educated and assessed should be the mold for modern education. However, like we do not practice medicine like we did 50 years ago, neither should we aim at practicing education the way we did 50 years ago. Why there is a general natural professional tendency in medicine to progress and when it comes to medical education to be conservative is still unclear. We felt that there is not sufficient theoretical development in this field yet to include this element in our narrative.

van Houten-Schat MA, Berkhout JJ, van Dijk N, Endedijk MD, Jaarsma AD, Diemers AD. 2018. Self-regulated learning in the clinical context: a systematic review. Med Educ. 52(10):1008–1015.

---

, 42 (2), 213-220

 Feb 2020

Theoretical Considerations on Programmatic Assessment

Dario M Torre 1, L W T Schuwirth 2, C P M Van der Vleuten 3 4

Affiliations 

Affiliations

• 1Department of Medicine, Uniformed Services University of Health Sciences, Bethesda, MD, USA.
• 2Department of Education and Health Profession Education, Flinders Medical School, Adelaide, Australia.
• 3Department of Educational Development and Research, Maastricht University, Maastricht, The Netherlands.
• 4Faculty of Health Medicine and Life Sciences, School of Health Professions Education, Maastricht University, Maastricht, The Netherlands.

• PMID: 31622126
 
• DOI: 10.1080/0142159X.2019.1672863

Abstract

Introduction: Programmatic assessment (PA) is an approach to assessment aimed at optimizing learning which continues to gain educational momentum. However, the theoretical underpinnings of PA have not been clearly described. An explanation of the theoretical underpinnings of PA will allow educators to gain a better understanding of this approach and, perhaps, facilitate its use and effective implementation. The purpose of this article is twofold: first, to describe salient theoretical perspectives on PA; second to examine how theory may help educators to develop effective PA programs, helping to overcome challenges around PA.Results: We outline a number of learning theories that underpin key educational principles of PA: constructivist and social constructivist theory supporting meaning making, and longitudinality; cognitivist and cognitive development orientation scaffolding the practice of a continuous feedback process; theory of instructional design underpinning assessment as learning; self-determination theory (SDT), self-regulation learning theory (SRL), and principles of deliberate practice providing theoretical tenets for student agency and accountability.Conclusion: The construction of a plausible and coherent link between key educational principles of PA and learning theories should enable educators to pose new and important inquiries, reflect on their assessment practices and help overcome future challenges in the development and implementation of PA in their programs.