프로그램적 평가를 위한 오타와 2020 합의문 - 2. 도입과 실천(Med Teach, 2021)

프로그램적 평가를 위한 오타와 2020 합의문 - 2. 도입과 실천(Med Teach, 2021)
Ottawa 2020 consensus statements for programmatic assessment - 2. Implementation and practice
Dario Torrea , Neil E. Riceb , Anna Ryanc, Harold Bokd, Luke J. Dawsone, Beth Biererf , Tim J. Wilkinsong , Glendon R. Taith, Tom Laughlini, Kiran Veerapenj, Sylvia Heenemank, Adrian Freemanb and Cees van der Vleutenk

 

 

도입
Introduction

2020년 오타와 회의에서 프로그램 평가의 12가지 이론적 원칙에 대한 합의가 이루어졌다(Heeneman et al. 2021). 합의 그룹은 이행의 과제를 인식하고(Norcini 2007 및 Burch 2007; Norcini 외 2018) 프로그램 평가와 그 원칙이 교육적 이점을 발휘하기 위해서는, 이러한 원칙이 다양한 맥락과 규제 상황에 걸쳐 어떻게 구현되는지에 대한 공통의 이해를 공유하는 것이 중요하다는 것을 확인했다. 따라서 Ottawa 2020 합의문에 따라, 가능자와 장벽을 식별하고 다른 것보다 더 쉽게 구현된 측면에 대한 통찰력을 얻기 위해 프로그램 평가의 구현에 대한 설명을 수집하기로 합의했다.
At the 2020 Ottawa conference, consensus was reached on twelve theoretical principles of programmatic assessment (Heeneman et al. 2021). The consensus group, recognising the challenges of implementation (Norcini and Burch 2007; Norcini et al. 2018), identified that, in order for programmatic assessment and its principles to exert their educational benefits, it is important to share a common understanding of how these principles are implemented across different contexts and regulatory settings. As a follow up to the Ottawa 2020 consensus statement, it was therefore agreed to collect descriptions of implementations of programmatic assessment in order to identify enablers and barriers and to gain insight into those aspects that have been more readily implemented than others.

[프로그램적 평가]는 [학습자에게 피드백을 제공하고, 신뢰할 수 있는 평가 결정에 정보를 제공하기 위해, 혼합된 평가 방법을 사용하여, 평가의 학습적 기능을 육성하고 활용하는, 종단적이고 발달적인 접근법]이다(Schuwirth 및 Van Der Vleuten 2011; Van Der Bleuten et al. 2012). 프로그래밍 방식의 평가 시스템이 진정한 교육 진보와 성과를 파악하는 데 더 효과적이고 유효할 수 있다는 의견이 제시되었다(Cook et al. 2015). 프로그래밍 평가의 타당성은 이전에 케인의 타당성 이론의 중요한 구조를 프로그래밍 평가의 구성 요소와 교리에 매핑함으로써 평가되었다. 또한 프로그램적 평가의 교육적 유익성과 이론적 tenets에 대한 증거가 증가하고 있다. 

Programmatic assessment is a longitudinal, developmental approach that fosters and harnesses the learning function of assessment, using a mix of assessment methods for the purpose of providing feedback to learners and informing credible assessment decisions (Schuwirth and Van der Vleuten 2011; Van Der Vleuten et al. 2012). It has been suggested that a programmatic assessment system may be more effective and valid for discerning true educational progress and performance (Cook et al. 2015). The validity of programmatic assessment has previously been appraised by mapping the overarching structure of Kane’s validity theory to the components and tenets of programmatic assessment (Schuwirth and van der Vleuten 2012). Furthermore, there is an increasing body of evidence about the educational benefits and theoretical tenets of programmatic assessment (Van Der Vleuten and Schuwirth 2005; Bierer et al. 2015; Heeneman et al. 2015; Schut et al. 2021).

보건 전문직 교육 프로그램은 궁극적으로 구현에 영향을 미치는 여러 상호작용 요소를 포함하는 복잡하고 역동적인 다층적 시스템을 포함한다. 다양한 교육 환경에서 프로그램 평가가 어떻게 구현되고 통합되었는지 배우는 것은, 구현implementation 프로세스에 영향을 미칠 수 있는 잠재적 enabler와 barrier를 식별하면서, 명시된 원칙이 교육 관행으로 어떻게 변환되었는지에 대한 통찰력을 얻는 데 필수적이다. 이러한 통찰력은 현재 프로그램 평가를 사용하는 교육자 및 기관 및 이를 구현할 계획 중인 교육자에게 유용할 수 있습니다. 
Health Professions Education programmes involve complex, dynamic, multilevel systems incorporating a number of interacting factors that ultimately affect implementation. Learning how programmatic assessment has been implemented and incorporated in different educational contexts is essential to gain insight on how the stated principles have been translated into educational practices, whilst identifying potential enablers and barriers that may impact implementation processes. These insights can be valuable for educators and institutions that currently use programmatic assessment and for those who are planning to implement it.

본 논문에서 우리는 프로그램 평가의 구현에 대한 설명과 서로 다른 설명이 합의문에 확립된 원칙과 어떻게 일치하고 이를 준수하는지에 대해 보고한다. 이 논문의 목적은 두 가지이다:

• 첫째, 1단계에서 식별된 12가지 원칙 각각과 관련된 구현 구성 요소를 설명하고, 다른 기관과 교육 환경에 걸쳐 구현 전략의 잠재적 가변성을 포착하는 것.
• 둘째, 다음과 관련된 가능 요소와 장벽에 대한 통찰력을 얻는 것이다. 프로그램 평가의 시행

In this paper we report on descriptions of implementation of programmatic assessment and how different descriptions align with and adhere to the principles established in the consensus statement. The purpose of this paper is twofold:

• first to provide descriptions of the implementation components associated with each of the 12 principles identified in phase 1, capturing the potential variability of implementation strategies across different institutions and educational settings;
• second, to gain insight into enablers and barriers related to the implementation of programmatic assessment.

방법들
Methods

참가자 및 데이터 수집
Participants and data collection

프로그램 평가의 측면을 구현한 헬스케어 프로페셔널스 교육(Healthcare Professional Education)의 15개 프로그램 샘플은 저자들 중 두 명(CVD, AF)에 의해 확인되었다. 표본에는 3개 대륙에 걸쳐 6개국의 학부 및 대학원 프로그램이 포함되었다. 오타와 2020 컨퍼런스에 이어, 프로그램 평가의 12가지 원칙(Heeneman et al. 2021)과 추가 프로그램 1개에 대한 합의를 이룬 그룹의 참가자들은 프로그램 평가 구현에 대한 16개 항목의 질문지를 작성하도록 초청되었다.
A sample of 15 programmes from Healthcare Professions Education that had implemented aspects of programmatic assessment was identified by two of the authors (CVD, AF). The sample included undergraduate and postgraduate programmes from six different countries across three continents. Following the Ottawa 2020 conference, the participants in the group who achieved consensus on the 12 principles of programmatic assessment (Heeneman et al. 2021), plus one additional programme, were invited to complete a 16-item questionnaire about implementation of programmatic assessment.

데이터 분석
Data analysis

설문 응답은 연역적 주제 분석을 사용하여 분석되었다(Boyatzis 1998; Braun and Clarke 2006). 프로그래밍 평가의 12가지 원칙이 유사한 이론적 토대를 공유하고(Heeneman et al. 2015; Torre et al. 2020) 높은 수준의 상호 연관성을 가진다고 가정할 때, 프로그래밍 평가 원칙은 주제 분석을 위한 프레임워크(또는 민감화 개념)로 사용되었다(Brooks et al. 2015). 반복적인 협업 주제 분석 프로세스를 사용하여, 저자 중 두 명(DT, NR)이 새로운 테마를 찾기 위해 데이터를 읽고, 이들을 만나 개발된 테마를 논의한 다음, 데이터에 대한 공통 이해를 구축하고 테마 내부 및 테마 간의 관계를 식별하기 위해 이들을 더욱 개선했다. 궁극적으로 데이터는 세 개의 전체적으로 의미 있는 클러스터로 구성되었다(그림 1).
Survey responses were analysed using a deductive thematic analysis (Boyatzis 1998; Braun and Clarke 2006). Given that the twelve principles of programmatic assessment share similar theoretical underpinnings (Heeneman et al. 2015; Torre et al. 2020) and have a high degree of interrelatedness, the programmatic assessment principles were used as a framework (or sensitizing concepts) for the thematic analysis (Brooks et al. 2015). Using an iterative collaborative thematic analysis process, two of the authors (DT, NR) read through the data looking for emergent new themes, met to discuss the themes developed, and then further refined them to build a common understanding of the data and identify relationships within and across themes. Ultimately, data were organised into three overall meaningful clusters (Figure 1).

 

결과
Results

Implementation data는 15개 프로그램(학부 의학 교육 8개, 졸업후 의학 교육 3개, 학부 치과 교육 1개, 학부 수의학 프로그램 2개)에서 수집되었다(표 1). 합의문 조사에 참여한 프로그램 중 하나를 제외한 모든 프로그램도 이행 조사에 참여했다.
Implementation data were collected from 15 programmes (eight undergraduate (primary degree) medical education, three postgraduate (residency or vocational) medical education, one undergraduate dentistry and two undergraduate veterinary programmes) (Table 1). All but one of the programmes involved in the consensus statement survey, also took part in the implementation survey.

우리는 연구 결과를 두 부분으로 나누어 발표한다. 

• 첫째, 우리는 프로그램 전반에 걸쳐 공통적인(응답자 중 50% 이상이 언급한) 구현 구성요소에 대해 보고하는 여러 기관에 걸친 프로그램 평가 원칙의 이행을 설명하고 원칙이 교육 관행으로 어떻게 번역되었는지에 대한 예를 제공한다(1부). 
• 둘째, 우리는 활성화 요소, 장벽, 학습된 교훈 및 프로그램 평가 구현의 의도하지 않은 결과에 대한 연구 결과를 제시한다(2부).

We present our findings in two parts.

• Firstly, we describe the implementation of programmatic assessment principles across different institutions reporting on implementation components that were common across programmes (mentioned by more than 50% of respondents) and provide examples of how the principles were translated into educational practices (Part 1).
• Secondly, we present findings on enablers, barriers, lessons learned, and unintended consequences of the implementation of programmatic assessment (Part 2).

 

1부 – 프로그램 평가 원칙의 이행
Part 1 – implementation of programmatic assessment principles

프로그램 평가의 12가지 원칙의 실행은 세 가지 주제로 그룹화되었다.

• (1) 성장과 발전을 위한 학습자와의 대화를 촉진하기 위한 지속적이고 의미 있는 피드백
• (2) 이해 관계의 연속체라는 맥락 내에서 혼합된 평가 방법
• (3) 비례성 및 삼각측량 원칙을 포함한 공정하고 신뢰할 수 있는 의사결정 프로세스 수립.

The implementation of the 12 principles of programmatic assessment were grouped under three themes:

• (1) Continuous and meaningful feedback to promote a dialogue with the learner for the purpose of growth and development;
• (2) Mixed methods of assessment across and within the context of a continuum of stakes; and
• (3) Establishing equitable and credible decision-making processes including principles of proportionality and triangulation.

 

주제 1: 성장과 발전을 위한 학습자와의 대화를 촉진하기 위한 지속적이고 의미 있는 피드백:
Theme 1: Continuous and meaningful feedback to promote a dialogue with the learner for the purpose of growth and development:

이 주제 아래 원칙 1, 2, 10, 11 및 12에 맞춰 9개의 실행 구성요소(표 2)가 있었다.
There were nine implementation components (Table 2) aligned with principles 1, 2, 10, 11 and 12 under this theme.

 

대부분의 프로그램은 (실시간으로 진행되든, 일정 간격으로 진행되든) 모든 평가가 피드백에 최적화된 단일 데이터 포인트에 기여하는 구현을 보고하였다. 여러 평가에서 집계된 데이터를 사용한 서술적 피드백 전달이 자주 언급되었다. 피드백은 성찰과 향후 학습을 지원하기 위해 구두 또는 서면 형태로 학습자에게 전달되었습니다. 대다수의 프로그램은 피드백 품질을 높이고 의미 있는 성찰과 목표 설정 과정을 육성하기 위해서는 [슈퍼바이저와 학습자 간의 관계 개발]이 중요하다고 강조했다.
Most programmes reported an implementation in which every assessment contributed a single data-point optimised for feedback, whether that was occurring in real time or at specific intervals. The delivery of narrative feedback using aggregated data from multiple assessments was often mentioned. Feedback was delivered to learners in verbal and/or written form, with the intent of providing support for reflection and to guide future learning. The majority of programmes highlighted the importance of developing a relationship between supervisor and learner to enhance feedback quality and foster a process of meaningful reflection and goal setting.

 

모든 프로그램은 학습자가 자신의 진도와 성취도를 지원하기 위해 [코치나 지도교수를 배정받는 시스템]의 시행을 보고했습니다. 대부분의 프로그램은 코치가 학습자들과 [분기별 또는 2년에 한 번꼴로 정기적으로 미팅]을 갖는 것으로 나타났지만, 어떤 경우에는 학습 성적 부진이나 우려에 대응하여 임시적으로 회의를 하기도 했습니다. 대부분의 프로그램은 교수-학습자 거래를 용이하게 하기 위해 평가 데이터를 수집, 저장 및 쉽게 액세스하기 위해 특정 유형의 [전자 포트폴리오]를 사용했다. [중간 검토]는 진행 상황 평가, 학습자의 종방향 학습 궤적에 대한 성찰 촉진, 학습 계획 수립 및/또는 필요한 경우 추가 교정 조치를 목적으로 수행되었다.
All programmes reported the implementation of a system in which learners were assigned a coach or advisor to support their progress and achievement. The majority of programmes indicated that coaches had recurrent meetings with learners (quarterly or biannually); however, in some instances, meetings were more ad hoc in response to poor academic performance or concerns being flagged. Most programmes used some type of electronic portfolio to gather, store, and readily access assessment data to facilitate faculty-learner transactions. Intermediate reviews were performed for the purpose of assessing progression, promoting learners’ reflection about their longitudinal learning trajectory, formulating learning plans and and/or additional remediation if needed.

대부분의 프로그램은 프로그램에 들어온 순간부터 [평가 과정에 대한 학습자의 engagement와 participation]을 보고했습니다. 어떤 경우에는 프로그램은 학습자가 자기 성찰에 중점을 두고 피드백에 반응하고 개별 학습 계획을 개발하도록 요구했습니다. 일부 프로그램에서는 개인별 학습 우선순위에 맞춰 가르치는 한편 학습자가 자기 계발을 위해 주도하도록 장려하기도 했다. 그러나 일반적으로 이 원칙은 많은 학습자를 위한 개별 학습의 병참적, 조직적 어려움으로 인해 부분적으로만 시행되었다.

Most programmes reported learners’ engagement and participation in the assessment process upon entering the program. In some cases, programmes required learners to respond to feedback and develop individual learning plans, with an emphasis on self-reflection. In some programmes, teaching was tailored to meet individual learning priorities whilst encouraging learners to take agency for their own development. Generally, however, this principle was only partially implemented due to the logistical and organisational challenges of individualising learning for a high number of learners.

주제 2: 연속적인 이해 관계의 맥락에서 혼합된 평가 방법:
Theme 2: Mixed methods of assessment across and within the context of a continuum of stakes:

이 주제 아래 원칙 4, 5, 6과 일치하는 네 가지 공통 구현 구성 요소(표 3)가 있었다.
There were four common implementation components (Table 3) aligned with principles 4, 5 and 6 under this theme.

 

 

모든 프로그램은 단일 유형의 평가가 모든 역량을 포착할 수 없으며, 구현에는 여러 평가 방법과 도구의 사용이 수반된다고 지적했다.
All programmes indicated that no single type of assessment can capture all competencies and that implementations involved the use of multiple assessment methods and tools.

구현된 다양한 평가는 [학습자에게 풍부하고 의미 있는 피드백을 제공하는 데 사용될 수 있는 수치 및 서술 데이터를 수집]할 수 있도록 했다. 거의 모든 프로그램에서 평가의 혼합이 역량 프레임워크에 맞추어 설계designed against되었다고 언급했으며, 많은 프로그램에서는 Miller의 피라미드를 사용하여 설계된 평가 프로그램과 건설적인 정렬을 고수하고 있음을 나타냈다. 대부분의 프로그램은 [다수의 저부담 사업장 기반 평가]가 실제 상황 역량 평가에 특히 중요한 것으로 나타났으며, 대부분의 프로그램은 지식 영역에서 시뮬레이션 평가(예: OSCE)와 서면 평가(진도 테스트 포함)의 사용을 보고했다.
The variety of assessments implemented allowed for the gathering of both numerical and narrative data that could be used to provide rich and meaningful feedback to learners. Nearly all programmes mentioned that the mix of assessments was designed against a competency framework, and many indicated adherence to constructive alignment and a programme of assessments designed using Miller’s pyramid. Most programmes indicated multiple low-stakes workplace-based assessments as particularly important for assessing real-world situational competence, and most reported the use of simulated assessments (e.g. OSCEs) and written assessments (including progress testing) in the knowledge domain.

대부분의 프로그램들은 아래의 두 가지를 조합하여 [연속적인 이해 관계의 구현]을 보고하였다.

• 피드백의 빈번한 전달이 수반되는 다수의 저부담 평가의 사용
  (예: 직접 관찰 작업장 기반 평가 또는 순차적 미니 OSCE)
  
• 커리큘럼의 주요 발달적 이행 시점에서 수행되는 고부담 평가와의 연계
  (예: 임상 순환, 최종 필기 시험 및 OSCE 또는 국가 면허 시험에 들어가기 전 진행 시험).

Most programmes reported the implementation of a continuum of stakes by

• the use of multiple low- stakes assessments with frequent delivery of feedback
  (e.g. direct observation workplace-based assessments or sequential mini-OSCEs)
• interwoven with high-stakes assessments performed at key developmental transition points in the curriculum
  (e.g. progression exams before entering clinical rotations, final written exams and OSCEs or national licensing exams).

이 원칙은 저부담 평가와 고부담 평가의 타이밍 및 점진적 조합과 관련하여 광범위한 형태의 시행 방식을 보였다. 더욱이 [학생들에게 평가의 이해stakes 관계에 대한 정보를 제공하고, 그러한 이해 관계의 연속체가 어떻게 운영될 것인지를 설명하는 것]은 대부분의 프로그램에서 빈번한 실행 전략이었다.

This principle had a wide range of implementations, related to timing and progressive combination of low- and high-stakes assessment. Furthermore, providing students with information about the stakes of assessment and explaining how such a continuum of stakes was going to be operationalised was a frequent implementation strategy in the majority of programmes.

많은 프로그램은 [이해관계자들이 평가를 통과/실패가 아닌 [일련의 부담stakes]에 있다고 생각하도록 권장하기 위한 정보와 지침을 제공하는 것]의 중요성을 강조하였다. 고부담 평가에 앞서 [피드백이 수반되는 다수의 저부담 평가를 구현하는 것]은 프로그램이 총괄평가 접근법이 지배하는 문화에서, stakes의 연속체 속에서 이뤄지는 ['학습을 위한 평가'라는 언어와 문화]로 전환하기 시작할 수 있도록 했다.

Many programmes highlighted the importance of providing information and guidance to encourage stakeholders to think of assessments as being on a continuum of stakes rather than pass/fail. The implementation of multiple low-stakes assessments with feedback prior to high-stakes assessments allowed programmes to begin shifting from a predominant summative assessment approach to a language and culture of assessment for learning through a continuum of stakes.

주제 3: 비례성 및 삼각측량 원칙을 포함한 공정하고 신뢰할 수 있는 의사결정 프로세스 수립:
Theme 3: Establishing equitable and credible decision-making processes including principles of proportionality and triangulation:

이 주제 아래 원칙 3, 7, 8 및 9와 일치하는 10개의 공통 구현 구성 요소(표 4)가 있었다.
There were ten common implementation components (Table 4) aligned with principles 3, 7, 8 and 9 under this theme.

대부분의 프로그램의 경우, 시간이 지남에 따라 수집된 여러 평가 데이터 포인트의 검토 및 집계를 기반으로 위원회가 고부담 의사결정(예: 다음 연수로의 진행 결정)을 내렸다. 고부담 결정의 시기는 프로그램에 따라 다양하며, 일부는 연 2회 또는 분기별로 발생하기도 한다. 저부담 의사 결정(예: 임상 기술에 대한 직접 관찰의 수행에 대한 결정)은 학습자의 성장과 개발을 촉진하기 위한 피드백을 제공하기 위해 시행되며, 하나 또는 소수의 평가 데이터 포인트를 기반으로 했다. 그러나 대다수의 프로그램은 [비례성 원칙]에 따라 저위험 평가가 고위험 의사결정에 기여한 데이터 포인트 중 하나가 될 것이라고 지적하였다.

For most programmes, high-stakes decisions (e.g. decisions to progress to the next year of training) were made by a committee based on the review and aggregation of multiple assessment data points collected over time. The timing of high-stakes decisions varied by programmme, with some occurring yearly and others biannually or quarterly. Low-stakes decisions (e.g. a decision on a performance of a direct observation of clinical skills) were based on a single or few assessment data points for the purpose of providing feedback to promote learners’ growth and development. However, the majority of programmes indicated that when implementing the principle of proportionality, low-stakes assessments would be one of the data points that contributed to a high-stakes decision.

대부분의 프로그램은 [고부담 의사 결정을 구현하기 위하여 어떤 형태든 위원회를 포함한다]고 보고했으며, 종종 2개 이상의 단계로 진행되는 위원회 의사 결정 프로세스를 기술하기도 했다

• 진행 위원회는 모든 평가 데이터를 검토한 후 학습자의 성과에 대한 첫 번째 결정을 내립니다. 
  그리고 나서 시험 위원회는 최종 결정에 도달합니다.

Most programmes reported that implementation of high-stakes decisions involved some form of a committee and described some version of a two (or more) stage committee decision-making process

• (e.g. a progress committee makes a first determination about a learner’s performance after reviewing all assessment data,
  and then an examiner committee reaches a final decision).

기술된 위원회는 일반적으로 [학습자의 평가 데이터를 검토한 후, 최종 결정에 도달하기 위해, 데이터 중심 심의에 참여하는 독립적인 훈련된 시험관trained examiner 그룹]으로 구성되었다. 대부분의 프로그램은 의사결정을 지도하고 투명성과 신뢰성을 보장하기 위해서는, [학습자가 공유된 의사결정 과정에 직접 engagement and participation]하기 위해 [잘 전달되고 사전 결정된 절차, 규칙 또는 루브릭이 필요함]을 강조하였다.

The typically described committee consisted of a group of independent, trained examiners who review learners’ assessment data, often collected in an e-portfolio, and then engage in a data-driven deliberation to reach a final decision. Most programmes highlighted the need for well communicated, pre-determined procedures, rules or rubrics to guide decision-making and to ensure transparency and credibility, often with direct learners’ engagement and participation in a shared decision-making process.

삼각측량은 대부분의 프로그램에서 고부담 의사결정 과정에서 중요한 것으로 보고되었으며, 일반적으로 이전에 가장 중요한 역량 기반 프레임워크에 매핑된 여러 평가 양식의 데이터를 종합하여 구현되었다.

Triangulation was reported by most programmes as important in the high-stakes decision-making process and was generally implemented by synthesizing data from multiple assessment modalities that had been previously mapped to an overarching competency-based framework.

모든 프로그램이 모든 학습자의 종적 성과에 대한 모니터링을 포함하는 의사결정 과정을 설명했지만, 대다수는 대부분의 의사결정이 명확하고 많은 논의를 필요로 하지 않으며, 그 결과가 교수진이나 학습자에게 '깜짝surprises'으로 다가오지 않는다고 보고했다. 대다수의 프로그램은 심층적인 위원회 논의가 성과 기준 충족에 대한 우려가 있는 상대적으로 적은 수의 학습자에게 초점이 맞춰진다고 보고했다.
Whilst all programmes described decision-making processes that included the monitoring of longitudinal performance of all learners, the majority reported that most decisions were clear-cut and did not require much, if any, discussion, with outcomes not coming as ‘surprises’ for faculty or learners. The majority of programmes reported that in depth committee discussions usually focused on a relatively small number of learners for whom there were concerns over meeting performance standards.

 

2부 - 학습자, 장벽 및 교훈
Part 2 -enablers, barriers, and lessons learned

프로그램 평가 구현의 가장 강력한 원동력은 [헌신적인 교수진이 뒷받침하는 명확한 비전을 가진 강력한 리더십]이라는 데 의견이 일치했다. 대다수의 프로그램들은 [명확하게 소통하고 접근하기 쉬운 목표와 이행 계획]이 필수적인 원동력이라고 언급하였다. 몇몇 프로그램에서는 설계와 구현 계획의 개발에 투자하는 것이 구현의 성공에 필수적이라고 언급하였다.

There was agreement that the strongest enabler for programmatic assessment implementation is strong leadership with a clear vision supported by committed faculty. The majority of programmes mentioned that having clearly communicated, accessible goals and delivery plans was an essential enabler. Several programmes mentioned that investing in the development of a design and implementation plan was fundamental to the success of the implementation.

['중앙 집중식 감독'을 '프로그램 평가의 철학을 홍보하고 모든 이해당사자를 참여시키고 소통하는 평가 워킹 그룹의 창설'과 결합하는 것]이 구현 과정의 핵심 가능자였다.

• 평가시스템에 대한 명확한 비전
• 평가과정 학습자 참여
• 평가목표 수립
• 방어 가능한 절차 및 절차 이행

...등이 모두 성공적인 시행을 위해 필요한 단계로 언급됐다.
A centralised oversight coupled with the creation of an assessment working group who would promote the philosophy of programmatic assessment and engage and communicate with all stakeholders were key enablers in the implementation process.

• Having a clear vision of the assessment system,
• involving learners in the assessment process,
• establishing assessment goals, and
• implementing defensible processes and procedures

...were all mentioned as necessary steps to enable successful implementation.

또 다른 공통 요소(및 장벽)는 구현 프로세스의 설계, 개발 및 제공에 대한 모든 이해 관계자의 참여 수준입니다. 성공의 기본은 

• 교수진과 학습자를 대상으로 프로그램 평가의 운영 및 원칙 교육을 위한 지속적인 자원 투입
• 피드백 전달, 학습자의 행위자성 및 의사결정을 위한 삼각측량 절차를 지원하기 위한 소프트웨어(e-Portfolios)에 대한 투자였다. 

Another common enabler (and barrier) was the level of buy-in and engagement of all stakeholders in the design, development and delivery of the implementation process. Fundamental to the success was

• an ongoing commitment of resources to train faculty and learners on the principles, operationalisation of programmatic assessment,
• coupled in the longer term, with a commitment to invest in software (e-Portfolios) to support feedback delivery, learners’ agency, and triangulation procedures for decision-making.

구현의 일환으로 [지속적인 교수진 개발 프로그램]을 만든 것이 중요한 원동력이었다. 교수개발 프로그램은 평가 문해력에 초점을 두었고, 이는 [사용되고 있는 역량 프레임워크에 대한 적절한 수준의 지식] 및 [학습을 위한 피드백을 제공하는 것] 등을 의미한다. 그러한 노력에는 자원과 리더십 지원이 분명히 포함되어 있었다. 학습자의 진도와 성취도를 평가하고 지원하기 위한 강력한 코칭 시스템 개발에 자원을 투자하는 것도 언급되었다.

The creation of an ongoing faculty development programme as part of the implementation, focusing on assessment literacy, a good knowledge of the competency framework in use and providing feedback for learning, was a critical enabler. Such effort clearly involved the leveraging of resources and leadership support. Investing resource into developing a strong coaching system to evaluate and support learners’ progress and achievement was also mentioned.

프로그램이 [새로운 프로그램]이나 [전체 커리큘럼 개편]과 연계하여 프로그램 평가를 구연하는 것이, 이미 자리잡은 시스템 내에서 통합을 시도하는 프로그램보다 분명히 더 원활한 프로세스였다. 세부 커리큘럼 매핑과 함께 [세심한 건설적 정렬은 신규 시행new implementation이 더 쉽다는 점]이 지적됐다.

Where programmes had implemented programmatic assessment in new programmes or in conjunction with a full curriculum review, it was evidently a smoother process than in programmes which were attempting to integrate within established systems. Careful constructive alignment with detailed curriculum mapping was noted as being easier in new implementations.

일반적으로 언급되는 구현의 장애요인barriers은 실행 가능요인enabler을 상당 부분 미러링했다. 변화에 대한 조직의 의지 수준, 교수 시간의 요구, 자원의 가용성은 모든 응답자들에 의해 장벽으로 언급되었지만 반드시 극복할 수는 없었다. 성공적인 구현을 위한 가장 큰 장벽은 [변화에 대한 일반적인 저항]이었으며, 대부분의 프로그램은 교수진, 교육자 및 학습자의 [내재된 교육 및 평가 문화, 기대 및 태도를 변화시키는 데 어려움]을 언급하고 있었다. 교수진의 전문적인 성장을 위한 계획 및 자원 제공의 부족과 마찬가지로 [학습자들의 평가 사고방식과 문화의 변화]가 중요한 장벽으로 확인되었다. 시스템 수준의 변화를 위해 헌신하는 [강력한 리더십의 부재]는 많은 기관들에 의해 구현에 중대한 장애물로 인식되었다.

The commonly mentioned barriers to implementation to a large extent mirrored the enablers. The level of organisational commitment to change, demands on faculty time, and availability of resources were cited by all responders as barriers, but not necessarily insurmountable ones. The biggest barrier to successful implementation was a general resistance to change, with most programmes mentioning the difficulty in changing embedded educational and assessment cultures, expectations and attitudes – of faculty, educators and learners. A shift in the mindset and culture of assessment among learners was identified as a significant a barrier, as was a lack of planning and provision of resources for faculty professional growth. The lack of strong leadership committed to making changes at the system level was recognised as a significant obstacle to implementation by many institutions.

기관 정책과 인가 및 규제 기관의 요구사항이 잠재적 장벽으로 보고되었다. 예를 들어, 교육 중 어느 시점에 높은 점수를 받는 국가 면허 시험에 합격해야 한다는 요구 사항은 이론적 원리에 반하는 것이며, 프로그래밍 방식의 평가에 대한 학습자의 참여 가능성과 참여를 방해하는 요인으로 간주되었다. 그러나 대부분의 프로그램은 대학 정책 및 국가 인증 기관이 정한 경계와 규정 내에서 변화를 이루거나, 프로그램 평가를 구현하는 것이 가능했다.
Institutional policies and requirements from accreditation and regulatory bodies were reported as potential barriers. For example, the requirement on learners to pass a high-stakes national licensing exam at some point in their training was seen as counter-intuitive to the theoretical principles and as a hindering factor to the acceptability of and learners’ buy-in to programmatic assessment. However, most programmes were able to make changes and implement programmatic assessment within the boundaries and regulations set by university policies and national accreditation bodies.

프로그램 평가의 시행은 학습자, 교수진, 그리고 그들의 교육 시스템과 관련된 많은 교훈을 배울 수 있는 기회를 프로그램에 제공한다. 프로그램은 학습자를 프로그램 평가 혁신에 참여시키는 것이 교수진의 참여만큼이나 중요하다는 것을 배웠습니다. 대부분의 프로그램은 프로그램 평가 구현이 평가의 학습 기능을 활용하는 데 도움이 되고, [어려움을 겪고 있는 학습자를 조기에 식별할 수 있는 기회]를 더 많이 제공하므로 개선은 물론, [표적화된 강력한 개입]에 더 많은 시간을 할애할 수 있다고 설명했다. 또한 [학습자는 능동적으로 피드백을 구하고 자신의 학습에 대한 소유권을 가질 가능성]이 높은 반면, 교수진은 학습자의 진도와 성과에 대한 평가, 토론 및 의사결정을 보다 쉽게 할 수 있습니다.
The implementation of programmatic assessment afforded programmes the opportunity to learn a number of lessons related to learners, faculty, and their educational system. Programmes learnt that involving learners in programmatic assessment innovation is just as important as buy-in from faculty members. Most programmes described that implementing programmatic assessment helped leverage the learning function of assessment and provided more opportunity to identify struggling learners early on, thereby allowing more time for improvement and for targeted and robust interventions. Furthermore, learners were more likely to seek feedback proactively and take ownership of their own learning while faculty were more comfortable with assessing, discussing, and making decisions about learners’ progress and performance.

많은 프로그램들은 공유된 비전을 유지하기 위해 이해관계자들과 정기적으로 참여하는 것의 중요성을 배웠고, 왜, 무엇을, 어떻게 변화가 일어날 것인지를 자주 전달했다고 설명하였다. 대부분의 응답자들은 프로그램 평가의 교육적 이득을 구현하고 인식하기 위해서는 끈기, 강력한 리더십, 그리고 제도적 헌신이 필요하다고 보고했다. 또한 몇몇 의견제출자들은 변화의 과정을 실행시키기enact 위해서는 기관의 맥락적 요인과 문화적 지형을 이해하는 것이 필수적이라는 것을 인식하였다. 한 특정 맥락에서 발생하는 변화가 다른 상황에서는 실현 가능하지 않거나, 성공적이지 않을 수도 있다. 많은 프로그램들은 [프로그램 평가가 전통적인 평가를 근본적으로 파괴시키는 것]이며, [주요한 패러다임의 변화를 요구한다]고 지적하였다.
Many programmes described having learnt the importance of engaging regularly with stakeholders to maintain a shared vision, frequently communicating the why, what, and how change is going to occur. Most respondents reported that it took perseverance, strong leadership, and institutional commitment to implement and recognise the educational gains of programmatic assessment. Several respondents also recognised that understanding the contextual factors and the cultural landscape of the institution was vital to enact a process of change. Changes occurring in one particular context may not be feasible or as successful in another. Many programmes indicated that programmatic assessment is a fundamental disruption from traditional assessment and requires a major paradigm shift; therefore, creating a context supportive of change is imperative for success.

의견제출자들은 프로그램 평가의 시행이 의도하지 않은 몇 가지 결과를 나타내었다. 일부 프로그램의 경우, 프로그램 평가의 시행은 커리큘럼에 대한 새로운 통찰력을 제공하고 개선해야 할 영역을 식별할 수 있게 했다. 프로그래밍 방식의 평가로의 변화는 피드백 리터러시를 향상시켰고, 학생들이 교수들로부터 받은 피드백을 가장 잘 활용하는 방법을 이해하는 데 도움이 되었다.
Respondents indicated several unintended consequences of the implementation of programmatic assessment. For some programmes, implementing programmatic assessment provided a new insight into the curriculum and allowed identification of areas for improvement. The change to programmatic assessment enhanced feedback literacy and helped students understand how to best utilise the feedback they received from faculty.

한 프로그램은 ['프로그램적 평가'와 '학습을 위한 평가라는 원칙']에 따라 복수의 데이터 포인트가 있고 결정 지점이 거의 없는 것이 아니라, 어떤 이유에서인지 [의사결정 지점의 수가 증가]하여 [학생들이 지속적인 총괄평가 환경의 일부가 된다는 인식]을 갖게 되었다고 보고했다.
One programme reported that instead of having multiple data points and few decision points in accordance with programmatic assessment and assessment for learning principles, for some reason, there was an increase in the number of decision points, resulting in students’ perception of being part of an environment of constant summative assessment.

일부 프로그램은 특히 프로그램 평가 시행 초기에 교수 시간과 업무량이 증가했다고 보고했지만, 교수진(코치)과 학습자 사이의 더 나은 의사소통과 대화 측면에서 장기적인 이익이 시간 자원의 초기 투자보다 더 크다고 언급했다.
Some programmes reported an increase in faculty time and workload, particularly at the inception of programmatic assessment implementation, but noted that the longer-term benefits in terms of the better communication and dialogue between faculty (coaches) and learners outweighed the initial investment of time resource.

몇몇 프로그램들은 프로그램 평가의 시행이 [테크놀로지 강화 평가technology enhanced assessment]의 예상치 못한 증가와 일치한다고 지적하였다. 경험을 수집하기 위하여 [e-포트폴리오와 휴대용 테크놀로지]를 추가하여, 학습자들이 자신의 작업을 공유하고 성찰을 촉진하고 교수진과 상호 작용할 수 있는 안전한 환경을 만들 수 있도록 하였다.

Several programmes indicated that their implementation of programmatic assessment coincided with an unexpected increase in the use of technology enhanced assessment; the use of an e-portfolio and the addition of portable technology to collect experiences allowed learners to share their work, promoting reflection and creating a safe environment to interact with faculty.

활성화 요소와 장벽에 대한 추가 세부 사항은 보충 부록 1에 보고되어 있다.

Additional details on enablers and barriers are reported in Supplementary Appendix 1.

고찰
Discussion

서로 다른 프로그램에 걸쳐 광범위한 구현 설명이 있었지만, 전반적인 구현 요소, 가능 요소 및 장벽은 학부와 대학원 프로그램에 걸쳐 유사했다. 12가지 프로그램 평가 원칙의 실제 실행은 대부분 원래의 선언enunciation과 논리에 충실했다. 예를 들어, 대부분의 프로그램에는 [고부담 의사결정을 위한 평가 위원회]라는 형식이 있었지만, 위원회의 명칭, 데이터 분석에 사용된 절차 또는 위원회의 회의 빈도는 프로그램 전반에 걸쳐 다양한 구현 범위를 가지고 있는 것으로 밝혀졌다. 

• 고부담 결정을 위한 검토 위원회 사용,
  
• 혼합된 평가 방법의 활용
  
• 모든 평가를 피드백에 최적화된 데이터 포인트로서 구현,
• 부담의 연속체 개발

...이런 것들은 다양한 프로그램과 교육적 맥락에 걸친 실행 범위 내에서 실행으로 전환된 원칙들 중 일부에 불과했습니다.

There were a wide range of implementation descriptions across different programmes, yet overall components of implementation, enablers and barriers were similar across disciplines and undergraduate and postgraduate programmes. The actual implementation of the 12 programmatic assessment principles remained, for the most part, faithful to the original enunciation and rationale. For example, most programmes had some form of assessment committee for high-stakes decisions; however, what the committee was named, what procedure was used to analyse data, or how often the committee met was found to have a range of implementations across programmes.

• The use of review committees for high-stakes decisions,
• the utilisation of mixed methods of assessments,
• the implementation of every assessment as a data point optimised for feedback, and
• the development of a continuum of stakes

...were just some of the principles translated into practice within a range of implementations across different programmes and educational contexts.

프로그램 평가에서 구현의 중요한 역할이 논의되었으며, 구현의 품질이 프로그램 평가의 성공을 정의한다고 제안되었다. 주요 구현 요소는 다음과 같습니다. 

• 원칙과 참여에 기반한 설계
  
• 평가를 통합하기 위한 포트폴리오의 역할 
  
• 고부담 의사 결정에서 위원회의 역할 
  
• 평가에 대한 학생들의 인식 
  
• 학습자와 교수진 사이의 관계
  
• 커리큘럼과 프로그램 평가의 병행 시행 

The critical role of implementation in programmatic assessment has been discussed (Bok et al. 2013), and it has been suggested that the quality of implementation defines the success of programmatic assessment (Van Der Vleuten et al. 2019). Key implementation elements include

• design based on principles and participation (Jamieson et al. 2017; Schuwirth et al. 2017),
• the role of a portfolio to integrate assessments (Dannefer and Henson 2007),
• the role of a committee in high-stakes decision-making (Van Der Vleuten et al. 2015),
• students’ perception of the assessment (Heeneman et al. 2015; Schut et al. 2018),
• the relationship between learners and faculty (Schut et al. 2021), and the parallel implementation of curriculum and programmatic assessment (Freeman and Ricketts 2010; Ricketts and Bligh 2011).

보다 최근에 Jamieson 등(2021)은 성공적인 프로그램 평가의 구현은 [감독자의 역할과 평가 관행에 대한 관점을 변화]시키는 동시에, [감독자-학습자 관계를 개선한다]는 것을 발견했다. 프로그램 평가의 적절한 구현은 역량중심의학교육의 성과에 대한 데이터를 제공한다는 점에서도 중요하다

More recently, Jamieson et al. (2021) found that a successful implementation of programmatic assessment transformed the supervisors’ role and their views of assessment practices, whilst enhancing the supervisor-learner relationship . Adequate implementation of programmatic assessment is also critical to provide data to inform outcomes of competency based medical education (Hauer et al. 2018; Iobst and Holmboe 2020; Misra et al. 2021).

구현은 고립된 이벤트가 아니다. 대부분의 프로그램은 프로그램 평가의 시행 과정에 시간(몇 달이 아니라 몇 년)이 걸리고, 전략적으로 잘 설계되고, 예산이 잘 책정된 계획이 필요하며, 강력한 리더십과 지원이 필요하며, 변화에 대한 공동의 비전과 교육 기업 전체의 문화 이동이 요구된다고 보고했다. 또한 지속적인 진행 상황 모니터링과 당면 과제 해결 지원과 함께 지속적인 교수진 개발 및 코칭 프로그램이 필요하다. 프로그램 평가의 실행은 핵심 구성요소의 무결성을 유지하기 위한 자원의 지속적인 헌신과 지속적인 주의를 필요로 한다.
Implementation is a process not an isolated event (Hall and Hord 2015). Most programmes reported that the implementation process of programmatic assessment

• takes time (years not months),
• needs a strategic well-designed and well budgeted plan,
• requires strong leadership and support, and
• demands a shared vision of change and a culture shift across the entire educational enterprise.

Further, it

• involves an ongoing programme of faculty development and coaching with continuous monitoring of progress and assistance to face and resolve challenges.

Implementation of programmatic assessment

• requires sustained commitment of resources and ongoing vigilance to maintain the integrity of its key components.

계획 설계, 리더십 지원 확보, 유연성 및 조정 기회 허용, 이해관계자 간의 관련성과 가치에 대한 공통된 믿음은 모두 변화 관리 문헌에 보고된 중요한 요소들이다(Gale and Grant 1997; Schneider 2014). 프로그램 평가의 구현에 대한 설명은 이러한 요인들 중 몇 가지와 일치하지만, 맥락과 그 복잡성에 대한 적응은 프로그램 전반에 걸친 프로그램 평가 원칙의 성공적인 구현을 위한 필수 요소로 부상하는 것으로 보인다.
Designing a plan, securing leadership support, allowing opportunities for flexibility and adjustments, a shared belief of relevance and value among stakeholders are all important factors reported in the managing change literature (Gale and Grant 1997; Schneider 2014). The descriptions of implementations of programmatic assessment are aligned with several of these factors, yet adaptation to context and its complexities seems to emerge as an essential ingredient for a successful implementation of the principles of programmatic assessment across programmes.

이해 관계의 연속체로서의 평가(원칙 6)는 특히 그 구현 방식이 광범위했다. 많은 프로그램들이 시행되고 시행되어 어떻게 운영될지 등 이 원칙의 의미에 대해 설명하고 교육할 계획이며, 성장과 개선의 문화를 조성하여 성적과 석차가 없어지는 경우도 있었다. 이러한 접근 방식은 평가 과정 속에서 학습자의 행위자성를 육성할 수 있는 기회를 만들었습니다. 이는 학습자가 이해 관계의 연속성을 복잡한 것으로 인식하고 평가 과정을 통제하고 수행할 수 있다는 인식과 밀접한 관련이 있음을 시사하는 이전의 증거와 일치했다(Bok et al. 2013; Schut et al. 2018).
Assessment as a continuum of stakes (principle 6) had a particularly wide range of implementations. Many programmes implemented and executed plans to explain and educate learners about the meaning of this principle, including how it was going to be operationalised, promoting a culture of growth and improvement that, in some cases, led to the elimination of grades and class ranks. This approach created opportunities to foster learners' agency with the assessment process. This was aligned with previous evidence suggesting that a continuum of stakes is perceived by learners as complex and is strongly related to their perception of being able to control and take agency of the assessment process (Bok et al. 2013; Schut et al. 2018).

[학습자의 행위자성learner's agency]은 복잡한 과정이다. 여기에는 [기존의 사회적 규범과 문화적 신념의 압력]에 [대응하기 위한 노력 및 멘토십과 서포트]가 필요하다(Watling et al. 2021) [교사-학습자 관계]는 학습자의 평가 인식에 중요한 역할을 한다.

• [평가 관계에서 덜 지배적인 접근 방식을 보이는 교사]는 학습자의 에이전시를 가능하게 하여 학습 평가에 대한 긍정적인 학습자 인식을 촉진한다(Schut et al. 2020a).
• [교사가 저부담 평가 과정에 대한 통제를 행사]하면 평가의 학습 기능을 방해하고 교사-학습자 관계에 긴장을 발생시킬 수 있다(Schut et al. 2020b).

이러한 긴장은 중요한 평가 결정이 한 개인의 결정보다는 집단적인 책임을 지는 진보 위원회나 임상 역량 위원회를 사용함으로써 완화될 수 있다. 진급progress 위원회 또는 역량competency 위원회의 사용은 프로그램 평가의 구현에 대한 거의 모든 설명에서 핵심 요소였다.
Learners’ agency is a complicated process; it takes effort and requires mentorship and support to counteract the pressure of established social norms and cultural beliefs (Watling et al. 2021). Teacher-learner relationships play a critical role in learners’ assessment perceptions;

• teachers who show a less dominant approach in the assessment relationship enable learners’ agency, promoting a positive learner perception of assessment for learning (Schut et al. 2020a).
• If teachers exert control over the low-stakes assessment process it can hinder the learning function of assessment and generate tensions in the teacher-learner relationship (Schut et al. 2020b).

Such tensions can be relieved in the use of progress committees or clinical competency committees, where important assessment decisions have a collective responsibility rather than that of a single individual. The use of a progress or competency committee was a key component in almost all descriptions of the implementations of programmatic assessment.

프로그래밍 평가를 도입함으로써, 학습자는 [성과 목표 지향(긍정적인 판단을 얻고 자신의 능력을 인정받거나 부정적인 피드백을 피하는 데 초점을 맞춤)]이 아닌 [학습 목표 지향(성장과 개선에 초점을 맞춤)]을 둔 피드백을 탐색 행동을 촉진하게 된다면, 학습자의 프로그램적 평가에 대한 수용을 촉진하고, 평가를 '부담의 연속체'로 인식하게끔 영향을 미칠 수 있으며, 궁극적으로 이 원칙의 이행을 촉진할 수 있다. 또한 성찰은 학습자의 자기 평가와 동떨어진 피드백을 수용하는 경로라는 의견도 제시되었다(상사 등 2008).
In the implementation of programmatic assessment, fostering a feedback seeking behaviour with a learning goal orientation (focused on growth and improvement) rather than a performance goal orientation (focused on gaining a positive judgement and garnering recognition of their own ability or on avoiding negative feedback) (Bok et al. 2013; Teunissen and Bok 2013) may promote learners’ acceptance and affect their perceptions of assessment as a continuum of stakes, ultimately facilitating the implementation of this principle. It has also been suggested that reflection is the path to acceptance of feedback that is out of line with learners’ self-assessment (Sargeant et al. 2008).

원칙 중 하나(원칙 12, 개별 학습자에 맞춘 평가)는 특히 학습자가 많은 프로그램에서 완전히 구현하기가 어려운 것으로 입증되었다. 그러나 다른 원칙의 이행은 적어도 프로그램 규모가 크기 때문에 원칙이 전혀 이행될 수 없는 정도까지는 프로그램의 크기에 크게 영향을 받지 않는 것으로 보였다.
One of the principles, (principle 12, assessment tailored to the individual learner), proved to be challenging to fully implement, particularly in programmes with a large number of learners. However, the implementation of the other principles did not seem to be significantly affected by the size of a programme, at least to the extent that a principle could not be at all implemented because of a large programme size.

널리 알려진 구현 장벽 중 하나는 리더, 학습자 및 교육자들 사이에서 조직 내 평가 문화의 패러다임 전환이 필요하다는 것이었다. 오랫동안 확립된 프로그램들은 더 많은 성공을 보고한 반면, 새로운 프로그램들은 여전히 이러한 문화적 변화를 경험하고 있으며, 맥락에 따라 그 정도에서 현저한 차이가 있었다. 프로그램의 조직적, 문화적 맥락을 이해하는 것은 모든 이해당사자들이 공유 환경의 필수적인 부분이기 때문에 개입이나 변화의 실행과 지속가능성을 위해 필수적이다. 컨텍스트는 특정 구현을 둘러싼 [수많은 상호작용 변수와 상황의 집합]으로 구성됩니다. 시스템의 맥락을 형성하는 모든 부분이 정당화되고legitimised 관여될involved 필요가 있다.
One of the widely recognised barriers to implementation was the need for a paradigm shift in assessment culture within the organisation, amongst leaders, learners and educators. Programmes which have longer-standing established implementations reported more success whereas newer implementations are still experiencing this cultural shift, and there were noticeable differences in the extent of this across contexts. Understanding the organisational and cultural context of programmes is essential for the implementation and sustainability of any intervention or change because all stakeholders are an integral part of a shared environment (Damschroder et al. 2009; Marks et al. 2010). Context consists of a number of interacting variables and set of circumstances that surround a specific implementation. All parts which shape the context of a system need to be legitimised and involved.

변화하는 문화에 대한 이해관계자의 태도에 대해서, 사회적 인지 모델을 기반으로 등장한 드웩의 [자기이론] 개념을 연결지어 볼 수 있다. 외부 속성(이러한 맥락적 교육 요소)은 이해관계자의 마음가짐에 따라 '고정적(entity theory)' 또는 '적응적(incremental theory)'으로 간주될 수 있다.

• 이해당사자들이 incremental theoriest라면 개선을 모색하고 외부 속성이 더 좋게 변할 수 있다고 믿음으로써 변화를 긍정적으로 받아들일 가능성이 높다.
• 반대로, 이해당사자들이 실체 이론가entity theorist라면, 그들은 변화에 참여하거나 변화를 시작하는데 더 저항할 것이다.

The emerging concepts of self-theories which impact personal motivation and growth mindset, built on the social cognitive model proposed by Dweck (Dweck and Leggett 1988) can be considered in relation to stakeholders’ attitudes to changing culture. External attributes (such contextual education factors) may be considered as ‘fixed’ (entity theory) or ‘adaptable’ (incremental theory) depending on the mindset of the stakeholder.

• If stakeholders are incremental theorists, they are more likely to positively embrace change by seeking improvement and believing that external attributes can change for the better.
• Conversely, if stakeholders are entity theorists, they will be more resistant to engage with or initiate change.

성장 사고방식 문화를 지지하고 채택하는 프로그램은 학습자와 교육자가 더 많은 도전을 하고 변화를 시작하고, 이해 당사자들이 '실패'를 학습 기회로 보고 혁신에 대한 자신감을 고취하도록 동기를 부여할 것이다(Dweck 2019; Canning et al. 2020). 개별 학습자, 교사, 조직적 수준에서 incremental theory 접근법과 learning goal orientation을 육성하는 것은 프로그램 평가의 실행에 도움이 될 것이다.  
Programmes that endorse and adopt a growth mindset culture will motivate learners and educators to take on more challenges and initiate change, encourage stakeholders to view ‘failures’ as learning opportunities and inspire confidence in innovation (Dweck 2019; Canning et al. 2020). Fostering an incremental theory approach and a learning goal orientation within individual learners and teachers, and at the organisational level would be beneficial for the implementation of programmatic assessment. 

결론
Conclusions

프로그램 평가의 시행은 시간이 걸리고, 강력한 리더십 헌신과 지원이 필요하며, 개인과 조직 차원의 지속적인 노력이 필요하다. [전통적인 평가 접근 방식]에서 교수진과 학생들에 의한 [프로그램식 평가 문화]로의 패러다임 전환은 대학 정책과 절차에 의해 야기되는 제약과 결합되어 중요하면서도 시행의 장벽을 넘을 수 없었다. 프로그램 평가 구현은 커리큘럼에 대한 새로운 통찰력을 제공하여, 프로그램이 개선해야 할 영역을 식별할 수 있도록 했다. 또한 학생과 교직원의 피드백 리터러시를 개선하고, 피드백 품질을 향상시키며, 어려움을 겪고 있는 학습자를 조기에 식별하고 지원할 수 있도록 했다. 프로그래밍 평가 원칙(평가 방법희 혼합, 삼각 측량, 종단성 및 비례성)을 성공적으로 구현하면 의사결정 프로세스에 사용할 수 있는 데이터가 개선되는 동시에 데이터 및 문서의 양이 관리 가능하고 의미 있게 유지된다.

Implementation of programmatic assessment takes time, needs strong leadership commitment and support, and involves a continuous effort at the individual and organisational level. A paradigm shift from the mindset of a traditional assessment approach to that of a programmatic assessment culture by faculty, and students, coupled with the constraints posed by university policies and procedures, were significant yet not insurmountable barriers to implementation. Programmatic assessment implementation provided a new insight into the curriculum, allowing programmes to identify areas for improvement. It also enhanced feedback literacy among students and faculty, improved feedback quality, and allowed early identification and support of struggling learners. Successful implementations of the principles of programmatic assessment (mix of methods of assessment, triangulation, longitudinality, and proportionality) improve the data available for decision making processes, whilst keeping the amount of data and documentation manageable and meaningful.

향후 작업에 대한 권장 사항
Recommendations for future work

향후 연구를 위한 여러 가지 권고사항이 있다.
There are a number of recommendations for future research.

첫째, 특정 원칙의 구현을 강화하기 위해 특정 원칙의 구현에 영향을 미칠 수 있는 중요한 요소를 추가로 조사합니다. 특정 원칙의 이행에 대해 외부 규제 기관(면허, 자격 시험)이 실시하는 필수 고부담 평가의 역할을 추가로 결정하고 탐구할 필요가 있다.

First, investigate further the critical factors that may influence the implementation of specific principles in order to enhance their implementation. The role of required high-stakes assessments conducted by external regulatory bodies (licensure, qualification exams) on the implementation of specific principles needs to be further determined and explored.

둘째, 프로그램 평가의 주요 측면에 대해 구현 품질을 향상시킬 수 있는 효과적인 교수개발 프로그램의 개발에 대해 탐구한다(특히 피드백 전달 및 프로그램 평가 리터러시 등). 또한, 학생의 프로그램 평가 실습에 대한 이해, 채택 및 활용을 촉진하는 방법이 모색되어야 한다. 여기에는 예를 들어 레지던트 매치의 성공과 같은 전문 훈련 프로그램의 높은 결과에 대한 현실과 같이 학습자의 인지 부조화를 유발할 수 있는 명시적이고 숨겨진 커리큘럼 메시지에 대한 검토가 포함될 수 있다.
Second, inquire about the development of effective faculty development programmes that may enhance the quality of implementation, particularly about key aspects of programmatic assessment such as feedback delivery and programmatic assessment literacy. Further, ways to promote students’ understanding, adoption, and utilisation of programmatic assessment practices should be sought. This could include examination of explicit and hidden curriculum messages that might cause learners cognitive dissonance, for example the reality of high-stakes consequences of professional training programmes, such as success in residency matches.

셋째, 구현에 영향을 미치는 주요 상황적, 문화적 요인 및 그러한 요인이 전 세계 여러 기관에 걸쳐 구현에 어떤 영향을 미치는지에 대한 추가 조사를 수행해야 한다.
Third, additional inquiries should be conducted about key contextual and cultural factors that affect implementation and how such factors influence implementation across different institutions worldwide.

마지막으로, 프로그램 평가, 학습자 역량 및 웰빙의 완전하고 효과적인 구현의 영향과 이 접근법이 궁극적으로 환자와 시스템 수준에서 의료 결과에 영향을 미치는 정도를 평가하기 위해 더 많은 연구가 필요하다.

Finally, more research is needed to evaluate the impact of a complete and effective implementation of programmatic assessment, learner competency and wellness, and the extent to which this approach ultimately impacts health care outcomes at the patient and system level.

 

---

 

 

 

Med Teach. 2021 Oct;43(10):1149-1160.

 

 doi: 10.1080/0142159X.2021.1956681. Epub 2021 Jul 30.

 

Ottawa 2020 consensus statements for programmatic assessment - 2. Implementation and practice

Dario Torre 1, Neil E Rice 2, Anna Ryan 3, Harold Bok 4, Luke J Dawson 5, Beth Bierer 6, Tim J Wilkinson 7, Glendon R Tait 8, Tom Laughlin 9, Kiran Veerapen 10, Sylvia Heeneman 11, Adrian Freeman 2, Cees van der Vleuten 11

 

Affiliations

1Department of Medicine, Uniformed Services University of Health Sciences, Bethesda, MD, USA.

2College of Medicine and Health, University of Exeter Medical School, Exeter, UK.

3Department of Medical Education, Melbourne Medical School, University of Melbourne, Melbourne, Australia.

4Department of Population Health Sciences, Faculty of Veterinary Medicine, Utrecht University, Utrecht, The Netherlands.

5School of Dentistry, University of Liverpool, Liverpool, UK.

6Cleveland Clinic Lerner College of Medicine of Case Western Reserve University, Cleveland, OH, USA.

7Education unit, University of Otago, Christchurch, New Zealand.

8MD Program, Dept. of Psychiatry, and The Wilson Centre, University of Toronto, Toronto, Canada.

9Department of Family Medicine, Dalhousie University, Halifax, Canada.

10Faculty of Medicine, University of British Columbia, Vancouver, Canada.

11Department of Educational Development and Research, School of Health Profession Education, Maastricht University, Maastricht, The Netherlands.

PMID: 34330202

DOI: 10.1080/0142159X.2021.1956681

Abstract

Introduction: Programmatic assessment is a longitudinal, developmental approach that fosters and harnesses the learning function of assessment. Yet the implementation, a critical step to translate theory into practice, can be challenging. As part of the Ottawa 2020 consensus statement on programmatic assessment, we sought to provide descriptions of the implementation of the 12 principles of programmatic assessment and to gain insight into enablers and barriers across different institutions and contexts.

Methods: After the 2020 Ottawa conference, we surveyed 15 Health Profession Education programmes from six different countries about the implementation of the 12 principles of programmatic assessment. Survey responses were analysed using a deductive thematic analysis.

Results and discussion: A wide range of implementations were reported although the principles remained, for the most part, faithful to the original enunciation and rationale. Enablers included strong leadership support, ongoing faculty development, providing students with clear expectations about assessment, simultaneous curriculum renewal and organisational commitment to change. Most barriers were related to the need for a paradigm shift in the culture of assessment. Descriptions of implementations in relation to the theoretical principles, across multiple educational contexts, coupled with explanations of enablers and barriers, provided new insights and a clearer understanding of the strategic and operational considerations in the implementation of programmatic assessment. Future research is needed to further explore how contextual and cultural factors affect implementation.

Keywords: Assessment; feedback; general; portfolio; theory.