CBME에서 프로그램적 평가와 프로그램 평가의 관계 탐색(Med Teach, 2020)

CBME에서 프로그램적 평가와 프로그램 평가의 관계 탐색(Med Teach, 2020)
Exploring the connections between programmatic assessment and program evaluation within competency-based medical education programs
Katherine A. Moreaua,b

 

프로그램적 평가와 프로그램 평가는 역량 기반 의료 교육(CBME) 프로그램에서 필수적인 개념이다. 

• 프로그램적 평가는,
  • [평가에 대한 하나의 접근방식으로서, 훈련기간 전체에 걸쳐 학습자의 진행률과 역량을 평가하기 위한 정보의 지속적인 수집, 분석, 집계 및 삼각측량]을 포함한다.
  • 프로그램적 평가에서 측정의 대상은 [개별 학습자]입니다.
  • 여러 출처의, 다양한 평가 도구를 사용하는 것에 의존하여, 학습자의 성과와 개선 영역에 대해 학습자와 멘토에게 정보를 제공한다.
• 반대로, 프로그램 평가는
  • '프로그램에 대한 판단을 내리고, 프로그램 효율성을 개선하며, 미래 프로그래밍에 대한 결정을 알리기 위한 프로그램의 활동, 특성 및 결과에 대한 체계적인 정보 수집'이다(23 페이지).
  • 프로그램 평가에서 측정의 대상은 [프로그램 자체]이다.
  • 프로그램 평가는 올바르게 수행될 경우 필요한 프로그램의 유형, 프로그램의 구현, 프로그램 개선을 위한 영역 및 프로그램 결과의 달성(또는 부족)에 대한 중요한 정보를 제공한다(Cook 2010).

Programmatic assessment and program evaluation are essential concepts within competency-based medical education (CBME) programs.

• Programmatic assessment,
  • an approach to assessment, involves the continuous collection, analyses, aggregation, and triangulation of information to assess a learner’s progress and competence throughout his/her training (Schuwirth et al. 2017; Schuwirth and Van der Vleuten 2019).
  • The object of measurement in programmatic assessment is the individual learner.
  • It relies on the use of various assessment tools, from multiple sources, to inform the learner and mentor(s) about the learner’s achievements and areas for improvement (Schuwirth and Van der Vleuten 2019).
• Conversely, as Patton (1997) notes, program evaluation is ‘the systematic collection of information about the activities, characteristics, and outcomes of programs to make judgments about a program, improve program effectiveness, and/or inform decisions about future programming’ (p. 23). The object of measurement in program evaluation is the program itself. Program evaluation, when done correctly, provides vital information about the types of programs needed, the implementation of programs, areas for program improvement, and the attainment (or lack thereof) of program outcomes (Cook 2010).

프로그램 평가와 프로그램 평가를 구별하고 두 개념 사이의 연결을 강조하기 위해 더 많은 연구가 필요하다. 그러한 탐구는 CBME 프로그램 내에서 프로그램 평가와 프로그램 평가의 사용 및 편익을 극대화하는 데 도움이 될 것이다.

need further exploration in order to distinguish between programmatic assessment and program evaluation as well as highlight the connections between the two concepts. 

 

프로그램적 평가의 평가
Evaluating programmatic assessment

[프로그램적 평가]는 목표, 투입, 활동, 산출 및 성과가 있다는 점에서 (교육)프로그램과 유사하다. 따라서 확립된 프로그램 평가 모델 또는 접근방식을 사용하여 프로그램 평가를 평가할 수 있다(Gandomkar et al. 2015). 예를 들어, 연구자들은 새로운 커크패트릭 모델(Moreau 2017) 또는 기여 분석(Moreau and Eady 2015; Van Melle 등 2017)이 CBME 프로그램의 평가와 프로그램 평가의 확장에 효과적일 것임을 강조했다.

Programmatic assessment resembles a program in that it has objectives, inputs, activities, outputs, and outcomes. Therefore, it is feasible to evaluate programmatic assessment using established program evaluation models or approaches (Gandomkar et al. 2015). Researchers have highlighted, for example, that the New World Kirkpatrick Model (Moreau 2017) or contribution analysis (Moreau and Eady 2015; Van Melle et al. 2017) would work well for the evaluation of CBME programs and by extension for the evaluation of programmatic assessment.

• [새로운 커크패트릭 모델]은 교육 프로그램과 관련하여 참가자의 반응, 학습 및 행동뿐만 아니라 프로그램으로 인해 결과(즉, 특정 결과)가 발생하는 정도를 평가한다. 이 모델을 프로그램적 평가의 평가에 사용한다면, 예를 들어 다음을 평가하는 데 초점을 맞출 것입니다.
  • 학습자가 프로그래밍 평가가 유익하고 훈련에 적합하다고 생각하는 정도,
  • 프로그래밍 평가가 학습자의 지식, 기술 및 주어진 영역에 대한 자신감에 영향을 미치는 정도
  • 학습자가 훈련과정에서 프로그램적 평가에서 수집한 정보를 활용하는 정도
  • 프로그램적 평가가 학습자가 목표한 교육 성과를 달성하는 데 도움이 되는 정도.
• The New World Kirkpatrick Model evaluates participants’ reactions, learning, and behaviours in relation to a training program as well as degree to which results (i.e. specific outcomes) occur because of a program (Kirkpatrick and Kirkpatrick 2016; Moreau 2017). When using it to evaluate programmatic assessment, the focus would be on evaluating, for instance,
  • the degree to which learners think the programmatic assessment is beneficial and relevant to their training,
  • the extent to which the programmatic assessment influences learners’ acquisition of knowledge, skills, and confidence in given areas,
  • the level to which learners use information collected in the programmatic assessment in their training, and
  • the degree to which the programmatic assessment helps learners achieve their targeted educational outcomes (Kirkpatrick and Kirkpatrick 2016).
• 대안적으로, 이론 기반 평가 접근법인 [기여 분석]은, 프로그램을 특정 결과에 변화를 가져오기 위해 다른 변수와 함께 작동하는 [인과 패키지]의 일부로 본다.
  • 프로그램적 평가의 평가에 기여 분석을 사용한다면, [관찰된 학습자 성과에 대한 프로그램적 평가의 기여도를 평가]하는 데 초점을 맞출 것이다.
  • 이 접근법으로, 프로그램 평가가 학습자 성과의 변화를 가져오는 데 있어서, 다른 요인 및 CBME 프로그램(예: 멘토링 등)의 개입과 함께 작동하는 [인과적 패키지의 필수적인 부분임을 보여주는 증거 수집]에 중점을 둘 것이다(Mayne 2012; Moreau and Eady 2015).

• Alternatively, contribution analysis, a theory-based evaluation approach, views programs as parts of causal packages that work together with other variables to bring about changes in specific outcomes (Mayne 2012; Moreau and Eady 2015).
  • When using contribution analysis, to evaluate programmatic assessment the focus would be on evaluating the contribution that the programmatic assessment has made to the observed learner outcomes.
  • With this approach, the emphasis would be on collecting evidence to show that the programmatic assessment is an essential part of a causal package that works together with other factors and interventions in the CBME program (e.g. mentorship, academic half days) to bring about changes in learner outcomes (Mayne 2012; Moreau and Eady 2015).

선택된 평가 모델 또는 접근방식이 프로그램 평가에서 제기되는 주요 질문에 영향을 미치겠지만, Schwirth와 Van der Vleuten(2019)은 프로그램 평가에서 질문된 평가 질문에 정보를 제공할 수 있는 프로그램 평가의 네 가지 원칙을 기술하는 것도 주목할 가치가 있다. 평가 이러한 원칙은 프로그래밍 방식의 평가가 다음을 포함해야 함을 시사한다.
While the selected evaluation model or approach will influence the major questions posed in the evaluation of programmatic assessment, it is worthwhile to also note that Schuwirth and Van der Vleuten (2019) describe four principles of programmatic assessment that, in turn, can inform the evaluation questions asked in the evaluation of programmatic assessment. These principles suggest that programmatic assessment should involve:

• (1) 평가 정보의 삼각측량을 가능하게 하기 위한 복수의 평가 도구 사용
• (2) 학습자의 종단적 평가
• (3) 신뢰할 수 있는 정성 및 정량 평가 데이터를 생성하기 위한 다중 및 품질 평가 전략
• (4) 학습자와 멘토가 사용할 수 있는 의미 있는 피드백(슈워스 및 반 데르 블뢰텐 2019).

 

• (1) the use of multiple assessment instruments in order to enable the triangulation of assessment information;
• (2) longitudinal assessments of a learner;
• (3) multiple and quality assessment strategies in order to produce qualitative and quantitative assessment data that is credible; and
• (4) meaningful feedback for a learner and his/her mentor(s) that they can use (Schuwirth and Van der Vleuten 2019).

 

이러한 원칙을 고려할 때, [프로그램적 평가의 평가]를 위한 질문은 다음을 포함할 수 있다.

• (1) 프로그래밍식 평가는 여러 평가 도구를 어느 정도 사용하는가?
• (2) 프로그래밍식 평가는 각 학습자에 대한 종방향 평가를 수집합니까?
• (3) 프로그래밍 방식 평가는 신뢰할 수 있는 정성 및 정량 평가 데이터를 수집하고 사용하고 있는가? 그리고
• (4) 프로그래밍 방식의 평가는 학습자와 멘토에게 어느 정도 의미 있고 유용한 피드백을 제공하는가?

Given these principles, relevant questions for the evaluation of programmatic assessment could include:

• (1) To what extent does the programmatic assessment use multiple assessment instruments?
• (2) Does the programmatic assessment collect longitudinal assessment for each learner?
• (3) Does the programmatic assessment collect and use both credible qualitative and quantitative assessment data? and
• (4) To what extent does the programmatic assessment generate meaningful and useful feedback for the learner and his/her mentor(s)?

 

CBME 프로그램 평가를 위한 프로그램적 평가 사용
Using programmatic assessment for the evaluation of CBME programs

프로그램적 평가에서, [각 학습자에 대한 개별 평가]는 [학습자의 훈련 필요성 또는 성취에 대한 결정]을 내리기 위해, [각 학습자의 진행 상황과 역량에 대한 전체적인 설명]을 제공하는 [포트폴리오 또는 문서집dossier]의 일부가 된다(Schuwirth, et al. 2017; Schuwirth 및 Van der Vleuten 2019). [학습자가 평가를 분석하고 응답할 수 있도록 도와주는 코치 또는 멘토의 관찰] 외에, [포트폴리오 또는 문서집] 역시 [교육자가 CBME 프로그램의 평가에 사용할 수 있는 공식 및 비공식 정보의 저장소]를 제공합니다. 
In programmatic assessment, individual assessments of each learner become part of, for example, a portfolio or dossier that provides educators with a holistic depiction of each learner’s progress and competencies in order to make decisions about his/her training needs or accomplishments (Schuwirth, et al. 2017; Schuwirth and Van der Vleuten 2019). These portfolios or dossiers, in addition to the observations of coaches or mentors who help the learner analyze and respond to the assessments, provide a repository of formal and informal information that educators can then use for the evaluation of CBME programs.

[프로그램적 평가를 통하여 여러 학습자에 대하여 수집된 정보의 모음]은 CBME 프로그램 내의 커리큘럼과 학습 환경의 품질에 대한 통찰력을 제공할 수 있다(Van der Vleuten et al. 2015). CBME 프로그램의 성공과 단점을 강조할 뿐만 아니라 교육 효과의 귀중한 지표가 될 수 있다(미국 교육 연구 협회 외 2014). 예를 들어, 프로그램 평가에서 수집된 정보가 

• 대다수의 학습자가 특정 분야에 대한 지식, 기술 및 자신감을 습득하기 위해 고군분투하고 있다는 것을 보여준다면, CBME 프로그램 내의 교육자들은 변화가 필요한지 확인하기 위해 교육 및 평가 실습을 검토하기를 원할 수 있다.
• 특정 학습자 그룹 간에 일관되게 관찰된 차이(예: 성별, 인종, 언어 능력 등)를 보인다면, CBME 프로그램은 이러한 차이를 최소화하기 위해 변경이 필요한지 확인하기 위해 다시 한번 교육 및 평가 관행을 검토하고자 할 것이다.

The aggregation of information collected in programmatic assessment across learners can provide insight on the quality of curricula and learning environments within CBME programs (Van der Vleuten et al. 2015). It can be a valuable indicator of educational effectiveness as well as highlight the successes and shortcomings of CBME programs (American Educational Research Association et al. 2014). For instance,

• if the information collected in programmatic assessment illustrates that the majority of learners are struggling to acquire knowledge, skills, and confidence in a specific area, educators within a CBME program may want to examine their teaching and assessment practices to see if changes are needed.
• Furthermore, if the information collected in programmatic assessment shows consistently observed differences among specific groups of learners (e.g. classified by gender, race, language proficiency) then a CBME program would again want to examine their teaching and assessment practices to see if changes are necessary to minimize such differences (American Educational Research Association et al. 2014).

 

CBME 프로그램을 평가할 때, 특히 프로그램 평가를 위한 자원이 제한된 경우, [오로지 프로그램 평가를 목적으로 새로운 정보나 데이터를 수집]하기보다는, 기존 프로그램 정보(즉, 일상적인 프로그램 운영에서 수집된 정보)의 사용을 극대화하는 것이 필수적이다. 대부분의 CBME 프로그램에서는 프로그램적 평가가 필수이고, 이 평가가 프로그램 내 학습자에 대한 다양한 정보를 포함하고 있다는 점을 고려할 때, CBME 프로그램 평가에서 이를 핵심 정보 출처로 활용하는 것은 논리적이며 재정적으로 책임있는 접근이다. 이 기존 정보를 활용하면 데이터 수집 피로감뿐만 아니라 프로그램 평가 부담을 최소화할 수 있다. 또한 평가 정보를 쉽게 이용할 수 있고 프로그램의 일상적인 운영에서 지속적으로 수집 및 업데이트되기 때문에 CBME 프로그램의 평가 능력을 향상시키고 프로그램 평가를 더 자주 수행할 수 있다. 그러나 프로그램에 대한 포괄적인 이해를 얻기 위해서는, CBME 프로그램을 평가할 때는 [프로그램적 평가에서 수집된 정보]를 [기존의 다른 출처의 정보와 결합]하는 것이 중요하다.
When evaluating CBME programs, especially those with limited resources for program evaluation, it is essential to maximize the use of existing program information (i.e., information collected in the day-to-day program operations) rather than collecting new information or data for the sole purpose of program evaluation. Given that programmatic assessment is a staple within most CBME programs, and that it includes a plentiful array of information on learners within a program, it is logical and financially responsible to use it as a key information source within the evaluation of CBME programs. The usage of this existing information can minimize the burden of program evaluation as well as data collection fatigue. It can also enhance the evaluation capacities of CBME programs and enable them to do program evaluations more frequently because the evaluation information is readily available and continuously collected and updated in the day-to-day operations of the programs. However, when evaluating CBME programs, it is important to combine the information collected in programmatic assessment with other existing sources of information in order to obtain a comprehensive understanding of the programs.

전체적으로 CBME 내에서 [프로그램적 평가]와 [프로그램 평가]는 중요한 역할을 하고 있으며, CBME가 의도한 대로 운영되고 있는지 확인하고 개선점을 판단하기 위해서는 [프로그램적 평가를 평가하는 것]이 중요합니다. 또한 프로그램적 평가에서 수집된 정보를 사용하는 것이 필수적인데, 그래야 CBME 프로그램에 대한 판단에 필요한 정보를 얻을 수 있으며, CBME 프로그램을 개선할 수 있고, CBME 프로그램의 향후 방향을 가이드할 수 있기 때문이다. [프로그램적 평가]와 [프로그램 평가]는 별개의 개념이며, 각각이 CBME 프로그램 내에서 특정 기능을 수행하지만, 적절히 도입된다면 서로를 보완하고 CBME 프로그램의 전반적인 효과에 기여할 수 있다.

Overall, programmatic assessment and program evaluation have important roles within CBME. It is important to evaluate programmatic assessment in order to ensure that it is operating as intended and to determine needed improvements in it. Moreover, it is imperative to use the information collected in programmatic assessment to inform judgments about CBME programs, improve CBME programs, and guide future directions for CBME programs. While programmatic assessment and program evaluation are distinct concepts and serve specific functions within CBME programs, they, when employed appropriately, can complement each other and contribute to the overall effectiveness of CBME programs.

 

 

---

Med Teach. 2021 Mar;43(3):250-252.

 doi: 10.1080/0142159X.2020.1841128. Epub 2020 Nov 2.

Exploring the connections between programmatic assessment and program evaluation within competency-based medical education programs

Katherine A Moreau 1 2

Affiliations collapse

Affiliations

1Faculty of Education, University of Ottawa, Ottawa, Canada.

2Centre for Research on Educational and Community Services, University of Ottawa, Ottawa, Canada.

PMID: 33136458

DOI: 10.1080/0142159X.2020.1841128

Abstract

Programmatic assessment and program evaluation are both important within competency-based medical education (CBME) programs. Given this importance, there is value in evaluating programmatic assessment as well as using the information collected in programmatic assessment for the evaluation of CBME programs. In order to help facilitate these two activities, this paper distinguishes between programmatic assessment and program evaluation as well as highlights the connections between them. In doing so, it shows that programmatic assessment and program evaluation, when employed appropriately, can complement each other and contribute to the overall effectiveness of CBME programs.

Keywords: medicine; Assessment; evaluation.