역량바탕의학교육의 도입: 평가의 문화를 변화시키고 있는가? (Med Teach, 2019)

'역량바탕의학교육의 도입: 평가의 문화를 변화시키고 있는가? (Med Teach, 2019)

Competency-based medical education implementation: Are we transforming the culture of assessment?
Jane Griffithsa, Nancy Dalgarnob, Karen Schultza , Han Hanc and Elaine van Mellea,d

 

 

도입
Introduction

CBME는 근본적으로 결과 지향적인 패러다임 전환이며, 평가에 대한 전체적이고 종단적인 접근 방식을 통해 관련 역량에 근거합니다.
CBME is a paradigm shift fundamentally oriented to outcomes, grounded by relevant competencies, with a holistic, longitudinal approach to assessment

또한 CBME는 학습자의 진행 상황을 지속적으로 모니터링하고 개별화된 학습 계획을 수립하며 역량 개발에 대한 종합적 의사결정을 제공하기 위해 AA(Academic Advisor) 또는 역량 위원회의 형성평가 데이터의 통합과 해석을 요구합니다. 
CBME also requires synthesis and interpretation of formative assessment data by an Academic Advisor (AA) or Competency Committee to provide ongoing monitoring of learners’ progress, creation of individualized learning plans and summative decisions about competency development 

의미 있는 CBME를 달성하려면 효과적인 작업장 기반 평가를 위해서는 완전히-관여된engaged 지도자와 AA 또는 역량코치가 필요하다. 
Effective workplace-based assessments require fully engaged preceptors and AAs or competency coaches if meaningful CBME is to be achieved 


이 연구는 두 가지 이론적 체계를 채택하고 있다. Theory U는 [개인이 새로운 행동을 할 때 유의미한 인식의 변화를 설명하는 수단]이며, 프로그램 문화가 시간에 따라 발생하는 가정, 행동, 프로세스 및 제품의 의도적인 변화에 의해 영향을 받는 변화 개념(Kezar 및 Eckel 2002)을 제공합니다. 
The research employs two theoretical frameworks; Theory U which provides a means of describing significant changes in awareness as individuals engage in new behaviors (Scharmer 2016), and the concept of transformative change, whereby the culture of a program is affected by an intentional change in assumptions, behaviors, processes, and products that occur over time (Kezar and Eckel 2002). 

좀 더 구체적으로, 이론 U는 다음의 세 가지 측면으로 구성됩니다(그림 1). (Sengeetal.2004) 

• 감지(서스펜딩),
• 존재(시프트),
• 실현(변신)

More specifically, Theory U consists of three aspects:

• sensing (suspending),
• presencing (shifting), and
• realizing (transforming) (Figure 1).

"모든 학습 프로세스에서 일어나는 일의 확장"으로 설명되는 [U 이론 학습자]는

• 처음에 과거의 경험(U의 하향 부분)에 기초한 전통적인 정신 모델을 사용하여 변화에 inform하기 위한 정보를 수집합니다. 그러면 학습자들은 전통적인 모델을 버리고 자아와 미래의 가능성에 대한 인식을 키우기 시작합니다.
• 학습자가 [U를 올라갈수록] 새로운 시각과 행동 방식을 향한 ["공동 창조"와 "공동 진화"]에 대한 감각이 커집니다(Senge et al. 2004; Scharmer 2016).
• [근본적인 변화]가 발생할 때 이해관계자들은 기존의 체계와 체계를 실질적으로 재구성해야 한다. 이런 [변혁적 변화]가 가장 어렵다(2014년 Marris). 개인의 사전 지식과 신념은 이해를 행동으로 전환하는 방법에 영향을 미치며 변화 과정을 방해할 수 있습니다. 

Described as “extensions of what happens in all learning processes”, in Theory U learners

• initially gather information to inform change using traditional mental models based on past experiences (the downward part of the U). Learners then begin to let go of traditional models and develop a greater awareness of self and future possibilities.
• As learners move up the U, there is a greater sense of “co-creating” and “co-evolving” into a new way of seeing and doing (Senge et al. 2004; Scharmer 2016).
• When fundamental changes are undertaken, stakeholders must substantively restructure existing schemas and frameworks. This kind of transformational change is the most challenging (Marris 2014). An individual’s prior knowledge and beliefs influence how one translates understanding into action and can impede the change process.

주요 문화 변화를 구현하는 것은 단순히 개인의 기술과 인식의 기능이 아니라 전문가, 개인 및 상황 요인의 상호작용이다(Spillane et al. 2002).  

Implementing major culture change is not simply a function of an individual’s skill and cognition, but rather the interaction of experts, individuals, and the situational factors (Spillane et al. 2002). 

 

본 논문의 목적상, [평가의 문화]는 "학생 학습 성과 평가"(Weiner 2009)를 지원하는 기관 내 개인의 태도, 행동 및 신념으로 정의된다. 
For the purpose of this paper, assessment culture is defined as the attitudes, behaviors, and beliefs of individuals within an institution that support “the assessment of student learning outcomes” (Weiner 2009). 

평가 문화의 변화는 CBME로의 전환을 지원하기 위해 중요하지만, 변화의 가장 어려운 측면 중 하나이다(Perguson et al. 2017). 
A change in assessment culture is crucial to support the transition to CBME, yet is one of the most challenging aspects of change (Ferguson et al. 2017). 

방법
Method

우리는 CBME 채택 과정 시작 시와 시행 후 3년을 인터뷰하여 질적 근거이론(Strauss and Corbin 1990; Creswell and Creswell 2017; Glaser and Strauss 2017)을 채택했다. 지속적인 비교 방법(Strauss and Corbin 1990)을 사용하여, 임상 지도자와 AA, 전공의에 대한 평가가 어떻게 변화했는지에 대한 프리셉터/AA의 CBME에 대한 이해와 그들의 생각을 살펴보았다. 
We adopted a qualitative grounded theory (Strauss and Corbin 1990; Creswell and Creswell 2017; Glaser and Strauss 2017) method by interviewing preceptors/AAs at the beginning of the CBME adoption process and three years after implementation. Using the constant comparative method (Strauss and Corbin 1990), we explored preceptor/ AA’s understanding of CBME and their thoughts on how assessment had changed for clinical preceptors, AAs, and residents.

필드 노트
Field Notes (FNs)

컨텍스트 Context

이 연구는 온타리오 대학의 한 가정의학과(DFM)에서 이루어졌다. 이 프로그램은 약 150명의 졸업생이 참여하는 2년 간의 가정의학 교육 프로그램입니다. 2010년 이후, 이 부서는 여러 지도자에 의한 빈번한 고부담 형성적 평가, 어려움에 처한 전공의의 조기 식별, 교육 코칭, EPA, 개별 전공의 요구에 맞는 맞춤 학습을 제공하는 CBME 평가의 핵심 원칙을 채택했다.
This study took place in one medium-sized Department of Family Medicine (DFM) at an Ontario university. It is a twoyear Family Medicine training program with approximately 150 postgraduate learners. Since 2010, this department has embraced key principles of the CBME assessment that features

• providing frequent low stakes formative assessments by multiple preceptors and across different contexts,
• early identification of residents in difficulty, academic coaching, EPAs, and
• tailoring learning to individual resident needs (College of Family Physicians of Canada 2011; McEwen et al. 2015). 

FN은 약 36개의 벤치마크 EPA(Schultz et al. 2015)로 구성되며, CFPC 커리큘럼 및 평가 프레임워크에 따라 수집 및 대조되며, AA와 전공의가 4개월마다 검토하고 해석한다. 프리셉터는 작업장에서 정기적인 형성평가를 문서화합니다. 
The FNs are organized around 36 benchmarked EPAs (Schultz et al. 2015), are collected and collated according to the CFPC curricular and assessment frameworks, and are reviewed and interpreted by the AA and resident every four months. Preceptors document regular formative assessment in the workplace. 

자료 수집
Data collection

각 인터뷰는 약 60분이었으며, 음성 녹음 및 녹음되었습니다. 연구팀(ND)의 한 구성원이 인터뷰를 진행하고 메모를 작성하며 주요 사항을 반복하여 응답(구성원 확인)을 검증했습니다. 가명이 참가자의 모든 식별 정보를 대체했습니다.

Each interview was approximately 60minutes, audiorecorded and transcribed verbatim. One member of the research team (ND) conducted the interviews, wrote notes, and reiterated main points to validate responses (member checking). Pseudonyms replaced all identifying information of the participants.   

자료 분석
Data analysis

두 명의 팀 구성원(HH, ND)은 파트 1과 파트 2에서 각각 두 개의 스크립트를 독립적으로 코드화하고 결과를 비교했으며, 초기 코드북이 개발될 때까지 합의와 의미를 공유하기 위해 코드를 논의했다. 이어 한(HH) 연구원이 나머지 기록물, 새롭게 개발된 새로운 주제 코드를 코딩하고 인터뷰 및 초기 코딩(ND)을 진행한 사람들과 새로운 코드를 확인했는데, 기록물의 의미가 모두 소진되고 코딩된 상태에서 새로운 코드가 나타나지 않아 [코드 포화]가 이루어졌다(Hennink et al. 201).7). 그런 다음 모든 코드를 유사한 범주와 중요한 주제로 분류하여 연구팀이 개인적 및 긴장을 다룰 수 있는 기회를 제공하고 reflexitivy를 다루고 프로세스에 대한 엄격성을 보장할 수 있도록 했다(Barry et al. 1999; Hesse-Biber and Leavey 2010). 

Two team members (HH, ND) independently coded two transcripts respectively from Part 1 and Part 2, compared results, and discussed the codes to ensure consensus and shared meaning until an initial codebook was developed. One (HH) then researcher coded the remaining transcripts, the new developed codes on emerging themes, and checked the new codes with those who conducted the interviews and initial coding (ND). Code saturation was achieved when all meanings in transcripts were exhausted and coded, and no new codes appeared across all transcripts (Hennink et al. 2017). All codes were then grouped into similar categories and overarching themes through multiple discussions which allowed the research team biases opportunities to address personal and tensions thereby addressing reflexivity and ensuring rigor to the process (Barry et al. 1999; Hesse-Biber and Leavy 2010). 

결과
Results

2013년 12개의 AA가 1부(응답률 60%)에 참여하였고, 9개의 AA가 2016년 2부(응답률 50%)에 참여하였다. 네 개의 AA가 연구의 두 부분 모두에 참여하였다(표 1).
Twelve AAs participated in Part 1 of the study in 2013 (60% response rate) and nine AAs participated in Part 2 in 2016 (50% response rate). Four AAs participated in both parts of the studies (Table 1).

주제 1: 평가 문화의 변화 확인
Theme 1: Identified shifts in assessment culture

CBME에 대한 이해.
Understanding of CBME.

참가자들은 CBME에 대해 상당히 잘 이해하고 있었다. 그러나 파트 1에서, 목소리들은 주로 잠정적이었고 일부 핵심 원칙(예: 시간에 따른 평가, 형성평가의 중요성, 성과 지향성)이 누락되었다. 
Participants had a reasonably good understanding of CBME. In Part 1, however, the voices were primarily tentative and missing some key principles (e.g. assessment over time, importance of formative assessment, and outcomes orientation). 

파트 2에서 참가자들은 CBME에 대한 이해를 강화하였고, CBME를 정의해달라는 요청을 받았을 때 보다 상세하고 다면적인 CBME에 대한 설명을 사용하였다.
In Part 2, participants had a stronger understanding of CBME, used more detailed and multi-faceted descriptions of CBME when asked to define it.

학습자의 역할 전환.
Shift in role of learners.

파트 1 참가자의 설명 중 대다수는 [평가 관련 작업의 증가]를 식별하고, 이에 대한 [책임을 학습자에게 돌렸습니다]. 
The majority of Part 1 participants’ descriptions identified an increase in assessmentrelated work, and placed the onus for this on the learner. 

파트 2의 대부분의 참가자들은 학습자들이 평가에 더 적극적으로 참여하고 피드백 추구를 증가시켰다고 느꼈습니다. 그들은 학습자들이 더 자기 성찰적이고 자신의 학습을 통제하는 것으로 인식했습니다. 참가자들은 학습에 대한 형성적 피드백과 평가의 효용과 성격에 대해 잘 이해하고, 학습을 가이드할 [공동 책임]을 파악했습니다. 그들은 CBME의 많은 핵심 원칙을 그들의 진술을 근거로 삼았다.
Most participants in Part 2 felt the learners were more engaged in assessment and described increased feedbackseeking. They perceived the learners as being more selfreflective and in control of their learning. Participants demonstrated a good understanding of the utility and nature of formative feedback and assessment for learning, identifying a shared responsibility for guiding learning. They used many of the key principles of CBME to ground their statements.

프리셉터의 역할의 변화.
Shift in role of preceptors.

1부 참가자들 중 다수는 일상 평가 요구 사항의 세분화된 성격을 선지자로서 이해하고 있었지만, 일상적 형식적 평가를 완료하려는 노력을 기울이지 않는 경우가 많았다. FN은 유용한 것으로 인식되지 않았으며, 사용할 때 주로 긍정적인 피드백을 제공하는 데 초점을 맞추었다. 
Many of the Part 1 participants understood, in their role as a preceptor, the granular nature of their daily assessment requirements, but were often not inclined to make the effort to complete daily formative assessment. FNs were not perceived as helpful and when used, were primarily directed at giving positive feedback. 

그러나 파트 2에서는 [모든 참가자가 평가 과정의 지도자로서 자신의 역할을 포괄적으로 이해하였다]. 이들은 시간이 지남에 따라 여러 전문가로부터 여러 데이터 포인트를 수집하는 것이 중요하다는 것을 이해했습니다. 그들은 더 많은 피드백을 제공하고 FN을 통해 이를 문서화하는 데 초점을 두고 보다 직접적인 관찰을 수행하는 것을 설명했습니다. 또한 [학습에 대한 평가의 가치를 인식]하여 학습 성과가 달성될 때까지 과제를 수행할 때마다 피드백을 제공했습니다. 
In Part 2, however, all participants had gained a comprehensive understanding of their role as preceptors in the assessment process. They understood the importance of collecting multiple data points from multiple experts over time. They described doing more direct observation with a focus on providing more feedback and documenting it through FNs. They also recognized the value of assessment for learning – giving feedback each time the task is performed until the learning outcomes are achieved. 

AA의 역할 전환.
Shift in role of AA.

AA의 역할에서, 모든 파트 1 참가자는 전공의와의 협력을 바탕으로 역량 결정을 내릴 수 있을 뿐이라고 설명했으며, 전자 시스템에서 수집된 증거를 불신하는 경향이 있었다.

In their role as AAs, all Part 1 participants described only being able to make a competency decision based on working with a resident and were inclined the to distrust the evidence collected in electronic system. 

파트 2 참가자의 대다수는 시간이 지남에 따라 수집된 종합적 평가 데이터를 활용하여 전체 학습자 역량을 평가할 때 얻을 수 있는 이점을 이해한다고 말했다. 
The majority of Part 2 participants stated that they understood the benefits of utilizing the synthesized assessment data collected over time, from a number of assessors, to assess overall learner competence. 

 

주제 2: 평가 문화의 변화를 뒷받침하는 요인
Theme 2: Factors supporting the shifts in assessment culture

의무적인 의학교육 개혁.
Mandated medical education reform.

평가 문화의 변화를 뒷받침하는 한 가지 요인은 인증 기관인 CFPC가 의무적으로 시행한 국제적인 의료 교육 개혁이었습니다. CFPC는 국가 역량 기반 트리플 C 커리큘럼을 만들고 2011년 CBME 원칙을 프로그램의 인증 요건에 통합했다(College of Family Physicians 2011). 모든 인터뷰 대상자가 확인한 바와 같이, 이러한 직접적인 권한은 우리가 새로운 역량 기반 평가 프로세스를 개발하도록 자극했습니다.
A factor supporting the shift in assessment culture was the overarching international reform in medical education that was mandated by our accrediting body – the CFPC. The CFPC created its national competency-based Triple C curriculum and incorporated the principles for CBME into programs’ accreditation requirements in 2011 (College of Family Physicians of Canada 2011). As identified by all the interviewees, this direct mandate was what prompted us to develop a new competency-based assessment process.

부서 지원.
Departmental support.

DFM은 체계적인 평가 프로세스를 개발하고 유지하기 위한 시간, 인력, 인프라 지원 및 할당을 통해 평가 문화의 변화를 촉진했습니다. 1부 참가자들 중 다수는 형성적 평가에 익숙해지고 이를 채택하는 데 걸리는 시간에 초점을 맞추었다. 
The DFM facilitated the change in assessment culture through support and allocation of time, personnel, and infrastructure to develop and sustain a systemic assessment process. Many of the Part 1 participants focused on the amount of time it took to become familiar with and adopt the formative assessment. 

반면, 파트 2의 참가자들 대부분은 부서 지원의 가치에 초점을 맞췄다.
Whereas, most of the participants in Part 2 focused on the value of departmental support.

리더십
Leadership.

평가의 변화를 이끄는 리더십의 가용성은 평가 문화 혁신을 이끄는 데 있어 핵심적인 요소였습니다. 거의 모든 참가자들이 리더에게 도움이 되는 특성(접근성, 열정, 참여성, 효과적, 듣기 능력)에 대해 언급했습니다. 

The availability of leadership guiding the changes in assessment was a key factor in driving assessment culture transformation. Almost all of the participants commented on the characteristics they saw as being helpful in that leader – accessible, enthusiastic, engaged, effective, good listening skills. 


정보 기술 향상.
Information technology improvement.

[IT 개발과 지원]은 평가의 변화를 위한 기반을 닦았습니다. 파트 1 참가자들은 평가 시스템이 보다 사용자 친화적이어야 하고 시간이 덜 걸려야 한다고 생각했다. 
IT development and support paved the way for change in assessment. Part 1 participants thought that the assessment system should be more user-friendly and less time-consuming. 

3년 후, 모든 참가자는 IT 개선에 더 만족한다고 답했으며, 평가 프로세스가 기능 및 인프라 측면에서 더 잘 지원된다는 것을 알게 되었습니다. 
Three years later, all the participants indicated that they were more satisfied with the IT improvement and found the assessment process was better supported in terms of functionality and infrastructure. 


교수개발
Faculty development.

FD는 CBME 구현의 핵심이었습니다. 파트 1 참가자의 대다수는 학습자를 관찰하고 피드백을 제공하며 형성평가를 위해 작업장 기반 평가를 효과적으로 사용하는 방법에 대한 교육이 필요하다고 느꼈습니다.
FD was a key to implementing CBME. The majority of Part 1 participants felt that they needed training on how to observe learners, give feedback and effectively use workplace-based assessment for formative assessment.

파트 2에서, 그들은 더 많은 FD 기회와 그들의 역할과 효과적인 평가를 제공할 수 있는 능력에 대한 자신감을 언급했습니다. 
In Part 2, they noted more FD opportunities, and confidence in their role and ability to provide effective assessments. 

주제 3: 평가 문화의 변화 결과
Theme 3: Outcomes of the shift in assessment culture

학습 강화.
Enhanced learning

1부 참가자들은 [목적은 명확히 이해하지 못한 채 학습자가 해야 할 일의 양]에만 초점을 맞췄다. 
Part 1 participants focused on the amount of work the learners had to do without apparent understanding of the purpose. 

2부에서는 거의 모든 참가자들이 학습자가 자신의 학습 및 모니터링에 앞장서면서 보다 자기 주도적으로 학습함으로써 평가 시스템에서 어떤 이점을 얻을 수 있는지에 대해 풍부하게 설명했습니다. 이들은 더 많은 피드백을 받고 학습자들이 피드백을 검토할 수 있는 기회를 설명했으며, 이를 통해 학습이 향상되었다고 느꼈습니다. 참가자들은 더 많은 피드백을 찾는 학습자에 대해 설명했습니다. 
In Part 2, almost all of the participants gave rich descriptions of how learners benefit from the assessment system by being more self-directed with learners taking the lead on learning and monitoring their own progress. They benefiting from more feedback and described learners opportunities to review feedback, which they felt enhanced their learning. Participants described learners seeking more feedback. 

가르침 강화.
Enhanced teaching.

1부 참가자들은 자신의 지도자의 역할을 하면서 FN이 학습자에게 보다 자세하고 건설적인 피드백을 제공하는 데 도움이 된다고 믿었습니다. 
Part 1 participants, in their preceptor role, believed FNs facilitated giving learners more detailed and constructive feedback. 

파트 2에서, 참가자들은 더 많은 관찰로 인해 그들의 피드백이 더 직접적으로 신뢰된다고 설명했다. 이들은 FN을 작성하는 것이 학습자들에게 더 많은 학습기회를 만들어 줄 뿐만 아니라, 정기적인 피드백에 집중된 자신의 가르침에 대한 성찰 능력을 통해 향상시켰다고 설명했다. 그들은 평가에 대한 이 새로운 접근법이 그들을 더 나은 지도자로 만들었다고 믿는다. 
In Part 2, participants described their feedback as being direct more credible due to more observation. They explained that writing FNs not only created more learning opportunities for learners, but also improved through their own ability to reflect on their teaching focused attention to regular feedback. They believe this new approach to assessment has made them better preceptors. 

표준을 사용하여 성능 수준을 결정합니다.
Use of standards to make level of performance decisions.

1부에서는 모든 참가자들이 학습자의 수행 수준을 결정하는 데 있어 [자신의 실천 방식을 벤치마크로 사용]했습니다. 그들은 이러한 의사결정에 대한 기준이 부족하다는 점에 주목하였다.
In Part 1, all of the participants in their role as preceptors, used their own practice as a benchmark in determining a learner’s level of performance. They noted the lack of standards for these decisions.

파트 2에서 각 참가자는 여전히 학습자의 성과에 대한 판단이 대부분 직관에 기초하고 있다고 설명했지만, 확신할 수 없을 때 결정을 확인하거나 경계선 성과에 대한 결정을 정당화하기 위해 기준(EPA)을 사용했습니다.
In Part 2, each participant still described their judgments of learner’s performance as being largely based on intuition but used the standards (EPAs) to confirm decisions when unsure or to justify a decision about a borderline performance.


학습자의 성과에 대한 더 넓은 그림.
Broader picture of learner’s performance.

1부에서는 참가자들 중 누구도 [형성적 피드백을 문서화하여 수집함으로써 얻을 수 있는 이점]을 보지 않았으며 오히려 학습자에게 [무가치한 추가 작업]으로 보았다.

In Part 1, none of the participants saw the benefit of documenting and collecting formative feedback, rather, they saw it as additional work without value for learners. 

그러나 3년 후 연구에 참여한 학생들은 FN을 완료하는 것이 일상적인 일이라고 여겼으며 평가 시스템이 제공하는 학습자의 전반적인 성과를 보다 포괄적으로 파악해 주었다. 

Those that participated in the study three years later, however, viewed completing FNs as routine, and appreciated the more comprehensive picture of the learners’ overall performance afforded by the assessment system. 


모든 평가를 위한 중앙 저장소.
Central repository for all assessments.

파트 2에서 모든 참가자는 접근, 검토 및 문서화를 쉽게 할 수 있도록 [모든 평가 데이터를 하나의 중앙 위치에 두는 것의 이점]을 높이 평가했습니다. 전자 기능은 데이터 정리 및 데이터 수집에 편리한 것으로 나타났습니다. 2013년 한 해 동안 참가자들은 중앙 리포지토리와 관련된 혜택에 대해 설명하지 않았습니다. 
In Part 2, all of the participants appreciated the benefits of having all assessment data in one central location for ease of access, review, and documentation. The electronic functionality was found to be convenient in organizing and collating data. In 2013, participants did not describe any benefits related to the central repository. 

성능 추적 및 문서화 개선.
Better tracking and documentation of performance.

2부에서는 대부분의 참가자들이 학습자의 궤적을 더 잘 추적하고 진행 상황을 모니터할 수 있게 되었습니다. 총괄 평가와 역량 결정이 더 많은 정보를 제공한다고 느꼈습니다. 이들은 평가 시스템이 학습 궤적이나 학습 공백이 있는 학습자를 [조기에 식별하고 문서화하여 시기적절하고 효과적인 개입]을 촉진한다고 느꼈습니다. CBME 이전 평가 시스템에서, 이러한 격차는 레지던트 프로그램이 끝날 무렵에 더 자주 확인되었습니다. 
In Part 2, most participants felt better able to track learners’ trajectory and monitor progress. Summative assessments and competence decisions felt more informed. They felt the assessment system supported early identification and documentation of learners with stalled learning trajectories or gaps in their learning, which, in turn, facilitated timely, effective intervention. In the pre-CBME assessment systems, gaps these were more often identified near the end of the residency program. 

한 가지 추가 발견은 CBME가 전공의에게 미칠 수 있는 부정적 영향에 대한 일부 선관/AA의 추측이었다. 2부에서 일부 참가자들은 FN에 대한 지나친 요구가 전공의들의 독립성을 저해하고 자기성찰 능력을 떨어뜨릴 수 있다는 우려를 표명했다. 
One additional finding was speculation by some preceptors/AAs of a potential negative impact of CBME on residents. In Part 2, some participants expressed their concerns that too much demand for FNs might discourage residents’ independence and decrease their self-reflection skills. 

고찰
Discussion

이 연구는 시간이 지남에 따라 우리의 역량 기반 평가 문화에서 지속적이지만 긍정적인 변화를 보여 줍니다. 참가자들은 CBME에 대한 이해와 가치를 향상시켰습니다. 그들은 형성적 피드백의 가치를 설명하고 그것을 제공하는 경향이 더 강하다고 설명했습니다. 그들은 자신들의 피드백이 더 신빙성이 있고 형성적 피드백에 더 많이 참여하기 때문에 더 나은 교사라고 믿었다. AA로서, 그들은 학습자의 성과에 대한 넓은 그림을 제공하는 평가 데이터를 위한 중앙 저장소에 접근함으로써 역량에 대한 요약적 의사결정을 내릴 수 있는 능력에 대해 더욱 자신감을 갖게 되었다. 시간이 지남에 따라 성능을 더 잘 추적하면 학습 문제를 조기에 식별, 문서화 및 처리할 수 있습니다. 
This research demonstrates an ongoing, but positive transformation in the culture of our competency-based assessment over time. Participants improved their understanding and valuing of CBME. They described the value of formative feedback and being more inclined to provide it. They believed their feedback was more credible and they were better teachers because of more engagement in formative feedback. As AAs, they became more confident in their ability to make summative decisions about competence, through access to a central repository for assessment data offering a broad picture of learner’s performance. Better tracking of performance over time affords the opportunity to identify, document and deal with learning issues earlier. 

평가 문화의 전환을 지원한 주요 요소로는 

• 규제 기관의 요구, 
• 지역 리더십, 
• 부서 지원, 
• 교수 개발,
• 최종 사용자의 요구에 대응하는 전자 플랫폼 등이 있었다.

The major factors that supported the shift in assessment culture included

• the mandate of regulatory bodies,
• local leadership,
• departmental support,
• faculty development and
• an electronic platform responsive to the needs of end-users.

이러한 구성요소는 [긴박감 확립]에서 [협력적 리더십], [새로운 접근법의 제도화]에 이르는 성공적인 혁신 변화와 관련된 잘 알려진 요인과 일치합니다. 

These components are aligned with well-known factors related to the successful transformational change from establishing a sense of urgency to collaborative leadership to institutionalizing new approaches (Kotter 1996; Kezar and Eckel 2002; Fullan 2007). 

본 연구의 참가자들은 이론 U와 관련된 구조물에 의해 틀에 잡힌 변화 과정, 

• 다운로드(과거 패턴 일시 중단), 
• 제시(변화를 반영 및 전환), 
• 수행(실천 및 인프라를 통한 변환 결과)(Sharmer 2016)을 거쳤습니다.

The participants in this study journeyed through the process of transformational change framed by the constructs associated with Theory U:

• downloading (suspending patterns from the past);
• presencing (reflecting and shifting to the change); and
• performing (transforming results through practices and infrastructures) (Scharmer 2016).

 

Figure 2
그림 2

 

• [U의 왼쪽부분]에서 아래로 이동함에 따라, 그들은 평가에 대한 전통적인 믿음을 중단하기 시작했고, 새로운 평가 전략을 이해하려고 시도했으며, 그리고 나서 CBME 이전의 규범을 놓기 시작했습니다.
• [U의 바닥부분]에서 역량 기반 평가의 목적을 이해함으로써 평가 문화의 변화를 나타낸다. 
• [U의 우측부분]으로 이동하면, 그들은 새로운 역량 기반 평가 모델에 대해 더 익숙해진된다. 새로운 지식은 시스템 전체에 내재되어 있기 때문에, 새로운 접근방식은 학습자와 이중 역할 모두를 위해 궁극적으로 가치를 인정받았다(Spillane et al. 2002).
• Moving down the left side of the U, they began to suspend traditional beliefs about assessment, attempting to make sense of new assessment strategies, and then begin to let go of pre-CBME norms.
• The bottom of the U represents a shift in assessment culture through an understanding of the purpose of competency-based assessment.
• Moving up the right side of the U, they become more and more cognitively enculturated in the new competency-based assessment model and ultimately recognized value in the new approach both for themselves in their dual roles and for learners, as the new knowledge became embedded in the system as a whole (Spillane et al. 2002).

맥러플린(1990)의 "일단 행동을 하면, 다음에 이해가 따라올 수 있다"는 격언이 이 연구에서 강조된다. 이러한 문화적 변화는 CBME 평가 과정에 대한 진화하는 이해를 통해 시간이 지남에 따라 발생합니다. 초기 연구에서 참가자들은 변화를 수용하는 것을 꺼려했다. CBME에 대한 이해는 잠정적이었고, FN에 만족하지 않았으며, 평가 접근방식의 격차를 일부 확인했기 때문에 로드맵으로서 벤치마킹이 필요함을 시사했다. 
McLaughlin’s (1990) adage “understanding can follow action” is highlighted in this study. This cultural transformation occurs over time through an evolving understanding of CBME assessment processes. In our study, at the beginning, participants showed reluctance to embrace change; their understanding of CBME was tentative, they were not satisfied with FNs, and some identified gaps in the assessment approach, suggesting they needed benchmarks as a roadmap. 

긍정적인 관점에서 이러한 불만과 제안은 어느 정도 그들의 변화 참여를 시사하였다. 분노와 불만은 사람들이 문화적 불협화음을 경험하고 있다는 것을 의미할 수 있다(번즈 앤 제임스 1995; Bickel and Jensen 2012). 이러한 불협화음에서 생각과 성찰이 나오고 문화적 변화를 형성하는데 도움이 될 수 있다. 본 프로그램에서는 프리셉터/AA가 해결해야 할 문제를 찾아내고, 이러한 문제를 해결함으로써 사람들이 변화의 이점을 보고, CBME를 더 잘 이해하며, 새로운 평가 문화를 수용하게 되었습니다. 
On a positive note, these dissatisfactions and suggestions to some extent indicated their engagement in change. Resentment and dissatisfaction may mean that people are engaged and experiencing a cultural dissonance (Burnes and James 1995; Bickel and Jensen 2012). Thoughts and reflections may come from such dissonance and help shape the cultural shifts. In our program, it was through engagement that the preceptors/AAs found the issues that needed to be addressed, and it was through addressing those issues that people saw the benefits of change, gained a better understanding of the CBME, and embraced the new culture of assessment. 

이 연구는 변화가 완벽하게 구현되기를 기대하지 않고, 변화로 인해 발생하는 이슈들을 신속하게 해결해야 하며, 문화적 전환에 시간이 걸린다는 점을 강조한다. 우리의 연구 결과는 그들의 기관에서 평가나 커리큘럼의 변화를 계획하는 사람들의 진로를 안내하는 조명입니다. 
This study highlights not to expect change to be implemented perfectly, that issues arising from change do need to be addressed quickly and that cultural transition takes time. The results of our study shed light to guide the path of those who plan a change in assessment or curriculum in their institutions. 

Limitations of the study

Conclusions

 

 

 

---

Med Teach. 2019 Jul;41(7):811-818.

 doi: 10.1080/0142159X.2019.1584276. Epub 2019 Apr 7.

Competency-Based Medical Education implementation: Are we transforming the culture of assessment?

Jane Griffiths 1, Nancy Dalgarno 2, Karen Schultz 1, Han Han 3, Elaine van Melle 1 4

Affiliations collapse

Affiliations

• 1a Department of Family Medicine , Queen's University , Kingston , Canada.
• 2b Faculty of Health Sciences , Queen's University , Kingston , Canada.
• 3c Centre for Studies in Primary Care, Queen's University , Kingston , Canada.
• 4d Royal College of Physicians and Surgeons of Canada , Ottawa , Canada.

• PMID: 30955390
• DOI: 10.1080/0142159X.2019.1584276Abstract
• Purpose: Adopting CBME is challenging in medicine. It mandates a change in processes and approach, ultimately a change in institutional culture with stakeholders ideally embracing and valuing the new processes. Adopting the transformational change model, this study describes the shift in assessment culture by Academic Advisors (AAs) and preceptors over three years of CBME implementation in one Department of Family Medicine. Methods: A qualitative grounded theory method was used for this two-part study. Interviews were conducted with 12 AAs in 2013 and nine AAs in 2016 using similar interview questions. Data were analyzed through a constant comparative method. Results: Three overarching themes emerged from the data: (1) specific identified shifts in assessment culture, (2) factors supporting the shifts in culture, and (3) outcomes related to the culture shift. Conclusions: In both parts of the study, participants noted that assessment took more time and effort. In Part 2, however, the effort was mitigated by a sense of value for all stakeholders. With support from the mandate of regulatory bodies, local leadership, department, faculty development and an electronic platform, a cultural transformation occurred in assessment that enhanced learning and teaching, use of embedded standards for performance decisions, and tracking and documentation performance.