When I say … 다양성, 평등, 포용(DEI) (Med Educ, 2022)
When I say … diversity, equity and inclusion (DEI)
Alexis L. Rossi1 | Tasha R. Wyatt2 | Kathryn N. Huggett3 | Maria A. Blanco4

1 소개
1 INTRODUCTION

의료 교육이 소수집단의 목소리와 경험을 중심에 두라는 사회의 요구에 부응함에 따라 다양성, 형평성, 포용(DEI)의 개념은 많은 기관의 초점이 되었다. 그러나 이러한 개념들은 전반적인 변화 체계를 만드는 데 있어서 그것들이 어떻게 상호 연관되어 있는지에 대한 고려 없이 종종 서로 분리되어 고려되거나 다루어진다.1

• 조직의 다양성을 높이는 데 초점을 맞춘다고 해서 자동적으로 포용적인 환경이 조성되는 것도 아니고 대표성을 보장하는 것도 아니다.
• 포용 없이 형평성에 집중하는 것은 개인이 다른 사회-역사적 배경을 가지고 있으며 다양한 유형의 지원이 필요할 수 있다는 것을 인정하지 않는다.
• 마찬가지로, 다양성 없이 포용에 초점을 맞추면 조직 내의 기존 구조와 집단 사고가 계속 강화되는 동시에 다른 사람들이 참여하기 어려울 수 있다.

As medical education responds to society's call to center the voices and experiences of minoritised groups, the concepts of diversity, equity and inclusion (DEI) have become the focal point for many institutions. However, these concepts are often considered or addressed in isolation from each other, without consideration of how they are interrelated in creating an overall system of change.1 

- Focusing on increasing the diversity of an organisation does not automatically create an inclusive environment nor does it ensure representation.2 

- Focusing on equity without inclusion does not acknowledge that individuals come from different socio-historical backgrounds and may need varying types of support.

- Similarly, focusing on inclusion without diversity may continue to reinforce existing structures and groupthink within the organisation while also making it difficult for others to join in.3 

따라서, 우리는 DEI를 이해하기 위한 [환원주의적 접근 방식]이 변형적이고 지속 가능한 변화를 달성하는 능력을 방해하기 때문에 DEI 노력에 대한 의학교육의 일부 시도를 발견한다. 따라서, DEI라고 말할 때, 우리는 의료 교육이 노력이 DEI의 개념을 개별적으로 다루기보다, 상호 연관된 시스템으로서 다루어야 한다는 것을 이해하기를 원한다. 각 구성요소는 소속을 창조하는 궁극적인 목표에 도달하기 위해 다른 구성요소에 의존하며, 이는 안전하고, 존중받고, 참여한다고 느끼는 인간의 근본적인 필요를 충족시킨다.  
Therefore, we find some of medical education's attempts at DEI efforts concerning because this reductionist approach to understanding DEI interferes with the ability to accomplish transformational and sustainable change. Therefore, when we say… DEI, we want medical education to understand that efforts cannot address the concepts of DEI individually but must address them as an interrelated system where each component is reliant on the others in order to reach the ultimate goal of creating belonging, which fulfils the fundamental human need to feel safe, respected and engaged.4, 5

• [다양성]은 차이에 대한 인식이 존재하는 것으로, 의학에서 다양성은 종종 이러한 범주의 사회적 구성 및 특정 역사를 고려하지 않고 가시적인 인구 통계만을 기반으로 한다. 마찬가지로,
• [형평성(equity)]은 개인이 그들의 길에 놓인 시스템적 단점이나 장벽에 관계없이 그들의 필요에 따라 동등한 기회를 갖도록 보장하는 프로세스와 절차를 통해 impartiality, fairness및 access을 증진하는 관행을 말한다.
• [형평성]의 존재는 과소대표된 개인과 소외된 정체성을 가진 사람들의 성공을 위해 매우 중요하다. 왜냐하면 그것은 그들이 역사적으로 다른 유형의 노동자를 위해 구상되고 육성된 사회 기관 내에서 일할 수 있도록 하기 위해 필요한 지원을 제공하기 때문이다. 이와 관련하여, [소수화minoritised]라는 용어는 과소대표된 개인만을 지칭하는 것이 아니라, 사회적 억압으로 이어지는 배제, 한계화 및 힘의 비대칭성을 고려하기도 한다.
• [포용성]은 모든 사람이 가치 있고 환영받는다고 느끼는 것을 보장하는 반면, 포용적인 일터는 개인이 의미 있고 진정으로 기여할 수 있는 기회를 보장한다.8

While diversity is the presence of perceived differences, in medicine diversity is often based solely on visible demographics without consideration of the social construction and specific history of these categories.6, 7 Similarly, equity refers to the practice of promoting impartiality, fairness and access through processes and procedures8 that ensure individuals have equal opportunities based on their needs regardless of the systemic disadvantages or barriers put in their way.9 The existence of equity is extremely important for the success of underrepresented individuals and people with marginalised identities because it provides the support they need to be able to work within a social institution that was historically envisioned and nurtured for another type of worker.10-12 In this regard, the term minoritised does not solely reference individuals who are underrepresented, rather it also takes into account exclusion, marginalisation and power asymmetries leading to social oppression.13 Inclusion ensures that everyone feels valued and welcomed, while an inclusive workplace ensures individuals are empowered and provided with opportunities to meaningfully and authentically contribute.8

일반적으로 조직은 사회 규범을 반영하는 역사적 유물이며 지배 집단의 이익을 보호하고 전파하는 데 사용되기 때문에 이 [세 가지 개념의 통합]은 DEI 노력에 매우 중요하다. 종종, 우리의 학술 의료 시스템과 개별 기관은 [다양성]을 증가시키는 데 초점을 맞추지만 환경이 다양한 개인의 복지를 지원하고 안전, 존중, 그리고 [참여감engaed]을 느끼기 위한 인간의 기본적인 필요를 충족시키는지에 대해서는 거의 생각하지 않는다.
Integration of all three of these concepts is critical in DEI efforts because generally, organisations are historical artefacts that reflect the norms within society and are used to protect and propagate the interests of the dominant group.14 Often, our academic medical system and individual institutions focus on increasing diversity but provide little thought as to whether the environment supports the well-being of diverse individuals and fulfils the fundamental human need to feel safe, respected and engaged.15

따라서, 관리자는 단순히 인구 통계학적 숫자의 측면에서 다양성을 높이는 데만 초점을 맞추는 것이 아니라 개인이 조직 내에서 자신의 진정한 자아가 수용되고 가치 있다고 느끼는 데 필요한 지원 및 보안 유형을 고려해야 합니다. 예를 들어, 의과대학이 파이프라인 프로그램과 소수민족 학생의 채용 증가에만 초점을 맞추는 반면, 다음과 같은 중요성은 간과한다면,

• 소수화된 교직원의 채용 및 유지 확대 
  
• 정책 변화를 통해 모든 개인에 대한 형평성을 보장
  
• 승진 및 급여 조정에 참여
• 안전하고 포괄적인 환경 조성

...소속감Belonging이라는 최종 목표 달성은 어려울 것이다.

Therefore, rather than merely focusing on increasing diversity in terms of demographic numbers alone, administrators must consider the types of support and security individuals need to feel that their authentic self is accepted and valued within the organisation.16 For example, if medical schools focus solely on pipeline programs and increasing recruitment of minoritised students, while overlooking the importance of also

• expanding recruitment and retention of minoritised faculty,
• ensuring equity for all individuals through policy changes,
• attending to promotion and pay adjustments and
• creating safe, inclusive environments,

...achieving the end goal of belonging will remain elusive.

의과대학 내 소속감belonging을 구축하는 데 적극적으로 집중하는 것은 조직 내 소속감belonging을 측정하는 것을 포함하면서, 다음과 같은 것도 있어야 한다.

• 참여 및 만족도 측정 기준 추적
  
• 급여 형평성 평가를 수행
  
• 승진 및 재직권 절차 개정
  
• 채용 팀에 대한 무의식적 편향 및 기타 결과 지향적 행동에 대한 훈련을 의무화함.

하지만, 이러한 각각의 노력들이 중요하지만, 그들은 홀로 설 수 없습니다. 의료 교육에 변혁적 변화를 일으키려면 전체 시스템을 다양성, 형평성, 포용성, 소속성을 염두에 두고 평가하고 수정해야 한다..

Actively focusing on building belonging within medical schools may include measuring belongingness within the organisations17 in addition to also

• tracking engagement and satisfaction metrics,
• conducting pay equity assessments,
• making promotion and tenure process revisions and
• mandating unconscious bias training for recruitment teams and other outcome oriented actions.

However, while each of these efforts is important, they cannot stand alone. To create transformational change in medical education, the entire system must be evaluated and altered with diversity, equity, inclusion and belonging in mind.

의료 교육이 소수 집단을 더 잘 지원할 수 있는 방법을 계속 모색하고 있기 때문에, DEI는 한 개념이 다른 개념과 분리되어 구현되는 세 가지 개별 개념으로 취급될 수 없다. 오히려, 이러한 개념들은 본질적으로 얽혀 있고, 궁극적으로 각 개인의 소속감과 지지를 촉진하고 성취하기 위해 서로를 지지하기 위해 존재한다.
As medical education continues to strive for ways it can better support minoritised groups, DEI cannot be treated as three separate concepts in which one is implemented in isolation of the others. Rather, these concepts are intrinsically intertwined, existing in support of each other to ultimately foster and achieve a sense of belonging and support of each individual.18

따라서, 우리는 의료 교육자들이 개별적으로 각각의 개념에 초점을 맞추기보다는, 모든 사람들에게 소속감을 촉진하는 환경을 조성하는 궁극적인 목표에 도달하기 위해 이 세 개념의 교차점에 초점을 맞추어 DEI 작업에 대한 시스템 기반 접근법을 추구할 것을 제안한다.

Therefore, rather than focusing on each one concept individually, we suggest that medical educators pursue a systems-based approach to DEI work, by focusing on the intersection of these three concepts to reach the ultimate goal of creating an environment that promotes belongingness for everyone.

역설적 진실과 사라지지 않는 미신: 팀 역량 대화를 리프레이밍하기(J Contin Educ Health Prof, 2016)
Paradoxical Truths and Persistent Myths: Reframing the Team Competence Conversation 
Lorelei Lingard, PhD

의학은 매우 개인주의적인 문화이다. 우리는 개인을 선발한다. 우리는 개인을 교육하고 평가합니다. 우리는 개인에게 라이센스를 부여하고, 고용하고, 급여를 지급합니다. 우리는 개인을 규제하고 치료한다. 그렇다면, 의학이 똑똑하고, 숙련되고, 헌신적인 임상의와 같은 유능한 사람들로 가득하다는 것은 놀랄 일이 아니다. 불행히도, 유능한 개인은 양질의 의료 서비스를 제공하지 못한다. 
Medicine is a highly individualist culture. We select individuals. We train and assess individuals. We license, hire, and pay individuals. We regulate and remediate individuals. It should come as no surprise, then, that medicine is full of competent individuals: smart, skilled, dedicated clinicians. Unfortunately, competent individuals do not equal quality health care. 

보건의료의 가장 시급한 문제들 중 일부는 무능한 개인이 아닌 무능한 팀들로 거슬러 올라갈 수 있다. 예를 들어 홈케어를 받는 노인들 사이에서 10-13%의 위험 발생률은 고객의 집을 통과하는 많은 의료 서비스 제공자들 사이의 조정과 의사소통 문제 때문이다. 그것은 개인의 역량의 문제가 아니며, 책임 있는 개인을 찾고 그들을 교정하는 우리의 통상적인 전술로는 해결될 수 없다. 우리는 개인의 능력 이상의 것을 생각할 필요가 있다. 왜냐하면 그것은 필요하지만, 양질의 의료 서비스를 위해 충분하지 않기 때문이다.
Some of health care's most pressing problems can be traced back to incompetent teams rather than incompetent individuals. For instance, the alarming 10–13% adverse event rate among seniors receiving homecare is due to problems of coordination and communication among the many health care providers passing through the client's home.1 That is not a problem of individual competence, and it cannot be solved by our usual tactic of looking for the responsible individual and remediating them. We need to think beyond individual competence because, although it is necessary, it is not sufficient for quality health care.

나는 거의 20년 동안 건강관리 팀워크를 공부해 왔다. 제 연구 그룹은 수술실, 중환자실, 입원환자 의료 및 소아과, 뇌졸중 재활실, 다장기 이식실, 심부전 클리닉, 가족 보건팀 등 직장에서 팀을 관찰하는데 수천 시간을 보냈습니다. 우리는 수백 명의 임상의들과 그들의 팀이 어떻게 소통하고 협력하는지에 대해 이야기를 나누었고, 우리는 어떻게 교육생들이 이러한 팀 관행과 가치를 습득하게 되었는지 탐구했습니다. 그리고 일반적으로 사회과학자가 복잡하고 유동적인 사회세계에서 안정된 진리의 존재를 선언하는 것은 신성불가침으로 여겨지지만, 저는 그것을 하려고 합니다. 우리가 연구한 모든 팀에게 다음과 같은 진술이 들어맞기 때문입니다.
I have been studying health care teamwork for almost 20 years. My research group has spent thousands of hours watching teams at work—in operating rooms, critical care units, inpatient medicine and pediatric units, stroke rehabilitation units, multiorgan transplant units, heart failure clinics, family health teams. We have talked with hundreds of clinicians about how their teams communicate and collaborate, and we have explored how trainees come to acquire these team practices and values. And while it is generally deemed sacrilegious for a social scientist to declare the presence of stable truths in a complex and fluid social world, I am about to do just that. Because the following statements hold true across all the teams we have studied:

• 유능한 개인은 무능한 팀을 구성할 수 있다.
  
• 한 팀원이 무능해도 팀은 유능할 수 있다.
  
• 한 명의 무능한 팀원이 팀 전체를 좌절시킬 수도 있지만, 어떤 팀은 그러한 팀원과 함께 나아간다.
  
• 동일한 팀도 한 상황에서 유능하고, 다른 상황에서 무능력할 수 있다.
• Competent individuals can form an incompetent team.
• Teams can be competent even when one team member is incompetent.
• An incompetent team member can derail one team, but another team carries on around her.
• The same team can be competent in one situation and incompetent in another.

한편으로, 이러한 사실들은 놀랍지 않다. 모든 임상의는 "드림팀"이었어야 했던 팀이 그저 그런 팀으로 변해버린 시절을 경험한다. 모든 교육자는 임상 환경의 교육이 작동하는 이유는, 부분적으로 초보자의 존재를 나머지 팀이 보상하기 때문임을 알고 있습니다. 모든 유닛 리더는 리소스의 변화가 팀이 성과를 유지하는데 어려움을 겪을 수 있다는 것을 인식하고 있습니다.
On the one hand, these truths are not surprising. Every clinician has experienced those days when what should have been a “dream team” turned sour. Every educator knows that teaching in clinical settings works in part because teams compensate for the presence of novices. Every unit leader recognizes that a change in resources can cause teams to struggle to maintain their performance.

반면에, 이러한 사실들은 놀랍기만 한 것이 아니라 역설적이다. 그들은 우리가 능력에 대해 진실이라고 믿는 것에 도전한다. 우리는 전통적으로 역량이 개인의 자질이라고 믿는다. 선택에서 훈련과 규제를 통해, 의학은 충분한 훈련을 통해 달성될 수 있고 주기적인 업데이트로 유지될 수 있는 상태로서 개인이 소유한 어떤 것으로 역량에 접근한다. 개념적으로, 이 접근법은 역량이 맥락에 구애받지 않는다는 것을 의미한다. 그렇다고 해서 우리가 맥락이 중요하다는 것을 인식하지 못한다는 것은 아니다. 

• 현실적으로 말해서, 우리는 역량이 임상의, 환자, 조직 환경 및 기타 요인들 사이의 복잡한 상호작용을 수반한다는 것을 알고 있다. 
• 그러나 개념적인 수준에서, 역량에 대한 우리의 전통적인 개별적인 접근법은 한 환경에서 유능한 의사가 다른 환경에서 유능할 것이라고 가정한다. 

어느 정도, 역량에 대한 이러한 믿음은 개인에게 전제된 [허가와 규제 시스템에 대한 믿음]을 갖기 위해 필요하다.

On the other hand, these truths are not just surprising, they are paradoxical. They fly in the face of what we believe to be true about competence. We conventionally believe that competence is a quality of the individual. From selection, through training and regulation, medicine approaches competence as something individuals possess, as a state that can be achieved through sufficient training and maintained with periodic updates. Conceptually, this approach also implies that competence is context-free. That is not to say that we do not recognize that context matters:

• practically-speaking, we know that competence involves a complex interaction among clinician, patient, organizational setting, and other factors.
• But at a conceptual level, our conventional, individual approach to competence assumes that a physician competent in one setting will be competent in another.

To some degree, these beliefs about competence are necessary in order to have faith in a system of licensing and regulation that is predicated on the individual.

위에서 요약한 네 가지 진리는 개인의 역량에 대한 전통적인 개념화에 도전한다. 사실, 이 역설적인 진리는 [집단적 역량]을 참고해야만 설명할 수 있습니다. [집단적 역량]은 시스템의 분산된 능력으로, 개인에게 쉽게 환원될 수 없다. 
그것은 역동적이고 문맥과 강하게 연관되어 있다.

• 그래서 유능한 개인들은 무능한 팀을 구성할 수 있는데, 왜냐하면 팀워크는 그 부분의 합보다 더 중요하기 때문이다; 그것은 사회적 상호작용, 공유된 경험, 그리고 암묵적인 지식을 필요로 한다.
• 마찬가지로, 팀워크는 공동의 인지적 성취이기 때문에 한 구성원이 무능력하더라도 팀은 유능할 수 있다.
• 무능한 팀원이 어떤 팀을 마비시킬 수 있지만, 다른 팀은 마비시킬 수 없다. 왜냐하면 그 개인에 대한 집단적 대응이 관건이지 개인 자신이 아니기 때문이다.
• 그리고 마지막으로, 한 팀은 다음이 아닌 한 상황에서 유능할 수 있습니다. 왜냐하면 집단적 역량은 진화하고, 불안정하며, 그들의 다양한 사회적 관계와 그 순간에 팀워크를 지원하거나 구속할 수 있는 물질적 조건을 가진 상황에 기반을 두고 있기 때문입니다.
  • [사회적 관계]는 갈등, 권력, 존중, 신뢰와 같은 이슈들에 의해 형성되는 복잡하고 미묘한 것이다.4-6
  • [물질적 조건material condition]도 중요하다: 교대 근무 시간표부터 "자료" 변경과 같은 프라이버시 법률까지 팀의 집단적 역량도 중요하다.7

The four truths outlined above challenge this conventional conceptualization of individual competence. In fact, we can explain these paradoxical truths only by reference to collective competence. Collective competence is a distributed capacity of a system, not easily reducible to an individual; it is dynamic and strongly tied to context.2 

• So competent individuals can form incompetent teams because teamwork is more than the sum of the parts; it requires social interaction, shared experience, and tacit knowledge.
• Similarly, a team can be competent even if one member is incompetent because teamwork is a joint cognitive accomplishment.3
• An incompetent team member can paralyze one team but not another because how the collective responds to that individual is the key, not the individual him/herself.
• And finally, a team can be competent in one situation and not the next because collective competence is evolving, unstable and based in situations with their varying social relations and material conditions that can support or constrain teamwork in the moment. Social relations on teams are complex and nuanced, shaped by issues such as conflict, power, respect, and trust.4–6 And material conditions matter too: from shift schedules to privacy legislation as such “materials” change so does the collective competence of the team.7

비록 우리가 집단 역량의 개념을 통해 이러한 역설적인 진리를 인정하고 설명할 수 있지만, 몇몇 강력한 신화는 팀워크에 대한 일상적인 대화에서 지속된다.
Even while we can acknowledge and, through the concept of collective competence, we can explain these paradoxical truths, some powerful myths persist in everyday conversations about teamwork:

• 우리가 각자 맡은 일을 제대로 해낸다면, 이 팀은 효과적일 것이다.
  
• 만약 우리가 서로의 역할을 이해한다면, 이 팀은 유능할 것이다.
  
• 만약 우리가 분명한 리더십과 책임감이 있다면, 이 팀은 잘 기능할 것이다.
  
• 우리 모두가 환자에게만 집중한다면, 이 팀은 부드럽게 작동할 거예요.
• If we each did our job properly, then this team would be effective.
• If we understood each other's roles, then this team would be competent.
• If we had clear leadership and accountability, then this team would function well.
• If we all just focused on the patient, then this team would work smoothly.

이러한 미신은 우리 모두가 "좋은 것"이라고 동의할 수 있는 것에 중점을 두고 있다. 그것은 바로 개인의 우수성, 역할 이해, 명확한 리더십 및 환자 중심성. 그럼 왜 이것을 "미신"라고 불러야 할까요? 왜냐하면 선의 핵심에도 불구하고, 그것들은 팀이 어떻게 일하는지에 대한 잘못된 믿음이기 때문입니다. 사실, 이 미신은 너무 단순해서 위험하다.

Each of these myths centers on something we would all agree is a “good”: individual excellence, role understanding, clear leadership, and patient centeredness. Why, then, do I call them “myths?” Because, notwithstanding the kernels of good, they are false beliefs about how teams work. In fact, I would argue that they are dangerous oversimplifications.

• 첫 번째 신화는 - 우리가 각자 맡은 일을 제대로 했다면 - 이라는 말은 [협소한 개인주의]이다. 그것은 능력의 개별적인 차원을 반영하고 위에서 설명한 집단적 차원을 무시한다. 
• 두 번째는, 만약 우리가 서로의 역할을 이해했다면, 이라는 말은 [고정적]이라는 문제가 있다. 이는 보건 전문가의 역할이 안정적이고 뚜렷하다는 것을 암시하는 반면, 팀워크에 대한 민족학 연구는 역할이 유동적이고 중복될 수 있다는 것을 입증했다.
• 세 번째는, 만약 우리가 분명한 리더십을 가지고 있다면, 이라는 말은 [낭만적으로 향수를 불러일으키는 것]이다. 그것은 의사들이 의료 서비스 제공의 "리더"였던 시대로 거슬러 올라가지만, 최근의 연구는 의료 팀에서의 리더십은 복잡한 협상이며 "가장 책임 있는 의사"는 명확하게 식별되지 않을 수 있다고 주장한다.
• 네 번째는, 우리 모두가 환자에게만 초점을 맞춘다면, 이라는 말은 [천진난만한 이상주의]입니다. 나는 환자 중심주의를 공유된 핵심 가치로 반대하는 것이 아니다. 그러나 의료 팀워크는 종종 경쟁적인 많은 동기들에 의해 형성됩니다.
  • 적시에 환자 치료를 제공하려는 욕구,
  • 부족한 자원을 보존해야 하는 필요성,
  • 환자 안전을 보장해야 하는 요구 사항,
  • 교육생이 자신의 기술을 연습할 수 있도록 해야 하는 의무  
    • ...등 모든 것이 팀이 임상 상황의 진화에 따라 협상하고 우선순위를 다시 정해야 하는 정당한 동기이다. 그리고 의료팀의 개인들은 이러한 동기를 다르게 해석하고 제정할 수 있다.

• The first myth—if we each did our job properly—is narrowly individualistic. It reflects the individual dimensions of competence and ignores the collective dimensions described above.
• The second—if we understood each other's roles—is problematically static. It implies that health professional roles are stable and distinct, while ethnographic studies of teamwork have demonstrated that roles can be fluid and overlapping.8 
• The third—if we had clear leadership—is romantically nostalgic. It harkens back to a time when physicians were the unchallenged “leaders” of health care delivery, but recent research argues that leadership on health care teams is a complex negotiation9 and the “most responsible physician” may not be clearly identifiable.4 
• And the fourth—if we all just focused on the patient—is naively idealistic. I am not arguing against patient-centeredness as a shared, core value. But health care teamwork is shaped by many, and often competing, motivations. The desire to provide timely patient care, the need to conserve scarce resources, the requirement to ensure patient safety, the mandate to allow trainees to practice their skills—all are legitimate motivations that teams must negotiate and reprioritize as a clinical situation evolves. And individuals in the health care team may interpret and enact these motivations differently.10,11

이러한 신화는 의도하지 않은 방법으로 보건 전문가 교육에 영향을 미칠 수 있다. 예를 들어, 전문가 간 협업 및 전문가 간 교육(IPE)을 지원하기 위해 강력한 프레임워크가 개발되었지만, 제한된 교육 시간과 참여로 인해 이러한 프레임워크는 종종 단순화된 방식으로 구현된다. 이 경우, 강력한 모델은 "팀에서 전문적인 역할을 이해하는" 학습 목표로 축소될 수 있습니다. 역할에 대해 배우는 것이 중요하지만, 연구 결과 역할이 종종 유동적이고 중복되는 것으로 나타남에도, 이같은 접근법은 보건 전문가 역할이 실제로 안정적이고 뚜렷하다는 암묵적인 메시지를 전달할 수 있다. 임상 전 IPE 커리큘럼은 [역할을 명확하게 설명하는] "기본" 시나리오와 [역할 유동성과 모호성을 설명하여 인위적으로 구분하지 않게 하는] "고급" 시나리오를 모두 제시하여 의도하지 않은 메시지로부터 보호할 수 있다. 학생과 전문가를 위한 실무 기반 IPE 이니셔티브는 실제 임상 상황에서 의료 제공자와 환자 간의 역할 복잡성과 역할 교차점을 가르치는 강력한 방법이 될 수 있다.
These myths can influence health professional education in unintended ways. For instance, while robust frameworks have been developed to support interprofessional collaboration and interprofessional education (IPE),12 these are often implemented in simplified ways due to limited curricular time and engagement. When this happens, the robust model can be reduced to the learning objective to “understand professional roles on the team.” While learning about roles is important, this approach can send the implicit message that health professional roles are stable and distinct in practice, when research has shown that roles are often fluid and overlapping.4 Preclinical IPE curricula can guard against this unintended message by presenting both “basic” scenarios that illustrate roles distinctly and more “advanced” scenarios that trouble artificial distinctions by illustrating role fluidity and ambiguity. Practice-based IPE initiatives, for students and for experts, may also be a powerful way to teach both role complexity and role intersection among health care providers and patients in real clinical situations.13

우리가 북미에서 역량 기반 의학교육으로 전환함에 따라, 우리는 이러한 신화가 그러한 노력에 미치는 영향에도 주의를 기울여야 한다. 예를 들어, 리더십은 지속적인 전문 개발 환경에서처럼 대학원 교육을 위한 역량 프레임워크에서 두드러지게 나타납니다. 리더십도 중요하지만 연구 결과에서 알 수 있듯이 팀 협업과의 관계는 복잡하다. 만약 이 미묘한 관계가 주의 깊게 지켜지지 않는다면, 우리는 "강한 리더십"이 팀워크를 해치는 만병통치약이라는 신화를 영속시킬 위험이 있다. "강력한 리더십"이 수반하는 것은 임상적 맥락에 따라 달라질 것이지만, 기존의 지식은 주로 "행동팀action teams"이라 불리는 것을 작업하는 중환자 치료, 외과, 소생 및 외상 팀에서 파생된다. 이러한 지식을 오늘날의 만성적이고 복잡한 질병 시대에 더 분산된 팀의 리더십의 특성에 비판적으로 적응시키기 위해 주의를 기울여야 한다. 행동 팀에서 효과적인 것으로 밝혀진 [지시적 또는 적응적 리더십]과 같은 전략은, "리더"가 팀에서 덜 안정적이고 가시적인 실체entity가 될 수 있는 [만성적인 치료 상황]에서 효과적이려면 신중한 번역translation을 요구할 수 있다.
As we shift to competency-based medical education in North America, we must also attend to the influence of these myths on those efforts. For instance, leadership features prominently in competency frameworks for postgraduate training14 as it does in the continuing professional development landscape.15 Leadership is important, but it is in complex relation to team collaboration, as research has shown.5 If this nuanced relation is not carefully attended to, we risk perpetuating the myth that “strong leadership” is the panacea for what ails teamwork. What “strong leadership” entails will vary according to clinical context, yet existing knowledge is derived largely from critical care, surgical, resuscitation and trauma teams, whose members work on what are called “action teams,” collocated space and time.16 Care must be taken to critically adapt such knowledge to the nature of leadership on more distributed teams in today's chronic, complex disease era.17,18 Strategies such as directive or adaptive leadership, found to be effective in action teams,16 may require careful translation to be effective in chronic care contexts where “leader” may be a less stable, visible entity on the team.

이러한 진실과 신화는 우리의 가정이 의료 팀워크의 복잡한 현실과 맞지 않을 수 있는 곳으로 우리의 관심을 끈다. 이러한 가정에 대한 비판적 탐구는 개인과 집단적 역량을 인식하고 촉진하는 교육 관행에 더 가까이 다가갈 것이다.

These truths and myths draw our attention to places where our assumptions may not fit the complex realities of health care teamwork. Critical exploration of these assumptions will bring us closer to educational practices that recognize and promote both individual and collective competence.

집단적 역량: 개인적 전문성에서 협력적 전문성으로 (Perspect Med Educ, 2020)
Collective competence: Moving from individual to collaborative expertise
Sylvia Langlois

Perspect Med Educ. 2020 Apr;9(2):71-73. doi: 10.1007/s40037-020-00575-3.

Collective competence: Moving from individual to collaborative expertise

PMID: 32246405

PMCID: PMC7138779

DOI: 10.1007/s40037-020-00575-3

성과 프레임워크를 평가 프레임워크로 번역하기: 타당도에 대한 함의(Med Educ, 2020)
Translating outcome frameworks to assessment programmes: Implications for validity
Walter Tavares1 | Paula Rowland1 | Damon Dagnone2 | Laura A. McEwen2 |
Stephen Billett3 | Matthew Sibbald4

1 소개
1 INTRODUCTION

역량 기반 의료 교육(CBME)의 핵심 프로세스는 [어떻게 교육자가 임상 역량을 평가하는지]이다. [성과]와 [역량]은 임상의가 독립적으로 실습할 수 있도록 하기 위해 [보유하고 입증해야 하는 실천의 특징]을 설명하는 역할을 한다. 예를 들어, '신뢰할 수 있는 전문적 활동'(EPA)은 훈련생 개발에 필수적인 연습의 특징을 포착하고 독립적으로 연습할 준비를 보장하기 위한 개인 수준의 역량을 포함하는 기술 업무이다. 교육자는 복잡한 구성의 표현이나 특정 결과의 달성을 용이하게 하고 교육생 준비 상태에 관한 종합적 결정을 알리기 위한 최선의 평가 전략 조합을 개발, 선택 및 계획해야 한다. 그러나 개인과 조직이 이러한 [성과 목록]을 [평가 계획]으로 [번역translate]하는 과정에서 이 복잡한 과제의 과제가 명백해진다. 성과 프레임워크가 '번역'되는 과정에서 (성과 프레임워크에서 평가 계획을 생성하는 능동적 프로세스를 의미함) 여러 가지 불명확한 영향, 가정 및 문제가 있는 번역은 [평가의 어떤 근본적 원칙과 일치하지 않을 수 있습니다]. 그것은 바로 평가의 [타당성]이다.


A key process within competency-based medical education (CBME) is how educators structure assessment of clinical competence.1 Outcomes and competencies serve to describe features of practice that clinicians must possess and demonstrate in order to be permitted to practise independently. For example, ‘entrustable professional activities’ (EPAs) are descriptive work tasks that include person-level competencies intended to capture features of practice essential in developing trainees and ensure their readiness to practise independently.2 Educators are tasked with developing, selecting and planning the best combination of assessment strategies to facilitate representation of the complex constructs or achievement of specific outcomes, and to inform summative decisions regarding trainee readiness. However, the challenge of this complex task becomes apparent as individuals and organisations translate these lists of outcomes into assessment plans.3 As outcome frameworks are ‘translated’ – referred to in this case as the active process of generating assessment plans from outcome frameworks – a number of unarticulated influences, assumptions and problematic translations may create misalignments with a foundational tenet of assessment: assessment validity.

평가 계획의 설계는 일반적으로 핵심 기능core function에 초점을 맞춘다. 그러다보면 더 넓은 범위의 성과 프레임워크를 수용하거나, 이러한 계획에 대한 의사결정을 형성에 미치는 영향의 가변성을 고려하지 않게 된다.

• 예를 들어, 척도scale 개발은 종종 [항목, 차원, 자극, 활동을 식별하는 것]으로 시작한다. 이것들이 평가 대상 구인contruct의 표현representation을 집합적으로 지원한다고 여긴다. 다른 평가 설계 특징들은 맥락 특이성을 극복하고, 평가자 경향을 식별 및 조정하고, 데이터의 다양한 점들의 집합의 가치, 서술적 또는 철학적 위치의 가치를 고려하는 기능적 필요성에 초점을 맞추었다.

그러나 [성과 프레임워크]를 [평가 계획]으로 [변환translate]하는 [상류 프로세스]뿐만 아니라, [영향의 유형, 역할 및 임팩트는 무엇이고], [누가 그러한 영향을 발생시키고] [왜 발생하는지] 등은 일반적으로 기존 프레임워크에서 명시적으로 설명되지 않았다. 따라서 이러한 영향을 식별하고 탐색하는 방법에 대한 명확한 지침이 없으면, 평가 타당성(즉, 데이터의 신뢰성과 방어성)이 훼손될 수 있다.

The design of assessment plans has typically focused on core features, without having to accommodate large outcome frameworks or taking into consideration the variable impact of influences that may be shaping decisions about those plans.4-6 

• For example, scale development often begins with identifying items or dimensions, stimuli or activities that collectively support representation of the construct to be assessed.7 Other assessment design features have focused on the functional need to overcome context specificity,8 to identify and then adjust for rater tendencies,9 and to consider the value of assembling diverse points of data,10 and the value of narratives11 or philosophical positions.12 

However, the upstream process of translating outcomes frameworks to assessment plans, as well as the type, role and impact of influences, who generates those influences and why, have generally not been explicitly featured in existing frameworks. Assessment validity (i.e. trustworthiness and defensibility of the data) may therefore be undermined without clear guidance on how to identify and navigate these influences.

CBME 맥락에서 [평가 설계]의 [사회학적 및 사회문화적 설명accounts]을 사용하면, [성과 프레임워크에서 평가 계획으로의 변환translation]에 유용한 정보를 제공할 수 있다. 유사한 이론적 접근법들이 보건직 교육, 고등 교육, 학습 도구로서의 표준과 표준화의 용도 변경, 전문적 학습의 평가 관행에서의 활동을 탐구하기 위해 사용되어 왔다. [Callon의 번역 이론]은 한 일련의 관행(예: 결과 프레임워크 생성)에서 다른 일련의 관행(예: 평가 계획 생성)으로 번역하는 과정을 이해하고 설명하는 한 가지 방법입니다. 캘런의 번역 이론은 [번역 행위]가 단지 [인지적 행위]가 아니라, [사회적, 정치적, 물질적 행위]임을 시사한다. 

Using sociological and sociocultural accounts of assessment designs in a CBME context can inform the translation from outcome frameworks to assessment plans.13 Similar theoretical approaches have been used to explore activities in health professions education, in higher education, in repurposing standards and standardisation as learning tools, and in practices of assessment of professional learning.14-16 Callon's theory of translation17 is one way to understand and explain processes involved in translating from one set of practices (e.g. creating outcome frameworks) to another (e.g. creating assessment plans). Callon's theory of translation suggests that the act of translation is not just a cognitive exercise, but also social, political and material acts.17 

하나의 맥락 또는 형태(예: 결과 프레임워크)에 존재하는 아이디어를 다른 개념(예: 평가 계획 및 그 구현 및 사용)으로 변환translate하려면,

• 개인이나 집단은 그들의 아이디어와 다른 맥락과 관련된 이슈들 사이의 적합성에 대해 다른 사람들을 설득해야 한다. 
• 또한 제안된 조치가 바람직하고 적절한 해결책이라는 것을 다른 사람들에게 납득시켜야 한다.
• 이 과정을 통해 개인은 또한 다른 사람을 물질적 행위, 관련 행위자(즉, 사람, 그룹 및 위원회뿐 아니라, 학습 플랫폼 및 기술과 같은 물질적 객체까지)가 원하는 활동에 지속적으로 참여하도록 하고, 상충적 요구는 줄이며, 피할 수 없는 논란을 관리해야 한다.

이러한 [업스트림 프로세스]는 프로세스 중에 보이지 않을 수 있으며, 항상 타당성이 우선되는 것도 아니며, 평가 계획이 작성된 시간에 의해 불변할 수 있습니다.

To translate an idea existing in one context or form (e.g. outcome frameworks) to another (e.g. assessment plans and their implementation and use),

• individuals or groups must convince others of the fit between their idea and issues related to that other context.
• They must also convince others that the proposed action is a desired and appropriate solution.
• Throughout this process, individuals must also enroll others in material acts, strategise to keep involved actors (i.e. people, groups and committees, but also material objects such as learning platforms and technologies) engaged in the desired activity and reduce competing demands, and manage any inevitable controversies.17 

These upstream processes may be invisible during the process, not always prioritising validity, and immutable by the time assessment plans have been created.

이러한 관점에서 CBME는 [성과 프레임워크에서 평가 계획으로 이동]할 때, 평가 과학에 대한 새로운 도전을 제기한다. 내용과 맥락에 대한 통제를 행사할 수 있는 평가 설계(예: 필기 시험 및 OSCE)와 달리, CBME와 직장 기반 평가(WBA)의 맥락은 교육 및 커리큘럼 설계에서 새로운 개념이 아닌 다양한 경쟁 상황 요인을 수용해야 할 수 있다. 예를 들어, 빌렛은 직장 커리큘럼이 직장 및 배우의 능력과 이해관계, 그리고 그 안에서 그들의 책임에 따라 결정된다는 것을 증명했다. 평가에 적용했을 때, 상류 번역 활동upstream translational activities에 대한 초점은 평가 설계 외부의 기능이 관련성이 있으며 일단 평가 계획이 작업장에서 제정되면 예상된 사건 이상으로 확장된다는 것을 시사한다. 역사적으로 평가 과학은 타당성에 대한 다른 위협(위에서 설명한 바와 같이) 대신 이러한 특징들을 강조하지 않았다. 그들의 강조점을 고려할 때, 사회학적, 사회문화적 이론(예: 칼론의 번역 이론)은 이러한 특징들을 시야에 가져오는데 도움을 준다.

Viewed in this way, CBME invites a new challenge for assessment science when moving from outcome frameworks to assessment plans. Unlike assessment designs that exist where control over content and context can be exercised (e.g. written tests and OSCEs), the context of CBME and workplace-based assessments (WBA) may require accommodating a range of competing situational factors,18 a concept that is not new in education and curricular design.19, 20 For example, Billet demonstrated that the workplace curriculum is subject to the affordances and interests of the workplace and actors and their responsibilities within it.20 Applied to assessment, the focus on upstream translational activities suggests features external to assessment design are relevant and extend beyond anticipated events once assessment plans are enacted in the workplace. Historically, assessment science has de-emphasised these features in place of other threats to validity (as described above).21 Given their emphases, sociological and sociocultural theories (e.g. Callon's theory of translation) help to bring these features into view.

우리가 [번역 과정]을 잘 이해하고 설명할 수 있다면, 효과적인 성과 기반 교육과 타당한 평가 프로그램을 발전시킬 가능성이 있다. 예를 들어 역량 위원회가 [고부담 평가를 구성하거나 학습자가 개발 전략을 구성하기 위해 사용하는 데이터]는 생성된 데이터의 신뢰성과 방어성에 따라 달라진다. 이를 잘 수행하면, 특히 직장 기반 맥락에서 평가 커뮤니티에 도전하고, 번역 활동이나 타당성 평가의 영향을 종종 무시하는 다양한 접근 방식(예: 평가자, 도구 및 교수진에 집중)을 자극한다. 

If we can understand and illustrate the translational process well, there is a potential to advance effective outcome-based education and valid assessment programmes. For instance, the data on which competence committees structure high-stakes assessment, or learners use to structure developmental strategies, are dependent on the trustworthiness and defensibility of the data generated. Doing this well, particularly in workplace-based contexts, challenges the assessment community and stimulates diverse approaches (e.g. focusing on raters, tools and faculty development) that often neglect translational activities or evaluation of their impact on validity.

따라서 본 연구에서는 캐나다 대학의 대학원 의학 교육(PGME)에서 무엇이 결과 프레임워크를 형성적이고 종합적인 평가 계획으로 [번역translation]하는지, 구체적으로 어떻게 어떤 도구와 프로세스가 구축되었는지, 그리고 왜 역량 위원회가 데이터를 사용할 것인지 물었다. 또한, 이러한 프로세스는 어떻게 정당화되거나 평가됩니까? 우리는 번역이 인지적, 실제적, 사회적, 정치적 활동이라는 관점에서 이 작업을 배치했지만, 특히 개인에 대한 총괄적 결정(예: 역량 위원회에서 사용하기 위한)의 정점에 기여할 때 타당성도 고려해야 한다. 우리는 타당성을 위협할 수 있는 긴장과 과제를 완화하기 위한 최적화 전략과 방법을 식별하고 조명하는 것을 목표로 했다. Callon의 번역 이론과 Kane의 유효성 및 검증 프레임워크가 관련된 경우를 포함하여 결과 프레임워크를 사용할 때 평가 설계의 단순화된 프로세스에 대한 설명은 그림 1을 참조하십시오.

Therefore, in this study we asked

• what shapes the translation of outcome frameworks to formative and summative assessment plans in postgraduate medical education (PGME) in Canadian universities,
• specifically how and what tools and processes were built and why, the data from which would be used by competence committees.
• Also, how are these processes justified or evaluated?

We positioned this work with a view that translations are cognitive, practical, social and political activities, but that validity should also be considered, particularly when contributing to the culmination of summative decisions about individuals (e.g. for use by competence committees). We aimed to identify and illuminate optimising strategies and ways of mitigating tensions and challenges that may threaten validity; see Figure 1 for an illustration of a simplified process of assessment design when using outcome frameworks, including where Callon's theory of translation17 and Kane's validity and validation framework21 are relevant.

2 방법
2 METHOD

2.1 연구 개요
2.1 Study overview

우리는 [실제 또는 계획된 평가 전략]뿐만 아니라, [평가-기반 번역 활동]에 중점을 두고 PGME 프로그램의 개별 대표자(예: 프로그램 감독), 평가 위원회 및/또는 CBME 구현 위원회와 심층 반구조화된 인터뷰로 구성된 정성적 연구를 수행했다. 인터뷰는 분석을 위해 기록되고 기록되었으며, 여기에는 [지시된directed 내용 분석]에 의해 안내된 방법이 포함되었다. 우리는 Callon의 번역 이론과 Kane의 유효성 프레임워크를 모두 사용하여 작업을 안내했다.

• Callon의 번역 이론(위에서 설명한)은 번역 프로세스의 구체적인 dynamics에 주의를 기울이고, 인터뷰 가이드의 구조를 형성하는 데 사용되었다. 번역 과정이 어떻게 제정되는지에 대한 이러한 이론은 특히 관련된 다양한 사람, 그룹 및 기관(즉, 학술, 전문, 임상, 규제 및 일선)의 CBME 수행에 대한 우리의 관찰과 잘 일치한다.
• 케인의 타당성 프레임워크는 평가 프로세스에서 생성된 데이터에 기초한 추론을 뒷받침하는 증거의 문제로서 타당성을 강조하는 반면, validation은 평가 프로세스에서 가정을 식별하고 테스트하는 프로세스를 포함한다.

We conducted a qualitative study comprising in-depth semi-structured interviews with individual representatives of PGME programmes (e.g. programme directors), assessment committees and/or CBME implementation committees, focusing on their assessment-based translational activities as well as actual or planned evaluation strategies. Interviews were recorded and transcribed for analysis, which involved methods guided by directed content analysis.22 We used both Callon's theory of translation and Kane's validity framework to guide our work.

• Callon's theory of translation (described above) was used to direct our attention to specific dynamics of the translation process and to shape the structure of our interview guide. This theorisation of how translational processes are enacted aligned well with our observations of the undertaking of CBME, in particular the various people, groups and institutions (i.e. academic, professional, clinical, regulatory and frontline) involved.
• Kane's validity framework emphasises validity as a matter of evidence in support of inferences based on data generated in an assessment process, whereas validation involves the process of identifying and testing assumptions in the assessment process.

우리는 이 유연한 argument-based framework를 사용하여 분석에서 주의를 기울이며 평가 타당성을 위한 번역 프로세스의 가능한 의미를 도출했다. 2018년 5월 토론토 대학교에서 윤리적인 승인을 받았다(프로토콜 #8333). 이 연구와 관련된 현장으로부터 추가적인 윤리적 승인을 얻었다.

We used this flexible argument-based framework to direct our attention in the analysis, drawing out possible implications of the translation process for assessment validity. Ethical approval was provided by the University of Toronto in May 2018 (Protocol #8333). Additional ethical approvals were obtained from the sites involved in this study.

2.2 설정, 샘플링, 정보제공
2.2 Setting, sampling and informants

이 연구는 캐나다 왕립 의사 및 외과의사 대학(RCPS)의 시행 및 인가 지침에 따라 CBME를 이행해야 하는 의무가 있는 세 개의 캐나다 대학 PGME 프로그램에서 수행되었다. 3개 기관을 선정함으로써 CBME의 평가에 대한 가변적variable 접근 방식을 표집 및 반영하고, 개념적 전이 가능성을 탐색하고, 질적 엔드 포인트(예: 정보력information power)를 촉진하려는 우리의 의도가 촉진되었다. 세 기관 모두 CBME의 구현에 참여했지만, 그들의 프로그램은 뚜렷한 구조와 프로세스를 가지고 있고, 개발, 구현 및 평가 단계에 있으며, 서로 다른 문화적 또는 교육적 맥락에 있다. 모두 CBME 구현 리드leads를 가지고 있었으며 교육, 평가 및 프로그램 평가 전문가와 접촉할 수 있었다. 우리는 [성과 프레임워크]를 출발점으로 하여, 평가 계획 개발에 참여한 것으로 확인된 프로그램 책임자 또는 그 대표자 및/또는 위원회 구성원을 모집하기 위해 목적적이고 최대 변동 표본 추출 전략을 사용했다. 우리의 모집 전략에는 PGME 리더십에 의해 연구팀이 이용할 수 있는 내부 목록을 사용하여 잠재적 제보자에게 이메일로 연락하는 것이 포함되었습니다. 우리는 프로그램 감독 수준에서 시작해서 평가 위원회 구성원을 포함하도록 확장했다.

This study took place within three Canadian university PGME programmes, which had mandates to implement CBME under the implementation and accreditation guidelines of the Royal College of Physicians and Surgeons of Canada (RCPS). Selecting three institutions facilitated our intention to sample and reflect variable approaches to assessment in CBME, to explore conceptual transferability and to promote qualitative end points (e.g. information power). All three institutions were involved in the implementation of CBME but their programmes have distinct structures and processes, were at different development, implementation and evaluation stages, and in dissimilar cultural or educational contexts. All had CBME implementation leads and had access to education, assessment and programme evaluation experts. We used purposeful and maximum variation sampling strategies to recruit programme directors or their delegates and/or committee members from various specialties who identified as having participated in the development of assessment plans using outcome frameworks as a starting point.23 Our recruitment strategy involved contacting potential informants by e-mail using internal lists made available to the research team by PGME leadership. We began at the programme director level then expanded to include assessment committee members.

2.3 인터뷰 가이드
2.3 Interview guide

개념적 틀을 통해 우리는 인터뷰 가이드를 세 가지 주요 목표 영역으로 구성했다.

• (i) 평가 프로그램 개발의 설명 및 상황 파악(예: EPA의 사용 방법, EPA의 사용 방법, 기타 비 EPA 평가의 사용, EPA와 비 EPA의 실행 방법) 
• (ii) 성과 프레임워크를 특정 평가 계획으로 변환하는 것과 관련된 현재의 의사 결정 관행을 포함하여 번역translation 프로세스의 탐구 (예: 의사 결정 방법, 평가 계획 수립에 관여한 기타 작업, 계획 또는 이행 과정에서 어떤 변경 또는 과정 수정이 이루어졌는가) 
• (iii) 평가 계획의 퀄리티와 타당성을 지원하는 프로그램 평가 활동 또는 계획(예: 구현과 관련된 공식 또는 비공식 평가 활동, 평가 의사 결정의 엄격함을 보장하기 위해 만들어진 계획 및 고려 사항)에 대한 언급

우리는 번역과 평가 과정의 다양한 순간을 탐구하기 위해 프롬프트와 함께 개방형 질문을 사용했다. 또한 인터뷰 가이드가 반복적으로 진화할 수 있도록 허용하고 정보원으로부터 사회 인구학적 세부 사항을 수집했다.

Informed by our conceptual framing, we organised our interview guide into three main target areas:

• (i) descriptions and contextualisation of assessment programme development (e.g. how EPAs are being used, how decisions are being made about how EPAs will be used, the use of other non-EPA assessments, and how EPAs and non-EPAs are put into practice);
• (ii) exploration of the translation process, including current decision-making practices related to the translation of outcome frameworks into specific assessment plans (e.g. how decisions were made, other work that was involved in launching assessment plans, and what shifts or course corrections were made in the process of planning or implementation); and
• (iii) accounts of programme evaluation activities or plans that would support the quality and validity of the assessment plans (e.g. formal or informal evaluation activities related to implementation, and plans made and considerations taken to ensure the rigour of assessment decision making).

We used open-ended questions with prompts to explore the various moments in the translation and evaluation processes. We also allowed the interview guide to evolve iteratively and collected sociodemographic details from informants.

2.4 데이터 수집
2.4 Data collection

면접은 정성적 연구면접 교육을 받은 연구조교와 연구팀 구성원(WT, PR, MS)이 맡았다. 면접관은 제보자의 기관에 따라 결정되었으며, 잠재적인 갈등이나 인식된 갈등을 회피하고, 면접관과 제보자의 가용성 등을 고려하여 결정되었다. 인터뷰는 직접 또는 전화를 통해 이루어졌으며, 음성녹음 및 문자 그대로 녹음되었다. 이러한 transcript는 정확성을 검사하여 정성 분석 소프트웨어(HyperRESOURCETM)에 업로드되었습니다. 우리는 우리의 연구 목표를 더 잘 다루고 명확화, 발산과 수렴의 실마리를 찾기 위해 샘플링과 인터뷰를 수정하기 위해 채용, 데이터 수집, 분석 및 팀 회의의 주기적이고 반복적인 과정을 계속했습니다. 이 과정은 저자들이 분석이 세 가지 엄격한 기준에 적합하다는 데 동의할 때까지 계속되었다.

• (i) 이론적인 주장이 경험적 자료에 근거하는지 확인할 수 있는 충분한 깊이가 있었다. 
  
• (ii) 제기되는 주장은 개념적 타당성을 가지고 있다. 
  
• (iii) 해당 주장이 더 광범위한 학술 공동체와 관련이 있었다. 

Interviews were conducted by a research assistant trained in qualitative research interviewing and members of the research team (WT, PR and MS). The interviewer was decided based on the informant's institution, to avoid potential or perceived conflicts, and availability of the interviewer and informant. Interviews were conducted in person or via telephone, audio-recorded and transcribed verbatim. These transcripts were checked for accuracy and uploaded into qualitative analysis software (HyperRESEARCHTM). We continued in a cyclical and iterative process of recruitment, data collection, analysis and team meetings to allow our sampling and interviews to be modified to better address our research aims and to seek threads of clarification, divergence or convergence. This process continued until the authors agreed the analysis fitted three criteria of rigour:

• (i) there was sufficient depth to ensure the theoretical claims being made were grounded in empirical material,
• (ii) the claims being made held conceptual plausibility and
• (iii) the claims had relevance to a broader academic community.24

2.5 분석전략
2.5 Analytical strategy

우리의 분석 전략은 위에서 설명한 개념적 프레임워크에 의해 안내될 수 있도록 [유도된direted 콘텐츠 분석]을 포함했다. CBME와 일관되게, 우리는 우리의 정보원이 형성적 목적을 위해 평가를 구조화하고 있다고 가정했지만, 생성된 데이터는 데이터를 생성과 해석에 어느 정도의 타당성 증거를 의무화하면서, 총괄적 의사 결정에도 사용될 것이다. 우리의 의도는 타당성과 관련된 번역 문제를 고려하는 것이었으므로, 우리는 평가 계획의 개발 및 제정에서 억제되지 않은 가정이 존재할 수 있는 곳에 민감하게 반응하기 위해 케인의 프레임워크를 사용했다.
Our analytical strategy comprised directed content analysis,22 which allowed us to be guided by our conceptual frameworks as described above. Consistent with CBME, we assumed that our informants were structuring assessments for formative purposes, but that data generated would also be used for summative decisions, obligating a degree of validity evidence in both generating and interpreting data. Given that our intention was to consider translational issues regarding validity, we used Kane's framework to sensitise ourselves to where unchecked assumptions may exist in the development and enactment of assessment plans.

정확성을 확인한 후, 연구팀 구성원들은 데이터 세트 전체에 대한 일반적인 인상을 얻기 위해 먼저 대본을 읽었다. 우리는 우리의 개념적 프레임워크가 우리의 데이터 읽기 및 코딩에 정보를 제공할 수 있도록 했다. 우리의 개념적 틀과 철학적 위치를 사용하여, 두 번째 읽기는 지시적 콘텐츠 분석과 일치하는 개방 코딩과 분석적 메모 작성을 포함했다. 개방 코딩에 이어, 우리는 데이터 세트, 다양한 상황 및 우리의 개념 프레임워크에 걸쳐 체계적으로 주제를 탐구하기 위해 축 코딩(즉, 링크 설정)에 관여했다. 연구팀의 구성원들은 중간 분석, 인터뷰 가이드의 개정, 분석과 위치의 삼각측량에 대해 논의하기 위해 정기적으로 만났다.

After confirming accuracy, research team members first read the transcripts to garner a general impression of the dataset as a whole. We allowed our conceptual frameworks to inform our reading and coding of the data. Using our conceptual framing and philosophical positions, the second reading involved open coding and analytical memo taking, consistent with directed content analysis.22 Following the open coding, we engaged in axial coding (i.e. establishing linkages) to systematically explore themes across the dataset, various situations and our conceptual framework. Members of the research team met regularly to discuss interim analyses, revisions to the interview guide and triangulation of analyses and positions.

2.6 연구자의 입장
2.6 Researcher stance

모든 녹취록은 세 명의 연구팀 구성원에 의해 검토되고 코딩되었으며, 각각은 서로 다르지만 중복되는 개념적 또는 철학적 위치에서 데이터에 접근했다. 여기에는 임상, 교육, 구현, 사회학적 및 타당성  관점에서 정보를 제공하는 관점이 포함되었다. 이러한 다양한 기본 렌즈를 통해 가능한 상황별 실제 의미와 함께 번역 활동과 관련된 다양한 기능을 고려할 수 있었다. 또한, 모든 연구자들은 CBME 맥락에서 평가와 관련된 다양한 활동과 관련하여 서로 다른 위치를 가지고 있음에도 불구하고 구성주의자 또는 해석적 입장을 채택했다.

• MS는 번역 과정에 참여하는 연구자이자 프로그램 감독이다.
• WT는 번역 과정에서 프로그램을 지원하는 역할을 하는 평가 과학자이다.
• PR은 직장에서 전문적인 학습에 관심이 있는 연구원이다.

All transcripts were reviewed and coded by three research team members, each approaching the data from different, but overlapping, conceptual or philosophical positions. These included views informed by clinical, educational, implementation, sociological and validity perspectives. These diverse underlying lenses allowed us to consider the various features associated with translational activities, along with possible contextualised practical implications. Further, all researchers adopted a constructivist or interpretive stance despite having different locations in relation to the various activities associated with assessment in a CBME context.

• MS is a researcher and programme director involved in the translational process.
• WT is an assessment scientist with a role in supporting programmes in their translational processes.
• PR is a researcher with an interest in professional learning in workplaces.

우리는 스스로를 '관심 없음dis-interested'으로 여겼는데, 이는 우리가 어떤 접근 방식을 지지하거나 반대하지 않고도 번역 프로세스와 평가 타당성에 대한 잠재적인 의미를 연구할 수 있다는 것을 의미하며, 단지 번역을 하는 사람들의 관점을 목격할 뿐이다. 우리는 타당성(또는 일반적으로 정당성 또는 평가 활동)이 평가 설계 및 계획에서 내재된 고려 사항이라는 기본 가정을 가지고 이 작업에 접근했다. 그러나, 우리는 또한 많은 사람들이 동등한 관심사로 신뢰성에 초점을 맞추기 때문에, 이것이 모든 관련자들에게 보편적으로 적용되는 원칙은 아닐 수 있다는 것을 인정한다.

We considered ourselves as ‘dis-interested’,25 meaning we could study the translational process and its potential implications for assessment validity without advocacy for or against any approach, but simply witnessing the perspective of those doing the translation. We approached this work with the underlying assumption that validity (or justification or assessment activities in general) is an inherent consideration in assessment designs and planning. However, we also recognise that this may not be a universally held principle for all involved, as many focus on reliability as an equal concern.

3 결과
3 RESULTS

캐나다 3개 대학에 걸쳐 15개의 서로 다른 PGME 프로그램의 여성 16명과 남성 8명을 대상으로 평균 50분 동안 총 24건의 인터뷰가 실시되었으며(12회, 7회, 5회 인터뷰) 이를 통해 데이터 수집 전략에 명시된 엄격성rigour과 적용 범위coverage 수준을 달성할 수 있었다. 모든 인터뷰 대상자는 지역 또는 국가에서 개발한 결과 프레임워크에서 평가 계획을 수립했다. 프로그램은 평가 프로그램을 수립할 때 [전혀 지원과 투입이 없는 것(즉, 홀로 활동하는 프로그램 감독)]에서부터, [평가 위원회와 교육 및 평가 과학자에 대한 접근성]에 이르기까지 지역적인 투입과 지원의 정도가 다양했다. 또한, 모든 인터뷰 대상자는 인증 기관의 지원을 받고 있으며, 평가 계획에 의해 생성된 평가 데이터가 진행, 승진 및 종합 의사결정에 사용될 역량 위원회를 설립했다고 보고했다. 인터뷰 대상자 중 일부는 이 연구와 관련된 두 가지 이상의 역할을 맡았는데, 예를 들어 프로그램 감독일 뿐만 아니라 역량 위원회나 평가 위원회의 직책을 맡고 있다.

A total of 24 interviews averaging 50 minutes were conducted with16 women and 8 men from 15 different PGME programmes across the three Canadian universities (12, seven and five interviews), which allowed us to achieve the levels of rigour and coverage specified in our data collection strategy. All interviewees had developed assessment plans from outcome frameworks that had been developed locally or nationally. The programmes varied in the degree of local input and support they had in establishing assessment programmes, from none at all (i.e. programme directors working independently) to access to assessment committees, and education and assessment scientists. Also, all interviewees reported having support of the accreditation body and had established competence committees for which the assessment data generated by their assessment plans would be used for progress, promotion and summative decisions. Some of the interviewees held more than one role relevant to this study, for example holding a position on competence committees or assessment committees, in addition to being a programme director.

여기에 제시된 연구 결과는 [성과 프레임워크]에서 [평가 계획 및 타당성 확인 기회]로 전환하는 과정과 결과를 다룬다. 이러한 움직임은 프로그램 관련자(예: 개인, 그룹 또는 조직)가 다음 목표를 달성하기 위해 이미 수립되었거나 중간 성과 프레임워크(여기서는 전문의의 역량을 의미함)에 대해 평가 계획을 준비하거나 제정할 때 발생한다. 이 섹션에서는 성과 프레임워크 번역 담당자와의 논의를 통해, 이 프로세스가 평가 타당성을 어렵게 하거나 불확실하게 하거나 강조하지 않는 상황에서 어떻게 생성되고 발생하는지와 관련된 결과를 제공합니다. 이제 우리는 [자원이 제한된 환경]에서 타당성이 어떻게 다른 CBME 관련 우선 순위와 경쟁하고 협상되는지에 대해 논의한다.

The findings presented here address the process and consequence of moving from outcome frameworks to assessment plans and opportunities for validity. This movement occurs as those involved in programmes (e.g. individuals, groups or organisations) prepare for or enact assessment plans against an already established or interim outcome framework that intends – in this case – to represent competence of specialist physicians. Through discussions with those responsible for the translation of outcome frameworks, this section provides findings related to how this process creates and takes place in a context that make assessment validity difficult, uncertain or de-emphasised. We now discuss how validity must compete and be negotiated with other CBME-related priorities in resource-limited environments.

3.1 좋은 평가를 위해 필요하지만 불완전한 구성으로 결과 프레임워크를 포지셔닝한다.
3.1 Positioning outcomes frameworks as necessary for good assessment but also as an incomplete construct

개인, 위원회 또는 그룹 및 조직은 결과 프레임워크와 평가 타당성 사이의 적합성fit을 확립하는 데 성공했다. 즉, 주어진 전문분야에 대한 임상역량의 구성은 [성과 및 EPA의 수집]에 의해 정의될 수 있다(이러한 정의가 타당성의 요건이다). 또한, 이러한 [artefacts 성취에 대한 증거]를 축적하는 것은 [진보, 성취 또는 준비에 대한 방어가능한 결정을 내려야 하는 '문제']를 해결한다. 성과 프레임워크가 평가 항목 또는 영역으로 적합한지에 대한 이러한 관점은 [권위 있는 그룹에 의해 간접적으로(또는 때로는 직접적으로) 통보]되었으며, 이는 [행위자가 템플릿 평가 도구를 신뢰해야만 한다는 것]을 나타내며, 종종 번역이 거의 또는 전혀 없었다. 이러한 [신뢰]를 보여주는 인용구는 다음과 같습니다.

Individuals, committees or groups, and organisations have been successful in establishing a fit between outcome frameworks and assessment validity, to the extent that their connections were not challenged by the informants in this study; that is, the construct of clinical competence for a given specialty could be defined – a requirement for validity – by the collection of outcomes and EPAs. Also, accumulating evidence of the achievement of these artefacts solves the ‘problem’ of having to make defensible decisions about progress, achievement or readiness. The use of outcomes was necessary for good assessment in CBME. This view of the suitability of outcomes frameworks as assessment items or domains was informed by authoritative groups indirectly (or sometimes directly), indicating that actors should trust in template assessment tools, often with little or no translation at all. Illustrative quotations informing this trust are:

이러한 방식으로, (번역이 거의 없거나 전혀 없는) EPA가 평가 도구 항목을 구성하도록 움직이는 평가 도구로서의 결과 컬렉션은 존중되어야 하며 신뢰된다고 간주된다. 그러나 행위자(예: 프로그램 감독 및 평가 위원회)는 이러한 평가 계획에 대한 직접적인 권한 없이 수행enrolling하고 있었다. 이처럼 [재량권이 없는 것]도 수용되었고, 때로는 그룹(예: 사용자, 인가자 및 시행자) 간의 어려운 협상도 이루어졌다. 결과적으로, 이 협상은 확립된 도구를 집행한다는 것이 타당성에 무엇을 의미할 수 있는지에 대한 일부 대체된 책무성과 불확실성과 관련되었다. 평가 구축 방법과 과거 평가(즉, CBME 구현 이전의 평가)를 유지하는 옵션에서 유연성이 있음에도 불구하고, 타당성 문제는 권고안을 만드는 사람들에게 맡겨졌다entrusted.
In this way, collections of outcomes as assessment tools, that is moving EPAs to make up items on assessment tools with very little or no translation at all, are held to be inviolate and relied upon. However, actors (e.g. programme directors and assessment committees) were enrolling in these assessment plans without direct authority over them. This lack of discretion was both accepted and, at times, a difficult negotiation between groups (e.g. users, accreditors and implementers). As a result, this negotiation was associated with some displaced accountability and uncertainty regarding what the enactment of established tools might mean for validity. Issues of validity were often entrusted to those making the recommendations, despite flexibility in how assessments can be built and the option of maintaining historical assessments (i.e. those prior to implementation of CBME).

또한, 비록 타당성이 종종 [의도된 구인intended construct]으로 시작되지만, [성과 프레임워크]는 이 역할에 대해 불완전한 것으로 식별되었다. 정보제공자는 변환된 결과 체계를 보완할 필요성을 설명하면서, 예를 들어, [구인을 정의하는 방법]에 대한 일부 불확실성을 제안하였다.

Further, although validity often begins with an intended construct, outcome frameworks were identified as incomplete for this role. Informants described the need to supplement translated outcome frameworks, suggesting some uncertainty in how constructs are to be defined, for example:

연구참여자들은 [번역된 성과 프레임워크]나 [결과 프레임워크 자체]가 [평가 프레임워크로의 번역에 한계가 있음]을 나타내는 것처럼 보였다. 따라서 많은 정보 제공자들은 EPA를 기존 교육 내 평가 시스템에 통합하는 것을 선호하면서 이전의 평가 도구(예: 360 평가, 서면 시험 및 OSCE)를 포기하는 것을 꺼린다고 보고했다.

Informants seemed to be indicating that translated outcome frameworks had limitations either in the outcome framework itself or in its translation to assessment frameworks. As such, many informants reported being reluctant to abandon their previous assessment tools (e.g. 360 assessments, written examinations and OSCEs), preferring to integrate EPAs into a pre-existing system of in-training assessments.

3.2 평가 계획에 대한 경쟁적 영향요인과의 협상
3.2 Negotiating through competing influences on assessment plans

평가 계획은 CBME의 많은 기능 중 하나이며, 따라서 결과 프레임워크에서 평가 계획으로 이동하는 데에는 타당성 외에 다수의 영향력자(예: 행위자 및 상황 요인)가 포함되며, 구현(예: 변경 관리 포함), 인가 및 기술로 광범위하게 분류된다. 이것은 경쟁적인 요구나 긴장을 가진 활동의 흐름으로 이어졌다. 즉, 이러한 영향력 요인들은 의도적이든 의도적이든 자신의 입장을 강화하거나 타인의 입장을 약화시키고, 타당성은 번역 과정에서 핵심 인플루언서가 아니라 많은 요소 중 하나로 표현된다.
Assessment plans are one of many features in CBME and so moving from outcome framework to assessment plans involved a number of influencers (e.g. actors and situational factors), other than validity, broadly grouped as implementation (i.e. including change management), accreditation and technology. This led to streams of activities with competing demands or tensions; that is, these influencers intentionally and unintentionally strengthen their own or weaken others’ positions and validity is represented not as the core influencer in the translation process, but as one among many.

[구현]은 의도된 원칙의 달성을 용이하게 하는 방식으로 CBME를 제정해야 하는 필요성을 말하며(예: 교육생이 EPA를 달성할 수 있는 기회를 제공하고 학습자 진행 또는 어려움에 처한 사람들을 식별한다), 이것이 제정되거나 우선순위가 매겨지는 방법은 관련자의 선택이다. [달성해야 할 활동으로서 CBME를 이행해야 하는 의무]는 때때로 타당성을 배제하지는 않더라도, 타당성보다 더 높은 우선순위를 갖는다. 구현에는 다음과 같이 교육자의 전환과 참여에 대한 인식이 포함되었으며, 이러한 전환과 참여shift and buy-in 역시 어떻게 우선순위가 매겨져야 하는지가 포함되었습니다.

Implementation refers to the need to enact CBME in a way that facilitates achievement of intended principles (e.g. provide trainees with opportunities to achieve EPAs, and identify learner progress or those in difficulty), and how this is enacted or prioritised is a choice for those involved. This obligation to implement CBME as an activity to be accomplished is enacted sometimes not to the exclusion of validity, but as a higher priority. At times implementation involved a recognition of the shift and buy-in of educators that would be required and how this too must be prioritised, as illustrated below:

이러한 [실제적 문제]는 평가 계획을 집행하는 데 큰 영향을 미치는 것으로 보입니다. 구현 결정은 때때로 또는 일정 기간 동안만 유효성과 긴장된 상태로 존재할 수 있습니다.
These real-world issues appear to be strong influences on those enacting assessment plans. Implementation decisions can exist in tension with – even if only at times or for a period of time –validity.

[Accreditation]이란, 의사결정에 영향을 미치며, 인증 요건을 준수할 책임을 말하며, 당시에는 많은 사람들이 여전히 유동적이고 불확실하며 항상 또는 반드시 유효하지는 않은 것으로 인식되었다. 인가에 대한 이러한 초점은 다음과 같이 평가 계획에 대해 인증기관이 제공한 지침의 균형잡기, 의존 또는 준수를 의미한다.

Accreditation, as an influence on decision making, refers to the responsibility to comply with accreditation requirements, which at the time for many were perceived to still be fluid, uncertain and not always or necessarily a validity issue. This focus on accreditation meant balancing, relying on or complying with the guidance provided by the accreditor for assessment plans, as illustrated here:

다음 인용문에 기술된 바와 같이, 인증을 지원하기 위해 행동하는 많은 이들이 행위자가 평가 계획을 진행하는 방법에 영향을 미쳤다.
Many of those acting to support accreditation served to influence how actors proceeded with assessment plans, as depicted in the following quotation:

[규제 요구]에 대해 외부에서 제시되는 선언문을 준수해야 하는 강력하고 중요한 제도적 의무가 있지만, 이로 인해 일부 [재량권이 제한]되거나, [타당성 함의에 주의를 기울일 필요]가 있다는 우려가 수반된다.
There is a strong and important institutional imperative to comply with externally derived statements for regulatory needs, yet an accompanying concern that this may restrict some discretion or need to attend to validity implications.

[테크놀로지]는, 구현 및 인증과 밀접하게 연결되어있고, 평가 프로세스를 온라인으로 전환하려는 광범위한 의도를 의미합니다. 이 경우, 평가 도구와 보고는 테크놀로지적 능력에 의해 제한되었고, 이는 종종 타당성에 관한 고려사항보다 평가가 어떻게 제정되는지에 대한 더 강력한 결정 요인이 되었다.
Technology, closely linked to both implementation and accreditation, refers to the widespread intention to have assessment processes moved on-line. In this instance, assessment tools and reporting were limited to technological capabilities and this often was a more powerful determinant of how assessments were enacted than considerations regarding validity, as illustrated below:

이 경우, 물리적 제약 조건(특정 테크놀로지)이 평가 계획을 집행하는 자의 대응 및 재량에 대한 옵션 범위와 잠재성을 제한합니다. 따라서 이러한 제약조건은 [제도적 상황] 내에서 [어떤 평가접근법과 관행을 운영할 수 있는지]에 강한 영향을 미친다. 이것은 타당성을 구성할 수 있는 것으로 확장된다.

In this case, a physical constraint – a particular technology – limits the range of options and potential for responses and discretion by those enacting assessment plans. Such constraints, therefore, have a strong influence on what assessment approaches and practices can be enacted within the constraints of an institutional setting. This extends to what can constitute validity.

3.3 위험, 불확실 또는 가정된 위치 결정 유효성
3.3 Positioning validity as threatened, uncertain or assumed

우리는 평가 계획의 번역 및 제정에서 확인되지 않은 가정이 있을 수 있는 곳과 격차가 있을 수 있는 곳을 구성하기 위해 케인의 타당성 프레임워크를 사용하여 의사 결정 프로세스를 조사했다. 타당성 위협은 번역 프로세스(예: 표준화된 도구 개발 및 사용, 다목적 결과)와 평가 계획 제정(예: 이벤트에 대한 액세스, 평가 및 학습자 행동, 작업장 비용) 모두에서 나타난다.
We examined decision-making processes using Kane’s validity framework to organise where unchecked assumptions may be in the translation into and enactment of assessment plans, as well as where gaps may be. Validity threats emerge in both

• the translation process (e.g. developing and using standardised tools, and multi-purposing outcomes) and
• the enactment of assessment plans (e.g. access to events, rater and learner behaviours, and workplace affordances).

타당성 프레임워크는 (위에서 설명한) 구성 표현 문제 외에도 타당성 주장 생성을 지원하는 기회로서 기능하는 [확인되지 않은 가정]을 탐색할 수 있는 기회를 제공한다. 구현의 결과로 본질적으로 존재하는 데이터로 많은 가정을 해결할 수 있다. 그러나, 아래에 예시된 바와 같이, 많은 정보제공자들은 타당성 증거를 검토할 [준비]가 되어 있지 않거나, [능력]을 갖추고 있지 않으며, [기회]를 이용할 수 없거나, 타당성 증거의 생성에 대한 [관심]이 아직 우선시되지 않았다고 보고하였다.

In addition to issues of construct representation (described above), validity frameworks provide an opportunity to explore unchecked assumptions that serve as opportunities to support the generation of validity claims. Many assumptions can be addressed with data that inherently exist as a result of the implementation. However, as illustrated below, many informants reported being unprepared or ill-equipped to examine validity evidence, and that opportunities have not been available or attention to generating evidence of validity has not yet been prioritised:

[평가 계획을 평가하려는 이러한 도전]은 구현 노력에 대한 평가를 계획하거나 구현한 조직이 거의 없기 때문에 복잡해 보였다. 많은 이들이 이를 평가 시스템의 필수적인 부분이 아닌 시행 후 제도적 과정으로 대학원 학과에 미루었다.
This challenge of attempting to evaluate assessment plans seemed to be complicated by how few organisations had either planned or implemented an evaluation of their implementation efforts. Many deferred this to postgraduate departments, as an institutional process after implementation, rather than an integral part of the assessment system.

타당성의 display는 '여러 기관들'에 걸쳐 분포되어 있으며, 타당성에 대한 argument는 제대로 개발되지 않았다. 타당성에 대한 책무는 다른 우선순위에 따르는 동안 대체되거나 축소되거나 제쳐진다. 책무는 종종 둘 이상에게 위임된다. 많은 대리인들이 어느 정도의 방어 가능성이나 타당성을 추론하는 데 사용되며, 종종 모범 사례에 근거한다.

Displays of validity are distributed across ‘institutions’, leaving validity arguments poorly developed if at all. Accountabilities for validity are either displaced, reduced or put aside while other priorities are attended to. Accountabilities are often delegated in more than one direction. A number of surrogates are reported to be used to infer some degree of defensibility or validity, often rooted in best practices:

요약하자면, 결과를 번역할 때 [타당성에 대한 우려]는 일차적인 요구 사항이 아니었다. 기껏해야, 대리지표surrogates에 근거하거나, 평가의 체계적 부재로 입증되는 추가 가정 시험이나 타당성 검사 없이 transfer될 수 있다고 가정했다. 말하자면, 많은 사람들에게, 시행 단계였기 때문에 아직 광범위한 타당성 평가는 가능하지 않았다. 그러나 이러한 맥락에서 타당성이 강조되지 않거나 대체되었다. 구성표현은 EPA 또는 EPA의 역량을 넘어서는 것을 의미했고, 위협은 번역 후 계획에 나타났으며, 이들 중 상당수는 역량 위원회나 프로그래밍 평가의 사용을 통해 완화되는 것으로 가정되었다. 이러한 문제의 많은 결과로, 역량 위원회에 대해 생성된 데이터와 관련된 타당성 증거가 (그저 있다고) 가정되거나, 확인되지 않으며, 불확실한 책무성을 가질 수 있다.

표 1은 주요 요점과 이론적 및 실제적 시사점을 포함한 결과 요약을 제공합니다.

In summary, concerns about validity were not the primary imperative when translating outcomes. At best, it remained assumed, based on surrogates or that it could be transferred without further testing of assumptions or validation as evidenced by the systematic absence of evaluations. To be fair, for many, extensive evaluation of validity was not yet a possibility due to the stage of implementation. However, validity was de-emphasised or displaced in these contexts as well. Construct representation meant reaching beyond EPAs or their competencies, and threats appeared in plans following translations, many of which were assumed to be mitigated through competence committees or use of programmatic assessments. As a result of many of these issues, validity evidence associated with the data generated for competence committees may be assumed, unchecked and have uncertain accountabilities.

Table 1 gives a summary of findings, with key points and theoretical and practical implications.

4 토론
4 DISCUSSION

역량 기반 의학교육은 교육과정 전략을 지원하는 일련의 교육목표와 비지도 실습에 대한 훈련생 준비에 관한 의사결정을 지원하기 위한 평가계획을 알리는 역할을 한다.26 이러한 맥락에서 평가계획의 구조화에는 종종 경쟁적 사실에 대한 결과 프레임워크의 번역이 포함된다.자신도 모르게 타당성을 주장하는 사람들을 위협할 수 있는 비틀림 교육생에 대한 의사결정이 궁극적으로 이루어지는 데이터는 암묵적으로 또는 방치될 경우 교육생, 기관, 환자 및 일반인에게 중요한 다운스트림 영향을 미칠 수 있다. 본 연구에서는 캐나다 3개 대학의 CBME 리더들을 인터뷰하여 결과 프레임워크에서 형성 및 종합 평가 계획까지의 번역 과정을 탐구하였다. 우리의 결과는 

• (i) 평가 프레임워크으로 성과를 사용하는 것은, 좋은 평가를 위해 필요하지만, 불완전한 구성이기도 하다. 
  
• (ii) 구현, 인증, 테크놀로지 등을 포함하여, 평가 계획의 핵심 인플루언서로서 타당성을 대체하는 경쟁적 요소를 가진 여러 사회적 및 실제 협상이 있다. 
  
• (iii) 검증되지 않은 다수의 가정과 대리인에 대한 의존으로 인해, 타당성이 위협적이고 불확실하며 가정된 것으로 존재한다(이러한 결과의 예시는 그림 2 참조).

Competency-based medical education serves to inform a set of educational aims supporting curriculum strategies and also assessment plans intended to support decisions regarding trainee readiness for unsupervised practice.26 The structuring of assessment plans in this context often includes the translation of outcome frameworks against competing factors that may unknowingly threaten validity claims. Left implicit or unattended to, the data on which decisions are ultimately made about trainees may be undermined, with significant downstream implications for trainees, institutions, patients and the public. In this study, we explored the translation process from outcome framework to formative and summative assessment plans by interviewing CBME leaders within three universities in Canada. Our results suggest

• (i) using outcomes for assessment frameworks is necessary for good assessment but it is also an incomplete construct;
• (ii) there are a number of social and practical negotiations with competing factors that displace validity as a core influencer in assessment planning, including implementation, accreditation and technology;
• (iii) validity exists as threatened, uncertain and assumed due to a number of unchecked assumptions and reliance on surrogates (see Figure 2 for an illustration of these findings).

CBME 맥락에서 [평가 계획]은 [번역 프로세스]를 통과하는 [성과 프레임워크]에서 시작되며, 이 조사는 이 조사에 포함된 세 대학에 걸쳐 전략과 정도가 다르다. 다른 이들은 결과 프레임워크가 어떻게 평가 프레임워크로 깔끔하게 번역되지 않을 수 있는지를 설명했다. 일부 설명은 도구 또는 준비되지 않은 교수진의 품질에 초점을 맞추었거나, 결과 프레임워크가 사회적으로 구성되었거나 역량에 대한 보다 기초적인 개념화와 잘 정렬되지 않았기 때문에 결과 프레임워크로 시작하는 것이 개념적으로 결함이 있다는 것이다. 성과 프레임워크에서 평가 계획으로 이동할 때, Callon의 번역 이론은 많은 추가적인 메커니즘이 관련될 수 있음을 시사한다. 이 연구의 결과는 번역 과정이 (Callon이 시사하는 바와 같이) 사회적, 실제적 또는 물질적, 이론적, 정치적 맥락에서 전개되고, 새로운 과정이 최종적인 평가 계획을 형성한다는 것을 시사한다. 

Assessment planning in a CBME context begins with outcome frameworks that pass through a translational process, which varies in strategies and degree across the three universities included in this investigation. Others have described how outcome frameworks may not translate neatly into assessment frameworks.3, 27, 28 Some explanations have focused on the quality of the tools or unprepared faculty members29, or that it is conceptually flawed to start with outcome frameworks because they are socially constructed or poorly aligned with more grounded conceptualisations of competence.3, 27 When moving from an outcome framework to assessment plans, Callon's theory of translations suggests a number of additional mechanisms may be relevant.17 The findings of this study suggest that the translational process unfolds (as Callon would suggest) in social, practical or material, theoretical and political contexts and the emergent process shapes eventual assessment plans.

[사회적 조건]의 역할은 이전에 CBME를 포함한 교육적 맥락에서 강조되었다. 예를 들어, 연구자들은 교육적 성과를 명시하고, 그러한 성과를 달성하기 위한 의도적인 계획을 갖는 것의 중요성을 인정하지만, 맥락과 참여 행위자들이 어떻게 매우 다른 것을 만들어낼 수 있는지를 보여주었다. 즉, [기초적인 교육 원칙]은, 교과목표와 경쟁하는 맥락적(즉, 사회적 및 실제적) 특징의 결과로 인해서 이전, 변형 또는 폐기될 수 있다. 결과적으로, 무어는 커리큘럼을 경험적이고, 새로우며, 진화하고, 경쟁적인 우선 순위를 가진 현실 세계의 일부로서, [정적이며 성문화되고 무균적으로 계획된 과정이 아니라고] 설명했다. 이 연구의 결과는 유사한 방식으로 번역 활동과 평가 계획도 보장되거나 확실한 것보다 유효성을 더 의도적으로 남기는 많은 영향(즉, 행위자와 기관의 견해와 우선순위)에 영향을 받기 쉽다는 것을 시사한다.

The role of social conditions has been highlighted before in educational contexts, including CBME.18 For instance, researchers acknowledge the importance of specifying educational outcomes and having intentional plans to achieve those outcomes, but demonstrate how contexts and participating actors can create something very different;19 that is, underlying educational principles may be transferred, transformed or abandoned as a result of contextual (i.e. social and practical) features that are in competition with curricular goals.30, 31 As a result, Moore described the curriculum as experienced, emergent and evolving, as part of the real world with competing priorities and not as a static codified and sterile planned process.32 The results of this study suggest that in an analogous way, translational activities and assessment plans are also susceptible to a number of influences (i.e. views and priorities of actors and institutions) that leave validity more intended than guaranteed or certain.

또한 본 연구에서 우리는 타당성에 대한 위협에 대해 학습한 동시에, 이러한 위협을 완화하려는 (테스트되지 않은) 시도를 식별하였다. 예를 들어, 성과 프레임워크는 현재 형태로는 [불완전하거나 불충분한 구성]으로 식별되었다. 이것은 성과 프레임워크가 어떻게 평가 프레임워크로 깔끔하게 번역되지 않을 수 있는지에 대한 Lurie의 이전 주장을 뒷받침할 수 있다. 추가적인 과정이 필요했고 역량에 대한 방어가능한 주장을 뒷받침하는 것도 포함되었다. 교수진 및 학습자 행동과 같은 [점수 매기기 위협], 또는 충분한 품질 또는 양으로 임상 이벤트에 접근하는 어려움과 같은 [일반화 위협]은 이를 완화하려는 시도(예: 교수 개발 및 시뮬레이션을 보완하여 사용)가 존재했다. 하지만 타당성에 미치는 영향은 여전히 존재있다.

Further, in our study, we learned of threats to validity while also identifying (untested) attempts to mitigate these threats. For example, outcome frameworks were identified as incomplete or as an insufficient construct in their current form. This may support Lurie's earlier arguments regarding how outcome frameworks may not translate neatly into assessment frameworks.3, 27, 28 Additional processes were necessary and included supporting defensible claims regarding competence. Scoring threats, such as faculty member and learner behaviours, or generalisation threats, such as difficulty accessing clinical events in sufficient quality or quantity, are being met with attempts to mitigate them (e.g. faculty development and use of simulation as a supplement) but remain largely assumed in regards to impact on validity.

예를 들어, 교육 기관의 평가 관행이 신뢰성을 시험하고 지원하는 방식으로 이러한 상황을 통제할 수 없기 때문에 임상 실습에서 이루어지는 판단과 결정에서 발생하는 [평가 관행에 대한 신뢰성과 관련된 다양한 문제]가 있다. '외삽 근거' 또는 '함의 근거' 를 포함한 다른 추론은 아직 실행의 초점도 아니었고, 명시적으로 계획되지도 않았다. 가정 검토와 구조 유효성 주장을 포함하는 계획은 다른 경쟁 우선 순위 대신 강조되지 않거나 고려되지 않으며, 타당성이 가정되거나 대리인에게 귀속되기 때문이다. (예: 완료된 평가 수 및 문제 있는 학습자 식별)

For instance, there are a range of issues associated with the reliability of assessment practices that arise from judgements and decisions being made in clinical practice as these circumstances cannot be controlled in the way that assessment practices in educational institutions can be to try and support reliability. Other inferences including ‘extrapolation’ or ‘implications’ evidence had not yet been an actioned focus nor explicitly planned. Plans to include examination of assumptions and to structure validity arguments are de-emphasised or not considered in place of other competing priorities,21 or because validity is assumed or attributed to surrogates (e.g. number of assessments completed and identification of learners in trouble).

의료 교육의 평가 과학자와 교육자는 평가 계획에서 핵심 인플루언서로서 타당성을 위치시키지 않는 이러한 종류의 영향과 굳이 논쟁할 필요가 없었을 것이다. 공통 가이드라인에서는 실행 가능성, 비용 또는 수용 가능성을 넘어 [계획 또는 평가 과정에서 (평가 타당성을 경쟁하는) 다른 사회적 영향을 고려하는 방법]을 강조하지 않을 수도 있다. 그러나 타당성이나 타당화는 (경험적이고 논리적 과정만큼이나) 사회적 과정이며, 맥락, 행위자, 제도에 의해 형성될 수 있다. 예를 들어, 이 연구에서 우리는 다른 이해관계자의 이익(예: 구현, 인가 및 기술)과 일치하기를 원하거나 필요로 하며, 책임의 대체 및 기타 중요한 영향이 평가 설계를 형성하고 있다는 것을 발견했다. 

Assessment scientists and educators in medical education have perhaps not had to contend with these kinds of influences that do not position validity as the core influencer in assessment planning. Common guidelines may de-emphasise how to consider other social influences that compete with assessment validity in the planning or evaluation process, beyond feasibility, cost or acceptability.6, 33, 34 But validity or validation may be as much a social process (we mean this to be distinct from a social accountability35) as an empirical and logical one, that is shaped by context, actors and institutions. In this study we found, for example, wanting or needing to align with the interests of other stakeholders (e.g. implementation, accreditation and technology), displacing of accountabilities and other material influences were shaping assessment designs.

이것은 항상 또는 반드시 타당성에 대한 최고의 기회를 제공하는것은 아니었다. [평가 계획]은 단순히 [평가 과학]이 아니고, [사회적 상호작용과 협상에 관한 것]이 된다. 그렇다면 CBME와 같은 복잡한 개입에 서 있는 이해당사자들 사이에서 [평가가 단지 여럿 우선 순위 중 하나에 불과할 때], 이제 평가 설계를 어떻게 해야 하는지 물어야 한다. 새로운 actor가 번역 과정에 등록될 때마다, 그들은 잠재적으로 번역 과정을 방해할 수 있고, 우리가 경쟁하는 모든 의무들이 어떻게 해결되어야 하는지 알아내도록 강요한다. 따라서 [평가 지침]은 이러한 문제에 대해 더 자세히 설명하기 위해 재구성될 필요가 있다. 이는 타협compromise하기 위해서가 아니라, 이러한 문제가 발생할 때 충분한 타당성 주장이 만들어질 수 있도록 보장하기 위해서이다. 이러한 과제를 고려할 때, 또한 문제가 있는 타협을 피하기 위해, 특히 타협이 필요한 경우, 유효성 및 검증에 충분한 공간을 제공해야 할 수 있다. 그때까지 타당성은 ['베스트 프랙티스'의 적용과 대리자surrogate의 사용]을 가지고 존재한다고 가정assumed되거나, 책무성을 대체함으로써 가정될 수 있다(즉, 타당성은 '그들'의 책임이다).

This was not always, or necessarily, in ways that would provide the best opportunities for validity. Assessment planning becomes additionally about social interactions and negotiations than just pure assessment science. An implication then is to ask what should we now make of assessment designs when assessment is but one priority among many across stakeholders with standing in a complex intervention like CBME? Every time a new actor is enrolled into the translation process, they can potentially disrupt it, obligating us to figure out how any competing imperatives are to be addressed. Assessment guidelines, therefore, may need to be reframed to account further for these issues, not to compromise on but to ensure sufficient validity arguments can be made when these issues arise. In light of these challenges but also to avoid problematic compromises, validity and validation may need to be given sufficient space, especially when compromises are necessary. Until then validity may remain assumed using the application of ‘best practices’ and the use of surrogates, or by displacing accountabilities (i.e. validity is a ‘they’ responsibility).

4.1 제한사항
4.1 Limitations

이 연구는 한계라는 맥락에서 고려되어야 한다. 첫째, 우리의 샘플은 세 개의 캐나다 대학을 나타내며 우리는 이러한 맥락의 위치적 성격을 인식한다. 다른 정성 연구와 마찬가지로, 본 연구의 목적은 개념적 전이성을 갖는 것이며 경험적 일반성을 제시하지 않는다. 둘째, 캐나다에서 비교적 초기 CBME의 상태를 고려할 때, 시스템은 항소나 실패를 통한 유효성 주장의 시험이나 시간의 이점을 갖지 못했을 수 있으며, 따라서 여전히 성숙할 수 있다. 우리는 이 연구가 특정한 순간을 포착한다는 것을 인정한다. 이 연구를 이렇게 일찍 수행한 우리의 의도는 이러한 유효성 고려사항을 조기에 자극하는 것이었다.

This study should be considered in the context of its limitations. First, our sample represents three Canadian universities and we recognise the situated nature of this context. As with other qualitative studies, our intention with this study is to have conceptual transferability and we do not suggest empirical generalisability. Second, given the relatively early status of CBME in Canada, the system may not have had the advantage of time or testing of validity arguments through appeals or failures, and may therefore still mature. We recognise that this study captures a particular moment in time. Our intention in conducting this study, this early, was to stimulate these validity considerations at an early stage.

5 결론 및 향후 방향
5 CONCLUSIONS AND FUTURE DIRECTIONS

CBME는 [성과 프레임워크]에서 시작하여 교육, 학습 및 평가로 광범위하게 그룹화된 많은 활동으로 변환되는 복잡한 개입이다. 이러한 [번역 프로세스]는 평가 관점에서 평가 과학자, 기관 및 교육자에게 새로운 과제를 제공하는 [복잡한 사회 및 실제 환경]에서 발생합니다. 이러한 환경으로 인해, 평가 설계의 핵심 인플루언서로서 타당성은 도전에 직면했다. 이해관계자들의 다른 관심사(도입, 인증, 테크놀로지)와 맥락적 요인(타당화 기회에 대한 평가절하 및 접근성 낮음)이 작동하고, 그 결과 타당성 검사가 프로세스에서 항상 우선시되지 않거나, 심지어 실현 가능하지도 않게 된다. 타당성과 타당화는 공간을 두고 경쟁하기 위해 고군분투하거나, 최소한 이 시점에서 강조되지 않거나, 대체되거나, 그냥 가정될 수 있다.

Competency-based medical education is a complex intervention that begins with an outcome framework, which is then translated into many activities broadly grouped as teaching, learning and assessment. This translational process takes place in a complex social and practical environment that, from an assessment perspective, provides new challenges for assessment scientists, institutions and educators. This environment is challenging validity as a core influencer in assessment designs. Other stakeholder interests (e.g. implementation, accreditation and technology) and contextual features such as the (de)valuing of and access to validation opportunities, are at play, which assigns validity a unique and certainly not always prioritised or even feasible assignment in the process. Validity and validation struggle to compete for space or may be de-emphasised, displaced or just assumed, at least at this point.

결과적으로, 확인되지 않은 위협과 의도된 완화 전략(예: 일부 교수진 개발 또는 대량의 데이터 추구)이 검증을 받기 보다는, 타당성에 영향을 미칠 것이라고 그저 가정되며, 그 결과 타당도는 생성하기 어려운 것, 암묵적인 것, 위기에 놓은 것이 되었다.

• CBME의 평가 기능을 구현할 때 학습자 또는 후보, 공공, 환자 및 기관에 상당한 다운스트림 영향을 미치면서 평가가 관련되고 준비 상태 또는 역량에 대한 의사결정에 기여하는 경우, 타당성 및 타당화가 우선시되거나 더 많은 지위를 부여해야 할 수 있다.
• 둘째, 미래 연구는 프로세스와 그 잠재적 영향에 대한 보다 포괄적인 이해를 제공하기 위해 여러 관점(즉, 교육생의 관점 및 역량 위원회 구성원의 관점)에서 검색해야 한다.
• 마지막으로, CBME의 컨텍스트는 연구자들이 컨텍스트의 복잡성을 설명하는 방법을 제안하게 하고 있다.

As a result, there are some unchecked threats and intended mitigation strategies (e.g. some faculty development, or seeking large amounts of data) are more assumed in terms of their impact on validity than tested, leaving validity arguments difficult to create, implicit and risky.

• Moving forward, first where assessment is involved and contributes to decisions about readiness or competence, with significant downstream effects for the learner or candidate, public, patients and institutions, validity and validation may need to be prioritised or given more standing when implementing assessment features of CBME.
• Second, future research from multiple perspectives (i.e. perspectives of trainees and perspectives of members of competence committees) is necessary to provide an even more comprehensive understanding of these processes and their potential effects.
• Finally, the context of CBME is causing researchers to propose ways of accounting for the complexity of context.30, 36 

따라서, 이렇듯 [번역은 언제나 협상을 수반]하므로, 평가 연구자는 [의료 및 보건 분야의 평가가 구현되고 제정되어야 하는 맥락적 현실]에서 [어떻게 타당성 프레임워크를 설명할 것인가]를 탐색하고 보고해야 할 필요가 있다. CBME 계획 및 구현의 맥락에서 이러한 번역 프로세스를 설명할 때, 이러한 문제를 무시하거나 경쟁하기 보다는, [의도적으로 통합하는 방향]으로의 전환하는 것이 전략을 최적화하는 방법일 수 있고, 타당성을 위협할 수 있는 긴장과 도전을 완화하는 방법이 될 수 있다. 이것은 또한 평가나 타당성 과학의 영역 내에서 아직 완전히 인식되지 않은 다른 형태의 사회과학으로부터 새로운 협력, 협업의 새로운 형태, 그리고 새로운 통찰력을 요구할 수 있다. 그 전까지는, 번역 프로세스는 암묵적인 상태로 남을 것이고, CBME에서 평가 프로그램의 타당성은 위험한 상태로 남을 것이다.

Therefore, in a similar way, because translations involve negotiations, assessment researchers may need to explore and report on how validity frameworks are to account for the contextual realities in which assessment in medical and health professions is to be implemented and enacted. In explicating these translational processes in the context of CBME planning and implementation, shifts toward intentionally integrating these issues, rather than ignoring or competing against them, may be a way of optimising strategies and a way of mitigating tensions and challenges that may threaten validity. This may also require new partnerships, new forms of collaboration and new insights from other forms of social science that have not yet been fully appreciated within the domain of assessment or validity science. Until then, translational processes may remain implicit and validity of assessment programmes in CBME risky.

© 2020 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

프로그램 이론에 따른 CBME 개입의 과정과 성과 평가 (J Eval Clin Pract. 2020)
Process and outcome evaluation of a CBME intervention guided by program theory
Deena M. Hamza PhD1 | Shelley Ross PhD2 | Ivy Oandasan MD, MHSc, CCFP, FCFP3,4

1 소개
1 INTRODUCTION

의료 시스템은 많은 요인의 산물이며, 최근 몇 년 동안 의료 교육은 중점 분야였다. 일부 증거는 현재의 훈련 방법이 복잡하고 다양하며 끊임없이 발전하는 지역사회의 요구를 충족시키는 치료를 제공할 수 있는 의사의 개발을 지원하기 위해 개선이 필요하다는 것을 시사한다. [1978년에 처음 도입된 역량 기반 의료 교육(CBME)]은 지난 10년 동안 의료 서비스 제공자의 교육 방식을 변형함으로써 의료 시스템의 현재 문제 중 일부를 해결할 수 있는 교육 접근법으로 다시 추진력을 되찾았다. CBME에 대한 많은 정의와 해석이 문헌에서 확인되었지만, CBME에 대한 우리의 논의는 다음과 같이 정의된다.

Health care systems are a product of many factors, and in recent years, medical education has been an area of focus.1-4 Some evidence suggests current training methods need improvement to support the development of physicians who are able to provide care that meets the needs of complex, diverse, and ever-evolving communities.1-4 Competency-based medical education (CBME), originally introduced in 1978, has regained momentum over the past decade as an educational approach that can address some of the current issues in health care systems by transforming the way that health care providers are trained.5, 6 While many definitions and interpretations of CBME have been identified in the literature, our discussion of CBME is defined as:

전 세계의 여러 보건 전문 교육 규제 기관이 CBME로의 전환을 의무화했지만, CBME가 모든 이해관계자에게 받아들여지는 것은 아니다. CBME의 가정은 증거를 뒷받침하는 확립된 교육 이론에 기초하지만, 보건 전문가 훈련 문헌에서 이러한 교육 전환의 잠재적 영향에 대한 비판적인 논쟁이 있었다. 핵심 논의 중 하나는 성과에 집중한다: CBME가 개선된 결과를 가져올지 여부를 어떻게 알 수 있으며, 더 나은 결과에 대한 확신이 없을 때 CBME로의 전환과 관련된 인적 및 재정적 비용을 정당화할 수 있는가?
Although multiple health professions education regulatory bodies around the world have mandated a shift to CBME,6, 8 CBME is not accepted across all stakeholders.8-11 While the assumptions of CBME are based on established educational theory with supporting evidence,5, 12-15 there have been critical debates in the health professions training literature regarding the potential impact of this education transformation. One of the key debates centres on outcomes: how can we know whether CBME will result in improved outcomes, and can we justify the human and financial costs associated with a transition to CBME when there is no certainty of a better outcome?16-18

1.1 CBME와 같은 복잡한 교육 개입을 어떻게 평가할 수 있는가?
1.1 How can we evaluate a complex education intervention, such as CBME?

[구현implementation]은 [집단 행동의 새로운 패턴을 의도적으로 도입하거나, 기존의 패턴을 수정하는 것]으로 정의된다. 이러한 [집단행동의 패턴]은 제도적으로 승인되고, 공식적으로 정의되며, 의식적으로 계획되고, 변화된 결과로 이어지도록 의도된다. 새로운 교육 모델의 구현은 복잡하다. 왜냐하면 사람들이 [집단 행동을 촉진하고 원하는 결과를 이끌어내기] 위해, [자신과 타인을 어떻게 생각하고, 행동하고, 구성하는지]가 수정되어야 하기 때문이다. 여러 저자들은 CBME 채택에 영향을 미치는 장애물을 만드는 여러 수준의 승인과 함께 관련되어야 하는 다수의 이해관계자와 설정을 고려할 때 CBME 구현에 관련된 복잡성을 강조해왔다. 비평가들은 너무 자주 [변화 구현에 관련된 복잡성]이 단지 [CBME를 엄격하게 평가할 수 없는 이유]를 설명하는 [핑계]로 사용된다고 주장했다. 우리는 CBME의 프로세스와 결과 모두에 대한 신중한 평가가 필요하고 엄격하게 수행될 수 있으며, 지속적인 CBME 구현과 개선을 지원하는 유용한 정보를 산출할 수 있다고 제안한다.

Implementation is defined as the deliberate introduction of new, or modifying existing, patterns of collective action.19 These patterns of collective action are institutionally sanctioned, formally defined, consciously planned, and intended to lead to a changed outcome.19 Implementation of new education models is complex as it involves modifying how people think, act, and organize themselves and others to promote collective action, leading to desired outcomes.19 Several authors have highlighted the complexity involved in implementing CBME, given the multiple stakeholders and settings that must be involved, along with multiple levels of approvals creating obstacles affecting adoption of CBME.20-23 Critics have argued that all too often, the complexity involved in implementing change is used as an excuse to justify why CBME cannot be rigorously evaluated.6, 11, 24-26 We propose that deliberate evaluation of both the process and outcome of CBME is needed and can be done rigorously, yielding useful information in support of ongoing CBME implementation and improvement.

CBME가 '향상된' 졸업생을 낳는지에 대한 문헌 내 비판은 성과 평가를 통해 답할 수 있다. 성과 평가는 [프로그램의 진행 상황]과 [원하는 결과 달성 상태]를 살펴보고, 의도하지 않은 결과, 투자 수익률, 지식, 태도, 행동의 변화 등의 질문에 답한다. CBME에 대한 문학적인 대화는 주로 졸업생들의 개별 역량 형태의 성과에 초점을 맞추었지만, CBME의 구현을 제정하는 데 있어 [모범 사례best practice를 이해하는 것]은 결과를 측정하는 것만큼 중요하다. 즉, CBME가 구현되는 상황을 이해하고, CBME가 구현되는 방법을 평가하면 결과가 나타나는 이유에 대한 보다 완전한 이해를 제공할 것이다.

Criticism in the literature about whether CBME results in “improved” graduates can be answered through use of outcome evaluation.8-11, 16-18 Outcome evaluation examines the progress of the program and the status of accomplishing desired results and answers the questions such as unintended outcomes, return on investment, and changes in knowledge, attitudes, and behaviours.27, 28 While literary conversations about CBME have predominantly focused on outcomes in the form of the individual competence of graduates, understanding best practices in enacting the implementation of CBME is equally as important as measuring its outcomes. In other words, evaluating how CBME is implemented with an understanding of the context within which it is implemented will provide a more a fulsome understanding of why an outcome emerges.

[프로세스 평가]는 조직 변혁을 구현하는 과정에서의 [사회적 프로세스와 메커니즘]을 탐색하고, 전향적으로prospectively 변화와 관련된 [성과 평가에 대한 다리]를 이끌어낸다. 프로세스 평가 질문은 CBME 구현 전반에 걸쳐 다음과 같은 질문과 함께 질문할 수 있다:

• CBME 활동을 구현하기 위한 장벽/촉진자는 무엇인가,
• 달성된 것은 무엇인가,
• CBME 변환의 영향을 받는 사람은 누구인가.

긍정적이든 부정적이든 결과에 영향을 미치는 요인을 이해함으로써 미래에 사용하기 위해 더 많은 정보를 도출할 수 있다.

Process evaluation explores social processes and mechanisms during the implementation of an organizational transformation and prospectively draws a bridge to the evaluation of outcomes associated with the change.29, 30 Process evaluation questions can be asked throughout the implementation of CBME with questions such as the following:

• what are the barriers/facilitators to implementing CBME activities;
• what has been accomplished; and
• who is being impacted by the CBME transformation.27 

By understanding factors that influence outcomes, whether positive or negative, more information can be derived for use in the future.

CBME의 구현은 상황에 따라 매우 다르다. 한 컨텍스트에서 작동한 CBME 개입을 적용하는 것은 다른 컨텍스트에서 실행 가능하거나 실행 가능하지 않을 수 있습니다. 그러나, [프로세스와 성과] 모두의 평가가 구현과 함께 계획된다면, 다른 사람들에 의한 기술혁신의 성공적인 채택이 더 가능성이 높을 수 있다. 이런 유형의 평가가 없다면, 상황별 메커니즘과 프로세스에 대한 정보가 부족하다. 이에 따른 리스크는 미래의 구현자가 조직 변혁의 "종교적 컬트" 문제에 빠질 수 있다는 것이다. 즉, 구현 프로세스가 "실행" 프로토콜을 준수하도록 축소되는 것이다. 하지만 [원래의 맥락에서 관찰된 결과를 뒷받침하는 필수적인 메커니즘과 프로세스]가 결여되어있기에, 구체성은 결여된 표면적인 모방만을 초래한다. 구현과 관련된 "방법"과 "이유" 질문을 알지 못하면, 구현자는 예상 결과에 영향을 미치는 필수 가능 요소 또는 장벽에 대한 유용한 정보에 접근할 수 없을 수 있다. 또한 영향 요인이 항목별 프로토콜에 포함되지 않는 경우 자체 컨텍스트에서 구현을 수행하는 방법을 모를 수 있다.

The implementation of CBME is very context dependent. Adapting a CBME intervention that worked in one context may or may not be feasible in another. However, successful uptake of an innovation by others may be more likely if evaluation of both processes and outcomes are planned alongside implementation.29, 31 Without this type of evaluation, information about contextual mechanisms and processes are lacking, and therefore, the risk is that future implementers may fall into the “cargo cult” problem of organizational transformation whereby the process of implementation is reduced to adherence to a “checklist” protocol, but essential mechanisms and processes that supported the outcomes observed in the original context are lacking, resulting in a superficial imitation lacking specificity.32 Without knowing the “how” and “why” questions related to implementation, implementers may not have access to useful information about the necessary enablers or barriers that impact anticipated outcomes. They also may not know how to carry out implementation in their own contexts if influencing factors are not included within itemized protocols.29, 31, 33

1.2 이론 기반 평가
1.2 Theory-based evaluation

이 논문은 복잡한 지역사회 기반 사회 및 의료 이니셔티브를 평가하는 데 사용되는 것과 같은 [이론 기반 평가 접근법]이 CBME에 사용될 수 있다고 제안한다. [이론 기반 평가]는 [프로그램 이론(변화 이론이라고도 함)의 개발]에서 시작되며, 프로그램 이론(변화 이론)은 [변환 또는 개입이 해결할 것으로 예상되는 문제]와 [이 변화(이 경우 CBME로의 전환)가 어떤 식으로 성공할 것인지에 대한 예상]을 명확하게 정의한다. 프로그램 이론은 [변화나 개입의 의도된 영향]을 정의한 다음, 영향을 미칠 것으로 예상되는 [단기 및 장기 성과의 연쇄]에 기여하는 요소들을 체계적으로 매핑한다. [프로그램 이론]과 함께 [단기 및 장기 성과에 대한 설명]을 포함하여 [CBME 구현과 관련된 활동을 설명하는 논리 모델]이 있어야 한다. 프로세스와 구현 결과에 영향을 미치는 기여 요인은 CBME 결과의 가정/가설을 포함한 논리 모델에서 식별되어야 한다. 
This paper proposes that theory-based evaluation approaches, such as those used in evaluating complex community-based social and health care initiatives,34-38 can be used for CBME. Theory-based evaluation begins with the development of a program theory (also called a theory of change), which clearly defines a problem that a transformation or intervention is anticipated to address, and how this change (in this case the shift to CBME) is anticipated to be successful.39-42 The program theory defines intended impacts of a change or intervention and then systematically maps factors that contribute to a chain of short- and long-term outcomes that are expected to have impact.41, 43-45 Accompanying the program theory should be a logic model, illustrating the activities involved in CBME implementation including a description of short- and long-term outcomes.46-49 Contributory factors that influence the process and the outcome of implementation should be identified in the logic model including assumptions/hypotheses of the results of CBME.50, 51

[프로그램 이론]은 [입력, 프로세스, 결과 및 영향]을 의도적으로 탐색할 수 있는 [프로그램 평가 계획의 개발을 위한 지침]역할을 한다. 본 논문에서 정의된 바와 같이 [프로세스 및 결과 평가]에서 도출된 findings는 [지속적인 개선을 위한 주기적인 기회]를 설정하며, [예상anticipated 프로그램 이론과 프로세스 및 결과를 향상]시킨다. CBME와 관련된 사람들의 경우, 여기에는 다음 두 가지의 평가에 영향을 미치는 요소를 이해하는 것이 포함된다. 

• 구현의 충실도 (즉, [제정된 프로그램]이 [구상된 프로그램]과 유사합니까?)
• 구현의 완결성 (예: WBA가 상세하고 실행 가능한 품질 피드백을 제공합니까?)

이러한 유형의 평가에서 얻은 결과는 최상의 CBME 구현 접근법에 대한 이해를 높이고 성공을 저해하거나 촉진할 수 있는 고려 요소를 강조할 수 있다.

The program theory acts as a guide for the development of a program evaluation plan that can intentionally explore inputs, processes, outcomes, and impact. The findings from a process and outcome evaluation, as defined in this paper, sets up a cyclical opportunity for ongoing improvement, enhancing the anticipated program theory and its process and outcomes.52-54 For those involved in CBME, this includes understanding elements influencing the process of evaluating the 

• fidelity (ie, does the program as enacted look like the program as conceived?) of implementation, as well as its 
• integrity (eg, do workplace-based assessments provide quality feedback that are detailed and actionable?).29, 54-56 

Findings from this type of evaluation can enhance our understanding of the best CBME implementation approaches and highlight factors for consideration that may impede or facilitate its success.

1.3 작업 예: 트리플 C 역량 기반 커리큘럼(트리플 C)
1.3 Worked example: Triple C Competency-based Curriculum (Triple C)

[프로세스 및 결과 평가]와 [명확하게 정의된 프로그램 이론] 사이의 연결고리는 [작업 사례worked example]를 통해 가장 잘 이해할 수 있을 것이다. 실행된 예는 결과와 프로세스 모두에 초점을 맞춘 최종적인 해결책에 도달하기 위한 문제와 문제 해결 접근 방식을 설명합니다. 프로세스 지향 작업 예제는 특정 단계를 "어떻게" 및 "왜"했는지에 대한 명시적인 설명을 제공하는 데 중점을 두고 있으며, 이러한 단계가 관찰된 솔루션에 어떻게 기여했는지 설명하는 데 도움이 될 수 있습니다. 여기, 우리는 구현과 동시에 수행된 이론 기반 프로그램 평가의 캐나다 가정의학 상주 훈련의 작업 예를 제시한다. 프로그램 이론과 평가 사이의 연관성을 설명하는 것 외에도, 이 작업 예는 프로그램 이론의 정기적인 업데이트를 지원하기 위한 발견을 발견하는 것이 어떻게 지속적인 프로그램 개선을 촉진할 수 있는지를 보여준다. 마지막으로, 이 작업 예는 CBME 혁신 또는 기타 커리큘럼 개혁을 위한 프로그램 평가를 설계하려는 개인을 위한 템플릿으로 작용할 수 있다. 

The links between process and outcome evaluation and a clearly defined program theory can best be understood by looking at a worked example. Worked examples describe a problem and the problem-solving approach to arrive at a final solution with a focus on both the outcome and the process.57-61 Process-oriented worked examples centre on providing an explicit explanation of “how” and “why” certain steps were taken and/or can help explain how they may have contributed to an observed solution.57-61 Here, we present a worked example from Canadian family medicine residency training of a theory-based program evaluation carried out concurrently with implementation. In addition to illustrating the connections between program theory and evaluation, this worked example shows how uncovering findings to support regular updating of a program theory can facilitate ongoing continuous program improvement. Finally, this worked example can act as a template for individuals looking to design program evaluation for their CBME innovations or other curriculum reforms.

1.4 배경
1.4 Background

캐나다 가정의학회(CFPC)는 캐나다의 가정의학을 인증하는 학회이다. 2010년, CFPC는 CBME의 핵심 구성요소와 일치하도록 국가 가정의학 레지던트 교육 커리큘럼과 평가 지침을 변경했다.62 CFPC의 CBME 버전은 트리플 C 역량 기반 커리큘럼(Triple C)이라고 불린다. 트리플 C에 대한 자세한 설명은 트리플 C 역량 기반 커리큘럼 보고서 1과 2에서 확인할 수 있습니다. 
The College of Family Physicians of Canada (CFPC) is the accrediting and certifying body for the discipline of family medicine in Canada. In 2010, the CFPC transformed their national family medicine residency education curriculum and assessment guidelines to align with the core components of CBME.62 The CFPC's version of CBME is called the Triple C Competency-based Curriculum (Triple C). A detailed description of Triple C can be found in the Triple C Competency-based Curriculum Reports 1 and 2.63, 64

1.5 프로그램 평가 접근방식 요약
1.5 Summary of program evaluation approach

트리플 C의 프로그램 이론의 개발은 처음에 다음과 같은 사회적 책임 접근법을 사용하여 가정의학과 레지던트 교육을 어떻게 개선해야 하는지를 확인하는 데 초점을 맞췄다. "커뮤니티, 지역 및/또는 국가(캐나다)의 우선적인 건강 문제를 해결합니다." CFPC는 서로 다른 이해관계자들과 상의하여 데이터 검토를 수행했으며, 전문가 작업 그룹을 통해 2010년부터 캐나다에서 전국적으로 시행될 가정의학 레지던트 교육 개혁을 정의하기 위해 학계와 합의된 구축 접근법을 사용했다. CFPC는 아직 트리플 C를 인증 표준에 통합하지 않았기 때문에, 전공의 프로그램에 대한 가이드로 트리플 C를 제공했다. 63 프로그램 평가 계획에 포착된 프로그램 이론을 알릴 수 있는 적응이 발생하고 학습이 생성될 것으로 예상되었으며, 이는 가정의학의 교육과정 개편을 더욱 촉진시킬 것이다. 그림 1은 트리플 C의 원래 [프로그램 이론]을 보여준다. 트리플 C는 가정의사가 제공하는 의료 서비스의 접근성 및 품질 개선이라는 장기적 목표에 도달하기 위해 의료 교육의 질을 개선하는 데 중점을 둔다.

The development of the program theory of Triple C initially focused on identifying how family medicine residency education should be improved by using a social accountability approach to: “address the priority health concerns of the community, region, and/or nation (Canada).”65 The CFPC consulted with different stakeholders conducted data reviews, and through expert working groups, used a consensus building approach with the academic community to define the family medicine residency education reform to be implemented nationally in Canada from 2010 onwards.63 CFPC offered Triple C as a guide for use by residency programs as the CFPC had not yet incorporated Triple C into accreditation standards.63 It was anticipated that adaptation would occur and learnings would be generated that could inform the program theory captured in the program evaluation plan, which would further enhance family medicine's curriculum reform. Figure 1 illustrates the original program theory of Triple C, which is centred on improving the quality of medical education to reach a long-term goal of increased access to and improved quality of care provided by family physicians.

이론 기반 평가는 논리 모델을 사용하여 주요 활동을 설명하고 다양한 CBME 이해관계자에게 특정한 예상 장단기 결과를 포함한다. 그림 2는 가정의학과 거주자, 졸업생, 교수진, 전반적인 학문 분야 및 인증 기관으로서의 CFPC에 대해 가정한 결과를 가진 CFPC의 [논리 모델]을 설명한다. (그림 2)
Theory-based evaluations use a logic model to describe key activities and include anticipated short- and long-term outcomes specific to various CBME stakeholders. Figure 2 describes the CFPC's logic model with outcomes hypothesized for family medicine residents, graduates, faculty, the overall discipline, and the CFPC as the accrediting body. (Figure 2)

[논리 모델(그림 2)]은 [데이터 수집 기회를 식별하기 위한 지도] 역할을 했으며, 이는 프로세스와 예상 결과 모두를 평가하는 8개 영역을 포함하는 평가 계획에 통합되었다(그림 3). 연구 결과는 CFPC의 다음 반복적인 커리큘럼 갱신 주기를 개선하고 수정하는 데 사용되었다. 학습된 교훈은 실제 경험을 바탕으로 한 독창적인 프로그램 이론을 강화한다.
The logic model (Figure 2) acted as a map to identify opportunities for data collection, which would be incorporated into the evaluation plan that included eight areas of focus evaluating both process and anticipated outcomes (Figure 3). Findings have been used to refine and revise the CFPC's next iterative cycle of curriculum renewal. Learned lessons enhance the original program theory based upon lived experience.

1.6 프로그램 평가: 가정 테스트 및 원래 프로그램 이론 수정
1.6 Program evaluation: Testing assumptions and revising the original program theory

표 1에서, 우리는 [원래의 트리플 C 프로그램 이론]을 사용한 [이론 주도의 프로그램 평가 계획]과 수집된 데이터를 기반으로 한 후속 업데이트의 과정을 설명한다. 데이터 원본은 추가 정보에 관심이 있는 사람들을 위해 공유된 참조와 함께 나열됩니다. 이러한 가정들의 프로그램 평가를 위한 원래의 프로그램 이론과 데이터 소스의 가정은 평가 결과의 몇 가지 예와 결과적인 원래의 프로그램 이론에 대한 후속 개선사항과 함께 아래에 제시되어 있다. 우리는 이것이 트리플 C의 전체 평가에 포함된 모든 평가 영역의 완전한 목록이 아니라 특정 단기 결과에 초점을 맞춘 예시적인 사례라는 것을 강조하고 싶다.

In Table 1, we illustrate the process of a theory-led program evaluation plan using the original Triple C program theory and subsequent updating based on data collected. The data sources are listed with references shared for those interested in more information. Assumptions from the original program theory and the data source(s) for program evaluation of those assumptions are presented below, along with some examples of evaluation findings and the subsequent refinements to the original program theory that resulted. We do wish to emphasize that this is an illustrative example focusing on specific short-term outcomes, and not an exhaustive list of all areas of evaluation included in the full evaluation of the Triple C.

• 가정 1.CFPC가
  [정책(인정 및 인증 기준)을 통한 가정의학과 레지던트 교육에 대한 CBME 접근방식의 발전]과,
  [레지던트 프로그램에 제공되는 변화 관리 지원]을 통해
  [캐나다 전역에서 트리플 C의 성공적인 채택]을 가능하게 할 것이다.
  
• Assumption 1.The CFPC's advancement of a CBME approach to family medicine residency education through policies (accreditation and certification standards) and change management support offered to residency programs will enable successful adoption of Triple C across Canada.

전공의 프로그램 구현 프로파일(RPIP, 프로그램 감독에 의한 자체 보고서 조사 완료)의 결과, 모든 프로그램이 트리플 C를 구현했지만 시기는 다양했습니다. 일부 얼리 어답터들은 이 훈련 모델을 도입한 지 1~2년 이내에 트리플 C의 대부분의 핵심 요소를 갖추었고, 다른 프로그램들은 트리플 C를 구현하는 데 몇 년이 더 걸렸다. 트리플 C의 질적 이해와 평가 연구에서 나온 연구 결과는 트리플 C의 흡수에 영향을 준 요인과 관련된 더 많은 정보를 발견했다. 트리플 C의 초기 채택자들은 CFPC가 가이드 제공을 통해 트리플 C에 대한 지원을 제공하고 프로그램 경험과 교훈을 공유할 수 있는 기회를 제공하는 데 도움이 되었다고 보고하였다. CFPC가 2000년부터 2010년까지 가정의학과 프로그램 이사 및 의장과 협업한 [공동 창작co-creation 접근 방식]도 수용도를 높이는 데 도움이 되었다. 초기 채택자들은 CFPC가 적절한 지원을 제공했다고 느꼈지만, 후기 채택자들은 특히 트리플 C의 공동 제작에 관여하지 않은 새로운 프로그램 리더들과 함께 CFPC가 더 많은 지시적이고 지속적인 지원을 제공했어야 한다고 생각했다.

Findings from the Residency Program Implementation Profile (RPIP, self-report survey completed by program directors) indicated that all had implemented Triple C across their programs but timing varied.66 Some early adopters had most core elements of Triple C in place within a year or two of the introduction of this training model, while other programs took several more years to implement Triple C.66 Findings from the Qualitative Understanding and Evaluation Study of Triple C (QUEST, qualitative study carried out in 2016 examining experiences of Program Directors, Department Chairs, administrative support personnel, postgraduate Deans, and residents through semi-structured interviews and focus groups) uncovered more information related to factors that influenced uptake of Triple C.67 Early adopters of Triple C reported that the CFPC was helpful in providing support for Triple C through the provision of guides, as well as facilitating opportunities for the sharing of program experiences and lessons learned.66, 68 The co-creation approach taken by the CFPC, collaborating with family medicine program directors and chairs from 2000 to 2010,63, 66, 69 also helped increase uptake. While early adopters felt that the CFPC provided adequate support, late adopters, particularly with new program leaders who were not involved in the co-creation of Triple C, felt that the CFPC should have provided more directive and on-going support.66, 68

1.7 원래 프로그램 이론의 업데이트
1.7 Updating the original program theory

가정 1에서는 CFPC 정책과 변경 관리 지원이 트리플 C(Triple C)의 도입을 촉진할 것이라는 가설을 세웠다. 다만 2017년 표준이 발표되기 전부터 인가 변경 예상은 변화를 가능케 하기에 충분했다. 이 연구결과는 [프로그램 개발에 대한 이해관계자의 참여(특히 리더십의 참여)]가 구현을 촉진하는 데 도움이 되었음을 시사한다. CFPC의 가이드와 프로그램 간 초기 공유는 유용했지만, 나중에 CFPC가 더 많은 것을 할 수 있었을 것이라고 생각했다. [리더십 전환shift]을 지원하기 위한 효과적인 커뮤니케이션 및 종방향 변화 관리 전략은 향후 사용을 위한 핵심 학습입니다.

In Assumption 1, it was hypothesized that CFPC policies and change management support would facilitate Triple C uptake. However, the anticipation of accreditation changes even before the standards were released in 2017 was enough to enable change. The findings suggest that stakeholder involvement in the development of Triple C, especially program leadership, helped to facilitate implementation. The CFPC's guides and early sharing across programs were useful, but later adopters who were not as involved felt the CFPC could have done more. Effective communication and longitudinal change management strategies to support leadership shifts are a key learning for future use.

RPIP의 연구 결과는 트리플 C의 시행 시기가 캐나다의 10개 주와 교육 현장에 걸쳐 위치한 17개 대학 기반 프로그램에 걸쳐 크게 다르다는 것을 보여주었다. 결국 흡수가 확인되었지만, 시간 변동성이 관심 포인트였다. 가정의학 종방향 조사의 결과는 대다수의 전공의가 트리플 C에 특화된 역량 기반 프로그램 평가 요소뿐만 아니라 가정의학을 중심으로 한 포괄적이고 지속적인 관리 경험을 경험했다는 것을 확인하였다. (FMLS 2010-2017, 캐나다의 16개 가정의학 프로그램에 걸쳐 레지던트 출입 시 가정의학과 레지던트를 대상으로 실시한 자가 보고서 조사) 

Findings from the RPIP indicated that the timing of Triple C implementation varied greatly across the 17 university-based programs situated across 10 provinces in Canada and across teaching sites.66 Although eventual uptake was identified, the time variability was a point of interest. Findings from the Family Medicine Longitudinal Survey (FMLS 2010-2017, self-report survey administered to family medicine residents at entry to and at exit from residency across 16 family medicine programs in Canada) identified that the majority of residents had experienced comprehensive and continuity of care experiences centred in family medicine as well as competency-based programmatic assessment elements specific to Triple C.66, 70 

QUEST 연구는 지지적 행정 인프라, 효과적인 의사소통 네트워크, 보호된 자원(예: 인적 및 재정적 자본 및 시간)과 이해관계자(예: 대학원 학장 및 보건부)와 협의적 접근에 참여한 프로그램이 Triple C 전환이 더 원활하다고 보고했다. 인증 검토 및 훈련 현장의 확장을 동시에 겪고 있는 사람들은 기존의 자금 지원과 리더십 지원을 활용하여 트리플 C로 전환하는 데 필요한 변화 사항을 포함할 수 있었다. 트리플 C의 핵심 구성 요소에 대한 서로 다른 해석이나 정의와 같은 특정 요인들은 구현에 어려움을 유발했다. 트리플 C의 발전에 관련된 모든 사람들 사이의 [일관된 공유 정신 모델]은 관리자, 프로그램 조언자, 커리큘럼 설계자 및 대학원 학장과 같은 이해관계자 간의 지속적인 의사소통과 협력을 통해 개발되었다. 이러한 [공유된 정신 모델]은 구현을 추진하고 지원하며, 수용을 촉진하는 데 도움이 되었습니다. 또한, 가정의학과 레지던트들을 지도하는 모든 지도교사에 대한 교수진 개발은 주의를 요하는 분야로 일방적으로 파악되었다.

The QUEST study reported that programs with supportive administrative infrastructures, effective communication networks, protected resources (eg, human and financial capital and time), and who had engaged in consultative approaches with stakeholders (eg, postgraduate deans and ministries of health) had smoother Triple C transitions.66, 68 Those who were simultaneously undergoing accreditation reviews and/or expansion of training sites were able to include changes needed to transition to Triple C, capitalizing on pre-existing funding and leadership support.66, 68 Certain factors challenged implementation, such as differing interpretations or definitions of the core components of Triple C.66, 68 Consistent shared mental models amongst all those involved in advancing Triple C were developed through ongoing communication and collaboration between stakeholders such as administrators, program advisors, curriculum designers, and postgraduate deans. These shared mental models helped to drive and support implementation66, 68 and facilitated uptake. Additionally, faculty development for all preceptors coaching family medicine residents was identified unilaterally as an area requiring attention.66, 68

1.8 원래 프로그램 이론의 업데이트
1.8 Updating the original program theory

RPIP와 FMLS의 연구 결과는 프로그램이 트리플 C를 구현했음을 확인하였다. 두 번째 가정은 외부 및 내부 요인이 트리플 C의 채택에 영향을 미칠 것이라는 점에 주목했지만 많은 세부 사항을 제공하지 않았다. 모든 프로그램이 트리플 C를 구현했지만, 시간과 관련된 변동성은 QUEST 연구를 통해 더욱 이해되었다. 이에 따라 CFPC는 지방정부와 대외정책이 전공의 교육과 전공의 교육 개혁에 어떤 영향을 미치는지, 또 어떤 방식으로 영향을 미치는지 가장 잘 이해할 수 있는 방법을 고민하게 되었다. 이 문제에 대한 프로그램 평가에서 수집된 정보가 부족하기 때문에 CFPC는 이러한 [외부 영향]을 보다 완전하게 연구할 수 있는 방법을 적극적으로 모색하고 있다. 도입uptake에 영향을 미치는 [내부 요인] 측면에서는, 기존 개혁 프로세스와 인가 검토, 신규 자원을 활용해 트리플 C를 내장한 프로그램이 어떻게 더 쉽게 전환되는지 들어볼 수 있어 흥미로웠다. 이를 통해 변경 촉진 요인에 대한 새로운 통찰력을 얻을 수 있습니다.

Findings from the RPIP and from the FMLS identified that programs had implemented Triple C. The second assumption noted that both external and internal factors would influence the uptake of Triple C but it did not offer many specifics. Although all programs implemented Triple C, the variability related to time was further understood from the QUEST study. This has prompted the CFPC to consider how best to understand how and if provincial governments and external policies influence residency education and residency education reform. Because of the lack of information that was gathered in the program evaluation about this issue, the CFPC is actively exploring how to study these external influences more fully. In terms of the internal factors influencing uptake, it was interesting to hear how programs that took advantage of existing reform processes, accreditation reviews, and new resources to embed Triple C transitioned more easily. This offers new insight on change facilitators.

FMLS 결과: 교육 프로그램을 마친 후 트리플 C 비전을 반영한 학습 및 실습 경험이 증가했다고 보고했습니다. 또한 연구 결과는 프로그램과 CFPC가 해결해야 할 학습 및 실습 경험의 몇 가지 차이를 나타냈다. 
Findings from the FMLS: Residents reported an increase in learning and practice experiences reflecting the Triple C vision after completing their training program.66 Findings also indicated a few gaps in learning and practice experiences to be addressed by programs and the CFPC.66

National Physician Survey(NPS 2010, 범캐나다 자체 보고서 조사)에서 얻은 연구 결과. 가족 의사의 진료 범위에 특정한 질문이 트리플 C 이전 대조군으로 사용되었다. NPS는 트리플 C 이전 코호트와 트리플 C 이후 코호트를 비교함으로써 여러 임상 영역 및 환경에서 포괄적 치료를 시행하려는 거주자의 의사가 상당히 증가했음을 보여주었다. 거주자의 응답은 또한 특정 임상 영역 및 환경에서 실습하려는 의도의 감소를 보여 주었으며, 이는 이러한 발견을 추진하는 요인을 이해하기 위한 추가 평가 및 연구의 필요성을 유발했다.

Findings from the National Physician Survey (NPS 2010, Pan-Canadian self-report survey administered to physicians in practice. Questions specific to scope of practice of family physicians were used as pre-Triple C controls): the NPS illustrated a significant increase in residents' intention to practice comprehensive care in multiple clinical domains and settings by comparing pre- and post-Triple C cohorts.66, 70 Responses from residents also illustrated decreased intentions to practice in certain clinical domains and settings,66, 70 which has prompted the need for additional evaluation and research to understand factors that drive these findings.

1.9 원래 프로그램 이론 업데이트
1.9 Updating the original program theory

시간이 지남에 따라 FMLS 결과를 프로그램에 다시 공유하는 것이 트리플 C의 구현에 도움이 된다는 것은 구현과 동시에 실행되어야 하는 프로그램 평가의 필요성을 강화시켰다. 초기 프로그램 평가 계획은 CFPC가 트리플 C에 대해 무엇이 효과가 있고, 무엇이 안 되고, 무엇이 바뀌어야 하는지를 이해하도록 돕기 위해 개발되었지만, 프로그램 평가 데이터는 커리큘럼과 평가의 지역 개선을 수행하는 프로그램에도 매우 유익하다는 것이 일찍부터 분명했다.

The demonstration over time that sharing FMLS results back to programs was helpful in implementation of Triple C reinforced the need for program evaluation to run concurrently with implementation. While the initial program evaluation plan was developed to help the CFPC to understand what worked, what did not, and what needed to be changed about Triple C, it was evident early on that the program evaluation data were also immensely beneficial to programs in carrying out local improvement of their curriculum and assessment.

2 고찰
2 DISCUSSION

CBME 구현의 작업 사례로 트리플 C 역량 기반 커리큘럼을 사용하여 [프로세스와 결과]를 모두 살펴보는 [이론 기반 평가]를 통해 프로그램 이론을 개발하고 업데이트하는 방법을 시연했다.

• 이 과정은 도전이나 문제를 파악하는 것에서 시작한다. 그리고 공동체의 필요와 자산, 도전이나 문제에 대응하기 위한 전략, 전략을 원하는 결과나 결과에 연결하는 가정을 결정한다.
• 사회적 요구와 같은 문제 및 결과에 영향을 미칠 수 있는 영향 요인들은 또한 독창적인 프로그램 이론의 개발에서 확인된다.
• 일단 프로그램 이론이 개발되면, CBME의 구현을 지원하기 위한 입력과 활동, 구현의 제정 과정, 그리고 이러한 초기 투자가 어떻게 장단기적인 결과로 이어질 것으로 예상되는지 등 로직 모델에 포함되어야 할 특징들이 명백해진다.
• 우리는 또한 프로그램 이론과 로직 모델이, 어떻게 의료 교육에서 새로운 훈련 모델을 구현하는 과정과 결과에 대한 질문에 효과적으로 답하기 위해, 평가 방법론과 데이터 수집 방법의 선택을 가이드할 수 있는지 보여주었다.

Using the Triple C Competency-based Curriculum as a worked example of CBME implementation, we have demonstrated how to develop and update a program theory through theory-based evaluation that looks at both processes and outcomes.

• This process begins by
  • identifying the challenge or problem,
  • determining
    • the needs and assets of the community,
    • strategies to counter the challenge or problem, and
    • the assumptions
  • that are held that link the strategies to the desired outcomes or results.
• Influential factors that may impact the problem and outcomes, such as societal needs, are also identified in the development of an original program theory.
• Once the program theory is developed, the features that should be included in a logic model become evident, such as
  • inputs and activities to support implementation of CBME,
  • process of enacting implementation, and
  • how these initial investments are anticipated to lead to short- and long-term outcomes.
• We have also illustrated how a program theory and logic model can guide the selection of evaluation methodologies and data collection methods to effectively answer questions about the process and outcomes of implementing new training models in medical education.

우리는 우리의 작업 예에서 프로그램 평가 과정의 몇 가지 예를 제시했지만, 우리는 또한 우리의 연구에서 나타난 발견들이 어떻게 해석되고 레지던트 프로그램 구현을 위한 추가적인 개선을 위해 사용될 수 있는지 탐구했다. CFPC가 프로그램 평가를 구현과 함께 사용하여 커리큘럼 구현과 개혁을 지속적으로 알리는 "수집과 행동"을 모델링하는 것은 캐나다의 가정의학과 레지던트 프로그램에 여러 가지 이점을 가져왔다. 잘 설계된 평가의 과정과 결과가 지속적인 변화와 지속적인 거주 교육 개선을 추진하는 데 중요한 역할을 할 수 있다는 것은 분명하다. 참여자(즉, 교수, 교사, 관리자 및 주민)가 트리플 C의 성장을 뒷받침하는 실질적인 증거를 가지고 있었기 때문에 모델링 수집과 행동은 평가와 연구에 참여를 장려했다. 프로그램 평가의 결과는 이 분야의 미래를 개선하기 위한 변화를 추진하는 데 중요한 역할을 했다.

While we have presented some examples of the program evaluation process in our worked example, we have also explored how the findings that emerged from our study could be interpreted and used for further improvements for residency program implementation. The CFPC's use of a program evaluation alongside implementation, modelling “collection and action” that uses data on an ongoing basis to inform curriculum implementation and reform, has had multiple benefits to family medicine residency programs in Canada. It is clear that the process and outcomes of a well-designed evaluation can play a significant role in driving ongoing change and ongoing residency education improvement. Modelling collection and action encouraged engagement in evaluation and research since participants (ie, faculty, teachers, administrators, and residents) had tangible evidence that their efforts supported the growth of Triple C. The outcomes of the program evaluation played a significant role in driving change to improve the future of this discipline.

3 결론
3 CONCLUSION

이러한 CBME 교육 혁신에서 수행된 것과 같이 의도적으로 변화와 평가를 결합하면 새로운 혁신을 구현하고 경험한 사람들의 경험에서 귀중한 정보를 얻을 수 있습니다. "현장에서 나온from the field" 연구 결과는 [사회적 프로세스와 메커니즘이 프로그램이 경험되고 구현되는 방식]과 이러한 [숨겨진 요인의 결과로 결과가 어떻게 다를 수 있는지]에 중요한 역할을 한다는 개념을 강화한다. 또한 프로그램 평가의 결과는 현재 프로세스의 개선을 지원할 수 있을 뿐만 아니라 학습된 교훈을 조명하고 자원의 효과적이고 효율적인 사용을 지원함으로써 향후 구현을 안내할 수 있다. 평가와 업데이트된 프로그램 이론의 개발은 또한 발견을 기반으로 하는 [새로운 변화와 이론]의 도입을 촉진하는데, 이는 '바퀴의 재창조'가 아닌 [누적적 과학cumulative science]에 기여하려는 소기의 목표를 뒷받침한다.

Deliberately pairing evaluation alongside change—such as was done in this CBME education transformation—yields invaluable information from the experiences of those implementing and experiencing a new innovation. Findings “from the field” reinforce the notion that social processes and mechanisms play a significant role in the ways in which a program is experienced and implemented and in how outcomes may differ as a result of these otherwise hidden factors. In addition, findings from program evaluation can support the improvement of current processes, as well as guide future implementation by shedding light on lessons learned and supporting effective and efficient use of resources. Evaluation and the development of an updated program theory also facilitate the introduction of new changes and theories that build on findings, which supports the desired goal of contributing to cumulative science rather than “reinventing the wheel.”

향후 연구는 시간에 따른 변화를 주도, 지지 및 도전하는 요인의 추세를 식별하기 위해 진행 중인 종적 평가의 이점을 얻을 수 있으며, 이러한 요인들이 시간에 따라 변화하는지 여부, 방법 및 이유를 파악할 수 있다.

Future studies may benefit from ongoing longitudinal evaluation to identify trends in factors that drive, support, and/or challenge change over time and if, how, and why these factors shift over time.

Process and outcome evaluation of a CBME intervention guided by program theory

PMID: 31927788

PMCID: PMC7496603

DOI: 10.1111/jep.13344

Abstract

© 2020 The Authors. Journal of Evaluation in Clinical Practice published by John Wiley & Sons Ltd.

역량중심의학교육(CBME)의 개선-지향 평가를 위한 12가지 팁(Med Teach, 2020)
Twelve tips for improvement-oriented evaluation of competency-based medical education
Ivy Oandasana*, Liz Martinb, Melissa McGuireb and Rochelle Zorzib

서론
Introduction

전 세계적으로, 의료 교육은 의사를 훈련시키기 위해 역량 기반 접근법을 채택하고 있다. 역량 기반 의료 교육(CBME)은 환자 결과를 개선하고, 환자 안전을 강화하며, 평생 학습에 전념하는 더 자신감 있는 의사를 만들기 위해 발전되고 있다(Frank et al. 2010; Touchie and Ten Cate 2016). 사회적 책임 원칙(Boelen and Woolard 2009)을 핵심으로 하여 CBME는 인구의 복잡한 의료 요구에 대응할 수 있는 실무자를 배출하는 것을 목표로 한다(Oandasan 2013; 캐나다 의과대학 인증위원회 2015; Van Melle et al. 2017; 캐나다 의과대학 협회 2018).
Around the world, medical education is adopting competency-based approaches to training physicians. Competency-based medical education (CBME) is being advanced to improve patient outcomes, enhance patient safety, and create more confident physicians committed to lifelong learning (Frank et al. 2010; Touchie and Ten Cate 2016). With the principle of social accountability (Boelen and Woollard 2009) at its core, CBME aims to produce practitioners who can respond to the complex healthcare needs of the population (Oandasan 2013; Committee on the Accreditation of Canadian Medical Schools 2015; Van Melle et al. 2017; Association of Faculties of Medicine of Canada 2018).

CBME를 도입하는 이 새로운 시대에, 의학 교육자들은 평가가 어떻게 질을 향상시키고 적응을 알리는 데 유용할 수 있는지를 고려할 필요가 있다. 이 논문은 [개선-지향적, 실용-중심적 프로그램 평가]에 대한 접근 방식을 제안한다(패턴 2008). [실용 중심 접근법]은 1970년대(Patton 1978년)에 도입되었고, 현재는 의학 교육 이외의 분야의 프로그램을 평가하는 데 일반적으로 사용된다. (그림 1) 우리는 또한 CBME 프로그램을 발전시킬 수 있는 관련적이고 유용한 정보를 산출할 가능성이 있다고 주장한다. 평가에 대한 이러한 접근 방식은 CBME 시행자들이 "우리의 CBME 프로그램이 환자 결과를 개선하고 있는가?"와 같은 질문을 던지던 것에서 "우리의 CBME 프로그램이 어떤 조건이나 맥락에서 환자 결과 개선에 기여하고 있는가?"로 옮겨간다(Wong et al. 2012; Van Melle et al. 2017). 후자의 질문에서 수집된 정보는 CBME 구현자들이 변화하는 상황에 맞춰 프로그램을 조정하기 위해 취해야 할 단계를 이해하는 데 도움이 된다. 
In this new era introducing CBME, there is a need for medical educators to consider how evaluation could be useful in improving quality and informing adaptation. This article proposes an approach to program evaluation that is improvement-oriented and utilization-focused (Patton 2008). The utilization-focused approach is well established, having been introduced in the 1970s (Patton 1978), and now commonly used to evaluate programs in disciplines outside of medical education. (Figure 1) We argue that it also holds promise for yielding relevant and useful information that can advance CBME programs. This approach to evaluation moves CBME implementers from asking questions like, “Is our CBME program improving patient outcomes?” to asking, “Under what conditions or contexts is our CBME program contributing to better patient outcomes?” (Wong et al. 2012; Van Melle et al. 2017). Information collected from the latter question helps CBME implementers understand what steps to take to adjust their programs to changing contexts.

 

 

이 12가지 팁 문서는 CBME 프로그램을 설계 및 제공하고 있으며 해당 프로그램이 적절하고 효과적이라는 것을 보장하기 위해 헌신하는 CBME 교육자와 구현자를 위해 작성되었습니다. 저자들은 [역량 기반 가정의학 교육(Triple C)](Oandasa 2013)을 위한 캐나다 가정의학대학(CFPCs; Canada College of Family Physicians 2018)의 트리플 C 커리큘럼을 설계하고 수행한 경험에서 이러한 팁을 이끌어냈다. CFPC는 2011년부터 개선 지향적이고 활용 중심적인 프로그램 평가 접근법을 사용하여 트리플 C를 평가하고 있다. 이 출판물의 실제 팁은 의료 교육자가 개선 지향적 평가를 CBME 프로그램에 통합하거나 향후 다른 커리큘럼 개혁 운동과 함께 사용하도록 고무하기 위한 것이다.
This twelve tips paper is written for CBME educators and implementers who are designing and delivering CBME programs and who are committed to ensuring their programs are relevant and effective. The authors have drawn these tips from experiences designing and carrying out the evaluation of the College of Family Physicians of Canada’s (CFPC’s; College of Family Physicians of Canada 2018) Triple C curriculum for competency-based family medicine education (Triple C) (Oandasan 2013). The CFPC has been evaluating Triple C using the improvement-oriented and utilization-focused program evaluation approach since 2011. The practical tips in this publication are intended to inspire medical educators to integrate improvement-oriented evaluation into their CBME programs or to use with other curriculum reform movements to come.

팁 4 프로그램의 이론을 명확히 설명합니다.
Tip 4 Articulate the theory of your program

프로그램 평가를 실시하기 전에 프로그램의 [핵심 활동]과 [예상 성과]를 명확히 이해하는 것이 도움이 될 것입니다. 이러한 프로그램 구성 요소는 평가자가 평가를 계획하는 데 사용할 수 있는 [로직 모델]에서 시각적으로 묘사되는 경우가 많다(Wholey et al. 2004년, 퍼넬 앤 로저스 2011년, 반 멜레 2016년). [로직 모델]을 개발하는 프로세스는 여러분과 주요 이해 관계자가 [어떤 활동을 해야하고, 어떤 초기 결과를 측정해야 할지 합의]하는 데 도움이 될 수 있습니다(Patton 2008). (기본 논리 모델은 그림 2를 참조하십시오.) 이를 통해 프로그램이 장기적인 성과를 달성하는 데 올바른 궤도에 있는지 알 수 있습니다.

It will be helpful to have a clear understanding of your program’s core activities and expected outcomes before undertaking your program evaluation. These program components are often depicted visually by evaluators in a logic model that can be used to help plan the evaluation (Wholey et al. 2004; Funnell and Rogers 2011; Van Melle 2016). The process of developing a logic model can help you (and your key stakeholders) agree on which activities and early outcomes to measure (Patton 2008). (See Figure 2 for a basic logic model; Wholey et al. 2004) This will help you know if your program is on the right track to achieving longer-term outcomes.

 

그러나 대부분의 [로직 모델]은 충분히 멀리 가지 못한다. [변화의 이론theory of change]이란, [주요 가정 및 상황별 요인]을 포함하여, [프로그램이 작동하는 이유를 설명하는 인과적 메커니즘을 설명하는 시각적 묘사]이다. (Pawson and Tilley 1997; Patton 2008; Funnell and Rogers 2011). [변화의 이론]은 당신의 [로직 모델]을 보완할 수 있고, 당신의 프로그램이 시간이 지남에 따라 말해주기를 바라는 이야기를 공유한다. (변화 이론의 표본은 그림 3을 참조한다. 홀리 등. 2004; Van Melle et al. 2017).
Most logic models, however, don’t go quite far enough. A visual depiction that describes the causal mechanisms that account for why your program works the way it does, including key assumptions and contextual factors, is a theory of change (Pawson and Tilley 1997; Patton 2008; Funnell and Rogers 2011). A theory of change can supplement your logic model and shares the story you hope your program will tell over time. (See Figure 3 for a sample theory of change; Wholey et al. 2004; Van Melle et al. 2017).

 

당신의 프로그램의 [로직 모델]과 [변화 이론]은 가치 있는 로드맵 역할을 할 것이다. 이들은 [살아있는 문서]로서, CBME 프로그램에 대한 더 많은 정보가 수집됨에 따라, 수정될 수 있으며, 수정되어야 합니다. 평가를 통해 밝혀진 정보는 프로그램의 [변화 이론]에 개선이 필요하다는 것을 깨닫는 데 도움이 될 수 있습니다. 트리플 C를 평가할 때도 그랬다. 트리플 C 논리 모델은 커리큘럼의 핵심 요소가 서로 다른 이해관계자 그룹과 더 광범위한 의료 시스템에 어떻게 영향을 미칠 것으로 예상되는지 설명하기 위해 프로그램 이해관계자와 공동 개발되었습니다(Oandasan 2013, 페이지 126 참조). 평가가 펼쳐지고, 새로운 성과와 변화하는 맥락이 실현됨에 따라, 평가 팀은 원하는 결과를 향한 진행을 가능하게 하거나 방해할 가정과 위험을 묘사하는 [보완적인 변화 이론]을 개발했다(Van Melle et al. 2017, 페이지 755 참조).
Your program’s logic model and theory of change will serve as valuable roadmaps. As living documents, they can and should be adapted as more information is gathered about your CBME program. Information uncovered through your evaluation may help you realize that your program’s theory of change needs refinement. This was the case in evaluating Triple C. The Triple C logic model was co-developed with program stakeholders to articulate how key elements of the curriculum were expected to impact different stakeholder groups and the broader healthcare system (See the model depicted in Oandasan 2013, p. 126). As the evaluation unfolded and emergent outcomes and changing contexts were realized, the evaluation team developed a complementary theory of change that depicted assumptions and risks that would enable or hinder the progression toward desired results (See the theory of change depicted in Van Melle et al. 2017, p. 755).

팁 6 프로그램의 컨텍스트 이해
Tip 6 Understand your program’s contexts

CBME는 진공 상태에 존재하지 않습니다. 프로그램의 [변화 이론]을 개발할 때 [프로그램과 외부 컨텍스트 사이의 관계]를 성찰하고 문서화하는 것이 중요합니다(Patton 1994; 2008). 외부 맥락에는 [사람, 규제, 경제, 사회, 문화 및 인구 건강 고려 사항]이 포함된다(파우슨 및 틸리 1997; 펀넬 및 로저스 2011; Wong et al. 2012). 이러한 상황별 클러스터의 변경 사항은 CBME 프로그램이 구현되거나 수신되는 방식에 계단식 영향을 미칠 수 있습니다. 표 1은 CBME와 관련된 세 가지 상황별 클러스터의 예를 보여줍니다. 이러한 상황 변화가 프로그램에 어떤 영향을 미치는지 또는 어떤 영향을 미치는지 생각해 보십시오. 동시에 프로그램이 이러한 컨텍스트에 어떤 영향을 미칠 수 있는지 고려하십시오.

CBME does not exist in a vacuum. It will be critical to reflect on, and document, the relationships between your program and external contexts when developing your program’s theory of change (Patton 1994; 2008). External contexts include people, regulatory, economic, social, cultural, and population health considerations (Pawson and Tilley 1997; Funnell and Rogers 2011; Wong et al. 2012). Changes in any of these contextual clusters can have cascading implications on how your CBME program is implemented or received. Table 1 provides examples of three contextual clusters relevant to CBME. Think about how these changing contexts might affect or contribute to your program. At the same time, consider how your program might impact these contexts.

프로그램의 맥락을 이해하면 이해 당사자들이 CBME의 복잡성을 이해하는 데 도움이 됩니다. 이를 통해 프로그램의 변경 이론을 재검토하고 프로그램의 의도된 결과를 재고하는 데 도움이 됩니다. 당신의 프로그램이 합리적으로 예상할 수 있는 것 이상을 달성했다고 주장하는가? 실행 중인 모든 요소를 명확하게 파악하면 프로그램이 원하는 결과를 도출할 수 있는 조건과 상황, 그리고 이러한 결과의 달성을 저해할 수 있는 위험을 이해하는 데 도움이 될 수 있다(예: Van Melle et al. 2017).
Understanding the context of your program helps stakeholders appreciate the complexity of CBME. This will help you reexamine your program’s theory of change and reconsider your program’s intended outcomes. Does your program claim to accomplish more than can be reasonably expected? A clear picture of all the factors at play can help you understand the conditions and contexts within which your program is likely to produce the desired outcomes, and the risks that might inhibit achievement of these outcomes (e.g. Van Melle et al. 2017).

환경-정규화: 맥락 속 혁신의 수명을 평가하기 (Acad Med, 2021)
Eco-Normalization: Evaluating the Longevity of an Innovation in Context
Deena M. Hamza, PhD, and Glenn Regehr, PhD

[교육 혁신]은 단순히 빈번한 실천이 아니라 보건직 교육에서 깊이 자리 잡고 있는 가치이다. 상대적으로 작은 지역적인 노력에서부터, 국가적, 그리고 심지어 세계적인 운동에 이르기까지, 우리의 건강 전문 교육 저널의 페이지는 혁신에 대한 공동체의 헌신에 대한 증거입니다. [혁신의 목적]은 우리의 현재 상태를 개선하거나 현 상태를 개선하는 것입니다. [혁신]은 [우리가 열망하는 목표]를 [우리가 원하는 의미 있는 결과로 이어질 것으로 기대되는 활동이나 제품]으로 바꾸는 방법입니다. 그러나 많은 혁신들은 달성하고자 했던 지속적인 변화를 깨닫지 못하고 있다. 일부는 그들의 열망적인 목적을 향해 계속 진화하고 있지만, 많은 사람들은 그들의 의도된 목표에서 문제적으로 벗어나기 시작하거나, 이전 상태로 발전하거나, 또는 완전히 중단된다. [포부]부터 [성공적인 구현], [의미 있고 지속적인 변화]에 이르기까지 [내구성이 뛰어난 다리]를 건설하는 것은 쉽지 않을 수 있으며, 이러한 어려움elusiveness은 복잡한 생태계에 변화를 도입하는 데 어려움이 있다는 것에서 유래한다.

Educational innovation is not just a frequent practice but a deeply held value in health professions education. From relatively small, local efforts to national and even global movements, the pages of our health professions education journals are a testament to the community’s commitment to innovation. The purpose of innovation is to make our current state better, or improve the status quo. Innovations are how we translate aspirational goals into activities or products that are anticipated to lead to the meaningful outcomes we desire. However, many innovations do not realize the lasting changes that they were intended to achieve. While some continue to evolve toward their aspirational purpose, many start to deviate problematically from their intended goals, devolve to the previous state, or are summarily halted altogether. The construction of a durable bridge from aspirations to successful implementation to meaningful and lasting change can be elusive, and this elusiveness stems from the difficulty of introducing change into a complex ecosystem.

[혁신]이 목표를 달성하는 데 성공한다고 가정할 수 없기 때문에, 각 혁신을 [맥락에서 평가하는 것]이 중요하다. 프로그램 평가의 중요성은 한동안 잘 이해되었지만, 접근 방식과 방법은 수십 년 동안 크게 변화했다.

• [1980년대 이전]에 프로그램 평가는 주로 [실험 패러다임]에 의해 inform되었으며, 혁신이 의도한 결과를 달성했는지 여부를 결정하기 위해 통제된 연구를 사용했다.
• [1980년대]부터 [현실세계에서 구현의 맥락적·변혁적 과정]을 이해할 필요가 있음을 인정한 [이론 중심의 평가]의 발전으로 전환했다.  "블랙박스 평가"라는 용어는 [성과만을 검토하는 평가 도구]가 [구현 노력의 내부 작업에 대한 증거]를 포착할 수 없다는 인식을 상징한다. 이것은 [구현에 대한 정보 부족]과 [혁신이 맥락 속에서 어떻게 기능하는지에 대한 정보 부족]이 [개선을 위한 의미 있는 노력]이나 [혁신의 지속, 수정 또는 중단에 대한 현명한 의사결정]을 방해했기 때문에 문제가 되었다. 더욱이, 평가에 대한 이러한 접근법은 종종 간과되었고, 아마도 의도하지 않은 불리한 결과에 영구화되거나 심지어 기여했다.

Because it cannot be assumed that an innovation will be successful in achieving its goals, it is important to evaluate each innovation in context. While the importance of program evaluation has been well understood for some time, the approaches and methods have shifted significantly over the decades.

• Before the 1980s, program evaluation was predominantly informed by the experimental paradigm, using controlled studies to determine whether the innovation had achieved its intended outputs. 1–4 
• Starting in the 1980s, there was a shift to the development of theory-oriented evaluations that acknowledged the need to understand the contextual and transformational processes of implementation in the real world. 5–7 The term “black box evaluation” symbolized the recognition that evaluation tools that merely examine outputs could not capture evidence about the inner workings of implementation efforts. 1,8,9 This was problematic since the lack of information about implementation, and how the innovation functioned in context, prevented any meaningful efforts at improvement or sensible decision making about continuing, modifying, or halting an innovation. Moreover, this approach to evaluation often overlooked, and perhaps perpetuated or even contributed to, unintended and adverse consequences. 10–13

따라서

• [1990년대 이후], [실제 구현의 맥락]에서 혁신의 내부 작업을 검토하는 프로그램 모니터링 및 평가에 대한 접근 방식인 [구현 충실도]를 검토하는 방향으로의 움직임이 있었다.
  • [프로그램 평가의 충실도 모델]의 핵심 질문은, [새로운 프로그램, 지침, 절차 또는 도구의 활동이 의도한 대로 시스템에 통합되는지 여부]이다.
  • [충실도 측정]은 혁신의 도입, 구현 중 얻은 교훈, 그리고 변화의 예상 결과 사이에 다리를 놓는 것을 목표로 한다.
  • 보건직 교육에서 [구현 충실도]와 ["블랙박스 평가" 접근 방식을 넘어서는 것]에 대한 논의가 교과 개혁의 노력과 함께 재점화되었다.
  • 예를 들어, Van Melle과 동료들은 캐나다 전역에 도입된 커리큘럼 혁신의 핵심 구성 요소 구현의 충실도를 검토하기 쉽게 하는 안내 프레임워크를 개발했다. 또한 Onyura와 동료들은 맥락, 메커니즘 및 결과 사이의 관계를 평가함으로써 교수 개발 이니셔티브가 어떻게 그리고 왜 그 형태를 취하는지 탐구했다. 26
• Thus, since the 1990s, there has been a movement toward examining implementation fidelity, an approach to program monitoring and evaluation that examined the inner workings of an innovation in the context of real-world implementation. 14 
  • The core question in the fidelity model of program evaluation is whether the activities of a new program, guideline, procedure, or tool are incorporated into a system as intended. 14–20 
  • Fidelity measures aim to build a bridge between the introduction of an innovation, lessons learned during implementation, and the anticipated outcomes of change. 21 
  • In health professions education, discussions about implementation fidelity and moving beyond “black box evaluation” approaches have reignited alongside efforts at curricular reform. 22–24 
  • For example, van Melle and colleagues have developed a guiding framework that facilitates examining the fidelity of implementing the core components of a curricular innovation introduced across Canada. 25 Additionally, Onyura and colleagues have explored how and why faculty development initiatives take their form by evaluating the relationship between contexts, mechanisms, and outcomes. 26

이 접근 방식은 프로그램 평가에 대한 우리의 생각을 발전시키는 데 의심할 여지 없이 중요했지만, 프로그램 평가 노력에서 [충실도를 검사하는 방법]은 [시간이 지남에 따른 혁신의 궤도에 대한 우리의 생각]을 무심코 제한할 수 있다. 예를 들어,

• 충실도 평가는 평가 시점에 어떤 일이 일어나고 있는지에 대한 [심층적인 스냅샷]을 캡처하는 경향이 있습니다. 이러한 스냅샷은 [구현 단계의 우수한 단면]을 나타낼 수 있지만, 혁신을 제정하기 위한 [제도적 동기가 여전히 최고조에 있는 기간(구현 중)]에 초점을 맞추는 경향이 있다.
  • 따라서, 이 시기에는 자원(리더십의 적극적이고 목소리 높은 지원뿐만 아니라 재정, 물리적, 인적 자원 포함)은 여전히 이니셔티브에 많은 투자를 하고 있다.
  • 이것은 [기관의 주요관심 자원이 다른 곳에 할당될 때] 복잡한 시스템 내에서 어떤 일이 일어날지에 대한 결정적 질문을 제기한다.
• 또한, 구현 조사의 충실도는 [프로그램이 의도된 대로 제공되고 있는지 여부]에 초점을 맞추는 경향이 있으며, 이는 [구현의 기계적 또는 행동적 측면]에 초점을 맞추는 것으로 이어진다. 이러한 초점은 이러한 행동이 나타내는 기본 가치의 채택을 반영하는 범위를 간과하거나 구현의 "감시 기간" 동안 교사와 학생이 수행하는 단순한 행위일 수 있다.

While this approach has been of undisputed importance in advancing our thinking about program evaluation, the methods by which fidelity is examined in program evaluation efforts may inadvertently limit our thinking about the trajectory of the innovation over time.

• For example, fidelity assessment tends to capture in-depth snapshots in time about what is happening at the moment of the evaluation. These snapshots may represent an excellent cross section of the implementation phases, but they tend to be focused on the period when the institutional motivation for enacting the innovation is still at its peak (during implementation).
  • Thus, resources (including financial, physical, and personnel resources, as well as active and vocal support from leadership) are still being heavily invested in the initiative.
  • This raises the critical question of what will happen within a complex system when the institution’s attentional resources are allocated elsewhere.
• Further, fidelity of implementation inquiries tends to focus on whether the program is being delivered as intended, which leads to a focus on the mechanical or behavioral aspects of implementation. This focus may overlook the extent to which these behaviors reflect an adoption of the underlying values that those behaviors are intended to represent, or are merely performative acts by teachers and students during the “surveillance period” of the implementation. 27

이는 [구현 단계에서 관찰된 행동]이 [의미 있고 오래 지속되는 변화를 나타내는지]에 대한 의문을 제기한다. 혁신의 75%는 시간이 지남에 따라 [명시적으로 포기]되거나, [점진적으로 양도]되며, 이는 종종 [변화 이니셔티브의 주기적인 재창조]로 이어진다. 이러한 [커리큘럼 리뉴얼의 회전목마]는 시스템 내의 모든 이해 당사자들에게 불편하고, 지치고, 의욕을 잃게 합니다. 따라서 현재의 충실도뿐만 아니라, [변화의 내구성 또는 수명에 대한 포괄적인 그림]을 생성하는 [구현 모니터링 및 평가에 대한 접근 방식]을 반성하고 진전시킬 필요가 있다. 홀과 동료들이 주장했듯이, 혁신의 구현을 검토하는 것은 "스프린트가 아닌 마라톤"으로 간주되어야 한다. 
This raises the question of whether the behaviors observed during implementation phases represent a meaningful, long-lasting change. It is estimated that 75% of innovations are explicitly abandoned or gradually devolve over time, which often leads to the cyclic reinvention of change initiatives. 28–30 This carousel of curricular renewal 31 is inconvenient, exhausting, and demotivating for all stakeholders within a system. Thus, there is a need to reflect on and advance approaches to monitoring and evaluating implementation that produce a comprehensive picture not only about current fidelity but also about the durability or longevity of the changes. As Hall and colleagues have argued, examining the implementation of an innovation must be considered a “marathon not a sprint.” 32

구현 과학 문헌에서 [지속 가능성(sustainability)]은 혁신의 잠재적 수명을 고려할 때 사용되는 일반적인 용어이다. 비록 공유 정의가 아직 개발되지 않았지만(최근 209개의 원래 연구 기사에 대한 검토에서 24개의 서로 다른 지속 가능성의 정의가 확인됨), [지속가능성]에 대한 가장 일반적인 이해는 [혁신의 전달delivery에 대한 지속적인 지원(예: 금융 및 인적 자본)]과 [원하는 결과의 지속적인 달성]을 포함한다. 33 그러나 현재까지 프로그램을 종단적으로 검토하는 출판된 연구는 상대적으로 적기 때문에, 기관의 관심이 다른 곳으로 향하였을 때 혁신이 효과적으로 지속(그리고 진화하는) 방법(그리고 그 이유)을 탐구하는 문헌은 거의 없다. 그러므로 혁신의 맥락에서 지속 가능성에 대한 대부분의 논의는 실행 단계를 넘어 [프로그램의 실천을 유지하는 데 필요한 지속적인 자원 할당의 메커니즘 제안]을 포함한다. 이러한 자원에 대한 초점 때문에 프로그램 수명(프로그램의 목표와 이러한 목표를 달성할 수 있는 실무에 대한 이해관계자의 지속적인 참여)의 사회학적 측면은 문제적으로 무시된다.
In implementation science literature, sustainability is a common term used when considering the potential longevity of an innovation. Although a shared definition has yet to be developed (in a recent review of 209 original research articles, 33 24 different definitions of sustainability were identified), the most common understanding of sustainability involves continued support for the delivery of the innovation (e.g., financial and human capital) and continued achievement of the desired outcomes. 33 To date, however, there have been relatively few published studies that examine programs longitudinally, so there is little literature exploring the ways in which (and reasons that) innovations continue (and evolve) effectively, deviate problematically, or devolve once institutional attention is directed elsewhere. Thus, most discussions of sustainability in the context of innovations involve proposed mechanisms of ongoing resource allocation needed to maintain the program’s practices beyond the implementation phase. Because of this focus on resources, the sociological aspects of program longevity (ongoing stakeholder engagement in the goals of the program and the practices that will achieve those goals) are problematically ignored.

[혁신의 (잠재적) 수명]을 보다 효과적으로 평가하는 새로운 모델이 필요하다. 본 논문의 목적은 구현 과학의 이론과 모델을 차용하고 구축하여 혁신의 수명을 평가하기 위한 대안 모델을 개발하는 것이다.
A new model that more effectively assesses the (potential) longevity of an innovation (and therefore increases the likelihood of longevity) is needed. The purpose of this paper is to develop an alternative model for evaluating the longevity of an innovation, borrowing from and building on the theories and models of implementation science.

방법
Method

이 접근 방식은 기존 이론과 프레임워크에서 확장되는 새로운 개념 모델을 도출하기 위해 분야에서 관련 문헌을 식별하려고 하기 때문에 비판적 문헌 검토가 우리의 목적에 가장 적합한 방법으로 결정되었다. 비판적 검토 방법론을 사용하여, 저자들은 시스템에 도입된 혁신의 수명을 탐구하기 위한 마커나 전략이 포함된 논문을 위해 구현 과학 문헌을 검색했다. 

A critical literature review was determined to be the most appropriate method for our purpose, since this approach seeks to identify relevant literature in a field to derive a new conceptual model that expands on existing theories and frameworks. 34 Using critical review methodology, the authors searched the implementation science literature for papers that contained markers or strategies to explore the longevity of an innovation once introduced into a system. 

대부분의 기사가 학술 문헌에서 발견되었지만, 일부 회색 문헌 출처는 지식 있는 동료들과의 상호작용과 구글 스콜라를 통해 확인되었다. 관련 논문을 확인한 후, 저자들은 개발 중인 진화하는 모델과 관련된 요소를 이해하고 탐구하는 관점이나 접근 방식을 제공할 수 있는 구현 과학 문헌의 모델을 식별하기 위해 참조 목록을 추적했다.
While most of the articles were found in the academic literature, some gray literature sources were also identified through interactions with knowledgeable colleagues and via Google Scholar. Having identified relevant papers, the authors traced reference lists to identify models in the implementation science literature that might offer perspectives or approaches to understanding and exploring factors relevant to the evolving model being developed.

결과
Results

이 비판적 검토와 관련된 세 가지 주요 구현 과학 모델이 식별되었다. NPT(Normalization Process Theory), CFIR(Consolidated Framework for Implementation Research), RMA(Reflective Monitoring in Action)의 개념을 통합하여 혁신의 잠재적 수명을 평가할 때 고려해야 하는 6가지 질문을 강조하는 프레임워크를 제공한다.
Three prominent implementation science models were identified as relevant to this critical review. Integrating notions from

• Normalization Process Theory (NPT), 35 
• the Consolidated Framework for Implementation Research (CFIR), 36 and
• Reflexive Monitoring in Action (RMA), 37 

we offer a framework that highlights 6 questions that must be considered when evaluating the potential longevity of an innovation.

Normalization Process Theory (NPT): 새로운 프레임워크의 토대는 May와 동료들의 작업으로 시작되었는데, 그들은 [혁신]이 [조직 환경에 효과적으로 포함]되고 [전문적 관행에 통합]되는 정도에 따라 구현의 성공이 좌우될 것이라고 제안했고, 이를 [정상화normalization]라는 프로세스로 명명하였다. [정상화]의 핵심 특징에는 다음이 포함된다.

• 변화의 추진력, 중요성 및 실천요강에 대한 공유된 이해(일관성)
  
• 혁신 활동에 참여하고 모니터링함으로써 변화에 기여한다(참가자 참여). 
  
• 새로운 관행을 수행하기 위한 상호 작용 및 관계 업무 (집단적 행동)
  
• 변경사항의 영향을 평가하는 작업(성찰적 모니터링) 

이와 같이, NPT에서 기술혁신의 수명을 평가하는 것은 개인과 집단 간의 상호 작용을 조사하고 집단적 변화에 기여하는 능력과 자원을 평가하는 것을 포함한다.

The foundation for the new framework began with the work of May and colleagues, who have suggested that the success of an implementation will be dependent on the extent to which the innovation is effectively embedded in the organizational context and integrated into professional practices, a process they describe as normalization. 35,38 Core features of normalization include

• the shared understanding of the impetus, importance, and practices of the change (coherence);
• contribution to the change by participating in and monitoring the activities of the innovation (cognitive participation);
• the interactional and relational work to perform new practices (collective action); and
• the work of evaluating the impact of the change (reflexive monitoring). 35 

As such, in NPT, evaluating the longevity of an innovation involves examining the interactions between individuals and groups as they make sense of the work and appraise their capabilities and resources to contribute to collective change.

Consolidated Framework for Implementation Research (CFIR): 다른 관점에서 모니터링과 평가를 고려하면서, Damschroder와 동료들은 [구현의 성공]은 다면적이며, 개인의 작업 이상의 요소를 수반한다고 제안했다. 그들은 프로그램 평가자들이 [더 큰 변화의 생태계]를 보도록 안내하기 위해 CFIR을 개발했다. 따라서 CIFR 모델은 5개의 주요 도메인을 조사한다.

• (1) 설계 품질 및 증거의 강도, 재판 가능성 및 변경사항의 인식된 상대적 우위성과 같은 혁신의 특성 
  
• (2) 외부 정책, 압력, 요구 및 자원과 같은 "외부의" 설정 
  
• (3) 조직의 구조, 문화 및 변화에 대한 준비와 같은 "내부의" 설정 
  
• (4) 혁신과 자기 인식에 대한 지식과 신념과 같은 개인의 특성 
  
• (5) 시스템에 변화를 도입하기 위해 사용되는 전략, 그리고 혁신 결과를 반영하고 평가하는 과정과 같은 구현 과정, 

Contemplating monitoring and evaluation from a different perspective, Damschroder and colleagues have proposed that implementation success is multifaceted and involves factors beyond the work of individuals. They developed the CFIR 36 to guide program evaluators to look at the larger ecosystem of change. Thus, the CIFR model examines 5 primary domains:

• (1) the characteristics of the innovation, such as design quality and strength of evidence, trialability, and perceived relative advantage of the change;
• (2) the “outer” setting, such as external policies, pressures, needs, and resources;
• (3) the “inner” setting, such as the structure of the organization, culture, and readiness for change;
• (4) individual characteristics, such as knowledge and beliefs about the innovation and self-efficacy; and
• (5) the process of implementation, such as strategies used to introduce change into a system, and reflecting on and evaluating innovation outcomes. 36

Reflexive Monitoring in Action (RMA): 이 두 가지 프레임워크는 RMA 프레임워크에 의해 잘 보완될 수 있습니다.

• 성찰적 모니터링은 [원하는 목표에 도달하기 위한 미래 계획을 dictate]하기 위해 [혁신에 대한 과거의 경험을 조사함]으로써 합리적인 행동을 촉진한다. 그러므로,
• RMA는 [혁신의 야망]에 도달하기 위한 [장기적인 시스템 수준 변화를 달성]하기 위해, [집단적 반성의 사용]과 이러한 [반성에서 배우는 것]을 촉진한다.
• RMA는 [혁신을 이행하는 사람들의 일상적 경험에 대한 면밀한 검토와 구현]을 넘어, [혁신을 지속하는 데 필요한 시스템 수준의 변화]를 발견하는 사이에서 진동한다.

RMA는 계획-실행-연구-행동 모델 및 의료환경의 기타 품질 개선 이니셔티브와 같은 [여러 다른 모니터링 및 평가 접근방식의 주기적 활동]과 유사하다. 그러나 이는 세 가지 측면에서 이러한 접근법과 다르다.

• 첫째, 성찰적 모니터링은 시스템 내에서 [점진적 변화를 요구하는 혁신]보다는, [급진적 변환을 요구하는 혁신]에 이상적으로 적합하다. 
  
• 둘째, RMA는 [단기간에 걸친 구현의 일부분]을 탐구하기보다는, [혁신의 장기적 야심적 목표]를 검토한다. 
  
• 셋째, RMA는 [혁신 활동의 최적화]와 [이러한 활동을 혁신의 목표에 맞추는 것] 사이에서 흔들림으로써, 혁신의 수명을 조사한다. 이름에서 알 수 있듯이, [반사적 모니터링]은 반드시 초기 구현 기간 이후에 제정되어야 하는 지속적인 프로세스이다.

These 2 frameworks can be complemented well by the RMA 37 framework.

• Reflexive monitoring promotes rational action by examining past experiences with an innovation to dictate future plans to reach desired goals. 39 
• Thus, RMA promotes the use of collective reflection, and learning from these reflections, to accomplish long-term system-level change to reach the ambitions of the innovation. 37 
• RMA oscillates between close examination of the everyday experiences of the people implementing an innovation and uncovering system-level changes that are needed to sustain the innovation beyond implementation. 37 

RMA resembles the cyclic activities of other monitoring and evaluation approaches, such as the Plan-Do-Study-Act model and other quality improvement initiatives in health care settings. 40 However, it differs from these approaches in 3 significant ways.

• First, reflexive monitoring is ideally suited for innovations that require radical transformation rather than innovations that require incremental changes within a system. 37 
• Second, RMA examines the longer-term aspirational goals of the innovation rather than exploring a segment of implementation over a short period of time. 37 
• Third, RMA examines the longevity of the innovation by oscillating between optimizing the activities of the innovation and the alignment these activities with the goals of the innovation. 37 As implied by the name, reflexive monitoring is necessarily an ongoing process that should be enacted beyond the initial implementation period.

이러한 이론, 프레임워크 및 관행을 종합하면 성공적인 구현을 위한 지표는 [[시스템과 작업을 수행하는 사람들]이 [혁신의 특징 및 활동]과 [변화의 웅대한 포부]와 상호작용하는 방법]에 뿌리를 두고 있음이 명백하다. 이와 같이, 우리의 새로운 모델인 [환경-정규화] (즉, 개인 차원뿐만 아니라, 전체 생태계의 수준에서, 혁신의 가치와 실천의 정규화)는 변화의 잠재적 수명에 초점을 맞춘 구현 연구와 평가를 위한 지침 프레임워크의 형태로 이전 문헌의 확장이다. 

Putting these theories, frameworks, and practices together, it is evident that markers for successful implementation are rooted in how the system and people doing the work interact with both the features and activities of the innovation and the grand aspirations of the change. As such, our new model, Eco-Normalization (i.e., normalization of the values and practices of the innovation not just at the individual level but at the level of the entire ecosystem), is an expansion of previous literature in the form of a guiding framework for implementation research and evaluation that focuses on the potential longevity of change.

[혁신], [혁신이 내재된 제도적 시스템], [작업을 수행하는 개별 사람들] 사이의 상호작용을 조사함으로써, 에코-정규화 모델은 [구현된 혁신의 의미]와 [혁신의 수명에 영향을 미칠 수 있는 조건과 요소]를 체계적으로 탐구하는 프레임워크를 제공한다. 그림 1. 

• 일차 수준 상호 작용은 이러한 열망과 각 3가지 구성 요소 사이의 상호 작용을 검토할 때 [변화의 포부]를 전면에 내세운다:
  • 혁신의 설계,
  • 이해관계자의 지역적 포부
  • 시스템의 포부(그림 1) 
• 이차 수준 상호 작용은 일차 수준 상호 작용 사이의 더 복잡한 관계를 탐구하기 시작한다:
  • 혁신과 작업을 하는 사람들의 실천 사이의 양립성,
  • 시스템이 이해관계자에게 영향을 미치는 방식,
  • 그리고 혁신의 특징이 시스템의 특징과 어떻게 일치하는지. 

By examining the interactions between the innovation, the institutional system in which the innovation is embedded, and the individual people doing the work, the Eco-Normalization model offers a framework to systematically explore the conditions and factors that might affect the meaningfulness and longevity of an implemented innovation as depicted in Figure 1.

• Primary-level interactions hold the aspirations of the change at the forefront when examining the interaction between these aspirations and each of 3 components:
  • the design of the innovation,
  • the local aspirations of stakeholders, and
  • the aspirations of the system (Figure 1).
• Secondary-level interactions begin to explore more complex relationships between primary-level interactions:
  • the compatibility of the innovation with the practices of the people doing the work,
  • the ways in which the system impacts stakeholders, and
  • how the features of the innovation fit with the features of the system.

다양한 구성 요소가 1차 및 2차 상호작용 수준에서 정렬(또는 정렬되지 않음)되는 정도를 평가하면 에코 정규화 프로그램 평가의 기초를 이루는 [6개의 질문]이 생성됩니다.

Assessing the extent to which the various components align (or not) at the primary and secondary levels of interaction produces 6 questions that form the basis of an Eco-Normalization program evaluation.

일차 수준 상호 작용
Primary-level interactions

[변화의 포부]와 [혁신 설계] 간의 상호 작용: 설계한 대로 [혁신]이 [변화의 웅대한 포부]와 일치합니까?
Interactions between change aspirations and innovation design: Does the innovation, as designed, align with the grand aspirations of change?

[변화의 야심찬 목표]와 [혁신의 설계] 사이의 조정은 구현 성공의 중요한 특징이다. 예를 들어, 보건직 교육에서 [대망적 목표]는 개인화된 학습 문화의 개발을 포함할 수 있다. 그러나 이러한 웅대한 포부를 새로운 실천과 활동으로 혁신으로 번역translate 하는 것은 [무엇이, 왜 일어나는가에 대한 제안 또는 가정]인 [전략적 의도strategic intention]에 기초하며, 종종 [로직 모델 또는 프로그램 이론의 개발]이라는 형태로 설명된다. 이러한 가정은 구현 충실도의 평가와 유사한 프로세스를 통해 실제로 입증, 수정 또는 이의를 제기할 수 있다. 그러나 RMA의 원칙과 일관되게, [에코 정규화 모델]은 [혁신이란, 정적이 아니라, 끊임없이 변화하는 맥락에서 진화할 것으로 예상되는 일련의 역동적 특징이다]는 전제를 포함한다. 그러므로 혁신이 진화할 것으로 예상되는 현실을 고려했을 때, [환경-정규화]의 중요한 특징은, [혁신의 활동과 실천요강이 변화 뒤에 있는 거대한 포부의 달성을 촉진하거나 방해할 수 있는 방식으로 바뀌는지(혹은 어떻게 바뀌어가는지)]를 밝혀내는 [주기적인 모니터링]이다.

The alignment between the aspirational goals of change and the design of the innovation is a critical feature of implementation success. For example, in health professions education, grand aspirational goals may include development of a culture of personalized learning. However, translating these grand aspirations into an innovation with new practices and activities is founded on strategic intentions, which are propositions or assumptions of what is believed to happen and why, and often illustrated in the form of a logic model or development of a program theory. 24 These assumptions can be proven, modified, or contested in practice, through a process that might resemble the evaluation of implementation fidelity. However, consistent with the tenets of RMA, the Eco-Normalization model includes the premise that innovations are not static, but a set of dynamic features that are expected to evolve in ever-changing contexts. Thus, considering the reality that innovations are expected to evolve, a critical feature of Eco-Normalization is cyclic monitoring to uncover if/how the activities and practices of the innovation are being altered in ways that might facilitate or hinder achievement of the grand aspirations behind the change.

변경 포부와 시스템 간의 상호 작용: [시스템 목표]가 [변화의 거대한 포부]와 일치합니까?
Interactions between change aspirations and the system: Do the system goals align with the grand aspirations of change?

혁신은 일반적으로 [문화적, 절차적, 재정적, 구조적 뿌리가 깊은 확립된 내부 환경]에 통합된다. 예를 들어, 개별화된 학습personalized learning이 변화의 밑바탕에 있는 열망일 수 있다. (이것을 하려면 교육 및 학습에 더 많은 관심과 자원이 필요할 수 있다). 기관이 원칙적으로 이러한 포부에 동의할 수 있지만, 기관 지도자들은 이러한 포부를 [주주들에 대한 재정적 책임]과 같은 [다른 가치 및 포부]와 균형을 맞춰야 할 수도 있다. [재정적으로 수익성이 좋은 활동]에 우선순위를 두는 것은 [교육 및 사회적 책임의 우수성]을 암묵적으로 또는 명시적으로 박탈할 수 있다. 따라서, 각각을 따로 보면, 이러한 열망적 목표 각각은 시스템의 우선순위가 될 수 있다. 그러나, 다 모아놓고 본다면, [변화의 동기가 되는 가치]와 [시스템에서 독점적인 가치] 사이의 충돌은, 변화의 환경-정규화 또는 수명을 방해할 가능성이 있다.

Innovations are generally incorporated into established inner settings that have deep cultural, procedural, fiscal, and structural roots. For example, personalized learning may be an aspiration underlying the change (which might require greater attention and resources dedicated to teaching and learning). While the institution might agree with this aspiration in principle, institutional leaders might have to balance this aspiration against other values and aspirations, such as financial responsibility to shareholders. Prioritizing financially lucrative activities might implicitly or explicitly deprioritize excellence in education and social accountability. Thus, in isolation, each of these aspirational goals may be priorities of the system; however, in combination, the conflict between the values that underlie the motivation for change and others that are exclusive to the system has the potential to hinder Eco-Normalization, or the longevity, of the change.

변화의 열망과 작업을 수행하는 사람들 사이의 상호 작용: [이해 관계자의 지역적 열망]이 변화의 거대한 열망과 일치합니까?
Interactions between change aspirations and the people doing the work: Do the stakeholders’ local aspirations align with the grand aspirations of change?

[혁신 개발의 가정]은 [더 나은 교육적 실천을 통한 환자 치료 개선]과 같은 [위대한 포부]가 [현장의 일선 이해관계자(교사, 학생 및 행정 직원)의 국지적 포부]와 일치한다는 것이다. 그러나, 원대한 포부는 원칙적으로 변화를 살고 있는 사람들에 의해 지지될 수 있지만, 이러한 [원대한 포부]는 종종 [일상적 실천의 관심]에서는 매우 멀리 떨어져 있다. 이것은 변화를 위한 자극과 변화를 경험하는 사람들의 기능적 요구와 가치 사이에 틈을 초래할 수 있다.

• 예를 들어, 더 큰 교육적 책임에 대한 원대한 포부는 임상 교사가 학습자에 대한 더 자주 또는 더 정확한 평가를 완료하도록 요구할 수 있다. 그러나 이것은 교사들에 의해 안전한 학습 환경을 개발하고 그들의 학습자와의 멘토 관계를 발전시키는 그들의 더 즉각적인 목표를 방해하는 "게이트 키핑" 관행으로 인식될 수 있다. 
  
• 또 다른 예로, 큰 포부는 혁신이 실천에 대한 접근 방식을 개발하는 것을 촉진하는 적응형 전문가의 개발일 수 있지만, 학습자들은 불확실성의 맥락에서 문제 해결을 가르치는 노력을 거부하도록 지식 획득과 확실성을 중시하는 뿌리 깊은 정신적 모델을 가질 수 있다.

그러므로 개발자들의 힘이 미치지 못하는 곳에서, 열망은 [현장의 이해당사자이 가지는 국지적 비전, 가치 및 상대적 우선 순위]와의 충돌로 인해, 혁신이 문제적으로 이탈하거나 중단되어 변화의 의미 있는 수명을 방해할 수 있다.

An assumption in the development of an innovation is that grand aspirations, such as improving patient care through better educational practices, align with the local aspirations of frontline stakeholders on the ground (the teachers, students, and administrative staff). However, while the grand aspirations may be supported in principle by those who are living the change, these grand aspirations are often very far removed from the concerns of daily practice. This can lead to a chasm between the impetus for change and the functional needs and values of those experiencing the change.

• For example, a grand aspiration of greater educational accountability might require clinical teachers to complete more frequent or more precise assessments of their learners, but this might be perceived by teachers as a “gatekeeping” practice that interferes with their more immediate goal of developing a safe learning environment and mentoring relationship with their learner.
• As another example, a grand aspiration might be the development of adaptive experts such that the innovation promotes developing approaches to practice, but learners might have an ingrained mental model that values knowledge acquisition and certainty leading them to reject efforts to teach them problem solving in contexts of uncertainty.

Thus, the out-of-reach aspirations of developers may lead to the innovation deviating problematically or halting because of conflicts with the more local vision, values, and relative priorities of stakeholders on the ground, hindering meaningful longevity of the change.

이차 수준 상호 작용
Secondary-level interactions

시스템과 혁신 간의 상호 작용: 혁신은 변화의 포부를 이끌어낼 방식으로 시스템과 상호 작용합니까?
Interactions between the system and the innovation: Does the innovation interact with the system in a way that will lead to the aspirations of change?

[혁신의 구현]은 [시스템의 상호 관련 부분들의 집합]에 영향을 미친다. 기존 시스템에 혁신을 도입하려면 [조직 구조, 정책, 우선 순위, 도구, 인센티브 및 위임된 역할에 대한 변화]가 필요한 것이 논리적으로 보이지만, 이러한 측면 중 일부는 [숨겨지거나, 간과되거나, 우선순위로 여겨지지 않는다]. 이러한 요인의 우선 순위가 낮으면 혁신의 궤도에 상당한 영향을 미칠 수 있다.

• 예를 들어, 혁신의 활동은 환자 치료 루틴에 대한 영향을 고려하지 않고 새로운 임상 커리큘럼을 도입하거나, 그 과정의 평가가 더 큰 평가 시스템과 어떻게 상호 작용할 수 있는지를 고려하지 않고 새로운 과정을 도입하는 것과 같이 시스템에서 양립할 수 없을 수 있다.

이러한 상호작용이 신중하게 고려되고 관리되지 않는다면, [혁신을 시스템 관행과 정책에 효과적으로 통합]하고자 할 때, (해결하기보다는) 문제를 만들 수 있다. 이러한 상황에서 [시스템 장벽]은 집단적 행동collective action을 방해할 수 있으며, 이는 혁신이 문제적으로 이탈하거나 중단되어, 성공적인 변화의 장수longevity를 방해할 수 있다.

The implementation of an innovation impacts the collection of interrelated parts of a system. While it seems logical that introducing an innovation into an existing system requires changes to organizational structures, policies, priorities, tools, incentives, and delegated roles, some of these aspects are hidden, overlooked, or not prioritized. Underprioritization of these factors can significantly impact the trajectory of an innovation.

• For example, the activities of an innovation may not be compatible in the system, such as introducing a new clinical curriculum without considering its implications for patient care routines, or introducing a new course without considering how assessment in that course might interface with the larger assessment system.

Such interactions, if not carefully considered and managed, can create (rather than solve) problems for effective integration of the innovation into systemic practices and policies. In these circumstances, systemic barriers can hinder collective action, which can lead to the innovation deviating problematically or halting, preventing the longevity of successful change.

작업을 수행하는 사람과 혁신 간의 상호 작용: 그 혁신은 변화의 열망을 이끌어낼 일을 하는 사람들의 행동과 기관에 의미를 불러일으키는가?
Interactions between the people doing the work and the innovation: Does the innovation evoke meaning to actions and agency of the people doing the work that will lead to aspirations of change?

[구현 실패] 또는 [혁신의 수명 부족]의 책임은 종종 [일선 구현자]에게 있다. [혁신에 대한 지식과 기술]과 같은 [개인의 특성]은 종종 빠진 연결고리로 여겨진다. 예를 들어, 구현과 관련된 도전은 구현자들이 변화에 대한 자극과 혁신의 활동을 제정하는 방법에 대해 더 많은 지식, 기술 또는 설득력이 필요하다고 가정하는 보다 전문적인 개발 이니셔티브와 마주한다. 그러나, [행동을 이끄는 [의미와 가치]가 발달하는 것]을 방해할 수 있는 많은 동시적 요소들이 있다. 사실, 일선 구현자들은 변화에 대한 추진력과 개발자들이 설명한 대로 활동을 수행하는 방법을 인지하고 있을 수 있다. 그러나, [강제된 혁신]은 [국지적 열망과 기능적 우선 순위]와 일치하지 않으며, [Agency 및 Power의 감각을 억압하는 것]으로 인식된다. [Agency 및 Power]은 시스템 전반의 집단적 행동의 중요한 요소인 [책임과 관계]를 육성하기 때문에, 혁신을 구현할 때 필수적이다. 예를 들어, 구현을 용이하게 하는 행정 직원의 전문적 개발을 간과하고 혁신의 수령자를 적극적으로 참여시키는 것을 소홀히 하는 것은 그들의 기관, 권력 및 집단성에 영향을 미쳐 성공적인 변화의 수명을 단축시킬 수 있다.
Often, the onus of implementation failure or the lack of longevity of an innovation is placed on frontline implementers. The characteristics of individuals, such as knowledge and skills about the innovation, are frequently assumed to be the missing link. For example, challenges with implementation are met with more professional development initiatives that assume that implementers need more knowledge, skills, or convincing about the impetus for change and how to enact the activities of the innovation. However, there are many concurrent factors that may hinder the development of meaning and values that lead to action. In fact, frontline implementers may be cogently aware of the impetus for change and how to undertake the activities as described by the developers. But, the mandated innovation is perceived to be misaligned with local aspirations and functional priorities, and stifling to the sense of agency and power. Agency and power are imperative when implementing an innovation because they foster responsibility and relationships, which are critical ingredients of collective system-wide action. For example, overlooking the professional development of administrative staff facilitating implementation and neglecting to actively engage the receivers of an innovation can impact their sense of agency, power, and collectivity, derailing the longevity of successful change.

시스템과 작업을 수행하는 사람 간의 상호 작용: 시스템은 변화의 포부를 이끌어낼 방법으로 일을 하는 사람들을 지원합니까?
Interactions between the system and the people doing the work: Does the system support the people doing the work in ways that will lead to aspirations of change?

[혁신과 시스템의 호환성과 적응성]은 일선 구현자 또는 혁신 작업을 수행하는 사람들에게 낙수 효과를 준다. 예를 들어, [혁신에서 요구되는 활동]을 위해서는 [작업흐름을 재구성하거나, 새로운 도구를 사용하거나, 임상 업무에서 교육으로 시간을 재분배]해야 할 수 있다. [시스템이 경직되고 정적이어서 새로운 관행을 수용할 수 없는 경우], 이러한 관행이 일선 이해당사자들에게 추가적인 부담이 된다. [혁신에서 요구하는 새로운 활동의 집행을 지원하는 생태계]가 없다면, 이러한 활동은 [일련의 행정적 의식rituals으로 축소]되거나, [완전히 우회될 위험]이 있다. 이는 변화의 의도를 훼손하고 혁신의 문제적 편차와 중단을 촉진하여 성공적인 장기적 변화를 방해한다.
The compatibility and adaptability of the innovation and the system has a trickle-down effect to frontline implementers, or the people doing the work of the innovation. For example, the activities of an innovation may require the reorganization of workflows or the use of new tools and reallocation of time from clinical duties to teaching. If the system is rigid and static, and therefore unable to accommodate the new practices, then these practices become an added burden for frontline stakeholders. Without an ecosystem that supports the enactment of new activities of the innovation, these activities risk being reduced to a series of administrative rituals or bypassed altogether. This undermines the intentions of the change and promotes the problematic deviation and halting of the innovation, hindering successful long-term change.

논의
Discussion

제안된 [에코 정규화 모델]에서 혁신, 작업을 수행하는 사람 및 시스템은 [공생적]이지, [독립적인 것이 아니다]. 더욱이, 환경-정규화는 경직되기보다는 역동적인 미래 계획을 수용하고 장려하기 때문에, [혁신의 진화]는 실패의 징후라기보다는, 실행의 자연스러운 과정과 결과로 간주된다. 정체성, 역할 및 활동은 새로운 것을 구현하는 작업을 수행하는 동안 진화하지만, 혁신과 시스템 역시 변화의 수명을 촉진하기 위해 구현 중에 진화해야 한다.
In the proposed model of Eco-Normalization, innovations, the people doing the work, and the system are acknowledged to be symbiotic and not independent. Further, Eco-Normalization embraces and encourages forward planning that is dynamic rather than rigid, so the evolution of an innovation is considered a natural process and outcome of implementation rather than a sign of failure. While identities, roles, and activities evolve while doing the work of implementing something new, the innovation and system, too, need to evolve during implementation to promote the longevity of the change.

[에코 정규화]의 프레이밍은 [구현의 충실도와 무결성] 사이의 차이를 그리는 증가하는 대화와 호환된다. 대부분의 구현 과학 문헌은 충실도, 무결성 및 준수라는 용어를 동의어로 사용하지만, [구현 무결성]의 사용 가능한 대체 정의를 보면, [변화의 기저 철학 및 핵심 구성요소에 충실하면서, 지역 요구와 상황에 부합하도록, 혁신의 측면을 조정하고 수정할 수 있는 능력]을 반영한다. 실제로, [혁신의 성공적인 구현을 촉진하는 중요한 요소]에는 [맥락 속에서 혁신의 적응성과 호환성]이 포함된다. 36 

The framing of Eco-Normalization is compatible with a growing conversation drawing a distinction between fidelity and integrity of an implementation. While most implementation science literature uses the terms fidelity, integrity, and adherence synonymously, 39 the available alternate definitions of implementation integrity reflect the ability to adapt and modify aspects of an innovation to be compatible with local needs and circumstances, while remaining true to the underlying philosophy or core components of the change. 41,42 Indeed, significant factors fostering the successful implementation of an innovation include the adaptability and compatibility of the innovation in context. 36 

언뜻 보면, 혁신요소의 모든 가능한 조합과 결합을 생각하는 것은 위협적이거나 관리하기 어려워 보일 수 있다. 그러나 구현 단계 중 및 이후에 [6가지 중요한 평가 질문]을 반복적으로 하면, 혁신이 어떻게 그리고 왜 최종 형태를 취하는지, 그리고 그 최종 형태가 처음에 구상한 대로 변화의 가치와 목표를 계속 지원하는 정도에 대한 이해를 통해 증거를 발전시킬 수 있다. 그렇게 함으로써, [프로그램 평가]는 [혁신의 실천에 대한 충실도 또는 고수adherence의 스냅숏]에서 [적응, 수정, 열망적 목표의 수명을 포함한) 기술혁신의 적절성을 비판적이고 주기적으로 검토하는 성찰적 프로세스]로 진화할 것이다.

At first glance, thinking of the possible permutations and combinations of innovation components may seem threatening or unmanageable. However, asking the 6 critical evaluation questions iteratively, during and after the implementation phases, can advance an evidence informed understanding of how and why innovations take their final form as well as the extent to which that final form continues to support the values and goals of change as initially envisioned. As such, program evaluation will evolve from snapshots of fidelity or adherence to the practices of an innovation to a reflective process that critically and cyclically examines the appropriateness of the innovation, including adaptations and modifications, and the longevity of the aspirational goals.

[혁신]은 [번영적prosperous 성과]를 이끌어내기 위해 제안된 [전략적 의도]를 가지고 설계되는 반면, 이러한 전략이 [[광범위한 열망적 목적과 반대되는antithetical 방식]으로 [시스템의 가치 및 관행] 및 [현장의 사람들]과 상호작용할 것]이라는 것을 제안하는 증거를 인식하기 위해서는, [비판적 검토, 반성 및 합리적인 조치]가 필요하다. "블랙박스 평가"에서 [구현의 내부 작동에 대한 이해]로 나아가는 것은 [혁신의 성공에 대한 공동체의 이해]에 있어 중요한 진전이다. 

While innovations are designed with strategic intentions that are proposed to lead to prosperous outcomes, critical examination, reflection, and rational action are necessary to recognize evidence to suggest that these strategies will interact with values and practices of the system and those on the ground in ways that are antithetical to the broader aspirational goals. Progressing from “black box evaluations” to understanding the inner workings of implementation is a significant advancement in the community’s understanding of innovation success.

[구현 충실도] 및 [구현 무결성]에 대한 이러한 이해를 바탕으로, [에코 정규화 모델]은 프로그램 평가자들이 [적응 및 수정을 포함하여, 구현 중인 혁신에 대한 철저한 검토를 통해, 혁신의 수명을 더 잘 탐색할 수 있는 잠재력]을 가지고 있다.

• 이 모델은 [혁신]을 [정적 관행의 집합]이 아니라 [역동적인 것으로 프레이밍]하며,
• [시스템]과 [현장의 노동자]들을 [그들 자신의 목표와 의제를 가진 에이전트 파트너]로 다루며,
• 이 모든 요소사이의 상호작용을 ['생태계'가 변화의 동요에 따라 "뉴 노멀"을 추구하는 것]으로 인정한다.

실제로, [환경 정규화]는 [변화의 생태계]를 신중하게 검토한다. 

• 변화에 대한 거창한 대 지역의 열망, 
• 혁신, 
• 전략적 의도, 
• 구현 작업을 수행하는 사람들, 그리고 
• 시스템의 역할. 

Building on this understanding of implementation fidelity and implementation integrity, the Eco-Normalization model has the potential to enable program evaluators to better explore the longevity of innovations through fulsome examination of what is being implemented, including adaptations and modifications.

• It frames the innovation as a dynamic rather than static set of practices,
• it treats the system and the workers on the ground as agentive partners with their own goals and agendas, and
• it acknowledges the interactions between all these factors as the ecosystem seeks its “new normal” following the perturbation of change.

Indeed, Eco-Normalization judiciously examines the ecosystem of change:

• the grand versus local aspirations for change,
• the innovation,
• strategic intentions,
• the people doing the work of implementation, and
• the role of the system.

새로운 여정을 시작하며, [에코 정규화]는 혁신 경험을 비판적이고 주기적으로 평가하여 향후 경로가 원하는 목적지 방향으로 계속 이어질 수 있도록 보장합니다. 아직 개발 초기이긴 하지만, 우리는 혁신자들과 평가자들이 이 프레임워크를 통해 [구현과 변화의 생태계에 대한 또 다른 두루뭉술함]을 벗어나, 맥락적 혁신의 수명에 기여(또는 방해)하는 특징에 대한 이해를 심화시킬 수 있기를 바란다.

When embarking on a new journey, Eco-Normalization critically and cyclically appraises innovation experiences to ensure the upcoming path continues to lead in the direction of the desired destination. Although still early in its development, we hope that, through this framework, innovators and evaluators will be able to shed another layer of elusiveness about implementation and the ecosystem of change to deepen understanding of the features that contribute to (or hinder) the longevity of innovations in context.

Copyright © 2021 by the Association of American Medical Colleges.

마라톤입니다, 단거리가 아닙니다: CBME 도입의 신속 평가(Acad Med, 2020)
It’s a Marathon, Not a Sprint: Rapid Evaluation of Competency-Based Medical Education Program Implementation
Andrew K. Hall, MD, FRCPC, MMEd, Jessica Rich, PhD, J. Damon Dagnone, MD, FRCPC, MSc, MMEd, Kristen Weersink, MD, MSc, Jaelyn Caudle, MD, FRCPC, EMDM, Jonathan Sherbino, MD, FRCPC, MEd, FAcadMEd, Jason R. Frank, MD, FRCPC, MA(Ed), Glen Bandiera, MD, FRCPC, MEd, and Elaine Van Melle, PhD 

의료 제공의 질에 대한 광범위한 우려는 대학원 의료 교육의 "행동 촉구"와 역량 기반 의료 교육(CBME)으로의 대규모 패러다임 전환을 자극했다.1 CBME는 다음과 같이 정의된다. "역량의 조직적 프레임워크를 사용하여 의료 교육 프로그램의 설계, 구현, 평가 및 평가에 대한 성과 기반 접근 방식" 역량 프레임워크는 이미 전 세계의 많은 교육 프로그램에 잘 통합되어 있지만, CBME의 통합과 구현은 전체적으로 어려운 과제였다. 다른 혁신과 마찬가지로, 그것의 성공은 시간이 지남에 따라 가정, 행동, 프로세스 및 제품의 변화에 영향을 미침으로써 프로그램의 문화를 의도적으로 전환하려는 교육 지도자들의 노력에 달려 있다. 이러한 변화 노력의 크기 때문에 시스템이 현 상태로 되돌아가는 경향이 강하다.9 결과적으로, 변형 변화는 초기 구현 노력의 강점과 과제를 평가(및 이에 대응)하기 위한 체계적인 노력이 필요하다. 의학 교육 지도자들은 분명히 이것을 인식하고 있다: "종적이고 반복적인 프로세스에서 CBME의 평가는 필수적이며 의료 교육 개혁을 시행하는 모든 조직의 책임이다."1
Broad concerns about the quality of health care provision have stimulated a “call to action” in postgraduate medical education and a massive paradigm shift toward competency-based medical education (CBME).1 CBME is defined as “an outcomes-based approach to the design, implementation, assessment, and evaluation of medical education programs, using an organizing framework of competencies.”2 Competency frameworks are already well integrated into many training programs around the world,3 but the integration and implementation of CBME in its entirety has been challenging,4,5 As with any transformative innovation, its success is dependent upon the efforts of educational leaders to deliberately shift the culture of a program by affecting a change in assumptions, behaviors, processes, and products over time.6–8 Due to the magnitude of this change effort, there is a strong tendency of the system to revert to the status quo.9 Consequently, transformational change requires systematic efforts to evaluate (and respond to) the strengths and challenges of early implementation efforts.10 Medical education leaders clearly recognize this: it has been observed that the “evaluation of CBME in a longitudinal, iterative process is essential and is a responsibility of all organizations implementing medical education reform.”1

캐나다 왕립의과대학(Royal College of Physician and Sursors)은 현재 캐나다의 67개 전공과목 및 세부전공 교육 프로그램에 걸쳐 11개의 CBME 모델을 구현하고 있습니다. 응급의료(EM)는 2018년 7월 1일부터 국가 차원에서 CBME를 시행할 예정이었다. 그러나 2015년 퀸스 대학의 모든 대학원 교육 프로그램이 2017년 7월 1일자로 유사한 CBME 모델을 동시에 구현하기로 현지 결정이 내려졌다.12 이에 따라 퀸스 대학의 EM 대학원 프로그램은 국가 파생 커리큘럼의 지역 구현을 연구할 수 있는 이상적인 기회를 제공했고, 이를 통해 퀸스 대학의 EM 대학원 프로그램은 국가 파생 커리큘럼을 제공하고, 다음 해에 국가 롤아웃을 알릴 수 있는 잠재력을 제공한다.
The Royal College of Physicians and Surgeons of Canada (Royal College) is currently implementing a specific CBME model, termed Competence By Design (CBD),11 across all 67 specialty and subspecialty postgraduate training programs in Canada. Emergency medicine (EM) was scheduled to implement CBME on a national level starting July 1, 2018. In 2015, a local decision was made however, for all postgraduate training programs at Queen’s University to implement a similar model of CBME simultaneously as of July 1, 2017.12 Accordingly, the Queen’s University EM postgraduate program provided an ideal opportunity to study local implementation of the nationally derived curriculum, offering the potential for informing the national rollout to take place the following year.

과제는 [변혁적 변화 이니셔티브로서 CBME를 평가할 수 있는 접근 방식]을 찾는 것이었다. 즉, 시간이 지남에 따라 상당한 변화가 원하는 방향으로 발생하는지 여부를 모니터링할 수 있고, 그렇지 않은 경우 필요한 과정 수정 사항을 식별할 수 있는 접근 방식을 찾는 것이었다. 프로그램 평가 분야에서, [변혁적 평가 및 연구]는 인권과 사회 정의의 문제를 다루는 데 초점을 맞춘 이니셔티브를 위해 특별히 개발된 방법론이다.13 우리가 아는 한, 변혁적 프로그램 변화를 평가하는 데 초점을 맞춘 구체적인 방법은 없다. 그러나 [신속한 평가]는 "내부 운영 결과와 외부 환경 피드백을 반복 프로세스에서 함께 사용하여 이니셔티브의 전체 전략을 테스트하고 개선하는 대화형 및 적응형 관리 프로세스"입니다.14 신속한 평가는 의도된 변경의 성격과 범위에 대한 사양에 의존합니다. 혁신이 원하는 변환을 달성하고 있는지 여부를 심층적으로 이해할 수 있습니다. 또한 구현의 충실도라고도 알려진 [혁신이 의도된 대로 구현되고 있는지]를 이해하면 15는 과정 수정이 필요할 수 있는 영역을 식별할 수 있다. 따라서 신속한 평가는 전환적 변화 이니셔티브로서의 CBME의 평가와 CBME 구현이 원하는 결과 달성과 어떻게 관련되는지에 대한 이해를 모두 가능하게 한다.16
The challenge was to find an approach that would allow for the evaluation of CBME as a transformational change initiative—an approach that could monitor whether or not substantial shifts were occurring in the desired direction, over time, and if not, to identify any required course corrections. In the field of program evaluation, Transformative Evaluation and Research is a methodology specifically developed for initiatives focused on addressing issues of human rights and social justice.13 To our knowledge, there is not a specific method that focuses on evaluating transformational program change. Rapid Evaluation, however, is “an interactive and adaptive management process in which internal operational results and external environmental feedback are used together in an iterative process to test and improve on an initiative’s overall strategy.”14 Rapid Evaluation relies on specification of the nature and extent of the intended change and so can allow for an in-depth understanding of whether or not an innovation is achieving the desired transformation. Furthermore, understanding if an innovation is being implemented as intended, also known as fidelity of implementation,15 allows for identification of areas where course correction may be required. Therefore, Rapid Evaluation enables both the evaluation of CBME as a transformative change initiative and an understanding of how CBME implementation relates to achieving desired outcomes.16

이 기사에서, 우리는 퀸즈 대학의 EM을 작업 사례로 사용하여 프로그램 수준에서 변환 변화 이니셔티브로서 CBME를 평가하기 위한 새로운 접근 방식으로 신속 평가의 사용을 설명한다. 평가는 구현의 충실도를 측정하고 구현의 초기 결과를 확인하는 데 초점을 맞췄다.
In this article, we describe the use of Rapid Evaluation as a novel approach to evaluating CBME as a transformational change initiative at the program level, using EM at Queen’s University as a worked example. The evaluation focused on measuring the fidelity of implementation and identifying early outcomes of implementation, both anticipated and unanticipated.

방법
Method

[사례 연구 방법론 ]17을 사용하여 [신속한 평가의 반복적 주기]를 사용하여 퀸스 대학교 EM 프로그램에서 CBME를 구현한 실제 경험을 탐색했다. 앞에서 설명한 신속 주기 평가 접근 방식을 기반으로 한 신속 평가 접근 방식은 [진화적 적응 과정]에 관여하는 증거를 포착하고 적시에 제공하는 데 초점을 맞췄다(그림 1). 이 모델에서, 평가자는

• (구현 단계에 적합한 맥락과 예상 결과를 포함한) [변화의 성격에 대한 명시적인 설명]으로 시작한다.
• 이어서 실제 구현에 대한 정보를 수집합니다.
• 그런 다음 이러한 데이터를 사용하여 실제 구현 프로세스와 결과를 설명하고, 혁신이 의도한 대로 구현되고 있는지 확인하고, 예상 및 예상치 못한 결과를 포착할 수 있습니다.19
• 그런 다음, 이해관계자에게 즉시 피드백이 제공되며, 필요한 모든 과정 수정이 식별 및 구현됩니다.
• 그런 다음 평가는 미리 정해진 간격으로 반복되어 적시에 지속적인 구현 모니터링을 할 수 있다.

We used a case-study research methodology17 to explore the lived experience of implementing CBME in the Queen’s University EM program using iterative cycles of Rapid Evaluation. Building on the previously described Rapid-Cycle Evaluation approach,10 our Rapid Evaluation approach focused on capturing and providing timely evidence to engage in a process of evolutionary adaptation (Figure 1). In this model,18 

• the evaluator starts with an explicit description of the nature of the change, including the context and anticipated outcomes appropriate to the stage of implementation.
• This is followed by collection of information about the actual implementation.
• These data can then be used to describe the actual implementation processes and outcomes to determine if the innovation is being implemented as intended and to capture anticipated and unanticipated outcomes.19 
• Feedback is then immediately provided to stakeholders, and any required course corrections are identified and implemented.
• The evaluation is then repeated at predetermined intervals, allowing for timely ongoing monitoring of implementation.

중요한 특징과 의도된 결과에 대한 명시적인 설명을 만들기 위해, 우리는 핵심 구성요소 프레임워크(CCF)를 사용했다.20 CCF는 CBME 프로그램의 구성 요소를 결과 역량, 시퀀싱 진행, 맞춤형 학습 경험, 역량 중심 지침 및 프로그래밍 평가의 5가지 범주로 구성한다. CCF는 퀸스 대학교 응급의학과 훈련 프로그램의 고유한 맥락에서 해석되어 예상 단기 결과와 함께 의도된 대로 구현될 경우 CBME가 어떻게 보일지에 대한 명시적인 설명을 생성했다.
To create an explicit description of the critical features and intended outcomes, we used the core components framework (CCF).20 The CCF organizes the building blocks of a CBME program into 5 categories:

• outcome competencies,
• sequenced progression,
• tailored learning experiences,
• competency-focused instruction, and
• programmatic assessment.

The CCF was interpreted in the unique context of Queen’s University EM training program to generate an explicit description of what CBME should look like if implemented as intended, along with anticipated short-term outcomes.

데이터 수집을 시작하기 전에 퀸스 대학 보건 과학 및 부속 교육 병원 연구 윤리 위원회(Emed-262-17)로부터 연구 승인을 받았다. 우리는 CBME(구현 후) 구현 후 2회의 신속 평가 사이클을 실시했습니다. 데이터는 그룹당 최대 5명의 참가자와 함께 주요 이해관계자(주민, 교수진, 학술 자문자, CBME 리드, 프로그램 디렉터[PD])의 포커스 그룹 인터뷰를 사용하여 실제 구현을 측정하기 위해 3개월(2017년 9월 21일-10월 5일)과 9개월(2018년 2월 26일-3월 9일)에 획득되었다. 이해관계자가 구현 후(3개월)에 신속하게 참여하도록 하고, 이해관계자가 두 번째 평가 주기(9개월) 전에 후속 적응을 인지할 수 있도록 하기 위해 이러한 평가 간격을 선택했다. 
Before commencing data collection, we received study approval from the Queen’s University Health Sciences and Affiliated Teaching Hospitals Research Ethics Board (Emed-262-17). We engaged in 2 Rapid Evaluation cycles after implementation of CBME (post-implementation). Data were acquired at 3 months (September 21–October 5, 2017) and 9 months (February 26–March 9, 2018) post-implementation to measure the actual implementation, using focus group interviews of key stakeholders (residents, faculty members, academic advisors, CBME lead, program director [PD]) with up to 5 participants per group. We chose these intervals of evaluation to ensure stakeholders were rapidly engaged post-implementation (3 months) and to allow for stakeholders to perceive subsequent adaptations before the second evaluation cycle (9 months).

표 1은 참가자 그룹과 표본 크기를 요약한 것입니다. 우리는 모든 잠재적 이해관계자 그룹을 대표하고 각 그룹의 모든 잠재적 초점 그룹 참가자를 참여시키기 위해 참가자 그룹을 선택했다. 인터뷰와 포커스 그룹은 프로그램 리더십이나 구현 프로세스에 관여하지 않은 연구팀(J.R.)의 한 멤버에 의해 조정되었습니다. 3개월 동안의 인터뷰 질문은 프로그램에서의 이해관계자의 역할과 관련된 이해 강점과 과제, 프로그램 구현에 대한 경험과 우려, 지속적인 프로그램 개발 및 구현을 개선하기 위한 제안 등을 탐구하는 데 초점을 맞췄다. 9개월의 인터뷰 질문은 3개월의 새로운 발견에 의해 알려졌고 CBME의 중요한 기능과 관련된 새로운 주제를 포착하기 위해 CCF에 매핑되었다. 인터뷰 가이드는 보충 디지털 부록 1과 2에서 구할 수 있으며 https://links.lww.com/ACADMED/A762에서 구할 수 있다.

Table 1 presents a summary of our participant groups and sample sizes. We chose participant groups to ensure all potential stakeholder groups were represented, and all potential focus group participants from each group were invited to participate. Interviews and focus groups were moderated by one member of our research team (J.R.), who was not involved in the program leadership or implementation process. Interview questions at 3 months focused on exploring stakeholders’ perceived strengths and challenges associated with their role(s) in the program, experiences and concerns with program implementation, and suggestions for refining ongoing program development and implementation. The 9-month interview questions were informed by the 3-month emergent findings and mapped to the CCF to capture emerging themes related to the critical features of CBME. Interview guides are available in Supplemental Digital Appendices 1 and 2, available at https://links.lww.com/ACADMED/A762.

데이터 수집 중 각 이해관계자 그룹과의 1차 회의 후 포화도 21이 달성되었다. 이해관계자 그룹 내 또는 이해관계자 그룹 전체의 논평에서 새로운 통찰력은 나타나지 않았다. 이 시점에서, "CCF에 기초하여, 각 핵심 구성 요소와 관련된 새로운 주제를 설명하기에 충분한 데이터가 있는가?"라는 연구팀의 질문에 답함으로써 [이론적 포화도]를 결정했다. 우리는 emerging themes에 대해 논의하고 다양한 통찰력의 반대증거counterevidence을 확인하기 위해 3개월과 9개월에 교수진이 있는 두 번째 포커스 그룹을 사용했다. 참가자들의 허락을 받아, 인터뷰는 오디오 녹음되었고, 외부 전사 서비스에 의해 문자 그대로 옮겨졌으며, 우리 연구팀(J.R.)의 한 사람이 정확성을 확인했다. 데이터 수집 및 분석에 대한 전반적인 접근 방식은 납치적이어서 CCF와 관련하여 주제와 새로운 통찰력이 나타날 수 있었다. 정성적 연구 내에서, 유괴는 인식된 결과와 그 선례에 대한 그럴듯한 추론을 만들기 위해 데이터 기반 귀납 분석과 이론 기반 연역 분석을 결합한다.22 우리는 데이터 세트에 주석을 달고 코딩하기 위해 NVivo 소프트웨어 버전 11.4.3(QSR International Ltd., Melbourne, Australia)을 사용했다. 3개월간의 인터뷰에 대한 주제 분석에 이어 기술 보고서를 작성하여 즉시 모든 지역 및 국가 이해 관계자에게 이메일을 통해 배포하였다. 3개월 간의 기술 보고서는 지역 이해관계자에 의한 회원 데이터 확인과 진행 중인 지역 및 국가 구현을 알리기 위한 정보의 신속한 확산이라는 두 가지 목적을 수행했다. 
During data collection, saturation21 was achieved after one round of meetings with each stakeholder group. No new insights were emerging from comments within or across the stakeholder groups. At this point, theoretical saturation was determined by posing and answering the following question as a research team: “based on the CCF, do we have sufficient data to illustrate emergent theme(s) relevant to each core component?” We used the second focus group with faculty at both 3 and 9 months to discuss emerging themes and to check for counterevidence of divergent insight(s). With the permission of participants, interviews were audiorecorded, transcribed verbatim by an external transcription service, and checked for accuracy by one member of our research team (J.R.). The overall approach to data collection and analyses was abductive, allowing for themes and novel insights to emerge in relation to the CCF. Within qualitative research, abduction involves a combination of data-driven inductive analysis and theory-based deductive analysis to make plausible inferences about perceived consequences and their antecedents.22 We used NVivo software, version 11.4.3 (QSR International Ltd., Melbourne, Australia) to annotate and code the dataset. Following thematic analysis of 3-month interviews, a technical report was generated and immediately disseminated to all local and national stakeholders via email. The 3-month technical report served dual purposes: member checking data by local stakeholders and rapid spread of information to inform ongoing local and national implementation.

결과.
Results

이상적인 구현에 대한 설명: 상황, 변경 사항 및 예상 결과
Description of ideal implementation: Context, changes, and expected outcomes

CCF를 사용하여 정의한 CBME 구현의 [기대 결과 요약]은 표 2에 제시되어 있다. 퀸스 유니버시티 전자파 훈련 프로그램은 왕립대학이 개략적으로 설명한 CBD 모델로 설계되었으며, 여기서 EM 수련의사는 훈련의 4개의 순차적 단계 내에서 분야별 역량을 개발하기 위해 의대에서 습득한 기술을 기반으로 한다.23 EM 전문 위원회에서 도출한 문서이다.CBME와 관련된 것은 EM24에 대한 신뢰할 수 있는 전문 활동(EPA)과 구성 요소 마일스톤과 EM.25에 대한 필수 교육 경험을 포함했다. 참고: CBD에서 26, 역량은 각 EPA의 구성 마일스톤과 함께, 단계-특이적 EPA에 의해 정의된다.

A summary of the expected outcomes of CBME implementation, as defined using the CCF, is presented in Table 2. The Queen’s University EM training program was designed in the model of CBD as outlined by the Royal College, in which training EM physicians build upon the skills acquired in medical school to develop discipline specific competency within 4 sequential stages of training.23 Derived by the EM Specialty Committee, the documents defining the program relevant to CBME included the entrustable professional activities (EPAs) and their component milestones for EM24 and the required training experiences for EM.25 Note that in contrast to the use of milestones to organize competency by the Accreditation Council for Graduate Medical Education (ACGME),26 in CBD, competence is defined by stage-specific EPAs each with component milestones.23

이 EM 대학원 프로그램은 캐나다 전역의 18개의 5년 레지던트 교육 프로그램 중 하나로, 연간 4명의 레지던트들을 받아들입니다. 연구 기간 동안 35명의 전임 EM 교수진이 의사 그룹에서 일하고 있었다.
This EM postgraduate program is one of 18 five-year residency training programs across Canada, accepting 4 residents per year. During the study period, there were 35 full-time EM faculty working in the physician group.

이 프로그램은 PD, 보조 PD, CBME 리더에 의해 관리되었으며 전임 관리 보조자에 의해 지원되었다. 다른 독특한 역할에는 제한된 전공의 그룹에 대해서만 종적 코칭 역할을 하는 학술적 조언자가 포함되었다. 또한, CBME 전공의 인솔자가 주민 개발을 지원하고 프로그램 행정과 전공의 간 연락을 취했다. 구현 전략의 주요 프로세스는 목록 1에 요약되어 있습니다.
The program was administered by a PD, assistant PD, and CBME lead and supported by a full-time administrative assistant. Other unique roles included academic advisors, who functioned in a longitudinal coaching role with a limited group of residents. As well, a CBME resident lead assisted with resident development and liaised between program administration and residents. The key processes of the implementation strategy are outlined in List 1.

목록 1
List 1

Queen's University 응급의학부 신속평가를 이용한 CBME 프로그램 구현 연구, 2017-2018

Key Processes of CBME Implementation, From a Study of CBME Program Implementation Using Rapid Evaluation, Queen’s University Department of Emergency Medicine, 2017–2018

행정전환 Administrative transition

• CBME 리드 위임(2015년 5월)
• 대학원 CBME 워크숍(2015년 5월~2017년 7월 격월)
• 학술자문위임 및 교육(2017년 1월 ~ 6월)
• 역량위원회 발전(2017년 9월~2018년 6월 분기별)
• 프로그램 관리자 교육(2015년 9월~2017년 5월 연 2회)
• 기관전자포트폴리오(엘렌트라 온라인 플랫폼) 구현(2015년 9월)
  
  
• CBME lead delegation (May 2015)
• Postgraduate CBME workshops (bimonthly May 2015 to July 2017)
• Academic advisors delegation and training (January to June 2017)
• Competence committee development (quarterly September 2017 to June 2018)
• Program administrator training (twice annually September 2015 to May 2017)
• Institutional electronic portfolio (Elentra online platform) implementation (September 2015)

교직 전환 Faculty transition

• EM 그랜드 라운드:
  
• EM 부서 회의 프레젠테이션:
  
• 실무 교수진 육성 워크숍(2017년 5월):
  
• 구현 후 교수진 개발:
  
  
• EM grand rounds:
• EM department meeting presentations:
• Practical faculty development workshops (May 2017):
• Post-implementation faculty development:

전공의 전환 Resident transition

• 전공의 CBME 리드 대표단(2017년 1월)
  
• 전공의 실무 훈련교육(2017년 5월):
  
• 구현 후 전공의 교육:
• Resident CBME lead delegation (January 2017)
• Practical resident training sessions (May 2017):
• Post-implementation resident training:

약어: CBME, 역량 기반 의료 교육, EM, 응급 의료, EPA, 신뢰할 수 있는 전문 활동.
Abbreviations: CBME, competency-based medical education; EM, emergency medicine; EPA, entrustable professional activity.

우리는 EM 전공의들에게 EPA 기반 전자 평가 양식을 사용하여 로테이션shift 당 1개 또는 2개의 평가를 획득할 것을 요청했다. 모든 작업장 기반 평가는 목적에 맞게 구축된 모바일 온라인 플랫폼(캐나다 온타리오주 킹스턴의 엘렌트라)을 사용하여 수행 및 추적되었습니다. 평가 양식에는 평가 대상 EPA에 대한 자세한 설명, 관련 마일스톤, 2개의 위탁 등급 척도 중 하나, 27,28 및 필수 서술형 피드백 상자가 포함되었다. 각 전공의는 진행 상황을 모니터링하고 전공의 개인 학습 계획(PLP)의 개발을 촉진하기 위해 분기별로 교육 어드바이저와 전자 대시보드를 검토했다.29 교육 어드바이저 회의 직후, EM 역량 위원회(PD, CBME 리드, 4명의 교육 어드바이저로 구성)가 모든 교육생의 교육을 검토하기 위해 모였다. [평가 및 훈련 단계 내 / 단계 간] 전공의 진급progression에 대한 합의된 결정을 내린다. 의사 결정 프로세스는 왕립 대학 역량 위원회 지침과 ACGME에 의해 설명된 것을 모델로 했다. 이 맥락에서, 일선에서 이뤄지는 각각의 EPA-기반 평가는 저부담 평가였지만, 역량위원회에 의한 고부담 의사결정에 정보를 제공한 것은 이러한 저위험 평가의 종합과 종합이었다. 

We asked EM residents to acquire 1 or 2 assessments per shift using EPA-based electronic assessment forms. All workplace-based assessments were performed and tracked using a purpose-built mobile online platform (Elentra, Kingston, Ontario, Canada). Assessment forms included a detailed description of the EPA being assessed, the relevant milestones, one of 2 entrustment rating scales,27,28 and a mandatory narrative feedback box. Each resident reviewed their electronic dashboard with their academic advisor quarterly to monitor progression and facilitate the development of resident personal learning plans (PLPs).29 Immediately following the academic advisor meetings, the EM competence committee (made up of the PD, CBME lead, 4 academic advisors) met to review all trainees’ assessments and make consensus decisions around resident progression within and between stages of training. The decision-making processes were modeled after those described by the Royal College Competence Committee Guidelines30 and the ACGME.31 In this context, each frontline EPA-based assessment was alone a low-stakes assessment, but it was the aggregate and synthesis of these low-stakes assessments that informed high-stakes decisions by the competence committee.

실제 구현 및 그에 따른 적응의 측정
Measurement of actual implementation and resultant adaptations

3개월 및 9개월 데이터로부터의 새로운 주제와 프로그램 적응은 CCF에 따라 구성되며 표 2에 요약된다. 다음 범주에는 중요한 발견을 더 자세히 설명하기 위한 인용문의 예가 포함되어 있습니다.
Emergent themes and resultant program adaptations from the 3- and 9-month data are organized according to the CCF20 and summarized in Table 2. The following categories include examples of quotes to further describe important findings.

결과 역량.
Outcome competencies.

초기 구현 전략은 CBME의 원칙을 이해하는데 영향을 미쳤다. 이해 당사자들은 처음에 CBME에 대해 비판적인 입장을 취했다. 한 교수진이 설명했듯이, "우리는 [훈련]을 훨씬 더 기술적으로 만들고 교육학적 용어로 정의하고 있지만, 그것이 결과에 차이를 만들지는 잘 모르겠다." 이후 추가적인 교수진 개발 이후, 비판적인 입장은 CBME가 훈련을 더 나은 방향으로 개선할 것이라는 조심스러운 낙관론으로 전환되었다. 한 학술 고문/역량 위원회 위원은 CBME 구현을 EMR의 도입에 비유했습니다: "아마도 부서의 절반이 전자 의료 기록에 반대하는 목소리를 냈을 것입니다... 그리고 오늘날 여러분이 그것을 본다면, 우리는 '그거 없이 어떻게 했었지?'라고 말할 것입니다."
Initial implementation strategies resulted in variable stakeholder understanding of the principles of CBME. Stakeholders initially adopted a critical stance regarding CBME. As one faculty member explained, “We’re kind of making [training] much more descriptive and defining it in pedagogical terms, but I’m not sure if it’s going to be any different in the end.” After subsequent additional faculty development, the critical stance shifted toward a cautious optimism that CBME would improve training for the better. One academic advisor/competence committee member likened CBME implementation to the adoption of an electronic medical record: “Probably half the department was really vocal against it. . . . And if you look at it today, we would say ‘how did we ever function without it?’”

순차적 진행. Sequenced progression.

[CBME에 대한 비판적 입장]에 기여한 것은 [위임의 개념]과 [개별 단계별 EPA와 현장에서의 마일스톤 평가에 대한 초기 좌절]이었다. 교수진은 평가할 EPA를 선택하고, 복잡한 과제의 일부를 평가하기 위해 위임 척도를 사용하며, 개별 이정표의 달성에 대한 판단을 내리는 것은 모두 임상적 요구를 관리하는 동안 상당히 벅찬 일이라고 보고했다. 전반적으로, 단계별 EPA의 성격과 목적 및 부분적 과제의 위임에 관한 [공유된 정신 모델의 부족]이 명백했다. 이 단계의 특수성의 목표를 이해한 교수진들조차도 복잡한 과제의 일부에 기초하여 기준이 되는 위임 결정을 내리는 것이 어렵다는 데 동의하였다. 한 교직원이 설명했듯이, "우리의 뇌는 어텐딩을 위한 완벽한 수행이 무엇인지에 기초하여 누군가를 평가하도록 프로그램되어 있고, 건설적인 피드백은 레지던트가 다르게 할 수 있거나 해야 하는 것과 관련이 있다."
Contributing to a critical stance toward CBME was early frustration with the concept of entrustment and the assessment of individual stage-specific EPAs and milestones in situ. Faculty reported that selecting an EPA to assess, using an entrustment scale to assess part of a complex task, and making judgments about the achievement of individual milestones, all while managing clinical demands, were quite overwhelming. Overall, a lack of shared mental model regarding the nature and purpose of stage-specific EPAs and entrustment of partial tasks was apparent. Even those faculty who understood the goals of this stage specificity agreed that it was challenging to make entrustment decisions that were criterion referenced based on a portion of a complex task. As one faculty member explained, “Our brains are programmed to evaluate somebody based on what a perfect performance would be for an attending and constructive feedback relates to what the resident could or should do differently.”

교수진 전반에 걸쳐, [개별 이정표의 달성에 대한 결정을 내리는 데 필요한 인지적 노력]은 특히 번거로운 것으로 인식되었다. 또한 [관찰된 개별 마일스톤 평가의 결과]는 [전공의의 PLP에 대한 academic advisors의 정보 제공]이나 [역량 위원회 구성원이 공식적인 진행 결정]을 위한 정보를 거의 제공하지 않는 것으로 인식되었다. 결과적으로, 많은 교수진이 [마일스톤의 직접 평가에서 이탈]하였고, 프로그램 리더(CBME 리더 및 PD)는 마일스톤을 평가의 선택적 구성요소로 만들기로 결정했다.
Across faculty members, the cognitive effort required to make decisions about the achievement of individual milestones was specifically perceived as cumbersome. Further, the results of individual milestone assessments observed were perceived as providing little information for academic advisors to inform residents’ PLPs or for competence committee members to make formal progression decisions. Consequently, many faculty members disengaged from directly assessing milestones, and a decision was made by program leaders (CBME lead and PD) to make milestones an optional component of the assessment.

맞춤형 학습 경험.
Tailored learning experiences.

3개월간의 교육 후, [주니어 전공의]들은 [EM에 조기 몰입]하는 것에 대해 감사를 표했는데, 이는 기존 접근 방식에서 [초기 오프-서비스 경험]으로의 변화였다. 게다가, 그들은 훈련 경험의 어떠한 커스터마이징도 아직 인지하지 못했음에도 불구하고, 훈련의 후반 단계에서 교대를 협상하는 것에 대해 낙관적인 견해를 나타냈다. 전공의들은 처음에 맞춤형 학습 경험의 중요한 촉진자로 생각되는 [PLP의 가치]에 대해 엇갈린 견해를 보였다. 29명의 주니어 거주자들은 PLP가 한 참가자가 지적한 바와 같이 직접 관찰할 수 있는 기회의 우선 순위를 정하는 데 도움이 되는 "매우 유용함"을 발견했다. 그러나 PLP가 "체크박스; 우리가 CBME를 하고 있다는 것을 증명하기 위한 서류 절차"일 뿐이라는 한 선임 레지던트의 관찰은 고급 교육생들에게는 일반적인 것으로 보였다. 그러나 프로그램 관리자의 관점에서 PLP는 향상된 학습 기회를 지시하는 데 가치가 있다고 인식되었다.

After 3 months of training, junior residents expressed appreciation for early immersion in EM, which was a change from the prior approach to early off-service experiences. Further, they expressed optimism about negotiating rotations in the later stages of training, despite not perceiving any customization of the training experience yet. Residents initially had mixed views on the value of PLPs, which are thought to be important facilitators of tailored learning experiences.29 Junior residents found PLPs to be “very useful,” as one participant noted, in helping to prioritize opportunities for direct observation. Yet a senior resident’s observation that the PLPs were “a check box; just more paperwork process to prove that we’re doing CBME” seemed representative for advanced trainees. From the perspective of program administrators, however, PLPs were perceived to have value in directing enhanced learning opportunities; one such comment was, “there’s already been a change in course or path for some people.”

역량 중심 교육.
Competency-focused instruction.

교수진과 전공의 모두, [EPA와 이정표]가 준거-참고 피드백을 장려하는 데 도움이 될 수 있지만, 피드백이 발달적으로 건설적이라는 보장은 없다는 것을 재빨리 인지했다. 한 역량위원은 "건설적인 피드백을 주고받는 것은 누구에게나 편한 일이 아니다. 새로운 시스템을 도입한다고 해서 그 누구의 행동도 바뀌지 않을 것입니다." 이러한 정서는 프로그램 리더들과도 공유되었는데, 한 참가자는 "피드백이 정직하게 주어지고 정직하게 받아들여지는 문화를 바꾸는 것이 가장 큰 걸림돌"이라고 설명했다. 이것은 건설적인 피드백의 제공, 문서화 및 수용과 관련된 교수진과 전공의 개발 활동의 형태로 상당한 노력과 적응을 촉진했다. 9개월 간의 구현 후, 프로그램 이해 당사자들은 리더십 노력에도 불구하고 대부분의 교수진이 [건설적인 피드백을 주고 기록하는 것을 계속 회피한다]는 데 동의했습니다. 한 EM 교수진은 "목표적인 피드백을 제공하는 데 매우 동기부여가 되었지만, 뇌는 자연스럽게 총체적으로globally 생각합니다. 결국에는 어떤 사람에 대한 전반적인 제스처로부터 그 작업에 이르기까지 인지적인 단계를 만들어야 합니다. 그리고 좋은 피드백을 주기 위해서 그 작업의 아주 구체적인 부분에 대해 정말로 생각해야 합니다. 쉽지 않은 일이고 지금도 가끔 실패해요."
Both faculty and residents were quick to recognize that while EPAs and milestones may help to encourage criterion-referenced feedback, there was no guarantee that feedback would be developmentally constructive. As one competence committee member explained, “giving and receiving constructive feedback is not a comfortable thing for anyone. Implementing a new system isn’t going to change anyone’s behavior.” This sentiment was also shared by program leadership, with one participant explaining that the biggest hurdle was “getting the culture to change where feedback is given honestly and accepted honestly.” This prompted substantial efforts and adaptations in the form of faculty and resident development activities relating to the provision, documentation, and acceptance of constructive feedback. After 9 months of implementation, program stakeholders agreed that despite leadership efforts, most faculty continued to shy away from giving and documenting constructive feedback. One EM faculty member explained, “even though I’m very motivated to provide targeted feedback, your brain just naturally thinks globally ... you have to actually make that cognitive step from your overall gestalt about somebody down to the task, and then really think about the very specifics of the task in order to give good feedback. That’s not easy, and I still fail sometimes.”

프로그램 평가.
Programmatic assessment.

프로그램적 평가에는 여러 이해관계자의 협조적인 노력이 필요하며, 각 이해관계자는 형성적 및 총괄적 평가를 위해 중요하고 보완적인 역할과 책임을 갖는다. 32 CBME 요건은 초기에는 기존 시스템 요건을 대체하기보다는 추가되는 것으로 인식되었다. e-포트폴리오 요약 보고 메커니즘이 개발되는 동안, 그것은 전공의와 교수진이 개별 성과 평가의 수와 결과를 수동으로 추적하는 "좌절스럽고" "억지스러운" 작업이라고 설명되었다. 프로그램 리더는 초기 역량 위원회 회의를 "클릭은 많지만 대화는 적다"고 설명했습니다. 또한, CBME 리더 및 교육 어드바이저라는 두 가지 새로운 역할의 추가는 PD 포트폴리오와 중복될 뿐만 아니라 프로그램 변경 및 상주 성과 정보에 대해 누가 통보받아야 하는지에 대한 이해관계자 사이의 혼란을 야기했다. 이로 인해 모든 이해당사자에 대한 역할 설명의 수정, 설명 및 보급이 촉진되었습니다.

Programmatic assessment requires the coordinated efforts of multiple stakeholders, each having important and complementary roles and responsibilities for formative and summative assessment.32 CBME requirements were initially perceived as being added onto rather than replacing old system requirements. While e-portfolio summary-reporting mechanisms were in development, they were described was a “frustrating” and “make-work” task for residents and faculty to manually track the number and results of individual performance assessments. Program leaders described early competence committee meetings as having “a lot of clicking, and not as much talking.” Further, the addition of 2 new roles—the CBME lead and academic advisors—created overlap with the portfolio of the PD as well as confusion among stakeholders regarding who should be informed of program changes and resident performance information. This prompted revision, clarification, and dissemination of role descriptions for all stakeholders.

평가 사이클을 거치며, 이해 당사자들은 신중하게 탐색하던 것에서 평가 역할과 책임을 공동으로 개발하고 개선하는 것으로 전환했습니다. 대부분의 혼란과 그에 따른 역할 수정은 [지도 교수의 역할]과 [역량 위원회의 의사 결정 과정]에 집중되었다. 예를 들어, 한 지도교수가 설명했듯이, "지도교사는 코칭, 멘토링, 평가의 모호한 모델을 가지고 있고, 그것들이 항상 맞물리는 것은 아니다." 게다가, 역량 위원회 과정의 내적 업무를 반성해 보라는 질문에 위원들은 "일반적으로 배우는 과정이었다"라고 매우 분명하게 말했다.
Through the evaluation cycles, stakeholders transitioned from cautiously navigating to co-developing and refining assessment roles and responsibilities. Most confusion and subsequent role-revision centered around the role of the academic advisor and the decision-making processes of the competence committee. For example, as one academic advisor explained, “the academic advisors have a blurred model of coaching, mentoring, and evaluating, and they don’t always mesh.” Further, when asked to reflect on the inner working of competence committee processes, members were very clear that “it’s generally a learning process.”

논의
Discussion

우리는 [구현의 충실도를 조사]하고 [개별 프로그램 수준에서 CBME의 구현 후 단기 성과를 평가]하기 위한 [신속 평가]의 사용에 대해 설명하였다. 이론적으로 CBME 모델을 채택하는 데 장점이 있지만, 퀸스 대학교 맥락에서 운영상의 과제는 성공적인 구현을 위협했다. 여러 이해관계자 그룹의 관점을 고려하고 초기 설계에 대한 적응을 구현하는 과정에서, 우리는 몇 가지 중요한 교훈을 배웠다.
We have described the use of Rapid Evaluation to examine the fidelity of implementation and evaluate the short-term outcomes post-implementation of CBME at the individual program level. While in theory there is merit to adopting a CBME model,1 operational challenges in the Queen’s University context threatened successful implementation. In considering the perspectives of multiple stakeholder groups, and implementing adaptations to our initial design, we have learned several important lessons.

레슨 1: CBME의 실제 구성 요소를 구현하는 것은 "단거리"입니다.
Lesson 1: Implementing the practical components of CBME is the “sprint”

CBME를 계획하고 구현하는 초기 단계에서는 [구조]에 초점을 맞췄습니다. CBME의 모든 실용적이고 기능적인 측면을 어떻게 배치하여 시스템이 가동되도록 할 것인가? [핵심 부품을 지탱할 수 있는 구조를 갖추는 것]은 최소한의 조치였습니다.

• 필수적인 구조에는 [테크놀로지, 교육 지원 및 프로그램 챔피언]이 포함되었습니다.
• 변화를 구현하기 위해서는 [데이터 시각화를 갖춘 전자 포트폴리오], [평가 및 평가에 대한 교육 전문성], CBME 구현에 대한 [기관 및 프로그램 수준의 리더십]이 필요했다.

In the early stages of planning for and implementing CBME, the focus was on structure: how were we going to get all the practical and functional aspects of CBME in place so that the system got up and running? Having structures in place to support the core components was the bare minimum.

• Essential structures included technology, educational support, and program champions. An electronic portfolio with data visualization, educational expertise in assessment and evaluation, and institutional and program-level leadership in CBME implementation were needed to implement change.

그러나 우리는 CBME가 "완전히 제대로 작동up and running" 되어 있다고 해서 시스템이 기능적이거나 의도된 목표를 즉시 달성한다는 것을 의미하지는 않는다는 것을 배웠다. 프로그램적 평가를 지원하는 구조를 갖추고 있음에도 불구하고, 우리의 평가 시스템은 건설적인 피드백을 문서화하는 데 교수진의 망설임으로 인해 제한되었다. 이렇게 되면, 역량 위원회의 증거 정보에 근거한 의사결정이 훼손될 수 있다.33 지속적인 학습 및 진행/진급 의사결정에 대한 지침은 그러한 의사결정이 이루어진 근거만큼만 타당하다.34 정직한 평가와 건설적인 피드백을 제공하는 데 대한 도전은 새로운 것이 아니며, 35,36 우리는 CBME의 구현과 함께 기존의 어려움이 사라질 것이라고 기대하지 말아야 한다. [교수 개발을 위한 독특한 전략], [EM 부서의 헌신적인 교수 평가관], 또는 [시뮬레이션 환경에서의 더 빈번한 평가]가 일선 평가의 타당성 및 신뢰성을 높이는 데 도움이 될 수 있다.

We have learned, however, that just because CBME is “up and running” doesn’t mean that the system is functional or achieving the intended aims immediately. Despite having structures in place to support programmatic assessment, our system of assessment was limited by faculty members’ hesitation to document constructive feedback. When this occurs, evidence-informed decision making by the competence committee may be undermined.33 Guidance for ongoing learning and progress/promotion decisions are only as good as the evidence upon which they are made.34 The challenges with providing honest assessment and constructive feedback are not new,35,36 and we should not have expected them to disappear with the implementation of CBME. Unique strategies for faculty development, dedicated faculty assessors in the EM department, or more frequent assessment in simulated settings may have been of benefit to increase the validity and reliability of frontline assessment.

2과: CBME의 핵심 구성 요소를 실현하는 것이 "마라톤"입니다.
Lesson 2: Realizing the core components of CBME is the “marathon”

변화는 어렵고, 변화를 지속하는 것은 훨씬 더 어렵다. 37 CBME 구현에서 환원주의를 좌절시키는 것은 지속적인 노력이 필요하다. 1,38 우리의 연구 결과는 개별 EPA와 이정표의 고립된 평가에서 우리가 ["나무를 위해서 숲"을 위험에 빠뜨릴 수 있음]을 시사한다. 이정표와 EPA가 관찰 가능한 성능 정보(예: EPA C1: "중증 환자를 위한 소생 및 조정 관리"24)를 제공할 수 있더라도, 우리의 교수진과 전공의들은 [목표 EPA 중심 평가]에만 초점을 맞추라고 요청했을 때, [전체적인 평가]가 놀라울 만큼 부재하다는 것을 알게 되었다. "전반적으로 일이 어떻게 진행되고 있는지"에 대해서 [로테이션 종료 시에  평가를 매개로 하여 오랜 시간 동안 하는 디스커션]이 과거에 생각했던 것보다 더 가치 있는 것으로 입증되었습니다. 교수진이 [개별적인 이정표와 EPA의 달성]에 대한 판단을 내리는 데 초점을 맞추면서, 우리는 [더 큰 그림을 뒷받침하는 증거를] 위태롭게 했을 수도 있다. 
Change is difficult, and sustaining change is even more challenging.37 Thwarting reductionism in CBME implementation requires sustained effort.1,38 Our findings suggest that in the isolated assessment of individual EPAs and milestones we may be risking the “forest for the trees.” Even if milestones and EPAs can provide observable pieces of performance information (e.g., EPA C1: “Resuscitating and coordinating care for critically ill patients”24), our faculty and residents perceived a notable absence of overall evaluation when asked to focus on targeted EPA-focused assessment only. The long-standing assessment-mediated end-of-shift discussions about “how things are going overall” proved to be more valuable than previously thought. With faculty focusing on making judgments about the achievement of individual milestones and EPAs, we may have been risking evidence supporting the bigger picture.

이 관찰이 EM-특이적 end-of-shift 전반적 평가의 리추얼ritual을 시사하는지, 아니면 여러 맥락에 걸쳐 통해 전이가능한지 여부는 아직 결정되지 않았다. 만족이 지연될 것으로 예상됨에 따라, 구현의 인식된 이점은 구현 후 몇 년이 지나야 명백해질 수 있으며, 우리 기관에서 CBME를 구현한 다른 사람들이 경험하게 될 것이다. 40 교직원과 전공의가 (교육적 지원 없이) 준거-참조적으로 건설적 피드백을 제공하고, 인식하고, 행동할 것으로 기대하는 것은 비현실적이다.41 이러한 기술은 목표화된 교육, 연습 및 피드백을 통해 개발된다.42 우리는 CBME가 우리 프로그램의 학습 문화를 그 자체로 변화시키지는 않겠지만 [지속적인 교수진과 전공의 개발]이 필요하다는 것을 배웠다.

Whether this observation suggests an EM-specific end-of-shift global assessment ritual,39 or is transferrable across contexts, remains to be determined. With expected delayed gratification, the perceived benefits of our implementation may not be apparent until several years post-implementation, as experienced by others who have implemented CBME at our own institution.40 Expecting faculty and residents to provide, recognize, and act upon criterion-referenced constructive feedback––without educational support––is unrealistic.41 These skills are developed through targeted instruction, practice, and feedback.42 We have learned that CBME will not change the culture of learning in our program by itself but will require persistent faculty and resident development.

레슨 3: 진행 중인 변화를 식별, 모니터링 및 평가하기 위해 신속한 평가를 사용하는 것이 가치 있습니다.
Lesson 3: There is value in using Rapid Evaluation for identifying, monitoring, and assessing ongoing change

CBME 구현을 평가하기 위한 발달적 접근 방식인 우리의 [신속 평가 모델]은 [혁신을 문서화]하고, 지속적인 프로그램 개선을 지원하기 위한 [실시간 증거를 생성]하는 가치 있는 전략이었다. 또한 프로그램 참가자들은 포커스 그룹을 통해 [CBME와 경험을 논의할 기회]를 중시했으며, 피드백이 진행 중인 변화에 어떻게 inform하는지에 대한 업데이트를 받아보는 것에 관심이 있었다. 프로그램 이해관계자가 현장에서 작동하는(혹은 작동하지 않는) 것을 공유할 기회가 주어지면, 지속적인 프로그램 개선 과정에 참여자로서 점점 더 많은 투자invested를 받게 된다.43 이러한 모멘텀은 이해관계자의 [변화를 지속하려는 열의]가 흐려지면서 생기는 [구현 후 사기의 저하dip]를 완화하기 위해 결정적이었다. .9
Our model of Rapid Evaluation, as a developmental approach to evaluating CBME implementation, has been a worthwhile strategy for documenting innovation and generating real-time evidence to support ongoing program improvement. Further, our program participants valued the opportunity to discuss their experiences with CBME during focus groups and were interested in receiving updates as to how their feedback was informing ongoing change. When program stakeholders are given the opportunity to share what’s (not) working on the ground, they become increasingly invested as participants in the process of ongoing program improvement.43 This momentum was crucial for mitigating the inevitable post-implementation dip in morale where stakeholders’ enthusiasm for staying the course of change started to fade.9

제한 사항
Limitations

이 연구는 몇 가지 한계를 가지고 있다. 이 프로그램은 모든 레지던트 프로그램에서 동시에 CBME를 구현하는 조직 내에 내포되어 있기 때문에 이 연구가 수행된 컨텍스트가 유일할 수 있다는 것이 일차적인 제한이다. 게다가, 이 연구는 한 기관에서 한 가지 전문분야에만 초점을 맞췄다. 결과적으로, 우리의 연구 결과는 전이 가능성에 제한될 수 있다. 또 다른 한계는 데이터 수집이 직접 관찰이 아닌 주로 인터뷰에 기반했다는 것이며, 따라서 보고된 내용과 수행 중인 내용 사이에 차이가 있을 수 있다는 것이다. 또한, 연구팀의 단 한 명의 구성원이 인터뷰를 조정하고 데이터를 분석했음에도 불구하고, 여러 차례의 데이터 수집과 참가자들과의 구성원 확인 데이터가 조사 결과의 신뢰도를 높이는 데 도움이 되었다. 마지막으로, 지속적인 데이터 수집에 중점을 둔 신속한 평가는 리소스 집약적인 경향이 있으므로 다른 프로그램이 이 접근 방식을 채택하는 것이 어려울 수 있다.

This study has several limitations. The primary limitation is that the context in which this study took place may be unique, since this program is nested within an organization implementing CBME concurrently across all residency programs. Further, this study only focused on one specialty, at one institution. Consequently, our findings may be limited in their transferability. Another limitation is that the data collection was based primarily on interviews, not direct observations, and as such there may be a gap between what was reported and what was being done. As well, even though a single member of the research team moderated the interviews and analyzed the data, multiple rounds of data collection and member checking data with participants helped to increase the credibility of the findings. Lastly, Rapid Evaluation, with its emphasis on collecting data on an ongoing basis, tends to be resource intensive and so it may prove challenging for other programs to adopt this approach.

결론들
Conclusions

[신속한 평가]를 통해, [프로그램 수준]에서 [CBME를 구현한 실제 경험]을 탐색하는 것은 구현의 충실도, 구현 후 초기 결과 및 CBME 운영의 성공과 과제에 대한 중요한 초기 통찰력을 제공하였다. 신속한 평가를 사용하여 식별, 모니터링 및 이해관계자의 변화에 대한 저항을 완화하고 코스를 유지하려는 열정을 자극하는 결정적인 이점을 가지고, 진행 중인 변경 후 평가를 실시한다. CBME의 핵심 실용적 요소를 구현하는 것은 스프린트로 인식되었고, 대학원 훈련에서 CBME의 원리를 깨닫고 문화를 바꾸는 것은 분명히 마라톤이다. 이 장기적인 목표를 위해서는 심층적인 시스템 변화에 대한 진화적 적응 과정에서 지속적인 교수진과 주민 개발을 포함한 지속적인 노력이 필요할 것이다.

Exploring the lived experience of implementing CBME at the program level with Rapid Evaluation has provided critical early insights regarding the fidelity of implementation, early outcomes post-implementation, and the successes and challenges of operationalizing CBME. There was great value in using Rapid Evaluation for identifying, monitoring, and assessing ongoing change post-implementation, with a crucial benefit of mitigating the stakeholders’ resistance to change and spurring enthusiasm for staying the course. Implementing the core practical components of CBME was perceived as a sprint, while realizing the principles of CBME and changing culture in postgraduate training is clearly a marathon. This long-term goal will require sustained effort, including persistent faculty and resident development in the process of evolutionary adaptation toward deep systems change.

유토피아에서 디스토피아까지: CBME의 러닝 애널리틱스에서 과정을 기록하기(Acad Med, 2021)
From Utopia Through Dystopia: Charting a Course for Learning Analytics in Competency-Based Medical Education
Brent Thoma, MD, MA, MSc, Rachel H. Ellaway, PhD, and Teresa M. Chan, MD, MHPE

역량 기반 의료 교육(CBME)으로의 전환은 중요한 과제를 제시할 수 있다. 이러한 전환은 단순히 새로운 용어에 익숙해지는 문제가 아닙니다. CBME는 평가 관행과 절차의 복잡성과 부담을 상당히 증가시킨다. CBME 이전 시대의 평가는 종종 로테이션당 연수생당 1~2개의 평가를 생성하지만, 특히 신뢰할 수 있는 전문 활동(EPA)을 중심으로 구성된 CBME 프로그램은 종종 모든 연수생에 대해 주간 평가를 생성한다. 5

The transition to competency-based medical education (CBME) can present significant challenges. 1–3 This transition is not just a matter of getting used to new terminology. CBME substantially increases the complexity and burden of assessment practices and procedures. 4,5 While assessment in the pre-CBME era often generated 1 or 2 assessments per trainee per rotation, CBME programs, particularly those structured around entrustable professional activities (EPAs), often generate multiple weekly assessments for every trainee. 5

CBME를 성공적으로 구현하려면 평가 데이터 사용에 있어 시스템 수준의 변화가 필요하다. [전자 추적 시스템]이 구축되었고, EPA 기반 평가 데이터의 증가된 양을 검토하기 위한 [역량 위원회]가 구성되었으며, 이러한 이질적이고 종단적인 데이터 세트에 새로운 [프로그램적 평가 이론]이 적용되었으며, 이는 다시 우리가 그것으로부터 [도출하는 추론]을 변화시켰다. 이 접근법은 데이터를 집계하고 연습생 진도를 모델링하기 위해 사용하지만, 실제로 이러한 데이터를 어떻게 통합, 분석 및 시각화해야 하는지 잘 확립되어 있지 않다. 2 [단순한 선형 접근법]으로 디폴트하면, 미묘한 데이터를 환원주의적 경향으로 축소할 위험이 있으며, 서사적 피드백 또는 기타 더 정교한 모델링 및 분석의 장점을 무효화한다. 연수생 성과에 대한 균형 있고 통찰력 있는 관점을 육성하기 위해 CBME 평가의 서술적 데이터와 수치적 데이터를 모두 활용하기 위한 추가 작업이 수행되어야 한다.
The successful implementation of CBME requires a systemic change in the use of assessment data.

• Electronic tracking systems have been established,
• competence committees have been formed to review the increased volume of EPA-based assessment data, 6 and
• new programmatic theories of assessment have been applied to these heterogeneous and longitudinal datasets,
• which, in turn, have changed the inferences that we draw from them. 7,8 

Although this approach is predicated on aggregating data and using them to model trainee progress, how these data should be amalgamated, analyzed, and visualized in practice is not well established. 2 Defaulting to simple linear approaches runs the risk of reducing nuanced data into reductionistic trends 9 and nullifies the advantages of narrative feedback or other more sophisticated modeling and analysis. Further work will need to be done to harness both the narrative and numerical data of CBME assessments to foster a balanced and insightful perspective on trainee performance.

다른 분야의 교훈은 데이터가 집계되고 사용될 수 있는 다양한 방법을 보여주며, 각 방법은 도출될 수 있는 추론의 종류에 영향을 미칩니다. 예를 들어, 비즈니스와 스포츠는 점점 더 정교한 데이터 수집 및 분석 기술을 사용합니다. 고등교육에서의 유사한 노력은 온라인 학습 플랫폼의 출현에서 비롯되었다. 14 이러한 [학습 분석learning analytics]은 "학습과 학습이 발생하는 환경을 이해하고 최적화하기 위한 목적으로, 학습자와 그 맥락에 대한 데이터의 측정, 수집, 분석 및 보고"로 정의할 수 있다. 15 증가를 고려할 때CBME에서 대규모 평가 데이터 세트의 가용성에 따라, 의학 교육 문헌에서 학습 분석이 점점 더 많이 참조되고 있는 것은 놀라운 일이 아니다. CBME 결과 프레임워크 및 연구 어젠다 19는 의학 교육 연구자들이 개념적으로 그리고 실제로 탐구하는 학습 분석과 관련된 다양한 개념을 설명한다. 5,24
Lessons from other fields illustrate the many different ways in which data might be aggregated and used, each of which has implications for the kinds of inferences that might be drawn. 10,11 For example, business 12 and sport 13 use increasingly sophisticated data collection and analysis techniques. Similar efforts in higher education originated with the advent of online learning platforms. 14 These learning analytics can be defined as the “measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs.” 15 Given the increasing availability of large assessment datasets in CBME, it is not surprising that learning analytics are increasingly being referenced within the medical education literature. CBME outcomes frameworks 16–18 and research agendas 19 describe a range of concepts related to learning analytics that medical education researchers are exploring both conceptually 20–23 and practically. 5,24

언뜻 보기에 학습 분석 도구와 관행은 의료 교육 및 환자 관리를 개선하기 위해 EPA 기반 CBME 교육 프로그램의 광범위한 평가 데이터 세트를 활용할 수 있는 엄청난 잠재력을 가지고 있다. 그러나 이러한 분석 역시 문제가 되었다. 예를 들어, ten Cate 등은 [애널리틱스의 도입]이 [과도한 표준화, 활동 제약, 교육 효율성 및 비용]에 영향을 미치고, [프로그램 및 그 결과의 integrity]를 위협할 것이라고 경고합니다. 교육 프로그램, 교육 프로그램이 채택하는 분석 접근 방식 및 다양한 구현 설계의 여건에 대한 주의 깊고 신중한 탐색과 정렬이 필요하다.
At first glance, learning analytics tools and practices have immense potential to leverage the extensive assessment datasets resulting from EPA-based CBME training programs to improve medical education and patient care. 11,20 However, these analytics have also been problematized. For instance, ten Cate et al warn about analytics implementations that overstandardize, constrain activity, impact educational efficiency and cost, and threaten the integrity of programs and their outcomes. 21 There is need for mindful and deliberate exploration of and alignment between educational programs, the analytics approaches they employ, and the affordances of different implementation designs.

CBME 평가 데이터를 해석하기 위한 학습 분석의 광범위한 활용이 점점 실행 가능해짐에 따라, 이 용감한 새로운 세계 내에서 미래의 경로를 그리는 것이 그 어느 때보다도 중요하다. 25 본 논문에서는 신중한 매핑을 목표로 CBME에서 학습 분석에 대한 유토피아적 및 디스토피아적 관점(상자 1과 2 참조)을 탐구한다. 그러나 보다 광범위한 교육 및 컴퓨터 과학 문헌의 원칙적인 지침을 통합하여 우리 분야에서의 응용을 위한 미래를 결정하였습니다(상자 3 참조).
As the widespread utilization of learning analytics to interpret CBME assessment data becomes increasingly viable, it is more important than ever to chart the future path within this brave new world. 25 In this paper, we explore utopian and dystopian perspectives on learning analytics (see Boxes 1 and 2) in CBME with the goal of mapping a cautious but determined future for its application in our field (see Box 3) by incorporating principled guidance from the broader education and computer science literature.

가능한 유토피아
A Possible Utopia

유토피아에서는 모든 것이 모든 사람에게 가장 유리하게 작용한다. 사람들은 행복하고 그들이 원하는 대로 번창하고 성장할 수 있다. 우리의 유토피아 시나리오(상자 1)는 학습 분석과 관련하여 표현된 희망(혹은 과대광고)의 상당 부분을 반영한다. 모든 것이 효과가 있고, 혜택은 증가하며, 모든 사람이 승리한다. 물론, 이것은 사실이기에는 너무 좋은 일이다. 

In a utopia, everything works to the best advantage of everyone. People are happy and able to thrive and grow as they will. Our utopian scenario (Box 1) reflects much of the hope (or perhaps hype) that has been expressed with regard to learning analytics 11,20,26; everything works, benefits multiply, and everyone wins. Of course, this is too good to be true.

박스 1 역량 기반 의료 교육 시스템에서 분석을 위한 유토피아 시나리오를 설명하는 가상의 사례 연구
Box 1 Fictional Case Study Describing a Utopian Scenario for Learning Analytics in a Competency-Based Medical Education System

Walzar 박사는 그녀의 컴퓨터 화면에서 뒤로 기대어 미소를 지었다. 그녀의 병원의 다른 프로그램 책임자들은 그녀가 역량 기반 평가 시스템의 문제를 해결하기 위한 새로운 소프트웨어를 개발하기 위해 정보 기술 부서와 협력할 것을 제안했을 때 회의적이었습니다. 그들은 그들의 EHR이 시행되기 전에 비슷한 효율성의 약속들을 들었었지만, 그것은 결코 그 과대광고에 부응하지 못했다. 이것은 달랐다. 일단 그녀가 그들에게 작동하는 프로토타입을 보여주자, 그들은 그들의 프로그램을 도입하자고 간청했다. 새로운 데이터 시각화 및 분석 제품군을 설정하고 최적화하는 것은 어려운 일이었지만, 그 결과는 그만한 가치가 있었습니다. 그녀의 프로그램 관리자는 평가 데이터의 스프레드시트 이후 스프레드시트를 정리해야 하는 족쇄에서 해방되어 마침내 휴가를 얻어 여가 시간에 프로그램을 개선하기 위한 새로운 아이디어를 생각해 냈습니다. 역량 위원회 위원들은 그들의 회의가 월별, 하루 종일 열리는 마라톤에서 분기별 한 번씩 한가로운 아침으로 바뀌어 행복했다. 그리고 그녀는 그들이 더 나은 결정을 내리고 있다고 확신했습니다! 그녀의 교육생들조차도 새로운 교수 대시보드를 교수 개발 세션에 통합한 후 받은 향상된 피드백에 깊은 인상을 받았습니다. 그들은 또한 그들의 커리큘럼에 대한 데이터 중심의 변화가 그들이 유능한 의사가 되기 위해 필요한 경험을 얻을 수 있는 충분한 기회를 제공한다는 것을 알아챘다.
Dr. Walzar leaned back from her computer screen and smiled. The other program directors at her hospital had been skeptical when she had proposed working with their information technology department to develop new software to address the challenges of their competency-based assessment system. They had heard similar promises of efficiency before the implementation of their electronic health record, but it had never lived up to the hype. This was different. Once she had shown them a working prototype, they were begging to have their programs brought on board. Setting up and optimizing their new data visualization and analytics suite had been a challenge, but the results were worth it. Her program administrator, unleashed from the shackles of organizing spreadsheet after spreadsheet of assessment data, was finally taking a vacation and, in her spare time, had been coming up with new ideas to improve their program. Her competence committee members were happy as their meetings went from monthly, full-day marathons to leisurely mornings once a quarter. And she was sure that they were making better decisions, too! Even her trainees were impressed with the improved feedback they were receiving after they incorporated their new faculty dashboard into their faculty development sessions. They had also noticed that the data-driven changes to their curriculum were giving them ample opportunity to get the experiences they needed to become competent physicians.

가장 최근에, 그녀는 QI 전공의 몇몇 동료들과 연락했다. 그들은 그녀의 진전에 흥미를 느꼈고 그녀의 교육 데이터와 임상 결과의 통합을 탐구하기를 원했다. 그들은 각 연수생의 임상 치료 품질을 정량화하기 위해 전자 건강 기록의 데이터를 평가 대시보드에 통합하기 시작했다. 그녀는 교육 평가와 함께 임상 측정 기준을 추적하고 어떻게 그것들이 함께 사용될 수 있는지 볼 수 있는 가능성에 대해 흥분했습니다. 이 새로운 대시보드는 교육생들에게 환자의 건강에 직접적인 영향을 미치는 자신의 진료 패턴에 대한 통찰력을 제공할 것이다. Walzar 박사는 이러한 새로운 임상학습 애널리틱스를 만들기 위해 그녀의 임상 운영 팀과 협력하기를 고대했습니다.
Most recently, she had connected with some of her colleagues with backgrounds in quality improvement. They were intrigued by her progress and wanted to explore the integration of clinical outcomes with her educational data. They had begun integrating data from their electronic health record into the assessment dashboard to quantify the quality of each trainee’s clinical care. She was excited about the potential to track clinical metrics alongside educational assessments and see how they could be used together. This new dashboard would provide trainees with insights about their own practice patterns that had direct impact on the health of their patients. Dr. Walzar was looking forward to working with her clinical operations team to create these new clinical learning analytics.

프로그램 감독으로서 그녀에게는 다른 이점도 있었다. 그녀는 교육생들의 데이터에 쉽게 접근할 수 있었고 평가나 평가 패턴과 관련된 것이 발견되었을 때 실시간 경보를 받을 수 있었다. 그녀는 또한 비정상적인 행동을 식별하기 위해 교직원들의 평가 행동을 추적했다. 예를 들어, 그녀는 비센 박사가 수년 동안 성차별적 평가를 제출했다고 생각했지만 컴퓨터가 그것을 확인하기 전까지는, 그녀는 어떤 증거도 가지고 있지 않았다! 무엇보다도, 평가 데이터를 인증 기관에 제출하는 것이 자동화되었습니다. 그들의 분석은 그녀의 프로그램이 그들의 평가의 양과 질에 있어서 전국에서 상위 5퍼센트 안에 들어있다는 것을 보여주었다. 그녀는 올해 말 승진 지원서에서 그 성과를 강조하는 것을 기억해야 할 것이다. 이 모든 "학습 분석 자료"는 결국 완성되었다.
There had also been other benefits for her as a program director. She could readily access her trainees’ data and receive real-time alerts when concerning assessments or assessment patterns were found. She also tracked the assessment behaviors of her faculty members to identify abnormal behavior. For example, she thought that Dr. Bisen had been submitting sexist assessments for years but until the computer had identified it, she did not have any proof! Best of all, the submission of assessment data to their accrediting body was now automated. Their analyses showed that her program was performing in the top 5 percentile in the entire country in terms of the quantity and quality of their assessments. She would have to remember to highlight that accomplishment in her application for promotion later this year. All of this “learning analytics stuff” had panned out after all.

유토피아 시나리오는 형성적 및 총괄적 역량 평가의 맥락에서, 데이터 시각화 및 학습 분석의 잠재적 이점을 보여준다. 특히 데이터 시각화를 통해 교육생은 물론 교사 및 프로그램 책임자가 어려움을 겪고 있거나, 만족하거나, 우수한 수행 패턴을 식별하는 데 도움이 되는 [빈번한 저부담 EPA 기반 평가 데이터]를 [효율적으로 검토]할 수 있다. 이러한 기술은 교수진 개발과 지속적인 품질 개선을 위해 이러한 평가 데이터를 동시에 사용함으로써 조직 개발 프로그램에 기여할 수 있다. 
The utopian scenario demonstrates the potential benefits of data visualization and learning analytics in the context of assessing competence, both formatively and summatively. In particular, data visualization could allow for the efficient review of frequent, low-stakes EPA-based assessment data to help trainees as well as their preceptors and program directors to identify patterns of struggling, satisfactory, or excelling performance. 27–29 These techniques could feed into a program of organizational development through the simultaneous use of these assessment data for faculty development and continuous quality improvement. 22

예를 들어, [서술형 평가 코멘트의 품질]을 평가하기 위해 Quality of Assessment of Learning (QuAL) 점수를 사용할 수 있는 타당성 증거가 있다. 자연어 처리 알고리즘을 사용한 QAL 점수 등급의 자동화는 역량 위원회가 [고품질의 서술적 논평]으로 EPA를 쉽게 식별하도록 하여 총괄 평가 결정을 지원할 수 있다. 이러한 점수는 또한 시간 경과에 따른 서술적 피드백 개선에 초점을 맞춘 개입의 영향을 정량화하기 위해 교수진 및 프로그램 수준에서 통합될 수 있다. 개인 및 그룹 성과에 대한 더 많은 세부 사항이 설정될 수 있기 때문에 개인은 이 정밀도로부터 이익을 얻을 수 있다는 점에서 정밀 의료와 분명한 유사점이 있다. 이 정보는 또한 학습 환경을 개별 교육자의 요구와 궤적에 더 잘 맞추는 데 도움이 될 수 있다. 33 
For example, there is validity evidence to support the use of the Quality of Assessment of Learning (QuAL) score for the evaluation of the quality of narrative assessment comments. 30,31 The automation of QuAL score ratings with natural language processing algorithms could support summative assessment decisions by making it easier for competence committees to identify EPAs with high-quality narrative comments. These scores could also be amalgamated at the faculty member and/or program level to quantify the impact of interventions focused on improving narrative feedback over time. There are clear parallels with precision medicine 32 in that as greater detail of individual and group performance can be established, individuals can benefit from this precision. This information may also help us to better align the learning environment with individual trainees’ needs and trajectories. 33

학습 애널리틱스의 발전은 또한 성차별적이거나 인종 차별적인 평가 관행을 식별하고 정량화함으로써 [형평성 문제]를 해결하는 데 도움이 될 수 있다. 이러한 문제들이 쉽게 식별될 수 있을 때까지, 그것들이 다뤄질 것 같지는 않다. 평가의 성별 편견에 대한 Mueller 등과 Dayal 등의 초기 연구는 개별 교수진, 교육 프로그램, 기관 및 전문 분야의 평가 데이터 내에서 편향을 모니터링하도록 확장 및 자동화될 수 있다. 이 정보는 평가자 편견에 대한 추가 조사를 안내하고 이를 감지하고 완화하기 위한 개입을 개발할 수 있다.
Advances in learning analytics could also help to address equity issues through the identification and quantification of sexist or racist assessment practices. Until these issues can be readily identified, it is unlikely that they will be addressed. Early work by Mueller et al 34 and Dayal et al 35 on gender bias in assessments could be expanded and automated to monitor for biases within the assessment data of individual faculty members, training programs, institutions, and specialties. This information could guide further investigation into rater biases and develop interventions to detect and mitigate them.

또 다른 유토피아적 관점은 [여러 데이터 소스, 특히 임상 결과 데이터를 마이닝하고 통합]하는 데 중점을 둔다. [임상 데이터]와 [교육 평가]의 통합은 물론, 교직원과 실습생의 임상 결과의 상호 의존성을 넘어서서, [전공의-민감 품질 지표]의 식별에 대한 작업이 이미 시작되었다. 앞으로 질 향상과 의료교육에 전문성을 갖춘 의사들 간의 협업이 연수생 평가 데이터와 그동안 보살펴온 환자의 임상 결과를 연계할 것으로 기대한다. 이러한 [임상-교육 통합]을 실현하기 위해서는 학습 분석, 실습 분석 및 환자 결과 간의 연결이 설정되어야 한다. 이상적으로, 이러한 연결은 개인, 프로그램 및 시스템 수준의 변경을 지원하기 위해 의미 있게 해석될 수 있는 통합 분석 및 시각화를 사용하여 치료 품질 및 비용을 최적화하는 데 도움이 될 수 있습니다.

Other utopian perspectives focus on mining and integrating multiple data sources, in particular clinical outcome data. 16,17 Work has already begun on the integration of clinical data and educational assessment 36,37 as well as the identification of resident-sensitive quality metrics 38,39 that move beyond the interdependence of faculty and trainee clinical outcomes. 40,41 In the future, we anticipate that collaboration between physicians with expertise in quality improvement and medical education will link trainee assessment data with the clinical outcomes of the patients that they have cared for. 42 To realize this clinical–educational integration, links will need to be established between learning analytics, practice analytics, and patient outcomes. Ideally, these connections would help to optimize the quality and cost of care using integrated analytics and visualizations that can be meaningfully interpreted to support individual-, program-, and system-level changes.

물론, 이러한 종류의 파놉티시즘이 유토피아인지 아닌지는 논쟁의 여지가 있습니다. 한 사람의 유토피아는 다른 사람의 디스토피아일 수 있기 때문입니다.
Of course, whether panopticism of this kind is utopian is debatable, as one person’s utopia might well be another person’s dystopia.

미래형 디스토피아
A Prospective Dystopia

디스토피아는 이상과는 거리가 멀고 불만이 보통이다. 기술 발전 속도는 소프트웨어 공급업체들이 디지털 전환을 약속하는 우리 기관의 문을 두드리는 날이 머지않을 것으로 보인다. 우리의 인공지능 사용은 계속 개선될 것이며, 그것은 우리의 평가와 임상 데이터 모두에 더 광범위하게 적용될 수밖에 없다. 구현을 안내할 구조가 마련되지 않으면 디스토피아 시나리오(Box 2)가 실현될 수 있습니다.

In a dystopia, things are far from ideal and dissatisfaction is the norm. The pace of technological advancement makes it likely that it will not be long before software vendors are knocking on the doors of our institutions promising digital transformation. Our use of artificial intelligence will continue to improve, and it is inevitable that it will be applied more broadly to both our assessment and clinical data. If we do not have a structure in place to guide its implementation, our dystopian scenario (Box 2) may come to pass.

박스 2 CBME에서 학습 애널리틱스에 대한 디스토피아 시나리오를 설명하는 가상의 사례 연구
Box 2 Fictional Case Study Describing a Dystopian Scenario for Learning Analytics in Competency-Based Medical Education

Walzar 박사는 자신의 데이터 시각화 및 분석 시스템의 완벽한 구현에 대해 학장과 동료 프로그램 감독들로부터 열렬한 피드백을 받고 있었습니다. 다음 순간 그것은 와르르 무너져 내렸다. 연습생 중 한 명 정도를 받았다는 통보로 시작됐다. 제이콥은 프로그램 내에서 호감을 얻고 있었고, 컴퓨터가 그의 최근 평가 패턴에 관한 플래그를 세우기 전까지 잘 지내오고 있었다. 역량 위원회가 과거에 비슷한 깃발을 보았을 때, 그들은 행동하지 않았고, 확실히 몇 달 안에 이 훈련병들이 고군분투하고 있다는 것을 증명했다. 역량위원들은 이번에는 기다리지 않기로 했다. 그들은 월자르 박사가 제이콥을 불러서 진찰을 받으라고 요청했다.
One minute Dr. Walzar had been enjoying glowing feedback from her dean and fellow program directors on the flawless implementation of her data visualization and analytics system. The next minute it had come crashing down. It started with a notification that she received about one of her trainees. Jacob was well liked within the program and had been progressing well until the computer had flagged his recent assessment pattern as concerning. When the competence committee had seen similar flags in the past, they had not acted and, sure enough, within a few months the evidence demonstrated that these trainees were struggling. The competence committee members decided that this time they did not want to wait. They requested that Dr. Walzar call Jacob in for a meeting to check in.

회의에서, 그녀는 알고리즘은 EPA 수행에 플래그를 달았지만, 역량 위원회는 아직 어떤 문제도 발견하지 못했다고 언급했다. Jacob은 눈에 띄게 화가 나서 "이게 무슨 점쟁이 같은 쓰레기야? 정말 미래를 예측할 수 있다는 말인가요?"라고 물었다. 그때부터, 제이콥은 그녀와 평가 시스템, 그리고 훈련 프로그램에 대해 불신하게 되었다. 그의 임상 성적은 악화되었다. 그녀는 컴퓨터가 옳았고 이것이 불가피한 것인지, 아니면 그의 쇠퇴를 촉발시킨 것이 회의 그 자체인지 궁금했다. 그럼에도 불구하고, 문제는 그녀가 그를 프로그램에서 말릴 수 밖에 없을 때까지 계속되었다. 그녀는 바로 다음 주에 그의 제적dismissal과 관련된 소송을 제기했었다.

During the meeting, she mentioned that their algorithm had flagged his EPA performance, but that the competence committee could not identify any problems just yet. He had become visibly upset, asking “What kind of fortune-telling garbage is this? Are you seriously saying you can predict the future?” From then on, Jacob was distrustful of her, the assessment system, and the training program. His clinical performance deteriorated. She wondered if the computer had been right and this was inevitable, or if it was the meeting itself that had set off his decline. Regardless, the problem had festered until she had no choice but to terminate him from the program. She had been served with a lawsuit regarding his dismissal the very next week.

문제는 거기서 끝나지 않았다. 지난 주에 그들의 인증 기관이 해킹을 당했다. 그들의 모든 훈련생들의 평가 자료가 도용되어 온라인에 게재되었다. 그들을 제거하기 위해 그들이 할 수 있는 것은 아무것도 없는 것처럼 보였다. 그녀는 수련생들로부터 주요 병원 그룹이 이러한 데이터에 접근했다는 속삭임을 들었고, 아무런 설명도 없이 훈련 기간 동안 어려움을 겪었던 훈련병들의 인터뷰를 취소했다.
The problems did not end there. Last week their accrediting body had been hacked. All their trainees’ assessment data were stolen and published online. It did not seem like there was anything that they could do to have them removed. She had heard whispers from her trainees that the major hospital groups had gotten access to these data and, without any explanation, had canceled the interviews of the trainees who had struggled during parts of their training.

가장 나쁜 것은, 유출된 평가 중 하나가 현재 그녀의 훈련생, 동료, 그리고 병원을 고소하고 있는 한 환자가 받은 치료에 관한 것이었다는 사실이다. 연습생의 ICU 로테이션 동안, 그들은 central line을 놓으려고 애썼다. 절차에 대한 교수진의 EPA 평가는 낮은 수준의 위탁을 나타냈으며, 기술의 어려움을 강조하는 유용한 형성적 피드백을 제공했다. 불행하게도, 이것은 환자의 중심선 감염에 기여했을 수 있다. 연수생 변호인단은 이 평가가 과실의 증거로 소송에서 인용될 것이라고 확신했다.
Worst of all, one of the leaked assessments referenced the care received by a patient who was currently suing her trainee, colleagues, and hospital. During the trainee’s intensive care rotation, they had struggled to place a central line. The faculty member’s EPA assessment of the procedure indicated a low level of entrustment and provided helpful formative feedback that highlighted difficulties with technique. Unfortunately, this may have contributed to the patient’s development of a central line infection. The trainee’s lawyers were certain that this assessment was going to be cited in the lawsuit as evidence of negligence.

그 승진에 대해서는 잊어버려. 그녀는 의학을 완전히 그만두어야 할까 봐 걱정했다. 그녀는 그녀가 이런 학습 애널리틱스를 시작하지 않았어야고 생각했다.

Forget about that promotion. She was worried that she was going to have to leave academic medicine altogether. She wished that she had never gotten started with this learning analytics stuff.

디스토피아 시나리오는 훈련생의 EPA 데이터를 정밀하게 분석하는 것이 해로울 수 있는 몇 가지 방법만을 보여준다. 앞으로 나아가면서, 우리는 어떻게 하면 그것이 가져올 수 있는 문제에 굴복하지 않고 궁극적으로 환자 결과를 개선할 수 있는 방법으로 집계된 데이터의 시각화 및 분석의 이점을 유지할 수 있는지 고려해야 한다. 학습 애널리틱스를 통합하는 혁신적인 데이터 솔루션을 추진하는 사람들에게 특히 주목할 만한 몇 가지 영역이 있다.

The dystopian scenario illustrates only some of the ways that the sophisticated analysis of trainees’ EPA data could be detrimental. 21 As we move forward, we must consider how we can maintain the benefits of the visualization and analysis of aggregated data in ways that can ultimately lead to improved patient outcomes without succumbing to the problems that it could present. Several areas are deserving of particular attention for those pushing forward innovative data solutions incorporating learning analytics.

데이터 보안
Data security

애널리틱스 접근 방식을 사용하든 사용하지 않든, [교육생 평가 데이터의 보안]은 우려 사항이다. 이 문제가 항상 존재했지만, 현대의 시스템은 수많은 분산 액세스 포인트가 있는 더 큰 데이터베이스에 저장되기 때문에 해킹과 다른 디지털 데이터 보안 침해에 더 취약할 수 있다. 또한, 우리가 수집하는 평가 데이터는 점점 더 상세해지고 민감해집니다. 불행하게도, 이러한 전환이 일어나면서, 우리의 고등 교육 기관들은 점점 더 많은 보안 침해의 대상이 되었습니다. 교육생과 직원들에 대한 대량의 귀중한 데이터, 정보기술 구조의 분산된 조직, 네트워크에 액세스할 수 있는 다수의 개인, 그리고 이러한 위협에 대처하기 위한 상대적으로 부족한 자원 때문에 해커의 표적이 된다는 것이 입증되었습니다.정부와 대기업. 교육 평가 데이터 유출로 인한 잠재적 영향은 고려해야 할 매우 현실적인 위험이다.

Whether or not an analytics approach is used, the security of trainee assessment data is a concern. 43 While this problem has always existed, modern systems may be more prone to hacking and other digital data security breaches because they are stored in larger databases with numerous distributed access points. Additionally, the assessment data that we collect are increasingly detailed and sensitive. Unfortunately, as this transition has occurred, our higher education institutions have been subject to an increasing number of security breaches. 44 They have proven to be targets for hackers due to the large amount of valuable data they store about their trainees and employees, the decentralized organization of their information technology structure, the large number of individuals that are able to access their network, and the comparative lack of resources to combat this threat relative to government and big business. 45 The potential fallout from the leak of educational assessment data is a very real risk that should be considered.

예측적 분석
Predictive analytics

1956년 그의 공상과학 단편소설 "마이너리티 리포트"에서 필립 K. 딕은 "precrime"이라는 개념을 도입했다. 즉, 아직 저지르지 않았지만 명백한 시스템에 의해 예측된 범죄에 대해 체포되어 기소될 수 있다는 것이다. 46 예측 분석은 수습 성과와 같은 미래 사건에 대해 추론하는 기법이다. [예측 분석]을 통합하는 것은 어려움을 겪고 있는 교육생을 식별하고 그들에게 추가적인 지원을 제공하기 위해 압도적 역량 위원회를 지원할 수 있는 잠재력을 가지고 있지만, 교육생을 조기에 [struggling 또는 deficient]으로 분류하는 것은, 연수생 자신 또는 프로그램의 인식을 예상하지 못하거나 잠재적으로 부정적인 방식으로 바꿈으로써, 오히려 교육생의 어려움을 유발하거나 악화시킬 수 있다. 분석적 예측에 기초하여 고위험 결정을 내리는 윤리 및 합법성과 같은 다른 과제들도 고려할 필요가 있다.
In his 1956 science fiction short story The Minority Report, Philip K. Dick introduced the concept of “precrime”—that one could be arrested and charged for a crime that they had not yet committed but that had been predicted by a seemingly infallible system. 46 Predictive analytics are techniques that make inferences about future events such as trainee performance. 10 While the incorporation of predictive analytics has the potential to assist overwhelmed competence committees to identify trainees who may be struggling and provide them with additional support, it is equally possible that prematurely labeling trainees as struggling or otherwise deficient may cause or exacerbate a trainee’s struggles by altering their and their program’s perceptions in unanticipated and potentially negative ways. 47 Other challenges such as the ethics and legality of making high-stakes decisions on the basis of analytical predictions also need to be considered.

데이터 소유 및 사용
Data ownership and use

[데이터의 접근, 소유권 및 거버넌스를 둘러싼 윤리적 문제]는 의료 교육에서 학습 분석의 사용이 증가함에 따라 특히 우려되는 사항으로 식별되었다. 이러한 우려는 다음과 같은 과제를 식별하는 광범위한 교육 문헌 내에서 마찬가지로 나타난다. 예를 들면,

• 단편화되거나 불완전한 데이터에서 고부담 의사 결정을 내린다.
  
• 모집단에서 도출한 통찰력을 개별 교육생에게 적용한다.
  
• 교육생에게 데이터 사용에 대한 동의를 구하는 것이 불충분하거나, 동의를 구하지 않는다.
  
• 고도로 민감한 데이터의 적절한 관리를 보장하지 못한다.
  
• 분석에 의해 전파되는 편견을 고려하지 않는다.

이러한 문제는 (비교적 추상적인 영어단어 점수를 포함하는 다른 분야의 학생들에 대해 더 일상적으로 수집된 데이터와 달리) [개별 환자의 치료에서 전문 역량에 대한 상세한 실제 평가]를 포함하는 EPA 기반 프로그램의 성격을 고려할 때 의료 교육 내에서 특히 고려할 가치가 있다. 
Ethical issues surrounding access, ownership, and governance of data have been identified as particular concerns with the growing use of learning analytics in medical education. 21,43 These concerns are paralleled within the broader educational literature which identifies challenges including

• making high-stakes decisions from fragmented or incomplete data,
• applying insights derived from populations to individual trainees,
• inadequately (or simply not) seeking consent from trainees regarding the use of their data,
• failing to ensure appropriate stewardship of high-sensitivity data, and
• neglecting to consider the biases propagated by analyses. 48 

These issues deserve particular consideration within medical education given the differences between EPA-based programs which contain detailed, real-world assessments of professional competency in the care of individual patients, as opposed to more routinely collected data about students in other fields which contain relatively abstract alphanumerical grades.

또한 분석 엔진이 [독립적 의료행위로의 진전을 결정하는 데 있어 궁극적인 권위]라고 가정되는 선험적인 것인지도 우려된다. 상소권을 포함한 [견제와 균형]이 그러한 시스템에 내장될 필요가 있다. 일반적으로 고등교육을 위해 설계된 광범위한 기관 정책이 연수생-환자 상호작용에 초점을 맞춘 종적 EPA 평가 데이터의 복잡한 감독에 완벽하게 적합하지는 않을 것이다.

It is also a concern if the analytics engine is a priori assumed to be the ultimate authority in determining progress toward independent practice. Checks and balances, including rights of appeal, need to be built into any such system. It is unlikely that broad institutional policies designed for higher education in general will be a perfect fit for the complex oversight of longitudinal EPA assessment data focused on trainee–patient interactions.

임상 통합
Clinical integration

[의학 교육]은 [교육생이 중요한 임상 치료를 제공하는 견습 모델] 내에서 [교육생에 대해 상당한 양의 평가 데이터]가 수집된다는 점에서 비교적 독특하다. 임상 결과와 교육 평가를 연계함으로써 얻을 수 있는 잠재적 이익을 고려할 때, 우리는 교육생이 추가적인 [의료법적 위험]에 과도하게 노출되지 않도록 보장해야 한다. 영국의 Bawa-Garba 사건은, 한 소아과 수련생이, 부분적으로, 그녀의 전자 포트폴리오에서 끌어낸 성찰에 근거하여, 중과실 치사죄로 유죄 판결을 받은 것으로, 이것이 우리가 믿고 싶은 것보다 더 가능하다는 것을 암시합니다. 
Medical education is relatively unique in that a substantive amount of assessment data is collected on trainees within an apprenticeship model wherein trainees provide clinical care of significant consequence. As we consider the potential benefits of linking clinical outcomes with educational assessments, we must ensure that we do not unduly expose trainees to additional medicolegal risk. The Bawa-Garba case in the United Kingdom, wherein a pediatric trainee was convicted of gross negligence manslaughter based, in part, on reflections pulled from her electronic portfolio, suggests that this is more possible than we would like to believe. 49

디스토피아 시나리오는 의학 교육에서 학습 분석과 관련하여 제기된 모든 우려를 설명하지는 않지만, 우리가 이러한 새로운 도구를 사용하기 시작할 때 직면하게 되는 함정에 대해 적나라하게 상기시키는 역할을 해야 한다. 현장의 잠재력을 극대화하는 방식으로 전진하려면 사려 깊고 의도적인 접근이 필요하다.
While the dystopian scenario does not illustrate all of the concerns that have been raised regarding learning analytics in medical education, 21 it should serve as a stark reminder of the pitfalls that we face as we begin to use these new tools. Moving forward in a way that maximizes the potential of the field will require a considered and intentional approach.

과정 차트 작성
Charting a Course

대부분의 관할 구역은 CBME를 지원하기 위한 학습 애널리틱스의 사용이 탐구되고 있는 중요한 벼랑에 있지만, 우리의 교육생과 기관을 통제하고 보호하기 위한 정책과 프로세스는 아직 정비되지 않았다. 우리는 유토피아와 디스토피아 시나리오의 공유가 이 기술의 필요성과 탄력적이고 미묘한 그리고 민첩한 감독 시스템을 구축하는 것의 중요성을 모두 전달했기를 바란다. 이러한 과제에 대처할 수 있다면 세 번째 시나리오(상자 3)에 설명된 결과가 더 가능성이 높습니다.

Most jurisdictions are at an important precipice where the use of learning analytics to support CBME is being explored, but the policies and processes to govern and protect our trainees and institutions have not yet been ironed out. We hope that the sharing of utopian and dystopian scenarios has conveyed both the need for this technology and the importance of building resilient, nuanced, and nimble systems of oversight. If we can rise to this challenge, the outcomes described in our third scenario (Box 3) are more likely.

박스 3 CBME에서 학습 애널리틱스의 안전하고 윤리적인 구현을 설명하는 가상의 사례 연구
Box 3 Fictional Case Study Describing the Safe and Ethical Implementation of Learning Analytics in Competency-Based Medical Education

Walzer 박사가 분석 학습에 대해 더 많이 배우면서, 그녀는 자신의 프로그램이 몇 가지 심각한 결과에 얼마나 가까이 다가왔는지를 깨달았다. 지역 정보 기술 팀과 함께 일하면서, 그녀는 자신의 작업의 윤리적, 기술적 함의를 연구했고 그 문제들을 앞질렀다. Walzar 박사는 자신의 새로운 지식을 바탕으로, [데이터 유형을 구분하고 프로그램 평가 및 연구에 데이터가 어떻게 사용될 것인지를 명확히 하는 데이터 액세스 표준] 개발을 위한 투입input과 리더십을 제공했습니다. 이 계획은 평가 데이터를 인증 기관에 전송하고 저장하는 데 영향을 미쳤다. 전송에 예상보다 시간이 오래 걸렸지만, 익명화된 집계 데이터만 업로드되도록 주요 변경 사항이 적용되었습니다. 인증기관이 (제3자 보안감사 권고사항을 이행했음에도) 해킹을 당했을 때 조차, 교육생들의 평가 자료는 구체적으로 식별되지 않았다.

As Dr. Walzer learned more about learning analytics, she realized just how close her program had come to some serious consequences. Working with her local information technology team, she studied the ethical and technical implications of her work and got ahead of the issues. With her newfound knowledge, Dr. Walzar also provided input and leadership on the development of data access standards that distinguished types of data based upon their sensitivity and clarified how data would be used for program evaluation and research. This planning impacted the transfer and storage of assessment data to their accrediting body. While the transfer took longer than anticipated, major changes were made to ensure that only anonymized, aggregate data were uploaded. When the accrediting body was hacked despite having implemented the recommendations of a third-party security audit, none of their trainees’ assessment data were specifically identifiable.

그녀는 [공동 설계 방법론]을 활용하여 일선 교수진, 현재 교육생 및 심지어 소수의 환자를 포함한 이해 당사자들을 참여시켰습니다. 몇 년 안에, 그녀는 이 수련생들이 병원의 최신 교수진이 될 것이라고 예상했고, 그녀는 그들의 참여를 수련생들에게 이 작품이 받아들여질 수 있도록 하는 방법과 그들의 문화와 시스템의 지속 가능성에 대한 투자로 보았다. 또한 작업에 대한 투명성과 신뢰도를 높였습니다. 이해관계자들이 제안한 변경사항으로 인해 관련성이 높아졌으며 여러 가지 우려사항이 구현되기도 전에 해결되었습니다.
She leveraged a co-design methodology to engage stakeholders including frontline faculty, current trainees, and even a few patients. Within a few years, she anticipated that these trainees would become their hospital’s newest faculty and she saw their involvement as both a way to ensure the work was embraced by the trainees and as an investment in the sustainability of their culture and system. It also increased the transparency and trust in the work. The changes the stakeholders suggested made it more relevant and resulted in multiple concerns being addressed before they were even implemented.

프로그램을 [역량 위원회 결정]에 inform하기 위해 예측 분석을 사용하는 것도 지연되었다. 그 시간에, 그들은 고부담 평가 결정을 지원하는 데 이러한 새로운 방법론을 사용하기 위한 [타당성 증거]를 수집했다. 역량 위원회 위원들은 이것이 그들의 결정을 더 잘 뒷받침하는 더 명확하고 강력한 분석 결과를 가져왔다는 데 동의했다. 이러한 학술적 접근은 또한 그들의 부서 구성원들을 위한 수많은 출판물을 낳았다. 그들은 모든 훈련생들에게 개별화된 학습 계획을 알리기 위해 새로운 방법을 사용하는 방법을 배우는 시간을 가졌습니다. 그녀는 교육생들이 단순히 시스템에 의해 플래그가 지정되는 것을 방치하는 것이 아니라, 교육생들이 데이터를 해석하고 그에 따라 행동할 수 있도록 돕는 데이터 전문 교수진을 구축하기 위해 지역 교육자들과 광범위하게 협력했다.
Her program’s use of predictive analytics to inform their competence committee decisions was also delayed. In that time, they collected validity evidence for the use of these novel methodologies in supporting high-stakes assessment decisions. The competence committee members agreed that this resulted in more clear and robust analytics that better supported their decisions. This scholarly approach also resulted in numerous publications for members of their department. They took the time to learn how to use the new methods to inform the individualized learning plans for every trainee. She worked extensively with local educators to build up a cadre of data-savvy faculty who were comfortable with helping the trainees to interpret and act upon the data, rather than simply leaving trainees to be flagged by the system.

몇 년 안에, Walzer 박사와 그녀의 교육생들, 그리고 그 기관은 학습 애널리틱스를 그들의 프로그램에 통합하는 것이, 부정적인 결과를 방지하면서, 모든 당사자에 대한 이익을 극대화하는 방식으로 이루어졌다는 것을 편안하게 느끼게 되었다. 그들은 또한 계속해서 새로운 계획들을 생각해냈다. 예를 들어, 그들은 교육생을 위한 주요 성과 지표를 취약한 환자 집단의 임상 관리 개선에 매핑하기 시작했다.
Within a few years, Dr. Walzer, her trainees, and the institution became comfortable that the incorporation of learning analytics into their program was done in a way that maximized the benefits to all parties while preventing negative consequences. They also continued to come up with new initiatives. For example, they had begun mapping key performance indicators for their trainees to improvements in the clinical care of vulnerable patient populations.

1942년 단편 'Runaround'에서, Issac Asimov는 로봇 행동의 지배 원리로 로봇 공학의 3가지 법칙을 제안했다. 로봇 기술의 초기에 쓰여졌음에도 불구하고, 이러한 원칙들은 오늘날까지 계속 논의되고 논의되고 있다. 로봇 공학 및 학습 분석은 특정 지침의 장기적 관련성을 제한하면서 신속하고 예측할 수 없는 진화할 수 있는 기술이라는 공통점을 공유한다. 이를 염두에 두고 학습 분석의 개발 및 구현에 대한 유사한 원칙적 접근 방식이 적절하다고 본다. Slade와 Prinslu는 CBME 내에서 광범위하게 적용할 수 있는 [학습 애널리틱스를 위한 6가지 윤리적 원칙]을 제안했다. 48 표 1은 이러한 원칙을 설명하고 CBME 평가 프로그램 내에서 이들의 적용 예를 제공한다.
In his 1942 short story Runaround, Issac Asimov proposed 3 laws of robotics as governing principles for robot behavior. 50 Despite being written in the early days of robotic technology, these principles continue to be discussed and debated to this day. Robotics and learning analytics share the commonality of being technologies that can evolve rapidly and unpredictably, limiting the long-term relevance of specific guidelines. Bearing this in mind, we believe that a similarly principled approach to the development and implementation of learning analytics is appropriate. Slade and Prinsloo have proposed 6 ethical principles for learning analytics that are broadly applicable within CBME. 48Table 1 describes these principles and provides an example of their application within a CBME assessment program.

분석을 배우는 것은 도덕적인 실천이 되어야 한다.
Learning analytics should be a moral practice

학습 분석은 의사 결정에만 사용해서는 안 되며, 의료 시스템 내의 [교육생, 기관 및 환자의 이익]을 위해 [학습에 대한 이해]를 높이는 데 사용되어야 한다. 적절한 [정책, 시스템 및 문화를 구축 및 조정]하여 사용을 가이드하도록 주의를 기울여야 한다. 예를 들어, 예측 분석을 구현할 때, 우리는 우리가 찾고 있는 정보뿐만 아니라 그러한 정보가 이러한 그룹에 어떻게 그리고 왜 도움이 될 것인지를 신중하게 고려해야 합니다. 우리의 결정에 영향을 미칠 수 있도록 허용하는 분석이 우리의 [시스템에 구축된 가정, 목적 및 체계적 편견을 탐구explore하는 [타당성 주장]에 의해 뒷받침되도록 하는 것]이 매우 중요하다. 학습 분석의 사용이 제도적 및 공동체적 가치와 일치하도록 보장하기 위해 PAIR(참여, 접근, 포함 및 표현) 원칙의 의도적인 고려가 제안되었다. 
Learning analytics should not be used solely to drive decisions, but to gain greater understanding of learning for the benefit of the trainees, institutions, and patients within our health care systems. Care should be taken to build and/or adapt appropriate policies, systems, and cultures to guide their use. 43 For example, when implementing predictive analytics, we must carefully consider what we are looking for as well as how and why that information will benefit these groups. It will be crucial to ensure that the analytics which we allow to influence our decisions are supported by validity arguments that explore the assumptions, purpose, and systemic biases that are baked into our systems. The intentional consideration of the PAIR (Participation, Access, Inclusion, and Representation) principles has been proposed to ensure that the use of learning analytics aligns with institutional and community values. 51

에이전트로서의 교육생
Trainees as agents

학습 분석은 "교육생에게" 가해지는 것이 아니라 "교육생과 함께" 하는 것이어야 한다. 시스템 내에서 교육생의 공동 설계와 참여는 필수적이며, 특히 상급 교육생이 후배들을 육성하고 가르치는 데 있어 어텐딩보다 실제 접근 방식을 더 많이 취하는 시스템에서 더욱 중요하다. 교육생은 당사 시스템의 설계 및 운영에 파트너로 참여해야 합니다. 어떤 데이터가 수집되고 어떻게 사용되는지 알려주면 이러한 분석에 참여하고 이익을 얻는 데 도움이 될 것이다. 이는 훈련생의 성과를 모니터링하기 위해 예측 분석을 사용하기 때문에 특히 중요하다. 이러한 분석의 개발에 교육생을 참여시키는 것은 교육생들이 자신에게 중요한 평가 프로그램에 대리점을 제공하는 동시에 그들의 이점과 한계를 이해하는 데 도움이 될 것이다. 성공적인 공동 설계 노력은 또한 미래 교육 리더의 도제 교육을 가능하게 합니다. 그들의 지속적인 기관은 데이터 시스템의 진화와 갱신에 기여하기 때문에 지속 가능성을 향상시킬 것입니다. 데이터 통찰력에서 학습하는 인간의 측면은 지속적인 전문 개발 문헌에 설명되어 있으며 교육생들에게 번역될 수 있다. 최적의 학습 시스템과 발전 지향적인 조직을 만들기 위해 어떤 교육적 지원, 정책, 시스템이 필요한지 이해하기 위해서는 더 많은 연구가 필요하다. 

Learning analytics should not be “done to” trainees but “done with” them. Co-design and involvement of trainees within the systems are imperative, especially in systems where senior trainees take more of a hands-on approach than attendings in nurturing and teaching their junior colleagues. Trainees should be involved as partners in the design and operation of our systems. Making them aware of what data are being collected and how they are being used will help them to engage with and benefit from these analyses. 28,52 This will be particularly important as predictive analytics are used to monitor trainee performance. Involving trainees in the development of these analyses will help them to understand their benefits and limitations while providing agency in an assessment program that matters to them. Successful co-design efforts also allow for the apprenticeship of future educational leaders whose continued agency will enhance sustainability as they contribute to the evolution and renewal of our data systems. 53–55 The human aspect of learning from data insights has been described in the continuing professional development literature and may translate to trainees. 56 More study is needed to understand what educational supports, policies, and systems will be required to create optimal learning systems and developmentally oriented organizations. 22,43

훈련생 신분과 성과는 시간적 역동적 구조이다.
Trainee identity and performance are temporal dynamic constructs

학습 분석을 구현하면서 교육 및 임상 결과가 [교육생의 상황]에 어떻게 영향을 미칠 수 있는지 결정해야 한다. EPA 평가는 [관찰 데이터]로 구성된다. 이러한 관찰은 [팀 기반 의료]의 맥락에서 발생하며, [암묵적 편견의 영향]을 받을 수 있는 교수진에 의해 완료된다. 우리가 이러한 데이터를 해석하기 시작할 때, 이러한 맥락을 기억하고 시간이 지남에 따라 교육생들의 성장을 고려하는 것이 중요할 것이다. 이는 [복잡한 시스템 속의 환자 결과]와 [교육생 주변에 존재하는 팀]을 통합할 때 특히 그렇습니다. 우리는 연습생이 일하는 맥락을 이해하고 성공을 어떻게 귀속시킬지를 결정하는 데 있어 그것을 설명하기 위해 미묘한 과학이 필요할 것이다. [전공의에 민감한 품질 척도]를 조사 및 분리하고, [의료 팀의 상호 의존성]을 분리하는 데 초점을 맞춘 최근 연구는 이 복잡하고 미묘한 데이터의 해석을 안내해야 한다.
As we implement learning analytics, we should seek to determine how educational and clinical outcomes can be and are impacted by our trainees’ contexts. 57 EPA assessments consist of observational data. These observations occur within the context of team-based health care and are completed by faculty members who may be influenced by implicit bias. 58 As we begin to interpret these data, it will be important to remember this context and consider the trainees’ growth over time. 57 This is particularly true when incorporating patient outcomes within the complex systems and teams that exist around our trainees. We will need nuanced science to understand the context in which the trainee works and account for that in determining how to attribute success. Recent work focused on examining and isolating resident-sensitive quality measures 38,39 and teasing apart the interdependence of health care teams 40,41 should guide the interpretation of this complex and nuanced data.

훈련생들의 성공은 복잡하고 다차원적인 현상이다.
Trainee success is a complex and multidimensional phenomenon.

우리는 학습 분석을 해석하고 사용하는 교육자를 교육하여, 학습 애널리틱스가 도출하는 추론에 대해 어느 정도 회의적인 태도를 유지하도록 해야 한다. 21 기계 학습, 자연어 처리 및 기타 고급 예측 도구는 [상관 관계 데이터 기법의 파생물]이므로 [인과관계와 연결되어 있다고 가정할 수 없다]. 임상 의사 결정 지원 도구, 위험 기반 계산기 또는 기타 지침을 임상 진료에서 사용하는 방법과 유사하게, 우리는 교육에 사용하는 [도구의 진단 부정확성]에 대해 경계해야 한다. 도구의 민감도 및 특수성과 같은 속성을 연구하면 도구의 강점과 한계를 이해하고 저위험 및 고위험 평가 결정에 적절하게 기여하고 있는지 확인하는 데 도움이 될 것이다. 무엇보다도, 우리는 [상관관계가 있는 결과]와 [운명fate]을 혼동하지 않도록 해야 한다.

We should train the educators who interpret and use learning analytics to sustain a degree of skepticism with respect to the inferences they draw from them. 21 Machine learning, natural language processing, and other advanced prediction tools are derivative of correlational data techniques and cannot be assumed to be linked to causality. 59 Similar to how we use clinical decision support tools, risk-based calculators, or other guidelines in clinical care, we should remain wary of the diagnostic imprecision of the tools that we use in education. Studying attributes such as the sensitivity and specificity of our tools will help us to understand their strengths and limitations and ensure that they are contributing appropriately to low- and high-stakes assessment decisions. Above all, we must ensure that we do not confuse a correlated outcome with fate.

투명성.
Transparency.

교육생들의 신뢰를 쌓고 유지하기 위해서는 [투명성]이 필수적입니다. EPA 평가 데이터에는 실습생 학습 및 평가에서부터 교수진 개발, 프로그램 평가, 품질 개선, 연구 및 인증에 이르는 수많은 사용 사례가 있다. 연수생의 평가 데이터가 이러한 모든 목적에 사용될 것이 분명하지 않기 때문에, 연수생은 자신의 데이터가 어떻게 사용될 것인지를 알아야 한다. 또한, 투명한 정책은 다양한 유형의 데이터의 [소유권과 민감도]를 분류하고, [누가 어떤 목적으로 각 유형의 데이터에 액세스할 수 있는지] 명확하게 설명해야 한다. 기관들은 그들의 정책과 지역 입법에 기초하여 그들 자신의 지침을 개발할 필요가 있을 것이다. 예를 들어, 내부 프로그램 평가 및 인증 목적을 위해 익명으로 집계된 수습 평가 데이터 세트를 사용하는 것은 오랜 표준 관행이지만 학습자에게 데이터가 이러한 방식으로 사용될 것임을 공식적으로 알리는 것이 중요하다. 한편, 연구 목적으로 식별 가능하거나 잠재적으로 식별 가능한 평가 데이터를 공유하려면 데이터의 민감도에 따라 선택 또는 선택 동의 프로세스가 필요할 수 있다. [[프로그램 평가]와 [연구] 사이의 구분을 명확히 하는 것]은 종종 프로그램 평가 작업으로 확장되는 윤리적 면제 및 감소된 정밀 조사를 고려할 때 매우 중요할 것이다. 훈련생 평가 데이터의 프라이버시를 보장하기 위해 취한 보안 절차의 한계도 투명해야 한다. 

Transparency is essential to develop and maintain the trust of our trainees. 60 There are numerous use cases for EPA assessment data that span from trainee learning and assessment through faculty development, program evaluation, quality improvement, research, and accreditation. 26 As it is not obvious that a trainee’s assessment data would be used for all of these purposes, they should be made aware of how their data will be used. Further, transparent policies should categorize the ownership and sensitivity of various types of data and explicitly outline who has access to each type of data for what purpose. Institutions will need to develop their own guidelines based upon their policies and local legislation. For example, using an anonymized, aggregated dataset of trainee assessments for internal program evaluation and accreditation purposes is a long-standing and standard practice, but it is important to formally inform learners that their data will be used in this way. On the other hand, the sharing of identifiable or potentially identifiable assessment data for research purposes is likely to require opt-out or opt-in consent processes depending upon the sensitivity of the data. Clarifying the division between program evaluation and research will be extremely important given the ethical exemptions and decreased scrutiny that are often extended to program evaluation work. 61 The limitations of the security procedures taken to ensure the privacy of trainee assessment data should also be made transparent. 62

데이터셋 간의 연결을 강화하면 데이터셋 분석을 지원하고 해킹이나 기타 기술적 문제에 더욱 취약해진다.

• 데이터 파티셔닝(즉, 데이터가 저장되는 위치를 분리하고 온디맨드 방식으로 연결), 
  
• 익명화(즉, 교육생이 데이터만으로 식별할 수 없도록 데이터를 코드화된 식별자로 재작성) 
  
• 블록체인 기술(즉, 분산 원장 시스템을 사용하여 데이터 무결성을 보장하고 장애 지점을 최소화함) 및 
  
• 다른 고급 데이터 보안 기술

...은 보안을 강화할 수 있지만 교육 기관의 현재 기술 수준을 넘어설 수 있습니다. 종합하면, 기관 정책은 [다양한 유형의 수습 데이터를 어떻게 사용할 수 있는지]와 [그 보안을 보장하기 위해 어떤 예방 조치가 마련되어 있는지] 투명하게 정의해야 한다. 
Strengthening the connections between datasets supports their analysis and also makes them more vulnerable to hacking or other technical issues. 23 

• Data partitioning (i.e., separating where data are stored and linking on demand),
• anonymization (i.e., redacting data down to only coded identifiers so that trainees cannot be identified by data alone),
• block-chain technology (i.e., using a decentralized ledger system to ensure data integrity and minimize points of failure), and
• other advanced data security techniques

...could increase security but may be beyond the current technological skill set of educational institutions.

Taken together, institutional policies should transparently define

• how various types of trainee data can be used and
• what precautions are in place to ensure its security.

고등교육은 데이터를 사용하지 않을 여유가 없다.
Higher education cannot afford to NOT use data.

마지막으로, 우리는 학습 분석의 사용을 진전시키기 위한 결의와 용기가 필요할 것이다. 이러한 원칙은 복잡하고 진화하는 문제를 제기하는데, 이러한 문제를 안전하고 윤리적으로 해결하기 위해 해결해야 합니다. 그러나 미래의 교육생과 환자의 이익을 위해 교육 시스템을 개선하기 위해 CBME 내에서 수집한 평가 데이터를 사용하지 않는 것도 문제가 될 수 있다. 인력, 프로그램 및 시스템을 지속적으로 개선한다는 목표로 이러한 새로운 도구의 사용에 접근하면 교육생이 제공하는 임상 관리를 개선할 수 있는 방법에 대한 통찰력을 얻을 수 있습니다.
Finally, we will need resolve and courage to move forward with the use of learning analytics. These principles raise complicated and evolving concerns that will need to be addressed to do this safely and ethically. However, not using the assessment data that we collect within CBME to improve our training systems for the benefit of our future trainees and their patients would also be problematic. If we approach the use of these new tools with the goal of constantly improving our people, programs, and systems, 22 then they will provide insight into how we can improve the clinical care provided by our trainees.

결론들
Conclusions

학습 분석은 교육생, 프로그램 및 시스템에 도움이 되는 방식으로 EPA 기반 CBME 평가 시스템에 의해 수집되는 엄청난 양의 평가 데이터를 활용할 수 있는 잠재력을 가지고 있습니다. 그러나 이들의 활용은 새롭고 잠재적으로 위험한 과제를 제시하기도 한다. 안전하게 전진하기 위해, 우리는 교육과 컴퓨터 과학의 더 넓은 분야에서 개발된 학습 분석의 윤리적 원칙을 고려하고 기초할 필요가 있을 것이다.

Learning analytics have the potential to leverage the incredible amount of assessment data that are being collected by our EPA-based CBME assessment systems in ways that will benefit our trainees, programs, and systems. However, their utilization also presents new and potentially dangerous challenges. To move forward safely, we will need to consider and build upon the ethical principles of learning analytics that have been developed in the broader fields of education and computer science.

Copyright © 2021 by the Association of American Medical Colleges.

숫자는 요약하고, 글자는 설명한다: 위임 평정에서 코멘트를 평가와 피드백 목적으로 활용하기(Acad Med, 2021)
Numbers Encapsulate, Words Elaborate: Toward the Best Use of Comments for Assessment and Feedback on Entrustment Ratings 
Shiphra Ginsburg, MD, PhD, Christopher J. Watling, MD, PhD, Daniel J. Schumacher, MD, PhD, MEd, Andrea Gingerich, PhD, and Rose Hatala, MD, MSc 

단순성은 엄청나게 복잡하다. "사랑해"라는 문장을 생각해 보세요. —리처드 O. 무어, 침묵의 글쓰기, 2010

Simplicities are enormously complex. Consider the sentence “I love you.” —Richard O. Moore, Writing the Silences, 2010

위임 등급에 대한 아이디어는 기회와 경제성을 결합하기 때문에 유혹적이다. 감독관들은 매일 훈련생들에게 특정한 환자 치료 업무를 수행하도록 위탁하는 판단을 하며, 감독량은 다양하다. 이러한 자연발생적인 판단을 활용하여 의미 있는 전공의 평가를 진행하는 것은 어떨까요? 아이디어는 거부할 수 없는 단순성을 가지고 있습니다. 즉, 상사가 "직장의 교육생과 함께 일하고 결정을 내리는 방법"의 구성을 전공의 평가에 맞추는 것입니다. 그럼에도 불구하고, 겉보기에는 간단해 보이는 개념을 조작화하는 것은 매우 어려웠다.
The idea of entrustment ratings is seductive because it combines opportunity and economy. On a daily basis, supervisors make judgments to entrust trainees to carry out specific patient care tasks, with varying amounts of supervision. Why not harness these naturally occurring judgments to drive meaningful resident assessment? The idea has an irresistible simplicity: to align the construct of how supervisors “work with and make decisions about trainees in the workplace” with resident assessment. 1 And yet, it has been exceedingly difficult to operationalize such a seemingly straightforward concept.

일반적인 위임 등급 양식은 숫자 척도와 작성된 주석을 결합한다. 숫자 척도를 포함하는 것은 단순성, 캡슐화 능력 및 익숙함으로 인해 숫자에 끌리기 때문에 직관적으로 보인다. 숫자는 우리의 생물의학 세계의 많은 측면과 일치하는 객관성의 겉모양을 가지고 있다. 그러나 우리는 또한 숫자만을 사용하는데 있어서 한계를 알고 있는데, 이는 건조하고, 무균하며, 맥락상 세부사항이 결여되어 보일 수 있다. 숫자를 정당화하고, 풍부하게 하거나, 대체할 수 있는 가능성이 있는 단어를 추가한다. 단어는 숫자가 할 수 없는 새로운 정보를 제공한다. 그러나 누가 그 말씀을 읽고, 어떻게 해석하며, 그것으로 무엇을 할 것인가 ?
A typical entrustment rating form combines a numeric scale with written comments. Including a numeric scale seems intuitive, as we are drawn to numbers for their simplicity, their ability to encapsulate, and their familiarity. Numbers have a veneer of objectivity that aligns with many aspects of our biomedical world. But we also recognize the limitations in using numbers alone, which can seem dry, sterile, and lacking in contextual details. Enter words, which hold the potential to justify, enrich, or supplant the numbers. 2–4 Words provide novel information that numbers cannot. But who will read the words, how will they be interpreted, and what will be done with them?

단어 사용에 대한 간략한 설명입니다. "내러티브"라는 단어는 서면 평가 코멘트에 초점을 맞춘 많은 연구에서 사용되어 왔지만, 여기서는 특별히 그 사용을 피하기로 한다. [내러티브]는 [스토리를 내포]하고 있으며, 이는 [여러 주에 걸친 로테이션에서 관찰을 통합, 합성 및 문서화하는 것]이 목적인 [교육 내 평가 보고서(ITER)]에 초점을 맞춘 연구에 잘 들어맞는다. 그러나 대부분의 위임 등급에 포함된 코멘트는 단일 관찰된 만남과 관련이 있으며 설계상 훨씬 짧다. — 따라서 [이야기]라기보다는 [문자 메시지]에 가깝습니다. 예를 들어, 정신의학에서 완성된 신뢰할 수 있는 전문 활동(EPA) 양식 중 98%는 단 하나의 의견만 포함하고 있었다. 따라서 본 기사에서는 "주석" 또는 "단어words"를 사용함으로써, 위임 등급 양식의 단어가 "내러티브"라는 달성 불가능한 기준에 도달하지 않도록 할 것입니다.

A brief aside on the use of the term “words.” The word “narrative” has been used in many studies focused on written assessment comments, 2,5 but we will specifically avoid its use here. Narrative implies a story, and this fits well in research focused on in-training evaluation reports (ITERs), whose purpose is to integrate, synthesize, and document observations from a multiweek rotation. 4 The comments included with most entrustment ratings, however, are related to a single observed encounter and are by design much shorter—more like a text message than a story. For example, in psychiatry, 98% of completed entrustable professional activity (EPA) forms contained only a single comment. 6,7 Thus, throughout this article, we will refer to “comments” or “words” to avoid holding the words on entrustment rating forms to an unattainable standard of “narrative.”

위임 등급 양식을 구현함에 따라 다양한 문제가 발생했는데, 그 중 중요한 것은 학습자마다 숫자와 단어 모두 데이터의 바다에 빠져 있다는 것이다. 실제로 위임 등급은 교육생의 진도에 대한 종합 결정을 내리는 역량 위원회에 의해 여러 "낮은 이해" 평가를 함께 고려하는 프로그램 평가 시스템 내에서 사용되어야 한다. [프로그램적 평가]는 [다다익선]이는 암묵적인 가정과 함께 대량의 데이터 수집을 장려한다. 숫자와 단어의 강점과 한계를 풀면 이러한 데이터를 관리하고 이해하는 데 도움이 될 수 있습니다. 우리는 숫자와 단어가 서로 다른 어포던스를 가지고 있다는 것을 고려할 필요가 있다. 예를 들어, 숫자는 캡슐화하며, 단어는 정교화한다. 숫자와 단어는 학습자와 감독자에서 프로그램과 사회에 이르는 다양한 청중에게 말한다. 숫자와 단어는 [근본적으로 서로 다른 철학적 입장]을 반영하며, [숫자는 실증주의 또는 후기 실증주의 세계관]을 반영하고, [단어는 구성주의]에 더 부합한다. 8 숫자와 단어의 이중성을 더 복잡하게 만드는 것은 [위임 등급양식]에서 제공하고자 하는 - 때로는 상충하는 - [목적의 이중성(총괄적 평가와 발전적 피드백)]이다.
A variety of issues have arisen as we have implemented entrustment rating forms, not least of which is that we are drowning in a sea of data, both numbers and words, for each learner. Indeed, entrustment ratings are meant to be used within a system of programmatic assessment in which multiple “low-stakes” assessments are considered together by a competency committee, which makes summative decisions about trainees’ progress. Programmatic assessment encourages the collection of a large quantity of data, with an implicit assumption that more is better. It may help us to manage and understand these data if we unpack the strengths and limitations of the numbers and the words. We need to consider that numbers and words have different affordances; for example, numbers encapsulate and words elaborate. Numbers and words speak to different audiences ranging from learners and supervisors to programs and society. Numbers and words reflect fundamentally different philosophical positions, with numbers reflecting a positivist or postpositivist view of the world and words more aligned with constructivism. 8 Confounding the duality of numbers versus words is a duality of purposes that the entrustment rating forms are meant to serve—summative assessment and developmental feedback—which are sometimes at odds.

본 기사에서는 단어에 중점을 두고, 단어와 숫자의 목적, 장점, 한계를 검토하면서, 코멘트 형태의 위탁 등급에 초점을 맞출 것이다. 이러한 등급의 주요 과제를 강조하고 데이터의 바다에서 우리를 구해내고 해안으로 인도할 수 있는 몇 가지 향후 방향을 제안할 것입니다.
In this article, we will focus on entrustment rating form comments, examining the purposes, strengths, and limitations of numbers and words, with an emphasis on the words. We will highlight key challenges in these ratings and suggest some forward directions that may rescue us from the sea of data and bring us to shore.

누가 어떤 목적으로 숫자가 필요한가?
Who Needs Numbers and for What Purpose?

우리는 우선 [위임-관리 척도]의 숫자에 관심을 돌린다. 위임 등급 양식은 일반적으로 각 오름차순 번호를 앵커에 묶은 4점 또는 5점 척도를 사용하며, 이는 제공된 대부분의 감독량에서 최소의 감독량까지 개별적인 감독 판단 또는 결정을 나타낸다. 숫자는 실제로 위임 스케일에 필요한 것은 아니며, 숫자를 사용할 때, [내려진 특정 감독 결정에 대한 간략한 코드]를 나타내는 것으로 생각되어야 한다. 즉, 숫자는 [레이블] 역할을 하지만 카운트나 척도는 아닙니다. 14

We first turn our attention to the numbers on entrustment-supervision scales. Entrustment rating forms commonly use a 4- or 5-point scale with each ascending number tied to an anchor that represents a discrete supervisory judgment or decision ordered from most to least amount of supervision provided. 1,9–13 Numbers are not actually required for entrustment scales, but when they are used, they should be thought of as succinctly representing a shorthand code for a particular supervisory decision that was made; that is, the numbers serve as a label but not as a count or measure. 14

[위임 척도의 숫자]는 현재 내린 감독결정을 [효율적으로 문서화]하거나, 향후 어느 수준의 감독을 사용해야 할지에 대한 [선언을 기록]하는 데 사용될 수 있다. 번호는 프로그램, 관리 및 역량 위원회의 데이터 포인트로 사용할 수 있으며, 교육생에게는 "비망록aide memoire"으 사용할 수 있습니다. [총괄적 목적]으로 사용될 경우, 이 숫자는 [능력 증명]을 간결하게 문서화합니다. 숫자는 또한 대규모 데이터 세트의 정확한 수치 표현을 제공하기 위해 데이터 포인트를 안정적으로 결합, 필터링 및 요약할 수 있는 수학에 도움이 되지만, 이러한 방식으로 [위임-감독 숫자]를 처리하는 것은 논란이 있다. 1
The numbers on entrustment scales can be used to efficiently document a supervisory decision that was made in the moment or record a proclamation of which level of supervision should be used in the future. 1,15 A number can serve as a data point for the program, administration, and competency committees, and as an “aide memoire” for the trainee. When used for summative purposes, the number concisely documents proof of merit. 16 Numbers also lend themselves to mathematics that can reliably combine, filter, and summarize the data points to provide precise numerical representation of a large dataset, although treating entrustment-supervision numbers in this way is controversial. 1

불행히도, 수치 표현을 다시 고부담 감독, 진급, 역량 결정으로 변환하는 과정은 덜 명확하다. 이러한 계산은 [실습생의 활동, 환자, 감독자, 이들의 상호작용과의 engagement]와 [피드백], [결과] 등과 같은 [상황별 세부 정보를 제거한 숫자]를 사용한다. 바로 이 공허함barrenness이 우리로 하여금 단어 없이 숫자에 의존하는 것을 경계하게 만들고 피드백을 오로지 등급으로만 한정하지 않도록 주의하게 만든다. 다음 절에서 논의한 바와 같이, 서면 코멘트는 척도 상의 숫자(및 그 앵커)가 할 수 없는 정보를 제공한다.
Unfortunately, the process to translate a numerical representation back into high-stakes supervisory, progression, and/or competence decisions is less obvious. These computations use numbers stripped bare of the contextual details of the trainee’s engagement with the activities, patients, and supervisors, and their perceived responses to those interactions, feedback, and outcomes. It may be this barrenness that makes us wary of relying on numbers without words and cautions us against limiting feedback solely to ratings. 17 As is discussed in the following section, written comments offer information that numbers (and their anchors) on scales cannot.

의견이 필요한 사용자 및 목적은 무엇입니까?
Who Needs Comments and for What Purpose?

위임 등급 양식에 대한 코멘트는 다양한 기능을 제공할 수 있습니다.

• 학습자의 관점에서, 코멘트는 [발달적 피드백]을 제공할 수 있습니다. 학습자는 구체적이고 실행 가능한 코멘트를 사용하여 학습 목표를 작성하고 교육이 진행됨에 따라 이러한 목표를 달성하는 과정에서 자신의 진행 상황을 반영할 수 있습니다. 18
• 감독자의 관점에서, 외부검토의견은 [평가나 결정을 뒷받침할 수 있는 근거]를 제공하고 정당화할 수 있다. 코멘트는 또한 전문적인 행동의 특정 측면과 같이 숫자 척도로 표현되지 않을 수 있는 것을 포착하는 데 사용될 수 있다.
• 평가 양식의 주석 상자는 프로그램에 메시지를 보내는 데 사용될 수 있으며, 때로는 교육생들이 체면을 차릴 수 있도록 하는 "코딩된" 언어를 사용한다. 프로그램의 관점에서, 코멘트는 점수보다 더 일찍 어려운 학습자를 식별하는 데 도움이 될 수 있으며, 점수와 함께 사용될 때 총결정을 변경할 수 있다.

종합하면, 코멘트는 [고부담 의사 결정]에 사용될 수 있는 [포트폴리오 또는 공식 기록의 일부]가 된다. 24 분명히, 이러한 목적 중 일부는 모순된다. 감독자가 의사 결정에 있어서 [그들의 말이 가질 수 있는 잠재적인 다운스트림 효과]를 고려하지 않고, 서면으로 건설적인 피드백을 제공하는 것은 어렵기 때문이다. 

The comments on entrustment rating forms can serve a variety of functions.

• If we start from the learner’s perspective, comments can provide developmental feedback. Learners can use specific, actionable comments to create learning goals and reflect on their progress in meeting these goals as training progresses. 18 
• From a supervisor’s perspective, comments can justify and provide context to support a rating or decision. Comments can also be used to capture what may not be represented in the numeric scales, such as certain aspects of professional behavior. 3,5 
• Comment boxes on rating forms can be used to send messages to programs, sometimes by using “coded” language meant to allow trainees to save face. 19,20 From a program perspective, comments can help identify learners in difficulty earlier than the scores alone and can change summative decisions when used in combination with scores. 21–23 

In aggregate, comments become part of a portfolio or formal record that can be used for high-stakes decision making. 24 Clearly, some of these purposes are in conflict, as it is difficult for supervisors to provide constructive feedback in writing without considering the potential downstream effect their words might have when it comes to decision making. 20,25–27

서면 코멘트는 ITER와 OSCE 설정 모두에서 의사 결정과 관련하여 신뢰할 수 있고 타당한 것으로 나타났다. ITER 코멘트에 대한 한 연구는 코멘트가 숫자 점수보다 신뢰성이 높은 반면, 데이터가 덜 필요하다는 것을 발견했다. 2 서면 코멘트는 특정 등급과 관련된 맥락적 세부 정보를 제공하는 데 능숙하며, 더 긴 코멘트는 더 많은 특정 코멘트를 전공의로 하여금 더 가치 있다고 느끼게 할 수 있다. EPA 논평에 대한 데이터는 특별히 적지만, 일부 보고서는 이러한 논평이 ITER에서 일반적으로 보고되는 것보다 더 구체적이고 행동적이며, 그렇지 않으면 척도에 포함되지 않는 정보를 포착할 수 있다고 제안한다. 30 따라서 우리는 ITER "내러티브" 데이터를 위탁 등급 코멘트로 추정하는 데 주의를 촉구하지만, 초기 결과는 그것들이 유사하게 유용할 수 있음을 시사한다.
Written comments have been shown to be reliable and valid when it comes to decision making in both ITER and OSCE settings. 2,28,29 One study of ITER comments found that the comments have higher reliability than numeric scores, while requiring less data. 2 Written comments are good at providing contextual detail related to a particular rating, and longer, more specific comments can make residents feel more valued. 26,27 We have less data specifically on EPA comments, but some reports suggest that these comments are more specific and behavioral than what is usually reported on ITERs, 18 and they may capture information that is not otherwise included in the scales. 30 So while we urge caution in extrapolating from ITER “narrative” data to entrustment rating comments, early results suggest they may be similarly useful.

물론 서면 코멘트에 대한 수많은 비판도 있는데, 여기에는

• 코멘트가 너무 모호하고 구체적이지 않아 유용하지 않으며 학습 향상으로 이어지지 않는 것으로 나타났다.
• 관찰된 성과에 숫자 점수를 할당하는 것도 주관적인 행동이지만, 숫자에 비해 "너무 주관적인" 것으로 종종 조롱당한다. 33
• "심리측정학"을 넘어서는 과정에서, 진자를 잘못된 방향으로 너무 많이 휘둘러 [숫자 점수의 적절한 사용을 과소평가하기 시작했다는 우려]가 표현되었다. 34
• 마지막으로, 서면 평가 의견은 여성이나 과소대표된 소수민족과 같은 특정 집단에 해로울 수 있는 암묵적 편견을 재현하거나 촉진할 수 있다.

Of course there are numerous critiques of written comments as well, including that

• comments are too vague and nonspecific to be useful and that they have not been shown to lead to learning improvement. 31,32 
• In comparison to numbers, comments are often derided as being “too subjective,” even though assigning a numeric score to an observed performance is also a subjective act. 33 
• Concerns have been expressed that in moving “beyond psychometrics,” we may have swung the pendulum too far in the wrong direction and have begun to undervalue appropriate use of numeric scores. 34 
• Finally, written assessment comments can reproduce or promote implicit bias that can be harmful to certain groups, such as women or under-represented minorities. 35,36

댓글과 점수가 다른 것이 문제인가?
Is It a Problem That the Comments and the Scores Are Doing Something Different?

숫자는 학습자의 성과를 나타내는 [매력적인 줄임말]을 제공하지만, 코멘트는 [더 정교한 그림]을 약속한다. Holmboe 등은 숫자란 단지 코드일 뿐, 단어만이 제공할 수 있는 의미와 뉘앙스에 대한 애착이 없는 불완전한 것이라고 언급하면서, 평가 정보의 양적 요소와 질적 요소 사이의 더 나은 균형을 요구했다. 10 Cate와 Regehr가 지적한 바와 같이, 임상 학습 환경의 최전선에서 이루어지는 위임 결정은 본질적으로 [감독자에 의해 인식된 위험에 대한 판단]이 필요하다. 33 그들은 다음과 같이 지적하며, 이에 대해 유리한 의견을 제시한다. "프리셉터의 주관적 경험에 대한 설명만이 진정으로 방어할 수 있는 유일한 명제이다." 코멘트는 평가 등급에 대한 근거를 제공하고, 관찰된 특정 성과와 관련된 상황별 경고를 강조하며, 그 성과를 감독하는 경험을 명확히 함으로써, [숫자의 무뚝뚝함에 미묘함과 실질성을 더한다]. 사용 가능한 평가 데이터를 풍부하게 함으로써, 단어는 [공정성에 대한 인식을 개선]하고, [방어성을 강화]하며, 역량 위원회 설정에서 [그룹 의사 결정을 용이]하게 한다. 그러나 이 잠재력은 숫자와 단어가 [철학적으로, 그리고 목적을 중심]으로 정렬될 때 가장 쉽게 실현된다. 케인의 타당성 프레임워크를 사용하여, 이 경우 위탁 등급 양식(숫자와 단어 모두)을 사용하는 것은 향후 전공의에게 해당 작업을 맡길 수 있는지에 대한 판단을 제공하는 것이다. 숫자는 [관찰된 수행능력을 분류]하기 위해 쉽게 인식되고 쉽게 처리되는 [레이블]을 제공하며, 단어는 [해당 레이블의 선택을 설명하고 정당화]한다. 간단하죠.

While numbers offer an appealing shorthand for representing learner performance, comments promise a more elaborate picture. Holmboe et al called for a better balance between the quantitative and the qualitative elements of assessment information, noting that numbers are but a code, incomplete without attachment to the meaning and nuance that only words can offer. 14 As ten Cate and Regehr note, entrustment decisions made on the frontlines of the clinical learning environment inherently necessitate a judgment of perceived risk by the supervisor. 33 This, they argue, advantages comments, noting: “documentation of the preceptor’s subjective experience is the only truly defensible proposition.” 33 Comments add subtlety and substance to the bluntness of numbers by providing the rationale for an assessment rating, highlighting the contextual caveats related to a particular observed performance, and articulating the experience of supervising that performance. By enriching the assessment data available, words improve perceptions of fairness, bolster defensibility, and facilitate group decision making in competence committee settings. 37 This potential is most readily realized, however, when numbers and words are aligned both philosophically and around purpose. 8 Using Kane’s validity framework, 38 in this instance, the intended use of the entrustment rating form (both numbers and words) is to provide a judgment regarding whether the resident can be entrusted with that task in the future. The number provides a readily recognized and easily processed label to classify the observed performance, and the words explain and justify the choice of that label. Simple.

그러나 위임 등급 양식은 프로그램 평가에 깊이 포함되어 있으며, 프로그램 평가는 단어로부터 더 많은 것을 기대합니다. 프로그램적 방식의 평가는 [학습자의 성과를 평가하는 것]뿐만 아니라, [학습자의 발전을 촉진하는 것]을 목표로 한다. 위임 평정 양식의 문구는 [두 가지 목적]을 모두 충족시켜야 한다. 그 Words는 한편으로는 [판단이나 결정을 설명하고 합리화]해야 하며, 다른 한편으로는 [개선의 동기를 부여하기 위한 피드백과 코칭도 제공]해야 합니다. 케인의 타당성 프레임워크를 이 문제를 개념화하는 또 다른 방법으로 생각한다면, 단어에 의도된 용도는 유일하지 않다. 프로그래밍 방식의 평가에서 현재 운용되고 있는 이 단어는 [두 가지 목적]을 가지고 있다.

• a) 학습자의 승진 결정에 기여하기 위해 총괄적으로 사용된다(숫자에 대한 의도된 용도와 일치한다). 
  
• b) 학습자에게 개발 피드백을 제공한다.

But entrustment rating forms are deeply embedded in programmatic assessment, and programmatic assessment expects more from words. Programmatic assessment aims not only to assess learner performance but also to stimulate learner development. The words on entrustment rating forms must somehow serve both aims. They must explain and rationalize a judgment or decision on the one hand, while offering feedback and coaching to motivate improvement on the other. If we consider Kane’s validity framework as another way of conceptualizing this problem, there is not a single intended use for the words. 38 As currently operationalized within programmatic assessment, the words serve a dual purpose:

• a) to be used summatively to contribute toward promotion decisions for learners (which aligns with the intended use for the numbers) and
• b) to provide developmental feedback to learners.

이 [이중적인 기대]는 일을 엄청나게 복잡하게 만든다. Schut 등은 풍부한 서술적 피드백이 프로그래밍 평가의 개발 목표를 활용하는 데 중요하다고 지적한다. 그러나 [등급을 정당화하는 단어]가 동일하게 ["풍부한 서술적 피드백"]을 구성할 수 있을까? 아마 아닐 것입니다. 비디오화된 OSCE 성과에 대한 통제된 연구에서 Tavares와 동료들은 평가자들이 주로 모든 평가 과제를 총괄적인 것으로 간주하기 때문에, 총괄적이든 형성적이든 비슷하게 평가 과제를 수행한다고 보고했다. 따라서 평가자가 [코멘트의 의도된 목적과 관계없이 유사한 단어를 작성]하더라도, 이것이 평가에도, 피드백에도 [동일하게 효과적]일 수 있거나, [동일한 방식으로 해석될 수 있다]고 가정하는 것은 비약이 될 수 있다.

This double-barreled expectation complicates things immensely. Schut et al point out that rich, narrative feedback is critical to harnessing the developmental aims of programmatic assessment. 39 But can the same words that justify a rating also constitute “rich narrative feedback”? Probably not. Tavares and colleagues, in a controlled study of videotaped OSCE performances, reported that raters engage with assessment tasks similarly, whether they are intended as summative or formative, mainly because they consider all assessment tasks as summative. 40 Thus, it may be a leap to assume that even if assessors do write similar words regardless of the intended purpose of their comments, that their words can be equally effective as both assessment and feedback, or that they will be interpreted the same way.

최근의 한 연구는, 예를 들어, 평가 양식과 참조 서신에 나타날 때, 다른 목적으로 고려될 때, 같은 단어들이 다른 의미를 가질 수 있다는 것을 발견했다. 사실, Schut과 동료들은 이러한 긴장감을 문제 삼았고, 평가 과제의 발달적 목적에 세심한 주의를 기울이지 않는다면 학습이 방해될 수 있다고 제안했다. 41 그러한 세심한 주의를 기울이지 않으면, 학습자들은 [모든 관찰을 판단으로 인식하는 경향]이 있다. 학습자는 자신의 목적이 판단을 통과하기 위한 것인지 아니면 개발을 돕기 위한 것인지 여부에 따라 코멘트와 다르게 상호작용할 수 있습니다.

One recent study found that the same words may take on different meanings when considered for different purposes, for example, when appearing on an assessment form versus a reference letter. 20 Schut and colleagues, in fact, have problematized this tension, suggesting that learning may be stymied unless the developmental purpose of assessment tasks receives careful attention. 41 In the absence of such careful attention, learners tend to perceive all observations as judgment. Learners may interact with comments differently depending on whether they believe their purpose is to pass judgment or to aid development.

긴장 완화: 단어와 목적의 일치
Reconciling Tensions: Aligning Words With Purpose

어떻게 하면 발달적 마음가짐을 장려하면서, 위임 기반 평가 순간에 감독 결정을 포착하는 단순성에 충실할 수 있을까요? 캐나다 맥락에서 위임 기반 평가에 대한 2개의 연구에서, 전공의들은 EPA 평가의 필요한 양과 총괄적 의도가 전공의와 교수진 모두에게 "체크박스" 행위로 이어졌고, 피드백 대화의 품질을 희생시키면서 피드백 양을 증가시켰으며, 전공의와 감독자 관계를 긴장시켰다는 것을 인지했다. 전공의들은 또한 구두 피드백이 숫자와 서면 의견보다 더 큰 가치와 효용성을 가지고 있다는 것을 인식하여 때때로 학습 대화에 참여하기 위해 양식 작성 연습을 피했다. 이는 [평가 활동을 개발 활동과 분리]하고, [구어와 문어의 서로 다른 역할을 고려]하는 등, 아래에서 살펴볼 수 있는 몇 가지 흥미로운 잠재적 방향으로 이어진다.

How can we remain true to the simplicity of capturing supervisory decisions in entrustment-based assessment moments, while encouraging a developmental mindset? In 2 studies of entrustment-based assessments in the Canadian context, residents perceived that the required volume and summative intent of EPA assessments led to a “tick-box” exercise by both residents and faculty, increased the volume of feedback at the expense of lower-quality feedback conversations, and strained the resident–supervisor relationship. 42,43 Residents also perceived that verbal feedback had greater value and utility than numbers and written comments, so much so that they sometimes circumvented the form-filling exercise to engage in learning conversations. 42 This leads to some interesting potential directions forward which we explore below, including separating assessment activities from developmental ones and considering different roles for spoken versus written words.

위임 기반 평가에서 단어의 [발전적 가능성]을 활용하려면, 평가와 피드백을 위한 [이중 목적]이 최선의 방향인지 신중하게 고려해야 한다. 25 두 가지 목적을 가지는 경우, 결국 둘 중 하나도 충족하지 못할 수 있다. 개념적 수준에서, 타당성 주장의 다른 추론이 서로 다른 의도된 사용을 지원하기 위해 작용하기 때문에 이중 목적은 불가능해 보인다. 38 그러나, 우리 분야의 일부 사고 리더들은 이중 목적을 가능하다고 본다. 평가가 "둘 중 하나"가 아니라 "둘 다"가 될 수 있다는 것이다. 이 난제를 해결하는 것은 매우 중요하다.
If we wish to harness the developmental potential of words in our entrustment-based assessments, we must carefully consider whether dual purposing for both assessment and feedback is the best direction forward. 25 Dual purposing may end up not serving either intended use well. 25,44,45 At a conceptual level, dual purposes seem an impossibility as different inferences in the validity argument come into play to support different intended uses. 38 However, some thought leaders in our field see dual purposing as a possibility—that an assessment does not have to be “either-or” but rather can be “both-and.” 46 Sorting out this conundrum is crucial.

[1] 우리는 우리의 양식을 이중 목적화하는 것을 멈추고, 대신 숫자와 단어들을 평가의 명확한 목적에 맞추면 된다. 그런 다음 [쓰여진 단어]는 수치 등급에 대한 [맥락을 제공하고 정당화하는 데 사용]될 것이다. 대상 청중은 프로그램이며, 위임 등급 양식은 오로지 평가를 위한 것이 된다. 이 접근 방식에서, 우리는 그 만남을 form이 아닌 발전적 기회로 활용할 것이다. 다시 말해, 만남의 모든 측면이 평가의 초점을 제공할 필요는 없으며, 전공의와 관리자가 풍부하고 기록되지 않은 학습 대화를 할 경우 [구어]를 발전적으로 사용할 수 있다. 전공의가 원한다면, 그들은 [자신을 위한 메모]를 쓸 수 있는데, 그것은 그들이 개인적으로 간직할 수 있는 [대화의 기념품]이고, 나중에 자기 성찰과 발전을 자극하기 위해 끌어다 쓸 수 있다. 이 접근법은 학습자가 평가 맥락에서 '무대적 연기staged performances'에 참여하는 문제를 회피할 수 없으며, [직접 말로 논의된 내용]과 [양식에 글로 기록된 내용] 사이에 단절이 있을 경우 발생할 수 있는 잠재적 문제를 해결하지는 못하지만, [학습 대화]를 위한 공간을 열 수 있다. 49

We could stop dual purposing our forms and instead align the numbers and the words around the explicit purpose of assessment. Written words would then be used to justify and provide context for the numerical rating. The intended audience would be the program, and the entrustment rating forms would be solely for assessment. In this approach, we would harness the encounter as the developmental opportunity but not the form. In other words, not every aspect of the encounter would have to serve an assessment focus and, if the resident and supervisor engaged in a rich, unrecorded learning conversation, the spoken words could be used developmentally. If the resident wished, they could write notes for themselves—souvenirs of the conversation they could keep privately and draw on later to stimulate self-reflection and development. This approach would not get around the issue of learners engaging in staged performances during assessment contexts, 47,48 nor would it address the potential problems that might ensue if there is a disconnect between what is discussed in person and what is recorded on a form, but it would open a space for learning conversations. 49

[2] 이 [단일 목적 접근 방식] 내의 대안으로, 우리는 [위임 등급에 대해 별도의 평가자]를 채용하는 것을 고려할 수 있으며, 따라서 평가 조우(평가자가 수행)와 피드백 조우(감독자가 수행)를 명확히 구분할 수 있다. 이러한 분리를 통해 감독관들은 주민들의 진정한 코치가 될 수 있고, 전공의 개발을 촉진하기 위한 직접적인 관찰과 피드백 대화에 참여할 수 있다. 51 이 두 가지 접근 방식 모두 문화 변화의 필요성을 인식하고 있다. 의미 있는 학습 대화를 지원하려면 평가 및 피드백에서 [교사를 교육]하거나, [학습자가 성장 마인드를 채택하도록 장려하는 것] 이상이 필요합니다. 또한 효과적인 학습 대화가 이루어질 수 있는 장을 마련하는 [조직적 전략]을 의도적으로 채택할 것을 요구한다. 52
As an alternative within this single-purpose approach, we could consider employing separate assessors for the entrustment ratings, thus making a clear distinction between assessment encounters (conducted by assessors) and feedback encounters (conducted by supervisors). 16,50 This separation could free up supervisors to truly be coaches to the residents, engaged in direct observation and feedback conversations to foster resident development. 51 Both of these approaches recognize the need for culture change. Supporting meaningful learning conversations requires more than training teachers in assessment and feedback or encouraging learners to adopt a growth mindset. It also requires the deliberate adoption of organizational strategies that set the stage for effective learning conversations to occur. 52

[3] 이것은 우리가 숫자와 단어의 개별적인 강점을 이용하여, 명백하게 이중적인 목적을 달성하고 "both-and" 접근방식을 구현하는 세 번째 가능한 행동방침으로 우리를 이끈다. 숫자는 평가에 초점을 맞추지만, 단어는 평가와 피드백에 모두 사용되며, 프로그램은 단어의 목적과 의도된 사용을 명확하게 명시해야 한다. 논평이 제공할 수 있는 이중 목적을 최적화하기 위해서는 감독관이 작성하는 [일선 평가 양식에서 두 가지가 구별되어야] 한다. 도리와 동료들은 [코멘트 상자를 끝이 아니라 시작부에 두는 것]과 같은 평가 보고서에 대한 간단한 "넛지 개입"이 교사들이 제공하는 댓글의 세부 수준과 실행 가능성을 높일 수 있다는 것을 보여주었다. 이 작업을 바탕으로 목적과 의도된 청중을 다루는 위임 등급 양식에 대한 프롬프트를 포함할 수 있습니다. [평가 의견(관측을 설명하거나 등급을 정당화하기 위한 의견)] 또는 [피드백 의견(계속된 개발을 코칭하거나 구체화하기 위한 의견)]을 도출하기 위해 서로 별개의 프롬프트를 사용할 수 있다.

• 전자에 대한 대상 청중은 역량 위원회이지만, 이러한 의견은 교육생에게 보일 것입니다.
• 후자의 코멘트는 교육생을 위한 것이며, 우리는 이러한 코멘트가 역량 위원회에게는 숨겨져야 한다고 주장한다. 코칭은 학습자가 취약성에 대해 안전할 때 가장 잘 작동하며, 학습자에게 자신의 눈을 위한 데이터만 제공하면 그러한 안전감이 강화될 수 있습니다.

Which brings us to a third possible course of action, in which we leverage the separate strengths of numbers and words to explicitly dual purpose and embody a “both-and” approach. Numbers would remain focused on assessment, but words would be used both for assessment and for feedback, with programs having to clearly specify the purpose of the words and their intended use. To optimize the dual purposes that comments can serve, both would have to be distinct on the frontline assessment forms that supervisors complete. Dory and colleagues have shown that simple “nudge interventions” on assessment reports, such as putting the comment box first instead of last, can increase the level of detail and actionability of the comments that teachers provide. Building on that work, we could include prompts on entrustment rating forms that address purpose and intended audience. Different prompts could be used to elicit either assessment comments (those intended to explain observations or justify ratings) or feedback comments (those intended to coach or shape continued development).

• The intended audience for the former is the competency committee, but these comments would be visible to the trainee.
• The latter comments would be intended for the trainee, and we argue these could, and likely should, be hidden from the competency committee. Coaching works best when learners feel safe to be vulnerable, 53,54 and providing them with data for their eyes only may cement that sense of safety.

만약 감독관들이 [그들의 말이 오로지 학습자 개발을 지원하기 위한 것이라는 확신]을 가질 수 있다면, 그들은 덜 구속되고 따라서 더 정직하고 비판적인 의견을 쓸 수 있을 것이다. 그들의 코멘트는 학습자들이 성과에 대한 더 높은 관심을 갖는 결정을 내리는 데 사용될 것이라는 우려를 갖지 않고 개발의 다음 단계를 더 의미 있게 알려줄 수 있다. 이러한 명확한 목적을 달성하려면 시스템 변화가 필요합니다. 단순하게 교사나 학습자에게 특정 의견 집합을 평가로서 또는 피드백으로서 취급해야 한다고 말하는 것은 충분하지 않을 것이다. 증거에 따르면, 이런 것은 상호작용의 인식된 이해 관계나 생성된 평가 및 의견 모두에 큰 영향을 미치지 않을 것임을 시사하기 때문이다. 이러한 이중 목적을 달성한다는 것은 [두 가지 의견 세트가 서로 완벽하게 정렬되지 않을 수 있다는 것]을 의미한다. 하지만 (이 두 가지의) 정렬이 목표가 아닙니다.

• [의사 결정자]는 신뢰할 수 있고 방어적인 결정을 내릴 수 있도록 학습자의 성과를 이해할 수 있는 단어가 필요합니다.
• [학습자]는 자신의 발달 궤적에 맞게 조정되고 지속적인 개선을 지원하는 단어가 필요합니다.

각각에 대해 별도의 단어를 사용한다면, 두 가지 목적을 모두 잘 수행할 수 있습니다.
If supervisors can feel confident that their words are intended solely to support learner development, they might feel less constrained and therefore write more honest, critical comments. Their comments, in turn, might more meaningfully inform next steps in development, without learners harboring concerns that they will be used to render a higher-stakes decision about performance. Achieving this clarity of purpose would require system change. It would not be sufficient to simply tell teachers or learners that a particular set of comments should be treated as assessment or as feedback, as evidence suggests this would not have much effect on either the perceived stakes of the interaction or on the ratings and comments produced. 40,44 Achieving these dual purposes means that the 2 sets of comments may not be perfectly aligned with one another. But alignment isn’t the goal.

• Decision makers need words that allow them to understand learner performance so they can make trustworthy and defensible decisions.
• Learners need words that are tailored to their developmental trajectory and that support continued improvement.

Both purposes could be well served, with separate words for each.

프로그램적 평가와 문서화의 횡포
Programmatic Assessment and the Tyranny of Documentation

마지막으로 해결해야 할 문제는 각 학습자를 위해 생성되는 엄청난 양의 코멘트를 어떻게 해야 하는가이다. 프로그래밍 방식의 평가 프레임워크 내에서 시간이 지남에 따라 "대규모 정보"가 수집되며, 다양한 데이터 소스에서 의미를 만드는 시스템이 필요하다. 역량 위원회는 숫자 데이터만으로 결정을 내리기가 어려울 수 있지만 전공의 한 명당 수십 개 또는 수백 개의 의견을 읽고 해석하는 데 어려움을 겪을 수 있다. 이 문제에 대응하여, 일부 저자들은 자연어 처리와 같은 방법을 통해 단어를 숫자로 줄이는 방법을 탐구했다. 만약 우리가 프로그램에서 찾는 것이 [더 많은 주의를 필요로 하는 학습자들을 식별하는 "신호"나 "코드"]라면, 숫자가 효율적으로 요약될 수 있고 후속 검토에 집중할 수 있는 "1차 통과 필터" 역할을 할 수 있기 때문에, 이 목적에 대한 숫자 점수의 매력은 명백하다. 이 논리에 따라, 몇몇 연구자들은 [단어]에 대해서도, 컴퓨터 알고리즘을 사용하여 어려운 학습자들을 선별하거나 예측하면서 같은 일을 하려고 시도했다. 한 연구에서 키워드 알고리듬은 제안된 숫자 점수보다 어려움을 겪는 전공의를 더 많이 식별했지만, 이 접근법의 전반적인 실현 가능성과 유용성은 확립되지 않았다. 게다가 단어를 숫자로 줄이면 문맥과 설명 측면에서 단어가 제공할 수 있는 모든 잠재력을 잃게 된다. 우리는 단어를 있는 그대로 두고, 숫자를 사용하여 데이터에서 신호를 검색하고, 이러한 신호에 수반되는 단어를 읽어 그것들이 설명하는 평가 조우에 대한 컨텍스트를 제공하는 것을 강력히 지지한다.

A final problem to grapple with is what to do with the sheer volume of comments that are produced for each learner. Within a programmatic assessment framework, “massive information” is gathered over time 55 and necessitates a system to make meaning from a variety of data sources. Competency committees may find it difficult to make decisions based on numeric data alone, yet may struggle to read and interpret dozens or hundreds of comments per resident. In response to this problem, some authors have explored reducing words to numbers, through methods such as natural-language processing. If what one is looking for is a “signal” or “code” that identifies to the program those learners who need more attention, then the appeal of numeric scores for this purpose is obvious, as numbers can be summarized efficiently and can act as a “first-pass filter” that can help focus subsequent review. 34 Following this logic, several researchers have attempted to do the same with words, using computer algorithms to screen for or predict learners in difficulty. In one study, keyword algorithms identified more residents in difficulty than the numeric scores suggested, 56 but the overall feasibility and utility of this approach have not been established. Furthermore, reducing words to numbers loses all the potential of what the words might offer in terms of context and description. We strongly advocate to let words be as they are, to use the numbers to search for signals in the data, and to read the words that accompany those signals to provide context for the assessment encounters they describe.

역설적이게도, 프로그램 평가에서 해결하려고 했던 문제(충분한 평가 데이터가 아님)는 이제 새로운 문제를 만들어냈다: 
바로 [문서화의 횡포]이다. [피드백 순간]을 기록해야 하는 [평가 순간]으로 바꾸기 위해 학습자와의 모든 상호 작용을 요구한다면, 우리는 지도자와 전공의 사이의 발전적인 관계를 해친다. 평가 우위적인 컨텍스트는 학습을 위한 안전한 공간을 제거하고 평가 목적을 위해 전공의를 실제적이지 않은 공연적 수행(staged performance)으로 가이드할 위험이 있으며, 이는 의미 있는 피드백에 대한 가치가 낮다. 아마도 "더 많은 데이터가 더 낫다"는 가정에 의문을 제기하고, 더 적은 데이터(그러나 올바른 종류의 데이터)가 우리의 목적에 똑같이 잘 부합할 수 있다는 점을 고려해야 할 것입니다.

Paradoxically, the problem that programmatic assessment was trying to solve (not enough assessment data) has now created a new problem: the tyranny of documentation. If we require every interaction with a learner to turn a feedback moment into an assessment moment that must be recorded, we undermine the developmental relationship between supervisor and resident. An assessment-dominant context removes the safe spaces for learning and risks guiding residents toward inauthentic staged performances for assessment purposes, which are of low value for meaningful feedback. 47 Perhaps we should question the assumption that “more is better” and consider that less data—but the right kind of data—may serve our purposes equally well.

결론 Conclusion

공동체로서, 우리는 숫자와 단어가 모두 포함된 위임 등급 양식을 구현했는데, 각각의 목적과 용도에 대한 관심이 부족할 수 있습니다. [단어]가 [피드백을 위한 것]인지 [평가를 위한 것]인지에 대한 모호성 때문에, 고부담적 목적이 지배적인 경향이 있었기에, 단어를 평가로 처리하는 것이 디폴트였으며, 교육생은 진행 중인 개발에서 다음 단계를 수행하도록 의미 있게 도울 수 있는 기회를 확실히 잃어버렸다. [목적의 명확성]을 달성하는 쪽으로 우리의 에너지를 옮기고, 다른 접근 방식(단일 목적, 이중 목적)을 실험하여 평가와 피드백을 단어를 통해 달성할 수 있는지 여부와 방법을 이해하는 것이 앞으로 나아가는 데 도움이 될 수 있다. 위임 평정 양식은 프로그램 평가와 연계되어 있으며, [발달적 목적]을 장려하기 위해 프로그램 평가를 구현할 수 있는 방법을 전경화해야 한다. 그 중에서 가장 중요한 것은, 학습 대화가 일어날 수 있는 맥락으로서 학습자와 감독자 사이의 종적이고 신뢰적인 관계에 초점을 맞추는 것일 수 있다. 단어들은 [정교화하고, 문맥화하며, 교육instruct할 수 있는 엄청난 잠재력]을 가지고 있다. 이 잠재력을 실현하기 위해서, 우리는 그들의 의도된 용도를 분명히 해야 하고, 우리가 단어들을 [언제, 어떻게 모으는지]를 [왜 모으는지]와 일치시키기 위해 노력해야 한다. 우리는 교육자들이 단순히 피드백을 위해 일부 교육적 만남을 보존하고 모든 단어가 데이터가 될 필요는 없다는 점을 고려하도록 장려한다.

As a community, we have implemented entrustment rating forms with both numbers and words, with perhaps insufficient attention to the purpose and intended use of each. Because of the ambiguity as to whether the words are for feedback or assessment, the higher-stakes purpose tends to dominate and the default has been to treat words as assessment, which surely represents a lost opportunity for meaningfully helping trainees take the next steps in their ongoing development. Shifting our energies toward achieving clarity of purpose, and experimenting with different approaches (single purpose, dual purpose) to understand whether and how assessment and feedback may be achieved through words, may be a helpful way forward. Entrustment rating forms are linked with programmatic assessment, and we need to foreground the ways in which programmatic assessment can be implemented to encourage developmental purposes—of which the most important may be focusing on longitudinal, trusting relationships between learners and supervisors as the context in which learning conversations can occur. 39,57 Words have enormous potential to elaborate, to contextualize, and to instruct. To realize this potential, we must be crystal clear about their intended use and work toward aligning how and when we collect words with why. We encourage educators to preserve some educational encounters purely for feedback and to consider that not all words need to become data.

Copyright © 2021 by the Association of American Medical Colleges.

평가의 공정성 수호하기: 어떻게 교수자가 공동-실천하는가 (Med Educ, 2022)
Safeguarding fairness in assessments—How teachers develop joint practices
Linda Barman1 | Cormac McGrath2 | Staffan Josephsson3 | Charlotte Silén4 | Klara Bolander Laksov2,4

1 소개
1 INTRODUCTION

보건 전문가 교육에서 [학생 학습에 대한 평가]는 중심적이지만 어려운 과제이다. 한 가지 과제는 미리 정의된 표준의 적용을 통해 투명성을 달성하는 동시에 교사의 전문적인 판단을 인정하는 것이다. 지난 수십 년 동안 성과 기반 및 역량 기반 커리큘럼 개혁은 [투명성]과 [공공 책무]의 강화를 추진해 왔다. 그러한 투명성을 달성하기 위한 한 가지 방법은 평가 기준을 명시하는 것이다. 그러나 역량, 평가 타당성 및 신뢰성을 포착하는 의미 있는 기준의 개발이 논의된다. 명시적 채점 기준은 학생들이 학습할 것으로 기대되는 내용의 투명성을 높이는 것으로 알려져 있지만, ['일부' 역량만을 선호함]으로써 [역량의 통합적 평가]를 위험에 빠뜨릴 수 있다. 
The assessment of student learning in health professions' education is a central, yet challenging task.1, 2 One challenge involves achieving transparency through the application of pre-defined standards, while also acknowledging teachers' professional judgements. For the past decades, outcome-based and competency-based curriculum reforms have pushed for enhanced transparency and public accountability.3-5 One way to achieve such transparency has been to make the assessment standards explicit.3, 5 However, the development of meaningful criteria capturing competency, assessment validity and reliability are debated.5-9 Explicit grading criteria are known to increase the transparency of what students are expected to learn but may endanger the assessment of integrated competency in favour of ‘pieces of’ competencies.10-12 

다양한 평가 방법의 결과와 평가자 등급의 변동 이유(판단 및 피드백 제공의 숙련도 포함)에 대해서는 많이 알려져 있지만, [임상 교사가 어떤 식으로 평가 관행을 개발하고 평가 표준을 이해하는지]에 대해서는 거의 알려져 있지 않다. Gordon과 Cleland16은 최근 문맥상 변화 관행을 이해하기 위한 비선형 접근법을 요구했다. 이 서술적 연구는 이러한 비선형 접근법을 사용하여 보건직 교사들이 시간에 따라 평가 관행에 대해 어떻게 가고, 명확한 평가 기준을 강조하는 정책과 관련하여 경험적 기반 발견을 기여함으로써 변화 관행에 대한 복잡성을 풀어나간다. 본 연구의 목적은 학생들의 임상 역량을 평가하기 위한 공유 기준이 개발 및 구현될 때 교사의 평가 관행이 어떻게 바뀔 수 있는지를 이해하는 것이다.

While much is known concerning the outcomes of different assessment methods,13 and the reasons for variation in assessor ratings including proficiency in making judgements and providing feedback,14, 15 little is known about how clinically oriented teachers develop assessment practices and make sense of assessment standards. Gordon and Cleland16 recently called for non-linear approaches to understand change practices in context. This narrative study uses such a non-linear approach to unravel the complexity of change practices by contributing empirical-based findings concerning how health professions teachers go about their assessment practice, over time, and in relation to policies emphasising clear assessment criteria. The aim of the present study is to understand how teachers' assessment practice may change when shared criteria for assessing students' clinical competency are developed and implemented.

1.1 평가 및 기준에 대한 교사의 접근 방식
1.1 Teachers' approaches to assessment and standards

평가자마다 평정이 다른 이유에 대해 여러 가지 설명이 있다. 예를 들어, 학생 성취도는 [개별 특성의 사회적 분류]에 기초하여 판단된다. Kogan 등은 교수진의 임상 기술 평가 사이에 변화를 초래하는 몇 가지 요인을 보고한다. 그들은 교육 환경, 독특한 임상적 만남, 제도적 문화와 같은 [평가 상황에서 맥락적 요인의 영향]을 강조한다. 17 [교사의 인식론적 관점]은 또한 그들의 평가 관행에 영향을 미치는 것으로 알려져 있다. 이러한 기본적인 가정은 '생명을 가지게 되며come to life' 의료 전문가들이 의료행위를 하는 [사회 및 문화적 맥락]의 통합된 부분이다.20 [제정된 견해enacted view]는 평가자의 판단 사이의 차이를 설명할 수 있으며, 또한 연구에 따르면 교사들은 평가의 기능을 다른 방식으로 고려할 수 있다. De Jongge 등은 작업 기반 성과 평가의 다양한 관점에 관한 문헌의 주요 주제를 확인했습니다.

• (1) 학습에 대한 평가 대 학습에 대한 평가, 
  
• (2) 역량의 전체론적 개념화 대 분석적 개념화 
  
• (3) 심리측정학 대 사회구성주의 접근법 

There are a number of explanations as to why assessors' ratings differ, for example that student performance is judged based on social categorisations of individual charachteristics.14 Kogan et al.17 report several factors leading to variation between faculty members' assessments of clinical skills. They emphasise the influence of contextual factors in the assessment situation, such as the educational setting, the unique clinical encounter and the institutional culture.17 Teachers' epistemological views are also known to influence their assessment practices.4, 18, 19 Such fundamental assumptions ‘come to life’ and are an integrated part of the social and cultural context in which health professionals practice.20 Enacted views may explain the variation between assessors' judgements, and also, research suggest that teachers regard the function of assessment in different ways.15, 18, 21 de Jonge et al.21 identified key themes in the literature regarding different perspectives of work-based performance assessments:

• (1) assessment for learning versus assessment of learning,
• (2) holistic versus analytical conceptualisations of competence and
• (3) psychometric versus social-constructivist approaches.

Hodges22는 [심리측정학 담론]이 평가에 관한 [의학 교육 연구]뿐만 아니라 [교육자]들 사이에서 사고와 실천의 한 방식이었던 방법을 상세히 설명한다(예를 들어 숫자를 이용한 피드백을 제공하는 것이 여기에 해당한다). 단어보다 [숫자를 사용]하는 것은 철학적 가정을 반영하고 시간을 절약할 수 있지만, 연구원들은 이런 방식을 주의할 것을 촉구하고, [평가와 피드백 방법의 조합]의 가치를 강조하며, 다른 목적에 도움이 될 수 있다고 제안한다.23 유사한 논거를 사용하여, 프로그래밍 평가의 옹호자들은 학생들의 능력을 다양한 방법으로 포착하는 더 긴 기간에 걸친 다양한 형성적 및 종합적 평가 방법을 제안한다.1, 24

Hodges22 details how the psychometric discourse has not only dominated the medical education research regarding assessments but also how it has been a way of thinking and practising among educators, for example, by providing feedback using numbers. The use of numbers rather than words reflects philosophical assumptions and may save time, but researchers urge caution and suggest a combination of rating and feedback methods could be valuable and serve different purposes.23 Using a similar rationale, advocates of programmatic assessment suggest a variety of formative and summative assessment methods over longer periods of time that capture students' capabilities in various ways.1, 24

많은 연구가 설명적 요인과 성공적인 평가 방법의 확인에 관한 것이지만, 시간이 지남에 따라 교사들의 시각이 어떻게 변할 수 있는지에 대한 연구는 거의 없다. 본 논문에서, 우리는 교사의 관행 개발을 다루고, 학생들의 평가 표준, 자유방임주의 접근법, 명시적 접근법, 사회-건설주의 접근법 및 실천 공동체 접근법에 대한 교사의 다양한 접근 방식을 개략적으로 설명하는 O'Donovan 등의 19 프레임워크를 적용한다.19

• 평가에 대한 [자유방임적 접근법]은 학생들이 기준이 어떻게 정해지고 질이 어떻게 평가되는지를 점차적으로 '알게' 된다는 것을 의미한다. 자유방임주의로 접근하는 교사들은 우연한 방식으로 비공식적으로 전달되는 암묵적인 기준에 따라 성과를 판단한다.
• [명시적 접근법]은 기준을 명시적으로 그러나 수동적으로 명확히 설명하는 평가 기준에 의해 특징지어진다. 이 접근법은 교사들이 소위 명시적인 기준에 너무 많이 의존하게 만든다는 비판을 받아왔다.
• [사회 구성주의 접근법]은 평가 관행과 관련하여 공동 참여를 인정한다. 학생들은 적극적으로 참여하며, 다양한 활동을 통해 평가 기준에 익숙해져 실제 의미에 대한 이해를 형성합니다.6
• 네 번째 접근법은 벵거의 26가지 [실천 공동체 이론]에 기초한다. 교사와 학생이 평가 실천에 상호 참여하는 것이 중요하다는 점을 인정하며, 이를 통해 학습 공동체 내의 명시적 기준과 암묵적 지식이 논의되고 공유되어 상호 이해를 형성한다.

While much research concern the identification of explanatory factors7, 14, 17 and successful methods for assessments,13, 25 little is devoted to how teachers' views may change over time. In this paper, we address teachers' development of practices and apply O'Donovan et al.'s19 framework, which outlines teachers' different approaches to developing students' understanding of assessment standards, the laisse-faire approach, the explicit approach, the social-constructivist approach and the community of practice approach.19 

• Practising the laisse-faire approach to assessment means students gradually come to ‘know’ how standards are set and how quality is assessed. Teachers with a laissez-faire approach judge performances according to tacit standards that are informally communicated in serendipitous ways.
• The explicit approach is characterised by assessment criteria that articulate standards explicitly but passively. This approach has been criticised for making teachers rely too much on so-called explicit criteria.
• The social-constructivist approach acknowledges joint participation with respect to evaluative practice. Students are actively engaged and, through various activities, become familiar with assessment criteria to create an understanding of what they mean in practice.6 
• The fourth approach builds on Wenger's26 theory of community of practice. It acknowledges the importance of teachers' and students' mutual engagement in the assessment practice, whereby explicit standards and tacit knowledge within the learning community are discussed and shared to form mutual understanding.

2 방법
2 METHODS

2.1 서술적 연구 접근법
2.1 A narrative research approach

이 연구는 인간이 경험을 서술형으로 구성함으로써 어떻게 그들의 경험에 의미를 부여하는가에 대한 서술 이론에 기초하고 있다. [서사적 감각 형성]은 [사람들이 행동과 경험을 설명하기 위해 과거, 현재, 미래의 사건들을 서술로 연결시키는 것]을 의미한다. 브루너는 세상을 이해하는 [두 가지 보완적인 방법]이 있다고 주장한다. [논리-과학적] 그리고 [서사적]. 

• [과학]은 일반적인 원인을 찾기 위해 논리를 사용하는 첫 번째 것과 경험적 탐구를 통해 검증 가능한 진리를 검증하는 것에 의해 뒷받침된다. 그러나
• [서사적 감각 형성]은 인간이 일상 생활에서 다른 사건들을 연결함으로써, [자신과 타인의 행동을 어떻게 설명하는지]를 다룬다. 이러한 [스토리가 있는 연결]이 진화하면 모순과 여러 의미를 포함할 수 있습니다. 

This study is based on narrative theory about how humans bring meaning to their experiences by structuring them as narratives.27-29 Narrative sense-making means that people connect past, present and future events into narratives to explain actions and experiences.30, 31 Bruner27 argues that there are two complementary ways to make sense of the world: the logico-scientific and the narrative.

• Science is underpinned by the first, in which logic is used to find general causes, and through empirical explorations test verifiable truths.
• Narrative sense-making, however, deals with how humans explain the actions of themselves and others by making connections between different events in their everyday lives.27 When these storied connections evolve, they may contain contradictions and multiple meanings.28 

이 연구의 근거는 [실천의 발전]은 모순으로 가득 차 있고, 교육 실천을 개선하기 위해서는 [교사들이 변화와 관련된 경험을 어떻게 이해하는지] 더 잘 이해하는 것이 필수적이라는 것이다. [서사의 강점]은 [인간 생활의 지저분하고 모순된 측면]을 조명하는 생동감에 있다. 교사들이 학문과 임상 업무의 다양성에 관여할 때, 그들의 의도는 정적이지 않으며, '능력 개발'의 결과물도 아니다. 오히려 다른 실천방법이 시험되고 반영됨에 따라 의도는 지속적으로 변화한다.

The rationale of this study is that development of practice is filled with contradictions and that a better understanding of how teachers make sense of experiences related to change is essential to improve educational practice. The strength of narratives is their lifelikeness, which illuminates the messy and contradictory aspects of human life.27 When teachers engage in the diversity of academic and clinical work, their intentions are not static or the result of ‘a competence development’. Rather, intentions change continuously as different ways of practising are tested and reflected upon.

2.2 연구 및 샘플링의 맥락
2.2 Context of study and sampling

이번 연구는 스웨덴 고등교육 내 명확한 등급기준 등 투명성을 강조하는 국가개혁과 연계해 진행됐다. 스웨덴 대학은 채점 기준을 어떻게 적용할지를 자율적으로 결정할 수 있기 때문에 대학, 과정, 심지어 학과 내에서도 차이가 있다. 스웨덴의 학습 프로그램은 [과정 기반 시스템]을 중심으로 구성되며, 각 과정이 끝난 후 학생들의 성과를 평가하고 채점하며, 일반적으로 5주 또는 10주 동안 지속된다. 스웨덴에서, [과정 리더]는 수업 요강을 개발하고, 평가와 채점 기준을 결정하며, 보통 시험관의 공식적인 역할을 맡지만, 다른 교사들은 학생들의 성과에 대한 정보를 제공할 수 있다. 의학 및 보건직 교육에서, 각 강의 요강은 커리큘럼과 연계된 학습 결과를 명시해야 하며, 따라서 의도된 대학원 역량으로 연결되어야 한다.4 세부 수준과 학습 성과가 표현되는 방법은 과정마다 다르지만, 일반적으로 채점 기준은 학생 성과에 대한 요구사항을 명시한다.
This study was conducted in conjunction with national reforms stressing transparency such as clear grading criteria within higher education in Sweden. Universities in Sweden have the autonomy to decide how grading criteria are applied, and therefore, there is variation between universities, courses and even within departments. Study programmes in Sweden are organised around a course-based system, where students' performances are assessed and graded after each course, which generally lasts for 5 or 10 weeks. In Sweden, course leaders are mandated to develop the course syllabus, decide assessments and grading criteria and usually have the formal role of examiner, but other teachers can provide input on student performance. In medical and health professions education, each syllabus should specify learning outcomes that are linked to the curriculum and thus to the intended graduate competency.4 The level of detail and the way that learning outcomes are expressed varies between courses but, in general, grading criteria specify the requirements on student performance.

우리의 심층 서술적 연구 접근법에 따라, 우리는 이론에 기초한 표본추출을 사용하여 하나의 [교육적 설정]을 선택했다. 17 우리는 [커리큘럼 개혁에 대한 이데올로기적 접근]에 의해 설명되는 것과 유사한 학생 중심의 학습 관점에 따라, 광범위한 해석에 기초하여 정책을 번역하는 주요 커리큘럼 변경을 시행한 9명의 교사를 모집했다.32 모든 9명의 교사들, 남자, 여자, 모두 병원 현장에서 일했고 스웨덴 대학에 의해 제공되는 하나의 건강 전문 교육에서 주요 과정의 계획, 전달 및 평가(형성 및 종합 평가 포함)를 담당했다. 지난 10년 동안, 학습 프로그램의 대부분의 과정에 대한 책임은 이 교사들 사이에서 돌아가며, 그들은 각각 여러 과목의 과정 지도자와 시험관이었다.
In accordance with our in-depth narrative research approach, one educational setting was chosen using theory-based sampling.17 We recruited nine teachers who had implemented major curriculum changes where they translated policy based on a broad interpretation in line with a student-centred view of learning, similar to what is described by the theoretical construct ideological approach to curriculum reform.32 All nine teachers, men and women, worked at a hospital site and were responsible for the planning, delivery and evaluation (including formative and summative assessments) of the main courses in one health professions education offered by a Swedish university. In the last 10 years, responsibility for the majority of courses in the study programme had rotated between these teachers, who each had been course leaders and examiners for several courses.

이 연구는 교사들에 의해 시작된 [평가 관행을 개선하기 위한 개입]과 함께 수행되었습니다. 교사들은 서로 다른 수준의 공부에서 세 명의 학생들을 모집했고 그들이 각각 다른 환자들을 검사하면서 그들을 비디오로 촬영했다. 검사에는 이력서 작성, 신체검사, 기술기기 취급, 진단 전 소견 해석, 치료 권고 등이 포함됐다. 검사는 약 1시간이 소요될 것으로 예상되었으며 학생들의 최종 임상 기술 검사와 유사한 임상 훈련 환경에서 실제 환자를 대상으로 수행되었습니다. 그 후 교사들은 5개월 간격으로 세 차례에 걸쳐 만났다. 처음 두 번의 회의 동안 모든 교사가 비디오를 시청하고 개별적으로 평가를 수행한 후 평가 결과와 기준 해석에 대해 공동으로 논의하였다. 두 회의 모두 다단계 순위와 전문적 행동에 대한 명확화 등 기준을 개선했다. 두 번째 기준 토론 후 5개월 후, 교사들은 기준 템플릿을 완성하기 위해 다시 만났다. 미팅 사이에 그들은 개정된 기준을 실무에 적용했다.

This study was conducted in conjunction to an intervention initiated by the teachers to enhance their assessment practice. The teachers recruited three students from different levels of study and videotaped them as they each examined different patients. The examination included history-taking, physical examination, handling technical devices, interpretation of findings before diagnosis and recommendations for treatment. The examination was expected to take approximately 1 hour and was performed on authentic patients in a clinical training setting that resembled the students' final clinical skills exam. The teachers then met on three occasions at 5-month intervals. During the first two meetings, all teachers watched the videos and carried out the assessments individually before jointly discussing their assessment outcomes and interpretations of the criteria. Both meetings resulted in refinements of the criteria, such as multi-level rankings and clarifications on professional behaviour. Five months after their second criteria discussion, the teachers met again to finalise the criteria template. In between meetings, they applied the revised criteria in their practice.

2.3 자료 및 분석
2.3 Data and analysis

이 데이터는 교사들이 평가 관행을 개선하기 위해 1년 동안 개입하는 동안, [여러 가지 방법]을 조합하여 생성되었습니다. 녹음되고 녹음된 관찰은 9명의 교사들의 네 번의 회의와 그 회의들 사이의 비공식적인 대화 동안 이루어졌다. 회의 후 그들의 개별 서면 성찰도 수집되었다. 첫 번째 저자가 만든 필드 노트에는 얼굴 표정, 몸짓, 물리적인 방, 유물, 분위기 등이 담겼다. 모든 메모는 관측 당일이나 다음 날 작성되었다. 연말에는 학과에서 가장 오래 근무한 교사(>10년)와 채점기준 개정 조정을 맡은 교사 중 3명을 선발해 단체면접을 진행했다. 이 탐색적 인터뷰(2.5시간)는 교사들이 과거의 경험을 회상하고 그 의미를 발전시킬 수 있는 기회를 제공했고, 그에 따라 풍부한 데이터가 생성되었다. 33 또한 교사 그룹의 일원이었던 프로그램 책임자와 함께 두 번의 추가 인터뷰가 이루어졌다.
The data were generated through a combination of methods throughout the teachers' 1-year intervention to enhance their assessment practice. Tape-recorded and transcribed observations were made during four meetings of the nine teachers and during informal talks between those meetings. Their individual written reflections following the meetings were also collected. The field notes generated by the first author included facial expressions, body language, the physical room and artefacts and the atmosphere.33, 34 The notes were all written out either the same day or the day after the observation. At the end of the year, three of the teachers who had worked the longest at the department (>10 years), and the teacher responsible for coordinating the revision of the grading criteria, were chosen for a group interview. This exploratory interview (2.5 hours) provided an opportunity for the teachers to recall past experiences and evolve the meaning of these, thereby rich data was generated.33 Two additional interviews were held with the Programme Director, who was also part of the teacher group (e.g. course lead and examiner).

저자들 중 세 명이 공동으로 [중요한 사건]을 중심으로 서술 분석을 수행했다. 즉, 교사들이 평가의 공동 개발에 있어서 중요한 것으로 인식되는 사건들, 즉, 기회나 변화에 대한 압력을 조성한다. 표 1을 참조하는 이 중복된 사건들은 10년 전으로 거슬러 올라가는 상황에 대한 선생님들의 이야기를 바탕으로 했다. 분석 중에, 텍스트 자료로 번역된 모든 데이터는 함께 모이게 되어, 교사들의 '우세한 담론'이 그들의 일상적인 행위enactment(생각과 행동)에서 어떻게 표현되었고, 이러한 담론이 시간에 따라 어떻게 발전했는지에 대한 서술적 분석이 가능하게 되었다. 34 

Three of the authors jointly conducted a narrative analysis centred on significant events,28, 29, 34 i.e. events the teachers perceived as significant28 for their joint development of assessments, either by creating opportunities or pressure to change. These overlapping events, see Table 1, were based on stories shared by the teachers about situations that went as far back as 10 years. During analysis, all data, transcribed as text materials, were pooled together, enabling narrative analysis of how the teachers' ‘prevailing discourses’ were expressed in their everyday enactment (thinking and acting) and how these discourses evolved over time.34 

수행된 분석 과정은 모의emplotment라고 알려져 있는데, 이것은 연구자들이 그들의 경험을 이해하기 위해, [교사들이 했던 것과 같은 방식으로 인간의 행동, 의미, 동기, 사건, 결과를 연결했다는 것]을 의미한다.

• [플롯]은 시작, 중간, 끝을 중심으로 정렬되며, 이는 [인간 추론의 간단한 개요]에 비해서 [서사적 분석의 결과를 더 많이 만들고], [네러티브의 주제 분석의 제시]와는 다르다.
• [플롯]은 물리적 의미에서의 다양한 사건들이 어떻게 전개되는지를 중심으로 구성될 수도 있지만, 우리가 인간의 변화 경험에 관심을 기울였을 때, 모의emplotment는 [선생님들이 의미 있는 것으로 표현한 사건들에 초점]을 맞추었다. 
  
• 우리의 연구 접근법에 따르면, 인간의 [의미 만들기]는 종종 물리적 연대기와는 다른 시간과 상호 연결된 사건의 재창조라고 간주되었다.
  
• 전개되는 서술(emplotment)은 여러 번 다시 쓰여졌고 작가들 사이에서 논의되었다. 결국, 그들의 평가 관행이 어떻게 변화했는지와 학생들의 임상 역량을 평가하기 위한 기준을 어떻게 이해했는지에 대한 교사들의 의미 결정(행동 및 경험을 통해 보여짐)을 묘사하면서, 일관된 내러티브가 구성되었다.

The analytical process conducted is known as emplotment, which means that the researchers linked human action, meaning, motives, events and consequences in the ‘same way’ the teachers did, in order to make sense of their experiences.29, 34 

• Plots are ordered around a beginning, middle and end, which makes the findings from a narrative analysis more than a brief outline of human reasoning and differs from the presentation of a thematic analysis of narratives.30, 35 
• Plots may be structured around how different events played out in a physical sense, however, as we attended to human experience of change, the emplotment centred on happenings the teachers expressed as meaningful.
• In accordance with our research approach, human meaning-making was regarded as a re-creation of time and interconnected events that most often differ from physical chronology.27, 28 
• The unfolding narrative (the emplotment) was rewritten several times and discussed among the authors. Eventually, a coherent narrative was structured, depicting the teachers' meaning-making (shown through action and experience) of how their assessment practices had changed and how they made sense of the criteria to assess students' clinical competency.

표 1. 중요 이벤트
TABLE 1. Significant events

2.4 방법론적 성찰 및 한계
2.4 Methodological reflections and limitations

내러티브는 사회적 맥락에 내재되어 있으므로 독특하고 일반화되지 않는다. 그것들은 현상의 풍부함과 복잡성을 묘사하고 있으며, 독특한 내러티브는 다른 맥락에서 일어나는 일들을 설명하고 이해하기 위해 전이transfer될 수 있고, 그 목적을 위해 여기에 맥락적 설명이 포함된다. 여기에 보고된 서술은 교사들에게 의미 있는 동기와 사건들을 포함한 변화 과정을 보여준다. 자연과학의 관점에서, 사건에 대한 인간의 기억은 편향될 수 있다. 예를 들어, 서술적 의미 만들기는 사건의 정확한 연대기적 표현을 반영하지 않을 수 있다. 따라서 [내러티브 인 액션 분석]은 [집행된 이야기]와 [인간이 그들의 관점에서 사건을 이해하는 방법]을 조명한다. 우리가 사회 문화적 관점을 채택하고 분석의 단위로 그룹 레벨에 참여했기 때문에, 교사들의 감각 형성에서의 개인 차이는 여기서 다루지 않는다. 이 분석에는 개입을 수행한 9명의 교사로부터 생성된 데이터가 포함되었으며, 한 연구 프로그램에 대한 주된 책임이 있었다. 그러나 학생들을 가르치고 평가한 다른 보건 전문가와 대학 교수진들은 그들의 관점을 공유하지 않았을 수 있다. 게다가, 참여 교사들은 이전에 교수진 개발에 참여했으며, 비록 그들 모두가 평가에 관한 특별한 교육을 받은 것은 아니지만 교육학상 지식을 가지고 있는 것으로 가정했다.

Narratives are embedded in social contexts and therefore unique and not meant to be generalised. They depict the richness and complexity of a phenomenon, and what unique narratives illustrate can be transferred to explain and understand happenings in other contexts, and for that purpose, contextual descriptions are included here.33 The narrative reported here illustrates change processes including motives and events that were meaningful to the teachers. From a natural science perspective, humans' recollection of events may be biased; for example, narrative sense-making may not reflect a precise chronological presentation of events. Narrative-in action analysis thus illuminates enacted stories and how humans make sense of events from their perspective. As we adopted a socio-cultural perspective,26, 36 and attended to the group level as the unit of analysis, the teachers' individual differences in sense-making are not addressed here. The analysis included data generated from nine teachers who conducted an intervention and had the main responsibility for one study programme, although other health practitioners and university faculty who taught and assessed their students may not have shared their perspectives. Furthermore, the participant teachers had previously attended faculty development and assumed to be pedagogically informed, although not all of them had training specifically regarding assessment.

2.5 윤리적 고려사항
2.5 Ethical considerations

이 연구에 대한 윤리적 승인에 따라, 모든 참가자들은 구두와 서면으로 통지를 받은 후 공식적으로 참여하기로 동의했습니다. 교사들에게는 가명이 주어지고, 더 나아가 기밀성을 보장하기 위해, 전문적인 활동에 관한 세부 사항은 공개되지 않는다.

In accordance with the ethical approval for this study, all participants formally consented to take part after being informed orally and in writing. The teachers are here given pseudonyms, and to further ensure confidentiality, no details concerning professional activities are disclosed.

3 결과
3 RESULTS

3.1 평가 공정성 보장
3.1 Safeguarding fairness in assessments

이 연구 결과는 교사들이 학생들의 임상 기술을 평가하기 위한 채점 기준의 사용을 교정하기 위한 도덕적 의도에 의해 동기부여가 된 이야기를 제시한다. 이 섹션에서는 먼저 프롤로그가 우리의 분석을 바탕으로 평가 기준과 교육과정을 재작업하려는 교사들의 의도를 설명한다. 그 다음에, 이야기의 윤곽이 잡힌다.

• (a) 어떻게 선생님들이 기준을 포함하는 평가 지향적인 문화를 발전시켰는지, 
  
• (b) 선생님들께서 이해하셨던 방식들 
  
• (c) 평가의 공정성에 대한 그들의 가치와 관련하여 교사들의 채점 기준 개발이 어떻게 다른 방향으로 전환되었는가. 

그리고 나서 에필로그는 선생님들이 그들의 개입을 어떻게 요약했는지 보여준다. 서술에 포함된, 선생님들의 계속되는 대화와 설명은 어떻게 그들의 노력이 명백해졌는지를 묘사한다. 이러한 계정에는 미팅이나 미팅 사이 또는 인터뷰 상황에서 교사들에게 공유된 짧은 이야기가 포함됩니다.

The findings present a narrative where the teachers became motivated by moral intentions to calibrate their use of grading criteria for assessing students' clinical skills. In this section, the prologue first explains, based on our analysis, the teachers' intentions of reworking assessment criteria and the curriculum. Then, the narrative outlines

• (a) how the teachers developed an assessment-oriented culture in which criteria were embedded,
• (b) the ways in which the teachers made sense of those and
• (c) how the teachers' development of grading criteria took different turns in connection with their values of fairness in assessments.

The epilogue then shows how the teachers summarised their intervention. Included in the narrative, the teachers' ongoing dialogues and accounts situate and depict how their endeavours became manifest. These accounts include short stories that were shared among the teachers in and between meetings or in interview situations.

3.2 프롤로그: 변화를 시작한 동기
3.2 Prologue: Motives to initiate change

병원 현장에서 함께 일하는 보건 전문 교사 그룹은 [성과-기반 교육]을 향한 중요한 커리큘럼 개혁을 수행했다.

• 이 변화 과정의 일환으로, 그들은 임상 기술 훈련에 대한 강조를 증가시키고, 그들의 교육 역할을 재정의하고, 촉진적 역할을 채택하고, 정보 제공자로서 그들의 시간을 줄였다.
• [임상 기술에 관한 평가의 증가]는 그들이 두 명의 검사관으로부터 한 명의 검사관으로 자원을 절약하도록 강요했다. 이는 다소 신뢰할 수 없는 것으로 느껴졌기 때문에, 그들은 형성적 평가와 총괄적 평가에 유용한 공동 기준을 개발했다.
• 하지만, 학생들은 점점 더 불평등하게 평가를 받고 있고 일부 교사들이 더 가혹한 판단을 하고 있다고 불평했다. 
• 교사들은 처음에는 이러한 불만을 부정했지만, 평가 후 회의를 하는 동안, 그들이 기준에 대한 이해가 서로 다르고, 학생들의 성적을 평가하는 방법도 서로 다르다는 것을 깨달았다.

이를 통해 그들은 학생들의 임상 기술 평가와 기준의 적용을 조화시킬 목적으로 개입을 수행하게 되었다.

A group of health profession teachers working together at a hospital site had conducted a significant curriculum reform towards outcome-based education. As part of this change process, they increased the emphasis on training of clinical skills, re-defined their teaching roles, adopted a facilitating role and reduced their time as information providers. The increase of assessments concerning clinical skills forced them to economise resources from two examiners to one. This felt a bit unreliable, so they developed joint criteria useful for both formative and summative assessments. However, the students increasingly complained that they were being assessed unfairly and that some teachers were making harsher judgements. The teachers at first rejected these complaints, but during post-assessment meetings, they realised that they had different understandings of the criteria and different ways of judging student performance. This led them to conduct an intervention with the aim of harmonising the application of the criteria and assessment of students' clinical skills.

3.3 교사들이 면밀한 조사에 대해 어떻게 개방하였는가?
3.3 How the teachers opened up to scrutiny

3.3.1 서술은 현재 시간에서 시작되며 10년간의 변화가 어떻게 등급 기준의 공동 개발을 가능하게 했는지 개략적으로 설명한다.
3.3.1 The narrative starts in present time and outlines how a decade of changes made joint development of grading criteria possible

평가 기준의 개선 뒤에 있는 아이디어는 지난 10년 동안 발전한 교사들의 실천에서 비롯되었다. 정밀 조사를 개방함으로써, 그들은 [명확한 평가 기준을 적용하는 것이 도덕적 의무]라는 공통의 이해를 위한 길을 열었다. 다음 이야기는 평가를 통한 학생 학습을 지원하기 위해 기준의 사용이 어떻게 그들의 접근법의 필수적인 부분이 되었는지를 묘사한다.
The ideas behind improvements to the assessment criteria arose from the teachers' practice as it evolved over the last 10 years. By opening up to scrutiny, they paved the way for a shared understanding that applying clear assessment criteria was a moral obligation. The following story depicts how the use of criteria had become an integral part of their approach to support student learning through assessments.

위의 이야기에서 알 수 있듯이, 부서의 일상적인 정신은 개방적이고 친근했습니다. 몇 년에 걸친 교사들의 끈질긴 작업을 통해, 그리고 서술형 분석에 의해 조명되어, 그들은 [평가 지향적 문화]를 발전시켰는데, 이것은 동료 학습과 평가가 어떻게 지속적으로 적용되는지 보여 주었다. 여러 가지 방법으로, 선생님들은 어떻게 [대화와 동료평가]가 학생들 사이에서, 그리고 그들 자신들 사이에서, 습관적인 관행으로 발전해왔는지를 밝혔다. 그들은 [그들의 가르침에 대한 지속적인 평가]와 [공동으로 교육 개선을 하는 것]에 대해 그들이 어떻게 편안함을 느끼는지에 대해 공개적으로 말했다.
As illustrated by the above story, the everyday spirit at the department was open and friendly. Through the teachers' persistent work over several years, and illuminated by the narrative analysis, they had developed an assessment-oriented culture, which was shown in how peer learning and evaluations were continuously applied. In several ways, the teachers revealed how dialogue and peer assessments had developed into a habitual practice among the students and among themselves. They spoke openly about how they felt comfortable with continuous evaluations of their teaching and of jointly making educational improvements.

우리의 서술적 분석은 교사들이 [공동으로 채점 기준을 개발]하고, [평가를 공정하게 만들기 위한 노력]이 그들이 [점차적으로 면밀한 검토를 받게 된 변화 과정의 결과]라는 것을 보여준다. [평가 기준의 도입]은 서로 다른 교수법과 학습 활동을 적용하는 데 [수년간의 시행착오]가 선행되었다. [동료 평가]는 학생들이 학습에 더 큰 책임을 지는 것을 지원하는 한 가지 방법으로 약 5년 전에 시작되었다. 동료 학습을 적용한 지 몇 년 후, 학생들이 임상 작업을 연습하는 동안 다른 사람을 초대하여 피드백을 제공하는 것이 일반적이 되었다. 교사들은 지속적인 평가가 창의성과 새로운 발전을 위한 공간을 만들면서 '많은 것을 얻었다'고 믿었다. 하지만, [명시적인 평가 기준의 적용]이 그들의 야망을 더 크게 만든 [도덕적 선]을 대표한다는 것이 교사들의 믿음이었다.

Our narrative analysis shows that the teachers' efforts to jointly develop grading criteria and make assessments fair were the result of a change process in which they gradually opened up to scrutiny. The implementation of assessment criteria was preceded by years of trial and error in applying different teaching methods and learning activities. Peer assessments started out, about 5 years ago, as one way to support students taking greater responsibility for their learning. After a few years of applying peer learning, it became commonplace for students to invite others to provide feedback while practising clinical work. The teachers believed, they ‘had gained a lot’ by opening the door to continuous evaluation as it created space for creativity and new developments. However, it was the teachers' belief that the application of explicit assessment standards represented the moral good that drove their ambitions further.

3.4 어떻게 교사들이 '도덕적 선'을 제정하였는가?
3.4 How the teachers enacted the ‘moral good’

3.4.1 이 서술의 두 번째 부분은 왜 채점 기준이 교사들에게 의미 있게 되었는지, 그리고 과거의 법들이 어떻게 공정한 평가를 위한 현재의 이니셔티브를 강화했는지 설명한다.
3.4.1 This second part of the narrative illustrates why grading criteria became meaningful to the teachers and how past enactments reinforced current initiatives to assess fairly

교사들은 그들의 평가 관행을 개선하고 질 높은 교육을 제공하기 위해 몇 가지 계획을 세웠기 때문에, [환자와 학생들을 돌보는 것]이 그들의 핵심 동기였다. 궁극적으로, [평가 기준]은 졸업생들이 필요한 역량을 갖추도록 함으로써 교사들이 환자에 대한 의무를 이행하는 수단이었다. 예를 들어, 시간 제한 평가에 대한 그들의 아이디어는 전문적인 작업에서의 효과와 거의 관련이 없었지만, 오히려 학생들이 신체 검사 동안 환자의 불편함을 최소화해야 했고, 따라서 환자들이 도움을 구하는 것을 두려워하는 것을 막아야 했다. '도덕적 선'을 실행enact하려는 교사들의 노력은 (한나의 높은 관심 기말고사 회상 등과 같이) 과거 학생평가 경험에 대한 이야기로 강화되고 정당화됐다.

As the teachers had taken several initiatives to improve their assessment practice and provide a high quality education, caring for patients and students was their key motivation. Ultimately, the assessment criteria were means for teachers to fulfil their obligations towards patients by ensuring graduates had the necessary competency. For example, their idea of time-limited assessments had little to do with effectiveness in professional work, but rather concern of patients' discomfort during physical examination, which students needed to minimise and thereby preventing patients from being afraid to seek help. The teachers' efforts to enact the ‘moral good’ were reinforced and justified by stories about past experiences of student assessment, such as Hanna's recollection of high-stake final exams.

그런 이야기들이 교사들 사이에서 반복적으로 공유되었고, 현재의 제도에 비해 과거의 평가 관행이 얼마나 미흡했는지에 대한 인식을 심화시켰다. 이런 식으로, 과거의 사건들은 그들이 어떻게 지속적인 임상 기술 훈련을 추가하는 것을 포함한 교육 과정의 개혁이 도덕적으로 정당했는지 확인했습니다. 교사들은 이러한 변화들이 학생들이 더 나은 준비를 하고 더 나은 성적을 거두도록 했다고 믿고 있다. 그들은 또한 [practical skills에 대한 평가를 받는 것]은 학생들에게 새롭고 매우 스트레스를 많이 받는 상황이며, [그 자체가 훈련과 평가를 필요로 하는 능력]으로 간주되어야 하는 것이라는 것을 이해하게 되었다. 그러나, 커리큘럼의 변화와 지속적인 동료 학습 및 피드백의 사용으로, 등급별 평가는 덜 극적으로 되었다. 
Such stories were shared repeatedly among the teachers and deepened the perception of how assessment practices in the past were inadequate, compared with the present system. In this way, past events confirmed how their reformation of the curriculum including adding continuous clinical skills training was morally justifiable. The teachers believed these changes had led to students feeling better prepared and performing better. They had also come to understand that being assessed on practical skills was a new and highly stressful situation for the students and something that should be regarded as an ability in its own right that required training and evaluation. However, with the curriculum changes and the use of continuous peer learning and feedback, the graded assessments had become less dramatic.

임상 기술 평가에 기준을 적용하는 것은 공평하고 환자의 안전을 보장한다는 교사의 가치를 강제하기 때문에 의미가 있다. 그러나 [도덕적 선]에 대한 내러티브를 제정enact하는 것은 때때로 [평가의 공정성, 환자의 책임성, 학습 촉진의 가치]가 충돌한다는 것을 의미했다. 무엇이 공정하고 무엇이 공정하지 않은지 결정하는 딜레마도 제시했다.

Applying criteria to the assessment of clinical skills became meaningful because it enforced the teachers' values of being fair and ensuring patient safety. However, enacting the narrative about the moral good meant that the values of fairness in assessment, patient accountability and facilitation of learning sometimes collided. It also presented the dilemma of deciding what was fair and what was not.

3.5 교사들이 편파적인 평가를 통해 공정성을 어떻게 유지하였는가?
3.5 How the teachers upheld fairness with an unbiased assessment

3.5.1 이 서술의 세 번째 부분은 학생들을 공정하게 평가하려는 교사들의 가치와 관련하여 성적 기준의 공동 개발이 어떻게 다른 방향으로 이루어졌는지를 보여준다.
3.5.1 This third part of the narrative shows how the joint development of grading criteria took different turns associated with the teachers’ value of assessing students fairly

평가를 조화시키는 방법에 대한 논의 동안, 특정 학생의 행동을 촉진하는 방법으로 기준을 적용하려는 교사들의 노력이 분명해졌다. 학생들이 환자 안전 및 우수 관리 기준의 최소 요건을 충족하도록 보장하기 위한 한 가지 방법은 손을 씻거나 기구를 소독하는 것과 같이 환자를 검사할 때 무엇을 해야 하고 해서는 안 되는지에 대한 [절대적인 요건]을 정의하는 것이었다. 이와 같은 성과는 학생들이 이러한 과제를 수행하는 방법의 다양한 품질에 관계없이 합격/불합격으로 평가되었으며, 결과적으로 학생이 이러한 과제를 수행하거나 전체 시험에서 불합격하게 된다. 한편으로, 이러한 '둘 중 하나 혹은 둘 중 하나'의 공연은 평가하기가 쉬운 것으로 보였고, 다른 한편으로는, 학생들이 그러한 활동을 부분적으로 했을 때, 우려의 대상이 되었다. 한 가지 제안은 교사들이 환자를 진찰하는 데 실제로 사용된 모든 기구들이 실제로 소독되었다는 것을 고려할 수 있다는 것이었다. 다만 기준에 따르면 모든 위생적인 측면이 협상 불가로 규정돼 시험에 사용한 적이 있는지 여부와 관계없이 모든 기구 소독을 소홀히 한 학생에게 불합격시키는 것이 타당했다. 일부 교사들은 이러한 유형의 평가를 수행하는 것이 더 쉽고, 협상할 수 없으며, 따라서 공정하다고 주장하면서 이러한 유형의 평가를 지지했다. 이들의 주장의 이면에는 환자에 대한 걱정이 있었고, [모든 기구를 소독하는 것을 소홀히 한 학생]은 [환자를 치료하는 것]도 전적으로 신뢰할 수 없다는 점이 있었다. 이 협상할 수 없는 '어느 쪽인가' 추론도 아래 대화에서 보여지듯이 다른 성격의 성과를 평가하기 위한 기준을 적용할 때 채택되었다.

During the discussions of how to harmonise assessments, the teachers' efforts to apply criteria in ways that promoted certain student behaviours became clear. One way to ensure that the students met the minimum requirements of patient safety and good practice was to define absolute requirements of what they should and should not do when examining patients, such as washing their hands and disinfecting instruments. Performances like that were assessed pass/fail, regardless of the varied quality of how students carried out these tasks, consequently, either the student performed these tasks or the student would fail the entire exam. On the one hand, these ‘either-or’ performances were seen as easy to assess; on the other hand, there was concern when students performed such activities partially, as in the case of a student who cleaned a few of the instruments, but not all of them. One suggestion was that the teachers could take into account that all of the instruments actually used to examine the patient had in fact been disinfected. According to the criteria, however, all hygiene aspects were stipulated as non-negotiable, which made it reasonable to fail students who neglected to disinfect all instruments regardless of whether they had been used in the examination. Some teachers argued in favour of this type of assessment, contending it was easier to conduct, non-negotiable and therefore fair. Behind their argument was a concern for patients and that a student who neglected to disinfect all instruments could not be fully trusted to treat patients. This non-negotiable ‘either-or’ reasoning was also adopted when they applied criteria to assess performances of a different nature, as illustrated by the dialogue below.

기준을 개발하기 위한 교사들의 작업 동안, 그들은 과거에 평가가 어떻게 수행되었는지를 반성했습니다. 토론 중 반복적인 논평은 교사 그룹이 과거에 학생 성과에 대한 [주관적인 평가를 하는 것]에서 [가능한 객관적인 것]으로 어떻게 변화했는지를 강조하였다. 한 전직 교수가 한 학생의 시험에 대해 "너무 귀엽다, 합격이다"고 말한 적이 있는 '옛날'의 명시적 기준이 부족했다고 함께 웃었다. 그러나 완전히 객관적인 것은 표준화된 기준을 사용하여 다른 성격의 학생-환자 만남을 평가할 때 어려운 것으로 간주되었고, 토론하는 동안 교사들은 반복적으로 서로에게 '그러나 그것은 다시 주관적이 된다'고 상기시켰다. [주관성]은 주로 [전문적 행동과 의사소통 기술의 평가]와 관련되었으며, 따라서 이러한 기준을 명확히 함으로써 오해할 수 없는 성과 차원을 정의할 필요가 생겼다. 다양한 방법으로 전문적인 행동의 차원을 정의하려고 노력하면서, 선생님들은 행동, 전반적인 의사소통, 병력 청취의 요약, 진단과 치료 그리고 전문용어의 사용에 대한 정보를 제공하는 것 사이의 차이에 대해 추론했다. 그들은 전문적인 행동의 평가에 대한 두 가지 다른 이유들 사이에서 망설였다: [전반적인 의사소통과 전문적인 행동을 평가]하거나, [의사소통을 별도의 부분으로 나누고 환자 검사의 각 부분에 연결]했다. 그들은 의사소통 능력이 전문적인 행위와 다소 다르며 아마도 별도로 평가할 수 있을 것이라는 데 동의하였다.

During the teachers' work to develop the criteria, they reflected upon how assessments had been performed in the past. Recurrent comments during the discussions highlighted how the teacher group had changed from making subjective assessments of student performance in the past, to being as objective as possible. Together, they laughed about the lack of explicit criteria back in the ‘old days’ when a former professor once said about a student's examination, ‘She is so cute, she can pass’. However, being entirely objective was considered difficult when using the standardised criteria to assess student–patient encounters of a different nature and during the debates the teachers repeatedly reminded each other ‘but then it becomes subjective again’. Subjectivity was mainly associated with the assessment of professional behaviour and communication skills, and therefore, clarifying those criteria created a need to define performance dimensions that could not be misinterpreted. Trying to, in various ways, defining dimensions of professional behaviour, the teachers reasoned about the differences between behaviour, overall communications, the summary of history-taking, giving information about the diagnosis and treatment and the use of jargon. They teetered between two different rationales on the assessment of professional behaviour: assessing overall communication and professional behaviour or dividing the communication into separate pieces and connecting it to each part of the patient examination. They agreed that communication skills were somewhat different from professional behaviour and could perhaps be assessed separately.

평가에서 공정하고 일관성을 유지하기 위한 시도로, 교사들에 의해 기준과 학생들의 성과에 대한 여러 해석이 면밀히 검토되었다. 그러나 그들은 표준화가, 예를 들어 학생들이 특별히 골치 아픈 환자를 검사할 때처럼, 임상 작업의 현실과 완전히 양립할 수 없다고 믿었다. 
In an attempt to be fair and consistent in assessments, multiple interpretations of criteria and student performances were scrutinised by the teachers. However, they believed that standardisation was not fully compatible with the reality of clinical work, for example, when students examined patients that were considered particularly troublesome.

위의 대화는 교사들이 기준 템플릿을 따르고 현실을 다면적으로 인식하고 상황의 복잡성을 고려하여 전문적인 판단을 내리는 등 공정성을 이루려 노력했음을 보여준다.

The dialogue above shows how the teachers tried to achieve fairness by following the criteria template and recognised reality as multifaceted and that making professional judgements required considering the complexity of the situation.

3.6 에필로그—완벽한 평가 기준 없음
3.6 Epilogue—No perfect assessment criteria

그들의 개입이 끝날 때, 선생님들은 학생들에게 평등한 상황을 만드는 것이 얼마나 어려운지를 반성했고 완벽한 평가 기준이라는 것은 없다는 결론에 도달했다. 그들의 개입을 반성하면서, 그들은 단일 기준을 다르게 평가했음에도 불구하고, 각 학생들에 대한 전반적인 평가는 그들이 기대했던 것보다 더 동등하다고 느꼈다. 이로 인해 교사들은 평가가 완전히 조화를 이루지 못할지라도, 그들의 공동 토론은 협상 가능한 합의로 이어졌다고 결론을 내리게 되었다.

At the end of their intervention, the teachers reflected upon how hard it was to create equal situations for the students and came to the conclusion that there was no such thing as perfect assessment criteria. Reflecting on their intervention, they felt that even though they valued single criteria differently, the overall assessment of each student was more equal than they had anticipated. This made the teachers conclude that, even if assessments would never be completely harmonised, their joint discussions had led to a negotiable consensus.

4 토론
4 DISCUSSION

이 연구 결과는 어떻게 교사들이 [공통 채점 기준을 개발]할 수 있었는지를 보여주며, 이러한 변화는 그들의 [공정성과 책무성]에 대한 가치관에 의해 추진되었다. 기준은 커리큘럼에 통합되어 형성 및 종합 평가에 유용했다. 그런 방식으로, 그리고 교사들의 관점에서, 기준은 공정한 평가를 보장하고 미래의 환자들이 가능한 최고의 치료를 받을 수 있도록 했다. 그러나 [통합 역량의 평가]와 [분리된 '기술의 조각'의 평가]와 같은 여러 딜레마가 나타났다.
The findings show how the teachers' development of common grading criteria was made possible by their openness to peer scrutiny and that these changes were driven by their values of fairness and accountability. Criteria had been integrated in the curriculum, useful for formative and summative assessments. In that way, and from the teachers' perspective, criteria safeguarded fair assessments and that future patients would receive the best possible treatment. However, a number of dilemmas emerged, such as the assessment of integrated competencies versus the assessment of separate ‘pieces of skills’.

[평가 지향적 문화 정착]은 교사들이 어떻게 채점 기준의 적용을 조화시키는지에 대한 [선결조건]으로 보였다. 암묵적으로 전달된 기대에서 기준에 대한 공유된 이해로 평가 관행의 이러한 변화는 표준 공유에 대한 교사들의 접근 방식에 대한 O'Donovan 등의 모델과 비교하여 이해할 수 있다. 과거 [자유방임주의 접근법]에서와 같이 암묵적인 기준이 얼마나 우세했는지를 언급함으로써, 교사들은 명확한 기준을 적용하기 위한 그들의 선택을 정당화했다. 그 후 암묵적인 기준에 대응하여 채점 기준이 시행되었지만, 교사들은 명확한 기준이 충분하지 않다는 것을 깨달았다. 학생 개개인의 평가 기준에 대한 이해는 다를 수 있으며, 이 연구의 교사들은 [평가와 관련된 그들의 의도]를 충족시키기 위해 [모든 학생들이 동일한 방법]으로 기준을 이해할 필요가 있다는 것을 깨닫게 되었다. 따라서, 학생들의 동료 평가와 병행한 형성적 평가가 커리큘럼 전반에 걸쳐 통합되었고, 이는 [사회 구성주의적 접근법]의 제정을 가능하게 했다. 흥미롭게도, 채점 기준을 적용하는 것에 대한 대화에 학생들을 참여시키는 것은 더 많은 해명의 필요성을 만든 것으로 보인다. 학생들이 그들이 평가하는 기준에 완전히 접근할 수 있을 때, 이러한 기준에 비추어 그들의 성과에 대해 토론할 기회가 있다고 결론짓는 것은 그럴듯해 보인다. 결과적으로, 선생님들은 기준을 해석하는 방법, 받아들일 수 있는 학생 수행의 범위, 그리고 그들의 판단을 정당화하는 방법에 대해 숙고할 필요가 있을 수 있다.

The establishment of an assessment-oriented culture seemed to be prerequisite for how the teachers were committed to harmonise their application of grading criteria. This change in assessment practice, from tacitly conveyed expectations to shared understandings of criteria, can be understood vis-à-vis O'Donovan et al.'s19 model of teachers' approaches to sharing standards. By referring to how tacit standards, as in the laisse-faire approach prevailed in the past, the teachers justified their choice to apply clear criteria. Grading criteria were then implemented, in response to tacit standards, but the teachers realised that articulating criteria were not enough. Individual students' understanding of assessment standards may differ,19 and the teachers in the present study came to realise that, to fulfil their intentions concerning assessments, all students needed to make sense of the criteria in the same way. Thus, formative assessments in parallel with students' peer reviews were integrated throughout the curriculum, which enabled the enactment of a social-constructivist approach.19 Interestingly, it appears that involving students in the dialogue about applying grading criteria created a need for further clarifications. It seems plausible to conclude that, when students have full access to the standards by which they are judged, there is an opportunity to discuss their performances in light of these standards. Consequently, teachers may need to reflect on ways to interpret criteria, the range of acceptable student performances and how to justify their judgements.

우리는 예를 들어, [준거-참조 프레임워크를 통해 표현된 공유 표준]이 피드백을 중재할 수 있다는 Kogan 등의 의견에 동의한다. [명시적 기준]은 학습을 촉진할 수 있지만, 그러한 기준의 질에 대해서는 아무 말도 하지 않으며, 따라서 예를 들어, 교사의 판단이 타당하다는 것을 보장하지 않습니다.1 다른 사람들이 지적하는 바와 같이, 유효성 및 신뢰성은 시험의 내재적 특성이 아니며 단순히 평가 도구를 적용한다고 해서 달성되는 것도 아니다. 교사 커뮤니티 내의 공동 협상은 (이 연구에서 교사들에 의해 열린 토론과 유사하게) 학생 성과에 대한 기준과 판단의 이해를 조화시킬 수 있을 것이다.

We agree with Kogan et al.17 that shared standards articulated via, for example, a criterion-referenced framework can mediate feedback. While explicit criteria can facilitate learning, they say nothing about the quality of those standards and, therefore, do not safeguard that, for example, teachers' judgements are valid.1 As others point out,1 validity and reliability are not immanent traits of tests and will not be achieved simply by applying an assessment instrument. Joint negotiations within teacher communities—similar to the discussions held by the teachers in this study—will likely harmonise the understanding of both criteria and judgements of student performance.

이 연구의 교사들은 [실천 공동체 접근 방식]에서와 같이, 평가 기준을 형성할 때 학생들을 공동 참여자로 초대하지 않았다. 그러나, 그들의 노력은, [부분적]으로, 평가 문제에 대한 공유된 실천 공동체로 이해될 수 있다. 개발 과정을 통해 교사들은 서로의 아이디어와 비평에 대해 마음을 터놓았고, 이는 채점 기준, 역량/역량 및 평가의 공유된 의미에 대한 협상을 가능하게 했다. [학생과 교사가 형성적 평가를 덜 심각하게 받아들이는 문제]는 [저부담 평가와 고부담 평가를 일치]시키고, [평가 지향 문화의 일부로 지속적인 교사와 동료 피드백을 포함]하려는 [교사들의 노력]에 의해 회피avoided되는 것처럼 보였다. 그러나 이러한 변경 프로세스에는 시간이 걸렸고 평가 이유의 변경도 포함되었습니다.

The teachers in this study did not invite their students to be co-participants in formulating assessment criteria, as in the community of practice approach.19, 26 However, their efforts can be understood, in part, as a shared community of practice around assessment matters. Through a development process, the teachers opened themselves up to each other's ideas and critiques, which enabled negotiations about a shared meaning of the grading criteria, competencies/competency and assessment. The problem of formative assessments being taken less seriously by students and teachers24 seemed to be avoided by the teachers' efforts to align low and high stake assessments and to embed continuous teacher and peer feedback as part of an assessment-oriented culture. However, this change process took time and included shifts in assessment rationales.

교사의 야망ambition은 [평가자 간 신뢰성과 표준화, 환자 조우에서 발생하는 상황적 요인 인정]과 같은 [평가의 딜레마]가 어떻게 드러났는지를 보여준다. [기준에 충실해야 한다]는 생각은 [가끔은 템플릿에서 벗어나야 한다]는 개념과 충돌했고, 그들은 채점 전에 특히 복잡한 환자 사례를 고려해야 한다는 데 동의했다. 비슷한 방식으로, Kogan 등은 교수진이 성과 등급을 만들 때 임상적 만남의 복잡성에 영향을 받는다고 보고하며, 이러한 등급 오류를 수정하기 위해 교수진이 평가 훈련을 받을 필요가 있다고 주장한다. 우리는 교수개발이 유익하다는 것에는 동의하지만, 주어진 맥락에서 무엇이 타당한지를 결정하는 과제는 여전히 남아 있다. 게다가, 그리고 이 연구에 의해 보여지는 것은, 평가 관행이 바뀌고 교사들이 그들의 '새로운 지식'을 실천으로 옮기면서, 그들은 새로운 딜레마에 직면할 수도 있다. 현재의 연구결과는, 교수개발은 [평가자들이 기준을 어떻게 이해하는지]를 다루고, [학생들의 성적 범위에 대한 공동 토론에 임상 교사를 참여시킬 필요]가 있다는 것을 암시한다. 이것이 교사의 평정을 조화시키는 것으로 보인다.

The teachers' ambitions show how dilemmas in assessment manifested, such as inter-rater reliability and standardisation, and acknowledging contextual factors arising in patient encounter. The idea of being steadfast to the criteria collided with the notion of sometimes having to deviate from the template, and they agreed that particularly complex patient cases should be taken into account before grading. In a similar way, Kogan et al.17 report that faculty members' are influenced by the complexity of clinical encounters when making performance ratings, arguing that faculty needs to be trained in assessment to modify such rating errors.17 While we agree that faculty development is beneficial, the challenge to decide what counts as valid in a given context still remains.25, 37 Moreover, and shown by this study, as assessment practices change, and teachers translate their ‘new knowledge’ into practice, they may face new dilemmas. The current findings imply that faculty development needs to address how assessors make sense of criteria and to involve clinical teachers in joint discussions on the range of acceptable student performances, which seem to harmonise teachers' ratings.

평등하고 편파적이지 않은 평가를 달성하기 위해, 이 연구의 교사들은 [학생 수행능력의 서로 다른 조각]들을 [평가 기준에 별도로 명시해야 하는지] 궁금해했다. 결과적으로, 그들은 예를 들어, [전문적 행동]을 2진법으로 판단할 수 있는 하위 범주로 분할함으로써 [전체론적 기준(역량)을 조작화]하려고 했다. 따라서, 비록 그들이 학생들의 기준에 대한 이해에 [사회 구성주의적 접근법]을 채택했지만, 교사들은 채점 기준을 개발하기 위해 다른 근거를 집행enact했다. 그러나 [심리측정학적 합리성]에 기초한 [이진 체크리스트]의 사용에만 의존하는 임상 역량의 [신뢰할 수 있는 측정]을 구성하는 어려움에 대한 의문도 있었다. [준거-참조 평가]와 관련된 비평은 교사들이 [전문적 실천에 유용한 통합적 역량]보다 [수행의 조각]을 판단할 위험이 있다고 주장한다.8 이 연구의 교사들은 [전문직업성의 글로벌 평가]는 [주관적]이며, [환자를 보호]하며, [학생에게 공평하게 하려는 그들의 의도]와 양립할 수 없다고 보았다. 

In order to achieve equal and unbiased assessments, the teachers in this study wondered whether separate pieces of student performance should be stated in the grading criteria. Consequently, they tried to operationalise holistic criteria (competency) by, for example, splitting professional behaviour into subcategories that could be judged binarily. Thus, although they adopted a social-constructivist approach to students' understanding of standards,19 the teachers enacted a different rationale to develop the grading criteria. The challenges of constructing reliable measurements of clinical competency have been acknowledged,38 though, relying solely on the use of binary checklists based on psychometric rationales has also been questioned.12, 39 The critique related to criterion-referenced assessments claims teachers risk judging pieces of performance rather than integrated competencies useful for professional practice.8 Global ratings of professionalism were seen by the teachers in this study as being subjective and incompatible with their intentions of protecting patients and being fair to students.

우리의 해석은 교사들이 [자유방임주의 접근법]과 유사하게, [정보가 없거나 암묵적인 측면에 기초한 평가를 멀리했다]는 것이다. [전체론적 판단]은 [편향되거나 잘못된 판단을 내리는 것]과 혼동될 필요가 없으며, [객관성]은 [완전한 표준화를 통해 얻은 신뢰성]과 동일하지 않다. 이 연구의 교사들이 제기한 문제는 세부 사항에서 '무언가를 잃어버렸느냐'는 것이었다. 교사가 채점을 하기 전에 학생들의 성취도를 종합할 필요가 있다는 것이 이미 정립되었다; '우리가 전체를 볼 때, 우리는 그 부분들을 고립된 채로 볼 때와는 다르게 본다'. [전문적인 보건의료 행위의 특정 성과]는 환자 안전 때문에 협상할 수 없는 것이 필요하지만, 예를 들어, 별도의 차원에서 이원적 판단이 이루어진다면 전문적인 행동의 기준은 덜 타당할 수 있다. 이 연구에서 교사들의 추론은 매우 다른 유형의 성과에 대한 기준을 공식화할 때 같은 논리를 사용하는 것이 얼마나 매력적인지를 보여주었다. 결과적으로, 통합 역량에 대한 평가가 부족할 수 있다. 이는 교사들이 [임상 역량의 표준과 등급]에서 [어떻게 서로 다른 rationale의 동시 사용을 인정할 것인지], 따라서 [이진법과 전체론적 판단의 결합을 어떻게 인정해야 하는지]를 성찰해야 함을 의미한다.

Our interpretation is that the teachers abstained from assessments that were uninformed or based on tacit aspects, similar to the laissez-faire approach.19 Holistic judgements need not be confused with making biased or invalid judgements,22 and objectivity is not equal to reliability obtained through complete standardisation.1, 39 The question the teachers in this study raised was whether ‘something was lost’ in the details. It has previously been established that teachers need to synthesize student achievements before grading; ‘When we see the whole, we see its parts differently than when we see them in isolation’4(p227). While certain performances in professional health practices need to be non-negotiable due to patient safety, criteria of professional behaviour, for example, may be less valid if binary judgements are made on separate dimensions. The teachers' reasoning in this study made visible how tempting it may be to use the same rationale when formulating criteria for performances of very different types. Consequently, the assessment of integrated competencies may be lacking. This implies that teachers should reflect on how standards and ratings of clinical competency need to acknowledge the simultaneous use of different rationales, thus a combination of binary and holistic judgements.

교육 변화와 교사의 평가 실천 발전은 종종 느리고 저항적인 것으로 여겨진다. 이 연구는 어떻게 교사들의 [채점 기준을 개발하려는 동기]가 어떤 식으로 [학생들과 함께 일하는 그들 자신의 실천]과 [환자에 대한 그들의 관심]으로부터 도출되었는지를 보여준다. 그러므로, 사회와 학생들을 위해 선행을 하려는 그들의 의지는 대학으로부터의 압력이나 투명성을 강조하는 정부 개혁과는 거의 관계가 없는 공유된 평가 관행을 만드는 동기였다.
Educational change and teachers' development of assessment practice are often regarded as slow and resistant.18, 21 This study shows how teachers' motivation to develop grading criteria was derived from their own practice working with students and their concern for patients. Thus, their willingness to do good for society and for the students was the incentive for creating a shared assessment practice, which had little to do with pressure from the university or governmental reform stressing transparency.

5 결론
5 CONCLUSION

이 연구는 공유된 평가 기준이 개발되고 실행될 때 교사의 평가 관행이 어떻게 바뀔 수 있는지에 대한 풍부한 설명에 기여한다. 이 논문에서 설명된 변화 프로세스는 [선형 모델]도, [이상적인 개발 프로세스]도 규정하지 않지만, 이 연구에서 많은 시사점을 도출할 수 있다. 이 연구결과는 교사들이 [준거와 수용 가능한 학생들의 성적 범위]에 대한 [공동 토론]을 통해 [그들의 판단에 대한 근거를 정기적으로 재평가할 필요]가 있다는 것을 암시한다. 이러한 논의는 기준 적용에 대한 이해를 조화시킬 뿐만 아니라 교원 공동체 내에서 평가와 역량에 대한 변화하는 이유를 풀어내는 것으로 보인다. 이 연구는 [동료 학습]과 [사회 구성주의 접근 방식]의 적응은 시간이 걸리고, 평가에서 [새로운 선택과 딜레마]를 만들 수 있음을 보여준다. 일부 연구자들은 [수행능력 테스트]에서 엄격함을 증가시켜야 한다고 주장하는 반면, 다른 연구자들은 [전체론적이고 건설적이며 전문적인 접근 방식]을 요구하거나, [더 긴 기간에 걸쳐 평가의 삼각 측량]을 제안합니다. 어떤 평가를 적용하든 [교사의 전문적인 판단을 담당하는 대화]가 필요하다. 이번 연구는 [평가에 대한 교사들의 시각]이 고정된 것이 아니며, 평가 기준과 그들의 판단이 [어떻게 서로 다른 rationale의 동시 사용을 인정해야 하는지] 반성해야 한다는 것을 보여준다. 따라서 [다양한 요구가 있는 환자를 포함하는 개별 학생의 수행능력]을 어떻게 다르게 판단해야 하는지 참조하면서, [이진적 판단 및 전체론적 판단]을 조합하여 적용할 필요가 있다. 우리는 개별 교사들의 견해를 넘어선 평가 관행과 교사들이 어떻게 다른 방법과 기준을 적용하는지에 대한 더 많은 연구를 환영한다.

This study contributes a rich description of how teachers' assessment practices may change when shared assessment criteria are developed and implemented. The change process illustrated in this paper neither stipulates neither a linear model nor an ideal development process, yet a number of implications may be drawn from this study. The findings imply that teachers need to regularly re-evaluate grounds for their judgements through joint discussions of criteria and the range of acceptable student performances. Such discussions seem to not only harmonise the understanding of criteria application but also unravel the shifting rationales on assessment and competency within teacher communities. This study demonstrates the adaptation of peer learning and social-constructivist approaches may take time and create new choices and dilemmas in assessment. Whereas some researchers argue for increased rigour in performance tests, others call for holistic, constructivist and professional approaches or suggest triangulation of assessments over longer periods of time. Regardless of what kind of assessments is applied, conversations that take charge of teachers' professional judgements are necessary. This study shows that teachers' views on assessment are not fixed, and they should reflect on how assessment standards and their judgements must acknowledge the simultaneous use of different rationales. Therefore, with reference to how individual student performances involving patients with various needs should to be judged differently, a combination of binary and holistic judgements needs to be applied. We welcome more research on assessment practices beyond individual teachers' views and on how teachers make sense of applying different methods and standards.

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

발달적 발달평가 도입의 교훈: 스코핑 리뷰(Med Educ, 2020)
Lessons from the implementation of developmental progress assessment: A scoping review
Christina St-Onge1 | Élise Vachon Lachiver2 | Serge Langevin1 | Elisabeth Boileau3 | Frédéric Bernier1,2,4 | Aliki Thomas5 

1 소개
1 INTRODUCTION

보건직 교육(HPE)에서 역량 기반 교육(CBE)의 구현은 교육(예: 학생 중심 전략 및 감독자와 교육자 간의 코칭 관계 선호)과 평가 관행(예: 실제 평가에 보다 중점을 둔 암기 기반 검사 및 진행에 초점을 맞춘 평가)에 상당한 변화를 가져왔다. 평가 문화의 변화는 CBE로의 전환을 지원하기 위해 중요할 뿐만 아니라 교육 변화의 가장 어려운 측면 중 하나입니다.1 교육자와 관리자는 학습자가 유능한 의료 전문가로서 연습하는 데 필요한 지식, 기술 및 태도의 개발과 평가를 촉진하는 데 사용할 수 있는 전략을 구현하는 것을 목표로 한다.2, 3 그러한 전략 중 하나는 훈련생과 교수진에게 유능한 전문 실습으로 가는 길을 명시하는 로드맵을 만들고 제공하는 것이다. [명시적 경로]와 같은 [발달의 종단적 관점의 통합]은 더 나은 건강 전문가의 발전에 기여하는 것으로 생각된다. 학생들에게 예상되는 발달의 예(명시적인 로드맵)를 제공하면, 그들은 주어진 단계에서 그들이 기대하는 것과 그들의 성과를 비교할 수 있다. 이 정보는 자체 평가에 사용될 수 있으며 자체 개발에서 자율성을 높일 수 있습니다.5 따라서, 최근 몇 년 동안 교육자와 연구자들은 이 종적 관점을 개념화하고 구현했다. 이러한 관점의 일반적인 발현은 신뢰할 수 있는 전문 활동(EPA)과 이정표이다.

The implementation of competency-based education (CBE) in health professions education (HPE) has resulted in substantial changes in teaching (eg, favouring student-centred strategies and a coaching relationship between supervisor and trainee) and assessment practices (eg, more emphasis on authentic assessment versus rote memory-based examinations and assessment focused on progression). A change in assessment culture is not only crucial to support the transition to CBE, but it also one of the most challenging aspects of educational change.1 Educators and administrators aim to implement strategies that can be used to foster the development and assessment of knowledge, skills and attitudes required by their learners to practice as competent health professionals.2, 3 One such strategy is to create and provide roadmaps to trainees and faculty members that make explicit the pathway to competent professional practice. The integration of a longitudinal perspective of development -such as an explicit pathway - is thought to contribute to the development of better health professionals.4 When students are provided with an exemplar of their expected development (explicit roadmap), they can compare their performance to what is expected of them at their given stage.4, 5 This information can be used in their self-assessment and increases their autonomy in their own development.5 Thus, in recent years, educators and researchers have conceptualised and implemented this longitudinal perspective. Common manifestations of this perspective are the entrustable professional activities (EPAs) and milestones.3, 6-8

일반적으로 CBE의 구현으로 인한 [관찰된 교육학적 문화의 변화], 그리고 보다 구체적으로 [종단적 발달 경로]는 평가의 다양한 측면에 영향을 미친다. 역량 기반 교육은, 시기적절하고 직접적인 지속적인 직장 기반 평가를 포함하는, 평가에 대한 총체적이고 종적인 접근 방식과 연관되어야 한다.9 역량의 발달 진행을 촉진하기 위해 평가는 이러한 발달 경로에 매핑되어야 한다. 확립된 progression 경로에서 역량을 벤치마킹하면, 학생들의 역량 강화와 자체 개발에 대한 투자를 촉진할 수 있다. 또한 발달 경로에 대한 자신의 진행 상황에 대한 피드백은 전문적 전문 지식의 개발을 촉진하고 궁극적으로 의료의 질을 향상시킨다.10
The observed changes in pedagogical culture due to the implementation of CBE in general, and longitudinal developmental pathways more specifically, have consequences on various aspects of assessment. Competency-based education should be associated with a holistic and longitudinal approach to assessment, involving timely, direct and ongoing workplace-based assessment.9 To facilitate the developmental progression of competence, assessments should be mapped onto these developmental pathways. The benchmarking of competence on an established path of progression could promote students’ empowerment and investment in their own development. In addition, feedback about one's progress on a developmental pathway fosters the development of professional expertise,4 and ultimately increases quality of health care.10

[발달 경로에 매핑된 평가의 구현]에 관심이 커지고 있으며, DPA(Developmental Progress Assessment) 등으로 교육생 및 교수진에게 지침을 제공하는 데 사용된다. 그러나 기대한 이익을 얻기 위해 구현에 대해 이해해야 할 점이 많다. DPA를 성공적으로 구현하기 위한 첫 번째 필수 단계는 문헌에서 DPA가 어떻게 정의되고 개념화되어 있는지, 주요 목표, 관찰된 결과 및 구현에서 얻은 교훈이 무엇인지, 그리고 DPA가 어떻게 실행되거나 교육적 맥락에서 적용되었는지 더 잘 이해하는 것이다. 따라서 이 논문의 목적은 DPA 구현에 관한 문헌의 깊이와 폭을 매핑하는 것이다.
There is great interest in the implementation of assessment mapped on developmental pathways and used to provide guidance to trainees and faculty members, such as Developmental Progress Assessment (DPA). However, there is much that remains to be understood about its implementation to reap its anticipated benefits. The first and necessary step towards successful implementation of DPA is to better understand how DPA is defined and conceptualised in the literature, what are its major goals, observed outcomes as well as lessons learned from the implementation, and how it has been executed or applied across educational contexts. Thus, the purpose of this paper is to map the depth and breadth of literature on the implementation of DPA.

2가지 방법
2 METHODS

우리는 우리의 주요 질문을 다루기 위해 지식 합성의 한 형태인 범위 연구를 수행했다. 범위 검토는 해당 영역에서 어떤 연구가 수행되었는지, 또는 개념이 다양한 출처에 걸쳐 논의 또는 개념화되었는지를 모를 때 새로운 연구 영역 또는 신흥 영역에서 문헌의 초상화를 작성하는 데 유용하다. (예: 회색 문헌, 경험적 문헌, 웹 사이트). 범위 지정 연구를 수행하는 주된 이유는 네 가지입니다.

• (a) 주어진 분야에서 연구 활동의 범위, 범위 및 성격을 조사한다.
  
• (b) 체계적인 검토를 수행할 가치와 적절성을 결정한다.
  
• (c) 연구 결과를 요약하고 배포한다.
  
• (d) 연구 공백을 식별한다. 

We conducted a scoping study, a form of knowledge synthesis, to address our main question. Scoping reviews are useful for creating a portrait of the literature in a new or emerging area of study when it is unclear what research has been done in that area, or how a concept has been discussed or conceptualised across various sources (eg, grey literature, empirical literature, websites).11 There are four main reasons for conducting a scoping study:

• (a) to examine the extent, range and nature of research activity in a given field;
• (b) to determine the value and appropriateness of undertaking a systematic review;
• (c) to summarise and disseminate research findings, and
• (d) to identify research gaps.

본 논문에서 보고된 검토는 목표 (a), (b) 및 (c)에 따라 수행되었다. 우리는 Arcsey와 O'Malley11의 범위 검토에 대한 6단계 방법론적 프레임워크를 따랐다.

The review reported in this paper was guided by objectives (a), (b) and (c). We followed the six-step methodological framework for scoping reviews by Arksey and O’Malley11:

• 1 연구 질문의 식별
• 2 관련 연구 확인
• 3 스터디 선택
• 4 데이터 도표 작성
• 5 결과 수집 및 보고
• 6 잠재적 이해 관계자와 협의(선택적 단계)
• 1 Identifying the research question;
• 2 Identifying relevant studies;
• 3 Selecting studies;
• 4 Data charting;
• 5 Collating and reporting results, and
• 6 Consulting with potential stakeholders (optional step).

6단계는 검토의 주요 목적이 아니었고 시기상조라고 여겨졌기 때문에 실행하지 않았다. 나머지 다섯 단계는 아래에 각각 설명되어 있습니다.
We did not execute Step 6 as this was not the major purpose of our review and was considered premature. Each of the other five steps is described below.

2.1 1단계: 조사 질문 식별
2.1 Step 1: Identifying the research question

검토를 안내하는 주요 연구 질문은 '고등교육에서 DPA가 CBE의 맥락에서 어떻게 구현되는가?'였다. 특히, 우리는 다음을 목표로 삼았습니다.

• 구현된 DPA의 특성을 설명합니다.
  
• DPA 구현에 대한 잠재적 촉진제 및 장벽을 식별한다.
  
• DPA에 대한 잠재적 결과 및 유효성의 증거를 조사합니다.

The main research question guiding the review was ‘How is DPA implemented in the context of CBE in higher education?’ Specifically, we aimed to:

2.2 2단계: 관련 연구 파악
2.2 Step 2: Identifying relevant studies

첫 번째 저자(CS-O)는 학술 사서와 함께 사용할 수 있는 키워드와 검색을 통해 식별되어야 할 핵심 기사 3, 12-15에 대한 팀원들과의 협의에 따라 측정 및 평가 문헌에 대한 광범위한 지식을 바탕으로 검색 전략(부록 S1)을 정교하게 설명했다.
Working with an academic librarian, the first author (CS-O) elaborated a search strategy (Appendix S1) based on her extensive knowledge of the measurement and assessment literature, following a consultation with team members about potential key words to use and key articles3, 12-15 that should be identified through the search.

우리는 처음에 가장 적절한 전략, 즉 가장 포괄적이었던 전략을 식별하기 위해 서로 다른 키워드 및 키워드 조합을 사용하여 네 가지 다른 파일럿 검색을 수행했다(즉, 빠른 검토를 기반으로 제외된 논문의 비율을 가장 낮게 함). 팀의 콘텐츠 전문가(CS-O)가 대상 논문으로 식별한 3, 12-15개의 주요 기사를 사용하여 검색 전략을 테스트했다. 이 과정을 통해 핵심 기사가 파악되지 않으면 검색 전략을 수정했다.
We initially conducted four different pilot searches using different keywords, and keyword combinations, to identify the most appropriate strategy, that is, the strategy that was the most inclusive (ie, yielding the lowest percentage of excluded papers on the basis of a quick review). We tested the search strategies using identified3, 12-15 key articles that the content experts (CS-O) on the team identified as being target papers. If a key article was not identified through this process, the search strategy was revised.

최종 검색은 다음 데이터베이스에 적용되었다: ERIC (교육 자원 정보 센터); 교육 출처; Ovid; PubMed - MEDLINE; CINAHL(간호 및 제휴 보건 문헌에 대한 누적 지수); 싸이크인포, 에루딧. 이 조사는 2017년 6월 20일에 실시되었다. 포함되기 위해서는 학습자 평가, 진행 상황, 종방향 모니터링 및 CBE에 관한 기사가 포함되어야 했다. 평가의 내용은 지식, 기술, 태도 또는 학습자가 인식하는 효율성일 수 있다. 언어(프랑스어 및 영어 기사만 포함), 임상 컨텍스트(즉, 진단), 아동 발달, 사전 학습 설계, 커리큘럼 개발, 라이센스 평가, 시점 평가 또는 정규 교육 시스템 외부에 기반한 기사를 제외했다. 
The final search was applied to the following databases: ERIC (Education Resources Information Center); Education Source; Ovid; PubMed - MEDLINE; CINAHL (Cumulative Index to Nursing and Allied Health Literature); PsycINFO, and Érudit. This search was conducted on 20 June 2017. To be included, the articles needed to be on learner assessment, in the context of progression, longitudinal monitoring and in CBE. The content of the assessment could be knowledge, skills, attitudes or learner perceived efficacity. We excluded articles based on these criteria: language (only including French and English articles), clinical contexts (ie, diagnosis), child development, pre-post study designs, curriculum development, licensure assessment, point in time assessment or outside a formal education system.

2.3 3단계: 연구 선택
2.3 Step 3: Study selection

두 팀 구성원(CS-O 및 EVL)은 90% 합의에 도달할 때까지 포함 및 제외 결정을 위해 700개(28%)의 제목과 요약을 심사했다. 16 의견 불일치의 경우, 그들은 다양한 관점의 이유인 추상적 내용을 논의했고 합의에 도달했다. 일단 90%의 합의에 도달하면, 그들은 나머지 논문들을 나눠서 요약본을 별도로 심사했다(n = 898개). 한 검토자가 논문을 포함하거나 제외하는 것에 대한 결정에 도달할 수 없는 경우, 그들은 '아마도'로 추상화를 코드화한 다음, 두 번째 검토자에게 (포함되거나 제외된) 추상화를 코드화하도록 요청하였다. 팀 구성원(CS-O 및 EVL)이 모두 결정할 수 없는 경우, 제3의 검토자(EB)는 요약을 포함하거나 제외하는 것에 대해 읽고 결정하도록 요청받았다. 포함 및 제외 기준은 부록 S1에 제시되어 있다.

Two team members (CS-O and EVL) screened 700 (28%) titles and abstracts for inclusion and exclusion decisions until a 90% agreement was reached.16 In case of a disagreement, they discussed the abstract, the reasons for the varied perspective and came to a consensus. Once they reached 90% of agreement, they divided the remaining papers and screened the abstracts separately (n = 898 each). If one reviewer could not reach a decision about including or excluding a paper, they coded the abstract as ‘maybe’ and then asked the second reviewer to code the abstract (as included or excluded). If both team members (CS-O and EVL) could not decide, a third reviewer (EB) was asked to read and decide about including or excluding the abstract. Inclusion and exclusion criteria are presented in Appendix S1.

2.4 4단계: 데이터 차트 작성
2.4 Step 4: Data charting

초기 데이터 추출 양식은 CS-O가 그녀의 광범위한 평가 경험을 바탕으로 개발했다. 양식의 첫 번째 버전은 모든 팀 구성원(CS-O, EVL, SL, EB, FB 및 AT)과 검토 및 논의되었습니다. Microsoft® Excel(Microsoft Corporation, Redmond, WA, USA)에 탑재된 수정된 양식은 CS-O, EB, FB, SL 및 EVL에 의해 5개의 논문에 대해 시범 테스트되었습니다. 선명도를 높이기 위해 추출 그리드를 변경했습니다. 처음에는 4가지 요소(주요 결론, 시사점 또는 결과, 강점과 한계)로 구성되었고 7가지 요소(DPA의 원리, 개념화, 고려사항, 주요 결론, 시사점 또는 결과, 강점과 한계)로 구성되도록 수정되었다.
An initial data extraction form was developed by CS-O based on her extensive experience in assessment. The first version of the form was reviewed and discussed with all team members (CS-O, EVL, SL, EB, FB and AT). The revised form, mounted in Microsoft® Excel (Microsoft Corp., Redmond, WA, USA), was pilot tested by CS-O, EB, FB, SL and EVL on five papers. Changes to the extraction grid were made in order to increase clarity. Initially, it was comprised of four elements (major conclusions, implications or outcomes, strengths and limits) and was modified to be comprised of seven elements (principles of DPA, conceptualisations, considerations, major conclusions, implications or outcomes, strengths and limits).

양식이 완성되면, 두 명의 팀 구성원(CS-O 및 EVL)이 무작위로 선정된 35개의 논문(선택된 총 논문 수의 20%)에서 데이터를 추출하는 작업을 진행했다. 두 팀 구성원 간의 교정의 일환으로 각 구성원은 좋은 추출 예와 나쁜 추출 예제를 문서화한 저널을 작성 및 유지했습니다. 이 과정은 반복적으로 수행되었다. 즉, 이 팀 구성원(CS-O 및 EVL)은 추출된 5-10개의 기사마다 만나 추출에 대해 논의하였다. 추출에 대한 양호한 합의를 달성한 후, 이 두 팀 구성원은 나머지 기사를 별도로 선별하고 추출했다(CS-O의 경우 n = 58, EVL의 경우 57).

Once the form was finalised, two team members (CS-O and EVL) proceeded to extract the data from 35 randomly selected papers (20% of the total number of papers selected). As part of the calibration between the two team members, each member compiled and maintained a journal that documented good and bad extraction examples. This process was done iteratively, that is, these team members (CS-O and EVL) met and discussed their extractions at every 5-10 extracted articles. When they achieved a good agreement for extraction, these two team members then screened and extracted the remaining articles separately (n = 58 for CS-O and 57 for EVL).

2.5 5단계: 결과 수집 및 보고
2.5 Step 5: Collating and reporting results

우리는 각 보유 논문에 보고된 데이터에 대한 수치 분석과 주제 분석을 모두 수행했다. 먼저, 우리는 아카이브에서 추출한 수치 데이터를 분석했고, 그 빈도를 출판 연도, 국가, 교육생의 훈육 및 학습 수준과 같은 데이터에 사용했다. 기술 통계는 spss Version 21.0(IBM Corporation, Armonk, NY, USA)을 사용하여 수행되었습니다.16
We conducted both a numerical and thematic analysis of the data reported in each retained paper. First, we analysed the numerical data extracted from our archive whereby we used frequencies to data such as: year of publication, country, and trainees’ discipline and study level. Descriptive statistics were conducted using spss Version 21.0 (IBM Corp., Armonk, NY, USA).16

Arcsey와 O'Malley, 11 Levac 외 연구진, 17 및 Thomas 외 18의 권고에 따라 정성적 데이터에 대한 주제 분석을 수행하고 Dedoose(Dedoose, Manhattan Beach, CA, USA)18을 사용하여 데이터를 관리했다. Levac 등 17은 Arcsey와 O'Malley 11이 제안한 주제 분석이 어떤 사람들에게는 질적 데이터 분석 기법과 더 유사할 수 있다고 말한다. 우리는 Arcsey와 O'Malley11에서 제안된 용어를 그들의 프레임워크가 우리의 방법론적 선택을 안내했기 때문에 존중하기로 결정했다. 이 범위 지정 연구의 목표는 DPA 구현에 대한 문헌의 깊이와 폭을 매핑하는 것이었다. 구현 프로세스 중에 종종 발생하는 요인에 대한 우리의 발견을 명확히 했다. 19, 20 분석 자체의 경우, 수석 조사관(CS-O)은 기사의 50%를 코딩하고 코딩 트리를 구성했다. CS-O에 의해 구성된 코딩 트리를 사용하여 독립적으로 기사를 코딩한 세 명의 팀 구성원(EB, SL 및 FB)에게 동일한 50%가 분배되었다. CS-O와 팀 구성원들 앞에서 주제 분석의 예비 주제를 논의하여 코딩 트리를 개선하였다. 나머지 기사는 최종 코딩 트리를 사용하여 PI에 의해 분석되었으며, 결과 테마는 모든 팀 구성원(CS-O, EVL, SL, EB, FB 및 AT)에 의해 검토되었다. 추가 토론이 이어졌고 최종 주제 집합으로 이어졌다. 

As per recommendations from Arksey and O’Malley,11 Levac et al,17 and Thomas et al18 we conducted a thematic analysis of the qualitative data and used Dedoose (Dedoose, Manhattan Beach, CA, USA)18 to manage the data. Levac et al17 state that the thematic analysis proposed by Arksey and O’Malley11 may be more akin, for some, to a qualitative data analytical technique. We decided to respect the terminology proposed in Arksey and O’Malley11 as their framework guided our methodological choices. Our goal for this scoping study was to map the depth and breadth of the literature on the implementation of DPA, we articulated our findings around the factors that often come into play during an implementation process.19, 20 For the analysis itself, the principal investigator (CS-O) coded 50% of the articles and constructed a coding tree. The same 50% was distributed amongst three team members (EB, SL and FB), who independently coded the articles using the coding tree constructed by CS-O. CS-O and all in front of team members discussed the preliminary themes from the thematic analysis, which resulted in a refining of the coding tree. The remaining articles were analysed by the PI using the final coding tree and the resulting themes were reviewed by all team members (CS-O, EVL, SL, EB, FB and AT). Additional discussion ensued and led to the final set of themes.

3 결과
3 RESULTS

PRISMA(체계적인 검토 및 메타 분석을 위한 선호 보고 항목) 흐름도는 그림 1에 제시되어 있다. 프랑스어나 영어 이외의 언어로 된 기사, 중복을 제거한 후, 2494편의 논문이 추상 분석을 위해 포함되었다. 포함 및 제외 단계가 끝날 때, 포함 기준을 충족하는 171편의 논문이 유지되었다. 전체 논문 검토 후, 우리는 분석에 총 56개의 기사를 포함했다(그림 1 참조).
The PRISMA (preferred reporting items for systematic reviews and meta-analyses) flow diagram is presented in Figure 1. After eliminating duplicates, articles in languages other than French or English, 2494 papers were included for abstract analysis. At the end of the inclusion and exclusion phase, 171 papers that met the inclusion criteria were retained. After full paper review, we included a total of 56 articles in the analysis (see Figure 1).

3.1 수치 데이터 기술 결과
3.1 Descriptive results for numerical data

그림 2에서 2014년부터 2017년까지 39개의 기사(우리 말뭉치의 70%를 대표하는)가 발행된 가운데 개발 진행도 평가에 관한 기사가 증가했다.
In Figure 2 an increase in articles published on the topic of developmental progress assessment was seen with 39 articles (representing 70% of our corpus) published between 2014 to 2017.

그림 3과 같이 대부분의 기사가 미국에서 출판되었으며(n = 31개 기사, 55%), 캐나다와 영국(n = 6개 기사, 11%)이 그 뒤를 이었다.
The majority of articles were published in the United States (n = 31 articles; 55%), followed by Canada and the United Kingdom (n = 6 articles each; 11%) as seen in Figure 3.

표 1은 아카이브에 포함된 대부분의 기사가 HPE 문헌에서 가져온 것임을 보여준다. 즉, 기사의 71%가 의학 교육(n = 41), 치과(n = 4), 약학 및 건강 관리(각각 n = 2) 순이었다. 대학원 연구는 아카이브에서 가장 자주 접하는 연구 수준이었고(n = 28; 50%) 학부 연구는 아카이브의 20%를 차지했다(n = 11개 기사).
Table 1 shows that most of the articles included in our archives were from the HPE literature; that is, 71% of the articles were situated in medical education (n = 41), followed by dentistry (n = 4), pharmacy and health management (n = 2 each). Postgraduate studies was the study level most often encountered in our archive (n = 28; 50%), whereas undergraduate studies represented 20% of our archive (n = 11 articles).

 

우리 아카이브에 있는 56개의 기사 중 12개는 연구 목적을 밝히지 않았다. 표 2에 나타난 바와 같이, 가장 일반적인 네 가지 목적은 다음과 같다: 

• (a) 새로운 종방향 평가 전략 또는 도구에 대한 타당화 프로세스를 설명합니다(n = 14; 32%).
  
• (b) 학생의 progression를 평가하는 데 사용되는 교육 혁신을 설명한다(n = 8; 18%).
  
• (c) 새로운 평가 또는 도구 개발 및 구현(n = 7; 16%)
  
• (d) CBE 원칙에 부합하는 커리큘럼을 개발한다(n = 7; 16%)

Of the 56 articles in our archive, 12 did not state a study purpose. As shown in Table 2, the four most common stated purposes were to:

• (a) describe a validation process for a novel longitudinal assessment strategy or tool (n =14; 32%);
• (b) describe an educational innovation used to assess students’ progression (n = 8; 18%);
• (c) develop and implement a novel assessment or tool (n = 7; 16%), and
• (d) develop a curriculum aligned with CBE principles (n = 7; 16%).

 

 

DPA를 위한 특정 평가 도구(일반적인 아이디어, EPA와 마일스톤의 개발 및 구현, 또는 임상 역량 위원회 프로세스와는 반대로)를 다룬 29개의 논문에서 우리는 다양한 도구와 평가 컨텍스트를 관찰했다. 가장 일반적인 도구는 주어진 역량 또는 하위 역량에 대한 개발 수준을 문서화하는 척도(n = 9)였으며, 평균 4.8의 2개에서 10개의 서로 다른 앵커를 가지고 있었다. 다른 인기 있는 도구로는 마일스톤(n = 6), 포트폴리오(n = 3) 및 자기효능감척도(n = 3)가 있습니다. 발달과 진행을 결정하기 위해 임상적 맥락(n = 6), 표준화된 맥락(n = 5) 또는 특정 과제(n = 5)에서 가장 자주 수행이 관찰되었다(표 3).

Of the 29 papers that addressed specific assessment tools for DPA (as opposed to general ideas, development and implementation of EPAs and milestones, or even clinical competence committee processes), we observed different tools and assessment contexts.

• The most common tools used were scales (n = 9) to document the level of development for given competencies or subcompetencies, they had from two to 10 different anchors with an average of 4.8. Other popular tools included milestones (n = 6), portfolios (n = 3) and self-efficacy scales (n = 3).
• To determine development and progress, the performances were observed most often in a clinical context (n = 6), in a standardised context (n = 5) or for a specific task (n = 5) (Table 3).

 

 

3.2 정성적 데이터에 대한 기술 결과
3.2 Descriptive results for qualitative data

우리는 질적 주제 분석에서 DPA의 구현에 대한 우리의 이해를 알릴 수 있는 7가지 주요 주제를 식별했다.

• (a) DPA의 기본 목표
• (b) DPA에 대한 정보 출처
• (c) DPA 구현에 대한 장벽
• (d) DPA 구현의 장벽 또는 촉진자로 작용할 수 있는 상황별 요인
• (e) DPA 구현 촉진자
• (f) DPA 구현의 관찰된 결과
• (g) 타당성을 입증하는 증거

We identified seven major themes in our qualitative thematic analysis that can inform our understanding of the implementation of DPA:

• (a) underlying aims of DPA;
• (b) sources of information for DPA;
• (c) barriers to the implementation of DPA;
• (d) contextual factors that can act as barriers or facilitators to the implementation of DPA;
• (e) facilitators to the implementation of DPA;
• (f) observed outcomes of the implementation of DPA, and
• (g) documented validity evidence.

각 테마는 여러 하위 테마로 구성되었으며 8-38개의 서로 다른 출처(기사)에 의해 지원되었다. 9개의 기사가 오직 하나의 테마로 제시되었다:

• 34개의 다른 출처가 지원하는 주제 '실제 결과'의 4개
  26개의 다른 출처가 지원하는 '정보 제공'의 2개
  25개의 다른 출처가 지원하는 '기본 목표'의 2개
  9개의 다른 출처에 의해 지원되는 'model' 중 1개. 

주제, 하위 주제 및 설명은 아래에 인용문과 함께 제시되어 있습니다..

Each theme was comprised of several subthemes, and supported by 8-38 different sources (articles). Nine articles were present in only one theme:

• four in ‘observed outcomes’ a theme supported by 34 other sources;
• two in ‘sources of information’ supported by 26 other sources;
• two in ‘underlying aims’ supported by 25 other sources, and
• one in ‘barriers’ supported by nine other sources. 

Themes, subthemes and their descriptions are presented below with supporting quotes.

 

3.3 주제 1: DPA의 기본 목표
3.3 Theme 1: Underlying aims to DPA

우리는 DPA의 구현과 관련된 두 가지 주요 목표를 식별했다. (a) 교육생의 진행과 발달에 대한 보고와 (b) 더 나은 전문직으로서의 개발에 기여하기 위한 것이다. DPA의 구현의 근본적인 동기는 [역량을 향한 구체적인 발전 경로]가 주어졌을 때 [교육생과 프로그램에 교육생의 발전 및 발전에 대한 보고서를 제공]하는 것이다. 21-40 교육생에 대한 보고서를 제공하는 것 외에도, DPA는 평가, 피드백, 가이드를 통해 학습 기회를 제공함으로써, 더 나은 직업의 발전에 기여할 것으로 기대된다.
We identified two main goals associated with the implementation of DPA:

• (a) to report on trainees’ progress and development, and
• (b) to contribute to the development of better professionals.

An underlying motivation to the implementation of DPA is to provide trainees and programmes with a report on trainees’ progression and development given a specific established path of progression towards competency.21-40 In addition to providing a report on trainees’ progression, DPA is expected to contribute to the development of better professionals by providing learning opportunities through assessment, feedback and guidance.

3.4 주제 2: DPA를 위한 정보의 출처
3.4 Theme 2: Sources of information for DPA

우리는 DPA(연수생의 진행과 발전을 문서화하는 방법)의 정보 소스에 기여하는 두 가지 주요 요소를 식별했다. 즉 (a) 학생에 대한 직접적인 관찰과 (b) 미리 설정된 진행 경로. 저자들이 역량 기반 의학교육(CBME)의 맥락에서 DPA의 구현을 논의할 때, 그들은 학생들의 성과에 대한 종방향 문서화와 평가가 학생에 대한 직접 관찰에 의해 informed 되어야 한다는 중요성을 내세웠다. 3, 15, 27, 28, 33, 35, 38, 41 우리가 자주 관찰한 두 번째 요소는 사전 설정된 진행 경로를 통해 DPA에 알려야 할 필요성. 
We identified two main elements contributing to the sources of information for DPA (how to document trainees’ progress and development) namely:

• (a) the direct observation of students, and
• (b) a pre-established path of progression.

When authors discussed the implementation of DPA in the context of competency-based medical education (CBME), they put forward the importance that the longitudinal documentation and assessment of students’ performance be informed by direct observation of students.3, 15, 27, 28, 33, 35, 38, 41 The second element that we frequently observed was the necessity that DPA be informed by a pre-established path of progression.15, 21, 23, 25-27, 30, 32-38, 41-52

3.5 주제 3: DPA의 구현에 대한 장벽
3.5 Theme 3: Barriers to the implementation of DPA

우리는 DPA 구현에 대한 네 가지 주요 장벽 또는 과제를 식별했다. (a) 추가 물류 부담, (b) 경험적 데이터 또는 증거 지원 관행 부족, (c) 관찰 기회를 찾는 도전, (d) 시간이 필요하다. 프로그램에 대한 이러한 추가 부담은 DPA 구현에 대한 장벽으로 간주될 수 있다. 일부 저자들은 경험적 데이터 또는 증거 지원 관행의 부족을 강조하며, 경우에 따라 DPA 구현에 대한 장벽으로 인식될 수 있다고 가정한다. 교육생을 관찰할 시간과 기회도 DPA의 구현에 있어 중요한 장벽으로 간주되었다.

We identified four main barriers or challenges to the implementation of DPA:

• (a) The additional logistical burden;
• (b) lack of empirical data or evidence-supported practices;
• (c) challenge of finding observation opportunities, and
• (d) time it requires.

These additional burdens on the programmes could be seen as barriers to the implementation of DPA.33, 38, 47, 53-56 Some authors highlight the lack of empirical data or evidence-supported practices, and hypothesise that it can be, in some instances, perceived as a barrier to the implementation of DPA.38, 47, 56, 57 Time and opportunities to observe trainees were also seen as important barriers to the implementation of DPA.15, 33, 58

3.6 주제 4: DPA 구현에 긍정적 또는 부정적 영향을 미칠 수 있는 상황적 요인
3.6 Theme 4: Contextual factors that can positively or negatively influence implementation of DPA

우리는 DPA 구현에 장벽 또는 촉진자로 작용할 수 있는 세 가지 상황적 요인을 식별했다. (a) 적절한 평가 도구 또는 전략, (b) 교수진 개발, (c) 지역 문화. DPA를 구현하기 전에 [적절한 평가 도구 또는 전략이 제공되었을 때], 이를 촉진자로 간주했습니다.3 그러나 이러한 도구와 전략의 개발에 대한 비용과 자원은 DPA의 구현에 대한 장벽으로 간주되었다.38 평가 도구 또는 전략이 DPA의 구현에 적절하거나 제공되지 않은 경우, 이는 DPA의 구현에 대한 장벽으로 간주되었다.38, 43, 47 이러한 평가 도구와 전략에 대한 기대치는 높았고, 충족되지 않을 때, 좌절하게 만들었다.
We identified three contextual factors that could act as either a barrier or facilitator to the implementation of DPA:

• (a) appropriate assessment tools or strategies;
• (b) faculty development, and
• (c) local culture.

When appropriate assessment tools or strategies were made available before the implementation of DPA, this was seen as a facilitator.3 Costs and resources to the development of these tools and strategies, however, were seen as barriers to the implementation of DPA.38 If the assessment tools or strategies were not appropriate or available at the implementation of DPA, this was seen as a barrier to its implementation.38, 43, 47 Expectations towards these assessment tools and strategies are high, and when not met, they lead to frustrations.33, 47, 51, 54(p.2)

DPA의 구현에 대한 장벽 또는 촉진자로 볼 수 있는 두 번째 상황적 요인은 교수진에게 제공되는 교육 기회이다. 교수개발이 DPA의 구현 전 또는 구현 중에 계획되고 전개되었을 때, 이는 DPA의 구현에 대한 촉진자로 간주되었다. DPA의 구현에 앞서서 교수개발을 출시하는 것이 바람직하게 보였지만, 많은 저자들은 이것이 프로그램에 대한 추가적인 부담이라는 사실을 강조했고, 그들은 DPA의 구현에 대한 장벽으로 볼 수 있었다.
A second contextual factor that could be seen as either a barrier or facilitator to the implementation of DPA is the training opportunities provided to faculty members.21, 38, 54, 56, 58, 59 When faculty development was planned and rolled out before or during the implementation of DPA, this was seen as a facilitator to the implementation of DPA.58 Though the roll-out of faculty development prior to the implementation of DPA was seen as favourable, many authors highlighted the fact that this was an additional strain on programmes, who could view it as a barrier to the implementation of DPA.21, 38, 56

마지막으로, DPA의 구현에 장벽 또는 촉진자로 작용할 수 있는 중요한 기여 요소는 [지역 문화]였다. 저자들은 학습의 평가(평가의 전통적인 사용)에서 학습을 위한 평가(개발 촉진에 사용되는 평가)로 이동하려면 중요한 변화가 필요하다고 강조했다. 향토 문화로 DPA가 지역 문화와 잘 일치하는 경우, DPA는 구현의 촉진자로 간주되었습니다.54 그러나, 일부 경우에는 DPA가 평가 관행에 상당한 변화를 요구했기 때문에 구현에 대한 장벽으로 간주될 수 있습니다.54, 56

Finally, an important contributing factor that could act as either a barrier or facilitator to the implementation of DPA was the local culture.21, 28, 35, 38, 54 Authors highlighted that moving from assessment of learning (traditional use of assessment) to assessment for learning (assessment used to promote development) requires an important shift in local culture. In instances where DPA aligned well with the local culture, it was seen as a facilitator to its implementation.54 However, in some instances, DPA required a significant shift in assessment practices and could thus be seen as a barrier to its implementation.54, 56

3.7 주제 5: 촉진자
3.7 Theme 5: Facilitators

우리는 DPA의 세 가지 주요 촉진 요인을 식별했다. (a) 구현 컨텍스트에서 제공되는 유연성, (b) CBME의 동시 구현, (c) 구현하기 전에, 다가올 변화에 대한 컨텍스트와 인력의 준비 등. 우리는 아카이브에서 DPA의 구현이 유연성을 제공할 때 촉진될 수 있음을 관찰했다. 즉, 운영화와 구현이 엄격하게 사전 정의되지 않았을 때 DPA를 구현하기가 더 쉬웠다. CBME가 도입되는 동안 DPA의 구현은 또한 평가 관행에 변화의 기회를 제공했기 때문에 상황적 요인으로 간주되었다. 마지막으로, DPA를 시행하기 전에 맥락과 인력의 준비가 중요한 촉진자로 간주되었다.

We identified three main facilitators to the implementation of DPA:

• (a) the flexibility offered in the context of the implementation;
• (b) the simultaneous implementation of CBME, and
• (c) the preparation of the context and people for the upcoming changes, prior to the implementation of DPA.

We observed, in our archive, that the implementation of DPA could be facilitated when it provided flexibility. That is, it was easier to implement DPA when the operationalisation and implementation were not rigidly pre-defined.37, 38, 54 The implementation of DPA during the roll-out of CBME was also seen as a facilitating contextual factor as it provided an opportunity for change in assessment practices.26, 47, 54, 60 Lastly, the preparation of the context and people prior to the implementation of DPA was seen as an important facilitator.21, 25, 26, 33, 37, 54, 58, 61

3.8 주제 6: DPA수행의 관찰된 성과이다.
3.8 Theme 6: Observed outcomes of the implementation of DPA

아카이브에 있는 56개의 기사 중 총 42개는 DPA 구현의 결과를 제공했으며, 여기에는 다음이 포함되었다. 

• (a) 피드백 촉진,
• (b) 교정조치가 필요한 전공의 확인,
• (c) 더 나은 수습 평가 및 프로그램 평가,
• (d) 진행 상황 모니터링 수단,
• (e) 명시적 기대치 로드맵

A total of 42 of the 56 articles in our archive provided outcomes from the implementation of DPA, which included:

• (a) facilitated feedback;
• (b) identification of residents who need remediation;
• (c) better trainee assessment and programme evaluation;
• (d) means to monitor progress, and
• (e) a road map of explicit expectations.

DPA 구현의 일반적인 긍정적인 결과는 교육생에 대한 피드백이었다. 또한, 몇몇 저자들은 DPA의 구현이 재교육이 필요한 교육생을 식별할 수 있는 기회를 제공했다고 보고했다. 전반적으로, DPA의 시행은 더 나은 연수생 평가와 프로그램 평가를 위한 기회로 간주되었다. DPA는 또한 훈련생들의 진행과 그들의 전문적 역량의 개발을 모니터링하는 수단을 제공하는 것으로 간주되었다. 마지막으로, DPA는 교육생들이 무엇을 성취했고 그들 앞에 무엇이 남아 있는지를 묘사하기 위해 무엇을 사용할 수 있는지에 대한 명시적인 기대의 로드맵으로 보여졌다. 

A common positive outcome of DPA implementation was the facilitated feedback to trainees.22, 25, 29, 30, 32, 37, 47, 49, 54-56, 58, 62-64 In addition, several authors reported that the implementation of DPA provided the opportunity to identify trainees who require remediation.22, 27, 29, 30, 36, 38, 43, 52, 54, 55, 63, 65, 66 Overall, the implementation of DPA was seen as an opportunity for better trainee assessment and programme evaluation.30, 39, 41, 46, 47, 49, 54, 55, 58, 61-65, 67 DPA was also seen as providing a means to monitor trainee progress and the development of their professional competency.21-24, 27, 29, 30, 32, 33, 37, 39, 40, 46, 48, 50, 54, 60, 65, 68 Lastly, DPA was seen as a road map of explicit expectations of what could be used by trainees to picture what they have accomplished and what is left in front of them.

DPA 구현을 위해서는 [명확한 사전 설정된 경로 제공]이 필요하지만, 구현 시 필요하지 않았다면 만들어지지 않았을 수 있어 구현에 긍정적인 결과물로도 평가된다. 이는 전공의 스스로 전문성 개발을 agency를 갖게하겠다는 전략으로도 읽힌다. 오직 두 개의 기사만이 DPA 구현과 관련된 부정적인 결과를 제시한다. 타르디프와 두부아에서 저자들은 교수진 개발의 부족이 평가를 세로 방향으로 볼 수 없는 상황을 초래했다고 말했다. Yadlapati 외 연구진에서, 교육생 중 절반이 예상 시간 내에 기대 수준의 역량을 달성하지 못했다.

Though providing an explicit pre-established path is required for the implementation of DPA, it is also seen as a positive outcome of its implementation as it may have not been created if the implementation didn't require it.21, 23-26, 30, 33, 49, 54, 55, 62-64, 67 This is also seen as a strategy to give residents agency over their own professional development. Only two articles put forward negative outcomes associated with DPA implementation.31, 35 In Tardif and Dubois,35 the authors stated that the lack of faculty development yielded a situation where the assessment was not seen longitudinally. In Yadlapati et al,31 half the trainees did not achieve the expected level of competency in the expected time frame. 

3.9 주제 7: 타당성 근거를 문서화
3.9 Theme 7: Documented evidence of validity

우리는 단지 4개의 기사에서만 타당성을 증명할 수 있었다.

• Rebel 외 연구진에서, 30명의 저자들은 성장 및 이정표 달성을 문서화하기 위해 성능의 증가와 목표 구조화된 임상 검사(OSCE)의 타당성에 대해 논의한다.
• Nabors 등은 임상 역량 위원회의 상임위 심사 과정을 기록했다.
• Pugh 등은 그들의 OSCE가 다른 수준에서 후보들 간의 차별을 할 수 있고 또한 높은 신뢰성을 가지고 있기 때문에 progress test 의 한 형태로 사용될 수 있다고 주장한다.
• 하우어 외 연구진에서, 저자들은 자신들의 연구 결과가 '능력 개발을 어떻게 특징지을 수 있는지, 임상 역량 위원회와 함께 일하는 프로그램 책임자가 훈련 중에 거주자들이 겪거나 겪지 않은 커리큘럼 경험을 식별하기 위해 어떻게 그것들을 사용할 수 있는지를 보여줌으로써 이정표에 대한 유효성의 증거를 구축하는 것'에 기여한다고 제안한다.

We were able to identify validity evidence in only four articles.30, 36, 61, 67 

• In Rebel et al,30 the authors discuss the increase in performance, and the validity of their objective structured clinical examination (OSCE) to document growth and milestones attainment.
• In Nabors et al,61 the authors documented the deliberation process for the clinical competence committee.
• Pugh et al36 argue that their OSCE can be used as a form of progress test as it can discriminate amongst candidates at different levels, and also has high reliability.
• In Hauer et al,67 the authors propose that their findings contribute to ‘build evidence of validity for the milestones by showing how they may characterise development of competence and how programme directors working with clinical competency committees may use them to identify curricular experiences residents do or do not have during training.’67(p.361)

4 토론
4 DISCUSSION

CBME에서 평가의 보편성을 고려할 때, 학습자와 사회에 대한 설명 책임의 시대에 새로운 평가를 구현하기 위한 노력은 새로운 평가의 성격과 영향에 대한 깊은 이해가 필요하다. 우리는 DPA의 성공적인 광범위한 구현을 위한 첫 번째 필수 단계로서 DPA의 구현에 대한 문헌의 깊이와 폭을 매핑하기 위해 범위 검토를 수행했다. 16, 71 우리는 논문에서 교육생의 개발과 진행을 문서화하기 위해 배치된 다양한 도구와 프로세스를 관찰했다. 이러한 도구와 프로세스의 구현은 일반적으로 두 가지 목표에 의해 뒷받침되었습니다.

• (a) 교육생의 발전 및 진행 상황을 보고하고,
• (b) 교육생의 전문성 향상에 기여한다.

DPA는 성과와 예상 개발 궤적을 직접 관찰함으로써 통보되었다. 몇 가지 상황적 요인이 DPA의 구현을 방해하거나 유리할 수 있다.

Given the ubiquitous nature of assessment in CBME,3, 69, 70 efforts to implement novel assessments in an era of accountability to learners and society require that we have a deep understanding of the nature and impact of novel assessments. We conducted a scoping review to map the depth and breadth of literature on the implementation of DPA as a first and necessary step towards its successful widespread implementation.16, 71 In the retained papers, we observed different tools and processes that were put in place to document the development and progression of trainees. The implementation of these tools and processes were, in general, underpinned by two aims:

• (a) to report on trainees’ development and progression, and
• (b) to contribute to trainees’ professional development.

Developmental progress assessment was informed by direct observation of performance and expected developmental trajectories. Several contextual factors could hinder or favour the implementation of DPA.

우리는 DPA의 구현에 따라 개인 및 조직 수준에서 몇 가지 잠재적 긍정적인 결과를 관찰했다.19 [교육생]의 경우, DPA는 훈련의 각 단계에서, 자신의 역량을 갖추고 독립적인 실천으로 발전하는 데 사용될 수 있는 [명확한 기대 로드맵]을 제공한다.4 이 아이디어는 CBME의 핵심이며, 한 가지 원칙은 [역량있고 독립적인 실천으로 가는 개발 경로]를 설정하는 것이다. 그리피스 외 9는 또한 이것이 학습 강화에 기여해야 한다고 말한다.

We observed several potential positive outcomes at the individual and organisational levels following the implementation of DPA.19 For trainees, DPA provides an explicit road map of expectations, at each stage of their training, that can be used to guide their development towards competent and independent practice.4 This idea is central to CBME, for which one principle is to establish a developmental pathway to competent and independent practice. Griffith et al9 also state that this should contribute to enhanced learning.

[교육생과 감독자 모두]에게 DPA는 관찰된 성과에 대한 명시적 설명을 제공하고, 관찰된 성과를 발달 진전에 대한 명시적 기대와 비교한다는 점에서 [피드백을 제공하는 촉진자]로 간주된다. 73-76 두 프로세스 모두 피드백이 성인 학습에 효과적일 수 있는 중요한 요소로 인식된다. [기관]에게 DPA는 진행 상황을 모니터링하고 교정조치가 필요한 전공의를 식별할 수 있는 수단을 제공하며, 교육생 평가와 프로그램 평가도 개선한다. 이러한 잠재적 결과는 교육자와 프로그램 관리자가 제시한 니즈를 충족시킵니다.
For both the trainees and their supervisors, DPA is viewed as a facilitator for providing feedback in that it provides explicit descriptions of observed performance72 and compares observed performance to explicit expectations of developmental progress73-76 both processes are recognised as important factors for feedback to be effective in adult learners. For organisations, DPA provides a mean to monitor progress, identify residents who need remediation and it also provides better trainee assessment and programme evaluation. These potential outcomes fill needs manifested by educators and programme administrators.

DPA의 잠재적인 긍정적인 결과를 관찰했지만, 그 구현에는 몇 가지 과제가 있으며, 그 중 많은 문제는 변화에 대한 내성에 기여할 수 있기 때문에 가볍게 볼 수 없다.9, 71 DPA의 구현은 추가적인 로지스틱컬 부담으로 간주되었다. 일부 저자들은 DPA가 경험적 증거가 부족하다고 생각했지만, 다른 저자들은 그렇지 않았다. 직접 관찰에 필요한 기회와 시간과 관련된 문제를 언급하였다. 직접 관찰은 서로 다른 감독자에 의해 만들어진 다양한 맥락에서 여러 개의 관찰을 갖는 DPA의 초석이다. 이러한 마음가짐에서 평가 지점은 독립적인 스냅샷으로 보이지 않지만 학습자의 잠재 성장 가능성을 보다 완벽하고 감동적으로 포착하는 데 기여하는 것으로 간주된다. 또한 사용자 친화적인 평가 양식에 대한 적시 접근은 필수적입니다.9 이러한 장벽은 증거 정보 HPE를 지원하거나 방해하는 요소를 탐구하는 HPE의 다른 분야의 새로운 연구에서 보고된 장벽과 일치한다.77, 78
Although we observed potential positive outcomes of DPA, there are some challenges to its implementation, many of which cannot be taken lightly as they can contribute towards resistance to change.9, 71 The implementation of DPA was seen as an additional logistical burden; some authors considered that it is lacking empirical evidence, whereas others mentioned issues with the opportunity and time required for direct observation. Direct observation is the cornerstone of DPA with multiple observations in varied contexts made by different supervisors. In this mindset, assessment points are not seen as independent snapshots, but are seen as contributing to a more complete and moving capture of a learner's potential growth. In addition, the just-in-time access to user-friendly assessment forms is quintessential.9 These barriers are in line with those reported in emerging research in other areas of HPE exploring the factors that support or hinder Evidence Informed HPE.77, 78

어떤 경우에는 장벽으로 간주되는 것이 - 다른 상황 또는 다른 상황에서 - 촉진제가 될 수도 있습니다. 이러한 상황적 요인에는 [적절한 도구에 대한 접근성], [교수진 개발] 및 [학습을 위한 평가 원리와 일치하는 지역 문화]가 포함된다(Griffith et al.9). 이러한 연구 결과는 Thomas 등 78과 Onyura 등.77의 연구 결과를 반영하기도 한다. 예를 들어, 적절한 평가 도구에 쉽고 빠르게 접근할 경우 DPA의 구현과 채택이 용이할 수 있지만, 그러한 도구의 개발은 부담으로 간주될 수 있다.
In some instances, what was seen as a barrier could also be - in different contexts or under different circumstances - a facilitator. These contextual factors include having access to appropriate tools, faculty development and a local culture aligned with principles of assessment for learning, as also highlighted recently in Griffith et al.9 These findings also mirror the work by Thomas et al78 and Onyura et al.77 For example, easy and quick access to appropriate assessment tools would facilitate the implementation and uptake of DPA; however, the development of such tools can be seen as burdensome.

앞에서 설명한 바와 같이, 대부분의 CBME 컨텍스트 내에서 DPA의 구현은 필수적입니다. 따라서 현재 DPA의 운영화 및 구현 과정을 겪고 있는 학교나 프로그램의 경우 알려진 촉진자를 내장하는 것이 흥미로울 수 있다. 우리는 CBE의 구현과 환경적 유연성이 DPA의 구현을 선호할 수 있다는 것을 관찰했다. 즉, 지역 문화가 이에 큰 역할을 했다.21, 28, 35, 38, 54 DPA로의 이동은 교육생과 교직원이 [학습의 평가]를 보는 대신에 [학습을 위한 평가]를 보는 것을 요구한다. DPA의 구현은 학습을 위한 평가 문화가 이미 존재하는 상황에서 촉진되었다. 
As stated earlier, implementation of DPA within most CBME contexts is mandatory. Thus, for the schools or programmes that are currently going through the process of operationalising and implementing DPA, it might be interesting to build-in known facilitators. We observed that the implementation of CBE and surrounding flexibility could favour the implementation of DPA. Namely, the local culture played a major role in this.21, 28, 35, 38, 54 The move towards DPA requires that trainees and faculty members see assessment for learning instead of seeing assessment of learning. Implementation of DPA was facilitated in the contexts where there was already a culture of assessment for learning.

DPA의 초기 구현 단계에 있기 때문에, 아카이브의 몇 가지 문서만이 타당성을 입증했다. 앞으로, 이 문제는 목적 있는 접근 방식으로 다뤄질 필요가 있을 것이다. 새로운 평가의 검증은 평가와 최종 목표(기대 성능)가 정적일 때 그 자체로 어렵다. 그러나, DPA의 맥락에서, 기대되는 성과(최종 목표)는 움직이는 목표이며, 이는 우리가 정적 성과에 관심이 없다는 것을 의미한다. 오히려 평가의 초점은 [학생들의 발전 궤도에 대한 진행]에 있다. 이러한 평가 초점의 차이(정적 성과 대 성장) 때문에, 우리는 심리 측정 모델이 이 현실에 적합하지 않을 수 있기 때문에 타당성 증거를 문서화하기 위해 배치될 접근법을 주의 깊게 고려할 필요가 있다. 79-81
As we are at the initial implementation of DPA, only a few articles in our archive presented validity evidence. Moving forward, this issue will need to be addressed in a purposeful approach. Validation of a novel assessment is challenging in itself when the assessment and end goal (expected performance) is static. However, in the context of DPA, the expected performance (end goal) is a moving target, meaning that we are not interested in a static performance; rather, the focus of the assessment is students’ progression on a developmental trajectory. Because of this difference in assessment focus (static performance versus growth), we need to carefully consider the approaches that will be put in place to document validity evidences, as psychometric models may not be suited for this reality.79-81

범위 검토에는 데이터를 해석할 때 독자가 명심해야 하는 몇 가지 제한이 있습니다. 개발 및 진전에 대한 평가가 반드시 새로운 아이디어는 아니지만 - CBE에 대한 초기 글에 포함되었다 - 이 주제에 대한 문헌은 부족하고 CBME의 구현에 따른 HPE에 대부분 포함되어 있다. 따라서, 아직 포괄적일 검색 전략을 만들기 위한 적절한 키워드를 식별하기가 어려웠다.; 이와 같이, 그것은 더 높은 비율의 배제 기사를 낳았다. 이 검색 전략은 2017년 5월에 적용되었는데, 그 이후로 새롭고 다른 결과가 발표될 수 있었는지에 대해 의문이 제기될 수 있다. 우리가 조사한 최근 연구(예: 그리피스 외 9)가 검색 전략에서 확인된 기사에서 추출한 것과 유사한 발견을 보고하기 때문에 그럴 가능성은 낮다고 본다. 우리가 검색을 수행한 이후로 이 주제에 대한 중요한 저작이 출판되지 않았습니다. 범위 지정 연구에서 전형적이듯, 우리는 포함된 연구의 품질 평가를 수행하기보다는 주제에 대한 문헌의 폭과 깊이를 매핑하는 것이 목적이었기 때문에 데이터 말뭉치에 포함된 문헌을 비판적으로 평가하지 않았다.

There are some limitations to our scoping review that the reader should bear in mind when interpreting our data. Though the assessment of development and progress is not necessarily a new idea - it was embedded in the initial writings on CBE - the literature on this topic is scarce and mostly in HPE following the implementation of CBME. Thus, it was difficult to identify the appropriate keywords to create a search strategy that would be focused yet inclusive; as such, it resulted in a higher percentage of excluded articles. The search strategy was applied in May 2017, which might bring into question if new and different results could have been published since then. We believe that is unlikely, as the recent studies we surveyed (eg, Griffiths et al9) report similar findings to those we extracted from our articles identified in our search strategy. There has not been a seminal work published on the topic since we conducted our search. As is typical in scoping studies, we did not critically appraise the literature included in our data corpus, as our intention was to map the breadth and depth of the literature on the topic rather than conduct a quality assessment of the included studies.

5 결론
5 CONCLUSIONS

피드백을 제공할 수 있는 시설의 증가, 교정조치가 필요한 교육생의 잠재적 식별, 자체 개발에서 교육생에게 주어지는 기관의 증가에서 볼 수 있듯이, 개발 진행 평가는 미래의 유능한 보건 전문가의 훈련의 필요성을 충족시키는 것으로 보인다. 그러나 잠재적인 물류 및 부담스러운 함정이 우리를 기다리고 있다. DPA의 광범위한 구현을 진행하면서, 교육자와 연구원들은 평가 해석의 타당성에 대한 증거를 수집하는 것을 염두에 둘 필요가 있다.

Developmental progress assessment seems to fill a need in the training of future competent health professionals, as can be seen by the increased facility to provide feedback, the potential identification of trainees that require remediation, and the increased agency given to trainees in their own development. Yet, potential logistical and burdensome pitfalls await us. Moving forward with a widespread implementation of DPA, educators and researchers need to be mindful of collecting evidences of the validity of the assessment interpretation.