발달적 Progress Assessment의 도입에 관한 이해관계자 인식: 이론적 영역 프레임워크를 활용한 행동결정요인 문서화 (Adv Health Sci Educ Theory Pract. 2022)

발달적 Progress Assessment의 도입에 관한 이해관계자 인식: 이론적 영역 프레임워크를 활용한 행동결정요인 문서화 (Adv Health Sci Educ Theory Pract. 2022)
Stakeholders’ perception on the implementation of Developmental Progress Assessment: using the Theoretical Domains Framework to document behavioral determinants
Christina St‑Onge1 · Elisabeth Boileau1 · Serge Langevin1 · Lily H. P. Nguyen2 · Olivia Drescher3 · Linda Bergeron1 · Aliki Thomas2 

 

 

서론
Introduction

불행히도, 종단 평가(longitudinal assessment (LA))의 광범위한 구현은 의대생의 독립적 진료로의 진행을 문서화하는 데 사용하는 것을 뒷받침하는 실제 과학적 증거보다는 잠재적 편익 추정에 더 의존한다. 우리는 대학원 의학 교육의 맥락에서 LA의 시행과 관련된 몇 가지 도전과 장벽을 문서화했지만, 우리는 아직 그 속담의 결실을 거둘 수 있는 방식으로 그것을 홍보하는 방법을 확립하지 못했다. 어떤 요인들이 LA의 이행을 유리하게 하거나 방해할 수 있는지에 대한 명확하고 공유된 이해가 부족하면 훈련생의 독립적 실천으로의 진행에 관한 결정의 질이 저하될 수 있다.
The widespread implementation of longitudinal assessment (LA) unfortunately rests more on suppositions of its potential benefits than on actual scientific evidence supporting its use to document progression of medical students to independent practice. While we have documented several challenges and barriers associated with the implementation of LA in the context of postgraduate medical education (St-Onge et al., 2020), we have yet to establish how to promote it in a manner that will allow us to reap its proverbial fruits. Lack of a clear and shared understanding of what factors can favor or hinder the implementation of LA can decrease the quality of decisions about trainees’ progression to independent practice.

최근 LA의 인기가 높아진 것은 많은 HPE 프로그램에서 진행 중인 광범위한 CBME 롤아웃 덕분이다. [LA의 중심 원칙]은 [미리 설정된 역량 연속체]에서 한 사람의 [진행에 대한 피드백]을 받는 것이 [독립적 관행을 향한 그들의 발전]에 크게 기여한다는 것이다. 다시 말해, 역량 연속체, 즉 궤적을 사용하면 훈련생과 임상 교사가 그들이 지향하는 "목표"를 알 수 있다고 생각된다. 이러한 궤적은 구현되는 위치에 따라 다른 형태를 띠며, 결과적으로 다른 용어를 사용하여 레이블이 지정되었습니다. 국경을 초월하는 것처럼 보이는 이러한 기본 역량 연속성을 설명하는 데 자주 사용되는 용어는 마일스톤과 EPA(위탁 가능한 전문가 활동)입니다. 대학원 의학 교육을 위한 인증 위원회(ACGME)는 2012년 개인의 진행 상황을 더 잘 모니터링하기 위해 역량 기반 마일스톤을 도입했습니다. 2005년 ten Cate는 "잘 수행한다는 것은 중요한 EPA를 수행하는 데 신뢰할 수 있는 것으로 정의될 수 있다"고 제안했다. 그리고 전 세계의 많은 의료 인증 기관들이 그 뒤를 따랐다. 피드백과 결합하여, 이러한 역량 연속성은 훈련생이 다음에 숙달해야 할 개발 단계를 강조함으로써 해당 궤도에 스스로 위치할 수 있도록 하여 전문적 발전에 기여할 수 있어야 한다. LA의 인기는 주로 그러한 잠재적 이익에 의해 주도되었지만, 그것의 실행은 도전으로 가득 차 있다.
The recent and increased popularity of LA can be attributed to the on-going widespread CBME roll-out in many HPE programs (Green et al., 2009; Holmboe et al., 2020; St-Onge et al., 2020). A central tenet of LA is that receiving feedback about one’s progression on a pre-established competence continuum greatly contributes to their development towards independent practice (Boud, 2015; Lajoie, 2003). In other words, the use of a competence continuum, or a trajectory, is thought to allow trainees and clinical teachers to know the “goal” they are working towards (St-Onge et al., 2020). These trajectories take on different forms according to where they are implemented, and consequently have been labeled using different terms. Frequent terms used to describe these underlying competence continua, that seem to transcend borders (Bramley & McKenna, 2021), are Milestones and Entrustable Professionals Activities (EPAs). The Accreditation Council for Graduate Medical Education (ACGME) introduced competency-based Milestones to better monitor individuals’ progression in 2012 (Nasca et al., 2012). In 2005, ten Cate suggested that “performing well could be defined as being trusted to carry out critical EPAs”, and many medical accreditation bodies across the globe have since followed suit. Combined with feedback, these competence continua should enable trainees to situate themselves on said trajectory thus contributing to their professional development by highlighting what developmental steps are to be mastered next (Lajoie, 2003). While the popularity of LA has been largely driven by such perceived potential benefits, its implementation is fraught with challenges.

우리는 최근 범위 검토에서 [LA 구현에 대한 장벽]을 문서화했습니다. 하나의 중요한 장벽은 훈련생과 감독관이 [LA를 완료하는 데 필요한 기회 또는 시간]을 찾는 측면에서 관찰된 [성과에 대한 빈번한 평가와 관련된 추가적인 로지스틱적 부담]으로 구성된다. LA의 편익에 대한 불충분한 증거(실제 대 예상 편익)는 서로 다른 이해관계자(감독관 및 교육생 등)가 LA를 회피하거나 기본 전제를 존중하지 않고 사용할 수 있다. Touchie와 Ten Cate가 지적한 바와 같이: "마일스톤과 EPA가 새로운 체크리스트 역할을 한다면 우리는 아무것도 얻지 못한 것이다." LA의 보급 증가와 학습을 촉진하기 위한 평가의 잠재성으로 인해, LA의 품질 구현을 촉진하기 위해 이러한 장벽을 해결하는 것이 필수적이다.

We recently documented barriers to the implementation of LA in a scoping review (St-Onge et al., 2020). One important barrier consists of the additional logistical burden -for supervisors and trainees- associated with frequent assessment of observed performance in terms of finding the opportunities or the time required from trainees and supervisors to complete LA (Hicks et al., 2016; Holmboe, 2015; Peters et al., 2017). Insufficient evidence of the benefits of LA (actual versus anticipated benefits) may cause different stakeholders (such as supervisors and trainees) to avoid LA, or to use it without respecting its underlying premises (Conforti et al., 2018; Drolet et al., 2017; Friedman et al., 2016; Goldman et al., 2017; Peabody et al., 2017; Peters et al., 2017; Swing et al., 2014). As Touchie and ten Cate (2016, p. 96) point out: “if milestones and EPAs serve as the new checklist we have not won anything”. With the increased prevalence of LA and the potential of assessment to drive learning (Swanson & Case, 1997), it is imperative that we address such barriers to promote quality implementation of LA.

LA와 같은 개입의 품질 구현은 여러 이해관계자의 행동 변화를 필요로 한다. 새로운 관행의 구현과 수용을 촉진하기 위해, 프로세스와 설명 프레임워크가 행동 변화에 대한 명시적인 결정 요인을 어떻게 만들 수 있는지 고려하는 것이 도움이 된다. [모범 사례에 방해가 될 수 있는 결정 요인(지지 및 장벽)을 식별]할 수 있을 때, 우리는 맞춤형 및 이론 중심 개입을 만들어 모범 사례의 활용을 촉진할 수 있다. [Buy-in(즉, 이해 관계자가 관행의 가치와 관련성을 보아야 하는 경우)]와 [결정 요인(예: 지원 및 장벽)]이라는 개념은 지식 번역(KT) 및 구현 과학 분야에서 일반적이다. LA의 품질 구현을 촉진하는 방법을 식별하기 위해 [결정 요소 프레임워크]가 이 연구를 안내하는 데 어떻게 도움이 될 수 있는지 고려했다. 우리는 행동 변화를 지지하거나 방해하는 요인을 식별하기 위해 KT 연구에 특별히 사용되는 이론 도메인 프레임워크(TDF)를 선택했다.

Quality implementation of interventions, such as LA, requires behavioral changes from several stakeholders (Buck et al., 2018; Canadian Institutes of Health Research, 2012; Carr et al., 2009; O’Rourke et al., 2016). To promote the implementation and uptake of new practices, it is helpful to consider how both process and explanatory frameworks can make explicit determinants of behaviour change. When we can identify the determinants (supports and barriers) that may stand in the way of best practices, we can create tailored and theory driven interventions to promote the uptake of best practices (Thomas & Bussières, 2021). Notions of buy-in (i.e., where stakeholders must see the value and relevance of a practice) and of determinants (e.g., supports and barriers) are common in the fields of knowledge translation (KT) and implementation sciences (Birken et al., 2017; Nilsen, 2015). To identify how to promote quality implementation of LA, we considered how a determinant framework could help guide this research. We opted for the Theoretical Domains Framework (TDF) which is specifically used in KT research to identify the factors that either support or hinder behaviour change (Francis et al., 2012; French et al., 2012; Graham et al., 2006; Michie et al., 2005).

개념 프레임워크 – 이론적 도메인 프레임워크
Conceptual framework – Theoretical Domains Framework

여러 심리학적 이론은 [행동 변화]의 잠재적으로 수정 가능한 [결정 요인]을 탐색하고, 임상 관행을 바꾸기 위한 [표적targeted 개입]을 설계하는 데 성공적으로 적용되었다. TDF는 특정 행동의 결정 요인을 조사하기 위해 특별히 개발되었으며, 따라서 전문적인 행동을 바꾸기 위한 개입의 설계를 알릴 수 있다. TDF는 14개 영역(지식, 기술, 사회적/전문적 역할 및 정체성, 역량에 대한 신념, 낙관론, 결과에 대한 신념, 강화, 의도, 목표, 기억, 주의 및 의사결정 프로세스, 환경 컨텍스트 및 자원, 사회적 영향, 감정 및 행동 규제)과 84개 구성 요소를 포함한다. 행동 변화와 관련이 있는 것으로 추정됩니다. TDF를 사용할 때, 연구자들은 [지배적인 영역], 즉 [행동에 영향을 미칠 가능성이 가장 높은 영역]을 식별하려고 한다. 그런 다음 식별된 요인/결정 요인을 대상으로 맞춤형 행동 변화 개입을 설계한다. 예를 들어, 데이터에서 식별된 지배적 영역이 강화 및 사회적 영향인 경우 KT 개입에는 인센티브와 보상 및/또는 동료로부터의 사회적 장려 과정이 포함될 수 있다.

우리의 구체적인 목표는 

• (1) LA에 대한 주요 이해 관계자의 지식과 태도를 문서화한다. 
  
• (2) LA의 수용과 지속 가능한 사용에 대한 지지와 장벽을 파악합니다.

Psychological theories have been successfully applied to explore potential modifiable determinants of behavior change and to help design targeted interventions to change clinical practice. The TDF was developed expressly to investigate determinants of specific behaviors and thus, can inform the design of interventions to change professional behavior (Grol et al., 2007; Webb et al., 2010). The TDF contains 14 domains (knowledge, skills, social/professional role and identity, beliefs about capabilities, optimism, beliefs about consequences, reinforcement, intentions, goals, memory, attention and decision processes, environmental context and resources, social influences, emotions and behavioral regulation) and 84 component constructs believed to be associated with behavior change (Cane et al., 2012; Francis et al., 2012). When using the TDF, researchers seek to identify the dominant domains, that is, those most likely to influence behavior. Tailored behavior change interventions are then designed to target the identified factors/determinants. For example, the KT interventions could include incentives and rewards and/or social processes of encouragement from peers (Michie et al., 2008) if the dominant domains identified in the data are reinforcement and social influences.

Our specific objectives are to

• (1) Document key stakeholders’ knowledge of- and attitudes towards LA, and
• (2) Identify the supports and barriers to the uptake and sustainable use of LA.

방법들
Methods

맥락
Context

많은 나라에서, 의과대학 졸업생들은 독립 실습에 들어가기 전에 대학원 훈련을 마쳐야 한다. 전문 레지던트 프로그램은 2년에서 3년(가정의학), 최대 5년에서 7년(대부분의 외과 전문 또는 의료 하위 전문)까지 다양하다. 캐나다의 레지던트 프로그램은 각각 가정의학대학(CFPC)과 캐나다 왕립내과외과의학대학(RCPSC)에 의해 인가되며, 교육 가이드라인을 제정한다. 일반적으로 훈련생들은 처음에는 다양한 임상 윤회를 통해 그들의 훈련의 기초를 배우고, 결국 그들의 교육은 전문분야의 세부사항에 전념하게 된다. RCPSC는 2017년에 CBME의 한 형태인 CBD(Competency-by-Design)를 구현하고 LA의 구현을 촉진했습니다. 보다 구체적으로, LA는 확립된 위탁 가능한 전문 활동(EPA)에 의해 거주자가 특정 EPA에 포함된 특정 이정표를 충족해야 한다는 것을 통보받는다.
In many countries, graduating medical students must complete postgraduate training before entering independent practice. Specialty residency programs can range from two to three years duration (i.e. family medicine), up to five to seven years (i.e. most surgical specialities or medical subspecialties). Residency programs in Canada are accredited, respectively, by the College of Family Medicine (CFPC) and by the Royal College of Physicians and Surgeons of Canada (RCPSC), who establish training guidelines. Typically, trainees initially learn the foundations of their discipline through a diversity of clinical rotations, and eventually, their education is dedicated to the specifics of the specialty. The RCPSC implemented Competency-by-Design (CBD) -a form of CBME- in 2017 and promoted the implementation of LA (Gofton et al., 2017). More specifically, LA is informed by established Entrustable Professional Activities (EPAs), that residents are required to meet given Milestones embedded within specific EPAs.

CBD의 이러한 맥락에서, 여러 이해관계자는 LA에서 특정한 역할을 가지고 있다. 

• 지도부(PGME Deans 및 PD)는 CBD와 LA의 일반적인 구현을 책임진다. 
• 전공의들은 정기적으로 전공의를 관찰하고 평가 양식을 작성해야 하는 감독관에게 관찰과 피드백을 요청함으로써 평가에 대한 소유권을 갖게 된다. 
• 임상역량위원회(CCC) 위원은 이러한 평가 양식을 통해 수집된 정보를 종합한다. 

우리의 연구는 CBME의 특정 형태인 CBD의 맥락에서 수행되었지만, 우리의 연구 결과는 CBME의 원칙과 일치하는 다른 프로그램들에게 흥미로울 수 있다. 더 구체적으로, 프로그램 관리자와 교육자는 우리의 연구 결과를 새로운 종적 평가 관행의 설계와 구현을 알리기 위해 사용할 수 있다.

In this context of CBD, several stakeholders have specific roles in LA.

• The leadership (PGME Deans and PD) are responsible for the general implementation of CBD, and LA.
• Residents are called to take ownership of their assessment by soliciting observations and feedback from their supervisors, who, in turn, are required to regularly observe residents and complete assessment forms.
• Clinical Competency Committee (CCC) members aggregate the information collected through these assessment forms.

While our study was conducted in the context of CBD, a specifc form of CBME, our findings could be of interest to other programs whose goals are aligned with the principles of CBME. More specifically, program administrators and educators can use our findings to inform the design and implementation of novel longitudinal assessment practices.

설계.
Design

이론적 도메인 프레임워크에 의해 통보된 주요 이해관계자와의 반구조적 인터뷰를 사용하여 서술적 질적 연구를 수행했다. 우리는 [양질의 LA의 구현을 방해하거나 촉진할 행동 결정 요인]을 식별하는 것을 목표로 했다. 연구를 수행하기 위한 윤리적 승인이 PI의 기관에서 얻어졌다.

We conducted a descriptive qualitative study, using semi-structured interviews with key-stakeholders that were informed by the Theoretical Domains Framework (Atkins et al., 2017; Cane et al., 2012; French et al., 2012); we aimed to identify behavioral determinants that would hinder or facilitate the implementation of quality LA. Ethical approval to conduct the study was obtained at the PI’s institution.

참가자 및 모집
Participants and recruitment

참가자들은 [주어진 영역 또는 영역에 대한 특정 전문 지식 또는 경험이 있거나, 새로운 평가 관행의 도입에 위험이 있고 연구 중인 개념에 대한 고유한 통찰력을 제공]할 때 [주요 이해 당사자]로 간주된다(Patton, 2002). 우리는 4개의 핵심 이해 관계자 그룹, 즉 1-PGME(Postgraduate Medical Education) 학장 및 프로그램 이사, 2-임상 역량 위원회 위원, 3-임상 감독자 및 4-주민을 식별했다. 우리의 목표는 TDF 연구에서 일반적으로 접하는 샘플이기 때문에 그룹당 10-12명의 참가자를 모집하는 것이었다. 이러한 연구는 그러한 샘플을 통해 행동 변화에 가장 영향을 미칠 가능성이 높은 요인에 대한 풍부한 데이터가 생성된다는 것을 보여주었다. 이러한 이해관계자는 교육생의 임상역량 또는 LA의 이행에 대한 종단적 평가의 역할을 하며, 이행 및 LA에 대한 장벽과 지원을 명확히 할 수 있다. 그들은 LA의 다양한 측면을 다루며, 그렇게 함으로써 보완적인 관점을 제공할 수 있다.

Participants are considered key stakeholders when they have specific expertise and/or experiences in a given area or domain, or when they have something at stake in the uptake of a new assessment practice and that provide unique insights in regards to the concept under study (Patton, 2002). We identified four key stakeholder groups namely,

• 1- Postgraduate Medical Education (PGME) deans and program directors,
• 2- clinical competence committee members,
• 3- clinical supervisors and
• 4- residents.

Our goal was to recruit 10–12 participants per group as these are the samples usually encountered in TDF studies (Boet et al., 2017; Cheung et al., 2019; Curran et al., 2013; Islam et al., 2012; Patey et al., 2012). These studies have shown that with such samples, rich data are generated on the factors most likely to affect behaviour change. These stakeholders play a role in the longitudinal assessment of trainees’ clinical competence or the implementation of LA, and can articulate barriers and supports for the implementation and LA. They tackle different aspects of LA, and as such can provide complementary viewpoints.

모집은 목적추출, 눈덩이모집, 언론게시 등 3가지로 이뤄졌다. 

• 주요 이해관계자를 초청하기 위해 목적적 표본 추출 전략이 먼저 채택되었다. 
  
• 이 전략은 스노우볼 샘플링 전략으로 보완되었다. 이를 위해 연구 조수는 기관 웹사이트를 통해 캐나다의 Deans, Vice and Associate PGME Deans 및 프로그램 디렉터를 식별했습니다. 이러한 개인은 최초 작성자(CSO)가 이메일을 통해 연락했습니다. 우리는 잠재적 참가자들에게 우리의 채용 초청장을 배포하여 임상 역량 위원회 위원, 임상 감독자 및 거주자를 식별하는 데 도움을 요청했다.  
• 또한, 우리는 PI의 계정을 통해 소셜 미디어(트위터 및 페이스북)에 채용 청첩장을 게시하고 RCPSC를 태그했습니다. 마지막으로 참가자들에게 동료들의 연락처를 알려달라고 하는 등 눈덩이처럼 불어나는 채용전략으로 나아갔다. 참가자들에게 50달러짜리 기프트 카드가 제공되었다. 

Recruitment was three-fold: purposive sampling, snowball recruitment, and media posting.

• A purposive sampling strategy (Luborsky & Rubinstein, 1995) was employed first to invite key stakeholders;
• this strategy was complemented with a snowball sampling strategy. For this, a research assistant identified Deans, Vice and Associate PGME Deans, and program directors in Canada using institutional websites. These individuals were contacted by the first author (CSO) via email. We asked those potential participants to help us identify clinical competence committee members, clinical supervisors and residents by disseminating our recruitment invitation.
• Additionally, we posted recruitment invitations on social media (Twitter and Facebook) via the PI’s accounts and tagging the RCPSC. Finally, we proceeded to a snowball recruitment strategy by asking participants to provide contact information for their colleagues. Participants were offered a $50.00 gift-card for their participation.

데이터 수집 절차
Data collection procedure

사회인구학적 설문지
Socio demographic questionnaire

우리는 짧은 웹 기반 설문지를 통해 사회 인구 통계 정보를 문서화했습니다.

• PGME 사장 및 프로그램 이사, CCC 회원 및 임상 감독관은 8가지 질문으로 구성된 설문지를 작성했다. 
  • 기관에서의 현재 역할, 평가 결정에 미치는 영향, 평가에 대한 교육, 현재 역할에서의 시간, PGME 수준에서의 시간 감독 및 연령에 대한 6가지 개방형 질문과 공식 훈련과 성별에 대한 두 가지 폐쇄형 질문입니다.
• 전공의는 5가지 질문으로 구성된 설문지를 작성했습니다.
  • 전공의 프로그램 및 연령에 대한 두 가지 개방형 질문, 그리고 그들의 거주 년도, 다른 훈련, 그리고 성별에 대한 세 개의 폐쇄형 질문들.

참가자들은 가상으로 연구에 참여하기 위한 동의서에 서명한 후 설문지를 작성하도록 초대받았다.

We documented sociodemographic information via a short web-based questionnaire.

• PGME deans and program directors, CCC members and clinical supervisors completed a questionnaire comprised of eight questions:
  • six open-ended questions on their current role at their institution, their influence on assessment decisions, training received on assessment, time in their current role, time supervising at the PGME level, and age; and
  • two close-ended questions on their formal training, and their gender.
• Residents completed a questionnaire comprised of five questions:
  • two open-ended questions about their residency program, and their age; and
  • three close-ended questions about their year of residency, other training, and gender.
• Participants were invited to complete the questionnaire once they virtually signed the consent form to participate in the study.

개별 인터뷰 및 인터뷰 프로토콜
Individual interviews and the interview protocol

2018년 5월부터 2020년 5월까지 두 명의 서로 다른 경험 있는 이중 언어 연구 보조자가 웹 기반 비디오 플랫폼(GoTo Meeting)을 사용하여 주요 이해 관계자들과 만났다. 인터뷰는 참가자들이 선택한 언어(프랑스어 또는 영어)로 진행되었다.
Two different experienced bilingual research assistants met with the key stakeholders using a web-based video platform (GoToMeeting) between May 2018 and May 2020. The interviews were conducted in the language chosen by participants (French or English).

인터뷰 프로토콜은 이론 도메인 프레임워크(TDF)를 기반으로 설계되었다. 우리는 LA의 구현을 제한하거나 촉진할 수 있는 요소를 식별하는 것을 목표로 14개의 다른 TDF 도메인을 다루기 위한 질문을 만들었다(부록 1 참조). 인터뷰 진행자는 참가자들이 LA 및 그 구현에 대한 전문 지식 및/또는 경험을 바탕으로 고유한 통찰력을 공유할 수 있도록 했습니다.
The interview protocol was designed based on the Theoretical Domains Framework (TDF). We created questions to address the 14 different TDF domains with the goal to identify which factors can limit or facilitate the implementation of LA (see Appendix 1). The interviewer allowed participants to share their unique insights based on their expertise and/or experience with LA and its implementation.

전반적으로, 인터뷰는 평균 41분 동안 지속되었다(PGME 대표와 PD = 44분, CCC 회원 = 45분, 감독관 = 43분, 주민 = 34분). 그 인터뷰는 녹음된 것과 녹음된 것으로 되어 있었다. 참가자들의 익명성을 보호하기 위해 녹취록은 전사 과정에서 익명으로 처리되었다. 또한, 한 RA는 식별 데이터가 남지 않도록 다른 팀원들에게 전송되기 전에 모든 전사물을 검토했다. 참가자에게는 이해관계자 그룹(예: 전공의의 경우 R##)을 반영하기 위한 코드가 할당되었지만, 팀 구성원은 이를 식별할 수 없었다. 전사된 내용은 보안 클라우드 서버에 보관되었으며, 액세스는 엄격하게 제어되었으며 분석에 참여한 팀 구성원(CS-O, LB, OD)에게만 제공되었습니다.

Overall, the interviews lasted 41 min on average (PGME deans and PDs = 44 min; CCC members = 45 min; Supervisors = 43 min; Residents = 34 min). The interviews were audio recorded and transcribed verbatim. To protect the anonymity of the participants’ identity, the recordings were rendered anonymous during the transcription process. Furthermore, one RA reviewed all transcriptions before they were sent to the other team members to ensure no identifying data were left. Participants were assigned codes to reflect their stakeholder group (e.g., R## for residents) but that did not allow the team members the possibility of identifying them. Transcriptions were kept on a secure cloud server, access was strictly controlled and only provided to team members that participated in the analysis (CS-O, LB, OD).

데이터 분석
Data analysis

인터뷰가 진행된 언어로 데이터를 분석했는데, 이는 모든 팀원들이 프랑스어와 영어에 능통하기 때문에 가능한 접근 방식이었다. 주제 분석에 대한 연역적(TDF 도메인)과 귀납적(특정 신념) 접근 방식은 모두 앳킨스 외(2017)에서 설명한 대로 사용되었다. 인터뷰 기록들은 처음에 14개의 TDF 도메인을 사용하여 두 명의 팀 구성원(OD와 LB)에 의해 코딩되었다. 코딩의 차이는 첫 번째 저자(CS-O)와 논의되었다. 모든 발화가 관련된 이론적 영역으로 코드화되면, 팀 구성원(OD, LB 및 CS-O)은 발화를 [구체적 신념]으로 코드화한다. [구체적 신념]은 행동에 영향을 미치는 영역의 역할에 대한 세부사항을 제공하는 진술이다. 이러한 진술들은 여러 발화에 공통적인 의미를 전달하기 위한 것이다. 이어서 각 도메인 내에서 가장 중요한 주제가 제안되었다. 주제 식별은 CS-O & AT의 지속적인 반복 분석을 통해 수행되었습니다. 그들은 주제에 대해 토론하고 다듬어 다른 팀원들에게 발표했다. 분석 과정은 팀이 데이터 해석에 충분하다고 느낄 때까지, 즉 데이터 해석에 합의할 때까지 계속되었다.

Data were analyzed in the language that the interview was conducted in, an approach that was available since all team members are fluent in French and English. Both deductive (TDF domains) and inductive (specific beliefs) approaches to thematic analysis were used as described in Atkins et al. (2017). Interview transcriptions were initially coded by two team members (OD and LB) using the 14 TDF domains (Atkins et al., 2017; Cane et al., 2012; French et al., 2012). Differences in coding were discussed with the first author (CS-O). Once all utterances were coded to a relevant theoretical domain, team members (OD, LB and CS-O) coded utterances to specific beliefs. A specific belief is a statement that provides detail about the role of the domain in influencing the behaviour (Francis, Stockton, et al., 2009; Francis, Tinmouth, et al., 2009). These statements are intended to convey a meaning that is common to multiple utterances. Subsequently, overarching themes were proposed within each domain. Theme identification was done through continued iterative analysis by CS-O & AT. They discussed and refined the themes andpresented them to the other team members. The analysis process continued until the team felt they reached sufficiency (Dey, 2007; Nelson, 2017) in the data interpretation, that is, until they agreed on the interpretation of the data.

두드러진 도메인 식별
Identification of salient domains

TDF 결과 프레젠테이션의 관례에 따라 도메인 및 이해관계자 그룹별로 식별된 테마(빈도 카운트)를 정량화했다. 그런 다음 우리는 데이터에 더 널리 퍼져 있고 행동 변화에 동기를 부여하기 위해 행동할 수 있는 주제를 확인했다. 빈도(인터뷰 전반에 걸쳐, 그리고 각 영역 내의 신념의 수) 외에도, 우리는 종적 평가에 영향을 미칠 수 있는 상반되는 진술의 존재와 강한 신념의 증거를 고려했다. 
As is customary for a TDF result presentation, we quantified the themes (frequency count) identified per domain, and also per stakeholder group. We then identified the themes that were more prevalent in the data and on which we could act upon to motivate behavioral changes (Atkins et al., 2017; Buetow, 2010). In addition to frequency (across interviews, and number of beliefs within each domain), we considered the presence of conflicting statements and evidence of strong beliefs that could influence longitudinal assessment (Atkins et al., 2017; Buetow, 2010).

반사율
Reflexivity

본 절에서는 팀원들의 내용 전문지식과 이론적 틀에 대한 지식이 본 연구의 설계 및 수행에 어떤 영향을 미쳤는지 자세히 설명한다. 우리는 정량적 방법론(CS-O, LB, SL)과 CBME(SL, LHPN, EB, TD, CS-O)에 대한 경험이 있고, 정량적 방법론(CS-O, LB, OD)에 대한 배경을 가진 팀원들을 의도적으로 모았다. 팀원은 상호 보완적인 이론적 관점(LA 및 TDF; CS-O, AT, LB, OD)과 수집된 데이터에 대한 강력한 해석을 달성하기 위해 모인 LA 구현의 '현장' 경험을 가지고 있습니다. 교육자들은 실용적인 관점을 제시했고, 구현 '전선'에서 일어나고 있는 상황을 고려하여 데이터를 맥락화하는 데 도움을 주었다. 
(SL – 전 PGME 학장, OTL-HNS 프로그램의 LHPN-CBME 리드, OTL-HNS 프로그램의 CC 멤버, 가정의학과 및 고급 기술 레지던트 프로그램(응급 의료 프로그램 및 노인 의료 프로그램 포함) 

In this section, we detail how the team members’ content expertise and knowledge of the theoretical framework influenced the design and conduct of this study. We purposefully brought together team members that have experience with assessment (CS-O, LB, SL) and CBME (SL, LHPN, EB, TD, CS-O), with backgrounds in quantitative methodologies (CS-O, LB, OD), and qualitative methodologies (AT). Team members have complementary theoretical perspectives (LA and TDF; CS-O, AT, LB, OD) and the ‘on-the-ground’ experiences of the implementation of LA (SL– former PGME dean, LHPN- CBME lead for OTL-HNS program, member of CC for OTL-HNS program, EB–director for the family medicine and enhanced skills residency programs [which include an emergency medicine program and a geriatrics program]) that were brought together to achieve a robust interpretation of the data collected. The educators offered a pragmatic point of view and helped to contextualize the data in light of what was happening on the implementation ‘frontlines’.

이것은 행동 변화의 결정 요인을 식별하기 위해 HPE에서 TDF를 적용한 첫 번째 연구 중 하나이기 때문에, 우리는 우리 팀에 적절한 전문 지식을 갖는 것의 중요성을 인식했다. CS-O는 TDF를 뒷받침하는 몇 가지 이론에 익숙하고 이전 경험을 가지고 있다. 이는 OD가 TDF에 의해 보고된 연구에서 작업한 두 번째였다. AT는 임상 실습에서 행동 변화의 결정 요인을 식별하기 위해 TDF를 적용한 여러 팀의 일부였다. HPE에 TDF를 적용하는 참신함을 고려할 때, 팀 구성원들은 다른 코딩(LB)을 포함한 코딩 전반에 걸쳐 몇 가지 논의를 했고, TDF의 본질에 충실하도록 하면서 TDF를 데이터에 중요한 요소를 충분히 수용하도록 조정했다.
Since this is one of the first studies to apply the TDF in HPE to identify determinants of behavioural change, we were cognizant of the importance of having the appropriate expertise in our team. CS-O is familiar and has previous experience with several theories underpinning the TDF. This was OD’s second time working in a study informed by the TDF. AT has been part of several teams that have applied the TDF to identify determinants of behavioral changes in clinical practice. Given the novelty of applying the TDF in HPE, team members had several discussions throughout the coding, including the other coder (LB), and analysis to make sure they stayed true to the essence of the TDF, while adapting it sufficiently to capture the important elements in their data.

결과.
Results

연구에 참여한 사람은 41명이었다: 5명의 PGME 이사들과 5명의 프로그램 디렉터들, 10명의 CCC 회원들, 10명의 감독들, 그리고 11명의 거주자들. 참가자들은 8개의 다른 프로그램과 14개의 다른 캐나다 대학에서 왔습니다. 참가자들에 대한 더 많은 사회인구학적 정보가 표 1에 제시되어 있다.

Forty-one individuals participated in the study: five PGME deans and five program directors (PD); 10 CCC members, 10 supervisors, and 11 residents. Participants are from eight different programs and 14 different Canadian universities. More sociodemographic information about the participants are presented in Table 1.

 

관련 도메인이 있는 주요 테마
Key themes with relevant domains

우리는 이해관계자 그룹당 상위 3개의 지배적인 도메인(즉, 가장 빈번한 도메인)을 식별했다. 즉, 참가자 발언의 양 측면에서 가장 지배적인 도메인은 다음과 같다. LA의 '결과에 대한 믿음', '환경적 맥락과 자원', LA에 대한 '지식'입니다. 이러한 영역은 참가자의 발언의 56%에서 73%를 차지했다(표 2 참조). 전공의의 경우, 이 세 가지 영역의 순위는 다른 이해관계자 그룹에서 보았던 결과에 대한 신념과 비교하여 [가장 지배적인 도메인]이 [환경적 맥락와 자원]이라는 점에서 다르다. 또한 이러한 각 도메인에 대한 개별적인 상대적 중요도는 표 2에 설명된 바와 같이 그룹마다 다릅니다. 이러한 행동 결정 요인의 상대적 중요성은 LA의 구현을 추진할 때 어떤 요인들이 더 주의를 기울여야 하는지 이해 관계자 그룹별로 알려줄 수 있다.

We identified the top 3 dominant domains (i.e., most frequent) per stakeholder group, that is, the domains most predominant in terms of quantity of participant utterances, namely: ‘belief about consequences’ of LA, ‘environmental context and resources’, and ‘knowledge’ about LA. These domains represented 56% to 73% of participants’ utterances (see Table 2). For residents, the ranking of these three domains is different, in that the most dominant domain is environmental context and resources, versus beliefs about consequences, which was seen in other stakeholder groups. Furthermore, the individual relative importance for each of these domains varies from group to group as documented in Table 2. The relative importance of these behavioral determinants can inform us, per stakeholder group, about what factors need more attention when going forward with the implementation of LA.

 

부록 2에서 우리는 TDF 도메인 및 이해관계자 그룹별 구체적인 믿음과 상대적 중요성을 제시한다. 우리는 먼저 TDF 도메인별로, 그리고 나서 주어진 TDF 도메인 내에서 구체적인 믿음으로 이를 제시한다. 데이터의 양을 고려할 때, 우리는 이해관계자 그룹당 가장 두드러진 특정 신념, 즉 행동에 가장 영향을 미칠 가능성이 높은 행동 결정 요인만 아래에 제시한다.
In Appendix 2 we present the specific beliefs per TDF domain and stakeholder group, and their relative importance: we present this first by TDF domain and then by specific belief within a given TDF domain. Given the volume of data, we present below only the most salient specific beliefs per stakeholder group, that is, the behavioral determinants most likely to influence behaviours.

일반적으로 참가자들은 [LA가 PGME [학장과 PD와 CCC 위원]의 80/20 비율, [감독관과 전공의]의 70/30 비율로 부정적인 결과보다 긍정적인 결과를 더 많이 가지고 있다]고 인식한다. 따라서 CCC 회원과 PGME 회원과 PD보다 약간 부정적인 전공의와 감독관의 견해는 다음과 같다. 이 두 그룹의 주요 차이점은 많은 평가 양식을 작성해야 하는 것과 관련된 [평가 피로]인 것 같은데, 전공의와 감독자의 경우 각각 23%와 21%가 PGME 대표와 PD, CCC 구성원의 경우 각각 10%와 14%가 된다. 예를 들어, 한 감독자는 LA가 '극도로 길다'(S18)고 말했다. 또 다른 상사는 그들이 '질렸다'며 LA가 '내 귀에서 나오는 소리'라고 말했다(S17). 한 거주자는 LA를 '채워야 할 다른 확인란'과 '넘어야 할 추가적인 장애물'이라고 언급하며, '주민이 되어 임상 서비스를 운영하고 공부하는 것 외에, 실제로 이러한 EPA를 완료하여 적절한 사람을 찾고 있는지, 적절한 수 만큼 하고 있는지 확인하는 또 다른 압박이다.'라고 말했습니다.'(R07) CCC 위원과 감독관에게는 학습과 역량 개발을 더 잘 추적할 수 있는 가능성이 가장 긍정적인 결과(각각 해당 영역에서 발언의 30%, 36%)로 보였다. CCC의 한 회원은 LA가 주민들이 '[시스템의 균열]에 빠지는 것을 방지하는 데 도움이 된다'고 말했다. (C10). PGME 학장과 PD, 그리고 거주자들에게는, [평가 문화의 변화]와 그들의 [평가에 대한 감독관과 전공의의 참여 증가]는 LA의 가장 긍정적인 결과로 간주되었다. (각각 TDF 도메인에서 발화의 30%와 36%를 사용한다.) PGME와 PD 그룹의 한 참여자는 이 변화를 "… "매우 강력하고 매우 중요한"(A18) 변화임을 나타내는 "판단 역할에서 코칭 역할로" 변화.
In general, participants perceive that LA has more positive than negative consequences with an 80/20 ratio for PGME deans and PDs and CCC members and 70/30 ratio for supervisors and residents. Thus, residents’ and supervisors’ views where slightly more negative than CCC members and PGME deans and PDs. The main difference between these two groups seems to be assessment fatigue related to having to fill out many assessment forms, with 23% and 21% of their utterances -in this domain- for residents and supervisors respectively compared to 10% and 14% for PGME deans and PDs, and CCC members respectively. For example, one supervisor communicated about LA being ‘extremely long’(S18). Another supervisor said that they are ‘fed up’ and that LA is ‘coming out of my ears’(S17). A resident referred to LA as ‘other checkboxes to fill’ and as being ‘an additional hurdle to cross’, stating that ‘it's another pressure on top of being a resident and running a clinical service and studying and whatnot, to actually get these EPAs completed to ensure that we’re finding the right people to do it, ensure we’re getting the right number’(R07). For CCC members and supervisors the potential for better tracking of learning and competence development was seen as the most positive consequences (30% and 36% of utterances in that domain respectively). A CCC member stated that LA helps to avoid residents ‘falling in a crack [of the system]’(C10). For PGME deans and PDs, and residents, the shift in the assessment culture and the increased involvement of supervisors and residents in their assessment was seen as the most positive consequence of LA (with 30% and 36% of the utterances in that TDF domain respectively). A participant in the PGME deans and PD group explains this shift as a “… change in the nature of the relationship between the preceptor and the resident … from the judging role to the coaching role” indicating that it is a “very powerful and very important” (A18) change.

[LA를 수행하는 데 필요한 자원]은 모든 이해관계자 그룹(CCC 구성원 = 55%, PGME 수단 = 61%, 주민 = 53%, 감독자 = '환경적 맥락과 자원' 영역에서 발언의 32%)에 대한 중요한 고려 사항이다. 사용된 플랫폼은 참가자마다 달랐지만 전반적으로 완료해야 할 양식과 task을 지원하는 테크놀로지는 모든 이해관계자 그룹(CCC 회원, PGME 위원 및 PD, 주민 및 감독자의 '자원' 발언의 각각 32%, 23%, 24%, 16%)에 대해 문제가 있는 것으로 보였다. 예를 들어, 참가자들은 "비사용자 친화적" 플랫폼(A21, R02)과 액세스 코드 요구(R03) 및 플랫폼이 작동하지 않는다는 사실(R11)에 대해 비판적이었다. 한 참가자는 다른 프로그램 이사들과 사용 가능한 e-포트폴리오에 대해 논의한 후 전반적인 인상이 "충격적이지 않다underwhelming"(A20)고 말했다. 또한 많은 참가자들은 모바일로 양식에 액세스하지 못하는 것(또는 휴대폰을 통해 양식에 액세스하는 데 문제가 보고된 것)이 상사와 함께 '실시간' 평가를 완료하는 데 중요한 장애라고 보고했습니다. 또한 PGME 학장 및 PD들은 DPA(이 영역에서 발언의 24%)를 적절하게 이행하기 위해 추가적인 자원(재정 및 인적)이 필요하다고 지적했다. 
The resources required to do LA is an important consideration for all stakeholder groups (CCC members = 55%, PGME deans = 61%, residents = 53%, and supervisors = 32% of utterances in the ‘environmental context and resources’ domain). While the platforms used varied between participants, overall, the forms to be completed and the technology to support the task seemed problematic for all stakeholder groups (with 32%, 23%, 24% and 16% of ‘resource’ utterances from CCC members, PGME deans and PDs, residents and supervisors respectively). For example, participants were critical of the “non-user-friendly” plateform (A21, R02), the access codes required (R03), and the fact the plateform didn’t work (R11). One participant stated -after discussion with other program directors about the e-portfolios available- that the overall impression “is underwhelming” (A20). In addition, many participants reported that not having access to the forms on their mobile (or reported issues with accessing forms via their cell phones) was an important barrier to completion of the assessment ‘in real-time’ with their supervisors. Additionally, PGME deans and PDs pointed out that there is a need for additional resources (financial and human) to appropriately implement DPA (24% of their utterances in this domain).

전체 참가자들은 일반적으로 [LA에 대해 잘 알고 있습니다]. LA의 모든 요소와 특성은 우리의 데이터에 존재하지만, 각 이해관계자 그룹에 의해 식별되지는 않는다. 예를 들어, PGME의 사장과 PD들은 LA 관행 내에서 피드백의 가치를 강조한다(발언의 32%는 이 영역에서). "공식 피드백은 로테이션 중간 및 로테이션 종료 회의로 제한될 수 있다."(A18) 
그리고 LA가 "문화의 변화"(A18)를 산출했다고 밝혔다. CCC 회원들은 LA가 진행을 평가하는 데 사용된다는 사실에 대해 더 자주 논의했고, 명시적인 기대치를 제시했다(이 영역에서 발언의 25%, 26%). 참가자에게 이러한 명시적 기대는 "…구체적 목표 또는 구체적 역량 – 훈련생이 독립적인 실습에 안전하다고 간주되기 위해 달성해야 하는 역량"으로 해석됩니다. (C07) 감독관들은 LA가 "학생들이 훈련 중에 어디에 있는지 구체적으로 알아야 하는 목표와 핵심 학습 문제가 무엇인지 알고 있다"고 제공하는 명백한 기대치에 대해 이야기했다(S12)(이 영역에서 발언의 45%). 전공의들은 LA를 완성하기 위해 시행된 프로세스에 대해 자주 말했는데, 예를 들어 누가, 무엇을, 언제, 왜(이 영역에서 발언의 38%) 하는지 언급했습니다. 마지막으로, 평가가 [관찰 기반](3~12% 범위)이거나 LA가 [전공의들에게 책임을 부여하는 중요성]과 관련된 발언은 거의 없었다(2~9% 범위). 이 두 가지 측면 모두 LA의 전제와 그에 따른 품질 구현의 핵심이다.

Overall participants are generally knowledgeable about LA. While all the elements and characteristics of LA are present in our data, they are not identified by each stakeholder group. For example, PGME deans and PDs emphasize the value of feedback within LA practices (with 32% of their utterances in this domain) stating that “formal feedback was likely limited to mid-rotation and end of rotation meetings.”(A18) and that LA yielded “a change in culture’”(A18) CCC members discussed more often the fact that LA is used to assess progression, and offered explicit expectations (25% and 26% of their utterances in this domain). For a participant, these explicit expectations translate into “…specific objectives or specific competences– competencies that a trainee needs to accomplish in order to be deemed safe for independent practice.”(C07). Supervisors talked about the explicit expectations that LA provides them as “knowing what the objectives and key learning issues that students need to know particular to where they are in their training”(S12) (45% of their utterances in this domain). Residents spoke often about the processes put in place to complete LA, stating for example who does what, when and why (38% of their utterances in this domain). Lastly, very few utterances related to the importance that assessment be observation-based (ranging from 3 to 12%), or that LA places the responsibility on residents (ranging from 2 to 9%). Both these aspects are central to the premise of LA and thus to its quality implementation.

지식 영역에서는 명시적이지 않지만, [오너십을 가진 전공의]들은 행동 규제와 관련된 모든 이해 관계자의 담론에 존재했다. 즉, 직관적으로 우리의 참가자들은 LA의 이 구성요소가 요구하는 행동의 중요한 변화를 강조하는 방식으로 그것을 논의했다. 구체적으로, CCC 구성원은 전공의(및 교수진)가 (평가될 EPA를 제기하는 데 있어) 책임을 지는 것을 목표로 한다. 그들은 또한 관찰 기반 평가(이 TDF 영역에서 이러한 특정 신념 각각에 대한 발언의 34%)를 지지한다. PGME 학장과 PD 및 감독자는 관찰 후 가능한 한 빨리 EPA를 생성하거나 완료하는 것을 목표로 한다(PGME 학장과 PD 및 감독자의 경우 각각 63%와 38%). 감독자는 "비교적 평가를 신속하게 수행해야 한다"며 "임상 접촉 후 몇 주 후에 수행된 평가는 품질을 잃는다(S17)"고 말했다. 행동 조절과 관련하여 주목할 만한 점은 전공의가 [EPA 기회(발언의 44%)에 따라 임상 관행을 구조화한다는 것]이다. 한 레지던트는 '더 급한 업무에 따라 하루를 정리하고, 어떤 환자를 먼저 보고, 어떤 환자를 나중에 봐야 하는지'에서 '어떤 환자가 내가 해낼 수 있는 EPA'(R10)로 일상 업무를 정리하는 방식의 변화를 설명했다.
While not explicit in the knowledge domain, residents taking ownership was present in all stakeholders’ discourse related to behavioral regulation, that is, intuitively our participants discussed it in a way that highlighted the significant change in behavior that this component of LA requires. Specifically, CCC members aim for residents (and faculty) to take responsibility (in bringing up EPAs to be assessed). They also advocate for observation-based assessment (34% of utterances for each of these specific beliefs in this TDF domain). PGME deans and PDs and supervisors aim to produce or complete EPAs as quickly as possible after observation (with 63% and 38% of their utterances in this domain for PGME deans and PDs and supervisors respectively). A supervisor stated the “need to do the assessment relatively quickly” and that “an assessment done several weeks after a clinical encounter loses quality”(S17). Noteworthy with regards to their behavioral regulation, residents structure their clinical practice according to EPA opportunities (with 44% of their utterances in this domain). A resident illustrated the change in how they organize their daily work from “organizing a day according to the more urgent work, which patient to see first and which to see later” to “which patient is an EPA I can accomplish”(R10).

CCC 위원과 감독관은 LA를 수행하는 데 필요한 [가장 관련 있는 기술]은 [피드백을 제공하는 적절한 대인관계 및 인지 능력]이라고 말했다(CCC와 감독관의 경우 각각 92%와 62%). CCC 회원과 PGME 대표 및 PD들은 영역 내에서 LA 구현의 맥락에서 [사회적 영향력자]로서의 역할을 한다고 보고하였다(응답의 40%, 44%). 전공의들과 감독관들은 동료 또는 상급자들로부터 다양한 수준의 영향을 받았다고 보고했지만, 그러한 정보원이 그들의 행동에 어떻게 영향을 미쳤는지에 대한 명확한 패턴이 없었다.
CCC members and supervisors stated that the most relevant skills required to do LA are the appropriate interpersonal and cognitive abilities to provide feedback (with 92% and 62% of their utterances in this domain for CCCs and supervisors respectively). Within the domain social influence, CCC members and PGME deans and PDs reported that they have a role as social influencers in the context of LA implementation (with 40% and 44% of their responses in this domain). Though residents and supervisors reported experiencing varying levels of influences from peers, colleagues or superiors, there was no clear pattern of how those sources influenced their behaviors.

우리가 LA의 맥락에서 [사회적, 전문적인 역할과 정체성]을 탐구했을 때, CCC와 감독관은 그것이 전공의를 지도하는 데 예상되는 책임이자 일부라고 말했다(CCC와 감독관의 경우 각각 71%와 78%). CCC 회원들은 또한 (이 TDF 영역에서 발언의 29%를 차지하는) 진급progress 상황을 결정할 책임이 있다는 것을 인정한다. PGME 학장과 PD들은 (발화의 100%가 이 영역에서) 구현을 지원하도록 되어 있다고 보고했다. 전공의는 자기들이 스탭을 교육하고(예: 플랫폼을 사용하고 EPA를 작성하는 것) 그들에게 평가를 요청하는 것으로 본다(이 영역에서 발언의 79%).
When we explored social, professional role and identity in the context of LA, CCC and supervisors stated that it is an expected responsibility and part of coaching residents (with 71% and 78% of their utterances in this domain for CCCs and supervisors respectively). CCC members also recognize that they have the responsibility to determine progress (with 29% of utterances in this TDF domain). PGME deans and PDs reported they are meant to support the implementation (with 100% of their utterances in this domain). Residents see themselves as educating staff (e.g., using the platform and filling out EPAs) and requesting assessments from them (with 79% of their utterances in this domain).

LA에 대한 참가자들의 [낙관론]은 대부분 서로 다른 이해관계자 그룹에 걸쳐 50대 50의 비율로 나뉘었다. CCC 구성원들은 LA에 대한 긍정적인 감정을 보고하는 4개의 이해관계자 그룹 중 가장 긍정적이었다(이 영역에서 발언의 71%).
Participants’ optimism about LA was mostly divided, with 50/50 ratios across the different stakeholder groups. CCC members were the most positive of the four stakeholder groups reporting positive emotions towards LA (71% of their utterances in this domain).

논의
Discussion

[구현과학 학자들]은 혁신의 구현과 평가를 알리기 위해 이론과 엄격한 방법의 사용을 옹호해 왔다. 본 연구에서는 잘 알려진 [결정 요소 프레임워크]인 [이론적 도메인 프레임워크]를 사용하여, 캐나다 대학원 교육 프로그램에서 CBD의 구현과 동시에 수행되고 있는 종단 평가의 구현에 대한 이론적인 문서를 수행했다. 우리는 PGME 이사장과 PD, CCC 회원, 감독관 및 5개 레지던트 프로그램의 거주자 등 4개 이해관계자 그룹을 대표하는 41명의 참가자를 인터뷰했다. 이 연구에서, 우리는 CBD 또는 다른 형태의 CMBE의 맥락에서 LA의 향후 설계, 개정 및 구현에서 다루어야 할 세 가지 핵심 요소를 확인했다. 

• 1- LA에 대한 모든 주요 이해당사자 간의 [지식 및 이해 공유], 
  
• 2- 예상되는 [편익을 극대화]하면서 [잠재적인 부정적 결과를 최소화]하기 위한 수립된 계획 
  
• 3- LA를 성공적으로 구현하기 위해 [필요한 자원을 확보]하기 위한 계획 

Implementation science scholars have been advocating for the use of theories and rigorous methods to inform the implementation and evaluation of innovations (Atkins et al., 2017; Thomas & Bussières, 2021). In this study, we used a well-known determinant framework, the Theoretical Domains Framework, to conduct a theory informed documentation of the implementation of Longitudinal Assessment, which is being done concurrently with the implementation of CBD in Canadian postgraduate training programs. We interviewed 41 participants representing four different groups of stakeholders, namely PGME deans and PDs, CCC members, supervisors and residents from five residency programs. In this study, we have identified three key elements that should be tackled in future design, revision and implementation of LA in the context of CBD or other forms of CMBE:

• 1- a shared knowledge and understanding between all key stakeholders of what is LA,
• 2- an established plan to minimize potential negative consequences while maximizing the anticipated benefits, and
• 3- a plan for obtaining the required resources to implement LA successfully.

우리는 이것들 각각이 LA 구현의 품질에 어떻게 영향을 미칠 수 있는지 논의하고 진행 중인 CBD 구현의 맥락에서 LA의 지속적인 롤아웃 동안 고려할 요소를 제안한다. 독자들은 모든 결과에 대한 논의를 기대할 수 있지만, 우리는 이 세 가지에 초점을 맞춘다. 왜냐하면 그들은 '변화'의 가능성이 더 크기 때문이다. 그러므로, 이것들은 우리가 가장 시급히 다루어져야 한다고 생각하는 영역들이다.
We discuss how each of these can impact the quality of the implementation of LA implementation and suggest elements for consideration during the its continued roll-out of LA in the context of the on-going CBD implementation. While readers might expect discussion of all the results, we focus on these three because they have a greater likelihood of ‘change’. Therefore, these are the domains we consider should most urgently be addressed.

TDF에서 지식은 "무언가의 존재에 대한 인식"으로 정의된다. 우리의 맥락에서, 지식은 참가자들이 LA에 대해 무엇을, 얼마나 많이 알고 있는지를 의미한다. 혁신에 대한 기본 지식은 행동 변화의 핵심입니다. 실제로, 특정 행동에 대한 지식(및/또는 공식 교육)의 부족은 새로운 관행의 채택에 대한 주요 장벽으로 다른 맥락에서 확인되었다. 총체적으로 (네 그룹 모두에 걸쳐) 우리의 참가자들은 LA의 모든 특징이나 구성 요소에 대해 알고 있었다. 그러나, 우리는 서로 다른 이해관계자 그룹에 따라 보고된 특징의 변화에 주목했다. 우리는 이러한 특정 지식의 영역의 원인과 잠재적 결과에 대해 가설을 세운다.
In the TDF, knowledge is defined as “an awareness of the existence of something” (Atkins et al., 2017, p. 4). In our context, knowledge refers to what and how much participants know about LA. Foundational knowledge of an innovation is key for behaviour change. Indeed, a lack of knowledge (and/or formal education) about a specific behavior has been identified in other contexts as a major barrier to the adoption of a new practice (Salbach et al., 2007; Thomas & Bussières, 2021). Collectively (across all four groups) our participants knew about all the characteristics or components of LA. However, we noted a variation in the characteristics reported according to the different stakeholder groups. We hypothesize about the cause and potential consequences of these specific areas of knowledge.

Cianciallo & Regher(2019)와 Varpio et al(2012)은 혁신은 지역적 맥락에 적응하기 위해 수정될 수 있지만, 항상 [기본 철학과 원칙]에 뿌리를 두고 진실해야 한다고 주장한다. 즉, [양질의 구현]은 [일상적인 운영화(기술)]보다는 [기본 철학과 원칙]에 대한 적절한 이해]에 달려 있습니다. 우리의 데이터에서 관찰된 LA에 대한 이해의 차이는 핵심 철학과 원칙의 통합 부족을 지적하는 것보다 LA의 기술(운영화)에 대한 초점을 반영하는 것으로 보인다.

Cianciallo & Regher (2019) and Varpio et al. (2012) argue that while innovations are amenable to local context adaptations, they should always stay rooted in, and true, to their underlying philosophies and principles. That is, quality implementation is dependent upon an appropriate understanding of the underpinning philosophies and principles, rather than on its day-to-day operationalisation (techniques). The differences in understanding of LA observed in our data seems to reflect a focus on the techniques of LA (its operationalisation), more than pointing to a lack of integration of its core philosophies and principles.

[LA에 대한 지식]에서 관찰된 패턴은 또한 다중 이해관계자 구현의 현실을 반영할 수 있다. 즉, LA에서 이해관계자마다 다른 역할을 한다. 감독관과 전공의는 [이전에 없었던 명시적인 학습 목표]를 높이 평가한다. 역량 위원회 위원들은 또한 그들의 주요 기능이 전공의 진급을 감시하는 것이기 때문에 [훈련 진급에 대한 명시적인 기대치]에 초점을 맞춘다. UGME 학장과 PD는 [직접적인 관찰에 기반한 코칭과 평가의 중요성]을 당연히 강조할 수 있다. 따라서, 우리 데이터의 패턴은 각 이해당사자 그룹이 LA 내에서 그들의 특정 작업과 역할에 초점을 맞추고 그들의 고유한 관점을 표로 가져온다는 것을 시사한다. [양질의 구현을 극대화하고 LA의 핵심 철학과 원칙에서 벗어나는 잠재적 이동을 최소화하는 방법]은 [LA의 모든 특성에 대한 모든 이해 관계자의 지식을 증가시키는 것]을 목표로, [이론 중심적인 KT 개입을 개발하고 구현하는 것]일 수 있다. 그러한 개입을 개발하는 데 관여하는 사람들의 과제는 각 이해당사자 그룹이 LA에 대해 어떤 지식을 보유해야 하는지, 그리고 구현 과정의 어떤 측면이나 단계를 가져야 하는지를 결정하는 것이다.
The patterns observed in the knowledge about LA may also reflect the reality of a multi-stakeholder implementation. That is, different stakeholders play different roles in LA. Supervisors and residents appreciate the explicit learning targets that were absent previously. Competence committee members also focus on explicit expectations of trainee progression since their primary function is to monitor resident progression. UGME deans and PD may rightfully emphasize the importance of coaching and assessment based on direct observation. Thus, the pattern in our data suggests that each stakeholder group is focused on their specific tasks and roles within LA and bring their unique perspective to the table. An option to maximise a quality implementation and to minimise a potential move away from the core philosophies and principles of LA, could be to develop and implement targeted and theory driven KT interventions aimed at increasing all stakeholders’ knowledge about all characteristics of LA. The challenge for those involved in developing such interventions will be to determine what knowledge about LA each stakeholder group should possess and for which aspect or stage of the implementation process.

놀랍게도, 참가자들은 (이 주제에 대한 현재 문헌의 격차에도 불구하고) [LA 데이터 해석의 타당성]에 대한 문제를 명시적으로 제기하지 않았다. LA의 구현은 캐나다와 전 세계적으로 최신이며 참신하다. LA 데이터의 타당한 해석을 뒷받침하는 결과 또는 결과에 대한 제한된 경험적 증거가 있다. 최근 몇 년 동안, 몇몇 저자들은 타당성에 대한 심리측정학적 관점에 도전했고, 프로그램적, 서사적, 또는 심지어 종적 평가와 같이, 새로운 평가 전략과 더 일치할 수 있는 다른 접근 방식을 더 포함할 것을 제안했다. Progress처럼, 움직이는 과녁의 타당성을 문서화하는 것은 어려운 것으로 판명될 수 있으며, LA의 제안된 목적에 맞게 적절하게 조정되도록 하기 위해 우리의 검증 관행을 다시 한 번 검토해야 할 수 있다.
Surprisingly, participants seldom explicitly brought up issues of the validity of LA data interpretation, despite a current gap in the literature on this subject (St-Onge et al., 2020). The implementation of LA is both recent and novel in Canada and around the world; there is limited empirical evidence of its outcomes or evidence supporting the valid interpretation of LA data (St-Onge et al., 2020). In recent years, several authors have challenged the psychometric perspective on validity and suggested that it be more inclusive of other approaches that may be more aligned with novel assessment strategies, such as programmatic- narrative- or even longitudinal- assessment (Cook et al., 2016; Marceau et al., 2018; St-Onge et al., 2017). Documenting the validity of a moving target, such as progress, may prove challenging and may require that we examine our validation practices -yet again- to ensure proper alignment with the proposed purpose of LA.

[LA의 결과에 대한 신념]이라는 요소가 자주 언급되었습니다. 이 요소는 "특정 상황에서 행동의 결과에 대한 진실, 현실 또는 타당성의 수용"을 의미한다. 이는 새로운 실무관행을 채택하는 것이 바람직한 결과나 불리한 결과를 초래할 것이라는 잠재적 최종 사용자의 신념에 관한 것이다. LA의 [현재 구현에 대해 다소 회의적]임에도 불구하고, 대다수의 참가자들은 LA가 학생, 레지던트 프로그램, 나아가 사회에 [긍정적인 결과를 가져올 수 있다]고 믿었다. 그러나 모든 이해관계자 집단은 LA와 관련된 부정적인 결과보다 긍정적인 결과를 더 많이 예상하지만, LA와 그 이행에 대한 전반적인 긍정적인 경험이 있다는 것을 의미하지는 않는다. 결과적으로, 참가자들은 현재 시행 중인 LA의 일부 실무와 이것이 예상되는 효익을 산출할 수 있는지에 의문을 제기하였다. 잠재적 결과에 대한 믿음은 서로 다른 이해관계자 그룹이 빈번하고 관찰 기반이며 거주자 주도적이며 피드백이 풍부한 평가의 노력을 유지하기에 충분한 동기부여가 될 수 있다. 이 결과는 현재 널리 퍼진 LA 구현의 맥락에서 고무적이다.
The factor Belief about the consequences of LA was frequently mentionned. This factor refers to one’s “acceptance of the truth, reality, or validity about outcomes of a behaviour in a given situation” (Atkins et al., 2017, p. 4). It is about a potential end user’s belief that adopting a new practice will result in favourable outcomes or unfavorable consequences. Despite being somewhat skeptical about the current implementation of LA, the majority of participants believed that LA could yield positive outcomes for students, residency programs, and even society. However, while all stakeholder groups anticipate more positive consequences than negative consequences related to LA, it does not signify that they have an overall positive experience of LA and its implementation. Consequently, participants questioned some practices in the current implementation of LA and whether these could yield the anticipated benefits. The belief in potential consequences may be a sufficient motivator for the different stakeholder groups to maintain their efforts of frequent, observation-based, resident-initiated, and feedback-rich assessment (Griffiths et al., 2019; Holmboe et al., 2020; St-Onge et al., 2020). This result is encouraging in the context of the current widespread implementation of LA.

[LA의 참신성]을 고려할 때, 현재 긍정적인(또는 부정적인) 결과에 대한 경험적 증거는 거의 없다. 롤아웃 후반에 CBD로 이동하는 프로그램은 일부 기술적 문제가 해결되었고, 다른 프로그램들은 긍정적인 경험을 공유할 수 있었기 때문에 더 쉽게 전환되었다는 인식이 있다. 그럼에도 불구하고, 그리피스 외 연구진(2019)에서 보듯이, 이해관계자에게 [LA의 긍정적인 결과에 대한 과학적 증거를 제공]하면, 이해관계자의 동기 부여와 이러한 새로운 평가 관행에 대한 수용에 기여할 수 있을 뿐만 아니라, LA의 긍정적인 결과에 대해 회의적인 사람들을 설득할 수 있다. 더 중요한 것은, 이것이 몇 가지 모범 사례에 대한 증거를 제공할 수 있다는 것입니다. 우리의 결과에서 얻을 수 있는 것은 LA 결과에 대한 우리가 생성하는 [증거가 견고하고 유용하며 적용가능하지 않다]면, 새로운 관행을 성공적으로 구현하는 데 [충분한 buy-in을 얻을 수 없다]는 것이다. 이는 지난 20년 동안 HPE 증거의 성격, 규모 및 유용성에 대한 현장에서의 대화를 고려할 때 특히 중요할 것이다.

Given the novelty of LA, there is currently little empirical evidence of its positive (or negative) outcomes (St-Onge et al., 2020). There is a perception that programs moving to CBD later in the roll-out had an easier transition because some technological issues had been dealt with, and other programs could share positive experiences. Nonetheless, providing stakeholders with scientific evidence of the positive outcomes of LA, such as seen in Griffiths et al. (2019), could not only contribute to stakeholders’ motivation and uptake of these new assessment practices, it might convince those remaining skeptical about the positive outcome of LA. More importantly, it could provide evidence for some best practices. What can be gleaned from our results is that unless the evidence we generate -about LA outcomes- is robust, useful and applicable, there may be less buy-in than is required for successful implementation of a new practice (Onyura et al., 2015; Thomas et al., 2019). This will be particularly important given conversations in the field over the last 20 years on the nature, magnitude and usefulness of HPE evidence.

[환경적 맥락과 자원]은 "기술과 능력, 독립성, 사회적 역량, 적응적 행동의 발전을 저해하거나 장려하는 개인의 상황이나 환경의 모든 상황"으로 정의된다. 이 영역은 새로운 관행을 채택하는 데 중요한 역할을 할 수 있다. 본 연구에서 LA에 사용된 테크놀로지는 LA의 양질의 구현에 대한 장벽으로 가장 많이 보고되었습니다. 참가자들은 주로 사용성(또는 그 부족) 측면에서 현재 선호되고 있는 테크놀로지에 대해 비판하였다. 교육과 평가에서 [테크놀로지의 사용]은 그 자체로 어려움으로 가득 차 있다. 많은 저자들은 일반적으로 교육, 특히 평가에서 기술을 성공적으로 구현하려면 사용자의 수용이 필요하다고 문서화하였다. 인식된 유용성은 사용자 수용에 기여하는 중요한 요소이다(Terzis & Economicides, 2011). 즉, 잠재적 사용자가 기술을 채택하려면 '사용자 친화적'이라는 인식을 가져야 한다. LA 구현의 맥락에서, 참가자들은 다음과 같은 측면에서 테크놀로지의 usability을 크게 비판한다.

• 접근성 (예: 특정 플랫폼에 국한됨) 
  
• 로지스틱스 (예: 작성할 양식으로 이동하기 위해 점프하는 여러 후프) 및 
  
• 사용자 친화성 (예: 제한된 탐색 용이성과 양식 작성에 필요한 정보를 찾는 어려움) 

LA의 구현에 있어 기술은 필수적입니다. 이해 당사자들은 하루 중 때때로 그것을 자주 사용해야 할 수도 있다. 따라서, 앞서 언급한 문제들은 양질의 LA 구현의 아킬레스건이기 때문에 다루어질 필요가 있다.

The domain Environmental context and resources is defined as “any circumstance of a person’s situation or environment that discourages or encourages the development of skills and abilities, independence, social competence and adaptive behaviour” (Atkins et al., 2017, p. 5). This domain can play an important role in the adoption of new practices (Grol & Wensing, 2004; Salbach et al., 2007; Scurlock-Evans et al., 2014). In our study, the technology used for LA was most frequently reported as a barrier to the quality implementation of LA. Participants critiqued the technology that is currently favored, mainly in terms of usability (or lack thereof). The use of technology in education and assessment is, in and of itself, fraught with challenges (Nikou & Economides, 2017, 2018, 2019). Many authors have documented that the successful implementation of technology in education generally, and assessment in particular, requires acceptance from the users (Briz-Ponce & García-Peñalvo, 2015; Briz-Ponce et al., 2017; Harmon, 2015; Hart & Sutcliffe, 2019). Perceived usability is an important factor contributing to user acceptance (Terzis & Economides, 2011). In other words, for potential users to adopt a technology they have to perceive that it is ‘user-friendly’. In the context of LA implementation, participants greatly critique the usability of the technology, in terms of

• accessibility (e.g., limited to certain platforms),
• logistics (e.g., several hoops to jump to get to the form to fill out), and
• user-friendliness (e.g., limited ease of navigation and difficulty finding the required information to fill out the forms).

Technology is quintessential in implementation of LA. Stakeholders may have to use it sometimes often during the course of a day. Thus, the aforementioned issues need to be addressed as they stand to be the Achilles heel of a quality LA implementation.

TDF가 도출된 이론은 LA의 구현에 영향을 미칠 수 있는 많은 가능한 요인(개인 및 조직 모두)에 대한 포괄적인 이해를 제공했으며, 따라서 그 활용이 본 연구의 강점이다. 우리는 LA의 '현장' 구현에 중요한 4개 이해관계자 그룹의 관점을 모색하여 LA 구현의 장벽과 촉진자에 대한 다각적인 이해를 얻을 수 있도록 하였다. HPE에서는 새로운 관행의 구현에 대한 다중적인 이해당사자 관점이 거의 모색되지 않기 때문에 이것은 독특한 기여를 나타낸다.
The theories from which the TDF is drawn provided us with a comprehensive understanding of many possible factors (both individual and organizational) that may influence the implementation of LA, and as such, its use is a strength of this study. We sought the perspectives of the four stakeholder groups that are instrumental to the ‘on-the-ground’ implementation of LA, allowing us to achieve a multi-perspective understanding of the barriers and facilitators to the implementation of LA. This represents a unique contribution as multi-stakeholder perspectives on the implementation of a new practice are seldom sought in HPE.

이것은 교육 혁신의 구현을 연구하기 위해 HPE에서 TDF를 사용한 첫 번째 사례 중 하나였기 때문에, 우리는 배운 교훈을 비판적으로 살펴볼 필요가 있다. 우리는 교육 혁신의 하향식 구현을 연구할 때 일부 TDF 도메인이 제대로 적용되지 않는다는 것을 알게 되었다. 예를 들어, 참가자들은 [LA를 채택하려는 의도]나 [LA 채택을 위한 강화로 작용할 수 있는 요소가 무엇인지]에 대해 거의 언급하지 않았다. 사실, [LA는 인증 기관에 의해 의무화]되어 있기 때문에, 참가자들은 LA의 채택여부를 선택하는 데 있어 거의 주체성agency을 느끼지 않을 수 있다. 더욱이, 그들은 그러한 [강화reinforcement에 무관심]할 수 있는데, 그 이유는 그것에 대해 [어떻게 생각하거나 어떻게 인식하느냐에 관계없이 시행될 것]이기 때문이다. 이러한 관찰을 바탕으로, 교육 혁신의 구현에 대한 장벽과 촉진자를 연구하기 위해 TDF를 적용하기로 선택한 연구자들은 하향식 접근법이 있을 때 영역과 그 적용 가능성에 대해 유념하고 비판해야 한다(즉, 혁신이 부과된다).
Since this was one of the first to use the TDF in HPE to study the implementation of an educational innovation, we need to take a critical look at the lessons learned. We noticed that some TDF domains are not quite applicable when studying a top-down implementation of an educational innovation. For example, participants had little to say about their intention to adopt LA, or about what elements could act as reinforcement for the adopting of LA. In fact, LA is mandated by the accreditation body, and as such, participants may feel little agency in choosing to adopt or not LA. Further, they may be indifferent to such reinforcements because the implemenation will happen regardless of what they think about it or how they perceive it. Building on this observation, researchers that choose to apply the TDF to study the barriers and facilitators to the implementation of an educational innovation should be mindful and critical of the domains and their applicability when there is a top-down approach (i.e., the innovation is imposed).

이 연구는 한계가 있다. TDF는 전통적으로 [임상 가이드라인의 사용]과 같은 제한된 행동이나 모범 사례와 함께 사용되어 왔다. LA의 구현은 여러 수준에서 훨씬 더 복잡하고 상호의존적인 행동 변화 세트를 요구한다. 따라서 연구팀은 TDF에 소소한 수정(인터뷰 가이드에서 질문이 표현되는 방식 또는 분석에 대한 특정 신념으로 간주되는 것 등)을 해야 했고, 신중하게 고려했을 때 TDF가 적용 가능성의 한계에 도달했을 수 있다.
This study has limitations. The TDF has traditionally been used with more circumscribed behaviors or best practices, such as the use of a clinical guideline (Baay et al., 2019; Cowdell & Dyson, 2019; Hallsworth et al., 2020; Norton et al., 2019). The implementation of LA requires a much more complex and interdependent set of behavioral changes at several levels (Thomas & Ellaway, 2021). Thus, the research team had to make minor adaptations to the TDF (such as how questions were phrased in the interview guide, or what was considered a specific belief in the analysis), and carefully considered, this may have pushed the TDF to the limits of its applicability.

결론들
Conclusions

평가가 학습을 촉진한다는 격언에 대한 논쟁은 거의 없다. 명확한 기대치를 바탕으로 피드백을 보다 개방적이고 정직하며 건설적으로 사용하는 것을 선호함으로써, LA는 HPE의 평가 관행과 평가 문화를 변화시킬 수 있는 잠재력을 가지고 있습니다. 필요한 행동 변화를 촉진하기 위해 적절한 지원이 제공된다면, LA의 이행은 유능한 의료 전문가의 발전에 확실히 기여할 것이다. LA의 잠재적으로 긍정적인 결과에도 불구하고, 그것의 실행은 도전으로 가득 차 있다. LA의 구현과 품질 모니터링을 진행하면서, 우리는 LA의 품질 구현에 기여할 수 있는 전략적이고 명시적인 계획을 만들기 위해 이해관계자들을 하나로 모으는 것이 반드시 필요하다고 믿는다. 앞으로 연구자, 교육자 및 관리자는 이러한 결과를 함께 사용하여 LA 구현을 개선할 수 있는 방법을 추가로 모색할 수 있습니다. 예를 들어 합의 방법론을 사용하여 LA의 개념화와 구현을 더욱 세분화하고 이러한 결과를 교수진과 이해관계자의 지속적인 개발에 적용하여 모범 사례를 촉진하는 동시에 잠재적인 부정적 결과를 제한할 수 있다.

There is little debate about the adage that assessment drives learning. By favoring a more open, honest and constructive use of feedback building on explicit expectations, LA has the potential to change assessment practices and the assessment culture in HPE. The implementation of LA will surely contribute towards the development of competent health professionals, if the right affordances are made available to promote the behavioral changes required. Notwithstanding the potentially positive outcomes of LA, its implementation is fraught with challenges. Going forward with the implementation and quality monitoring of LA, we believe that there is imperative to bring stakeholders together to create a strategic and explicit plan that would contribute to a quality implementation of LA. Moving forward, researchers, educators and administrators could choose to come together and use these results as a starting point to further explore how to improve LA implementation. For example, using consensus methodology, they could further refine the conceptualization and implementation of LA and apply these findings towards faculty and stakeholder continued development to limit potential negative consequences while promoting best practices.

 

 

 

 

---

Adv Health Sci Educ Theory Pract. 2022 Aug;27(3):735-759. doi: 10.1007/s10459-022-10119-5. Epub 2022 May 27.

Stakeholders' perception on the implementation of Developmental Progress Assessment: using the Theoretical Domains Framework to document behavioral determinants

Christina St-Onge 1, Elisabeth Boileau 2, Serge Langevin 2, Lily H P Nguyen 3, Olivia Drescher 4, Linda Bergeron 2, Aliki Thomas 3

Affiliations collapse

Affiliations

1Université de Sherbrooke, Christina St-Onge, 3001 12e Avenue Nord, Sherbrooke, QC, J1H 5N4, Canada. christina.st-onge@usherbrooke.ca.

2Université de Sherbrooke, Christina St-Onge, 3001 12e Avenue Nord, Sherbrooke, QC, J1H 5N4, Canada.

3McGill University, Montreal, Canada.

4Université Laval, Quebec City, Canada.

PMID: 35624332

DOI: 10.1007/s10459-022-10119-5

Abstract

Background: The widespread implementation of longitudinal assessment (LA) to document trainees' progression to independent practice rests more on speculative rather than evidence-based benefits. We aimed to document stakeholders' knowledge of- and attitudes towards LA, and identify how the supports and barriers can help or hinder the uptake and sustainable use of LA.

Methods: We interviewed representatives from four stakeholder groups involved in LA. The interview protocols were based on the Theoretical Domains Framework (TDF), which contains a total of 14 behaviour change determinants. Two team members coded the interviews deductively to the TDF, with a third resolving differences in coding. The qualitative data analysis was completed with iterative consultations and discussions with team members until consensus was achieved. Saliency analysis was used to identify dominant domains.

Results: Forty-one individuals participated in the study. Three dominant domains were identified. Participants perceive that LA has more positive than negative consequences and requires substantial ressources. All the elements and characteristics of LA are present in our data, with differences between stakeholders.

Conclusion: Going forward, we could develop and implement tailored and theory driven interventions to promote a shared understanding of LA, and maintain potential positive outcomes while reducing negative ones. Furthermore, ressources to support LA implementation need to be addressed to facilitate its uptake.

Keywords: Assessment; Competency-based medical education; Development and progress; Longitudinal assessment; Theoretical domains framework.

© 2022. The Author(s), under exclusive licence to Springer Nature B.V.