발달적 발달평가 도입의 교훈: 스코핑 리뷰(Med Educ, 2020)

발달적 발달평가 도입의 교훈: 스코핑 리뷰(Med Educ, 2020)
Lessons from the implementation of developmental progress assessment: A scoping review
Christina St-Onge1 | Élise Vachon Lachiver2 | Serge Langevin1 | Elisabeth Boileau3 | Frédéric Bernier1,2,4 | Aliki Thomas5 

 

1 소개
1 INTRODUCTION

보건직 교육(HPE)에서 역량 기반 교육(CBE)의 구현은 교육(예: 학생 중심 전략 및 감독자와 교육자 간의 코칭 관계 선호)과 평가 관행(예: 실제 평가에 보다 중점을 둔 암기 기반 검사 및 진행에 초점을 맞춘 평가)에 상당한 변화를 가져왔다. 평가 문화의 변화는 CBE로의 전환을 지원하기 위해 중요할 뿐만 아니라 교육 변화의 가장 어려운 측면 중 하나입니다.1 교육자와 관리자는 학습자가 유능한 의료 전문가로서 연습하는 데 필요한 지식, 기술 및 태도의 개발과 평가를 촉진하는 데 사용할 수 있는 전략을 구현하는 것을 목표로 한다.2, 3 그러한 전략 중 하나는 훈련생과 교수진에게 유능한 전문 실습으로 가는 길을 명시하는 로드맵을 만들고 제공하는 것이다. [명시적 경로]와 같은 [발달의 종단적 관점의 통합]은 더 나은 건강 전문가의 발전에 기여하는 것으로 생각된다. 학생들에게 예상되는 발달의 예(명시적인 로드맵)를 제공하면, 그들은 주어진 단계에서 그들이 기대하는 것과 그들의 성과를 비교할 수 있다. 이 정보는 자체 평가에 사용될 수 있으며 자체 개발에서 자율성을 높일 수 있습니다.5 따라서, 최근 몇 년 동안 교육자와 연구자들은 이 종적 관점을 개념화하고 구현했다. 이러한 관점의 일반적인 발현은 신뢰할 수 있는 전문 활동(EPA)과 이정표이다.

The implementation of competency-based education (CBE) in health professions education (HPE) has resulted in substantial changes in teaching (eg, favouring student-centred strategies and a coaching relationship between supervisor and trainee) and assessment practices (eg, more emphasis on authentic assessment versus rote memory-based examinations and assessment focused on progression). A change in assessment culture is not only crucial to support the transition to CBE, but it also one of the most challenging aspects of educational change.1 Educators and administrators aim to implement strategies that can be used to foster the development and assessment of knowledge, skills and attitudes required by their learners to practice as competent health professionals.2, 3 One such strategy is to create and provide roadmaps to trainees and faculty members that make explicit the pathway to competent professional practice. The integration of a longitudinal perspective of development -such as an explicit pathway - is thought to contribute to the development of better health professionals.4 When students are provided with an exemplar of their expected development (explicit roadmap), they can compare their performance to what is expected of them at their given stage.4, 5 This information can be used in their self-assessment and increases their autonomy in their own development.5 Thus, in recent years, educators and researchers have conceptualised and implemented this longitudinal perspective. Common manifestations of this perspective are the entrustable professional activities (EPAs) and milestones.3, 6-8

일반적으로 CBE의 구현으로 인한 [관찰된 교육학적 문화의 변화], 그리고 보다 구체적으로 [종단적 발달 경로]는 평가의 다양한 측면에 영향을 미친다. 역량 기반 교육은, 시기적절하고 직접적인 지속적인 직장 기반 평가를 포함하는, 평가에 대한 총체적이고 종적인 접근 방식과 연관되어야 한다.9 역량의 발달 진행을 촉진하기 위해 평가는 이러한 발달 경로에 매핑되어야 한다. 확립된 progression 경로에서 역량을 벤치마킹하면, 학생들의 역량 강화와 자체 개발에 대한 투자를 촉진할 수 있다. 또한 발달 경로에 대한 자신의 진행 상황에 대한 피드백은 전문적 전문 지식의 개발을 촉진하고 궁극적으로 의료의 질을 향상시킨다.10
The observed changes in pedagogical culture due to the implementation of CBE in general, and longitudinal developmental pathways more specifically, have consequences on various aspects of assessment. Competency-based education should be associated with a holistic and longitudinal approach to assessment, involving timely, direct and ongoing workplace-based assessment.9 To facilitate the developmental progression of competence, assessments should be mapped onto these developmental pathways. The benchmarking of competence on an established path of progression could promote students’ empowerment and investment in their own development. In addition, feedback about one's progress on a developmental pathway fosters the development of professional expertise,4 and ultimately increases quality of health care.10

[발달 경로에 매핑된 평가의 구현]에 관심이 커지고 있으며, DPA(Developmental Progress Assessment) 등으로 교육생 및 교수진에게 지침을 제공하는 데 사용된다. 그러나 기대한 이익을 얻기 위해 구현에 대해 이해해야 할 점이 많다. DPA를 성공적으로 구현하기 위한 첫 번째 필수 단계는 문헌에서 DPA가 어떻게 정의되고 개념화되어 있는지, 주요 목표, 관찰된 결과 및 구현에서 얻은 교훈이 무엇인지, 그리고 DPA가 어떻게 실행되거나 교육적 맥락에서 적용되었는지 더 잘 이해하는 것이다. 따라서 이 논문의 목적은 DPA 구현에 관한 문헌의 깊이와 폭을 매핑하는 것이다.
There is great interest in the implementation of assessment mapped on developmental pathways and used to provide guidance to trainees and faculty members, such as Developmental Progress Assessment (DPA). However, there is much that remains to be understood about its implementation to reap its anticipated benefits. The first and necessary step towards successful implementation of DPA is to better understand how DPA is defined and conceptualised in the literature, what are its major goals, observed outcomes as well as lessons learned from the implementation, and how it has been executed or applied across educational contexts. Thus, the purpose of this paper is to map the depth and breadth of literature on the implementation of DPA.

2가지 방법
2 METHODS

우리는 우리의 주요 질문을 다루기 위해 지식 합성의 한 형태인 범위 연구를 수행했다. 범위 검토는 해당 영역에서 어떤 연구가 수행되었는지, 또는 개념이 다양한 출처에 걸쳐 논의 또는 개념화되었는지를 모를 때 새로운 연구 영역 또는 신흥 영역에서 문헌의 초상화를 작성하는 데 유용하다. (예: 회색 문헌, 경험적 문헌, 웹 사이트). 범위 지정 연구를 수행하는 주된 이유는 네 가지입니다.

• (a) 주어진 분야에서 연구 활동의 범위, 범위 및 성격을 조사한다.
  
• (b) 체계적인 검토를 수행할 가치와 적절성을 결정한다.
  
• (c) 연구 결과를 요약하고 배포한다.
  
• (d) 연구 공백을 식별한다. 

We conducted a scoping study, a form of knowledge synthesis, to address our main question. Scoping reviews are useful for creating a portrait of the literature in a new or emerging area of study when it is unclear what research has been done in that area, or how a concept has been discussed or conceptualised across various sources (eg, grey literature, empirical literature, websites).11 There are four main reasons for conducting a scoping study:

• (a) to examine the extent, range and nature of research activity in a given field;
• (b) to determine the value and appropriateness of undertaking a systematic review;
• (c) to summarise and disseminate research findings, and
• (d) to identify research gaps.

본 논문에서 보고된 검토는 목표 (a), (b) 및 (c)에 따라 수행되었다. 우리는 Arcsey와 O'Malley11의 범위 검토에 대한 6단계 방법론적 프레임워크를 따랐다.

The review reported in this paper was guided by objectives (a), (b) and (c). We followed the six-step methodological framework for scoping reviews by Arksey and O’Malley11:

• 1 연구 질문의 식별
• 2 관련 연구 확인
• 3 스터디 선택
• 4 데이터 도표 작성
• 5 결과 수집 및 보고
• 6 잠재적 이해 관계자와 협의(선택적 단계)
• 1 Identifying the research question;
• 2 Identifying relevant studies;
• 3 Selecting studies;
• 4 Data charting;
• 5 Collating and reporting results, and
• 6 Consulting with potential stakeholders (optional step).

6단계는 검토의 주요 목적이 아니었고 시기상조라고 여겨졌기 때문에 실행하지 않았다. 나머지 다섯 단계는 아래에 각각 설명되어 있습니다.
We did not execute Step 6 as this was not the major purpose of our review and was considered premature. Each of the other five steps is described below.

2.1 1단계: 조사 질문 식별
2.1 Step 1: Identifying the research question

검토를 안내하는 주요 연구 질문은 '고등교육에서 DPA가 CBE의 맥락에서 어떻게 구현되는가?'였다. 특히, 우리는 다음을 목표로 삼았습니다.

• 구현된 DPA의 특성을 설명합니다.
  
• DPA 구현에 대한 잠재적 촉진제 및 장벽을 식별한다.
  
• DPA에 대한 잠재적 결과 및 유효성의 증거를 조사합니다.

The main research question guiding the review was ‘How is DPA implemented in the context of CBE in higher education?’ Specifically, we aimed to:

1. Describe the characteristics of implemented DPA.
2. Identify potential facilitators and barriers to the implementation of DPA.
3. Explore potential outcomes and evidence of validity for DPA.

2.2 2단계: 관련 연구 파악
2.2 Step 2: Identifying relevant studies

첫 번째 저자(CS-O)는 학술 사서와 함께 사용할 수 있는 키워드와 검색을 통해 식별되어야 할 핵심 기사 3, 12-15에 대한 팀원들과의 협의에 따라 측정 및 평가 문헌에 대한 광범위한 지식을 바탕으로 검색 전략(부록 S1)을 정교하게 설명했다.
Working with an academic librarian, the first author (CS-O) elaborated a search strategy (Appendix S1) based on her extensive knowledge of the measurement and assessment literature, following a consultation with team members about potential key words to use and key articles3, 12-15 that should be identified through the search.

우리는 처음에 가장 적절한 전략, 즉 가장 포괄적이었던 전략을 식별하기 위해 서로 다른 키워드 및 키워드 조합을 사용하여 네 가지 다른 파일럿 검색을 수행했다(즉, 빠른 검토를 기반으로 제외된 논문의 비율을 가장 낮게 함). 팀의 콘텐츠 전문가(CS-O)가 대상 논문으로 식별한 3, 12-15개의 주요 기사를 사용하여 검색 전략을 테스트했다. 이 과정을 통해 핵심 기사가 파악되지 않으면 검색 전략을 수정했다.
We initially conducted four different pilot searches using different keywords, and keyword combinations, to identify the most appropriate strategy, that is, the strategy that was the most inclusive (ie, yielding the lowest percentage of excluded papers on the basis of a quick review). We tested the search strategies using identified3, 12-15 key articles that the content experts (CS-O) on the team identified as being target papers. If a key article was not identified through this process, the search strategy was revised.

최종 검색은 다음 데이터베이스에 적용되었다: ERIC (교육 자원 정보 센터); 교육 출처; Ovid; PubMed - MEDLINE; CINAHL(간호 및 제휴 보건 문헌에 대한 누적 지수); 싸이크인포, 에루딧. 이 조사는 2017년 6월 20일에 실시되었다. 포함되기 위해서는 학습자 평가, 진행 상황, 종방향 모니터링 및 CBE에 관한 기사가 포함되어야 했다. 평가의 내용은 지식, 기술, 태도 또는 학습자가 인식하는 효율성일 수 있다. 언어(프랑스어 및 영어 기사만 포함), 임상 컨텍스트(즉, 진단), 아동 발달, 사전 학습 설계, 커리큘럼 개발, 라이센스 평가, 시점 평가 또는 정규 교육 시스템 외부에 기반한 기사를 제외했다. 
The final search was applied to the following databases: ERIC (Education Resources Information Center); Education Source; Ovid; PubMed - MEDLINE; CINAHL (Cumulative Index to Nursing and Allied Health Literature); PsycINFO, and Érudit. This search was conducted on 20 June 2017. To be included, the articles needed to be on learner assessment, in the context of progression, longitudinal monitoring and in CBE. The content of the assessment could be knowledge, skills, attitudes or learner perceived efficacity. We excluded articles based on these criteria: language (only including French and English articles), clinical contexts (ie, diagnosis), child development, pre-post study designs, curriculum development, licensure assessment, point in time assessment or outside a formal education system.

2.3 3단계: 연구 선택
2.3 Step 3: Study selection

두 팀 구성원(CS-O 및 EVL)은 90% 합의에 도달할 때까지 포함 및 제외 결정을 위해 700개(28%)의 제목과 요약을 심사했다. 16 의견 불일치의 경우, 그들은 다양한 관점의 이유인 추상적 내용을 논의했고 합의에 도달했다. 일단 90%의 합의에 도달하면, 그들은 나머지 논문들을 나눠서 요약본을 별도로 심사했다(n = 898개). 한 검토자가 논문을 포함하거나 제외하는 것에 대한 결정에 도달할 수 없는 경우, 그들은 '아마도'로 추상화를 코드화한 다음, 두 번째 검토자에게 (포함되거나 제외된) 추상화를 코드화하도록 요청하였다. 팀 구성원(CS-O 및 EVL)이 모두 결정할 수 없는 경우, 제3의 검토자(EB)는 요약을 포함하거나 제외하는 것에 대해 읽고 결정하도록 요청받았다. 포함 및 제외 기준은 부록 S1에 제시되어 있다.

Two team members (CS-O and EVL) screened 700 (28%) titles and abstracts for inclusion and exclusion decisions until a 90% agreement was reached.16 In case of a disagreement, they discussed the abstract, the reasons for the varied perspective and came to a consensus. Once they reached 90% of agreement, they divided the remaining papers and screened the abstracts separately (n = 898 each). If one reviewer could not reach a decision about including or excluding a paper, they coded the abstract as ‘maybe’ and then asked the second reviewer to code the abstract (as included or excluded). If both team members (CS-O and EVL) could not decide, a third reviewer (EB) was asked to read and decide about including or excluding the abstract. Inclusion and exclusion criteria are presented in Appendix S1.

2.4 4단계: 데이터 차트 작성
2.4 Step 4: Data charting

초기 데이터 추출 양식은 CS-O가 그녀의 광범위한 평가 경험을 바탕으로 개발했다. 양식의 첫 번째 버전은 모든 팀 구성원(CS-O, EVL, SL, EB, FB 및 AT)과 검토 및 논의되었습니다. Microsoft® Excel(Microsoft Corporation, Redmond, WA, USA)에 탑재된 수정된 양식은 CS-O, EB, FB, SL 및 EVL에 의해 5개의 논문에 대해 시범 테스트되었습니다. 선명도를 높이기 위해 추출 그리드를 변경했습니다. 처음에는 4가지 요소(주요 결론, 시사점 또는 결과, 강점과 한계)로 구성되었고 7가지 요소(DPA의 원리, 개념화, 고려사항, 주요 결론, 시사점 또는 결과, 강점과 한계)로 구성되도록 수정되었다.
An initial data extraction form was developed by CS-O based on her extensive experience in assessment. The first version of the form was reviewed and discussed with all team members (CS-O, EVL, SL, EB, FB and AT). The revised form, mounted in Microsoft® Excel (Microsoft Corp., Redmond, WA, USA), was pilot tested by CS-O, EB, FB, SL and EVL on five papers. Changes to the extraction grid were made in order to increase clarity. Initially, it was comprised of four elements (major conclusions, implications or outcomes, strengths and limits) and was modified to be comprised of seven elements (principles of DPA, conceptualisations, considerations, major conclusions, implications or outcomes, strengths and limits).

양식이 완성되면, 두 명의 팀 구성원(CS-O 및 EVL)이 무작위로 선정된 35개의 논문(선택된 총 논문 수의 20%)에서 데이터를 추출하는 작업을 진행했다. 두 팀 구성원 간의 교정의 일환으로 각 구성원은 좋은 추출 예와 나쁜 추출 예제를 문서화한 저널을 작성 및 유지했습니다. 이 과정은 반복적으로 수행되었다. 즉, 이 팀 구성원(CS-O 및 EVL)은 추출된 5-10개의 기사마다 만나 추출에 대해 논의하였다. 추출에 대한 양호한 합의를 달성한 후, 이 두 팀 구성원은 나머지 기사를 별도로 선별하고 추출했다(CS-O의 경우 n = 58, EVL의 경우 57).

Once the form was finalised, two team members (CS-O and EVL) proceeded to extract the data from 35 randomly selected papers (20% of the total number of papers selected). As part of the calibration between the two team members, each member compiled and maintained a journal that documented good and bad extraction examples. This process was done iteratively, that is, these team members (CS-O and EVL) met and discussed their extractions at every 5-10 extracted articles. When they achieved a good agreement for extraction, these two team members then screened and extracted the remaining articles separately (n = 58 for CS-O and 57 for EVL).

2.5 5단계: 결과 수집 및 보고
2.5 Step 5: Collating and reporting results

우리는 각 보유 논문에 보고된 데이터에 대한 수치 분석과 주제 분석을 모두 수행했다. 먼저, 우리는 아카이브에서 추출한 수치 데이터를 분석했고, 그 빈도를 출판 연도, 국가, 교육생의 훈육 및 학습 수준과 같은 데이터에 사용했다. 기술 통계는 spss Version 21.0(IBM Corporation, Armonk, NY, USA)을 사용하여 수행되었습니다.16
We conducted both a numerical and thematic analysis of the data reported in each retained paper. First, we analysed the numerical data extracted from our archive whereby we used frequencies to data such as: year of publication, country, and trainees’ discipline and study level. Descriptive statistics were conducted using spss Version 21.0 (IBM Corp., Armonk, NY, USA).16

Arcsey와 O'Malley, 11 Levac 외 연구진, 17 및 Thomas 외 18의 권고에 따라 정성적 데이터에 대한 주제 분석을 수행하고 Dedoose(Dedoose, Manhattan Beach, CA, USA)18을 사용하여 데이터를 관리했다. Levac 등 17은 Arcsey와 O'Malley 11이 제안한 주제 분석이 어떤 사람들에게는 질적 데이터 분석 기법과 더 유사할 수 있다고 말한다. 우리는 Arcsey와 O'Malley11에서 제안된 용어를 그들의 프레임워크가 우리의 방법론적 선택을 안내했기 때문에 존중하기로 결정했다. 이 범위 지정 연구의 목표는 DPA 구현에 대한 문헌의 깊이와 폭을 매핑하는 것이었다. 구현 프로세스 중에 종종 발생하는 요인에 대한 우리의 발견을 명확히 했다. 19, 20 분석 자체의 경우, 수석 조사관(CS-O)은 기사의 50%를 코딩하고 코딩 트리를 구성했다. CS-O에 의해 구성된 코딩 트리를 사용하여 독립적으로 기사를 코딩한 세 명의 팀 구성원(EB, SL 및 FB)에게 동일한 50%가 분배되었다. CS-O와 팀 구성원들 앞에서 주제 분석의 예비 주제를 논의하여 코딩 트리를 개선하였다. 나머지 기사는 최종 코딩 트리를 사용하여 PI에 의해 분석되었으며, 결과 테마는 모든 팀 구성원(CS-O, EVL, SL, EB, FB 및 AT)에 의해 검토되었다. 추가 토론이 이어졌고 최종 주제 집합으로 이어졌다. 

As per recommendations from Arksey and O’Malley,11 Levac et al,17 and Thomas et al18 we conducted a thematic analysis of the qualitative data and used Dedoose (Dedoose, Manhattan Beach, CA, USA)18 to manage the data. Levac et al17 state that the thematic analysis proposed by Arksey and O’Malley11 may be more akin, for some, to a qualitative data analytical technique. We decided to respect the terminology proposed in Arksey and O’Malley11 as their framework guided our methodological choices. Our goal for this scoping study was to map the depth and breadth of the literature on the implementation of DPA, we articulated our findings around the factors that often come into play during an implementation process.19, 20 For the analysis itself, the principal investigator (CS-O) coded 50% of the articles and constructed a coding tree. The same 50% was distributed amongst three team members (EB, SL and FB), who independently coded the articles using the coding tree constructed by CS-O. CS-O and all in front of team members discussed the preliminary themes from the thematic analysis, which resulted in a refining of the coding tree. The remaining articles were analysed by the PI using the final coding tree and the resulting themes were reviewed by all team members (CS-O, EVL, SL, EB, FB and AT). Additional discussion ensued and led to the final set of themes.

3 결과
3 RESULTS

PRISMA(체계적인 검토 및 메타 분석을 위한 선호 보고 항목) 흐름도는 그림 1에 제시되어 있다. 프랑스어나 영어 이외의 언어로 된 기사, 중복을 제거한 후, 2494편의 논문이 추상 분석을 위해 포함되었다. 포함 및 제외 단계가 끝날 때, 포함 기준을 충족하는 171편의 논문이 유지되었다. 전체 논문 검토 후, 우리는 분석에 총 56개의 기사를 포함했다(그림 1 참조).
The PRISMA (preferred reporting items for systematic reviews and meta-analyses) flow diagram is presented in Figure 1. After eliminating duplicates, articles in languages other than French or English, 2494 papers were included for abstract analysis. At the end of the inclusion and exclusion phase, 171 papers that met the inclusion criteria were retained. After full paper review, we included a total of 56 articles in the analysis (see Figure 1).

3.1 수치 데이터 기술 결과
3.1 Descriptive results for numerical data

그림 2에서 2014년부터 2017년까지 39개의 기사(우리 말뭉치의 70%를 대표하는)가 발행된 가운데 개발 진행도 평가에 관한 기사가 증가했다.
In Figure 2 an increase in articles published on the topic of developmental progress assessment was seen with 39 articles (representing 70% of our corpus) published between 2014 to 2017.

 

그림 3과 같이 대부분의 기사가 미국에서 출판되었으며(n = 31개 기사, 55%), 캐나다와 영국(n = 6개 기사, 11%)이 그 뒤를 이었다.
The majority of articles were published in the United States (n = 31 articles; 55%), followed by Canada and the United Kingdom (n = 6 articles each; 11%) as seen in Figure 3.

 

표 1은 아카이브에 포함된 대부분의 기사가 HPE 문헌에서 가져온 것임을 보여준다. 즉, 기사의 71%가 의학 교육(n = 41), 치과(n = 4), 약학 및 건강 관리(각각 n = 2) 순이었다. 대학원 연구는 아카이브에서 가장 자주 접하는 연구 수준이었고(n = 28; 50%) 학부 연구는 아카이브의 20%를 차지했다(n = 11개 기사).
Table 1 shows that most of the articles included in our archives were from the HPE literature; that is, 71% of the articles were situated in medical education (n = 41), followed by dentistry (n = 4), pharmacy and health management (n = 2 each). Postgraduate studies was the study level most often encountered in our archive (n = 28; 50%), whereas undergraduate studies represented 20% of our archive (n = 11 articles).

 

우리 아카이브에 있는 56개의 기사 중 12개는 연구 목적을 밝히지 않았다. 표 2에 나타난 바와 같이, 가장 일반적인 네 가지 목적은 다음과 같다: 

• (a) 새로운 종방향 평가 전략 또는 도구에 대한 타당화 프로세스를 설명합니다(n = 14; 32%).
  
• (b) 학생의 progression를 평가하는 데 사용되는 교육 혁신을 설명한다(n = 8; 18%).
  
• (c) 새로운 평가 또는 도구 개발 및 구현(n = 7; 16%)
  
• (d) CBE 원칙에 부합하는 커리큘럼을 개발한다(n = 7; 16%)

Of the 56 articles in our archive, 12 did not state a study purpose. As shown in Table 2, the four most common stated purposes were to:

• (a) describe a validation process for a novel longitudinal assessment strategy or tool (n =14; 32%);
• (b) describe an educational innovation used to assess students’ progression (n = 8; 18%);
• (c) develop and implement a novel assessment or tool (n = 7; 16%), and
• (d) develop a curriculum aligned with CBE principles (n = 7; 16%).

 

 

DPA를 위한 특정 평가 도구(일반적인 아이디어, EPA와 마일스톤의 개발 및 구현, 또는 임상 역량 위원회 프로세스와는 반대로)를 다룬 29개의 논문에서 우리는 다양한 도구와 평가 컨텍스트를 관찰했다. 가장 일반적인 도구는 주어진 역량 또는 하위 역량에 대한 개발 수준을 문서화하는 척도(n = 9)였으며, 평균 4.8의 2개에서 10개의 서로 다른 앵커를 가지고 있었다. 다른 인기 있는 도구로는 마일스톤(n = 6), 포트폴리오(n = 3) 및 자기효능감척도(n = 3)가 있습니다. 발달과 진행을 결정하기 위해 임상적 맥락(n = 6), 표준화된 맥락(n = 5) 또는 특정 과제(n = 5)에서 가장 자주 수행이 관찰되었다(표 3).

Of the 29 papers that addressed specific assessment tools for DPA (as opposed to general ideas, development and implementation of EPAs and milestones, or even clinical competence committee processes), we observed different tools and assessment contexts.

• The most common tools used were scales (n = 9) to document the level of development for given competencies or subcompetencies, they had from two to 10 different anchors with an average of 4.8. Other popular tools included milestones (n = 6), portfolios (n = 3) and self-efficacy scales (n = 3).
• To determine development and progress, the performances were observed most often in a clinical context (n = 6), in a standardised context (n = 5) or for a specific task (n = 5) (Table 3).

 

 

3.2 정성적 데이터에 대한 기술 결과
3.2 Descriptive results for qualitative data

우리는 질적 주제 분석에서 DPA의 구현에 대한 우리의 이해를 알릴 수 있는 7가지 주요 주제를 식별했다.

• (a) DPA의 기본 목표
• (b) DPA에 대한 정보 출처
• (c) DPA 구현에 대한 장벽
• (d) DPA 구현의 장벽 또는 촉진자로 작용할 수 있는 상황별 요인
• (e) DPA 구현 촉진자
• (f) DPA 구현의 관찰된 결과
• (g) 타당성을 입증하는 증거

We identified seven major themes in our qualitative thematic analysis that can inform our understanding of the implementation of DPA:

• (a) underlying aims of DPA;
• (b) sources of information for DPA;
• (c) barriers to the implementation of DPA;
• (d) contextual factors that can act as barriers or facilitators to the implementation of DPA;
• (e) facilitators to the implementation of DPA;
• (f) observed outcomes of the implementation of DPA, and
• (g) documented validity evidence.

각 테마는 여러 하위 테마로 구성되었으며 8-38개의 서로 다른 출처(기사)에 의해 지원되었다. 9개의 기사가 오직 하나의 테마로 제시되었다:

• 34개의 다른 출처가 지원하는 주제 '실제 결과'의 4개
  26개의 다른 출처가 지원하는 '정보 제공'의 2개
  25개의 다른 출처가 지원하는 '기본 목표'의 2개
  9개의 다른 출처에 의해 지원되는 'model' 중 1개. 

주제, 하위 주제 및 설명은 아래에 인용문과 함께 제시되어 있습니다..

Each theme was comprised of several subthemes, and supported by 8-38 different sources (articles). Nine articles were present in only one theme:

• four in ‘observed outcomes’ a theme supported by 34 other sources;
• two in ‘sources of information’ supported by 26 other sources;
• two in ‘underlying aims’ supported by 25 other sources, and
• one in ‘barriers’ supported by nine other sources. 

Themes, subthemes and their descriptions are presented below with supporting quotes.

 

3.3 주제 1: DPA의 기본 목표
3.3 Theme 1: Underlying aims to DPA

우리는 DPA의 구현과 관련된 두 가지 주요 목표를 식별했다. (a) 교육생의 진행과 발달에 대한 보고와 (b) 더 나은 전문직으로서의 개발에 기여하기 위한 것이다. DPA의 구현의 근본적인 동기는 [역량을 향한 구체적인 발전 경로]가 주어졌을 때 [교육생과 프로그램에 교육생의 발전 및 발전에 대한 보고서를 제공]하는 것이다. 21-40 교육생에 대한 보고서를 제공하는 것 외에도, DPA는 평가, 피드백, 가이드를 통해 학습 기회를 제공함으로써, 더 나은 직업의 발전에 기여할 것으로 기대된다.
We identified two main goals associated with the implementation of DPA:

• (a) to report on trainees’ progress and development, and
• (b) to contribute to the development of better professionals.

An underlying motivation to the implementation of DPA is to provide trainees and programmes with a report on trainees’ progression and development given a specific established path of progression towards competency.21-40 In addition to providing a report on trainees’ progression, DPA is expected to contribute to the development of better professionals by providing learning opportunities through assessment, feedback and guidance.

3.4 주제 2: DPA를 위한 정보의 출처
3.4 Theme 2: Sources of information for DPA

우리는 DPA(연수생의 진행과 발전을 문서화하는 방법)의 정보 소스에 기여하는 두 가지 주요 요소를 식별했다. 즉 (a) 학생에 대한 직접적인 관찰과 (b) 미리 설정된 진행 경로. 저자들이 역량 기반 의학교육(CBME)의 맥락에서 DPA의 구현을 논의할 때, 그들은 학생들의 성과에 대한 종방향 문서화와 평가가 학생에 대한 직접 관찰에 의해 informed 되어야 한다는 중요성을 내세웠다. 3, 15, 27, 28, 33, 35, 38, 41 우리가 자주 관찰한 두 번째 요소는 사전 설정된 진행 경로를 통해 DPA에 알려야 할 필요성. 
We identified two main elements contributing to the sources of information for DPA (how to document trainees’ progress and development) namely:

• (a) the direct observation of students, and
• (b) a pre-established path of progression.

When authors discussed the implementation of DPA in the context of competency-based medical education (CBME), they put forward the importance that the longitudinal documentation and assessment of students’ performance be informed by direct observation of students.3, 15, 27, 28, 33, 35, 38, 41 The second element that we frequently observed was the necessity that DPA be informed by a pre-established path of progression.15, 21, 23, 25-27, 30, 32-38, 41-52

3.5 주제 3: DPA의 구현에 대한 장벽
3.5 Theme 3: Barriers to the implementation of DPA

우리는 DPA 구현에 대한 네 가지 주요 장벽 또는 과제를 식별했다. (a) 추가 물류 부담, (b) 경험적 데이터 또는 증거 지원 관행 부족, (c) 관찰 기회를 찾는 도전, (d) 시간이 필요하다. 프로그램에 대한 이러한 추가 부담은 DPA 구현에 대한 장벽으로 간주될 수 있다. 일부 저자들은 경험적 데이터 또는 증거 지원 관행의 부족을 강조하며, 경우에 따라 DPA 구현에 대한 장벽으로 인식될 수 있다고 가정한다. 교육생을 관찰할 시간과 기회도 DPA의 구현에 있어 중요한 장벽으로 간주되었다.

We identified four main barriers or challenges to the implementation of DPA:

• (a) The additional logistical burden;
• (b) lack of empirical data or evidence-supported practices;
• (c) challenge of finding observation opportunities, and
• (d) time it requires.

These additional burdens on the programmes could be seen as barriers to the implementation of DPA.33, 38, 47, 53-56 Some authors highlight the lack of empirical data or evidence-supported practices, and hypothesise that it can be, in some instances, perceived as a barrier to the implementation of DPA.38, 47, 56, 57 Time and opportunities to observe trainees were also seen as important barriers to the implementation of DPA.15, 33, 58

3.6 주제 4: DPA 구현에 긍정적 또는 부정적 영향을 미칠 수 있는 상황적 요인
3.6 Theme 4: Contextual factors that can positively or negatively influence implementation of DPA

우리는 DPA 구현에 장벽 또는 촉진자로 작용할 수 있는 세 가지 상황적 요인을 식별했다. (a) 적절한 평가 도구 또는 전략, (b) 교수진 개발, (c) 지역 문화. DPA를 구현하기 전에 [적절한 평가 도구 또는 전략이 제공되었을 때], 이를 촉진자로 간주했습니다.3 그러나 이러한 도구와 전략의 개발에 대한 비용과 자원은 DPA의 구현에 대한 장벽으로 간주되었다.38 평가 도구 또는 전략이 DPA의 구현에 적절하거나 제공되지 않은 경우, 이는 DPA의 구현에 대한 장벽으로 간주되었다.38, 43, 47 이러한 평가 도구와 전략에 대한 기대치는 높았고, 충족되지 않을 때, 좌절하게 만들었다.
We identified three contextual factors that could act as either a barrier or facilitator to the implementation of DPA:

• (a) appropriate assessment tools or strategies;
• (b) faculty development, and
• (c) local culture.

When appropriate assessment tools or strategies were made available before the implementation of DPA, this was seen as a facilitator.3 Costs and resources to the development of these tools and strategies, however, were seen as barriers to the implementation of DPA.38 If the assessment tools or strategies were not appropriate or available at the implementation of DPA, this was seen as a barrier to its implementation.38, 43, 47 Expectations towards these assessment tools and strategies are high, and when not met, they lead to frustrations.33, 47, 51, 54(p.2)

DPA의 구현에 대한 장벽 또는 촉진자로 볼 수 있는 두 번째 상황적 요인은 교수진에게 제공되는 교육 기회이다. 교수개발이 DPA의 구현 전 또는 구현 중에 계획되고 전개되었을 때, 이는 DPA의 구현에 대한 촉진자로 간주되었다. DPA의 구현에 앞서서 교수개발을 출시하는 것이 바람직하게 보였지만, 많은 저자들은 이것이 프로그램에 대한 추가적인 부담이라는 사실을 강조했고, 그들은 DPA의 구현에 대한 장벽으로 볼 수 있었다.
A second contextual factor that could be seen as either a barrier or facilitator to the implementation of DPA is the training opportunities provided to faculty members.21, 38, 54, 56, 58, 59 When faculty development was planned and rolled out before or during the implementation of DPA, this was seen as a facilitator to the implementation of DPA.58 Though the roll-out of faculty development prior to the implementation of DPA was seen as favourable, many authors highlighted the fact that this was an additional strain on programmes, who could view it as a barrier to the implementation of DPA.21, 38, 56

마지막으로, DPA의 구현에 장벽 또는 촉진자로 작용할 수 있는 중요한 기여 요소는 [지역 문화]였다. 저자들은 학습의 평가(평가의 전통적인 사용)에서 학습을 위한 평가(개발 촉진에 사용되는 평가)로 이동하려면 중요한 변화가 필요하다고 강조했다. 향토 문화로 DPA가 지역 문화와 잘 일치하는 경우, DPA는 구현의 촉진자로 간주되었습니다.54 그러나, 일부 경우에는 DPA가 평가 관행에 상당한 변화를 요구했기 때문에 구현에 대한 장벽으로 간주될 수 있습니다.54, 56

Finally, an important contributing factor that could act as either a barrier or facilitator to the implementation of DPA was the local culture.21, 28, 35, 38, 54 Authors highlighted that moving from assessment of learning (traditional use of assessment) to assessment for learning (assessment used to promote development) requires an important shift in local culture. In instances where DPA aligned well with the local culture, it was seen as a facilitator to its implementation.54 However, in some instances, DPA required a significant shift in assessment practices and could thus be seen as a barrier to its implementation.54, 56

3.7 주제 5: 촉진자
3.7 Theme 5: Facilitators

우리는 DPA의 세 가지 주요 촉진 요인을 식별했다. (a) 구현 컨텍스트에서 제공되는 유연성, (b) CBME의 동시 구현, (c) 구현하기 전에, 다가올 변화에 대한 컨텍스트와 인력의 준비 등. 우리는 아카이브에서 DPA의 구현이 유연성을 제공할 때 촉진될 수 있음을 관찰했다. 즉, 운영화와 구현이 엄격하게 사전 정의되지 않았을 때 DPA를 구현하기가 더 쉬웠다. CBME가 도입되는 동안 DPA의 구현은 또한 평가 관행에 변화의 기회를 제공했기 때문에 상황적 요인으로 간주되었다. 마지막으로, DPA를 시행하기 전에 맥락과 인력의 준비가 중요한 촉진자로 간주되었다.

We identified three main facilitators to the implementation of DPA:

• (a) the flexibility offered in the context of the implementation;
• (b) the simultaneous implementation of CBME, and
• (c) the preparation of the context and people for the upcoming changes, prior to the implementation of DPA.

We observed, in our archive, that the implementation of DPA could be facilitated when it provided flexibility. That is, it was easier to implement DPA when the operationalisation and implementation were not rigidly pre-defined.37, 38, 54 The implementation of DPA during the roll-out of CBME was also seen as a facilitating contextual factor as it provided an opportunity for change in assessment practices.26, 47, 54, 60 Lastly, the preparation of the context and people prior to the implementation of DPA was seen as an important facilitator.21, 25, 26, 33, 37, 54, 58, 61

3.8 주제 6: DPA수행의 관찰된 성과이다.
3.8 Theme 6: Observed outcomes of the implementation of DPA

아카이브에 있는 56개의 기사 중 총 42개는 DPA 구현의 결과를 제공했으며, 여기에는 다음이 포함되었다. 

• (a) 피드백 촉진,
• (b) 교정조치가 필요한 전공의 확인,
• (c) 더 나은 수습 평가 및 프로그램 평가,
• (d) 진행 상황 모니터링 수단,
• (e) 명시적 기대치 로드맵

A total of 42 of the 56 articles in our archive provided outcomes from the implementation of DPA, which included:

• (a) facilitated feedback;
• (b) identification of residents who need remediation;
• (c) better trainee assessment and programme evaluation;
• (d) means to monitor progress, and
• (e) a road map of explicit expectations.

DPA 구현의 일반적인 긍정적인 결과는 교육생에 대한 피드백이었다. 또한, 몇몇 저자들은 DPA의 구현이 재교육이 필요한 교육생을 식별할 수 있는 기회를 제공했다고 보고했다. 전반적으로, DPA의 시행은 더 나은 연수생 평가와 프로그램 평가를 위한 기회로 간주되었다. DPA는 또한 훈련생들의 진행과 그들의 전문적 역량의 개발을 모니터링하는 수단을 제공하는 것으로 간주되었다. 마지막으로, DPA는 교육생들이 무엇을 성취했고 그들 앞에 무엇이 남아 있는지를 묘사하기 위해 무엇을 사용할 수 있는지에 대한 명시적인 기대의 로드맵으로 보여졌다. 

A common positive outcome of DPA implementation was the facilitated feedback to trainees.22, 25, 29, 30, 32, 37, 47, 49, 54-56, 58, 62-64 In addition, several authors reported that the implementation of DPA provided the opportunity to identify trainees who require remediation.22, 27, 29, 30, 36, 38, 43, 52, 54, 55, 63, 65, 66 Overall, the implementation of DPA was seen as an opportunity for better trainee assessment and programme evaluation.30, 39, 41, 46, 47, 49, 54, 55, 58, 61-65, 67 DPA was also seen as providing a means to monitor trainee progress and the development of their professional competency.21-24, 27, 29, 30, 32, 33, 37, 39, 40, 46, 48, 50, 54, 60, 65, 68 Lastly, DPA was seen as a road map of explicit expectations of what could be used by trainees to picture what they have accomplished and what is left in front of them.

DPA 구현을 위해서는 [명확한 사전 설정된 경로 제공]이 필요하지만, 구현 시 필요하지 않았다면 만들어지지 않았을 수 있어 구현에 긍정적인 결과물로도 평가된다. 이는 전공의 스스로 전문성 개발을 agency를 갖게하겠다는 전략으로도 읽힌다. 오직 두 개의 기사만이 DPA 구현과 관련된 부정적인 결과를 제시한다. 타르디프와 두부아에서 저자들은 교수진 개발의 부족이 평가를 세로 방향으로 볼 수 없는 상황을 초래했다고 말했다. Yadlapati 외 연구진에서, 교육생 중 절반이 예상 시간 내에 기대 수준의 역량을 달성하지 못했다.

Though providing an explicit pre-established path is required for the implementation of DPA, it is also seen as a positive outcome of its implementation as it may have not been created if the implementation didn't require it.21, 23-26, 30, 33, 49, 54, 55, 62-64, 67 This is also seen as a strategy to give residents agency over their own professional development. Only two articles put forward negative outcomes associated with DPA implementation.31, 35 In Tardif and Dubois,35 the authors stated that the lack of faculty development yielded a situation where the assessment was not seen longitudinally. In Yadlapati et al,31 half the trainees did not achieve the expected level of competency in the expected time frame. 

3.9 주제 7: 타당성 근거를 문서화
3.9 Theme 7: Documented evidence of validity

우리는 단지 4개의 기사에서만 타당성을 증명할 수 있었다.

• Rebel 외 연구진에서, 30명의 저자들은 성장 및 이정표 달성을 문서화하기 위해 성능의 증가와 목표 구조화된 임상 검사(OSCE)의 타당성에 대해 논의한다.
• Nabors 등은 임상 역량 위원회의 상임위 심사 과정을 기록했다.
• Pugh 등은 그들의 OSCE가 다른 수준에서 후보들 간의 차별을 할 수 있고 또한 높은 신뢰성을 가지고 있기 때문에 progress test 의 한 형태로 사용될 수 있다고 주장한다.
• 하우어 외 연구진에서, 저자들은 자신들의 연구 결과가 '능력 개발을 어떻게 특징지을 수 있는지, 임상 역량 위원회와 함께 일하는 프로그램 책임자가 훈련 중에 거주자들이 겪거나 겪지 않은 커리큘럼 경험을 식별하기 위해 어떻게 그것들을 사용할 수 있는지를 보여줌으로써 이정표에 대한 유효성의 증거를 구축하는 것'에 기여한다고 제안한다.

We were able to identify validity evidence in only four articles.30, 36, 61, 67 

• In Rebel et al,30 the authors discuss the increase in performance, and the validity of their objective structured clinical examination (OSCE) to document growth and milestones attainment.
• In Nabors et al,61 the authors documented the deliberation process for the clinical competence committee.
• Pugh et al36 argue that their OSCE can be used as a form of progress test as it can discriminate amongst candidates at different levels, and also has high reliability.
• In Hauer et al,67 the authors propose that their findings contribute to ‘build evidence of validity for the milestones by showing how they may characterise development of competence and how programme directors working with clinical competency committees may use them to identify curricular experiences residents do or do not have during training.’67(p.361)

4 토론
4 DISCUSSION

CBME에서 평가의 보편성을 고려할 때, 학습자와 사회에 대한 설명 책임의 시대에 새로운 평가를 구현하기 위한 노력은 새로운 평가의 성격과 영향에 대한 깊은 이해가 필요하다. 우리는 DPA의 성공적인 광범위한 구현을 위한 첫 번째 필수 단계로서 DPA의 구현에 대한 문헌의 깊이와 폭을 매핑하기 위해 범위 검토를 수행했다. 16, 71 우리는 논문에서 교육생의 개발과 진행을 문서화하기 위해 배치된 다양한 도구와 프로세스를 관찰했다. 이러한 도구와 프로세스의 구현은 일반적으로 두 가지 목표에 의해 뒷받침되었습니다.

• (a) 교육생의 발전 및 진행 상황을 보고하고,
• (b) 교육생의 전문성 향상에 기여한다.

DPA는 성과와 예상 개발 궤적을 직접 관찰함으로써 통보되었다. 몇 가지 상황적 요인이 DPA의 구현을 방해하거나 유리할 수 있다.

Given the ubiquitous nature of assessment in CBME,3, 69, 70 efforts to implement novel assessments in an era of accountability to learners and society require that we have a deep understanding of the nature and impact of novel assessments. We conducted a scoping review to map the depth and breadth of literature on the implementation of DPA as a first and necessary step towards its successful widespread implementation.16, 71 In the retained papers, we observed different tools and processes that were put in place to document the development and progression of trainees. The implementation of these tools and processes were, in general, underpinned by two aims:

• (a) to report on trainees’ development and progression, and
• (b) to contribute to trainees’ professional development.

Developmental progress assessment was informed by direct observation of performance and expected developmental trajectories. Several contextual factors could hinder or favour the implementation of DPA.

우리는 DPA의 구현에 따라 개인 및 조직 수준에서 몇 가지 잠재적 긍정적인 결과를 관찰했다.19 [교육생]의 경우, DPA는 훈련의 각 단계에서, 자신의 역량을 갖추고 독립적인 실천으로 발전하는 데 사용될 수 있는 [명확한 기대 로드맵]을 제공한다.4 이 아이디어는 CBME의 핵심이며, 한 가지 원칙은 [역량있고 독립적인 실천으로 가는 개발 경로]를 설정하는 것이다. 그리피스 외 9는 또한 이것이 학습 강화에 기여해야 한다고 말한다.

We observed several potential positive outcomes at the individual and organisational levels following the implementation of DPA.19 For trainees, DPA provides an explicit road map of expectations, at each stage of their training, that can be used to guide their development towards competent and independent practice.4 This idea is central to CBME, for which one principle is to establish a developmental pathway to competent and independent practice. Griffith et al9 also state that this should contribute to enhanced learning.

[교육생과 감독자 모두]에게 DPA는 관찰된 성과에 대한 명시적 설명을 제공하고, 관찰된 성과를 발달 진전에 대한 명시적 기대와 비교한다는 점에서 [피드백을 제공하는 촉진자]로 간주된다. 73-76 두 프로세스 모두 피드백이 성인 학습에 효과적일 수 있는 중요한 요소로 인식된다. [기관]에게 DPA는 진행 상황을 모니터링하고 교정조치가 필요한 전공의를 식별할 수 있는 수단을 제공하며, 교육생 평가와 프로그램 평가도 개선한다. 이러한 잠재적 결과는 교육자와 프로그램 관리자가 제시한 니즈를 충족시킵니다.
For both the trainees and their supervisors, DPA is viewed as a facilitator for providing feedback in that it provides explicit descriptions of observed performance72 and compares observed performance to explicit expectations of developmental progress73-76 both processes are recognised as important factors for feedback to be effective in adult learners. For organisations, DPA provides a mean to monitor progress, identify residents who need remediation and it also provides better trainee assessment and programme evaluation. These potential outcomes fill needs manifested by educators and programme administrators.

DPA의 잠재적인 긍정적인 결과를 관찰했지만, 그 구현에는 몇 가지 과제가 있으며, 그 중 많은 문제는 변화에 대한 내성에 기여할 수 있기 때문에 가볍게 볼 수 없다.9, 71 DPA의 구현은 추가적인 로지스틱컬 부담으로 간주되었다. 일부 저자들은 DPA가 경험적 증거가 부족하다고 생각했지만, 다른 저자들은 그렇지 않았다. 직접 관찰에 필요한 기회와 시간과 관련된 문제를 언급하였다. 직접 관찰은 서로 다른 감독자에 의해 만들어진 다양한 맥락에서 여러 개의 관찰을 갖는 DPA의 초석이다. 이러한 마음가짐에서 평가 지점은 독립적인 스냅샷으로 보이지 않지만 학습자의 잠재 성장 가능성을 보다 완벽하고 감동적으로 포착하는 데 기여하는 것으로 간주된다. 또한 사용자 친화적인 평가 양식에 대한 적시 접근은 필수적입니다.9 이러한 장벽은 증거 정보 HPE를 지원하거나 방해하는 요소를 탐구하는 HPE의 다른 분야의 새로운 연구에서 보고된 장벽과 일치한다.77, 78
Although we observed potential positive outcomes of DPA, there are some challenges to its implementation, many of which cannot be taken lightly as they can contribute towards resistance to change.9, 71 The implementation of DPA was seen as an additional logistical burden; some authors considered that it is lacking empirical evidence, whereas others mentioned issues with the opportunity and time required for direct observation. Direct observation is the cornerstone of DPA with multiple observations in varied contexts made by different supervisors. In this mindset, assessment points are not seen as independent snapshots, but are seen as contributing to a more complete and moving capture of a learner's potential growth. In addition, the just-in-time access to user-friendly assessment forms is quintessential.9 These barriers are in line with those reported in emerging research in other areas of HPE exploring the factors that support or hinder Evidence Informed HPE.77, 78

어떤 경우에는 장벽으로 간주되는 것이 - 다른 상황 또는 다른 상황에서 - 촉진제가 될 수도 있습니다. 이러한 상황적 요인에는 [적절한 도구에 대한 접근성], [교수진 개발] 및 [학습을 위한 평가 원리와 일치하는 지역 문화]가 포함된다(Griffith et al.9). 이러한 연구 결과는 Thomas 등 78과 Onyura 등.77의 연구 결과를 반영하기도 한다. 예를 들어, 적절한 평가 도구에 쉽고 빠르게 접근할 경우 DPA의 구현과 채택이 용이할 수 있지만, 그러한 도구의 개발은 부담으로 간주될 수 있다.
In some instances, what was seen as a barrier could also be - in different contexts or under different circumstances - a facilitator. These contextual factors include having access to appropriate tools, faculty development and a local culture aligned with principles of assessment for learning, as also highlighted recently in Griffith et al.9 These findings also mirror the work by Thomas et al78 and Onyura et al.77 For example, easy and quick access to appropriate assessment tools would facilitate the implementation and uptake of DPA; however, the development of such tools can be seen as burdensome.

앞에서 설명한 바와 같이, 대부분의 CBME 컨텍스트 내에서 DPA의 구현은 필수적입니다. 따라서 현재 DPA의 운영화 및 구현 과정을 겪고 있는 학교나 프로그램의 경우 알려진 촉진자를 내장하는 것이 흥미로울 수 있다. 우리는 CBE의 구현과 환경적 유연성이 DPA의 구현을 선호할 수 있다는 것을 관찰했다. 즉, 지역 문화가 이에 큰 역할을 했다.21, 28, 35, 38, 54 DPA로의 이동은 교육생과 교직원이 [학습의 평가]를 보는 대신에 [학습을 위한 평가]를 보는 것을 요구한다. DPA의 구현은 학습을 위한 평가 문화가 이미 존재하는 상황에서 촉진되었다. 
As stated earlier, implementation of DPA within most CBME contexts is mandatory. Thus, for the schools or programmes that are currently going through the process of operationalising and implementing DPA, it might be interesting to build-in known facilitators. We observed that the implementation of CBE and surrounding flexibility could favour the implementation of DPA. Namely, the local culture played a major role in this.21, 28, 35, 38, 54 The move towards DPA requires that trainees and faculty members see assessment for learning instead of seeing assessment of learning. Implementation of DPA was facilitated in the contexts where there was already a culture of assessment for learning.

DPA의 초기 구현 단계에 있기 때문에, 아카이브의 몇 가지 문서만이 타당성을 입증했다. 앞으로, 이 문제는 목적 있는 접근 방식으로 다뤄질 필요가 있을 것이다. 새로운 평가의 검증은 평가와 최종 목표(기대 성능)가 정적일 때 그 자체로 어렵다. 그러나, DPA의 맥락에서, 기대되는 성과(최종 목표)는 움직이는 목표이며, 이는 우리가 정적 성과에 관심이 없다는 것을 의미한다. 오히려 평가의 초점은 [학생들의 발전 궤도에 대한 진행]에 있다. 이러한 평가 초점의 차이(정적 성과 대 성장) 때문에, 우리는 심리 측정 모델이 이 현실에 적합하지 않을 수 있기 때문에 타당성 증거를 문서화하기 위해 배치될 접근법을 주의 깊게 고려할 필요가 있다. 79-81
As we are at the initial implementation of DPA, only a few articles in our archive presented validity evidence. Moving forward, this issue will need to be addressed in a purposeful approach. Validation of a novel assessment is challenging in itself when the assessment and end goal (expected performance) is static. However, in the context of DPA, the expected performance (end goal) is a moving target, meaning that we are not interested in a static performance; rather, the focus of the assessment is students’ progression on a developmental trajectory. Because of this difference in assessment focus (static performance versus growth), we need to carefully consider the approaches that will be put in place to document validity evidences, as psychometric models may not be suited for this reality.79-81

범위 검토에는 데이터를 해석할 때 독자가 명심해야 하는 몇 가지 제한이 있습니다. 개발 및 진전에 대한 평가가 반드시 새로운 아이디어는 아니지만 - CBE에 대한 초기 글에 포함되었다 - 이 주제에 대한 문헌은 부족하고 CBME의 구현에 따른 HPE에 대부분 포함되어 있다. 따라서, 아직 포괄적일 검색 전략을 만들기 위한 적절한 키워드를 식별하기가 어려웠다.; 이와 같이, 그것은 더 높은 비율의 배제 기사를 낳았다. 이 검색 전략은 2017년 5월에 적용되었는데, 그 이후로 새롭고 다른 결과가 발표될 수 있었는지에 대해 의문이 제기될 수 있다. 우리가 조사한 최근 연구(예: 그리피스 외 9)가 검색 전략에서 확인된 기사에서 추출한 것과 유사한 발견을 보고하기 때문에 그럴 가능성은 낮다고 본다. 우리가 검색을 수행한 이후로 이 주제에 대한 중요한 저작이 출판되지 않았습니다. 범위 지정 연구에서 전형적이듯, 우리는 포함된 연구의 품질 평가를 수행하기보다는 주제에 대한 문헌의 폭과 깊이를 매핑하는 것이 목적이었기 때문에 데이터 말뭉치에 포함된 문헌을 비판적으로 평가하지 않았다.

There are some limitations to our scoping review that the reader should bear in mind when interpreting our data. Though the assessment of development and progress is not necessarily a new idea - it was embedded in the initial writings on CBE - the literature on this topic is scarce and mostly in HPE following the implementation of CBME. Thus, it was difficult to identify the appropriate keywords to create a search strategy that would be focused yet inclusive; as such, it resulted in a higher percentage of excluded articles. The search strategy was applied in May 2017, which might bring into question if new and different results could have been published since then. We believe that is unlikely, as the recent studies we surveyed (eg, Griffiths et al9) report similar findings to those we extracted from our articles identified in our search strategy. There has not been a seminal work published on the topic since we conducted our search. As is typical in scoping studies, we did not critically appraise the literature included in our data corpus, as our intention was to map the breadth and depth of the literature on the topic rather than conduct a quality assessment of the included studies.

5 결론
5 CONCLUSIONS

피드백을 제공할 수 있는 시설의 증가, 교정조치가 필요한 교육생의 잠재적 식별, 자체 개발에서 교육생에게 주어지는 기관의 증가에서 볼 수 있듯이, 개발 진행 평가는 미래의 유능한 보건 전문가의 훈련의 필요성을 충족시키는 것으로 보인다. 그러나 잠재적인 물류 및 부담스러운 함정이 우리를 기다리고 있다. DPA의 광범위한 구현을 진행하면서, 교육자와 연구원들은 평가 해석의 타당성에 대한 증거를 수집하는 것을 염두에 둘 필요가 있다.

Developmental progress assessment seems to fill a need in the training of future competent health professionals, as can be seen by the increased facility to provide feedback, the potential identification of trainees that require remediation, and the increased agency given to trainees in their own development. Yet, potential logistical and burdensome pitfalls await us. Moving forward with a widespread implementation of DPA, educators and researchers need to be mindful of collecting evidences of the validity of the assessment interpretation.

 

---

Med Educ. 2020 Oct;54(10):878-887. doi: 10.1111/medu.14136. Epub 2020 Apr 15.

Lessons from the implementation of developmental progress assessment: A scoping review

Christina St-Onge 1, Élise Vachon Lachiver 2, Serge Langevin 1, Elisabeth Boileau 3, Frédéric Bernier 1 2 4, Aliki Thomas 5

Affiliations collapse

Affiliations

1Department of Medicine, Faculty of Medicine and Health Sciences, University of Sherbrooke, Sherbrooke, Québec, Canada.

2Faculty of Medicine and Health Sciences, University of Sherbrooke, Sherbrooke, Québec, Canada.

3Department of Family and Emergency Medicine, Faculty of Medicine and Health Sciences, University of Sherbrooke, Sherbrooke, Québec, Canada.

4Research Center - Sherbrooke University Hospital Center (CHUS), Integrated Health and Social Service Centers (CISSS) and Integrated University Health and Social Service Centres (CIUSSS), Sherbrooke, Québec, Canada.

5School of Physical and Occupational Therapy, McGill University, Montreal, Québec, Canada.

PMID: 32083743

DOI: 10.1111/medu.14136

Abstract

Objectives: Educators and researchers recently implemented developmental progress assessment (DPA) in the context of competency-based education. To reap its anticipated benefits, much still remains to be understood about its implementation. In this study, we aimed to determine the nature and extent of the current evidence on DPA, in an effort to broaden our understanding of the major goals and intended outcomes of DPA as well as the lessons learned from how it has been executed in, or applied across, educational contexts.

Methods: We conducted a scoping study based on the methodology of Arksey and O'Malley. Our search strategy yielded 2494 articles. These articles were screened for inclusion and exclusion (90% agreement), and numerical and qualitative data were extracted from 56 articles based on a pre-defined set of charting categories. The thematic analysis of the qualitative data was completed with iterative consultations and discussions until consensus was achieved for the interpretation of the results.

Results: Tools used to document DPA include scales, milestones and portfolios. Performances were observed in clinical or standardised contexts. We identified seven major themes in our qualitative thematic analysis: (a) underlying aims of DPA; (b) sources of information; (c) barriers; (d) contextual factors that can act as barriers or facilitators to the implementation of DPA; (e) facilitators; (f) observed outcomes, and (g) documented validity evidences.

Conclusions: Developmental progress assessment seems to fill a need in the training of future competent health professionals. However, moving forward with a widespread implementation of DPA, factors such as lack of access to user-friendly technology and time to observe performance may render its operationalisation burdensome in the context of competency-based medical education.

© 2020 John Wiley & Sons Ltd and The Association for the Study of Medical Education.