어떻게 근무현장-기반 평가가 졸업후교육에서 학습을 가이드하는가: 스코핑 리뷰 (Med Educ, 2023)

어떻게 근무현장-기반 평가가 졸업후교육에서 학습을 가이드하는가: 스코핑 리뷰 (Med Educ, 2023)
How workplace-based assessments guide learning in postgraduate education: A scoping review 
Leslie Martin1 | Sarah Blissett2 | Bronte Johnston3 | Michael Tsang1 | Stephen Gauthier4 | Zeeshan Ahmed5 | Matthew Sibbald1 

 

1 서론
1 INTRODUCTION

평가 전략은 수련의가 학습하는 방식에 분명한 영향을 미칩니다.1-3 역량 기반 의학교육(CBME)4-6 에서 작업장 기반 평가(WBA)를 늘리려는 전 세계적인 변화는 학습자7, 8 와 피드백 추구와 같은 학습 행동에 긍정적인 영향을 미쳤습니다.9, 10 CBME 내 프로그램 평가의 가장 중요한 희망은 WBA를 사용하여 작업장에 학습 평가를 포함시키는 동시에 강력한 고부담 승진 결정(학습의 평가)을 최적화하고 프로그램 개선을 위한 정보를 제공하고자 하는 것입니다.11, 12 안타깝게도 예비 문헌에 따르면 각 평가의 형성적 의도와 총괄적 의도가 혼재되어 있어 프로그램 평가를 통해 학습 목표를 달성하는 데 어려움이 있음을 보여줍니다.13-15 임상 환경에서 WBA를 사용하여 낮은 부담의 학습 목표와 높은 부담의 진급 결정을 모두 달성할 때 연수생이 성과와 학습 목표 사이의 갈등을 인식함에 따라 유사한 긴장이 발생했습니다.16, 17 이러한 긴장의 핵심은 사회적으로 구성되고 고도로 맥락적인 직장에서 임상 성과를 '객관적으로 평가'해야 한다는 과제입니다.18 임상 업무 환경에서는 이러한 맥락적 전문성을 '실천 속에서 아는 것'이라고 합니다.19 
Assessment strategies clearly impact how trainees learn.1-3 The worldwide shift to increase workplace-based assessment (WBA) within competency-based medical education (CBME)4-6 in postgraduate medical education (PGME) has no doubt positively impacted learners7, 8 and learning behaviours, such as seeking feedback.9, 10 The overarching hope of programmatic assessment within CBME is to embed learning assessments in the workplace using WBA, while optimizing robust high-stakes promotion decisions (assessment of learning), and providing information for programme improvement.11, 12 Unfortunately, preliminary literature illustrates challenges in achieving learning goals through programmatic assessment, due to conflation of the formative and summative intent of each assessment.13-15 Similar tensions have arisen when using WBA in the clinical environment to achieve both low-stakes learning goals and high-stakes promotion decisions, as trainees perceive conflict between performance and learning goals.16, 17 Integral to these tensions is the challenge of ‘objectively assessing’ clinical performance in the socially-constructed and highly contextual workplace.18 In the clinical workplace, this contextual expertise is referred to as ‘knowing in practice’.19

현재 우리는 강력한 평가 프로그램을 직장으로 전환하는 것이 수련의 학습에 미치는 영향에 대해 명확하게 이해하지 못하고 있습니다. 또한 현재 WBA를 사용하여 학습을 위한 평가를 성공적으로 달성하는 방법에 대한 포괄적인 프레임워크가 없습니다. 최근의 해석학적 검토에 따르면 학습을 위한 평가를 달성하기 위해서는 별도의 평가자 그룹을 정의하여 평가의 요약적 역할과 형성적 역할을 명확히 구분해야 한다는 결론을 내렸습니다20. 이러한 제안은 문헌의 다른 부분에도 반영되어 있습니다.9 그러나 다른 사람들은 평가의 명확한 긴장을 관리하기 위해 '양자택일적 사고'를 넘어 '양립적 사고'로 나아가야 한다고 주장합니다.21 따라서 직장 환경에서 학습을 위한 WBA를 성공적으로 달성하는 길은 아직 불분명합니다. 
We currently do not have a clear understanding of the implications of shifting a robust programme of assessment into the workplace on trainee learning. Furthermore, there is currently no comprehensive framework for how to successfully achieve assessment for learning using WBA. A recent hermeneutic review concluded that a clear distinction be drawn between the summative and formative role of assessment by defining separate group of assessors20 in order to achieve assessment for learning. This suggestion is also reflected elsewhere throughout the literature.9 However, others have argued that we need to move beyond ‘either-or thinking’ in order to manage the clear tensions in assessment, and rather towards a ‘both-and’ approach.21 Thus, the path to successfully achieve WBA for learning in the workplace environment remains unclear.

초기 직장 기반 학습(WBL) 모델은 CBME 내에서 구현된 것과 유사하게 직접적인 관찰과 피드백에 중점을 두고 의도적으로 학습을 발판으로 삼는 결과 중심 직장 모델로 전환할 것을 요구했습니다.20 WBL에 관한 후속 모델 또는 이론은 CBME가 널리 구현되기 전에 만들어졌거나,22, 23 공식화된 평가 또는 WBA에 기반한 문헌을 특별히 제외했습니다.24, 25 CBME 맥락에서 프로그램적 WBA가 구현된 이후 WBL 모델을 재검토한 적은 없습니다. 
Early models of workplace-based learning (WBL) called for the movement towards a outcomes-driven workplace model to intentionally scaffold learning, with an increased focus on direct observation and feedback, similar to what was implemented within CBME.20 Subsequent models or theories regarding WBL were created prior to widespread implementation of CBME,22, 23 or specifically excluded literature based on formalised assessment or WBA.24, 25 Models of WBL have not been revisited since the implementation of programmatic WBA in the CBME context.

WBA가 이러한 프레임워크에 어떤 영향을 미치는지 더 잘 이해하지 못한 상태에서 WBL의 이론적 프레임워크를 현재의 CBME 맥락에 적용해서는 안 됩니다. 보다 완전한 프레임워크가 없다면 의학전문대학원 교육에서 학습과 평가를 모두 최적화하기 위한 노력은 계속될 것입니다. 현재의 복잡한 학습 환경에서 WBL과 평가를 이해하기 위해서는 대안적인 이론이 필요하다는 주장이 제기되고 있습니다.26 이 분야에서 이론을 개발하면 CBME 맥락에서 학습을 위한 평가라는 궁극적인 목표를 달성하는 방법을 조명할 수 있는 대안적인 관점을 제공할 수 있을 것입니다.
Theoretical frameworks of WBL should not be applied in current CBME contexts without a better understanding of how WBA impacts these frameworks. Without a more complete framework, it is likely that the struggle to optimize both learning and assessment will continue in postgraduate medical education. It has been argued that alternative theories are required to understand WBL and assessment in the current complex learning environment.26 Developing theory in this space will provide an alternative perspective to shed light on how to achieve the ultimate goal of assessment for learning in the CBME context.

첫 번째 단계로, 이 범위 검토를 통해 우리는 PGME 내에서 이 공간에 대한 이해를 넓히기 위해 WBA와 WBL 사이의 특정 교차점을 다루는 주요 문헌 기반의 폭과 깊이를 탐구하고자 했습니다. 분석은 빌렛의 보건의료 업무를 통한 학습 모델의 네 가지 전제에 따라 진행되었습니다.25 이 모델은 전통적인 '교실' 교육 밖에서 보건의료 분야의 학습이 어떻게 이루어지는지 이해하기 위한 명확하고 간결한 프레임워크와 잘 정리된 원칙을 제공합니다. 이는 평가가 이러한 원칙에 의도적 또는 비의도적으로 영향을 미칠 수 있는 방법을 탐구하는 데 강력한 발판을 제공합니다. 간단히 말해, 네 가지 전제는 각각 다음을 강조합니다.25

• (1) 학습은 항상 일어나고,
• (2) 직장 참여는 직장 환경과 직원의 위치를 변화시키고,
• (3) 직장의 물리적, 사회적 측면은 임상 지식과 학습을 제공하며,
• (4) 학습과 개인 개발은 다르지만 상호 의존적인 과정이다.

As a first step, through this scoping review we sought to explore the breadth and depth of the primary literature base that addresses the specific intersection between WBA and WBL in order to expand our understanding of this space within PGME. The analyses were guided by the four premises of Billett's model of learning through health care work.25 This model offers a clear and concise framework with well-articulated principles for understanding how learning in healthcare occurs outside of traditional ‘classroom’ education. This provided a strong scaffold to explore how assessment may intentionally or unintentionally influence these principles. Briefly, the four premises respectively highlight

• (1) how learning is always happening;
• (2) workplace engagement transforms the workplace environment and staffs' positions;
• (3) the physical and social aspects of a workplace provide clinical knowledge and learning; and
• (4) learning and personal development are different, but interdependent processes.25 

이 틀을 사용하여,25 우리는 WBA를 통한 학습을 설명할 때 깊이 강조되고 탐구된 영역과 1차 문헌 기반에서 덜 주목된 다른 영역을 강조하고자 했습니다. WBL의 렌즈를 통해 이러한 문헌 기반을 종합함으로써, WBA가 빈번하게 사용되는 시대에 WBL 모델을 업데이트하기 위한 향후 연구를 통해 해결될 수 있는 문헌의 격차를 발견할 수 있기를 바랍니다. 
Using this framework,25 we sought to highlight areas that have been deeply emphasized and explored in describing learning through WBA, and others that have been less attended to across the primary literature base. In synthesizing this literature base through the lens of WBL, we hope to uncover gaps in the literature that can be addressed through future studies aimed at updating models of WBL within the era of frequent WBA.

2 방법
2 METHODS

저희는 WBA가 대학원 의학교육에서 학습을 어떻게 안내하는지에 대한 문헌의 범위 검토를 수행했습니다. 
We conducted a scoping review of literature exploring how WBA guide learning in postgraduate medical education.

2.1 검토 유형
2.1 Type of review

범위 검토는 광범위하고 이질적인 잠재적 문헌 기반과 명확하게 정의된 연구 질문을 고려할 때 이용 가능한 문헌의 범위를 매핑하는 이상적인 방법으로 선택되었습니다.27, 28 이 방법론은 질적, 양적 및 미발표 문헌을 포함할 수 있으며 레지던트 교육에서 WBA를 사용하는 기존 문헌의 상태를 파악하는 데 중점을 둡니다.29 
A scoping review was selected as an ideal method to map the extent of available literature given the broad and heterogeneous potential literature base, and clearly defined research question.27, 28 This methodology allows for the inclusion of qualitative, quantitative and unpublished literature, and focuses on capturing the state of existing literature the use WBA in residency training.29

2.2 관련 연구 식별 및 선택
2.2 Identifying and selecting relevant studies

이 범위 검토는 이전에 발표된 프레임워크를 따랐다.28, 30-32 PRISMA-ScR 체크리스트는 출판에 앞서 참고하였다.33 연구팀은 먼저 일차 문헌에 근거하여, WBA가 대학원 의학교육에서 WBL을 어떻게 안내하는가라는 집중 연구 질문을 개발했다.
This scoping review followed previously published frameworks.28, 30-32 The PRISMA-ScR Checklist was references in advance of publication.33 The research team first developed a focused research question: based on the primary literature, how do WBA guide WBL in postgraduate medical education?

연구 질문의 범위에 검색을 포함하기 위해 명확한 포함 및 제외 기준을 선험적으로 정의했습니다. 특히, 해당 분야에서 새롭게 떠오르는 주요 관점과 의견을 알려주는 데이터의 범위를 이해하고 종합하기 위해 1차 문헌만 포함하기로 결정했습니다. 이 주제에 대한 수많은 의견, 논평 및 리뷰가 있다는 것을 잘 알고 있습니다. 이러한 자료는 연구팀에게 해당 분야의 지배적인 관점을 알리는 데 도움이 되도록 충분히 검토되었지만, 1차 데이터의 폭과 깊이를 이해하고자 하는 연구 목표를 고려하여 범위 검토에 공식적으로 포함되지는 않았습니다.
Clear inclusion and exclusion criteria were defined a priori in order to contain the search to the scope of our research question. Of note, the decision was made to only include primary literature because we wanted to understand and synthesize the scope of data that informs the predominant emerging perspectives and opinions in the field. We recognize that there are numerous opinions, commentaries and reviews on the subject. These were reviewed in full to help inform the research team on prevailing perspectives in the field, but not formally included in the scoping review given our research aim to understand the breadth and depth of primary data.

2.3 포함 기준
2.3 Inclusion criteria

논문은 대학원 의학교육 내 모든 이해관계자(예: 감독자, 수련의, 환자 및 관련 의료 전문가)의 관점에서 직장 및 WBA에서의 학습에 대한 인식 또는 기타 측정을 포착한 경우 포함되었습니다.
Papers were included if they captured perceptions or other measures of learning in the workplace and WBA from the perspective of any stakeholder (e.g., supervisors, trainees, patients and allied health professionals) within Postgraduate Medical Education.

본 연구의 목적을 위해, 우리는 학습이 임상 환경에서의 활동과 상호작용, 그리고 수련의의 참여에 의존하는 직장 내 학습(WBL)에 대한 빌렛의 정의를 사용했습니다.34 WBA는 관찰이 필요하고 피드백의 기회를 창출하는 임상 환경에서 수행되는 평가로 정의했습니다.35 영어로 제공되고 1차 데이터(양적, 질적 또는 혼합 방법)가 포함된 논문만 포함했습니다.
For the purposes of our work, we used Billett's definition of learning in the workplace (WBL) where learning is reliant on both the presence of activities and interactions in clinical settings, and the engagement of trainees.34 WBA was defined as an assessment performed in the clinical environment that requires observation and creates the opportunity for feedback.35 Only papers that were available in English and contained primary data (quantitative, qualitative or mixed-methods) were included.

2.4 제외 기준
2.4 Exclusion criteria

제외 기준에는 다른 보건 전문직 분야, 학부 의학교육과 관련된 논문 및 전문을 볼 수 없는 논문이 포함되었습니다.
The exlusion criteria included papers related to other health professions fields, undergraduate medical education and those unavailable in full text.

검색 전략은 사서의 도움을 받아 의학교육 대학원 교육, 직장 학습, 평가 또는 평가를 포착하기 위해 핵심 용어를 사용하여 개발되었습니다(전체 검색 전략은 부록 S1 참조). 이 전략은 OVID Medline, Web of Science, ERIC 및 CINAHL 데이터베이스에 적용되었습니다. 2020년 9월까지 출판된 논문이 이 검토에 포함되었습니다.
The search strategy was developed with the assistance of a librarian using the core terms to capture medical education postgraduate training, workplace learning and assessment or evaluation (see Appendix S1 for the complete search strategy). The strategy was applied in OVID Medline, Web of Science, ERIC and CINAHL databases. Papers published until September 2020 were included in this review.

검색 전략에 의해 포착된 모든 논문의 제목과 초록은 연구팀원 두 명(LM과 SB)이 독립적으로 선별하고 포함 및 제외 기준과 비교하여 적절성을 결정했습니다. 검토 과정에서 소프트웨어 Rayyan QCRI가 사용되었습니다.36 연구자들은 검색 전략과 포함 기준이 적절한지 확인하기 위해 심사 과정의 시작, 중간, 마지막 단계에서 만났습니다.31 포함 여부에 대해 이견이 있는 경우 초록을 다시 검토하여 합의에 도달할 수 있는지 확인했습니다. 심사 과정이 끝나면 연구팀원 2명이 각 논문의 전문(LM 및 SB)을 검토하여 포함 기준을 더 이상 충족하지 못하는 경우 해당 논문을 삭제했습니다. 이견이 있는 경우 연구팀의 세 번째 구성원이 참여하여 합의에 도달할 때까지 토론을 진행했습니다. 연구 흐름도는 그림 1을 참조하세요. 
The titles and abstracts of all papers captured by the search strategy were screened by two members of the research team independently (LM and SB) and compared against the inclusion and exclusion criteria to determine their appropriateness. The software Rayyan QCRI was used during the review process.36 Researchers met at the beginning, midpoint and final stages during the screening process to ensure the search strategy and inclusion criteria were appropriate.31 If there was disagreement regarding inclusion, the abstract was re-reviewed to see if a consensus could be reached. After the screening process, two members of the research team reviewed the full text of each paper (LM and SB), and if inclusion criteria were no longer met, it was removed. If disagreements were raised, a third member of the research team was involved, and a discussion held until consensus reached. Please see Figure 1 for the study flow chart.

2.5 데이터 추출
2.5 Data extraction

데이터 추출을 안내하기 위해 엑셀 스프레드시트를 선험적으로 개발하여 반복적으로 업데이트했습니다. 연구팀 전체가 데이터 추출에 참여했으며, 추출은 포함된 모든 논문에 대해 중복으로 수행되었습니다. 추출된 데이터에는 논문 번호, 제목, 저자, 학술지, 출판 연도, 국가, 주요 방법론, 주요 연구 결과 및 검토자가 포함되었습니다. 질적 데이터의 경우, 연구 결과를 단순히 요약하는 것을 피하기 위해 서술적 분석 방법을 사용했습니다.31 연구자들은 선별 과정의 시작, 중간, 최종 단계에서 만나 데이터 수집이 합리적이고 의미 있는지 확인했습니다.31 검토 과정에서 각 논문은 포함된 양적 연구에 대해서는 의학교육 연구 품질 도구(MERSQI)37 를, 질적 연구에 대해서는 Cote 등이 발표한 질적 연구 그리드를 사용하여 품질을 평가했습니다.38 품질 검토 과정은 연구팀과 독자에게 포함된 연구의 품질에 대해 정보를 제공하기 위한 것이며 포함 또는 제외를 안내하기 위해 사용되지는 않았습니다. 
An excel spreadsheet was developed a priori to guide data extraction, and updated iteratively. The entire research team participated in data extraction, and extraction was done in duplicate for every included paper. The extracted data included the papers' assigned number, title, authors, journal, year of publication, country, primary methodology, key findings and reviewers. For qualitative data, a descriptive-analytical method was employed to avoid simply summarizing the findings.31 Researchers met at the beginning, midpoint and final stages of the screening process to ensure the data collection was both reasonable and meaningful.31 During the review, each paper was also assessed for quality, using the Medical Education Research Study Quality Instrument (MERSQI)37 for included quantitative studies, and a qualitative study grid as published by Cote et al.38 The quality review process was meant to inform the research team and readers regarding quality of the included studies and was not used to guide inclusion or exclusion.

2.6 데이터 분석
2.6 Data analysis

각 논문의 서술적-분석적 요약을 검토한 후, 각 팀원이 개별적으로 질적 주제를 생성했습니다. 그런 다음 팀원들 간에 합의에 도달할 때까지 논의하여 다음 기준을 충족하는 프레임워크를 개발했습니다: (1) 기초 문헌을 반영하고, (2) 연구팀의 면밀한 검토를 견뎌내고, (3) 해당 분야와 관련성이 있을 만큼 충분한 깊이와 폭을 포함해야 합니다. 빌렛의 네 가지 전제는 직장 기반 평가 이전의 의료 환경에서의 WBL에 대한 명확하고 전체적인 관점을 제공하기 때문에 분석의 틀을 구성하기 위해 선택되었습니다.25 데이터 분석의 마지막 단계로, 연구팀은 연구 및 실무에 대한 연구 결과의 향후 함의를 탐색했습니다. 
Upon reviewing the descriptive-analytical summaries of each paper, qualitative themes were generated individually by each team member. These were then discussed amongst the team until consensus was reached, and a framework was developed, which met the following criteria: (1) reflected the underlying literature; (2) withstood scrutiny of the research team and (3) included sufficient depth and breadth to have relevance to the field. Billett's four premises were selected to frame the analysis because they provide a clear and holistic perspective on WBL in the healthcare setting which pre-dated workplace-based assessment.25 As the final step of data analysis, the research team explored future implications of our findings on research and practice.

2.7 자문 단계
2.7 Consultation phase

검토 완료 후 결과의 타당성을 높이기 위해 외부 이해관계자에게 전문가 의견을 구하여 연구 결과가 WBA 및 WBL에 대한 그들의 경험에 공감할 수 있도록 했습니다.32 
To improve the validity of our results upon completion of the review, expert opinion was sought from external stakeholders to ensure our results resonated with their experience in WBA and WBL.32

2.8 연구팀
2.8 Research team

연구팀은 교육 설계, 평가 및 임상 추론에 대한 전문성을 갖춘 캐나다의 3개 대학(맥마스터 대학, 웨스턴 대학, 퀸즈 대학)의 다양한 임상의 및 의학교육자 그룹으로 구성되었습니다. 저자들은 CBME 구현의 여러 단계에서 다양한 환경에서 WBA 및 CBME에 대한 다양한 행정 및 실무 경험을 보유하고 있습니다. 이 팀은 학습에 대한 사회적 구성주의 철학과 CBME의 목표에 대한 공통된 이해를 공유합니다. 
The research team consisted of a diverse group of clinicians and medical educators at three academic Universities in Canada (McMaster University, Western University and Queens University), with expertise in instructional design, assessment and clinical reasoning. The authors have diverse administrative and practical experience with WBA and CBME across a breadth of settings at various stages of CBME implementation. The team shares a social constructivist philosophy on learning, and a common understanding of the goals of CBME.

3 결과
3 RESULTS

문헌 검색을 통해 692개의 초록이 생성되었으며, 이 중 51개의 논문이 전체 텍스트 검토 기준을 충족했습니다(그림 1). 51개 논문 중 33개 논문이 포함 기준을 충족했습니다. 전체 텍스트를 검토한 결과, 직장에서의 학습과 평가의 교차점에 대한 이해를 돕는 1차 데이터가 상대적으로 부족하다는 점이 강조되었습니다. 
The literature search generated 692 abstracts, of which 51 papers met criteria for the full text review (Figure 1). Of the 51 papers, 33 met the inclusion criteria. The full text reviewed highlighted that there is a relative paucity of primary data informing our understanding regarding the intersection between learning and assessment in the workplace.

3.1 포함된 논문의 특징
3.1 Characteristics of included articles

표 1은 이 검토에 포함된 논문의 특징을 요약한 것입니다. 포함된 각 논문에 대한 자세한 요약은 부록 S2에서 확인할 수 있습니다. 논문은 외과 및 의학 전문 분야에 걸쳐 있으며 주로 북미와 유럽에서 수행되었습니다. 포함된 논문의 대부분은 질적 방법론을 사용했으며, 세부적으로는 23건의 질적 연구, 5건의 혼합 방법, 5건의 정량적 연구가 포함되었습니다. 정성적 연구는 대부분 인터뷰(43%) 또는 포커스 그룹(39%)을 사용했습니다. 이러한 정성적 연구 중 상당수가 구성주의적 근거 이론을 분석에 사용했으며(36%), 대부분 WBA 도구(미니 임상 평가 연습[CEX], 사례 기반 토론 등)를 사용하는 데 중점을 두었습니다. 정량적 연구 또는 혼합 방법 연구의 구성 요소는 Q 방법론 연구39 및 평가 점수의 후향적 비교를 사용한 두 연구를 제외하고는 설문조사 기반이었습니다.40 
Table 1 summarizes the characteristics of the included articles in this review. A more detailed summary of each included paper is available in Appendix S2. The papers spanned both surgical and medical specialities and were predominantly conducted in North American and European contexts. The majority of the included papers employed qualitative methodology: the specific breakdown included 23 qualitative, five mixed methods and five quantitative studies. Qualitative studies mostly employed interviews (43%) or focus groups (39%). A significant proportion of these qualitative studies employed constructivist grounded theory for the analyses (36%), and most of them focused on the employment of a WBA tool (mini-clinical evaluation exercise [CEX], case-based discussion, etc.). The quantitative studies, or components of mixed-method studies, were survey-based with the exception of two studies, which used a Q methodological study39 and retrospective comparison of assessment scores.40

 

모든 연구는 교육생(36%), 교수진(6%) 또는 둘 다(58%)의 관점에서 WBA를 통한 학습에 대한 인식에 초점을 맞추었습니다. 논문 중 12편(36%)만이 사회적 정체성이나 상황적 학습 이론과 같은 기존의 심리학 또는 교육 이론을 명시적으로 언급했습니다. 분석에 이론을 참조한 논문에서는 사회 인지 이론이 가장 많이 사용되었습니다(15%). 
All studies focused on the perception of learning through WBA, from the perspective of either trainees (36%), faculty (6%) or both (58%). Only 12 of the papers (36%) made any explicit reference to an existing psychological or education theory, such as social identity or situated learning theory. In the papers that did reference a theory in their analyses, social cognitive theory was the most common (15%). 

 

3.2 주제별 분석
3.2 Thematic analysis

이 문헌고찰의 주제별 분석은 빌렛(Billett) 등이 설명한 의료 업무를 통한 학습의 네 가지 전제에 따라 구성되었습니다.25
The thematic analysis for this review was framed by the four premises of learning through healthcare work described by Billett et al.25

3.2.1 전제 1: 학습은 항상 일어난다
3.2.1 Premise one: Learning occurs all the time

업무를 통한 학습에 관한 빌렛의 논문에서 논의된 바와 같이, 학습은 의도적인 교육 경험만을 위한 것이 아니라 수련생이 업무에 적절히 참여하고 감독자의 지원을 받는다면 일상적인 경험 중에 발생합니다.25 전통적인 직장 학습의 단점은 수련생이 모든 임상 활동에 대한 접근을 보장받지 못하고 간접적인 지도에 의존하기 때문에 학습 목표가 불분명할 수 있다는 위험입니다.25 일부 맥락에서 WBA는 중요한 업무 기반 기술과 역량을 묘사함으로써 학습 목표를 명확하게 개선해 왔습니다.7
As discussed in Billett's paper on learning through work, learning is not reserved for intentional educational experiences but rather occurs during everyday experiences if trainees adequately engage in work and are supported by supervisors.25 A shortcoming of traditional workplace learning is the risk that trainees will not be guaranteed access to all clinical activities, and that learning goals may remain unclear because of reliance on indirect guidance.25 In some contexts, WBAs have improved clarity around learning goals by delineating important workplace-based skills and capabilities.7

이 검토에서 여러 연구에서 강조된 WBA의 주요 장점 중 하나는 WBL에서 피드백이 개선되었다는 점입니다. 많은 교육생들은 WBA를 직접 관찰과 피드백을 '강제'할 수 있는 기회로 여겼으며, WBA 도구를 사용하지 않는 한 피드백은 드문 경험이라는 인식을 보고했습니다.10, 64 이러한 도구는 피드백의 구조와 구체성을 향상시키고 전통적으로 간과되는 비기술적 직접 관찰 기술에 대한 피드백을 장려하는 것으로도 인정받았습니다.48, 49, 52, 54, 63 여러 연구에서 훈련생들은 일관되게 WBA와 관련된 수치적 척도보다 서술적 피드백에서 더 많은 의미를 발견했습니다.7, 49, 51 주목할 점은 WBA가 피드백 과정을 개선했다는 인식이 모든 연구에서 모든 참가자에게 보편적으로 공유되지는 않았다는 것입니다: WBA의 규정된 구조가 활동의 강제적이고 형식적인 특성으로 인해 실제로 피드백의 질을 저하시킨다는 상반된 인식이 존재했습니다.8, 25, 53, 63
One key advantage of WBA that was highlighted across the studies in this review was an improvement in feedback in WBL. Many trainees viewed WBA as an opportunity to ‘force’ direct observation and feedback, and reported the perception that feedback was a rare experience outside of the use of WBA tools.10, 64 These tools have also been credited with enhancing the structure and specificity of feedback, as well as encouraging feedback on non-technical directly observed skills which are traditionally overlooked.48, 49, 52, 54, 63 Across studies, trainees consistently found more meaning in narrative feedback than in the numeric scales associated with WBA.7, 49, 51 Notably, the perception that WBA improved the feedback process was not universally shared by all participants across the studies: there was a contradictory perception that the prescribed structure of WBAs actually led to a deterioration in the quality of feedback due to the compulsory and form-filling nature of the activity.8, 25, 53, 63

3.2.2 전제 2: 개인이 자신의 업무에 참여할 때, 그들은 또한 직장과 직업의 지속적인 변화에 기여한다.
3.2.2 Premise two: As individuals engage in their work, they also contribute to the ongoing transformation of the workplace and their occupation

수련생이 임상 학습 환경에 참여할 때, 그들은 직장 프로세스와 문화의 적극적인 변화에 기여합니다.25 직장 피드백의 증가는 수련생과 감독자 모두의 일상적인 업무 흐름의 변화를 나타냅니다. 또한, 일부 연구에서 WBA 도구를 사용하면 수련생이 인지된 기존 숙련도의 범위를 넘어서는 과제를 완료하도록 장려하는 것으로 나타났습니다.49, 65 '근위 발달 영역'으로의 이러한 추진은 새로운 숙련도의 개발 또는 개선을 촉진하고 수련생이 직장에서 특정 학습 경험을 추구하려는 노력을 변화시킬 수 있습니다.49 
As trainees engage with the clinical learning environment, they contribute to an active change in workplace processes and culture.25 Increased workplace feedback represents a change in the day-to-day workflow of both trainees and supervisors. In addition, the use of WBA tools was found to encourage trainees to complete tasks beyond the scope of their perceived existing skillset in some studies.49, 65 This push towards the ‘proximal zone of development’ could facilitate the development or refinement of novel skills and change efforts by trainees to seek particular learning experiences in the workplace.49

안타깝게도 현재 임상 업무 환경은 다양한 학습 환경에서 WBA를 쉽게 이수할 수 있도록 체계적으로 변화하지 않았습니다. 연수생과 트레이너 모두 직접 관찰, 피드백 제공, WBA 완료에 필요한 시간8, 41, 49, 63 을 장애물로 일관되게 강조했습니다. 이러한 시간 압박은 임상 환경에서 교육과 환자 치료에 대한 경쟁적인 책임으로 인해 악화되는 것으로 나타났습니다.57 업무량, 분절된 업무 패턴, 업무 분배와 같은 의료 시스템 변수가 WBL에 영향을 미치는 것으로 잘 알려져 있습니다.24 개인이 임상 및 교육 업무에 계속 종사하면서 의무적으로 WBA를 이수해야 하는 경우, 관찰, 피드백을 위한 시간을 확보하고 수련의의 학습 목표 수립에 의도적으로 피드백을 통합하기 위해서는 업무 공간 혁신이 이루어져야 할 것입니다.58 
Unfortunately, at this time the clinical workplace has not systematically changed to facilitate the completion of WBAs across different learning environments. Time was consistently highlighted by both trainees and trainers as a barrier for direct observation, provision of feedback, and completion of a WBA,8, 41, 49, 63 each of which are necessary to achieve learning. This time pressure was felt to be exacerbated by competing responsibilities for both education and patient care in the clinical environment.57 Health systems variables such as workload, fragmented work patterns, and distribution of work are well recognized to influence WBL.24 As individuals continue to engage in both their clinical and educational work, which includes the compulsory completion of WBAs, workplace transformation will need to occur in order to create time for observation, feedback, and deliberate integration of feedback into the formulation of trainees' learning goals.58

WBA의 인지된 가치에 관한 직장 내 변화는 시간이 지남에 따라 발생할 수 있습니다. 한 연구에 따르면 마일스톤이 도입된 지 10년이 지난 후 수련의들은 성과와 성적에 덜 집중하게 되었고, 수치 평가보다는 직접적인 관찰과 즉각적인 피드백이 학습에 미치는 긍정적인 영향에 감사를 표하는 것으로 나타났습니다.66 임상 학습 환경 내에서 WBA를 광범위하게 시행하는 초기 단계인 지금, 우리는 WBA의 시행으로 인해 지속적인 변화가 일어날 것으로 예상할 수 있습니다. 
Workplace transformation regarding the perceived value of WBAs can occur with time. In one study, it was shown that 10 years after the rollout of milestones, trainees became less focused on performance and grades, and expressed appreciation for the positive learning implications of direct observation and in-the-moment feedback rather than numerical assessments.66 At this early stage of widespread implementation of WBA within the clinical learning environment, we can anticipate ongoing transformations to take place as a result of the implementation of WBAs.

3.2.3 전제 3: 직장은 물리적 및 사회적 환경에 의해 구성된 임상 지식을 제공합니다. 이러한 실제 환경에 대한 적극적인 참여는 개인적으로 매개되며 의미 있는 학습을 위한 필수 조건입니다.
3.2.3 Premise three: Workplaces provide clinical knowledge framed by the physical and social environments. Active engagement with these authentic environments is personally mediated and a requisite for meaningful learning

이러한 전제는 학습이 이루어지는 문화와 맥락의 핵심적인 중요성과 실제 환경에 대한 교육생의 적극적인 참여의 필요성을 강조합니다.20 따라서 WBA를 사용하는 감독자와 교육생 모두 이러한 도구의 워크플로와 목적에 대한 이해를 공유하는 것이 중요합니다. WBA가 이중 목적(형성 또는 학습을 위한 평가 vs 요약 또는 학습의 평가)으로 사용되기 시작했다는 점을 감안할 때,11 연수생과 감독자 모두의 관점에서 볼 때 목적이 명확하지 않은 것은 이해할 수 있습니다.7-9, 49, 50, 56, 57 WBA의 목적에 대한 이해의 다양성은 '총괄 대 형성'이라는 이중 목적에 대한 인식을 넘어선 것으로 나타났습니다.

• de Jonge 등의 연구에 따르면 참가자들 사이에서 WBA에 대한 다섯 가지 관점이 발견되었습니다.39 예를 들어, 이 연구에서 한 관점은 학습자가 능동적이고 자기 주도적인 역할을 수행해야 하며 '학습할 내용을 결정'해야 하는 WBA 과정을 통해 학습자의 주체성을 강조합니다.39 이는 객관성과 같은 일부 다른 관점과는 대조적이었는데, WBA가 고도로 구조화되고 기준 기반이며 '개별 학습 목표에 맞춰지지 않는 것'에 가치를 두었습니다.39
• 다른 연구에서도 많은 교육생이 기준 기반 성과 기준이 평가 데이터 해석과 학습 목표 개발에 어떻게 도움이 되는지 유사하게 설명했습니다.7, 46, 53, 67 명확하게 정의된 성과 기준은 연수생과 감독자가 WBA 과정에 참여하고, 주어진 역량을 달성하는 것이 무엇을 의미하는지 이해하고, CBME 맥락에서 피드백을 촉진하는 데 도움이 될 수 있습니다.46, 48, 52, 53, 55, 67 
• 드 존지 연구39 에서 언급된 다른 관점으로는
  • 임상 환경에서 양질의 환자 치료를 보장하기 위해 WBA가 중요하다고 느낀 책무성과
  • 응답자가 WBA가 감독자와 연수생 간의 합작 투자라고 느낀 상호성이 있습니다.
  • 학습자와 수퍼바이저 간에 WBA를 완료할 책임이 어디에 있는지에 대한 '논쟁'은 문헌의 다른 곳에서도 볼 수 있습니다.10
• 직장에서의 의료 교육의 사회적, 문화적 맥락은 자율성과 효율성을 모두 중시하는 것으로 알려져 있습니다.47 이러한 효율성 중시는 수련생이 직장에서 수퍼바이저에게 평가를 완료하도록 요청하는 것을 특히 어렵게 만듭니다.47 주요 이해관계자들 사이에서 WBA의 목적과 실행에 대한 공유된 이해가 부족하여 프로세스의 구매와 참여에 영향을 미치고, 불행히도 수련생의 전반적인 학습 가치를 약화시킬 수 있습니다. 

This premise highlights the core importance of the culture and context where learning takes place, and the need for active engagement of trainees in the authentic environment.20 As this stands, it is critical that both supervisors and trainees using WBAs share an understanding of the workflow and purpose of these tools. Given that WBAs have begun to serve a dual purpose (formative or for-learning versus summative or of-learning),11 there remains an understandable lack of clarity of purpose from the perspective of both trainees and supervisors.7-9, 49, 50, 56, 57 The diversity of understanding regarding the purpose of WBAs has been shown to go beyond the perception of the dual ‘summative versus formative’ purpose.

• A study by de Jonge et al. uncovered five different perspectives on WBA amongst their participants.39 For example, one perspective in this study emphasizes learner agency through the WBA process, where trainees should play an active, self-directed role and ‘decide what is to be learnt’.39 This was in contrast with some of the other perspectives, such as objectivity, where value was placed on WBA being highly structured, criterion-based and ‘not be tailored to individual learning goals’.39 
• Across other studies, many trainees similarly described how criterion-based performance standards helped guide their interpretation of assessment data and the development of learning goals.7, 46, 53, 67 Clearly defined performance standards can help trainees and supervisors engage in the WBA process, understand what it means to achieve a given competency, and facilitate feedback in the CBME context.46, 48, 52, 53, 55, 67 
• Other perspectives noted in the de Jonge study39 included
  • accountability, where WBA was felt to be important in the clinical setting to ensure high-quality patient care, as well as
  • mutuality, where respondents felt WBA should be a joint venture between supervisor and trainee.
  • The ‘debate’ about where the responsibility falls to complete WBAs between learners and supervisors is seen elsewhere throughout the literature.10 
• It is known that the social and cultural context of medical training in the workplace values both autonomy and efficiency.47 This focus on efficiency makes it particularly challenging for trainees to ask supervisors to complete an assessment in the workplace.47 The lack of shared understanding regarding the purpose and implementation of WBA amongst key stakeholders has impacted the buy-in and engagement with the process, which can unfortunately undermine the overall learning value for trainees.

이러한 문제에 기여하는 것은 PGME 교육생 교육에서 개별 슈퍼바이저가 수행하는 역할의 다중성입니다. 예를 들어, 한 명의 수퍼바이저가 개별적인 순간 평가, 종단적 종합 평가, 연수생 그룹에 대한 승진 관련 결정에 대한 가중치 부여를 동시에 담당할 수 있습니다.49 수퍼바이저들은 교사와 평가자의 역할을 겸하고 있기 때문에 비판적인 피드백을 제공하는 것이 어렵다고 말했습니다.52 WBA를 시행할 때, 평가가 수퍼바이저와 학습자 간의 대인 관계 및 신뢰 관계 구축에 미치는 영향을 고려하는 것이 어려웠습니다.57 또한, 수련생은 수퍼바이저가 직면한 이러한 문제에 민감하며, 이러한 공유된 역할이 WBA 후 제공되는 피드백의 신뢰성에 미칠 수 있는 영향을 인식하고 있습니다.8, 9, 45 이에 대응하여, 수퍼바이저와 수련생이 직접 관찰의 역할에 대해 공개적으로 논의할 것을 권장하고 있습니다.45 이는 WBA 중 양측의 요구를 명확히 하기 위한 것입니다. 수퍼바이저와의 종적, 지지적 관계는 학습자가 평가 순간의 학습 가치에 기여한다고 느꼈기 때문에 학습을 촉진하도록 권장됩니다.8, 9, 57, 61 이는 수퍼바이저가 시간이 지남에 따라 실제 임상 실습을 반복적으로 관찰할 수 있게 해주기 때문에 의미 있는 피드백을 향상시킬 수 있습니다.57 

Contributing to this challenge is the multitude of roles an individual supervisor may play in the education of PGME trainees. For example, one supervisor may be simultaneously responsible for completing individual in-the-moment assessments, longitudinal summative assessments and weighing in on decisions regarding promotion for a group of trainees.49 Supervisors have spoken about the difficulty in providing critical feedback, given their combined role of teacher and assessor.52 In the implementation of WBAs, it has been difficult to account for the impact of assessment on the interpersonal relationship between supervisors and learners and the establishment of a trusting relationship.57 In addition, trainees are sensitive to this challenge facing supervisors and recognize the impact this shared role can have on the authenticity of feedback provided after a WBA.8, 9, 45 In response to this, it has been recommended that supervisors and trainees openly discuss the role of direct observation,45 in order to clarify the needs of both parties during a WBA. Longitudinal, supportive, relationships with supervisors were felt by learners to contribute to the learning value of the assessment moments and therefore are encouraged to facilitate learning.8, 9, 57, 61 This can enhance meaningful feedback, as it allows supervisors to repeatedly observe authentic clinical practice over time.57

3.2.4 전제 4: 경험 전반에 걸친 학습과 개인 개발은 서로 연관되어 있지만 별개의 과정이며, 개인은 한 경험에서 동일한 것을 배우지 않는다.
3.2.4 Premise four: Learning and personal development across experiences are related but separate processes, and individuals will not learn the same thing from one experience

두 개인은 한 경험에서 같은 것을 배우지 않을 것입니다.25 이는 '학습을 위한' WBA를 구현하는 데 있어 잘 문서화되어 있으며 학습 목표와 성과 목표 사이의 긴장으로 설명되어 온 도전 과제에 대한 강력한 틀을 제공합니다. 예를 들어, 연구에 따르면 학습자는 다음 두 가지 목표 중 하나를 달성하기 위해 WBA 사례 또는 평가자를 찾는 것으로 나타났습니다:

• (1) 역량 입증(성과 지향) 또는
• (2) 학습 극대화(성장 또는 숙달 지향) .9, 67

Two individuals will not learn the same thing from one experience.25 This provides a powerful framing of the challenges which have been well-documented in the implementation of WBA ‘for-learning’ and has been described as the tension between learning versus performance goals. For example, studies illustrate that learners specifically seek WBA cases or assessors to achieve one of two goals:

• (1) demonstrate competence (performance orientation) or
• (2) maximize learning (growth or mastery orientation).9, 67 

Castanelli 등은 WBA에서 역량을 입증하려는 학습자의 동기를 '선순환 또는 악순환'으로 설명합니다.49 악순환에 빠진 학습자의 경우 WBA가 '틱 박스' 연습이 되어 평가의 진정성과 전반적인 학습 가치에 영향을 미칠 위험이 있습니다.8, 10, 49, 51, 53, 55, 56 한 연구에 참여한 연수생들은 전문성 개발을 지원하는 데 있어 이러한 피드백이 중요한 요소임을 인식하면서도 비공식적인 피드백이 자존감에 덜 위협적이라고 느꼈기 때문에 WBA의 맥락 밖에서 부정적이거나 건설적인 피드백(즉, '진정한 학습')을 구체적으로 추구하는 것으로 나타났습니다.9 WBA를 시행함으로써 학습자에게 도움이 되도록 평가를 조작하는 '게임'의 문화를 의도하지 않게 조성한 것은 아닌지 의문이 제기되었습니다.9
Castanelli et al. describe learners' motivation to demonstrate their competence in WBAs as the ‘Virtuous or Vicious Cycle’.49 For those in the Vicious Cycle, there is a risk that WBAs could become ‘tick-box’ exercises, impacting the authenticity of the assessment and overall learning value.8, 10, 49, 51, 53, 55, 56 Trainees in one study identified specifically seeking negative or constructive feedback (i.e., ‘real learning’) outside of the context of a WBA, as they recognized the critical element of such feedback in supporting their professional development but felt informal feedback was less threatening to their self-esteem.9 The question has been raised whether, through the implementation of WBA, we have unintentionally created a culture of ‘gaming’—manipulating assessments to benefit the learner.9

일부 교육생이 성과 목표를 중심으로 학습하는 경향은 전통적인 WBA 이외의 영역에서도 나타났습니다. 이 검토에 포함된 다른 연구에서는 공식적인 WBA를 동시에 완료하지 않더라도 모든 관찰이 평가처럼 느껴진다는 인식을 바탕으로 직접 관찰하는 것만으로도 수행 불안에 대한 유사한 설명이 발견되었습니다.41, 42 이에 따라 교수진은 비공식적이고 직접적인 관찰 순간이 최종 요약 평가에 영향을 미친다고 지지했습니다.41 자기 평가를 조사한 또 다른 연구에서는 학습자가 피드백을 얻고 통합하려고 노력하지만 확인되지 않은 정보를 두려워하고 자신의 자기 평가와 불일치를 조정하는 데 어려움을 겪는 유사한 긴장이 강조되었습니다.43 이러한 평가의 '위협'은 훈련생의 성과 지향적 조정 행동으로 이어질 수 있으며,42, 58 이는 비공식 직접 관찰의 학습 가치를 훼손할 수 있습니다. 이러한 결과를 바탕으로 일부 교육자들은 구조화된 평가와 엄격하게 분리된 관찰 기반 코칭 문화를 제안했습니다.42, 57 
The inclination for some trainees to orient themselves around performance goals has been shown in spheres outside of traditional WBA. Other studies captured in this review found a similar description of performance anxiety simply from being directly observed, based on the perception that any observation felt like an assessment, even without the concurrent completion of a formal WBA.41, 42 In keeping with this, faculty endorsed that informal and direct observation moments did impact their final summative assessments.41 In another study looking at self-assessment, similar tensions were highlighted43 where learners sought to obtain and integrate feedback, but feared disconfirming information and struggled to reconcile inconsistencies with their own self-appraisal.43 This ‘threat’ of assessment can lead to a performance-oriented adjustment trainees' behaviour,42, 58 which will undermine the learning value of informal direct observation. Based on this finding, some educators have proposed a culture of observation-based coaching that is strictly separated from any structured assessment.42, 57

그러나 포함된 연구들은 평가의 '위협'이 보편적이지 않다는 것을 보여줍니다. 연수생 개개인은 직접 관찰로 인한 정서적 스트레스에 대한 반응이 다양하며,58 WBA에 대한 선호도도 다양합니다.63

• 한 연구에서, 피드백 및 평가에 대한 일반적인 접근 방식에 WBA가 보완적이라고 생각한 슈퍼바이저나 연수생은 더 쉽게 도구를 통합할 수 있었습니다.63
• 같은 연구에서, WBA가 일반적인 접근 방식에 적합하지 않지만 그 과정의 가치를 인정하여 도구를 통합하려고 노력한 개인도 있었습니다.63
• WBA의 역할을 이해하지 못하는 개인은 그 과정이 특히 부담스럽고 교육적 가치가 낮다고 느꼈습니다.63
• 적극적인 슈퍼바이저는 자주 관찰하고 피드백을 제공함으로써 교육생들의 평가 회피 행동을 극복할 수 있는 것으로 나타났습니다.58
• 종종 전체 교육 그룹이 관점을 공유하는데, 이는 사회적 맥락의 중요성을 더욱 강조합니다.58
• 이에 발맞춰 Balmer 등의 후속 연구에 따르면 교수진과 교육생 모두 CBME 맥락에서 10년 후 성과 지향에서 학습 지향으로 전환할 수 있었습니다.66
• 성과에서 학습 지향으로의 전환은 이해관계자들이 성과 기준, 과정 및 목적을 포괄적으로 지향하고 결국 공유 정신 모델을 달성하기 위해 시간이 더 필요하다는 것을 시사할 수 있습니다.

이 범위 검토에 포함된 연구 전반에서 사회적 학습 이론이 가장 일반적으로 적용된 이론이었습니다.9, 43, 47, 57, 61 이는 이 분야의 연구자들 사이에서 WBA를 통한 학습을 이해하는 데 있어 사회적 맥락의 중심 역할에 대해 어느 정도 동의한다는 것을 시사합니다. 

Yet the included studies illustrate that the ‘threat’ of assessment is not universal. Individual trainees have variable responses to the emotional stress of direct observation,58 and variable affinity towards WBA.63 

• In one study, supervisors or trainees that found WBA complimentary to their usual approach to feedback and assessment were able to incorporate their use with greater ease.63 
• In this same study, there were individuals who did not find that WBA fit with their usual approach, but ascribed to the value of the process, and thus worked to incorporate the tools.63 
• It was individuals who did not understand the role of WBA that found the process particularly burdensome and the educational value to be low.63 
• Active supervisors have been shown to be able to overcome avoidant assessment behaviour by trainees by offering frequent observation and feedback.58 
• Perspectives are often shared by the whole training group, which further highlights the importance of the social context.58 
• In keeping with this, a follow-up study by Balmer et al. found that both faculty and trainees were able to shift from a performance orientation to a learning orientation after 10 years in a CBME context.66 
• The transition from performance to learning orientation could suggest that we simply need more time to comprehensively orient stakeholders to the performance standards, process and purpose, and eventually achieve a shared mental model.

Across the included studies in this scoping review, social learning theories were the most commonly applied theories.9, 43, 47, 57, 61 This suggests some agreement regarding the central role of social context in understanding learning through WBA amongst researchers in this field.

WBL 문헌 기반에서 수퍼바이저와 연수생 행동의 개인차는 학습의 조절자로서 광범위하게 설명되어 왔습니다.24, 25 Wiese 등의 모델에서는

• 수퍼바이저 스타일의 차이가 학습에 미치는 영향(전문적 대 비전문적 행동 모델링, 마이크로 매니지먼트 대 미니멀리스트 수퍼바이저 스타일)과
• 연수생 간의 차이(자신의 학습에 대한 연수생의 주체성, 부적절한 지원 추구에 대한 인식 및 두려움, 피드백 추구 행동)를 강조했습니다.24

WBL에 대한 Billett의 논문에서도 마찬가지로 개인이 사회적 맥락에서의 참여, 환경 단서의 흡수 및 자신의 진행 상황 모니터링을 포함하여 제공되는 학습 경험에 참여할 수 있는 다양성을 강조하고 있습니다.25 따라서 다양한 교육생 목표 지향성은 WBA 시대에 새로운 것은 아니지만 임상 환경에서 직접 관찰, 피드백 및 평가의 요구 빈도와 인식이 증가함에 따라 더 큰 관심을 받고 있습니다.  
In the WBL literature base, individual differences in supervisor and trainee behaviours have been extensively described as modulators of learning.24, 25 In the Wiese et al. model,

• differences in supervisory styles were highlighted for their impact on learning (professional versus unprofessional behaviour modelling, micromanaging versus minimalist supervisor styles) as were
• differences between trainees (trainee agency over their own learning, perceptions and fears of inappropriate support seeking, feedback-seeking behaviours).24 

Billett's paper on WBL similarly emphasizes the variance through which individuals will engage in the provided learning experiences, including their engagement in the social context, uptake of environmental clues and monitoring of their own progress.25 Thus, the different trainee goal orientations are not new in the era of WBA but have received greater attention given the increased required frequency and perceived stakes of direct observation, feedback and assessment in the clinical environment.

4 논의
4 DISCUSSION

이 범위 검토를 통해 연수생과 교수진의 관점에서 WBA를 통한 학습을 탐구하는 광범위한 1차 문헌 기반을 확인했습니다. 이전 리뷰와 관점에서는 WBA의 실행,6,68 수용성, 효과 및 유용성을 검토한 바 있지만,20 본 연구는 WBA가 대학원 의학 학습에 미치는 영향을 총체적으로 탐구한 최초의 연구입니다. 긴장과 도전 과제를 재구성하기 위해 이 분석은 빌렛의 기존 WBL에 따라 진행되었습니다.25  
This scoping review identified a broad primary literature base exploring learning through WBA from the perspective of trainees and faculty members. While prior reviews and perspectives have examined the implementation,6, 68 acceptability, effectiveness, and utility of WBA,20 our study is the first to holistically explore how WBA impacts postgraduate medical learning. In order to re-frame tensions and challenges, the analysis was guided by Billett's existing WBL.25

우리는 학습을 '알고, 할 수 있고, 가치 있는 것'으로 변화하는 과정으로 정의합니다.25 이 광범위한 정의를 적용하면 학습이 항상 어떻게 발생하는지 명확해집니다. 임상 업무 환경에서는 교육생의 가치 체계 변화와 같이 모든 형태의 학습을 포착하거나 측정하기 쉬운 것은 아닙니다. 학습을 안내하기 위해 WBA를 사용할 때, 감독자가 직접 관찰하고 피드백을 제공하고 평가를 완료하는 능력에 따라 우선순위가 정해지는 특정 유형의 학습이 있습니다. 그 외의 관찰, 상호 작용 및 비공식적인 피드백은 체계적으로 포착할 수 없습니다. 이러한 점을 염두에 두고, 이 범위 검토에서는 WBA와 WBL 사이의 가장 강력한 연결고리로서 피드백을 강조합니다. 보건 전문직 교육에서 피드백은 '교육생의 성과를 개선하기 위한 의도로 주어진 교육생의 관찰된 성과와 표준 간의 비교에 대한 구체적인 정보'로 정의되었습니다.69 위에서 설명한 바와 같이, WBA는 이러한 객관적인 표준을 정의하고48, 49, 52, 54, 63 피드백 빈도의 증가를 유도함으로써 피드백의 구체성과 구조를 강화했습니다.10, 64 그러나 이러한 도구가 교육생에게 제공되는 피드백의 질을 확실하게 개선하지는 못했습니다.8, 53, 63 의미 있는 피드백은 종종 교수진에서 교육생에게 피드백이 선형적으로 전달되는 것이 아니라 교수진과 교육생 간의 공동 구성으로 설명됩니다.24 WBA는 이러한 논의의 출발점이 될 수 있지만,45 이러한 평가가 학습과 역량 평가라는 이중 목적을 달성하는 경우 교수진과 교육생 모두에게 기대치와 목표를 공동 구성하는 것은 실질적으로 어려운 일이 됩니다.7, 48  
We define learning as the process of change to what someone ‘knows, can do and values’.25 Applying this broad definition, it becomes clear how learning occurs all the time. In the clinical workplace, not all forms of learning are easy to capture or measure, such as changes to a trainees' value system. When we hone in on the use of WBA to guide learning, there are certain types of learning that become prioritized based on a supervisor's ability to directly observe, provide feedback and complete an assessment. Other observations, interactions and informal pieces of feedback cannot be systematically captured. With that in mind, this scoping review highlights feedback as the strongest link between WBA and WBL. Feedback within health professions education has been defined as ‘specific information about the comparison between a trainee's observed performance and a standard, given with the intent to improve the trainee's performance’.69 As described above, WBA has enhanced feedback specificity and structure by defining those objective standards,48, 49, 52, 54, 63 and prompting an increase in the frequency of feedback.10, 64 However, these tools have not reliably improved the quality of feedback provided to trainees.8, 53, 63 Meaningful feedback is often described as a co-construction between faculty and trainees, rather than the linear transmission of feedback from faculty to trainee.24 A WBA can act as a starting point for this discussion,45 but co-construction of expectations and goals becomes practically challenging for both faculty and trainees when these assessments serve the dual purpose of learning and assessment of competence.7, 48

4.1 향후 연구를 위한 격차 확인
4.1 Identified gaps for future study

4.1.1 연구 결과의 확장
4.1.1 Expanding research outcomes

이 범위 검토에서 수집한 문헌은 일반적으로 교수진과 연수생의 관점과 WBA 도구의 실행에 대한 반응에 초점을 맞추었습니다. 평가 도구에 대한 인식이 효능에 영향을 미치고,70 태도와 문화가 도구의 수용 가능성과 학습 가치에 영향을 미친다는 것은 분명하지만,63,71 인식을 넘어서는 연구를 시작하는 것이 중요합니다. WBL 이론에서 향후 조사해야 할 관심 있는 결과로는 WBA가 직장의 변화에 미치는 영향,25 전문가 정체성 형성, 안전한 의료행위 참여, 미래 의료행위 준비 등이 있습니다.24 이는 의료 학습 모델을

• 전통적인 자격 지표(지식, 기술 및 태도)를 넘어
• 사회화(전문가 그룹의 일원이 됨) 및
• 주체화(사려 깊고 성찰적이며 책임감 있는 의사 되기)로 확장하려는 최근 제안과 일치합니다.72

사회화 및 주체화를 탐구하는 미래의 학문적 작업은 신중하게 설계된 이론 기반 종단 질적 연구를 통해 추구할 수 있습니다. 
The literature captured in this scoping review generally focused on faculty and trainee perspectives and reactions to the implementation of WBAs tools. While it is clear that perception of an assessment tool will impact the efficacy,70 and attitudes and culture will impact the acceptability and learning value of any tool,63, 71 it is important that we start to move beyond perceptions. Future outcomes of interest to investigate in WBL theory could include the impact of WBA on transformation of the workplace,25 professional identity formation, safe participation in practice and preparation for future practice.24 This aligns with a recent proposal to expand the medical model of learning beyond

• traditional qualification metrics (knowledge, skills and attitudes) to include
• socialization (becoming a member of a professional group) and
• subjectification (becoming a thoughtful, reflective and responsible physician).72 

Future scholarly work to explore socialization and subjectification could be pursued through carefully designed theory-informed longitudinal qualitative studies.

4.1.2 평가 어휘집
4.1.2 Lexicon of assessment

프로그램적 WBA에 적용된 어휘집은 감독자와 훈련생이 공유된 정신 모델을 개발하는 능력을 의도하지 않게 방해했을 수 있습니다. 최근 사용자의 공유된 이해를 개선하기 위해 WBA의 설계와 위임 언어를 최적화해야 한다는 주장이 제기되었습니다.73 언어는 평가의 인지된 부담에도 영향을 미칠 수 있습니다.14 자율성과 유연성을 강화하는 언어로 WBA를 설계하면14, 15 학습자의 주체성을 촉진하고 다양한 교육 상황 및 문화와의 조율을 지원할 수 있습니다.73 이러한 변화는 학습 결과를 설명하기 위해 고안된 도구가 대화, 여러 이해관계자의 관점, 학습이 이루어지는 시스템의 복잡성을 통합해야 한다고 제안하는 경험적 학습 이론 및 문화역사 활동 이론과 일치합니다.23 이는 직장에서의 사회적 학습을 의도적으로 통합하는 훈련생에 대한 성과 관련 피드백으로의 전환을 강화하는 역할을 할 것입니다.74 WBA 프로그램을 재설계할 때 우리는 질문을 할 수 있습니다:

• 학습을 보다 효과적으로 안내하기 위해 WBA 중에 발생하는 복잡하고 상황에 기반한 상호 작용을 포착하도록 도구를 최적화할 수 있을까요?

이러한 재설계에는 이러한 평가의 객관성 부족에 대한 불만을 지속하기보다는 직장 기반 평가에서 '공유-주관성'을 포용하고 중요하게 여길 기회가 있습니다.18 향후 작업에서는 설계 반복에 정보를 제공하기 위해 직장 학습에 관한 지표를 사용하여 WBA를 운영하는 품질 개선 접근법을 채택할 수 있습니다.
The lexicon applied to programmatic WBA may have unintentionally impeded the ability for supervisors and trainees to develop a shared mental model. It was recently argued that the design of WBA, and the language of entrustment, needs to be optimized in order to improve the shared understanding of the users.73 Language is likely to also have an impact on the perceived stakes of an assessment.14 Designing WBA with language that enhances autonomy and flexibility14, 15 could promote learner agency and support alignment with different training contexts and cultures.73 This shift would align with both experiential learning theory and cultural historical activity theory, which suggest that tools designed to describe learning outcomes need to integrate dialogue, perspectives from multiple stakeholders, and the complexity of the system in which the learning takes place.23 This would serve to reinforce the shift towards performance-relevant feedback for trainees, which intentionally integrates social learning in the workplace.74 In re-designing our programmes of WBA could we ask the question: 

• Can the tools be optimized to capture the complex and situationally-rooted interactions that occur during WBA in order to guide learning more effectively? 

There is opportunity in this re-design to embrace and value ‘shared-subjectivity’ in workplace-based assessment rather than perpetuating the frustration about the lack of objectivity of these assessments.18 Future work could adopt a quality improvement approach in operationalizing WBA using metrics around workplace learning to inform design iterations.

4.1.3 범위 확장: 문화적, 이론적, 철학적 토대
4.1.3 Expanding the scope: Cultural, theoretical and philosophical underpinnings

임상팀, 지역 문화, 임상 업무의 성격은 모두 WBL 환경에서 감독자, 수련생, 환자 간의 관계와 상호작용에 영향을 미칩니다.24 이 백서에서는 WBA의 실행이 직장을 어떻게 변화시킬 것인지에 대해 논의합니다. 여러 논문에서 (조직 수준에서) 문화적 변화의 필요성과 CBME 내에 WBA를 통합하기 위한 광범위한 동의에 대해 언급하고 있지만,48 다음은 여전히 불분명합니다.

• (1) 이를 어떻게 배양해야 하는지,
• (2) 임상 작업장의 변화(의도적이든 비의도적이든)를 어떻게 모니터링해야 하는지

The clinical team, local culture, and nature of clinical tasks all influence the relationship and interactions between supervisors, trainees and patients in the WBL environment.24 In this paper, we discuss how the implementation of WBA will transform the workplace. While papers speak to the need for cultural change (at the organizational level) and widespread buy-in for integrating WBA within CBME,48 it remains unclear

• (1) how this should be cultivated and
• (2) how we should monitor the transformation of our clinical workplaces (both intentional and unintentional).

이 리뷰에 포함된 대부분의 연구는 귀납적 질적 방법론, 주로 구성주의 근거 이론(CGT)을 적용했습니다. 완전 귀납적 연구 설계인 CGT의 경우, 연구팀은 데이터로부터 자체 이론을 생성합니다.75 현 단계에서 우리는 WBA 맥락에서 '긴장'으로 나타나는 행동과 정서적 반응을 이해하기 위해 향후 연구에서 사회문화 및 학습 이론이 필요하다고 주장합니다. 링가드와 클라센은 임상 수퍼비전의 복잡한 차원을 지속적으로 이해하는 것의 중요성에 대해 언급하며, 이는 WBA를 통해 수련생과 수퍼바이저의 행동을 평가하는 비선형 매트릭스를 포함합니다.76 우리는 이 렌즈를 통한 추가 연구가 학습을 위한 평가가 언제, 어떻게 이루어질 수 있는지에 대해 더 가까이 다가갈 수 있기를 바랍니다. 
Most studies included in this review applied inductive qualitative methodologies, predominantly constructivist grounded theory (CGT). In the case of CGT, which is a fully inductive study design, the research team generates their own theory from the data.75 At this stage, we argue that sociocultural and learning theories are required in future studies in order to understand the behaviour and emotional reactions presenting as ‘tensions’ within the WBA context. Lingard and Klasen comment on the importance of continuing to understand the complex dimensions of clinical supervision, a non-linear matrix that contains evaluating trainees' and supervisors' behaviours with WBAs.76 We hope that further research through this lens could move closer to if, when and how assessment-for-learning can be achieved.

이 백서에서는 임상 학습 환경에서 WBA를 사용하는 사람들이 공유하는 멘탈 모델의 부재와 이것이 교육생의 참여에 미치는 영향을 강조합니다. 한 걸음 물러서서 생각해보면 이러한 구현 문제는 CBME의 철학적 기원에 대해 생각해 볼 때 예측할 수 있었던 문제일 수도 있습니다. 타바레스 등이 주장한 바와 같이, 평가 문헌에는 역량의 철학적 토대에 대한 일관된 정신 모델이 부족하며, 일부 모델은 실증주의 또는 포스트 실증주의에 부합하고 다른 모델은 구성주의 또는 해석주의에 부합합니다.77 이러한 다양한 철학적 관점은 평가 설계, 실행, 교수진 개발 및 연수생과 WBA의 상호작용에 영향을 미치며, 이는 의심할 여지없이 학습에 영향을 미칠 것입니다.

• 실증주의적 관점은 일부 기준 기반 성과 표준에 초점을 맞출 가능성이 높으며,7, 39, 77 이는 성과 지향에 대한 긴장을 고조시킬 위험이 있습니다.
• 반면 구성주의적 관점은 강력한 심리측정의 필요성을 덜 강조하고, 유연성 향상과 학습자 선택권 확대를 통해 상황 및 문화적 요인을 포착하는 것을 수용합니다.77

우리는 WBA 및 학습 분야에서 연구자들이 다양한 철학적 입장을 계속 유지할 것임을 인식하며, 향후 작업에서 이러한 대화의 일관성과 명확성을 높이기 위해 연구자들이 자신의 철학적 입장을 명시적으로 공개할 것을 촉구합니다.77 연구자의 철학적 입장은 연구 결과와 얽혀 있으며 WBA를 통한 학습 결정의 기본이 될 것입니다.77 
This paper highlights the absence of a shared mental model by those using WBA in clinical learning environments and the impact of this on trainees' engagement. Taking a step back, perhaps this implementation challenge could have been predicted when we think about the philosophical origins of CBME. As argued by Tavares et al., there is lack of a consistent mental model around the philosophical underpinnings of competence within assessment literature, with some models aligning with positivism or post-positivism, and others with constructivism or interpretivism.77 These different philosophical perspectives will impact assessment design, implementation, faculty development and trainee interaction with WBA, which will undoubtedly impact learning.

• Positivist perspectives are more likely to focus on some of the criterion-based performance standards,7, 39, 77 which risks contributing to the rising tensions around performance orientation.
• Alternatively, a constructivist perspective de-emphasizes the need for robust psychometrics, and embraces capturing situational and cultural factors through enhanced flexibility and greater learner agency.77 

We recognize that there will continue to be a variety of philosophical positions held by researchers in the space of WBA and learning, and echo the call for researchers to explicitly disclose their philosophical position in order to enhance alignment and clarity of these conversations in future work.77 Researchers' philosophical positions are intertwined with research outcomes and will be fundamental to determining learning through WBA.77

4.2 요약
4.2 Summary

빌렛의 네 가지 전제의 렌즈를 사용하여 WBA를 통한 학습의 과제를 재구성하면 관찰을 상황화하고 표준화하여 앞으로 나아갈 길을 명확하게 제시하는 데 도움이 됩니다.

• 학습은 WBA 획득 여부와 관계없이 WBL 내에서 항상 발생한다는 것이 분명해집니다. 지나치게 규범적이지 않다면, WBA는 WBL에서 학습 목표의 명확성을 높이고 덜 일반적으로 관찰되지만 진정한 임상 술기에 대한 직접적인 관찰과 피드백을 장려하는 역할을 할 수 있습니다.
• 또한, WBA에 대한 우리의 지속적인 참여는 우리의 업무 환경을 변화시키고 있으며, 우리는 이러한 영향을 파악하고 이해하는 초기 단계에 있습니다. WBA가 학습이나 목표 지향성에 미치는 영향에 대해 '모든 것에 맞는' 하나의 정의를 내릴 수는 없다는 점을 인식하는 것이 중요합니다. 즉, 부분적으로는 WBL 환경 내에서 WBA 프로세스에 대한 참여가 개인적, 사회적으로 매개되기 때문입니다.
• 마지막으로, 우리는 WBA와 WBL 모두에서 학습의 조절자를 이해함으로써, 교육 프로그램이 다양한 사회적 환경 내에서 개별 학습자의 요구에 맞게 평가 전략을 조정하고 '실천 속에서 아는 것'에 필요한 주관성을 포용하는 시스템을 만들 수 있다고 제안합니다.

Re-framing the challenges of learning through WBA using the lens of Billett's four premises helps to provide clarity on a path forward by situating and normalizing our observations.

• It becomes clear that learning occurs all the time within WBL, irrespective of whether WBAs are obtained. If not overly prescriptive, WBA can serve to enhance clarity of learning goals in WBL and to encourage direct observation and feedback on less commonly observed, yet authentic, clinical skills.
• Furthermore, our ongoing engagement with WBA is transforming our workplace, and we are early stages of capturing and understanding this impact. It is important to recognize that we cannot seek to define a ‘one size fits all’ understanding of the impact of WBA on learning or goal orientation. That is, in part, because engagement in the WBA process within the WBL environment is both personally and socially mediated.
• Finally, we propose that understanding the modulators of learning in both WBA and WBL may allow educational programs to tailor their assessment strategies towards individual learner needs within different social environments, and to create a system that embraces subjectivity required for ‘knowing in practice’.

4.3 한계
4.3 Limitations

범위 검토의 좁은 초점 때문에 직장 내 평가와 학습을 모두 다룬 주요 연구 논문만 포함되었습니다. WBA를 사용하여 학습을 위한 평가를 달성하는 방법에 대한 관점과 논쟁이 증가하고 있지만, 우리의 의도는 이 분야를 알려주는 주요 데이터를 종합하는 것이었습니다. 또한 실제 임상 환경에서의 학습 및 평가에 대한 광범위한 개념에 초점을 맞추었기 때문에 통제된 환경에서 개별 WBA 도구를 실험적으로 검증하는 동안 학습 결과의 개발 및 측정에 관한 모든 1차 문헌을 수집하려고 하지는 않았습니다. 검색 전략은 포괄적이었지만, 연구팀은 검색 전략을 추가 데이터베이스에 적용했다면 추가 연구를 포착할 수 있었을 것이라는 점을 인지하고 있습니다.
Given the narrow focus of a scoping review, only primary research papers that captured both assessment and learning in the workplace were included. While there are growing perspectives and debates regarding how to achieve assessment for learning using WBA, our intention was to synthesize the primary data that informs this space. Furthermore, given the focus on the broader concepts of learning and assessment in the authentic clinical environment, we did not seek to capture all primary literature regarding the development and measurement of learning outcomes during the experimental validation of individual WBA tools in controlled settings. While the search strategy was inclusive, the research team recognizes that additional studies may have been captured if the search strategy was applied to additional databases.

4.4 교육자 및 연구자를 위한 시사점
4.4 Implications for educators and researchers

이용 가능한 문헌에 따르면 WBA는 '학습을 위한 평가'와 '학습에 대한 평가'라는 두 가지 목적을 달성하기 위해 활용되고 있지만, 실제로 이러한 상호 목표가 달성되었음을 아직 입증하지 못했습니다. 현재 우리는 평가와 학습에 대한 가정 사이에서 교착 상태에 빠져 있습니다. 이 백서에서는 WBL 이론에 주목하여 이 논의를 재구성하고자 했습니다. 우리는 학습과 사회문화 이론을 연구 설계에 더 많이 통합하고, WBA를 통해 학습에 관한 모델을 업데이트할 때 연구자의 철학적 입장에 명확히 맞출 것을 제안합니다. 실질적으로, CBME 교육 맥락에서 리더와 교육자들은 현재의 WBL 환경에서 교육생들 사이에 존재할 다양한 관점을 잘 설명하는 것이 중요합니다. 
The available literature suggests that although WBAs are being utilized to serve the dual purpose of ‘assessment-for-learning’ and ‘assessment-of-learning’, we have yet to demonstrate achievement of these mutual goals in practice. We are currently in a stalemate between assessment and learning assumptions. In this paper, we have sought to re-frame this conversation by attending to WBL theory. We propose that learning and sociocultural theory be more heavily integrated into research design, with clear alignment to the researchers' philosophical position when updating models on learning through WBA. Practically speaking, it is critical that leaders and educators in a CBME training context come to recognize the well-described variety of perspectives that will exist amongst their trainees in the current WBL environment.

5 결론
5 CONCLUSION

결론적으로, 빌렛의 네 가지 전제25에 따라 WBA와 WBL의 중첩에 초점을 맞춘 문헌을 종합하여 중요한 격차를 강조하고 CBME의 궁극적인 목표인 직장 내 학습을 위한 평가를 달성할 가능성을 높이기 위한 주요 탐구 방법을 확인했습니다. In conclusion, by bringing together the literature that focuses on the overlap between WBA and WBL framed by Billett's four premises,25 we have highlighted critical gaps, and identified key avenues for exploration to increase our chances of achieving the ultimate goal of CBME: assessment for learning in the workplace.

 

 

---

Med Educ. 2023 May;57(5):394-405. doi: 10.1111/medu.14960. Epub 2022 Nov 21.

How workplace-based assessments guide learning in postgraduate education: A scoping review

Leslie Martin 1, Sarah Blissett 2, Bronte Johnston 3, Michael Tsang 1, Stephen Gauthier 4, Zeeshan Ahmed 5, Matthew Sibbald 1

Affiliations

1Department of Medicine, McMaster University, Hamilton, Ontario, Canada.

2Department of Medicine, Western University, London, Ontario, Canada.

3McMaster Education Research, Innovation, and Theory Program, McMaster University, Hamilton, Ontario, Canada.

4Department of Medicine, Queens University, Kingston, Ontario, Canada.

5Department of Medicine, Ottawa University, Ottawa, Ontario, Canada.

PMID: 36286100

DOI: 10.1111/medu.14960

Abstract

Introduction: Competency-based medical education (CBME) led to the widespread adoption of workplace-based assessment (WBA) with the promise of achieving assessment for learning. Despite this, studies have illustrated tensions between the summative and formative role of WBA which undermine learning goals. Models of workplace-based learning (WBL) provide insight, however, these models excluded WBA. This scoping review synthesizes the primary literature addressing the role of WBA to guide learning in postgraduate medical education, with the goal of identifying gaps to address in future studies.

Methods: The search was applied to OVID Medline, Web of Science, ERIC and CINAHL databases, articles up to September 2020 were included. Titles and abstracts were screened by two reviewers, followed by a full text review. Two members independently extracted and analysed quantitative and qualitative data using a descriptive-analytic technique rooted in Billett's four premises of WBL. Themes were synthesized and discussed until consensus.

Results: All 33 papers focused on the perception of learning through WBA. The majority applied qualitative methodology (70%), and 12 studies (36%) made explicit reference to theory. Aligning with Billett's first premise, results reinforce that learning always occurs in the workplace. WBA helped guide learning goals and enhanced feedback frequency and specificity. Billett's remaining premises provided an important lens to understand how tensions that existed in WBL have been exacerbated with frequent WBA. As individuals engage in both work and WBA, they are slowly transforming the workplace. Culture and context frame individual experiences and the perceived authenticity of WBA. Finally, individuals will have different goals, and learn different things, from the same experience.

Conclusion: Analysing WBA literature through the lens of WBL theory allows us to reframe previously described tensions. We propose that future studies attend to learning theory, and demonstrate alignment with philosophical position, to advance our understanding of assessment-for-learning in the workplace.

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.