Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

내과의 종단적 코칭 프로그램에서 목표의 공동구성 및 대화(Med Educ, 2022)
Goal co-construction and dialogue in an internal medicine longitudinal coaching programme
Laura Farrell1 | Cary Cuncic1 | Wendy Hartford2 | Rose Hatala1 | Rola Ajjawi3

1 소개
1 INTRODUCTION

코칭은 특히 역량 기반 의학교육(CBME)의 도입과 함께 대학원 의학교육에서 각광을 받고 있습니다. 북미 지역에서는 레지던트 프로그램에서 '학습자가 잠재력을 최대한 발휘할 수 있도록' 종단적 학업 코치 역할을 할 교수진을 배정하기 시작했습니다.1 캐나다 왕립 의사 및 외과의사 대학(RCPSC)은 이러한 '시간 경과에 따른 코칭'2,3 이 임상 환경 밖에서 이루어지며, 여러 프리셉터와 짧고 단편적인 로테이션으로 인해 평가가 수집되지만 반드시 의미 있는 방식으로 집계되지 않는 문제를 해결하기 위해 필요하다고 설명했습니다.4, 5 레지던트와 코치는 평가 데이터를 협력적이고 성찰적으로 검토하여 역량 발전을 돕고, 이상적으로는 레지던트의 자기조절학습(SRL) 기술을 개발합니다.6-9 많은 프로그램이 이러한 종단적 코칭 모델을 채택하고 있지만, 프로그램에서 시행하는 코칭은 일반적으로 보다 지시적인 상호작용인 조언 및 멘토링과 같은 다른 역할과 모호해질 위험이 있습니다.10 종단적 코치는 학습자 목표와 프로그램 요구사항에 모두 초점을 맞추도록 해야 합니다.2 
Coaching has gained prominence in postgraduate medical education, particularly with the introduction of Competency-Based Medical Education (CBME). Within North America, residency programmes have begun to assign faculty to act as longitudinal academic coaches, ‘to facilitate learners achieving their full potential’.1 The Royal College of Physicians and Surgeons of Canada (RCPSC) has described this ‘coaching over time’2, 3 as occurring outside the clinical environment to address the challenges of short, fragmented rotations with different preceptors, where assessments are collected but not necessarily collated in a meaningful way.4, 5 Residents and coaches collaboratively and reflectively review assessment data to aid in progression of competence, ideally developing residents' self-regulated learning (SRL) skills.6-9 Despite many programmes adopting this longitudinal coaching model, coaching that is implemented by the programme risks blurring with other roles such as advising and mentoring, which are generally more directive interactions.10 Longitudinal coaches are challenged to ensure a focus both on learner goals and on programme requirements.2

스포츠, 음악 및 비즈니스에서 배운 것을 모델로 한 다양한 종단 코칭 프로그램의 개발이 설명되었습니다.4, 11, 12 학업 코치는 대부분 프로그램에서 의도적으로 전공의와 짝을 이루어 그들의 전문성을 활용하여 관련 평가 정보를 논의하고, 전공의가 앞으로 나아가는 데 도움이 되는 달성 가능한 목표를 공동 구성하고, 목표 도달 여부를 평가합니다.2, 4, 11 이상적으로는 레지던트가 취약점을 공유하고 이를 통해 지속적인 SRL(목표 설정, 성과 모니터링, 학습 계획 반영 및 조정)에 필요한 기술을 개발할 수 있는 기회가 있습니다.5 코치는 코치가 레지던트 네트워크의 일부가 되어 공동 목표 설정, 성과 모니터링 및 반영에 참여하면서 학습을 공동 조정할 수 있습니다.13 성과 목표 개발에 피드백을 통합하는 것을 명확하게 강조하는 코칭 논의에 대한 다양한 접근법이 제공되었습니다.4, 7, 9, 12 예를 들어, R2C2(관계, 반응, 내용 및 코칭) 모델은 달성 가능한 목표를 설정하고 피드백을 중심으로 학습 변화 계획을 개발하는 코칭의 중요성을 강조합니다.7, 9 
The development of various longitudinal coaching programmes, modelled from what has been learned from sport, music and business, have been described.4, 11, 12 Academic coaches are most often intentionally paired with residents by the programme and draw on their expertise to discuss relevant assessment information, co-construct achievable goals that aid the resident to move forward and assess whether goals have been reached.2, 4, 11 Ideally, there is opportunity for the resident to share vulnerabilities and in doing so develop skills needed for ongoing SRL (goal setting, monitoring performance, reflecting and adapting a learning plan).5 Coaches may co-regulate learning as the coach becomes part of the resident network, engaging the resident in collaborative goal setting, performance monitoring and reflection.13 Various approaches to coaching discussions have been provided that place clear emphasis on the incorporation of feedback into developing performance goals.4, 7, 9, 12 For example, the R2C2 (relationship, reaction, content and coaching) model emphasises the importance of coaching where achievable goals are set and a learning change plan developed around feedback.7, 9

목표 개발에 대한 의도적인 강조에도 불구하고, 현재 종단적 코칭 대화에서 목표가 어떻게 논의되고 목표 공동 구성이 어떻게 진행되는지에 대한 설명은 거의 없습니다. 또한 이러한 대화에서 논의되는 내용이 전공의의 성장을 어떻게 지원할 수 있는지에 대해서는 추가적인 연구가 필요합니다. 따라서 임상 교육에서 피드백 대화에서 목표에 대한 의도적인 대화에 대해 이해한 내용을 바탕으로 코칭 환경에서 목표를 성공적으로 공동 구성하는 데 필요한 요소를 밝히는 것이 유용할 수 있습니다. 피드백 문헌에 따르면, 프리셉터가 목표의 필요성을 역할 모델링하고 학생을 목표에 대한 대화에 참여시키는 초기 목표 설정 및 목표 논의에 중점을 둡니다.14, 15 목표 불일치는 프리셉터와 학습자 간에 단순히 어떤 목표를 우선순위에 둘 것인지뿐만 아니라 학습자가 인지한 필요와 프리셉터의 기대를 모두 충족하는 새로운 목표를 생성하기 위해 협상됩니다. 목표 공동 구성의 원칙을 통합하면 코치와 레지던트가 종단적 코칭에서 목표를 식별하고 우선순위를 정하는 데 도움이 될 수 있습니다.15 그러나 피드백 대화에서 목표 설정과 관련된 문제는 종단적 코칭 관계에서 다르게 나타날 수 있습니다. 
Despite an intentional emphasis on goal development, currently, there is little description of how goals are discussed and how goal co-construction plays out in longitudinal coaching conversations. In addition, how the content of the discussions during these conversations might support residents' growth needs further study. It may, therefore, be useful to draw on what is understood around intentional dialogue of goals in feedback conversations in clinical teaching to shed light on the elements needed to successfully co-construct goals in the coaching setting. From the feedback literature, there is a focus on initial goal setting and discussion of goals, where the preceptor role models the need for goals and engages students in dialogue around their goals.14, 15 Goal mismatches are negotiated between preceptor and learner not merely around which or whose goals to prioritise but also to generate new goals that address both learners' perceived needs and preceptors' expectations. Incorporating tenets of goal co-construction may help coaches and residents identify and prioritise goals in longitudinal coaching.15 However, challenges around goal setting in feedback conversations may manifest differently in the longitudinal coaching relationship.

이 연구에서는 내과 종단 코칭 프로그램에서 코치와 레지던트 간의 실제 코칭 대화를 분석했습니다. 이 연구는 목표 공동 구성을 민감화 개념으로 사용하여 코칭 관계와 공동 피드백에 대한 대화를 탐색함으로써 종단 코칭에 대해 현재 이해되고 있는 내용을 기반으로 합니다. 레지던트의 목표와 그 진화에 대한 분석을 통해 종단적 코칭이 수련 중인 레지던트에게 미칠 수 있는 과정과 효과에 대해 조명합니다. 요약하면, 이 연구는 다음과 같은 질문을 던집니다: 레지던트 의학 교육에서 종단적 코칭 관계에서 목표 공동 구성은 어떻게 전개될까요? 
In this study, we analysed the actual coaching conversations between coach and resident in an internal medicine longitudinal coaching programme. Our research builds on what is currently understood about longitudinal coaching by exploring coaching relationships and dialogue around collated feedback using goal co-construction as a sensitising concept. Through analysis of residents' goals and their evolution, we shed light on the processes and effects longitudinal coaching may have on residents in training. In summary, this research asks: How does goal co-construction unfold in longitudinal coaching relationships in resident medical education?

2 방법
2 METHODS

우리는 내과 종단 코칭 프로그램을 조사하기 위해 구성주의적 탐구 지향에 부합하는 질적 연구 접근 방식인 해석적 기술법16 을 사용했습니다. 간호과학에서 비롯된 해석적 기술법의 인식론적 뿌리는 연구자가 통합된 지식을 식별하고 적용하는 과정을 포함하는 유연한 질적 접근법을 사용하여 이론을 넘어 실천으로 나아갈 수 있도록 합니다.16 해석적 기술법은 개인의 경험과 데이터 전반의 공통 패턴에 주목하고 실천에 적용할 수 있는 지식을 생성하고자 하는 매우 실용적인 접근법입니다.16 
We used interpretive description,16 a qualitative research approach aligned with a constructivist orientation to inquiry, to examine an internal medicine longitudinal coaching programme. Interpretive description's epistemological roots, stemming from nursing science, allow the researcher to move beyond theory into practice using a flexible qualitative approach that includes processes for identifying and applying aggregated knowledge.16 It is a highly pragmatic approach that attends to individual experiences and common patterns across the data and seeks to generate applied knowledge for practice.16

2.1 설정 및 모집
2.1 Setting and recruitment

브리티시 컬럼비아 대학교(UBC)의 내과 레지던트 프로그램은 매년 약 50명의 레지던트를 수용하는 3년 과정의 프로그램입니다. 연구 당시에는 1년차 레지던트만 프로그램에서 학업 코치와 짝을 이루었습니다. 코치는 일반적으로 레지던트에 대한 평가나 평가에 관여하지 않았습니다. 2019년 7월에 수련을 시작한 모든 1년차 레지던트(N = 47명)와 그들의 코치(N = 30명)가 1년 동안 이 연구에 참여하도록 초대되었습니다. 코치와 레지던트는 본질적으로 취약할 수 있는 토론을 녹음하도록 요청받았기 때문에 편의 표본 추출을 사용했습니다. 코치 6명과 레지던트 8명(코치 2명은 레지던트 2명과 각각 짝을 이루었습니다)을 포함한 8쌍의 부부가 참여에 동의하고 사전 동의를 제공했습니다. 코치와 레지던트 모두 1년 동안 4번의 미팅을 오디오 테이프로 녹음하고 개별적으로 오디오 녹음된 퇴소 인터뷰에 참여하도록 요청받았습니다.  
The University of British Columbia's (UBC) internal medicine residency programme is a 3-year programme accepting approximately 50 residents per year. At the time of the study, only first-year residents were being paired by the programme with an academic coach. The coach was not typically involved in assessment or evaluation of the resident. All first-year residents (N = 47) starting training in July 2019 and their coaches (N = 30) were invited to participate in this study for the duration of 1 year. We used convenience sampling as coaches and residents were asked to record discussions that could be inherently vulnerable. Eight dyads including six coaches and eight residents (two coaches were paired with two residents each) agreed to participate and provided informed consent. Both coach and resident were asked to audiotape their four meetings over a 1-year period and participate in individual audiotaped exit interviews.

2.2 코치 교육/레지던트 교육
2.2 Coach training/resident training

모든 코치와 레지던트는 레지던트 프로그램 디렉터, 역량 위원회 위원장 및 연구팀 구성원인 RH, LF, CC가 제공하는 별도의 교육을 받았습니다. 교육은 위에서 설명한 바와 같이, 레지던트가 역량을 발전시키고 평생 학습 기술을 구축할 수 있도록 협력적이고 성찰적으로 코칭하는 '시간에 따른 코칭'에 대한 RCPSC 접근 방식을 기반으로 이루어졌습니다.2 코칭의 틀을 제공하기 위해 R2C2 모델이 도입되었습니다.7, 9 R2C2 모델에 따라 코치는 레지던트와 관계를 구축하고, 평가에 대한 레지던트의 반응을 탐색하고, 평가의 내용을 탐색하고 변화를 위해 코치하도록 권장되었습니다.7, 9 또한 고려해야 할 성찰 프롬프트 등 R2C2에 대한 요약 팜플릿을 제공받았습니다. 이들에게는 위에 명시된 코칭 프로그램의 목적과 코치와 임상 수퍼바이저 또는 멘토의 차이점에 대한 교육이 제공되었습니다. 레지던트들은 코치에게 역량 위원회에 소감을 제출하도록 요청받지만 레지던트 진급에 관한 결정에는 직접 관여하지 않는다는 사실을 들었습니다. 변화를 위한 코칭의 일환으로 코치와 레지던트 모두와 함께 목표 공동 구성의 원칙을 검토했습니다.15 
All coaches and residents underwent separate training delivered by residency programme directors, competency committee chairs and members of the research team, RH, LF and CC. Training was based on the RCPSC approach to ‘coaching over time’ as described above: to collaboratively and reflectively coach residents towards progression of competency and build lifelong learning skills.2 To provide a framework for coaching, the R2C2 model was introduced.7, 9 As per the R2C2 model, coaches were encouraged to build relationships with their residents, explore residents' reactions to the assessments, explore the content of the assessments and coach for change.7, 9 Residents were also provided with a pamphlet outlining R2C2 including reflection prompts to consider. They were educated on the above stated purpose of the coaching programme and the differences between a coach and clinical supervisor or mentor. Residents were told that their coach would be asked to provide an impression to the competency committee but would not be involved directly in the decisions regarding resident promotion. As part of coaching for change, the tenets of goal co-construction were reviewed with both coaches and residents.15

2.3 코치-전공의 회의
2.3 Coach–resident meetings

모든 레지던트는 회의 전에 자신의 최근 평가를 검토하고 강점/약점 및 학습 목표에 대해 언급하는 자기 성찰 양식을 작성하여 제출해야 했습니다. 이 문서는 레지던트의 모든 평가(필기 시험, 관찰된 구조화된 임상 시험 및 직장 기반 평가)와 더불어 코치가 회의 전에 검토하거나 회의 중에 논의했습니다. 코치는 레지던트 1년차에 세 번, 2년차 초에 한 번, 총 세 차례에 걸쳐 1시간 동안 개별 레지던트와 만났습니다. 
All residents were required to complete and submit a self-reflection form involving reviewing their recent assessments and commenting on strengths/weaknesses and learning goals prior to each meeting. This document, in addition to all of the resident's evaluations (written examinations, observed structured clinical exams and workplace-based assessments), was reviewed by the coach before the meeting and/or discussed during the meeting. The coach met with their individual residents for 1 hour three times during their first year and one time during the start of their second year.

2.4 데이터 수집
2.4 Data collection

코치들은 전공의와의 미팅을 오디오 테이프로 녹음하여 연구팀에 제출하도록 요청받았습니다. 모든 코치와 8명의 전공의 중 7명이 반구조화된 퇴사 인터뷰에 참여했으며, 이 인터뷰는 WH에서 Zoom을 통해 오디오 테이프로 진행했습니다. 코칭 세션에서는 논의되는 목표의 유형, 이러한 목표가 어떻게 협상되는지, 시간이 지남에 따라 어떻게 진행되는지에 대한 데이터를 제공했습니다. 인터뷰 데이터는 코칭에 대한 참가자들의 경험을 조사했습니다. 코치에 대한 인터뷰 질문은 코칭 역할에 대한 인식, 레지던트와의 관계, 코칭 세션 중 목표 공동 구성 등을 고려했습니다(부록 S1). 레지던트를 대상으로 한 인터뷰 질문에는 목표 공동 구성 및 관계에 대한 인식 외에도 사전 성찰의 이점과 코칭의 인지된 효과도 고려되었습니다(부록 S2). 코칭 세션과 인터뷰의 오디오 테이프는 필사하고 비식별화했습니다. 8쌍의 부부 중 6쌍만 오디오테이프를 제출했으며(2쌍은 녹음에 기술적 어려움이 있었음), 총 18개의 녹취록을 제출했습니다. 3명의 dyads는 4번의 코칭 세션을 모두 제출했고, 1명은 3번, 1명은 2번, 1명은 1번의 세션만 제출했습니다. 모든 녹음 데이터는 총 894분 분량의 코칭 데이터(세션은 약 30~60분 길이로 다양함)와 총 367분 분량의 출구 인터뷰 데이터(24~34분 범위)로 분석되었습니다. 
Coaches were asked to audiotape meetings with residents and submit these to the research team. All coaches and seven of the eight residents engaged in semi-structured exit interviews, which were conducted by WH via Zoom and audiotaped. The coaching sessions provided data on the types of goals being discussed, how those goals are negotiated and how they progress over time. The interview data sought participants' experiences of coaching. Interview questions for coaches considered their perceptions of the coaching role, their relationship with the resident and goal co-construction during the coaching session (Appendix S1). In addition to perceptions of goal co-construction and relationships, interview questions for residents considered the benefits of pre-reflection and perceived effects of coaching (Appendix S2). Audiotapes of the coaching sessions and interviews were transcribed and de-identified. Of the eight dyads, only six submitted audiotapes (two dyads had technical difficulties with recordings) for a total of 18 recordings. Three dyads submitted all four coaching sessions, one submitted three sessions, one submitted two sessions and one submitted only one session. All recordings were analysed for a total of 894 minutes of coaching data (sessions varied from approximately 30–60 minutes in length) and a total of 367 minutes (range 24–34 minutes) of exit interview data.

2.5 데이터 분석
2.5 Data analysis

해석적 설명 Interpretive description은 연구자가 연구의 도구로서 연구자를 포용합니다.16 분석 전반에 걸쳐 우리는 문헌, 우리 자신의 해석과 경험, 경험적 데이터를 바탕으로 주제를 개발하는 분석 프레임워크를 개발하려고 노력했습니다.

• 연구팀의 두 팀원(LF와 WH)은 모든 녹취록을 읽고 처음에는 연역적 코딩 접근법을 사용하여 코칭 데이터를 분류하고 설명하기 시작했습니다.
  • 이는 R2C2 개념에 대한 코딩으로 시작하여 목표 공동 구성의 원칙(역할 모델링 목표, 목표 관련 대화, 목표 협상 및 프로그램 표준 보장)을 민감화 렌즈로 코딩했습니다.7, 9
• 또한 목표 공동 구성의 증거, 목표의 진화 및 목표 달성 계획을 포함하여 회의가 진행되는 동안 표를 사용하여 목표 유형을 귀납적으로 코딩하고 추적했습니다.
• 예비 아이디어와 주제는 데이터 샘플을 읽은 연구팀과 함께 논의하고 다듬었습니다.
  • 이 단계에서는 어떤 목표가 논의되었는지, 누가(코치 또는 레지던트) 목표를 확인했는지, 목표가 어떻게 구성되었는지, 목표를 달성하기 위한 계획과 시간이 지남에 따라 목표가 어떻게 진화했는지에 특히 주의를 기울였습니다.
  • 이 수준의 코딩은 '의미를 미리 결정하는 데 사용되는 것이 아니라, 식별된 주제에 대한 부분을 한곳에 모아 해석 과정을 완료하는 데 사용됩니다."(14쪽)
• 그런 다음 모든 연구자는 목표 공동 구성을 염두에 두고 출구 인터뷰와 관련하여 코치-레지던트 간 다이애드 대화를 귀납적으로 분석했습니다. 이 단계에서는 다이애드 경험의 해석(유사점과 차이점)과 코칭의 효과에 초점을 맞춰 데이터 간 연결고리를 찾았습니다.
• 팀은 정기적으로 만나 코드를 더욱 세분화하고 의미를 도출하여 참가자 경험에 대한 일관된 그림을 형성하고 데이터에서 누락될 수 있는 부분에 대해 논의했습니다. 두 가지 데이터 수집 방법과 두 참가자 그룹을 통해 강화된 데이터는 연구 질문에 답하기 위한 충분한 이해를 제공한다고 판단했습니다(Dey의 이론적 충분성 개념에서 도출).17 

Interpretive description embraces the researchers as instrumental to the research.16 Throughout the analysis, we sought to develop an analytical framework that draws from the literature, our own interpretations and experiences, and the empirical data to develop themes.

• Two members of the research team (LF and WH) read all of the transcripts and initially employed a deductive coding approach to begin to categorise and describe the coaching data.
  • This began with coding for both R2C2 concepts and then for tenets of goal co-construction as our sensitising lens (role-modelling goals, dialogue around goals, goal negotiation and ensuring programme standards).7, 9 
• In addition, types of goals were inductively coded and tracked using tables over the course of the meetings including evidence of goal co-construction, evolution of goals and plans to meet goals.
• Preliminary ideas and themes were discussed and refined with the research team who read a sample of the data.
  • At this level, we paid particular attention to what goals were discussed, who (coach or resident) identified goals, how goals were constructed, plans to meet goals and how they evolved over time.
  • Coding at this level is not used to ‘predetermine meaning, but to allow for segments about an identified topic to be assembled in one place to complete the interpretative process’.14, p. 340 
• All researchers then inductively analysed one coach–resident dyad conversation in relation to the exit interviews with goal co-construction in mind. At this level, we focused on interpretations of dyad experiences (similarities and differences) and the effects of coaching making connections between the data.
• The team met regularly to further refine the codes and derive meaning and form a cohesive picture of participant experiences, as well as to discuss what might be missing in the data. We judged the data offered a sufficient understanding (drawn from Dey's notion of theoretical sufficiency) for answering the research question, strengthened by the two methods of data collection and the two participant groups.17

연구팀에는 내과 레지던트들과 임상적으로 함께 일하는 의학교육 연구 경력이 있는 세 명의 일반 내과 의사(LF, CC, RH)가 참여했습니다. LF, CC, RH는 모두 코치들을 위한 초기 교수진 개발 세션을 진행했으며 반복적인 코치 회의에 참여했습니다. LF와 CC는 현재 학술 코치이기도 하며, 코치로서의 경험이 분석에 영향을 미쳤습니다. RH는 역량 위원회 위원장을 맡고 있습니다. WH는 재활 과학 프로그램의 박사 과정 학생이며 이 연구의 연구 조교였습니다. RA는 경험이 풍부한 의학교육 연구자(피드백 대화 포함)이자 맥락과 전문 분야에 대한 외부인으로, 프로그램 내에서 당연하게 여겨지는 코칭의 가정에 대한 대화를 유도했습니다. 
Members of the research team included three general internists with backgrounds in medical education research (LF, CC and RH) who all work clinically with internal medicine residents. LF, CC and RH all facilitated the initial faculty development session to coaches and participated in the iterative coach meetings. LF and CC are also current academic coaches, and their experiences as coaches influenced analysis. RH is chair of the competency committee. WH is a doctoral student in the Rehabilitation Science Program and was the research assistant for the study. RA is an experienced medical education researcher (including feedback dialogues) and outsider to the context and specialty, who prompted conversations about the taken for granted assumptions of coaching within the programme.

2.6 윤리
2.6 Ethics

이 연구는 UBC 윤리 심의 위원회(H19-00634)의 승인을 받았습니다. 
This study was approved by UBC Ethics Review Board (H19-00634).

3 결과
3 RESULTS

우리는 두 가지 주제를 개발했습니다:

• (i) 목표의 내용은 레지던트가 되는 방법에 초점을 맞추었으며, 코칭 상호작용은 임상 진료 환경의 문제를 해결하는 방법에 대한 내용은 드물고, 대신 레지던트 과정에서 발생하는 많은 비환자 대면 문제에 초점을 맞추었고,
• (ii) 공동 구성은 주로 목표의 우선순위를 정하거나 새로운 목표를 식별하는 것이 아니라, 목표를 달성하는 방법에 대해 발생했습니다.

We developed two themes:

• (i) The content of the goals focused on how to be a resident, in that coaching interactions were infrequently about how to address challenges in the clinical care environment, but instead focused on many of the non-patient-facing issues that come up in residency, and
• (ii) the co-construction mainly occurred in how to meet goals, rather than in prioritising goals or identifying new goals.

3.1 목표의 내용: 레지던트가 되는 방법
3.1 Content of goals: How to be a resident

초기 레지던트 목표는 주로 내과 1년차 레지던트의 역할에서 배우고 발전하는 것에 관한 것이었습니다(표 1). 여기에는 코치와 레지던트 모두가 시작한 목표가 포함되었습니다. 프로그램에서 코치에게 평가 데이터가 완전하고 검토되었는지 확인하도록 요청했기 때문에 코치는 레지던트가 이 주제와 관련된 목표를 개발하도록 했습니다. 코칭 관계 초기에 레지던트의 목표에는 지식 기반, 효율성 및 절차적 기술 향상과 자신감 개발이 포함되었습니다. 
Initial resident goals were mainly about learning and developing in the role of a first-year internal medicine resident (Table 1). These included goals initiated by both coaches and residents. As the programme had asked coaches to confirm assessment data were complete and reviewed, the coach ensured the resident developed goals related to this topic. Early in the coaching relationship, resident goals included improving knowledge base, efficiency and procedural skills and developing confidence.

첫해 중반에 접어들면서 더 많은 전공의들이 시니어 레지던트 역할로의 전환 준비, 교육 기술 향상, 경력 계획에 도움이 되는 일렉티브 선택에 대해 논의했습니다. 경력 계획과 연구 목표(예: 프로젝트 선정 및 원고 완성)는 모두 일 년 내내 개발되고 발전했습니다.
Towards the middle of the first year, more dyads discussed preparing for the transition to the senior resident role, improving teaching skills as well as elective selection to help with career planning. Both career planning and research goals (e.g. project selection and manuscript completion) were developed and evolved throughout the year.

레지던트들은 한 해 동안 자신의 목표가 발전했음을 인정했지만, 직접적인 임상 환자 치료의 문제 해결과 관련된 목표는 여전히 거의 없었습니다:
Residents acknowledged that their goals evolved over the year, though there were still very few goals around addressing challenges in direct clinical patient care:

어려운 케이스나 어려운 상호작용에 대한 레지던트의 의견을 코치가 조사할 기회가 여러 번 있었습니다. 그러나 대화는 필수 근무지 기반 평가 완료와 같은 레지던트 교육에 초점을 맞춘 주제로 돌아갔습니다. 환자 치료에 대한 제한적인 논의는 대개 특정 환자의 관리에 대해 설명하거나 어려운 케이스에서 큰 그림을 볼 필요성에 대해 논의하는 등 개별적인 사건에 관한 것이었으며, 목표가 개발되지 않는 경우가 많았습니다.  
On several occasions, there was opportunity for a coach to probe a comment made by the resident about a difficult case or challenging interaction. However, often the conversation turned back to topics focused on resident training such as completing the required workplace-based assessments. The limited patient care discussions were usually about isolated incidents (e.g. describing the management of a specific patient or discussing needing to see the big picture in a difficult case), and often no goals were developed.

세션의 종적 측면이 이러한 과제를 논의할 공간을 제공했기 때문에 코칭 토론은 레지던트가 되는 방법(예: 공부하는 방법, 연구 계획, 위탁 전문 활동[EPA] 완료 및 경력 계획)에 더 집중되었을 수 있습니다. 실제로 한 레지던트는 레지던트 학습에 대한 논의가 환자 치료 문제가 주요 초점이 되어야 하는 임상 환경에서는 잘 이루어지지 않는다고 말했습니다: 
Coaching discussions may have been focused more on the logistics of how to be a resident (e.g. how to study, research planning, completing entrustable professional activities [EPAs] and career planning) because the longitudinal aspect of sessions provided the space to discuss these challenges. In fact, one resident stated that discussions about resident learning were less available in the clinical setting where patient care issues need to be a primary focus:

또 다른 레지던트는 임상 환경에서 일상적으로 발생하지 않는 문제에 대해 논의할 수 있다는 점을 장점으로 꼽았습니다:
Another resident brought forward the benefit of discussing issues that do not come up on a day-to-day basis in the clinical setting:

첫 회의에서 여러 전공의가 중요한 임상 환자 치료 목표(예: 환자가 안전하고 필요한 치료를 받을 수 있도록 하는 것)에 대해 논의했지만, 레지던트가 수련을 진행하면서 이러한 중요한 목표는 재검토되지 않았습니다. 흥미롭게도 한 레지던트는 첫 번째 코치-레지던트 미팅에서 수련 첫 해에 예상되는 목표의 진화를 요약했는데, 이 요약은 모든 레지던트가 한 해 동안 발전하는 모습을 반영했습니다: 
Although several dyads discussed overarching clinical patient care goals in the first meeting (such as making sure patients are safe and get the care they need), these overarching goals were not revisited as the resident progressed in training. Interestingly, one resident summarised their expected evolution of goals over the first year of training in their initial coach–resident meeting, and this summary mirrored what we saw develop over the course of the year for all residents:

3.2 각 회의에서 주로 목표 달성을 위한 계획에 초점을 맞춘 공동 구성
3.2 Co-construction in each meeting mainly focused on plans to meet goals

대부분의 경우, 목표가 정해지면 그 목표를 달성하기 위한 계획이 논의되었습니다. 각 세션에서 우선순위를 정할 목표에 대한 논의는 거의 없었습니다. 코치와 레지던트 모두 목표를 제시할 수 있었고, 피드백을 검토하면서 회의 중에 다른 목표가 확인되었습니다. 이렇게 설정된 목표에 따라 목표 달성을 위한 계획에 대한 공동 구성 또는 협상이 자주 이루어졌습니다. 
For the most part, if goals were identified, plans to meet those goals were discussed. Within each session, there was little negotiation around which goals to prioritise. Both the coach and resident were able to bring goals forward, and other goals were identified during the meeting as feedback was reviewed. With these established goals, co-construction or negotiation frequently occurred around the plans to meet them.

일부 목표는 한 번만 제시되었지만(예: 다가오는 로테이션에 대한 목표), 다른 목표는 각 세션에서 레지던트가 1년 동안 목표를 달성하기 위해 계획을 발전시킨 증거와 함께 논의되었습니다.

• 예를 들어, 한 다이애드의 경우, 코치가 첫 번째 회의에서 콘텐츠 지식 향상이라는 목표를 제시하고, 이후 회의에서 다시 언급하고, 레지던트가 최종적으로 목표를 구체화했습니다.
• 미팅 1에서 레지던트는 향후 3개월 동안 100개가 넘는 핵심 내과 주제 중 절반에 대한 접근법을 배우겠다고 말했습니다.
• 미팅 2에서 이 계획은 달성할 수 없다는 것이 분명해졌고 코치는 계획을 수정할 것을 권유합니다. 두 사람은 레지던트가 매주 1~2개의 주제를 학습해야 한다는 데 동의합니다.
• 마지막 세션에서 레지던트는 코치에게 시니어 레지던트 역할로 전환하면서 학습의 초점을 서비스에서 확인된 지식 격차에 맞춰 변경해야 한다고 전달합니다.

코치는 초기에 계획에 대해 상당한 조언을 제공했지만, 마지막 세션에 이르러 레지던트는 코치의 조언 없이도 계획을 조정할 수 있었습니다: 
Though some goals only came up once (e.g. goals for upcoming rotations), other goals were discussed at each session with evidence of evolution of the resident's plan to meet the goal across the year.

• For example, in one dyad, the goal of improving content knowledge was brought up in the first meeting by the coach, returned to in the subsequent meetings and ultimately refined by the resident.
• In Meeting 1, the resident states that they will try to learn an approach to half the over 100 core internal medicine topics in the following three months.
• In Meeting 2, it is clear that this plan was not achievable, and the coach recommends revising the plan. Together, they agree that the resident should attempt to learn one to two topics per week.
• By the last session, the resident relays to the coach that they needed to change the focus of their studies as they transitioned to the senior resident role, to the knowledge gaps identified on service.

The coach provided significant input on the plan early on, but by the last session, the resident was able to adjust their plan without input from the coach:

목표를 달성하기 위한 계획을 함께 세우는 데 도움을 주기 위해 코치들은 광범위한 목표(예: 지식 기반 개선)에 대한 대화에 참여하여 그 목표를 어떻게 달성할 수 있는지에 초점을 맞춥니다. 이러한 토론에서 코치들은 스터디 그룹을 구성하거나 의도적인 학습 습관을 개발하는 것의 이점을 공유하는 등 레지던트로서의 전략을 공유했습니다. 이러한 계획은 종종 종단적으로 재검토되었습니다: 
To help co-construct plans to meet goals, coaches would engage in a dialogue about a broad goal (e.g. improve knowledge base), focusing on how that goal might be met. In these discussions, coaches shared their strategies as residents, including sharing benefits of forming study groups or of developing intentional study habits. These plans were often revisited longitudinally:

코치들은 EPA와 같은 직장 기반 평가를 완료하는 등 프로그램에서 요구하는 목표를 달성하는 데 도움이 되었습니다. 많은 Dyad들이 EPA를 완료하는 데 장애가 되는 요소(예: 질문을 잊어버리는 것, 프리셉터가 완료하는 것을 잊어버리는 것, 기술 문제)에 대해 논의했습니다. 여러 코치들은 이러한 장벽을 극복하는 방법에 대해 논의했으며, 몇몇 코치는 시스템 솔루션을 포함한 프로그램 개선을 옹호하겠다고 밝혔습니다. 예를 들어 
Coaches were helpful in troubleshooting goals required by the programme, for example, completing workplace-based assessments, such as EPAs. There was discussion in many of the dyads around the barriers to completing EPAs (e.g. forgetting to ask, preceptor forgetting to complete and technology issues). The dyad would discuss how to overcome these barriers, with several coaches indicating that they would advocate for programme improvements, including systems solutions. For instance:

드물게 코치는 레지던트에게 (시니어 레지던트의 환자 분류 기술과 같이) 수련 후반기에 더 적합한 목표를 다시 검토해 보라고 권유했습니다. 수련 첫 3개월 차의 주니어 레지던트가 의대생 교육에 대해 우려하며 공식적으로 교육 자료를 준비해야 하는지 논의했을 때 코치는 다음과 같은 통찰력을 제공했습니다: 
Rarely, the coach recommended to a resident that they revisit a goal more suited to later in training, such as senior resident triage skills. When a junior resident in their first 3 months of training was concerned about teaching medical students and discussed whether they should formally prepare teaching material, the coach offered this insight:

4 토론
4 DISCUSSION

본 연구는 목표 공동 구성에 의도적으로 초점을 맞추어 내과 레지던트 수련 프로그램 첫 해의 종단 코칭에서 발생하는 목표 개발에 대해 조명합니다. 이 연구에서 종단 코칭은 코치와 레지던트가 함께 협력하여 레지던트의 요구, 고유한 피드백, 평가 및 경험에 맞는 계획을 맞춤화할 수 있었기 때문에 레지던트가 레지던트 생활의 일부 실제 기술과 관련된 목표를 논의하고 달성할 수 있는 공간을 만들었습니다.
Through an intentional focus on goal co-construction, our study sheds light on the goal development that occurs in longitudinal coaching in a first year of an internal medicine resident training programme. Longitudinal coaching in this study created a space for residents to discuss and achieve goals related to some of the practical skills of being a resident, as coaches and residents were able to work together to tailor plans specific to the residents' needs, unique feedback, assessments and experiences.

연구 결과에 따르면 코칭 논의는 주로 1년차 레지던트로서 기능하는 것과 관련된 목표(예: 학습 기술, 조직 기술, 교육, 연구, 건강, 경력 계획 및 시니어 레지던트로의 전환)에 초점을 맞추었으며, 직접적인 환자 진료 환경과 관련된 임상 역량 개발에는 덜 중점을 두었습니다. 이러한 비환자 진료 관련 영역에 대한 코칭이 학습자의 특정 수련 단계(이 경우 레지던트 1년차)와 관련된 전문직 정체성 개발을 향상시키는 데 핵심이 될 수 있습니다.18 다양한 수련 단계에서 이루어져야 하는 전문직 정체성 개발에 대한 지원은 의사의 전반적인 전문직 정체성 형성의 중요한 측면이지만 연구가 잘 이루어지지 않았습니다.18, 19 레지던트 전환과 같은 전환 시점에 레지던트를 지원하는 것이 중요한 것으로 나타났습니다.20-23 본 연구는 내과 전공의의 수련 전환 단계 이후에도 코칭 관계를 지속하는 것이 유익하다는 것을 보여줍니다. 이를 통해 레지던트들은 1년차 레지던트로서 수련의 기초부터 선임 레지던트로서 수련의 핵심, 그리고 최종적으로 진료 전환에 이르기까지 역량을 발전시키는 동안 전문가로서의 정체성을 개발할 수 있도록 지속적으로 지원받을 수 있습니다.24 
Our study reveals that coaching discussions mainly focused on goals related to functioning as a first-year resident (e.g. study skills, organisational skills, teaching, research, wellness, career planning and transitioning to senior residency), with less emphasis on developing clinical competencies related to direct patient care settings. It is possible that coaching around these non-patient care-related areas may be key to enhancing the professional identity development related to a particular stage of training of a learner, in this case, that of a first-year resident.18 Support for the professional identity development that needs to occur at various stages of training is an important aspect of overall professional identity formation of a physician, though it has been less well studied.18, 19 Supporting residents during transition points such as transitioning to residency has been shown to be important.20-23 Our study demonstrates the benefit for continuing coaching relationships beyond the transition to discipline stage of an internal medicine resident. This ensures that residents continue to be supported as they develop their professional identity during their progression of competencies, from foundations of discipline as a first-year resident, to core of discipline as a senior resident, and eventually to transition to practice.24

레지던트가 되는 방법을 의도적으로 지원하는 공간을 갖는 것은 종단 코칭의 중요한 측면일 가능성이 높으며, 레지던트들이 종단 코칭 관계를 보편적으로 높이 평가하는 이유일 수 있습니다.4, 11, 12 그러나 종단 코칭 환경에서 직접적인 임상 진료 관련 역량에 대한 논의가 현저히 부족하다는 점은 더 고려해야 할 사항입니다. 본 연구에 따르면 종단 코칭은 (바쁜 임상 환경에는 적합하지 않은 대화 유형인) '레지던트가 되기 위한 탐색'에 대해 논의할 수 있는 공간을 제공한다고 합니다. 환자 치료 역량에 대한 논의(예: 환자 상태 변화 인식 및 치료 목표 수립 필요성)는 임상 환경에서 자주 발생하므로 본질적으로 다른 곳에서 다루어질 수 있습니다.25 또는 우리 프로그램의 종단 코치는 임상 환경에서 레지던트를 직접 관찰하는 경우가 거의 없거나 전혀 없었기 때문에, 환자 치료 상호 작용을 공유하는 데 직접 참여하지 않아 논의하기가 더 어려웠을 수 있습니다. 자기 성찰 양식의 사전 제출로 인해 보다 가시적인 주제에 초점을 맞추게 되어 덜 구체적인 주제에 대한 논의에 대한 단서를 놓치거나, 전공의 간 목표의 동질성, 예를 들어 배려심 있고 지식이 풍부한 의사로 성장하는 것과 같은 중요한 목표에 집중하지 못했을 가능성이 있습니다. 마지막으로, 코치들이 레지던트 평가 데이터에 의도적으로 초점을 맞추다 보니 기회를 놓쳤을 수도 있습니다. 이는 자연스럽게 환자 진료 중 레지던트를 직접 관찰하는 즉각성에서 벗어난 코치로서 시간과 다양한 평가 과제에 걸쳐 성과 및 피드백 정보의 의미 결정을 지원하는 것이 얼마나 쉽고 자연스러운 일인지에 대한 의문을 제기합니다.
Having a space that intentionally supports how to be a resident is likely an important aspect of longitudinal coaching and may be why residents universally appreciate longitudinal coaching relationships.4, 11, 12 However, the notable lack of discussion around direct clinical care-specific competencies in the longitudinal coaching setting deserves more consideration. Our study suggests that longitudinal coaching provides the space to discuss navigating being a resident: a type of conversation that does not fit into a busy clinical environment. It may be that discussions around patient care competencies (e.g. recognising changes in patient status and the need to establish goals of care) occur frequently in the clinical setting and so are essentially dealt with elsewhere.25 Alternatively, longitudinal coaches in our programme rarely or never directly observed their residents in clinical settings and, therefore, were not directly part of any shared patient care interactions making it more difficult to discuss. It is possible that the pre-submission of a self-reflection form resulted in targeting topics that were more tangible, perhaps leading to missed cues for the discussion of less concrete topics, homogeneity of goals across dyads and the loss of focus on an overarching goal of, for example, developing into a caring, knowledgeable physician. Finally, there may have been missed opportunities due to the intentional focus of coaches on resident assessment data. This naturally begs the question of how easy or natural is it to support meaning-making of performance and feedback information across time and different assessment tasks, as a coach who is once removed from the immediacy of direct observation of the resident during patient care?

종단 코칭에서는 코치가 직접 관찰에 관여하지 않을 수 있으므로, 평가 '데이터'는 특정 루브릭과 역량 라벨에 맞추기 위해 환자 경험의 세부 사항이 제거된 채 탈맥락화됩니다. 데이터 학자들은 데이터는 표현적인 것이 아니라(즉, 데이터는 맥락과 무관하게 고정된 의미를 갖지 않음) 관계적이고 맥락적이라고 말합니다.26 따라서 코치와 레지던트는 데이터를 재맥락화해야 하며, 코치는 다양한 데이터가 특정 주장을 어느 정도 뒷받침하는지 반복적으로 이해해야 합니다. 코치는 코칭 토론에서 목표 공동 구성을 지원하기 위해 의미 있게 사용하기 위해 레지던트의 주장 및 해석과 관련하여 그렇게 해야 합니다. 코치와 학습자를 위한 특정 임상 성과/피드백 토론을 위해 평가 데이터를 재맥락화하는 것은 어려울 수 있지만, 성과에 대한 토론을 장려하기 위해 종단적 코칭에 직접 관찰 기회를 포함하면 코칭 관계와 대화의 성격이 달라질 수 있습니다. 
In longitudinal coaching, coaches may not be involved in direct observation, so the assessment ‘data’ is decontextualised, stripped of the specifics of the patient encounter, to fit within certain rubrics and labels of competence. Data scholars suggest that data are not representational (i.e. data do not have a fixed meaning independent of context) but, instead, relational and contextual.26 Therefore, the coach and resident were required to recontextualise the data, with the coach repeatedly needing to understand the extent to which various data support particular claims. The coach must do so in relation to the resident's claims and interpretations in order to use them meaningfully to support goal co-construction within a coaching discussion. Although recontextualising assessment data for specific clinical performance/feedback discussions for coach and learners might be a challenge, including direct observation opportunities for longitudinal coaching to encourage discussion around performance would alter the nature of the coaching relationship and dialogue.

4.1 제한 사항
4.1 Limitations

본 연구는 수련 첫 해 동안 피드백을 논의하고 성과 목표를 개발하기 위해 반복적인 코치-레지던트 미팅을 포함하는 종단적 코칭에 대한 단일 레지던트 프로그램의 접근 방식을 연구한 것이므로 연구 결과의 적용 가능성은 제한적입니다. CBME 내에서 종단적 코칭을 시행하는 방식은 시간이 지남에 따라 코칭이 진행되는 방식에 영향을 미칠 수 있으며 코치와 레지던트 간의 논의가 달라질 수 있습니다. 저희 교수진 개발에서는 R2C2와 목표 공동 구성을 강조했는데, 이러한 접근 방식이 코치-레지던트 간 토론에 영향을 미쳐 목표와 관련하여 두 집단 간에 유사성을 보이는 결과를 낳았을 수 있습니다. 이 연구는 코치와 레지던트 간의 실제 토론을 실시간으로 포함함으로써 이점을 얻었지만, 더 큰 데이터 세트를 사용했다면 기록된 대화 유형에서 더 다양한 유형을 발견했을 가능성이 있습니다. 
The transferability of our findings is limited as this was a study of a single residency programme's approach to longitudinal coaching involving iterative coach–resident meetings to discuss feedback and develop performance goals over their first year of training. Within CBME, variations in the implementation of longitudinal coaching may impact how coaching plays out over time and may lead to different coach–resident discussions. Our faculty development emphasised R2C2 and goal co-construction, and this approach may have impacted coach–resident discussions and resulted in the similarities we see across dyads with respect to goals. Though the study benefited from including actual discussions between coach and resident as they occurred in real time, it is possible that with a larger data set, we would have found a greater variety in the types of conversations recorded.

5 시사점
5 IMPLICATIONS

우리는 종단 코칭 프로그램이 1년차 레지던트에게 프로그램 요건을 탐색하는 과정에서 1년차 레지던트가 되는 방법에 대해 이야기할 수 있는 공간과 시간을 제공함으로써 직접적인 환자 진료 외에 레지던트의 직업적 정체성 형성에 도움이 되는 역할을 한다는 것을 보여주었습니다. 또한 레지던트들은 비슷한 수준의 수련 과정에서 비슷한 목표를 가질 수 있지만, 개인마다 이러한 목표를 달성하는 방법은 다릅니다. 코치는 목표 달성을 위한 계획과 관련하여 레지던트별 문제를 해결하는 데 중요한 역할을 할 수 있습니다. 이를 염두에 두고 코치는 레지던트 목표에 대한 코칭이 레지던트의 전문적 정체성 형성에 어떤 영향을 미칠 수 있는지에 대한 추가적인 교수진 개발을 통해 이점을 얻을 수 있습니다.
We have shown that our longitudinal coaching programme provides first-year residents a space and time to talk about how to be a first-year resident as they navigate the programme requirements, thus demonstrating a role in helping to develop professional identity formation of residents outside of direct patient care. What's more, though residents may have similar goals at similar levels of training, how an individual can meet these goals differs. The coach can play an important role in troubleshooting resident-specific challenges around plans to meet goals. With this in mind, coaches may benefit from further faculty development around how coaching around resident goals can impact professional identity formation of a resident.

향후 연구에서는 데이터 과학 렌즈를 통해 종단적 코칭 논의에서 환자 치료 과제가 어떻게 그리고 왜 두드러지게 나타나지 않는지 탐구하는 것을 고려할 수 있습니다. 물론, 특정 임상 성과/피드백 논의를 위해 평가 데이터를 재맥락화하는 문제는 특히 종단 코칭이 학습자가 진정한 환자 치료에 대한 책임이 증가함에 따라 자신의 진척도를 측정하는 종단 통합 수련과는 대조적으로 더 고려할 가치가 있습니다.27 교수진 개발을 고려할 때 코치에게 환자 치료와 관련된 문제를 논의하도록 유도할 수 있는 단서에 특히 주의를 기울이도록 요청하면 논의되는 목표 유형이 더 넓어질 수 있습니다. 즉, 코칭을 위한 스캐폴딩 구조와 개방형 코칭 회의 사이에 균형이 있다고 생각합니다. 종단적 코칭 요건에 더 많은 방향과 지원을 계속 추가하면 다양한 수련 단계에서 레지던트의 정체성 형성을 지원하는 기능이 저하될 위험이 있습니다. 더 많은 교수진 개발이 더 나은 것은 아닐 수도 있습니다. 종단적 코칭 대화가 역량과 전문적 정체성 형성 모두에 대한 공동 규제와 성찰을 개선하는 데 가장 잘 기여할 수 있는 방법에 대한 이해를 높이는 데 집중하는 것이 핵심일 수 있습니다. 
Future studies may consider exploring how and why patient care challenges might not feature prominently in longitudinal coaching discussions, perhaps through a data science lens. Certainly, the challenge of recontextualising assessment data for specific clinical performance/feedback discussions merits further consideration, especially as longitudinal coaching is in contrast longitudinal integrated clerkships, where learners gage their progress by their increased responsibility for authentic patient care.27 In considering faculty development, it is possible that asking coaches to pay particular attention to cues that may lead to discussing issues related to patient care will broaden types of goals discussed. That said, we suspect there is a balance between scaffolding structure for coaching and open-ended coaching meetings. There is a risk of continuing to add more direction and supports to the longitudinal coaching requirements, as this may detract from its ability to support residents in their identity formation at various stages of training. It may be that more faculty development is not better. Focusing on improving our understanding of how longitudinal coaching conversations can best contribute to improving co-regulation and reflection on both competencies and professional identity formation may be the key.

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.

활동이론을 활용하여 의학 업무와 학습을 변혁하기 (Med Teach, 2021)
Using activity theory to transform medical work and learning
Yrj€o Engestr€oma and Eeva Py€or€al€ab

소개
Introduction

의사는 의료 기관의 복잡한 사회 시스템에서 필수적인 구성원으로 일합니다. 역량 기반 교육 프레임워크는 미래의 의사가 시스템 기반 진료, 옹호 및 협업을 개발할 수 있도록 의료 교육을 요구합니다(Orsino and Ng 2019). 동시에 의료의 전반적인 대상, 즉 환자가 겪고 있고 치료를 원하는 건강 문제의 스펙트럼에 근본적인 변화가 일어나고 있습니다. 장기 치료가 필요한 노인과 만성 질환 환자의 비율이 증가하고 있습니다. 두 가지 이상의 만성 질환을 앓고 있는 다질환 환자는 의료 자원의 상당 부분을 확대하고 활용하고 있습니다(Barnett et al. 2012; Braithwaite 2018). 동시에 의료 전문가들은 빈곤과 열악한 건강이 밀접하게 연관되어 있으며 사회경제적으로 박탈당한 사람들은 의료 서비스에 대한 접근성이 제한되어 있다는 사실을 점점 더 많이 인식하고 있습니다. 
Physicians work as integral members of the complex social systems of healthcare organizations. Competency-based education frameworks require that medical training develop future physicians’ systems-based practice, advocacy, and collaboration (Orsino and Ng 2019). At the same time, a foundational change is going on in the overall object of medicine, namely the spectrum of health problems patients are suffering from and seeking care for. The proportion of elderly people and patients with chronic conditions requiring long-term care is increasing. Patients with multimorbidity, i.e. suffering from two or more chronic conditions, are expanding and utilizing a significant portion of health care resources (Barnett et al. 2012; Braithwaite 2018). At the same time, medical professionals are becoming increasingly aware that poverty and poor health go hand in hand and the socio-economically deprived have limited access to health care.

환자 치료의 파편화는 의료계의 주요 과제입니다. 의료 시스템은 주로 복잡한 장기 질환과 만성 질환, 정신 장애, 빈곤의 동시 발생보다는 환자의 단일 증상과 질병을 치료하도록 설계되어 있습니다(Walker and Druss 2017).  
Fragmentation of patient care is a major challenge for healthcare practice. Healthcare systems are largely designed to treat patients’ single symptoms and diseases rather than complicated long-term disorders and the co-occurrence of chronic conditions, mental disorders, and poverty (Walker and Druss 2017).

다질환과 치료의 파편화에 관한 연구에 따르면 의료 교육은 환자에게 의료 부서 간, 그리고 치료 중인 환자와의 연속성, 조정 및 협업을 제공하는 접근 방식을 채택해야 합니다(Barnett 외. 2012; Braithwaite 2018; Engeström 2018). 그럼에도 불구하고 대부분의 의학 연구는 포괄적인 환자 치료와 1차 의료와 전문의 진료 간의 협력을 희생하면서 질병 중심의 전문의 관점에 초점을 맞추고 있습니다. 
Studies on multimorbidity and fragmentation of care call for medical education to adopt an approach that provides patients with continuity, coordination, and collaboration across healthcare units and with patients under their care (Barnett et al. 2012; Braithwaite 2018; Engeström 2018). Still, most medical studies focus on disease-centred specialist perspectives at the expense of comprehensive patient care and collaboration between primary healthcare and specialist care.

동시에 의료 시스템은 빠른 이직률과 단기적인 수익을 선호하는 시장 중심의 비즈니스 계산과 경영주의에 의해 점점 더 침투하고 있습니다. 의료의 도구는 합리화, 표준화, 상품화라는 측면에서 틀이 잡히고 있으며, 이러한 개념은 수평적으로 공동 구성된 치료 궤적과 장기적인 사회적 영향보다는 선형적이고 미리 포장된 하향식 프로세스와 절차를 선호합니다. 이러한 힘은 의료 대상의 필요한 확장을 매우 어렵게 만듭니다.  
Concurrently, systems of healthcare are increasingly penetrated by market-oriented business calculations and managerialism that favor rapid turnover and short-term profits. The instruments of medicine are becoming framed in terms of rationalization, standardization, and commoditization, notions that favor linear and pre-packaged top-down processes and procedures rather than horizontally co-constructed care trajectories and long-term societal impact. These forces make the needed expansion of the object of medicine very difficult.

환자 치료와 의학교육의 파편화와 장기 질환 및 동반 질환을 가진 환자의 증가로 인해 의료의 대상에 대한 근본적인 확장, 즉 더 긴 시간의 관점, 더 광범위한 협업 및 학제 간 접근 방식, 의료인과 그 조직의 혁신적 에이전시가 필요합니다. 따라서 우리는 변화, 교란, 논쟁을 조사하기 위해 고안된 이론적, 방법론적 접근이 필요합니다. 
Fragmentation of patient care and medical education as well as the increasing number of patients with long term conditions and comorbidities require a radical expansion of the object of medicine: longer time perspectives, broader collaborative and interdisciplinary approaches, and transformative agency from medical practitioners and their organizations. Therefore, we need a theoretical and methodological approach designed to investigate transformation, disturbances, and controversy.

문화-역사적 활동 이론(CHAT)은 역사적으로 형성된 체계적 모순을 분석의 출발점으로 삼습니다. 그림 1은 활동 시스템의 일반 모델(Engeström 2015, 63쪽)을 사용하여 의료 업무에 만연한 모순에 대한 작업 가설을 구성하는 방법을 보여줍니다. 
Cultural–historical activity theory (CHAT) takes historically formed systemic contradictions as the starting point of the analysis. Figure 1 shows how the general model of an activity system (Engeström 2015, p. 63) can be used to construct a working hypothesis of the pervasive contradictions of medical work.

모순은 일상적인 의료 업무에서 혼란과 갈등을 야기합니다. 다른 한편으로는 일상적인 혁신과 지역적 변화를 촉진하기도 합니다(Martin et al. 2017). 따라서 의료 사회 시스템이 복잡성을 이해하고 관리하며, 모순의 역학을 파악하고, 이를 해방적 변화에 활용하도록 도전합니다. 
Contradictions generate disturbances and conflicts in everyday medical work. On the other hand, they also stimulate everyday innovation and local change (Martin et al. 2017). Thus, they challenge the medical social system to understand and manage complexity, to identify the dynamics of contradictions, and to utilize them in emancipatory transformations.

이 글에서는 CHAT의 주요 개념과 확장적 학습 이론을 소개합니다(Engeström과 Sannino 2010, Engeström 2015, 2018). 확장적 학습은 이론, 경험적 연구, 형성적 개입 사이에 강한 연관성이 있는 연구 전통입니다. 따라서 우리는 의료 전문가와 환자가 치료의 파편화와 의료 활동 시스템의 모순을 해결하기 위해 의료 서비스 맥락에서 구현 된 형성적 개입의 구체적인 사례를 통해 활동 이론을 논의합니다. 
This article introduces key concepts of CHAT and the theory of expansive learning (Engeström and Sannino 2010; Engeström 2015, 2018). Expansive learning is a research tradition with strong links between theory, empirical research, and formative interventions. Therefore, we discuss activity theory with the help of concrete examples of formative interventions implemented in the context of healthcare where healthcare professionals and patients tackled fragmentation of care and contradictions in the activity systems of medical work.

의료 업무의 근접 개발 영역: 협력적이고 변혁적인 전문성
The zone of proximal development of medical work: Collaborative and transformative expertise

활동 이론에서 변화는 미리 정해진 종점을 향한 선형적인 움직임으로 간주되지 않습니다. 이는 근위 발달 영역으로 이해됩니다. 이 개념은 원래 비고츠키(1978, 86쪽)가 개인 학습의 맥락에서 제시했습니다. Engeström(2015, 138쪽)은 집단 활동 수준에서 학습과 발달을 다루기 위해 이 개념을 재정의했습니다. 근접 발달 영역은 현재와 미래 사이의 가능성의 지형으로, 당면한 모순에 대한 해결책으로 활동을 집단적으로 변화시킬 수 있습니다. 
In the activity theory, transformations are not seen as linear moves toward pre-fixed end points. They are understood as zones of proximal development. This concept was originally presented by Vygotsky (1978, p. 86) in the context of individual learning. Engeström (2015, p. 138) redefined the concept to address learning and development at the level of collective activities. Zones of proximal development are terrains of possibilities between the present and the future where activities can be collectively transformed as a solution to the contradictions at hand.

의료 업무와 같은 활동의 근접 발전 영역을 묘사하려면 역사적 변화와 발전의 주요 차원을 파악해야 합니다. 그림 2에서는 의료 전문성의 근위 발전 영역을 개인 전문성과 집단 전문성(수직적 차원), 안정을 위한 학습과 변화를 위한 학습(수평적 차원)이라는 두 가지 차원을 통해 설명합니다. 이 두 가지 차원이 합쳐져 네 가지 영역이 형성되는데, 왼쪽 아래에는 역사적으로 가장 오래된 기술 전문 지식이, 오른쪽 위에는 아직 미지의 영역인 협업 및 혁신 전문 지식이 위치합니다. 
To portray a zone of proximal development of an activity such as medical work, we need to identify the key dimensions of historical change and development. In Figure 2, the zone of proximal development of medical expertise is illustrated with the help of two dimensions: namely, between an individual and a collective locus of expertise (the vertical dimension), and between learning for stability and learning for change (the horizontal dimension). Together, these two dimensions form a fourfold field in which the historically earliest craft expertise is located in the lower-left section and the largely uncharted collaborative and transformative expertise is located in the upper right section.

협력적이고 변혁적인 전문성은 의료진이 지속적인 시스템 변화 노력에 참여한다는 것을 의미합니다. 이는 의료진 간의 협업과 의료기관, 환자 및 대상 지역사회, 기타 사회 주체 간의 연합 구축을 통해서만 달성할 수 있습니다. 그림 2에서 설명한 바와 같이, 협력적이고 혁신적인 전문성을 향한 세 가지 선봉은 다음과 같다.

• (1) 전문성을 목적 지향적이고 모순에 기반한 활동 시스템으로 재개념화하기,
• (2) 전문성을 협상된 매듭으로 추구하기,
• (3) 확장적 학습으로 전문성 구축하기

다음 섹션에서는 이 세 가지 선봉에 대해 소개합니다.
Collaborative and transformative expertise implies that medical practitioners are involved in ongoing systemic change efforts. This can only be accomplished by means of collaboration among healthcare practitioners and coalition-building between healthcare units, their patients and target communities, and other societal actors. As described in Figure 2, we may identify three spearheads toward collaborative and transformative expertise:

• (1) reconceptualizing expertise as object-oriented and contradiction-driven activity systems,
• (2) pursuing expertise as negotiated knotworking, and
• (3) building expertise as expansive learning.

We will introduce these three spearheads in the following sections.

객체 지향 활동 시스템으로서의 전문성
Expertise as object-oriented activity systems

CHAT의 기본 아이디어 중 하나는 수명이 짧고 목표 지향적인 활동actions과 지속적이고 집단적인 활동activities을 구분하는 것입니다(Leont'ev 1978). 활동activity은 행동을 생성하는 협력적이고 총체적인 시스템으로 이해됩니다. 활동 시스템은 대상object을 지향합니다. 대상은 활동의 장기적인 목적을 구현하여 가능한 행동의 지평을 생성합니다. 의료 서비스에서 일반적인 대상은 건강과 질병이지만, 특정 불만을 가진 각각의 특정 환자는 대상의 구체적인 표현입니다. 
One of the foundational ideas of CHAT is the distinction between short-lived, goal-directed actions and durable and collective activities (Leont’ev 1978). An activity is understood as a collaborative and holistic system that generates actions. An activity system is oriented toward an object. The object embodies the long-term purpose of the activity, generating horizons for possible actions. In healthcare, the general object is health and illness, whereas each specific patient with a specific complaint is a situated manifestation of the object.

의료와 같은 복잡한 사회 제도에는 각 활동 시스템의 노드 내부와 노드 간, 그리고 상호 연결된 활동 시스템 간에 역사적으로 축적된 체계적 모순이 존재합니다. 오늘날 의료 업무의 주요 과제 중 하나는 진료의 파편화, 또는 활동 이론적 용어로 대상의 파편화이며, 특히 여러 만성 질환을 가진 환자를 진료할 때 두드러집니다(Kerosuo and Engeström 2003; Engeström 2018; Meijer 외. 2020, 언론 보도 중). 그림 3은 핀란드 헬싱키시의 의료 시스템에서 여러 의료 전문 분야와 진료소 사이를 떠돌던 한 환자의 치료가 파편화되는 과정을 보여줍니다.
In complex social institutions such as healthcare, there are historically accumulated systemic contradictions within and between the nodes of each activity system, and among interconnected activity systems. One of the major challenges in medical work today is the fragmentation of care, or in activity-theoretical terms, the fragmentation of the object, especially salient in the care of patients with multiple chronic conditions (Kerosuo and Engeström 2003; Engeström 2018; Meijer et al. 2020, in press). Figure 3 portrays the fragmentation of the care of a patient who drifted between several medical specialties and clinics in the health care system of the city of Helsinki in Finland.

파편화는 다음의 경우에 나타났습니다.

• (a) 서로 다른 전문 간병인이 자신의 제한된 책임과 역량 영역에 '속하는' 증상과 치료에만 집중하고, 
• (b) 서로 다른 간병인 사이에 공통 언어나 이해가 없으며, 
• (c) 환자 치료에 관여하는 여러 당사자 간의 조정, 협력 및 의사소통을 보장하는 효율적인 메커니즘이 없을 때 

파편화는 발췌문 1에 예시된 바와 같이 치료의 공백과 중단 위험을 초래했습니다.
Fragmentation emerged when

• (a) the different specialist caregivers concentrated exclusively on the symptoms and care that ‘belonged’ to their own restricted areas of responsibility and competence,
• (b) there was neither common language nor understanding between the different caregivers, and
• (c) there was no efficient mechanism that guaranteed coordination, cooperation, and communication between the different parties involved in the patient’s care.

Fragmentation led to gaps and risks of disruption in the care, as exemplified in Excerpt 1.

발췌문 1
Excerpt 1

환자: 남편은 암으로 사망했고 딸은 이제 열여섯 살이 되었습니다. 우리 둘만 남았기 때문에 딸을 성인이 되도록 키우기 위해 가능한 모든 수단을 동원해 살아남고 신장을 보호해야 한다고 생각합니다. 그래서 그것이 저에게 스트레스를 주는 원인이죠.
Patient: My husband died of cancer and my daughter is now sixteen. Being just the two of us, I feel I have to stay alive and protect my kidney by all possible means, to bring her up into adulthood. So that’s what causes stress for me.

연구원: 그래서 문제는 급성 상황에서 정보가 한 의사에서 다른 의사로 전달되었는지 여부에 대한 불확실성입니다....
Researcher: So the problem is uncertainty in acute situations, whether or not information has been passed from one doctor to the other…

환자: 네, 최근에 있었던 특정 상황처럼 제가 직접 정보를 전달할 수 없는 경우입니다. 제 상황을 설명할 수 없었어요. 그것은 제가 여러 번 생각했던 것입니다...
Patient: Yes, if I cannot convey the information myself, like it was in that particular situation recently. I was not able to explain my situation. That’s something I have thought about many times…

치료의 파편화는 활동 시스템 간 및 활동 시스템 내부의 모순으로 인해 발생했습니다. 병원의 전문 진료, 일차 의료의 일반 진료, 아픈 환자 자신의 삶이라는 활동 체계는 각각 다른 대상을 가지고 있었고, 이 대상들은 자주 충돌하고 거의 만나지 못했습니다. 분업은 각 의사의 단독 책임을 강조하여 전문의와 일반의의 책임을 효과적으로 캡슐화했습니다. 또한, 여러 만성 질환을 앓고 있는 환자에게는 공유된 도구가 필요했을 텐데, 이 두 가지 활동 체계는 특정한 별도의 도구로 운영되었습니다. 게다가 시장 경제 규칙에 따라 의료 기관은 단기적인 비용 효율성을 우선시해야 했습니다. 이러한 긴장이 가득한 상황은 그림 4에 개략적으로 설명되어 있습니다.

The fragmentation of care was generated by contradictions between and within activity systems. The activity systems of specialist care in the hospital, general practice in primary health care, and the patient’s own life with ill health each had a different object, and these objects frequently collided and rarely met. The division of labor emphasized solo responsibility of each practitioner, effectively encapsulating the responsibilities of the specialist and the general practitioner. Moreover, these two activity systems operated with specific, separate instruments, whereas a patient with multiple chronic conditions would have needed shared instruments. Furthermore, the market economy rules guided the health care units to prioritize short-term cost-efficiency. This tension-laden constellation is schematically illustrated in Figure 4.

폭넓은 학습으로서의 전문성
Expertise as expansive learning

확장 학습은 변화를 위한 학습을 분석하고 촉진하는 독특한 방법을 제공합니다. 확장 학습 이론은 아직 존재하지 않는 새로운 활동 패턴을 학습하는 데 중점을 두며, 설계된 대로 학습합니다(Engeström 2015, 2016). 확장적 학습의 대상은 다양한 관점 사이에서 갈등하고, 협상하고, 혼성화하며, '야생에서' 개념을 종합적으로 형성하는 다중 목소리 학습 과정에 참여합니다(Engeström과 Sannino 2012).
Expansive learning provides a unique way of analyzing and promoting learning for change. The theory of expansive learning focuses on learning of new patterns of activity that are not yet there; they are learned as they are designed (Engeström 2015, 2016). The subjects of expansive learning are involved in a multi-voiced learning process in which they struggle, negotiate, and hybridize between the alternative perspectives and collectively form concepts ‘in the wild’ (Engeström and Sannino 2012).

확장적 학습은 확장적 학습의 주기를 형성하는 학습 행동을 통해 진행됩니다(그림 5). 그림에서 굵어진 화살표는 프로세스에 참여하는 참여자의 수와 헌신적인 노력의 측면에서 증가하는 모멘텀을 나타냅니다. 확장 학습의 주기는 의도적인 개입 없이도 가끔 발생하지만, 이는 드문 경우입니다. 확장적 학습의 주기를 촉발하고, 지원하고, 분석하기 위해 형성적 개입 방법론이 개발되었습니다(Engeström 외. 2014).
Expansive learning proceeds by means of learning actions that form cycles of expansive learning (Figure 5). The thickening arrows in the figure indicate increasing momentum in terms of numbers and commitment of participants involved in the process. Cycles of expansive learning sometimes occur without deliberate intervention, but this is rare. A methodology of formative interventions has been developed to trigger, support, and analyze cycles of expansive learning (Engeström et al. 2014).

변화 실험실이라는 형성적 개입 방법은 1990년대에 주요 변화에 직면한 조직과 직장을 연구하기 위해 개발되었습니다(Engeström 외. 1996, Engeström과 Sannino 2010, Virkkunen과 Newnham 2012, Sannino와 Engeström 2017). 변화 실험실은 광범위한 학습을 촉발하고 지원하는 것을 목표로 합니다. 변화 실험실은 클리닉과 같은 지역 단위에 초점을 맞출 수도 있고, 더 큰 규모의 모순과 긴장을 해결하기 위해 여러 활동 시스템을 한데 모을 수도 있습니다. 
A formative intervention method called Change Laboratory was developed in the 1990s for studying organizations and workplaces facing major transformations (Engeström et al. 1996; Engeström and Sannino 2010; Virkkunen and Newnham 2012; Sannino and Engeström 2017). Change Laboratory is aimed at triggering and supporting expansive learning. A Change Laboratory may focus on a local unit, such as a clinic, or bring together multiple activity systems to resolve larger-scale contradictions and tensions.

변화 실험실 방법을 사용하려면 연구자가 실제 업무 환경에서 인터뷰, 관찰, 비디오 녹화 등 경험적 자료를 수집해야 합니다. 이 자료에는 연구자가 새로운 활동 패턴을 모색하고 설계하기 위해 변화 실험실 세션 참가자들의 참여, 분석 및 협력 노력을 자극하기 위해 '거울'로 삼을 수 있는 중요한 사건, 장애 및 문제가 포함되어 있으며, 연구자는 이 중에서 발췌하여 제공합니다. 
The Change Laboratory method requires that the researchers collect empirical material, e.g. interviews, observation, and video-recordings, from authentic workplace contexts. The material includes critical incidents, disturbances, and problems of which the researcher selects and provides extracts for a ‘mirror’ to stimulate involvement, analysis, and collaborative efforts among participants in Change Laboratory sessions to seek and design new patterns of activity.

일반적인 체인지 랩 개입은 6~10개의 세션으로 진행됩니다.

• 참가자는 먼저 연구자가 선정한 비디오 발췌본을 시청하여 기존 활동 방식에 의문을 제기하는 학습 행동을 유도합니다.
• 그런 다음 참가자들은 역사적, 경험적 분석을 통해 문제와 그 체계적 원인, 가능한 해결책 또는 해결책을 논의합니다. 문제, 원인 및 제안된 해결책은 필자가 화이트보드나 플립 차트에 기록합니다.
• 그런 다음 참가자들은 모델링 학습 활동에 참여하여 근위 개발 영역과 새로운 활동 모델을 공동으로 초안을 작성합니다.
• 새로운 모델의 목표와 내용을 논의하고 모델을 검토하고 테스트하는 활동에 해당하는 세부적인 변경 및 개선 제안이 이루어집니다.
• 참가자는 모델을 실행하는 학습 행동에 해당하는, 활동의 실질적인 변화를 계획하고 실행합니다.
• 프로세스는 프로세스를 반성하는 행동으로 수행한 작업을 검토하여 평가합니다.
• 결과의 통합 및 일반화는 변화 실험실 개입이 끝날 무렵에 시작되며 일반적으로 그 이후에도 계속됩니다.

A typical Change Laboratory intervention proceeds through 6–10 sessions.

• Participants first view video excerpts selected by the researchers to elicit the learning action of questioning the existing mode of activity.
• Next, participants discuss the problems, their systemic causes, and possible remedies or solutions – performing historical and empirical analysis. Problems, causes, and suggested solutions are written up on whiteboards or flip charts by a scribe.
• Then, participants engage in the learning action of modeling, jointly drafting a zone of proximal development and a new model for their activity.
• The aims and contents of the new model are discussed, and detailed changes and improvement suggestions are made, corresponding to the action of examining and testing the model. 
• Participants plan and execute practical changes in the activity, corresponding to the learning action of implementing the model. 
• The process is assessed by examining the work accomplished in an action of reflecting on the process.
• Consolidation and generalization of the outcomes are initiated toward the end of a Change Laboratory intervention and typically continue after it.

헬싱키에서 일차 의료와 전문 병원 진료 간의 협상된 업무 방식 개발에 관한 핀란드 연구(Engeström 외. 2003; Engeström 2018)는 의료 환경에서 변화 실험실을 성공적으로 구현한 풍부한 설명을 제공합니다. 실제 상황에서 일차 진료와 이차 진료 사이의 환자 치료의 세분화에 대한 데이터를 수집하고, 9번의 Change Laboratory 세션을 진행했으며, 환자 및 환자 치료에 관여하는 실무자와 함께 10개의 환자 사례를 연속적으로 분석했습니다. 
A Finnish study on the development of a negotiated way of working between primary health care and specialized hospital care in Helsinki (Engeström et al. 2003; Engeström 2018) provides a rich description of a successful implementation of Change Laboratory in healthcare settings. Data were gathered on the fragmentation of patient care between primary and secondary care in the real-life contexts, nine Change Laboratory sessions were conducted and ten patient cases were jointly analyzed in successive sessions with the patients and the practitioners involved in their care.

여러 차례에 걸친 확장적 학습을 통해 의사와 환자는 여러 만성 질환을 앓고 있는 환자를 치료하는 과정에서 파편화를 발견한 한 의사가 시작한 치료 계약이라는 새로운 도구를 만들어냈습니다(Kerosuo와 Engeström 2003). 계약서의 첫 번째 초안은 시작 의사와 환자 간에 협상이 이루어졌습니다. 그런 다음 초안을 환자의 치료에 관여하는 다른 의료진에게 보내 당사자 간의 협상을 거쳤습니다. 치료 합의서에는 여러 대상자의 진단과 주요 관심사가 요약되어 있고 치료 계획이 설명되어 있습니다. 또한 새로운 상황이 발생하고 변경 사항이 있을 때 서로에게 최신 정보를 제공하는 방법도 설명했습니다. 치료 동의서는 환자를 포함한 주요 당사자가 서명했습니다. 치료 동의서 도구에서 중요한 두 가지 도구, 즉 치료 지도와 환자의 치료 달력이 추가로 개발되었습니다. 두 가지 모두 의사와 환자가 공동으로 작성하고 협상했습니다. 
In multiple cycles of expansive learning, practitioners and patients generated a new instrument called the care agreement initiated by a physician who noticed fragmentation in the care of a patient with multiple chronic illnesses (Kerosuo and Engeström 2003). The first draft of the agreement was negotiated between the initiating physician and the patient. The draft was then sent to other healthcare practitioners involved in the patient’s care and negotiated among the parties. The care agreement summarized the diagnoses and key concerns of the different subjects and outlined their plans of care. It also explicated the ways they kept each other up-to-date when new developments occurred and changes were made. The care agreement was signed by the key parties, including the patient. Two additional instruments, important in the care agreement instrumentality were developed, namely that of a care map and a care calendar of the patient. Both were collaboratively constructed and negotiated by the physicians and the patients.

확장적 학습 주기는 세 가지 수준에서 식별되고 지원될 수 있습니다.

• 환자 치료에서 상호 연결된 활동 시스템 간에 새로운 기본 모델을 생성하고 구현하는 데는 일반적으로 몇 년이 걸립니다(예: Engeström 외. 2007).
• 중간 수준은 변화 실험실 개입의 도움을 받아 집중적인 지역적 변화로 구성되며, 몇 개월이 소요됩니다(예: Engeström 외. 2013).
• 가장 작은 규모의 확장 학습 미니 사이클은 단일 개입 세션 또는 이와 유사한 제한된 에피소드로 구성됩니다(예: 누미조키 외. 2018).

Expansive learning cycles may be identified and supported at three levels.

• To generate and implement a new foundational model between interconnected activity systems in patient care typically takes several years (e.g. Engeström et al. 2007).
• An intermediate level consists of a focused local transformation with the help of a Change Laboratory intervention, requiring several months (e.g. Engeström et al. 2013).
• The smallest scale of mini-cycles of expansive learning consists of single intervention sessions or similar restricted episodes (e.g. Nummijoki et al. 2018).

변화 실험실 중재는 핀란드(Engeström 2018), 덴마크(Skipper 외. 2016), 브라질(Vilela 외. 2020; Grilo Diniz 외. 2020, 보도 중), 영국(Reid 외. 2015; Morris 외. 2020, 보도 중)의 다양한 의료 환경에서 수행 및 보고되었습니다. 
Change Laboratory interventions have been carried out and reported in various medical settings in Finland (Engeström 2018), Denmark (Skipper et al. 2016), Brazil (Vilela et al. 2020; Grilo Diniz et al. 2020, in press), and the United Kingdom (Reid et al. 2015; Morris et al. 2020, in press).

보건의료 업무를 통한 학습: 전제, 기여, 실천(Med Educ, 2016)
Learning through health care work: premises, contributions and practices
Stephen Billett

소개
Introduction

오랫동안 인식되어 온 바와 같이, 업무 환경에서의 경험은 보건의료 종사자의 초기 직업 준비와 직업 생활 전반에 걸친 지속적인 개발 모두에서 학습에 뚜렷한 기여를 할 수 있습니다.1, 2 그러나 이러한 목적을 위해 직장 경험을 효과적으로 활용하고 보건의료 실무의 혁신과 효율성을 증진하려면 이러한 경험의 기여와 한계를 이해하고 실제 행동에 활용해야 합니다.3, 4 이러한 목표를 달성하려면 교육 과학의 많은 가정이 '학교 교육'(즉, 교육 기관에서의 학습 경험)에 기반을 두고 있기 때문에 교육 과학의 정보를 바탕으로 하지만 제약이 없는 학습 설명을 참조할 필요가 있습니다. 
As long recognised, experiences in work settings can make distinct contributions to health care workers’ learning, both in their initial professional preparation and ongoing development across their professional working lives.1, 2 Yet, to effectively utilise workplace experiences for these purposes and advance innovation and efficacy in health care practice requires the contributions and limitations of these experiences to be understood, and used to inform practical actions.3, 4 This goal requires drawing on accounts of learning informed, but not constrained, by educational science as many of its assumptions are founded in ‘schooling’ (i.e. taught experiences in educational institutions).

이러한 우려를 해결하기 위해 직장에서의 학습에 관한 경험적 탐구와 관련 문헌을 바탕으로 의료 업무에서의 일상적인 경험이 미래의 도전 과제 해결을 포함하여 교육적으로 가치 있는 것으로 자리매김할 수 있는 방법을 설명합니다. 항상 의료 직종에서 시작되는 것은 아니지만, 이러한 질문은 다음에 대해 잠재적으로 임상 환경에 적용할 수 있는 통찰력을 제공합니다. 

• (i) 이러한 환경을 통한 학습이 어떻게 발생하는지,
• (ii) 이러한 학습 과정과 결과의 잠재력과 한계는 무엇인지,
• (iii) 업무 내에서 그리고 업무를 통해 학습과 혁신을 촉진할 수 있는 방법은 무엇인지

In addressing these concerns, empirically-based inquiries regarding learning in workplaces and the relevant literature are drawn upon to describe how everyday experiences in health care work can be positioned as educationally worthwhile, including addressing future challenges. Although not always founded in health care occupations, these inquiries offer insights that can potentially be translated to clinical settings about:

• (i) how learning through those settings arises,
• (ii) the potential and limitations of these learning processes and outcomes, and
• (iii) how learning and innovation can be promoted in and through work.

기본적으로, 보건의료 업무를 통한 효과적인 학습은 한편으로는 임상 환경에서 제공되는 활동과 상호작용, 다른 한편으로는 보건의료 종사자가 이러한 활동에 참여하는 방식 사이의 이중성을 통해 발생하는 것으로 설명합니다.5 이는 학습이 일상적인 업무 활동이나 임상 교육과 같은 중재를 통해 발생하는 경우 모두 해당됩니다. 
Foundationally, they explain effective learning through health care work as arising through a duality between the activities and interactions afforded in clinical settings, on the one hand, and how health care workers elect to engage with them, on the other.5 This is the case whether that learning arises through everyday work activities or interventions, such as clinical teaching.

따라서 원칙적으로 교육 기관에서의 경험을 통한 학습과 임상 환경에서의 학습에 대한 설명에는 차이가 없습니다.6 둘 다 경험을 제공하고 개인(즉, 학생과 종사자)은 자신에게 주어진 경험을 어떻게 활용할 것인지를 선택합니다. 그러나 질적으로 보면 임상 환경은 독특한 물리적, 사회적 환경, 활동, 상호작용을 통해 경험에 대한 접근성을 제공하고 학습 보건의료 관행에 부합하는 기여를 합니다. 이러한 환경이 제공하는 단서와 단서, 직업적으로 진정한 목표 지향적 활동과 상호작용은 교실 기반 경험만으로는 불가능한 방식으로 효과적인 보건의료 업무에 필요한 지식에 접근하고 이를 확보하는 데 도움을 줍니다.7 그러나 임상 경험을 통한 학습과 관련된 한계, 단점 및 위험에 대한 명확한 증거가 있습니다.7 따라서 이러한 경험은 한계를 보완하기 위한 노력으로 확장되는 업무 수행에 필요한 학습 결과를 실현하는 잠재력 측면에서 가치를 평가할 필요가 있습니다. 이러한 자질을 정교화하고 현재와 미래의 의료 종사자의 학습을 어떻게 해결할 수 있는지를 발전시키는 것이 이 연구의 핵심입니다. 의료 서비스 실무에서 초기 전문성 준비와 지속적인 개발 모두에서 직장 경험이 차지하는 역할이 커지고 실무에서 혁신과 효율성에 대한 요구가 증가함에 따라 이러한 이해가 특히 중요해지고 있습니다. 
In principle, therefore, there is no difference between accounts of learning through experiences in educational institutions and in learning in clinical settings.6 Both afford experiences and individuals (i.e. students and workers) elect how they engage with what is afforded them. However, qualitatively, clinical settings, with their distinctive physical and social environments, activities and interactions, afford access to experiences and make contributions aligned with learning health care practices. The clues and cues provided by those settings, and their occupationally authentic goal-directed activities and interactions grant access to and assist in securing the kinds of knowledge required for effective health care work, in ways that classroom-based experiences alone cannot.7 There is, however, clear evidence of limitations, shortcomings and risks associated with learning through workplace experiences.7 Hence, these experiences need to be valued in terms of their potential for realising the learning outcomes that are required for workplace performance that extends to efforts to redress its limitations. Elaborating these qualities and advancing how they can address health care workers’ learning now and in the future is the central focus here. The increasing role of workplace experiences in both initial professional preparation and ongoing development in health care practice, and the growing requirement for innovation and efficacy in practice, makes such understandings particularly important.

일을 통한 학습을 이해하기 위한 네 가지 전제
Four premises for understanding learning through work

'학교 교육'의 교훈, 관행 및 초점(즉, 교육 기관 및 관행의 교훈)은 그 자체로 필수적이지만, 현재 효과적인 학습 경험을 구성하는 요소에 대한 고려를 지배하고 왜곡할 수 있습니다. 이는 의도적인 교육 프로그램과 경험 외에서 발생하는 학습을 무시하거나 경시하는 결과를 초래할 수 있습니다.6 따라서 일을 통한 학습을 지원하는 프로세스는 해당 학습이 어떻게 가장 잘 정렬되고, 지원되고, 강화될 수 있는지를 설명할 수 있는 전제를 사용하여 이해해야 합니다. 현재 이러한 네 가지 전제가 발전했습니다. 
The precepts, practices and focuses of ‘schooling’ (i.e. those of educational institutions and practices), although essential in their own right, currently dominate and can distort considerations of what constitutes effective learning experiences. This can lead to the ignoring or downplaying of learning that arises outside of intentional educational programmes and experiences.6 Therefore, processes supporting learning through work need to be understood using premises that can describe how that learning can be best ordered, supported and augmented. Four such premises are now advanced.

첫째, 학습은 항상 일어납니다. 학습은 인간의 사고와 행동의 필연적인 결과입니다.8, 9 실무자가 업무 활동과 상호작용에 참여할 때, 과제를 완료하는 것 이상으로 그들이 알고 있고, 할 수 있고, 가치 있게 여기는 것(즉, 학습)에 변화가 일어나는 것으로 나타났습니다.7 따라서 학습은 의도적인 교육 경험을 위해 예약되거나 반드시 강화되는 것이 아닙니다. 실제로 학습이 이루어지는 장소보다는 일상적인 업무 경험의 유형과 질, 그리고 그에 대한 개인의 반응이 학습 내용을 형성합니다.10 개인에게 새로운 임상 과제나 활동에 참여하는 것은 새로운 학습의 잠재력을 제공합니다. 새로운 경험에 효과적으로 참여하고 적절한 지원을 받으면 임상 역량을 더욱 발전시킬 수 있습니다. 그러나 개인의 기존 역량 또는 준비도(즉, 근위 발달 영역)를 벗어난 활동은 제한적이거나 부정적인 결과(예: 혼란 또는 좌절)를 초래할 수 있습니다.7 따라서 경험이 많은 동료의 지도가 필요합니다. 중요한 것은 일상적이거나 익숙한 임상 활동도 절차를 연마하고 개선하여 임상 추론에 필요한 인과 관계와 연관성을 확립함으로써 보다 효과적인 진료로 이어질 수 있다는 점입니다.12 이러한 점진적 학습은 종종 의식적으로 인식하지 못한 채 발생하며, 실무자가 기억하거나 연구자가 포착하기 어려울 수 있다는 점입니다. 따라서 개인이 알고 있고, 할 수 있고, 가치 있게 여기는 것(즉, 학습)의 변화는 직장 생활 전반에 걸쳐 진행되며 교육 프로그램이나 교사의 개입에 의존하지 않습니다. 
First, learning occurs all the time. It is an inevitable consequence of human thinking and acting.8, 9 When practitioners engage in work activities and interactions, more than completing tasks, changes have been shown to take place in what they know, can do and value (i.e. learning).7 Hence, learning is not reserved for or necessarily enhanced by intentional educational experiences. Indeed, rather than where they occur, it is the type and quality of everyday work experiences and individuals’ responses to them that shape what is learned.10 Engaging in clinical tasks or activities that are novel to individuals offers the potential for new learning. Novel experiences, if effectively engaged with and adequately supported, can lead to development of further clinical capacities. However, activities beyond the scope of individuals’ existing competence or readiness (i.e. their zone of proximal development) 11 can lead to limited or negative outcomes (e.g. confusion or frustration).7 Hence, there is a need for guidance by more experienced co-workers. Importantly, routine or familiar clinical activities can also lead to more effective practice through honing and refining procedures and establishing causal links and associations of the kind required for clinical reasoning.12 This incremental learning often arises without conscious awareness and can be difficult to recall by practitioners and capture by researchers. So, changes in what individuals know, can do and value (i.e. learning) are ongoing across working lives and are not dependent on educational programmes or teachers’ interventions.

둘째, 연구에 따르면 근로자는 업무 활동에 참여하면서 자신의 직업 활동을 재구성하고13 잠재적으로 변화시킵니다.14 따라서 보건의료 종사자는 특정 시점과 특정 상황에서 특정 목표를 향해 임상 업무를 수행하면서 자신의 직업을 재구성하고, 이를 통해 직업을 유지하고 점진적으로 변화시키는 데 관여합니다. 때때로 이러한 리메이킹은 직업적 관행의 변화로까지 확장되기도 합니다. 현재 전 세계 의료 종사자들은 에볼라 바이러스를 억제하기 위해 감염 관리 관행을 바꾸고 있습니다. 기존 프로토콜이 실패함에 따라 새로운 절차가 개발, 시험, 제정되어 의료 관행이 변화하고 있습니다. 따라서 개인에게 발생하는 변화(예: 학습)뿐만 아니라 직종도 근로자의 행동을 통해 변화합니다. 따라서 미래의 임상 절차를 식별, 수행 및 평가하고 혁신을 확보하는 것은 필연적으로 보건의료 업무와 학습의 동시 발생과 관련이 있습니다. 
Second, studies indicate that as workers engage in work activities they also remake,13 and potentially transform, their occupational activities.14 So, as health care practitioners carry out their clinical work at particular moments in time and under particular circumstances, directed towards specific goals, they are engaged in remaking their occupations, thereby sustaining and, incrementally, transforming them. Sometimes, that remaking extends to the transformation of occupational practice. Worldwide, health care workers are currently changing their infection control practices to contain the Ebola virus. As existing protocols fail, new procedures are developed, trialled and enacted, thereby transforming health care practice. So, more than changes arising in individuals (i.e. learning), occupations also change through workers’ actions. Hence, identifying, carrying out and evaluating future clinical procedures and securing innovations are inevitably linked to the co-occurrence of health care work and learning.

셋째, 임상 지식(예: 의학, 방사선 촬영 등)은 역사, 문화, 상황적 요구사항의 산물이기 때문에 근로자가 이를 확보하기 위해서는 접근하고 참여해야 합니다. 직장 환경은 물리적 및 사회적 환경, 실제 직업 사례를 구성하는 활동 및 상호 작용을 통해 이러한 지식의 측면에 대한 접근성을 제공하는 것으로 나타났습니다.8 그러나 개인이 이러한 경험에 접근하는 것 이상으로, 경험한 것의 가치에 대한 평가를 포함하여 효과적인 학습이 이루어지려면 이러한 환경에 대한 적극적인 참여가 필요합니다. 이러한 참여는 업무를 통한 일상적인 사고와 행동을 통해 발생하며, 개인의 학습과 개발이 개인적으로 매개된다는 점을 강조합니다. 
Third, as clinical knowledge (e.g. that for medicine, radiography, etc.) is a product of history, culture and situational requirements, it has to be accessed and engaged with to be secured by workers. Workplace settings have been shown to provide access to aspects of that knowledge through physical and social environments, and activities and interactions that comprise authentic instances of occupations.8 However, more than individuals accessing these experiences, their active engagement with these environments is required for effective learning to take place, including their appraisals of the worth of what is experienced. This engagement arises through everyday thinking and acting through work, and emphasises that an individual's learning and development are personally mediated.

넷째, 학습과 발달은 서로 분리되어 있지만 상호 의존적인 두 가지 과정입니다. 개인은 경험을 통해 학습하면서 순간순간의 학습 또는 미시적 유전적 발달이 지속적으로 일어난다.15 그러나 이러한 학습은 이미 알고 있고, 할 수 있고, 가치 있게 여기는 것, 즉 이전의 경험과 학습의 유산legacies(즉, 온톨로지의 발달)을 전제로 한다.15 따라서 개인의 발달은 '동일한' 경험에서도 다르게 배울 수 있음을 의미한다.6, 16 따라서 학습과 발달 사이의 상호 연계는 어느 정도는 개인에 따라 달라질 수 있다. 이 모든 것은 임상 실습을 통한 학습이 가장 잘 진행되고 지원될 수 있는 방법을 촉진하기 위해서는 개인을 지식의 의미 창조자이자 구성자로 자리매김하는 것이 핵심임을 시사합니다. 
Fourth, learning and development are two separate, but interdependent, processes. Moment-by-moment learning or micro-genetic development continually occurs as individuals learn through their experiences.15 However, this learning is premised on what they already know, can do and value, which are legacies of earlier experiences and learning (i.e. their ontogenetic development).15 So, people's personal development means that they may learn differently from the ‘same’ experience.6, 16 Hence, the interlinking between learning and development is person dependent, to a degree. All this suggests that positioning individuals as meaning-makers and constructors of knowledge is central to promoting how learning through clinical practice might best progress and be supported.

이러한 전제에서 볼 때, 업무를 통한 학습은 직장에서 일상적으로 사고하고 행동하는 정상적인 결과로 간주됩니다. 사회적 및 물리적 환경, 활동 및 상호 작용을 구성하는 요소는 이러한 학습과 그 효과를 형성합니다. 또한 학습자에게 제공되는 경험과 학습자의 참여 방식은 의료 업무를 통해 학습하는 지식의 유형과 범위의 핵심입니다. 직장을 그 자체로 학습 환경으로 간주하기 위한 이러한 전제를 설명했으므로 이제 일을 통한 학습의 특수한 특성을 자세히 설명할 필요가 있습니다. 
From these premises, learning through work is seen as a normal outcome of everyday thinking and acting at work. Factors comprising the social and physical environments, and their activities and interactions, shape that learning and its efficacy. Also, the experiences afforded to learners and how they engage with them are central to the type and extent of knowledge learned through health care work. Having outlined these premises for considering workplaces as learning environments in their own right, it is necessary to elaborate the particular qualities of learning through work.

일을 통한 학습
Learning through work

인류 역사를 통틀어 작업 활동에 참여하는 것이 가장 일반적인 학습 방식입니다.17 대부분 관찰, 모방, 연습(예: 미메시스), 간혹 직접 지도를 통해 이루어졌지만, 가르치는 경우는 거의 없었습니다.8 비교적 최근까지만 해도 대부분의 직업을 배울 수 있는 유일한 수단이 바로 이러한 방식이었습니다. 근대 국민국가가 형성되고 산업화가 진행되면서 생겨난 '학교 교육의 시대' 이전에는 교육적 제공educational provision이 있는 직업(예: 의학)이 거의 없었습니다. 그러나 그러한 직업조차도 실습에 기반한 경험에 의존했습니다. 실제로 그리스에서는 학생들이 실제 의료 경험에 대한 접근성이 부족한 점을 보완하기 위해 해부학 수업과 교과서가 의학교육에 도입되었습니다.17 관찰과 모방의 과정은 직장을 포함하여 개인의 삶에서 일어나는 많은 학습의 중심이며, 이는 대부분 가르치거나 안내하지 않고 진행됩니다.18, 19 이러한 주장은 교육 규정이 보편화되고 정통적인 학교 교육 사회에 사는 사람들에게는 논쟁의 여지가 있는 것처럼 보일 수 있습니다. 그러나 조던은 인류 역사에서 가르침은 항상 부차적인minor 지식 습득 방법이었다고 지적합니다. 그녀는 이렇게 조언합니다:  
Across human history, participating in work activities is the commonest mode of learning.17 Mostly this has taken place through observation, imitation, practice (i.e. mimesis) and occasional direct guidance, but only rarely teaching.8 Until relatively recently, this was the only means by which most occupations were learned. Before the ‘era of schooling’, which arose with the formation of modern nation states and industrialisation, very few occupations (e.g. medicine) had educational provisions. However, even those occupations relied on practice-based experiences. Indeed, in Hellenic Greece anatomy classes and textbooks were introduced into medical education to compensate for a lack of student access to authentic medical experiences.17 Processes of observation and imitation are central to much of the learning that takes place over an individual's life, including that at work, which largely proceeds without being taught or guided.18, 19 Such claims may seem contentious to those living in schooled societies where educational provisions are ubiquitous and orthodox. However, Jordan 19 notes that teaching has always been a minor method of knowledge acquisition in human history. She advises:

따라서 인류 역사를 통틀어 의료 업무와 종사자에게 중요한 의미를 지닌다는 점을 고려할 때,4 이러한 경험의 특징과 기여에 대해 간략히 설명할 가치가 있습니다. 
Therefore, given its significance for health care work and workers across human history,4 the characteristics and contributions of these experiences are worthy of a brief elaboration.

다양한 산업 분야에서 관찰, 인터뷰, 중요 사건에 대한 회상 등을 통해 근로자가 업무를 통해 그리고 업무를 위해 학습하는 방식을 연구한 결과 네 가지 주요 기여 요인이 확인되었습니다.7

• 첫째, 근로자가 목표 지향적인 업무 활동과 상호작용에 참여하여 '그냥 하는 것'을 통해 절차적, 개념적, 성향적 지식을 습득하게 됩니다. 업무 활동에 참여하려면 개인이 알고 있고, 할 수 있고, 가치 있는 것을 활용해야 하며, 이러한 활동을 완료함으로써 개인이 변화할 수 있습니다.
• 둘째, 직장의 사회적, 물리적 환경은 이러한 활동을 수행하고 학습하는 데 필요한 단서를 제공합니다. 다양한 직종에 걸쳐 근로자들은 학습을 위해 관찰과 다른 사람의 이야기를 듣는 것이 중요하다고 일관되게 보고했습니다. 이러한 '간접적' 지침은 업무 및 학습 과정을 모니터링하고 안내하는 목표(즉, 달성해야 하는 목표)를 생성하는 것으로 밝혀졌습니다.
• 셋째, 업무 활동은 연습 기회를 제공하므로 사람들은 과제를 효과적으로 수행하고 임상적 추론과 같은 과제에 필요한 종류의 개념 간에 인과관계와 명제적 연결을 구축하는 능력을 연마할 수 있습니다.12
• 넷째, 경험이 많은 근로자의 밀착 지도는 학습하기 어렵고 시행착오를 통해 가장 잘 배울 수 없는 지식에 접근하고 확보하는 데 도움이 됩니다.7 

Using observations, interviews and recall of critical incidents across a range of industries, studies of how workers learn through and for their work have identified four key contributing factors.7 

• First, through workers engaging in goal-directed work activities and interactions – ‘just doing it’ – procedural, conceptual and dispositional knowledge is acquired. Engagement in work activities requires individuals to utilise what they know, can do and value, and through completing those activities these can change.
• Second, workplaces’ social and physical environments afforded clues and cues about performing and learning those activities. Across a range of occupations, workers consistently reported the importance of observation and hearing others for their learning. This ‘indirect’ guidance was found to generate goals (i.e. what needs to be achieved) that guide and permit monitoring of work and learning processes.
• Third, work activities afford opportunities for practice, so people can hone their abilities to enact tasks effectively and build causal and propositional links amongst concepts of the kind required for tasks such as clinical reasoning.12 
• Fourth, close guidance by more experienced workers assists in accessing and securing knowledge that is difficult to learn and would not be best learned through trial and error.7

이 네 가지 기여 요인 중 세 가지가 주로 학습자의 행동, 주체성, 의도에 기반하고 있다는 점은 주목할 만합니다. 이들은 보다 전문적인 작업자와의 활동을 포함하여 경험한 것에 대한 적극적인 참여를 강조합니다. 종단적 지방 배치 의대생을 대상으로 한 인터뷰 기반 연구에 따르면, 병행 진료를 통해 임상 의사 결정에 참여한 의대생은 교육 병원에서 보다 제한된 활동에 참여한 동료가 확보(즉, 학습)한 지식에 비해 더 풍부하고 적용 가능한 의학 지식을 생성하는 것으로 나타났습니다.20 따라서 진정한 활동과 상호작용, 흥미와 집중적인 의도적 참여의 조합은 효과적인 직장 학습 경험에 핵심적으로 기여하는 것으로 종합적으로 간주됩니다.
It is noteworthy that three of these four contributions are primarily based on learners’ actions, agency and intentions. They emphasise active engagement with what is experienced, including activities with more expert workers. An interview-based study of medical students in longitudinal rural placements found that their engagement with clinical decision making through parallel consultations was held to be generative of richer and more applicable medical knowledge compared with that secured (i.e. learned) by their peers who engaged in more restricted activities in a teaching hospital.20 So, the combination of authentic activities and interactions, interest and focused intentional engagement are held collectively as key contributions to effective workplace learning experiences.

그러나 업무를 통한 학습의 잠재적 한계는 여러 연구에서 분명하게 드러납니다.7 근로자들은 필요한 활동에 대한 접근성이 부족하고, 해당 환경에서 직업 지식을 효과적으로 습득하는 데 필요한 직접적인 지침이 부족하다고 보고합니다. 명시적이거나 접근하기 어려운 경우, 개인은 업무 및 학습 목표와 일부 업무 목표를 달성하는 방법을 이해하는 데 어려움을 느낀다고 보고합니다. 또한 실습을 통해 배운 내용이 부적절할 수 있습니다(예: 좋지 않거나 도움이 되지 않거나 위험한 습관이나 관행). 또한 근로자는 적응 학습을 생성하는 방식에 참여하기를 꺼릴 수 있습니다.7 따라서 의료 환경에서 직장 경험이 학습에 어떻게 도움이 될 수 있는지 평가할 때 이러한 잠재적 한계를 보완할 수 있는 조치가 필요합니다. 그러나 잠재력을 효과적으로 활용하고 한계를 보완하기 위한 아이디어는 교육 프로그램의 정설과 개념을 뛰어넘어야 합니다. 이러한 가정, 관행(예: 교육) 및 담론은 제약이 될 수 있고 도움이 되지 않을 수 있습니다. 
However, the potential limitations of learning through work are evident across these studies.7 Workers report a lack of access to required activities and the direct guidance needed for effectively gaining occupational knowledge in those settings. When they are not explicit or accessible, individuals report difficulty in understanding the goals for their work and learning, and how to achieve some work goals. Also, what is learned through practice can be inappropriate (i.e. bad, unhelpful or dangerous habits or practices). In addition, workers can be reluctant to participate in ways that generate adaptive learning.7 So, in appraising how workplace experiences can assist learning in health care settings, measures to redress these potential limitations are required. However, ideas for effectively utilising their potential and redressing limitations need to go beyond the orthodoxies and conceptions of educational programmes. Their assumptions, practices (i.e. teaching) and discourse can be constraining and unhelpful.

업무에 필요한 전략적이고 구체적인 절차의 대부분은 이러한 기관에서 선호하는 선언적(즉, '상태화 가능한') 형태의 지식으로는 표현할 수 없거나 포착할 수 없습니다.

• 구체화된 앎의 방식(예: 청진 21)도 이러한 형식에 의해 수용되지 않으며,
• 일부 의료 진단 및 치료에 필수적인 촉각적 참여(예: 느낌 및 촉각 능력)도 마찬가지입니다.
• 선언적 형식에 의존하는 이 담론은 윤리적 행위와 같은 성향(예: 가치, 관심, 의도)을 수용하는 데도 어려움을 겪습니다.

교육 담론은 또한 교훈적인 가르침을 강조하기 때문에,19 일을 통한 학습과의 관련성을 제한합니다. 그러나 교육 담론에 대한 이러한 비판은 교육 제공, 교사의 업무 및 교육 기관에서의 경험의 본질적인 기여를 축소하려는 의도가 아닙니다. 대신, 교육 담론에서 선호하는 기준이 아니라 직장에서의 학습 경험이 그 자체로 평가받아야 한다는 것입니다. 이러한 플랫폼을 통해 이러한 학습 경험을 효과적으로 활용하고, 최적화하고, 보강할 수 있는 방법에 대한 새로운 평가를 할 수 있습니다. 

Much of the strategic and specific procedures required for work are not expressible or captured by the declarative (i.e. ‘stateable’) forms of knowledge favoured in those institutions.

• Embodied ways of knowing (i.e. auscultation 21) are also not accommodated by such forms, nor is
• haptic engagement (i.e. feeling and tactile competence), which is essential to some health care diagnoses and treatments.
• With its reliance upon declarative forms, this discourse also struggles to accommodate dispositions (i.e. values, interest and intentionality), for instance ethical conduct.

The educational discourse also emphasises didactic teaching,19 thereby limiting its relevance to learning through work. This critique of the educational discourse is, however, not intended to diminish the essential contributions of educational provision, teachers’ work and experiences in educational institutions. Instead, the concern here is for workplace learning experiences to be appraised on their own terms and not on bases favoured in educational discourse. Such a platform permits fresh appraisals about how these learning experiences can be utilised effectively, optimised and augmented, as advanced below.

의료 업무를 위한 학습: 실습 커리큘럼, 교육학 및 개인적 인식론
Learning for health care work: practice curricula, pedagogies and personal epistemologies

이러한 전제를 바탕으로 직장 내 경험을 효과적으로 활용하고 보강할 수 있는 방법을 이해하는 것이 중요합니다. 일을 통한 학습에 관한 실용적인 탐구와 문헌은 의료 서비스 직장을 효과적인 학습 환경으로 만들기 위한 세 가지 핵심 기반을 제공합니다. 이는 의료 종사자와 직장이 의료 업무에서, 의료 업무를 통해, 의료 업무를 위한 학습을 어떻게 지원할 수 있는지에 대한 해석이 가능한 것으로 간주됩니다. 다음은 다음과 같습니다:

• (i) 실천 커리큘럼 - 보건의료 지식을 습득하는 데 필요한 경험의 유형과 순서,
• (ii) 실천 페다고지 - 보건의료 환경에서 학습을 강화하는 활동과 상호작용,
• (iii) 개인의 인식론적 실천 (즉, 개인이 알고 있고, 할 수 있고, 가치 있게 여기는 것) - 개인이 지식을 해석하고 구성하는 방식을 형성

이제 각각에 대해 차례로 설명합니다.
Following these premises, it is important to understand how workplace experiences can be effectively utilised and augmented. The practical inquiries and literature about learning through work, offer three key bases for making health care workplaces effective learning environments. These are seen as translatable into how health care practitioners and workplaces can support learning in, through and for health care work. These are:

• (i) practice curricula - the types and sequencing of experiences required to gain health care knowledge,
• (ii) practice pedagogies – activities and interactions that augment learning in health care settings, and
• (iii) individuals’ epistemological practices (i.e. what individuals know, can do and value) that shape how they engage in construing and constructing knowledge.

Each is now discussed in turn.

실천 커리큘럼
Practice curriculum

커리큘럼은 '따라야 할 과정' 또는 '진행해야 할 길'을 의미합니다.22 이와 유사하게, 개인이 효과적인 업무에 필요한 직업 기술을 배우기 위해 진행하는 업무 활동의 경로가 있습니다. 이러한 경험에 초점을 맞춘 인류학 연구에 따르면 직업의 일상 업무에 몰입하는 과정에서 많은 학습이 이루어진다고 합니다.18, 19, 23 Lave의 테일러링 견습과정에 대한 설명에 따르면,14 초보자가 필요한 업무 수행(즉, 학습 목표)을 관찰할 수 있는 기회에 점진적으로 참여한 다음, 업무 수행에 필요한 기술을 배우고 개선할 기회를 제공하는 활동을 하는 경험 경로를 확인할 수 있습니다. 그러나 기존 업무 경험을 통해 접할 수 있거나 접하지 못할 업무에 대한 학습을 촉진하기 위해 이러한 연구들은 의도적으로 경험을 구조화하거나 다른 곳에서 경험을 제공할 수 있음을 보여줍니다.18, 24 따라서 실천 교육과정은 업무 환경에서 경험에 접근할 수 있는 기회를 마련하여 효과적으로 실습할 수 있는 기술을 점진적으로 확보하는 것을 포함합니다. 이러한 경로는 종종 실수의 결과가 심각하지 않은 작업에 초보자를 먼저 참여시킨 다음, 실수의 결과가 더 심각한 작업으로 이동하는 것을 전제로 합니다.14, 20, 24, 25
The word curriculum means the ‘course to follow’ or ‘track to progress along’.22 Analogously, there are pathways of work activities along which individuals progress to learn the occupational skills required for effective work. Anthropological studies focusing on such experiences report that much learning arises through immersion in the everyday tasks of an occupation.18, 19, 23 Lave's account of a tailoring apprenticeship,14 identifies a pathway of experiences that engaged novices incrementally in opportunities to observe the required work performance (i.e. goals for learning), then activities that progressively provided opportunities to learn and refine the skills required to perform work tasks. However, to promote learning of tasks that might or will not be encountered through existing work experiences, these studies indicate that there can be the deliberate structuring of experiences or the provision of experiences elsewhere.18, 24 The practice curriculum, therefore, involves arranging access to experiences in work settings to progressively secure the skills to practice effectively. Such pathways are often premised on first engaging novices in tasks where the consequences of making mistakes are not serious, and then moving them on to tasks where the consequences of errors are more severe.14, 20, 24, 25

이러한 경험은 앞서 언급했듯이 의도적으로 순서를 정할 수 있습니다. 조산대학생들을 대상으로 한 연구에 따르면, 두 가지 종류의 실습 중 연속간호 경험에 처음 참여했을 때 산모의 관점에서 출산 과정을 이해하게 되었고, 학생들은 산모가 직면하는 문제와 그들의 우려를 알게 되었습니다.25 즉, 조산대학생들은 임상 배치에 참여하기 전에 전체 출산 과정을 대리 경험함으로써 특정 단계와 총체성을 이해하게 되었습니다. 이러한 통찰력을 통해 학생들은 임상 배치에 참여하고 산모의 우려를 고려한 방식으로 절차(예: 검사)를 수행할 준비가 더 잘 되어 있습니다. 따라서 이 순서는 의도적으로 산모와 아기의 건강을 평가하고 분만을 포함한 절차를 수행하는 데 필요한 기술을 개발하는 데 집중하기 전에 이해와 목표를 생성하는 것을 목표로 합니다. 따라서 앞서 언급한 병행 컨설팅의 예와 마찬가지로,20 이 순서는 조산사 학생들이 실습을 통해 알고, 수행하고, 가치 있게 여겨야 하는 것을 점진적으로 확보하고자 합니다.
These experiences can be deliberately ordered, as noted previously. A study of midwifery students indicated that, of their two kinds of practicums, initial engagement in continuity of care experiences provided understandings about birthing processes from the mother's perspective, and students came to know the issues these women face and their concerns.25 That is, through vicariously experiencing the entire birthing process, these midwifery students came to understand its specific phases and totality, prior to engaging in clinical placements. Through possessing these insights, students are more ready to engage in clinical placements and carry out procedures (e.g. examinations) in ways considerate of birthing mothers’ concerns. So, this sequencing intentionally aims to generate understandings and goals before focusing on developing the skills needed for assessing a birthing mother and her baby's health and undertaking procedures, including delivering babies. Hence, as with the example of parallel consulting raised earlier,20 this sequencing seeks to progressively secure what midwifery students need to know, do and value through practice.

이러한 커리큘럼 원칙은 효과적인 학습 결과를 확보하기 위해 일상적인 업무 활동을 어떻게 순서화하고 조직할 것인지에 대한 지침을 제공합니다. 본질적으로 학습자가 처음부터 끝까지 전체 작업 또는 프로세스를 볼 수 있도록 하면 프로세스의 일부를 숙달하는 데 집중할 때 구조를 제공할 수 있습니다. 또한, 학습자가 프로세스의 어느 부분을 수행할지 제어하면 점진적으로 더 어렵거나 위험에 노출되기 쉬운 활동을 수행할 수 있는 기회를 제공할 수 있습니다. 
These curriculum principles offer guidance on how to order and organise everyday work activities to secure effective learning outcomes. In essence, allowing learners to see the whole task or process from start to finish, can provide a structure when they focus on mastering parts of the process. Furthermore, controlling which parts of the process they undertake provides an opportunity to ensure they undertake progressively more difficult or risk-prone activities.

실천 페다고지
Practice pedagogies

실천 페다고지는 직장 내 학습 경험을 풍부하게 하거나 강화하는 활동 또는 상호 작용입니다. 실천 페다고지는 임상 업무에 필요한 절차적 기술과 개념적 이해를 개발하는 데 도움을 주는 등, 다른 방법으로는 얻을 수 없는 학습에 필요한 지식에 접근할 수 있도록 하여 학생들이 의도적으로 기술을 쌓고 직업에 대한 깊은 이해에 필요한 연결과 연상을 할 수 있도록 합니다.12 이러한 교육법은 강의실에서 사용하는 것과는 다를 수 있습니다. 여기에는

• 전문가가 과제를 수행할 때 스토리텔링과 언어화(예: thinking aloud)를 포함할 수 있으며,17 이를 통해 경험이 적은 관찰자가 사고와 행동에 더 쉽게 접근할 수 있습니다.
• 또한 교육적으로 풍부한 작업 과제(즉, 특정 수업을 지원할 수 있는 잠재력이 있는 과제)에 참여하거나,26 특정 의료 절차를 수행할 때 경험이 많은 파트너가 직접 지시하고 '실습'을 지원하는 것도 있습니다.
• 그런 다음 환자의 상태나 심장 질환 진단을 기억하기 위한 니모닉 사용,21, 24, 27 및 작업 수행 모델을 제공하는 반제품 및 인공물 사용이 있습니다.17

Practice pedagogies are activities or interactions that enrich or augment workplace learning experiences. They can make accessible the knowledge required to be learned, which otherwise might not be obtained, including assisting with developing procedural skills and the conceptual understanding required for clinical work, so that students can intentionally build skills and make the links and associations required for deep understandings about the occupation.12 These pedagogies may be distinct from those used in classrooms.

• They can include experts’ story-telling and verbalisation (i.e. thinking aloud) when performing work tasks,17 which makes their thinking and acting more accessible to less experienced observers.
• There is also engagement in pedagogically rich work-tasks (i.e. those with the potential to support a particular lesson),26 direct instruction and ‘hands on’ assistance by more experienced partners in the performance of specific medical procedures.
• Then there is the use of mnemonics for remembering patients’ conditions or diagnoses of heart conditions,21, 24, 27 and half-finished jobs and artefacts that provide models for work performance.17 

예를 들어, 간호사의 인수인계는 교육적으로 풍부한 활동이 될 수 있습니다. 인수인계 시 (i) 환자, (ii) 환자 상태, (iii) 치료, (iv) 치료에 대한 반응, (v) 예후에 대한 토론에 참여하면 서로 다른 발달 단계에 있는 실무자들이 자신이 알고 있고, 할 수 있고, 가치 있는 것을 더 발견할 수 있는 기회를 제공합니다. 이러한 학습은 주니어 간호사나 학생이 환자의 상태를 이해하는 것에서부터 숙련된 간호사와 예후에 대한 토론을 통해 미묘한 차이에 대한 정보를 얻고 이해를 확보하는 것까지 다양합니다. 이러한 일상적인 업무 활동은 간호사가 환자의 상태, 치료 및 경과와 관련된 복잡한 요인을 이해하는 데 도움이 될 수 있습니다. 의사의 이환율 및 사망률 회의도 비슷한 경험과 잠재적 결과를 제공합니다. 의료진은 이러한 종류의 활동을 일상적인 것으로 간주할 수 있지만, 학습 잠재력은 참가자의 참여를 통해서만 실현될 수 있습니다. 본질적으로 큰 소리로 생각하고, 추론을 설명하고, 다른 숙련된 실무자와 대화에 참여하는 것은 모두 일상적인 업무의 일부이지만 apprentice에게는 높은 교육적 가치를 가질 수 있습니다. 
For instance, nurses’ handovers can be pedagogically rich activities. Participating in discussions during handovers about: (i) patients, (ii) their conditions, (iii) their treatments, (iv) responses to treatments, and (v) prognoses provides opportunities for practitioners at different points of development to discover further what they know, can do and value. That learning can range from junior nurses or students understanding patients’ conditions, through to participants being informed about and securing nuanced understandings through discussions about prognosis with experienced nurses. These daily work activities can assist nurses to understand the complex factors associated with a patient's condition, treatment and progress. Doctors’ morbidity and mortality meetings offer similar experiences and potential outcomes. Although health care practitioners may see these kinds of activities as being routine, their learning potential will only be realised through engagement by participants. In essence, thinking aloud, explaining reasoning and engaging in dialogue with other experienced practitioners are all routine parts of work, but can have high educational value for an apprentice.

이러한 교육적 관행이 신중하게 고려되고 시행되면 의료 환경에서 일상적인 업무 활동의 학습 잠재력을 강화할 수 있습니다.
When carefully considered and enacted, these kinds of pedagogical practices can strengthen the learning potential of everyday work activities in health care settings.

개인의 인식론적 실천
Personal epistemological practices

개인에게 제공되는 경험 너머에는 개인이 경험에 참여하는 방식이 있습니다. 이는 강의실에서의 경험, 임상 교육을 통한 경험, 하급 직원으로 일하는 경험, 임상 배치 중 경험, 일상적인 의료 실무에서의 경험에 관계없이 해당됩니다.3 직장 생활 전반에서 대부분의 학습은 개인이 일상적인 사고와 행동에 적극적으로 참여함으로써 이루어지는데, 이는 개인적으로 매개됩니다. 우리는 업무 활동에서 끊임없이 모방 학습(예: 관찰, 모방, 연습)을 합니다.17 학습자가 학습할 직업 지식을 포착(즉, 장악)28하거나 '훔쳐'29야 하는 도제식 학습의 원래 개념과 실천의 핵심입니다. 실제로 견습생을 뜻하는 일본어 미나라이(見習生)는 관찰을 통해 배우는 사람을 의미하며, 미나라이 큐우이쿠(見習生)라는 용어는 눈에 띄지 않는 관찰을 통한 학습을 의미합니다.30 이러한 참여는 개인의 관심과 의도에 기반을 두고 있으며, 개인의 사고와 행동의 본질과 방향을 안내하고 학습자의 준비성(즉, 능동적 학습에 효과적으로 참여할 수 있는 관심과 역량)을 강조합니다.18 실제로 개인은 의도적으로 성과 향상을 추구하는 등 적극적으로 참여하기를 원해야 합니다.24, 31 이 모든 것은 개인의 인식론(즉, 개인이 알고, 할 수 있고, 가치 있는 것)에 전제되어 있습니다. 이러한 학습 과정은 자기 주도적인 노력뿐만 아니라 사회적 파트너, 사물 및 인공물과 교류하고, 직장의 사회적 및 물리적 환경에서 단서와 단서를 적극적으로 찾고 활용하며, 과제를 완료하는 동안 진행 상황을 모니터링하는 등 상호 의존적인 학습으로 구성됩니다. 따라서 직장 학습에 크게 기여하는 것은 감독자뿐만 아니라 견습생의 동기 부여와 주체성입니다. 
Beyond experiences afforded to individuals is how they elect to engage with them. This is the case regardless of whether it is an experience in the classroom, through clinical teaching, working as a junior staff member, during clinical placements or in everyday health care practice.3 Across working lives, seemingly, most learning takes place through individuals’ active engagement in their everyday thinking and acting: it is personally mediated. We constantly engage in mimetic learning (i.e. observation, imitation and rehearsal) in our work activities.17 It is central to the original concept and practice of apprenticeship, wherein learners have to apprehend (i.e. seize) 28 or ‘steal’ 29 the occupational knowledge to be learned. Indeed, the Japanese word for apprentice is minarai, one who learns by observation, and the term minarai kyooiku refers to learning through unobtrusive observation.30 This engagement is founded on personal interest and intentionality, which guides the nature and direction of individuals’ thinking and acting, and emphasises learners’ readiness (i.e. they have the interest and capacity to engage effectively in active learning).18 Indeed, individuals have to want to engage actively, including deliberately seeking to improve performance.24, 31 All of this is premised on individuals’ personal epistemologies (i.e. what individuals know, can do and value). This learning process is not just self-directed efforts, it comprises interdependent learning: engaging with social partners, objects and artefacts, and actively looking for and drawing on clues and cues from the social and physical environment of workplaces, and then monitoring progress during task completion. Thus, a large contributor to workplace learning is the motivation and agency of the apprentice, not just the supervisor.

실천 커리큘럼과 페다고지, 개인의 인식론이 어떻게 결합될 수 있는지를 설명하기 위해 수(시골 종단 실습 중인 의대 3학년 학생)의 경험을 예로 들 수 있습니다.20 그녀의 실습은 시골 일반 진료소에 배치되어 지역 병원에서 근무하는 것이 포함되었습니다. 처음에는 일반의의 진료를 참관하고 함께 일했으며, 점차적으로 진료에 더 많이 참여했습니다. 6주 후에는 환자들의 동의를 얻어 병력 청취, 검사, 진단을 내리고 의사의 확인을 받는 등 진료를 병행했습니다. 이를 통해 실제 의료 활동과 상호 작용에 참여하고 연습하면서 동료들보다 훨씬 더 발전된 이해와 성향, 절차적 기술을 개발할 수 있었다고 평가받았습니다. 주요 대도시 교육 병원에서의 활동은 실제 임상 의사 결정이 아닌 대리 활동을 통해 이루어지고 참여도가 낮은 것으로 보고되었습니다.

• 따라서 Sue가 겪은 경험의 종류와 순서(예: 실천 커리큘럼)와 풍부한 지원(예: 실천 페다고지)은 그녀가 이러한 진정한 의료 활동을 통해 배우는 데 도움이 되었습니다.
• Sue의 개인적인 인식론도 중요한 역할을 했습니다. 그녀는 이러한 활동에 참여하는 것 외에도 지역 사회와 교류하고(예: 지역 교회와 테니스 클럽에 가입) 학습에 적극적으로 참여했습니다. 예를 들어, 그녀는 일반 진료실에서 배운 방법을 모델로 삼아 효과적으로 채혈하는 방법을 배웠습니다. 병원에서 이 역할을 정기적으로 수행하는 간호사를 확인한 그녀는 먼저 이 간호사가 채혈하는 모습을 관찰한 다음, 그 간호사의 지도를 받아 채혈을 모방하고 연습한 다음, 충분한 횟수 동안 이러한 절차를 수행하여 이를 개선하고 연마했습니다.

이 사례는 실천 커리큘럼(예: 경험의 가용성 및 순서), 페다고지(예: 관찰과 실습을 병행할 수 있는 컨설팅 제공) 및 개인 인식론(예: 지역사회, 수술 및 병원에 적극적으로 참여)에 대한 예를 제공합니다. 

To exemplify how practice curricula and pedagogies and personal epistemologies might come together, the experiences of Sue (a third-year medical student on a longitudinal rural placement) are illustrative.20 Her placement was located in a rural general practice and included engagements at the local hospital. She initially observed and worked alongside the general practitioner, by sitting in on consultations and, incrementally, being more involved in them. After 6 weeks of this, and with patients’ consent she engaged in parallel consultations, with history-taking, examinations and arriving at diagnoses that were subsequently checked by the doctor. So, she engaged in and rehearsed authentic medical activities and interactions, and developed understandings, dispositions and procedural skills that were judged as being far more advanced than those of her peers. Their activities in a major metropolitan teaching hospital were reported as being less engaged, and occurring through substitute activities and not in actual clinical decision making.

• So, the kinds of experiences Sue had and their sequencing (i.e. practice curriculum) and the rich support (i.e. practice pedagogies) assisted her to learn through these authentic medical activities. Sue's personal epistemology also played a key role.
• Beyond participating in those activities, she also engaged with the local community (i.e. joined the local church and tennis club) and acted proactively in her learning. For instance, she learned how to take bloods effectively by modelling how she had learned in general practice. Having identified the nurse who regularly performed this role at the hospital, she first observed this nurse taking bloods, and then proceeded to imitate her and practise taking bloods under guidance, and then engaged in a sufficient number of these procedures to refine and hone them.

This vignette provides an example of a practice curriculum (i.e. the availability and sequencing of experiences), pedagogies (e.g. provisions of parallel consulting, being able to observe and practice) and personal epistemologies at play (e.g. her active engagement in the community, surgery and hospital).

번역을 넘어서
Beyond translation

이 짧은 글은 다른 분야의 개념과 연구 결과를 사용하여 의료 환경에서의 학습을 이해하고 촉진하는 것을 목표로 합니다. 그러나 야들리 등4이 언급한 바와 같이, 이러한 번역이 쉽거나 간단한 경우는 거의 없으며 이 사례도 예외는 아닙니다. 따라서 이 번역을 지원하기 위해 향후 연구, 심의 및 제정을 위해 세 가지 고려 사항을 제시합니다:

• (i) 연구 결과의 적용 가능성,
• (ii) 학습해야 할 지식과 그 학습을 촉진하는 경험과의 연계성,
• (iii) 실무자 참여의 중요성

This brief article aims to use concepts and findings from other fields to understand and promote learning in health care settings. However, as Yardley et al.4 state, few such translations are easy or straightforward and this case is no exception. Hence, to support that translation, three considerations are advanced here for future research, deliberations and enactments:

• (i) the applicability of these findings,
• (ii) the knowledge to be learned and the alignments with experiences that promote that learning, and
• (iii) the importance of practitioner engagement.

첫째, 위에서 설명한 아이디어는 역사적, 인류학적 설명을 바탕으로 한 것으로, 때때로 현대 의료 현장과는 다른 상황을 언급합니다. 따라서 위에서 언급한 커리큘럼과 교육적 관행은 특정 업무 요구와 맥락에서 비롯된 것으로, 현재와 미래의 보건의료 실무에 대한 적용 가능성과 효능을 평가할 필요가 있습니다. 따라서 임상 진료 환경에서 혁신을 촉진하고 실현하는 것과 관련된 효과를 포함하여 효과를 평가하기 위해서는 이미 수행된 것과 같은 보다 근거 있고 근거 있는 경험적 조사가 필요합니다3, 16, 32.
First, the ideas outlined above in drawing upon historical and anthropological accounts, sometimes refer to situations distinct from those in contemporary health care workplaces. Hence, the kinds of curricula and pedagogical practices mentioned above emerged from particular work demands and contexts, and their applicability to and efficacy in contemporary and future health care practices need to be appraised. Therefore, more grounded and situated empirical enquiries, such as those already conducted,3, 16, 32 are required to appraise effectiveness, including that associated with promoting and realising innovation in clinical practice settings.

둘째, 과거에 필요했던 지식과 현재와 미래에 필요한 지식의 종류가 명확하고 점점 더 구분되고 있습니다. 여기에는 개념적이고 상징적인 업무 관련 지식, 특히 기술 사용의 증가와 관련된 지식이 포함됩니다. 적절한 성향(즉, 가치관, 태도, 의도)의 발달에 대해서도 비슷한 우려가 제기됩니다. 특히 개념 발달에 관한 문헌은 이러한 형태의 지식이 불투명하고 접근하기 쉽지 않다는 점에서 지식 개발의 본질적인 어려움을 지적합니다. 따라서 의료 업무와 관련된 이러한 지식을 생성하는 업무 환경의 경험을 보다 심층적으로 이해하기 위해서는 추가적인 연구가 필요할 것으로 보입니다. 특히, 업무 활동을 통해 개념적 지식과 성향적 지식을 증진할 수 있는 커리큘럼과 교육적 관행, 특히 학습자의 개인적 인식론 증진을 포함하는 커리큘럼과 교육적 관행이 중요할 것으로 보입니다. 손 씻기 등 수많은 실습 사례에서 알 수 있듯이 이해와 절차에 대한 지식만으로는 충분하지 않습니다. 그 대신 개인이 절차에 적합한 방식으로 참여하고 학습하기 어려운 지식을 확보하기 위해 노력하는 것이 중요합니다.
Second, a clear and growing distinction is between the kinds of knowledge required previously, and that needed for the present and future. This includes conceptual and symbolic work-related knowledge, particularly that associated with the growing use of technology. Similar concerns are raised about the development of appropriate dispositions (i.e. values, attitudes and intentions). The literature on conceptual development, in particular, points to the inherent difficulty of developing these forms of knowledge, as they are opaque and not always easy to access. Consequently, further work is likely to be required to understand, in greater depth, what kinds of experiences in work settings are generative of this knowledge related to health care work. Specifically, those curricula and pedagogical practices that can promote conceptual and dispositional knowledge through work activities are likely to be important, particularly when they include promoting learners’ personal epistemologies. It is clear from so many instances of practice (e.g. hand washing) that understanding alone and knowledge of procedures is insufficient. Instead, it is how individuals exercise dispositions in engaging in procedurally appropriate ways and make an effort to secure knowledge that is difficult to learn.

셋째, 제안된 내용 대부분이 학습에 관한 것이므로 의료 종사자의 효과적인 참여와 학습을 촉진하기 위한 노력이 핵심 우선 순위가 됩니다. 이러한 홍보는 종사자들의 거부감을 해소하는 것뿐만 아니라, 이를 활용하기 위해 기꺼이 노력하는 실무자들이 사용하고 경험할 수 있는 교육 및 커리큘럼을 마련하는 데에도 필요합니다. 따라서 일상적인 업무 활동에서 이러한 지원을 활용할 수 있는 방법을 파악하는 것이 그 효과의 핵심이 될 것입니다. 앞서 언급했듯이, 일부 일상적인 업무 활동(예: 인수인계, 이환율 및 사망률 회의)은 잠재적으로 교육적으로 풍부한 것으로 확인되었습니다. 그러나 개인이 이러한 활동을 교육적인 것으로 인식하고 의도적으로 참여하지 않는다면 이러한 경험의 잠재력을 충분히 실현할 수 없습니다. 따라서 의료진이 이러한 경험을 보다 최적으로 활용할 수 있도록 참여시키기 위한 노력을 기울여야 합니다. 
Third, given that much of what is proposed is about learning, efforts to promote effective engagement and learning by health care practitioners become a key priority. This promotion needs to address not only the reluctance of workers, but also having pedagogical and curriculum practices that are able to be used and experienced by practitioners willing to make the effort to use them. Hence, identifying ways in which such support can be exercised within everyday work activities is likely to be central to their efficacy. As noted, some everyday work activities have been identified as being potentially pedagogically rich (e.g. handovers, and morbidity and mortality meetings). However, unless individuals view them as such and engage with them intentionally, the potential of these experiences will not be fully realised. Hence, efforts should be made to engage health care practitioners in utilising these experiences more optimally.

결론
Conclusions

보건의료 업무 환경에서의 경험은 현재와 미래를 위해 목적에 맞는 방식으로 직업 기술을 학습할 수 있는 기반을 제공합니다.16, 32 그러나 학교 사회의 정통성과 교육 담론의 특권적 지위를 고려할 때, 직장을 그 자체로 중요한 학습 환경으로 이해할 필요가 있습니다.4 교육 환경과 같은 다른 환경과 마찬가지로 효과적인 업무 수행에 필요한 기술을 배우는 데 중요한 기여를 하지만 잠재적 한계도 있습니다. 따라서 학습 환경으로서 직장workplace의 잠재력을 촉진하는 데 사용할 수 있고 교육 기관에서 제정된 것과는 다른 방식으로 진행되는 커리큘럼과 페다고지 실천이 필요합니다. 또한 학습자의 개인적 인식론과 이러한 인식론이 궁극적으로 실습 경험의 질과 그 결과에 어떻게 핵심적인 역할을 하는지에 대해 특히 강조되었습니다. 이 세 가지 요소는 현재와 미래의 환자 치료의 질을 유지하고 개선하는 데 도움이 될 수 있는 풍부한 학습 경험을 이해하고 확보하는 데 중요한 토대가 됩니다.

Experiences in health care work settings offer bases for the learning of occupational skills in ways that are purposeful now and for the future.16, 32 However, given the orthodoxies of school societies and the privileged status of educational discourses, there is a need to understand workplaces as important learning environments in their own right.4 Like other environments, such as educational settings, they make important contributions to learning the skills required for effective work practice, but also have potential limitations. So, curricula and pedagogical practices are required that can be used to promote the potential of workplaces as learning environments and which occur in ways that are distinct from those enacted in educational institutions. In addition, particular emphasis has been given to learners’ personal epistemologies and how these are ultimately central to the quality of practice experiences and their outcomes. Together, these three elements are held as important foundations for understanding and securing rich learning experiences that can assist in sustaining and improving the quality of patient care now and in the future.

© 2015 John Wiley & Sons Ltd.

졸업후교육 학습자(전공의)의 평가에서 환자참여: 스코핑 리뷰(Med Educ, 2021)
Patient involvement in assessment of postgraduate medical learners: A scoping review
Roy Khalife1 | Manika Gupta1 | Carol Gonsalves1 | Yoon Soo Park2 | Janet Riddle3 | Ara Tekian3 | Tanya Horsley4,5

1 소개
1 INTRODUCTION

역량 기반 의학교육(CBME)이 가져온 광범위한 변화에 대응하여, 졸업후의학교육(PGME) 교육 프로그램(PGME)은 투명하고 사회적으로 책임감 있는 환자 중심 교육을 제공하여 미래의 의사 인력이 사회와 환자의 요구를 충족할 수 있도록 준비시킬 의무가 있습니다.1, 2 PGME가 실제로 이러한 의무를 이행하는 정도는 주로 무감독 실습에 대한 증명을 제공하는 평가 시스템에 의존합니다.3 그러나 졸업후의학교육(PGME) 학습자의 역량과 무감독 실습 준비도를 평가하는 것은 복잡하고 어려운 일입니다.4-6  
In response to broad-sweeping changes brought on by competency-based medical education (CBME), postgraduate medical education (PGME) training programmes are mandated to deliver transparent, socially accountable and patient-centred education that prepares the future physician workforce to meet societal and patient needs.1, 2 The extent to which PGME in fact delivers on this mandate relies predominantly on systems of assessment that provide attestation for unsupervised practice.3 However, assessing postgraduate medical learners' competence and readiness for unsupervised practice is complex and challenging.4-6

일반적으로 평가 시스템은 전적으로 의사의 판단에만 의존하며, 최근 21세기 의료,5,7,8 환자 참여형 의료에 대한 졸업후의학교육(PGME) 의료 학습자의 역량에 대한 총체적인 관점을 제공하지 못한다는 비판을 받고 있습니다. 환자를 의료 서비스에서 보다 동등한 파트너로 장려하는 전 세계적인 움직임을 고려할 때 이는 놀라운 일이 아닙니다.9,10 실제로 의과대학 커리큘럼에서 환자 파트너가 입학 위원회 및 자문 그룹에서 필수적인 역할을 하거나 표준화된 환자 및 교사로서 점점 더 많이 등장하고 있습니다.11-14 하지만 왜 환자를 포함해야 할까요? 교육 전반에 걸친 환자 참여는 진정한 환자 중심 의학교육과 사회적 책임성 증대로 이어질 수 있지만,15 역량에 대한 결정을 내리는 평가 노력에서 환자의 목소리는 눈에 띄게 부재하거나 중요하지 않은 것으로 남아 있습니다.16-18  
Generally, systems of assessment rely solely on physicians' judgements and have recently been criticised for not providing a holistic view of postgraduate medical learners' competence for 21st century care,5, 7, 8 care that is patient-partnered. This should come as no surprise given a global movement promoting patients as more equal partners in health care.9, 10 In fact, patient partners are increasingly present in medical school curricula with integral roles on admission committees and advisory groups and as standardised patients and teachers.11-14 But why include patients? Patient engagement across the educational spectrum can lead us towards true patient-centred medical education and increased social accountability,15 and yet the patient voice remains conspicuously absent, and inconsequential, from assessment endeavours that inform decisions vis-à-vis competence.16-18

최근의 일부 증거에 따르면

• 행정적 어려움(예: 시간 및 인적 자원 제약, 평가 도구의 부족, 사회문화적 및 조직적 장애물)이 평가에 환자를 포함시키는 데 장애가 되는 것으로 나타났습니다.16 이는 어느 정도 놀라운 일이 아니지만, 새로운 증거는 더 복잡한 그림을 그려줍니다.
• 한편으로 환자들은 역량 기반 평가 관행에 자신의 경험적 전문성을 기여할 의향이 있고, 열의가 있으며, 좋은 위치에 있는 것으로 분류되어 왔습니다.17, 19
• 한편, 평가 시스템의 중심 행위자인 의사들의 관점에서는 환자의 관심, 능력, 전문성 부족, 평가에 대한 잠재적 편견에 대해 불확실성과 우려를 표하는 것으로 보입니다.16

이러한 긴장은 환자가 역량 기반 평가에서 적극적인 역할을 하는 맥락을 불러오는 교육 관행의 발전을 방해할 수 있습니다. 
Some recent evidence has positioned

• administrative challenges (e.g. time and human resource constraints, perceived lack of assessment tools and sociocultural and organisational hurdles) as a barrier to patient inclusion in assessment.16 While this is to some extent not surprising, emerging evidence paints a more complex picture.
• On the one hand, patients have been categorised as willing, eager and well-positioned to contribute their experiential expertise to our competency-based assessment practices.17, 19 
• Meanwhile, there appears to be misalignment with physicians' perspectives (the central actor in assessment systems) who express uncertainty and concern towards patients' lack of interest, abilities, expertise and potential biases in assessment.16 

This tension may impede the development of educational practices that invoke contexts where patients have an active role in competency-based assessment.

평가에 대한 환자의 참여에 대한 다양한 의견과 잠재적으로 관련성이 있는 광범위한 문헌을 고려할 때, 우리는 범위 검토 방법론을 사용하여 환자가 졸업후의학교육(PGME) 의학 학습자 평가에 참여했는지 여부와 그 방법을 탐구하고자 했습니다. 구체적으로, '졸업후의학교육(PGME) 의학 학습자 평가에 대한 환자 참여를 탐구하는 문헌의 범위, 성격 및 범위는 어느 정도인가'라는 질문에 답하고, 이어서 '역량 기반 평가에서 환자 참여에 영향을 미치는 요인(예: 어포던스 및 장벽)은 무엇인가'라는 질문에 답하고자 했습니다. 
Given the disparate opinions of patients' involvement in assessment and the breadth of potentially relevant literature, we aimed to explore whether and how patients have partnered in the assessment of postgraduate medical learners using a scoping review methodology. Specifically, we aimed to answer the question ‘What is the extent, nature and range of literature that exists exploring patient involvement in the assessment of postgraduate medical learners?’ and subsequently, ‘what factors influence (e.g., affordances and barriers) patient involvement in competency-based assessment?’

2 방법
2 METHODS

Arksey와 O'Malley의 6단계 방법론 프레임워크가 우리의 범위 검토에 영향을 미쳤습니다.20 우리는 또한 Levac 외와 Thomas 외의 업데이트된 방법론 권고사항도 고려했습니다.21,22 구체적으로, 우리는 Levac 외의 제안대로 선택 과정과 데이터 차트 작성 단계에서 여러 차례 회의와 토론을 진행했으며,21 그리고 Thomas 등이 권고한 대로 대상 집단과 중재의 초점을 좁혔습니다.22 20개 항목으로 구성된 체계적 문헌고찰 및 범위 설정을 위한 메타분석의 선호 보고 항목(PRIMA-Scr)이 연구 보고의 지침이 되었습니다.23 
Arksey and O'Malley's six-stage methodological framework informed our scoping review.20 We also considered updated methodological recommendations by Levac et al. and Thomas et al.21, 22 Specifically, we conducted multiple meetings and discussions at the selection process and data charting stages as suggested by Levac et al.,21 and we narrowed the focus of our target population and intervention as recommended by Thomas et al.22 The 20-item, Preferred Reporting Items for Systematic reviews and Meta-Analyses extension for Scoping Reviews (PRIMA-Scr) guided our reporting of our research.23

2.1 1단계: 연구 질문 파악하기
2.1 Stage 1: Identifying the research question

범위 검토 프레임워크의 첫 번째 단계에서 정의한 대로, 4명의 저자(RK, CG, YSP, AT)는 보건 전문직 교육(HPE) 문헌에서 평가자로서의 환자를 광범위하게 논의했습니다. 이러한 논의를 통해 연구 질문에 대한 정보를 얻고 정의했습니다: 
As defined by the first step of the scoping review framework, four authors (RK, CG, YSP and AT) broadly discussed patients as assessors within the health professions education (HPE) literature. These discussions informed and defined our research questions:

주제의 복잡성과 식별할 수 있는 문헌의 폭(환자 중심 문헌과 의료 전문직 교육의 교차점)을 고려하여 검토의 초점을 졸업후의학교육(PGME) 의료 학습자(예: 레지던트 및 펠로우)로 좁혔습니다. 의학 교육은 하나의 연속체이지만, 학부 학습자와 졸업후의학교육(PGME) 학습자는 학습자를 평가하는 이유와 방법이 근본적으로 다릅니다. 이러한 이유로, 우리는 졸업후의학교육(PGME) 학습자만을 분석 단위로 포함하도록 모집단을 합리적으로 분리했습니다. 학부생과 졸업후의학교육(PGME)생이 혼합된 모집단(예: 학부생과 졸업후의학교육(PGME)생 의학 학습자)이 포함된 연구의 경우, 졸업후의학교육(PGME)생 데이터가 별도로 제시된 경우에만 연구에 포함시켰습니다. 
Given the complexity of the topic and the breadth of literature that might be identified (intersection of patient-oriented literature and health professions education), we narrowed the focus of our review to postgraduate medical learners (e.g. residents and fellows). Although medical education is a continuum, why and how learners are assessed are fundamentally different between undergraduate and postgraduate learners. For this reason, we rationalised segregating our population to include only postgraduate learners as a unit of analysis. When studies included mixed populations (e.g. undergraduate and postgraduate medical learners), we included studies only when graduate learners data were presented separately.

Thomas 등22 의 영향을 받아 대상 집단(졸업후의학교육(PGME) 의학 학습자)에 초점을 좁혔을 뿐만 아니라, HPE 프로그램의 이질성과 관련된 잠재적인 보급 및 실행 문제를 최소화하기 위해 개입(평가 도구의 환자 완료)의 우선순위를 정하고 집중적으로 포함시켰습니다. 
Influenced by Thomas et al.,22 not only did we narrow our focus on a target population (postgraduate medical learners), we prioritised and focused inclusion of the intervention (patient completion of assessment tools) to minimise potential dissemination and implementation challenges related to the heterogeneity of HPE programmes.

2.2 2단계: 관련 연구 식별
2.2 Stage 2: Identifying relevant studies

반복적인 접근 방식과 숙련된 의학 사서의 안내에 따라 날짜 제한 없이 MEDLINE과 EMBASE에 대한 검색 전략을 개발했습니다(부록 S1). 검색의 정확도와 회상률을 높이기 위해 미리 식별된 관련 기록에 대해 검색을 테스트했습니다. 검색은 2019년 11월 18일에 시행되었으며 2021년 2월 25일에 제출하기 전에 업데이트되었습니다. 원래 PubMED©는 진행 중인 기록과 초기 릴리즈 기록을 포착하기 위한 목적으로 검색되었으며, 초기에는 낮은 수율로 인해 후속 검색은 적용되지 않았습니다. 모든 기록은 독점적인 체계적 문헌고찰 소프트웨어 도구로 다운로드되었습니다(Covidence 체계적 문헌고찰 소프트웨어, 베리타스 헬스 이노베이션, 호주 멜버른. http://www.covidence.org 에서 사용 가능). 주제의 복잡성과 검색의 알려진 어려움을 감안하여, 포함된 모든 연구의 참조 목록을 확인하여 원래 검색에서 포착되지 않은 관련 기록을 식별했습니다.24 
Using an iterative approach and guided by an experienced medical librarian, we developed a search strategy for MEDLINE and EMBASE without date restrictions (Appendix S1). Searches were tested against pre-identified relevant records as a measure of improving precision and recall of the search. The search was implemented on 18 November 2019 and was updated prior to submission on 25 February 2021. Originally, PubMED© was searched with the intent to capture in-process and early-release records; given the low yield initially, no subsequent searches were applied. All records were downloaded to a proprietary systematic review software tool (Covidence systematic review software, Veritas Health Innovation, Melbourne, Australia. Available at www.covidence.org). Given the complexity of the topic and known challenges with searching, we checked reference lists of all included studies to identify any relevant records not captured by the original search.24

2.3 3단계: 연구 선택
2.3 Stage 3: Study selection

2.3.1 적격성 기준
2.3.1 Eligibility criteria

검토를 위한 포함 기준을 충족하기 위해, 기록은 (i) 환자를 능동적 평가자로 다루고(예: 완성된 평가 도구), (ii) 졸업후의학교육(PGME) 의학 학습자(예: 레지던트 및 펠로우)를 평가하는 데 초점을 맞추고, (iii) 영어 또는 프랑스어 출판물이어야 하며, (iv) 전체 텍스트 기록으로 제공되어야 합니다. 회색 문헌과 논평, 논문, 사설 또는 의견서는 제외되었습니다. 
To meet the threshold of inclusion for our review, records had to (i) address patients as active assessors (e.g. completed assessment tool), (ii) focus on assessing postgraduate medical learners (e.g. residents and fellows), (iii) be English- or French-language publications and (iv) be available as full-text records. Grey literature as well as commentaries, dissertations, editorials or opinion pieces were excluded.

2.3.2 선정 과정
2.3.2 Selection process

정의된 적격성 기준을 사용하여 표준화된 양식을 개발하고 파일럿 테스트를 거쳐 기록의 포함 및 제외 결정을 내리는 데 사용했습니다. 두 명의 저자(RK와 MG)가 검토 소프트웨어 내에서 각 제목과 초록을 독립적으로 검토하고 프로젝트 시작, 중간, 종료 시점에 만나(Levac 외.21의 권고에 따라) 합의점을 논의하고 그에 따라 적격성 결정을 구체화했습니다. 의견 불일치는 각 단계의 적격성 평가 후 토론을 통해 해결했습니다. 다른 복잡한 주제와 마찬가지로, 이는 검토 개념을 구체화하고 졸업후의학교육(PGME) 의학 학습자 또는 환자 자체를 정의할 때 보고가 부실하거나 이질적이기 때문에 발생하는 갈등을 해결하는 데 도움이 되었습니다. 이를 위해 검토자 간의 일치도는 코헨 카파를 사용하여 0.54로 평가되었으며, 이는 중간 수준의 일치도로 해석됩니다. 
Using a defined eligibility criterion, we developed and pilot-tested a standardised form that was then used to guide decisions for inclusion and exclusion of records. Two authors (RK and MG) reviewed each title and abstract independently within the review software and met at the project start, midpoint and end (as recommended by Levac et al.21) to discuss agreement and refine eligibility decisions accordingly. Disagreements were resolved by discussion after each level of eligibility assessment. As with any complex topic, this proved helpful in refining review concepts and resolving conflicts, for example, that were due to either poor reporting or heterogeneity in defining postgraduate medical learners or patients themselves. To this end, agreement between reviewers was assessed at 0.54 using a Cohen's kappa, interpreted as a moderate level of agreement.

2.4 4단계: 데이터 차트 만들기
2.4 Stage 4: Charting the data

범위 검토 프레임워크의 4단계에 따라 미리 정의된 데이터 차트 양식을 만들었습니다. 처음에 한 명의 저자(RK)가 기록 수준의 우선순위 항목을 개괄적으로 설명하기 위해 개발한 이 양식은 더 광범위한 팀(RK, CG, YSP 및 AT)의 의견을 수렴하여 검토 및 수정되었습니다. 데이터 차트 항목에는 환자의 특성, 연구 환경, 평가 개입, 사전 지정된 질문에 따른 주요 결과가 포함되었습니다(부록 S2). 그런 다음 양식의 유용성과 포괄성에 대해 파일럿 테스트를 거쳐 팀의 승인을 받았습니다. 한 명의 저자(RK)가 초기 데이터 차트 작성을 수행했고, 두 번째 저자(MG)가 각 대상 연구를 검토하고 차트 작성된 데이터의 정확성을 확인했습니다. Levac 등이 제안한 대로,21 두 저자는 처음 10개의 연구에서 차트화된 데이터에 대해 논의한 후 데이터 차트 양식을 더욱 구체화했습니다. 이 양식에 추가된 항목에는 환자 배제 또는 거부, 환자 익명성 및 기밀성, 환자 참여율, 다중 출처 피드백과 관련된 추가 세부 정보에 관한 데이터가 포함되었습니다. 그런 다음 데이터 차트 작성 프로세스가 끝날 때 저자들이 다시 만나 토론을 통해 모든 이견을 해결했습니다. 
In keeping with Stage 4 of the scoping review framework, we constructed a predefined data-charting form. Initially developed by one author (RK) to outline record-level, priority items, the form was then reviewed and revised with input from the broader team (RK, CG, YSP and AT). Data charting items included the characteristics of patients, study settings, assessment interventions and primary outcomes based on our prespecified questions (Appendix S2). The form was then pilot-tested for usability and comprehensiveness and approved by the team. One author conducted initial data charting (RK), and a second author (MG) reviewed each eligible study and verified the charted data for accuracy. As suggested by Levac et al.,21 both authors met to discuss the charted data from the first 10 studies and then further refined the data-charting form. Items added to the form included data pertaining to patient exclusion or refusal, patient anonymity and confidentiality, patient participation rates and additional details related to multi-source feedback. The authors then met again at the end of the data charting process and resolved all disagreements through discussion.

2.5 5단계: 결과 집계, 요약 및 보고
2.5 Stage 5: Collating, summarising and reporting results

아크시와 오말리의 5단계 접근 방식에 따라, 차트화된 데이터는 엑셀 파일에 간결하게 요약되어 저자 간의 토론과 해석을 알리는 데 사용되었습니다. 연구 설계, 출판 유형, 출판 국가, 개입 세부 사항, 분석 인구 단위(예: 전문 분야) 및 관련 결과 측정값을 포함한 인구통계학적 특성을 보고하기 위해 정량적 서술적 분석을 완료했습니다. 한 명의 저자(RK)가 앞서 언급한 연구 질문에 따라 선택된 모든 연구의 내용을 분류했습니다. 추출된 모든 데이터는 두 번째 저자(MG)가 검토했으며, 두 사람이 만나서 합의점을 논의하고 분류를 수정했습니다. 그런 다음 두 저자는 데이터를 해석하여 연구팀에게 설명적으로 제시했습니다. 그런 다음 연구팀은 가상으로 만나 데이터를 어떻게 제시하고 맥락화할지 논의했습니다. 이후 세 명의 저자(RK, JR, TH)가 세 차례에 걸쳐 만나 해석 분석을 추가로 비교, 대조, 수정했습니다. 
In keeping with Step 5 of Arksey and O'Malley's approach, charted data were summarised succinctly within an excel file and used to inform discussions and interpretations between authors. Quantitative descriptive analysis was completed to report on demographic characteristics including study design, publication type, country of publication, intervention details, population unit of analysis (e.g. specialty) and relevant outcome measures. One author (RK) categorised the content of all selected studies based on the aforementioned study questions. All extracted data were reviewed by a second author (MG), and both met to discuss agreement and revise the categorisation. The data were then interpreted by the two authors and presented descriptively to the study team. The team then met virtually to discuss how the data were presented and contextualised. Three authors (RK, JR and TH) then met on three subsequent occasions to further compare, contrast and revise the interpretative analysis.

2.6 6단계: 협의 연습
2.6 Stage 6: Consultative exercise

아크시와 오말리 프레임워크의 6단계(이해관계자 자문)는 '소비자 및 이해관계자가 참여하여 추가 참고 문헌을 제안하고 문헌에 없는 통찰력을 제공할 수 있는 기회'를 제공합니다.20 이 단계는 아크시와 오말리의 프레임워크에서는 선택 사항으로 설명되지만 레박 외의 업데이트에서는 필수 사항으로 간주됩니다.20, 21 이를 고려하여 연구팀은 적절한 연구 윤리 승인 및 자금 지원을 통해 향후 연구를 통해 이 작업을 해결하는 것이 가장 좋다는 결론을 내렸습니다. 
Stage 6 of the Arksey and O'Malley framework (consulting stakeholders) provides ‘opportunities for consumer and stakeholder involvement to suggest additional references and provide insights beyond those in the literature’.20 This step is described as optional in Arksey and O'Malley's framework, but deemed essential in Levac et al.'s update.20, 21 Given this, the study team concluded that this work may be best addressed through future research with appropriate research ethics approval and funding.

3 결과
3 RESULTS

검색 결과 821개의 기록이 발견되었습니다. 적격성 평가 결과, 41개의 전체 텍스트 연구가 포함 기준을 충족했습니다. 적격성 평가의 각 단계에 대한 자세한 내용은 그림 1에 나와 있습니다. 포함된 연구의 인구통계학적 특성은 표 1에 요약되어 있습니다. 대부분의 연구는 최근 10년(2010~2020년) 동안 미국 출신 저자에 의해 발표되었으며, 단일 기관에서 수행되었습니다. 포함된 연구는 내과와 가정의학 등 여러 분야에서 발표되었으며, 환자는 여러 임상 환경(대부분 외래 진료소)을 대표하는 경우가 많았습니다(표 1). 부록 S4에는 연구 설계, 출판 국가, 졸업후의학교육(PGME) 학습자의 특성, 환자 평가 횟수, 주요 연구 결과 등 41개 연구 전체에 대한 자세한 설명이 나와 있습니다. 
Our search yielded 821 records. Following eligibility assessment, 41 full-text studies met the inclusion criteria. Details outlining each stage of eligibility assessment are depicted in Figure 1. Demographic characteristics of included studies are outlined in Table 1. Most studies were published by authors originating from the United States, during the most recent decade (2010–2020), and form a single institution. Included studies were published within several disciplines, most commonly internal and family medicine, with patients representing multiple clinical settings, most frequently out-patient clinics (Table 1). Appendix S4 provides a detailed description of all 41 studies including study design, country of publication, characteristics of postgraduate learners, number of patient assessments and the main study findings.

3.1 환자 대표성
3.1 How patients are represented

포함된 41개의 연구 중 18개(43.9%)만이 환자의 성별을 보고했습니다.25-27, 37, 41-49, 58, 59, 61-63 부모와 보호자를 대표하는 소아 환자 집단을 대상으로 한 3개의 연구에서 여성은 학습자 평가의 일부로 피드백 수집의 82-87%에 기여했습니다.44, 45, 49 여러 연구에서 인구학적 특성을 보고했지만, 성별이 평가에 미치는 영향을 탐구한 연구는 거의 없었습니다. 외과 레지던트의 의사소통 능력에 대한 다중 소스 피드백(MSF)의 타당성을 조사한 한 연구에서는 성별에 기반한 접근 방식을 사용하여 여성 레지던트가 통계적으로 유의하게 높은 평가를 받은 것으로 보고했습니다.41 
Of the 41 included studies, only 18 (43.9%) reported patients' gender.25-27, 37, 41-49, 58, 59, 61-63 In three studies with a paediatric patient population representing parents and guardians, women contributed to 82–87% of feedback collection as part of learners' assessments.44, 45, 49 While several studies reported demographic characteristics, few explored the effect of gender on assessment. One study that explored the feasibility of multi-source feedback (MSF) for surgical residents' communication skills used a gender-based approach to report as women as providing statistically significantly higher ratings of residents.41

환자의 인종과 민족은 13개 연구(31.7%)에서 확인되었습니다. 보고된 용어에 따르면, 환자는 주로 '백인' 또는 '백인'으로 식별되었으며, 13개 연구 중 9개 연구에서 가장 큰 코호트(>50%)를 차지했습니다.25-27, 41, 46, 48, 49, 59, 62 실제로 두 연구에서 '백인' 환자 참가자 비율이 90%까지 보고되었습니다.26, 62 소수 인종 또는 소수 민족의 대표성은 다양했으며 그 이유를 명확하게 파악하기 위한 설명 정보가 거의 없었습니다. 샘플링이 수행된 이유와 대표성을 추구했는지에 대한 이유는 보고되지 않았습니다. 기타 환자 인구통계학적 특성(예: 사회경제적 지위)에 대한 보고는 공통성과 일관성이 부족하여 연구 간 비교가 어려웠습니다.
Patient race and ethnicity were identified in 13 studies (31.7%). Using the reported terminology, patients predominantly identified as ‘White’ or ‘Caucasian’ representing the largest cohort of participants (>50%) in nine of the 13 studies.25-27, 41, 46, 48, 49, 59, 62 In fact, two studies reported rates of ‘White’ patient participants as high as 90%.26, 62 Representation of racial or ethnic minorities was variable, with little explanatory information to succinctly determine why. Reasons for how sampling was carried out, and whether representation was sought, was not reported. Reporting of other patient demographics (e.g. socio-economic status) lacked commonality and consistency making comparisons across studies challenging.

3.2 환자 포함(및 제외)
3.2 Patient inclusion (and exclusion)

환자 포함 및 제외는 포함된 연구 전반에 걸쳐 다양한 방식으로 나타났습니다. 포함된 연구의 절반 미만(18/41, 43.9%)에서 특정 환자가 학습자 평가에서 제외된 이유를 명확하게 설명했습니다(부록 S5).25, 26, 28-32, 41, 43, 44, 47-50, 59, 61, 62, 64 가장 빈번한 제외 이유는 언어 능력(예: 제한된 영어 능력)이었는데, 이는 발표된 연구의 대부분이 영어 교육이 주를 이루는 국가에서 시작되었음을 고려할 때 놀라운 일이 아닙니다. 평가 도구를 여러 언어로 제공함으로써 평가 도구의 접근성을 보장하기 위한 조치를 고안한 연구는 Tamblyn과 동료들의 연구 한 건에 불과했습니다.58 반대로 환자가 평가에 참여하지 않기로 선택한 경우는 5건(12.8%)에서 보고되었으며, 여기에는 관심 부족, 경쟁 치료 계획, 전반적인 건강(예: 신체적 또는 정신적으로 건강하지 않음) 및 언어 장벽(예: 개인적으로 의사소통이 불가능하다고 느낌)의 예가 포함됩니다(부록 S5).25, 28, 31, 59, 65 
Patient inclusion and exclusions were represented in a variety of ways across included studies. Less than half of included studies (18/41, 43.9%) clearly described reasons for why certain patients were excluded from learner assessment (Appendix S5).25, 26, 28-32, 41, 43, 44, 47-50, 59, 61, 62, 64 The most frequent reasons for exclusion was language proficiency (e.g. limited proficiency in English), perhaps unsurprising given the majority of published studies originated in countries where English-language instruction predominates. Only one study by Tamblyn and colleagues devised measures to ensure accessibility of their assessment tool by making it available in multiple languages.58 Conversely, patients' choice to not engage in assessment was reported in five studies (12.8%) and included examples lack of interest, competing care plans, overall well-being (e.g. physically or psychologically unwell) and language barriers (e.g. personally felt unable to communicate) (Appendix S5).25, 28, 31, 59, 65

진행성 암 환자,25 중증 만성 질환을 앓고 있는 환자,62 사회경제적 지위가 낮은 환자,62 교육 수준이 낮은 환자 등 다양한 환자 집단이 대표되었습니다.26, 58 그러나 미성년자, 수감자, 중환자 또는 임종기 환자 등 특정 환자 집단을 체계적으로 배제한 연구는 거의 보고되지 않았습니다.25, 29, 32, 47, 62 
There was diverse patient populations represented including those living with advanced-stage cancers,25 suffering from severe chronic diseases,62 from lower socio-economic status,62 and lower educational attainment.26, 58 That said, few studies reported systematically excluding specific patient population such as minors, prisoners or patients critically ill or at the end-of-life.25, 29, 32, 47, 62

3.3 환자 신원 보호(기밀 유지)
3.3 Protecting patient identify (confidentiality)

학습자 평가에 환자를 참여시키는 것은 위험을 수반하는 것으로 인식될 수 있습니다. 학습자가 평가 데이터를 해당 맥락과 연결할 수 없을 때 환자의 평가 및 서술적 의견에 대한 인식에 부정적인 영향을 미칠 수 있습니다.30, 33 이러한 이유로 사용된 절차에 대한 추가 정의 없이 환자 기밀성 및 익명성이 7건(17.9%)의 연구에서만 보고되었습니다.27, 32, 46, 47, 49, 51, 52. 8건(19.5%)의 연구에서는 수집된 환자 설문지가 익명화되었다고 명시했습니다.31, 33-35, 37, 44, 48, 65 비밀이 보장된 피드백 수집을 보장한 9개 연구(23.1%) 중26, 36, 38, 50, 53, 59, 60, 64 Reinders 등만이 특정 환자를 생년월일을 통해 추적할 수 있어 익명성을 보장할 수 없다고 설명했습니다.50 환자의 비밀 유지 및 익명성은 중요한 고려사항이 되며 프로그램의 환자 피드백 요청 목적에 따라 달라질 수 있습니다. 환자-연수생 관계의 유지가 기밀성 및 익명성 보장을 지지하는 주요 논거였습니다.  
Involving patients in assessment of learners may be perceived as carrying some risk. There may be a signal that this could adversely influence learners' perceptions of patient ratings and narrative comments when they were unable to link the assessment data to the context in question.30, 33 To this end, patient confidentiality and anonymity were reported in only seven studies (17.9%) without further defining the procedures used.27, 32, 46, 47, 49, 51, 52 Eight studies (19.5%) stated that the collected patient questionnaires were anonymised.31, 33-35, 37, 44, 48, 65 Of the nine studies (23.1%) that assured confidential feedback collection,26, 36, 38, 50, 53, 59, 60, 64 only Reinders et al. explained how they could trace certain patients back through their date of birth and therefore could not guarantee anonymity.50 Maintaining patient confidentiality and/or anonymity becomes an important consideration and dependent on the purpose for which a programme is seeking patients' feedback. Preserving the patient–trainee relationship was the main argument in favour of confidentiality and anonymity.

3.4 환자 평가 수집 방법
3.4 How patient assessments are collected

환자 평가는 다양한 심리측정 도구를 통해 수집되었습니다(표 2). 의사소통 평가 도구(CAT)는 지난 10년간 발표된 총 9건의 연구(22.0%)에서 가장 많이 사용되었습니다.27-30, 41, 43, 45-47 환자의 평가 참여는 14건의 연구에서 보고되었습니다.33, 34, 36-39, 44, 49, 51-54, 59, 61 이 연구들 중 MSF 프로세스는 교수진 의사,33, 34, 36, 38, 39, 44, 49, 52-54, 59, 61 간호사,33, 34, 36, 38, 44, 49, 51, 53, 54, 59, 61 수련생/동료,36-39, 53, 54 사무직원,36, 38 연합 보건 전문가53 및 프로그램 디렉터가 중심이 되었습니다.59 
Patient assessments were captured by a variety of psychometric tools (Table 2). The Communication Assessment Tool (CAT) was most frequently used in a total of nine studies (22.0%) published within the last decade.27-30, 41, 43, 45-47 Patients' engagement in assessment as a component of MSF was reported in 14 studies.33, 34, 36-39, 44, 49, 51-54, 59, 61 Of these studies, the MSF process centred on faculty physicians,33, 34, 36, 38, 39, 44, 49, 52-54, 59, 61 nurses,33, 34, 36, 38, 44, 49, 51, 53, 54, 59, 61 trainees/peers,36-39, 53, 54 office staff,36, 38 allied health professionals53 and programme directors.59

23개 연구(51.2%)에서 환자 참여 또는 작업장 상황을 지원하기 위해 원래 도구를 수정한 것으로 보고되었으며 표 2.25-28, 30, 33, 34, 37, 41, 42, 45-51, 58, 59, 62, 64 두 연구에서 수정된 도구를 시행하기 전에 시범적으로 사용했다고 보고했습니다.34, 43 양적 및 질적 평가 접근법이 포함된 연구들에서 모두 보고되었습니다. 환자가 질적 의견을 제공하는 기능은 11개 연구에서 보고되었으며, 일반적으로 환자에게 전반적인 의견(예: '이 레지던트의 의사소통에 대해 어떤 점이 좋았습니까?'30 또는 '레지던트가 제공하는 진료에 대해 무엇을 바꾸겠습니까?'51)을 묻거나 레지던트의 성과와 관련하여 인지된 강점 및 개선할 부분에 대해 구체적으로 언급하도록 요청했습니다.26, 28, 30, 32, 33, 43, 44, 49, 51, 52, 54 
Modifications to adapt the original tool to support patient involvement or the workplace context were reported in 23 studies (51.2%) and listed in Table 2.25-28, 30, 33, 34, 37, 41, 42, 45-51, 58, 59, 62, 64 Two studies reported piloting their modified tool prior to its implementation.34, 43 Both quantitative and qualitative assessment approaches were reported across the included studies. The ability for patients to provide qualitative comments was reported in 11 studies and generally asked patients for either global comments (e.g. ‘what did you like about this resident's communication?’30 or ‘what they would change about the care provided by the residents?’51) or to comment specifically on perceived strengths and areas for improvement in relation to resident's performance.26, 28, 30, 32, 33, 43, 44, 49, 51, 52, 54

3.5 환자 모집 방법
3.5 How patients are recruited

환자는 주로 연구 조교에 의해 모집되었습니다(16/41, 39.0%).25, 26, 28, 30, 31, 34, 39, 41, 44, 45, 49, 51, 58, 59, 62, 64 대상 연구의 거의 1/3에서 수련의의 이름과 사진 신분증이 사용되었습니다.26, 28, 30-32, 34, 39, 41, 44, 45, 49, 51, 54, 59 이 방법을 사용한 환자들은 88%의 비율로 훈련생을 인식했습니다.26 표 3은 환자 설문지를 수집하는 데 사용된 다른 방법에 대한 추가 세부 정보를 제공합니다. 프로그램 관리자, 사무 직원 또는 병원 자원봉사자와 같은 제3자를 통해 환자 참여를 요청하면 보고된 교육생들의 불편함과 환자 선택에 대한 편견을 최소화할 수 있습니다.30 
Patients were recruited primarily by research assistants in our sample of studies (16/41, 39.0%).25, 26, 28, 30, 31, 34, 39, 41, 44, 45, 49, 51, 58, 59, 62, 64 Trainees' name and photo identification were used in nearly one-third of eligible studies.26, 28, 30-32, 34, 39, 41, 44, 45, 49, 51, 54, 59 Using this method, patients recognised trainees at rates of 88% as shown by McKinley et al.26 Table 3 provides additional details on other methods used to collect patient questionnaires. Soliciting patient participation through a third party, such as programme administrators, clerical staff or hospital volunteers, may minimise reported trainees' discomfort and bias in patient selection.30

환자 피드백을 수집하는 데 필요한 평균 시간은 4개의 연구에서 몇 분(1~10 범위)에서31, 32, 43, 52, 한 연구에서는 25분 이상까지 다양했습니다.28 인적 자원 필요성은 6개의 연구에서만 기술되었습니다.28, 34, 52, 55, 59, 65 Mahoney 등은 12개의 환자 설문지를 수집하는 데 입원 환자의 경우 평균 6.36시간, 외래 환자의 경우 10.14시간의 연구 보조(RA) 시간을 보고했습니다.28 울리스크로프트의 연구에서는 8명의 RA가 20개월 동안 70명의 레지던트를 위해 625명의 환자로부터 피드백을 수집하는 데 도움을 주었습니다.59 Wood 등은 지원 직원(유방 영상 기술자)의 업무량이 증가하지는 않았지만 레지던트가 시술을 수행할 것이라는 사실을 미리 알지 못한 경우 환자에게 평가 양식을 배포하는 것을 잊는 경향이 있었다고 보고했습니다.52 
The average time commitment required to collect patient feedback varied from a few minutes (range 1–10) in four studies,31, 32, 43, 52 to over 25 minutes in one study.28 Human resource needs were described in only six studies.28, 34, 52, 55, 59, 65 Mahoney et al. reported an average research assistant (RA) time of 6.36 hours for in-patients and 10.14 hours for out-patients to collect 12 patient-questionnaires.28 In Woolliscroft's study, eight RAs helped collect feedback from 625 patients for 70 residents over a 20-month period.59 Wood et al. reported no increased workload for support staff (technologist in breast imaging), but they tended to forget distribution of the evaluation form to patients if they did not know ahead of time that residents will be performing the procedures.52

환자 설문지 수집 기회를 놓치는 데 기여한 몇 가지 물류 문제를 논의한 연구는 거의 없습니다. Tamblyn 등은 시간 제약으로 인해 외래 환자의 11.1%가 모집되지 않았다고 보고했습니다.58 입원 환자의 경우, Dine 등과 Mahoney 등의 두 연구에 따르면 레지던트를 인식하지 못하는 것이 설문지 미작성 이유의 각각 8%와 13%를 설명했습니다.28, 31 Jagadeesan 등은 설문지 관리를 담당하는 사람이 한 명뿐이어서 적격 환자의 36%는 모집되지 않았다고 설명했습니다.48 
Few studies discussed some of the logistical issues that contributed to missed opportunities for the collection of patient questionnaires. Tamblyn et al. reported that 11.1% of their out-patients were not recruited due to time constraints.58 In the in-patient context, two studies by Dine et al. and Mahoney et al. showed that the inability of recognising residents explained 8% and 13% of patients' reasons for non-completion of questionnaires, respectively.28, 31 Jagadeesan et al. explained that 36% of eligible patients were not recruited since only one person was responsible for the administration of their questionnaire.48

3.6 환자 참여 및 평가 횟수
3.6 Patient participation and number of assessments

환자의 참여율은 14개 연구에서 보고되었으며, 두 연구를 제외한 모든 연구에서 60% 이상의 참여율을 보였다.25, 26, 28, 31, 36-38, 41, 48, 49, 58, 59, 63, 64 Mahoney등과 McKinley등은 모두 레지던트 교육에 대한 환자의 의견에 대한 기관의 관심과 과정에 만족하는 경향이 있다고 보고하였다.26, 28 Olsson의 연구는 가정의학과 전공의를 대상으로 6개월 동안 평가를 수집한 외래 환자의 경우 25%로 가장 낮은 참여율을 보였다고 보고하였다.37 Newcomb 등은 일반외과 레지던트를 대상으로 12개월 동안 환자 피드백을 수집한 결과 입원 환자의 참여율은 28%, 외래 환자의 참여율은 72%로 보고했습니다.41 다중 소스 피드백(MSF) 도구의 심리측정 특성을 평가하기 위해 유사한 설계를 적용한 두 연구에서는 모든 참가자의 참여율이 100%로 보고되었습니다.36, 38 
Patients' participation rates were reported in 14 studies with rates over 60% in all but two studies.25, 26, 28, 31, 36-38, 41, 48, 49, 58, 59, 63, 64 Mahoney et al. and McKinley et al. both showed that patients tend to be satisfied with the process and the institution's interest in their input towards residents' education.26, 28 Olsson's study reported the lowest participation rate at 25% for out-patients over a 6-month period of assessment collection for family medicine residents.37 Newcomb et al. reported a 28% participation rate for in-patients compared with 72% for out-patients over a 12-month period of collected patient feedback for general surgery residents.41 Two studies with similar designs to assess the psychometric properties of a multi-source feedback (MSF) tool reported 100% participation rates from all participants.36, 38

4건의 연구에 따르면 수용 가능한 평가자 간 신뢰도를 달성하기 위해서는 많은 수의 환자를 모집해야 합니다.31, 56, 58, 59 집계된 EVGP 도구를 사용하여 Tamblyn 등은 0.75에서 0.80 사이의 신뢰도를 위해 30-40명의 환자를 제안했습니다.58 Murphy 등은 CARE 도구의 신뢰도 0.80을 위해 40명 이상의 환자를 추천했습니다.56 반면, 연구 저자들이 개발한 설문지의 경우 울리스크로프트 등은 100명 이상의 환자를, 다인 등은 이상적인 평가자 간 신뢰도 수준인 0.80을 위해 165명의 환자 평가를 권고했습니다.31,59 한편, 소아과 입원실에 입원한 아동의 보호자를 대상으로 ABIM 환자 만족도 설문지를 사용한 Byrd 등은 레지던트 1인당 7명의 환자 피드백에 대해 0.97의 Cronbach α 계수로 높은 수준의 내적 신뢰도를 보고했습니다.44 
Recruitment of a high number of patients is required to achieve acceptable inter-rater reliability based on four studies.31, 56, 58, 59 Using the aggregated EVGP instrument, Tamblyn et al. suggested 30–40 patients for reliability between 0.75 and 0.80.58 Murphy et al. recommended over 40 patients for a reliability of 0.80 with the CARE instrument.56 On the other hand, for questionnaires developed by the study authors, Woolliscroft et al. proposed over 100 patients, and Dine et al. advised for 165 patient-ratings for an ideal inter-rater reliability level of 0.80.31, 59 On the other hand, using the ABIM Patient Satisfaction Questionnaire with caregivers of children admitted on paediatric in-patient units, Byrd et al. reported high degree of internal reliability with a Cronbach α coefficient of 0.97 for seven patient feedback per resident.44

3.7 환자가 학습자를 평가하고 피드백을 제공하는 방법
3.7 How patients rate and give feedback to learners

학습자를 평가하는 것은 일반적으로 환자에게 새로운 경험입니다. 24개 연구(58.5%)에서 보고된 바와 같이 환자들은 학습자를 높게 평가했습니다.26-29, 31, 34-38, 41, 43-49, 56-59, 63, 64 그러나 환자에게 선험적 지침을 제공하면 평가 점수의 변동이 개선되고 높은 평가의 비율이 낮아졌습니다.41 MSF 기반 도구를 사용한 연구에서 레지던트에 대한 환자의 평가는 다른 환자의 평가와 잘 일치했지만 의사와는 일치하지 않았습니다44, 53, 61; 두 평가자에게 동일한 도구를 사용한 경우는 Byrd 등이 유일했습니다.44 
Rating learners is generally a new experience for patients. Patients were described as rating learners highly as reported in 24 studies (58.5%).26-29, 31, 34-38, 41, 43-49, 56-59, 63, 64 However, providing patients with a priori instructions improved variation in rating scores and lowered the proportion of high ratings.41 In studies using MSF-based instruments, patient ratings of residents correlated well with those of other patients but not with physicians44, 53, 61; only Byrd et al. used the same instrument for both raters.44

그들의 피드백에서 환자 또는 간병인은 관찰된 전문적 행동, 옹호 및 의사소통 기술을 중요시하고 집중하는 것으로 보고되었습니다.33, 40, 49, 62 이에 비해 의사는 의학 지식을 우선시했으며33, 49 간호사는 리더십, 협업 및 의사소통에 대해 보고했습니다.33 가정의학 프로그램의 후향적 데이터를 사용하여 환자 평가는 면허 시험 성적 및 어려움에 처한 레지던트의 수련 연장과 상관관계가 있습니다.42 마지막으로, 맥킨리는 환자 평가가 실제로 주니어와 시니어 레지던트를 차별할 수 있음을 입증했습니다.26 그러나 이러한 결과는 포함된 다른 연구들에서 반복되지 않았습니다.32, 35, 44-46, 63 
In their feedback, it was reported that patients and/or caregivers valued and focused on the observed professional behaviours, advocacy and communication skills.33, 40, 49, 62 In comparison, physicians prioritised medical knowledge,33, 49 and nurses reported on leadership, collaboration and communication.33 Using retrospective data from a family medicine programme, patient ratings correlate with performance on licensing examinations and extensions of training for residents in difficulty.42 Lastly, McKinley demonstrated that patient ratings could in fact discriminate between junior and senior residents.26 These findings were not replicated however across other included studies.32, 35, 44-46, 63

3.8 환자 평가의 인식 및 수용 방법
3.8 How patient assessments are perceived and received

13개 연구에서 수집된 환자 평가와 피드백이 학습자에게 제공되었습니다(부록 S6).30, 32, 33, 36, 39, 45, 47, 51, 52, 54, 60, 64, 65 졸업후의학교육(PGME) 학습자들은 일반적으로 환자 평가가 자신의 행동과 술기가 환자 치료에 미치는 영향을 더 잘 이해하는 데 도움이 되고, 수용 가능하며, 유용하다고 인식했습니다.30, 33, 44, 52, 56, 65 두 연구에서 일부 수련의는 환자 피드백을 받아들이는 데 어려움을 겪었으며, 심지어 스스로 인지한 역량과 일치하지 않거나 피드백을 환자 또는 임상 상황과 연관시킬 수 없는 경우 무효화하기도 했습니다.30, 33 몇몇 연구에서는 수련의에게 수집된 환자 피드백에 대해 토론할 기회를 제공했습니다. 이러한 연구에서는 프로그램 디렉터,47, 51, 54, 64 다른 교수진 의사,39, 45, 52 수련의가 선택한 의학 교육자33 또는 행동 과학에 대한 전문적 배경을 가진 비의사가 레지던트를 위한 코치 역할을 수행했습니다.65 
Collated patient ratings and feedback was provided to learners in thirteen studies (Appendix S6).30, 32, 33, 36, 39, 45, 47, 51, 52, 54, 60, 64, 65 Graduate medical learners generally perceived patient assessments as helpful, acceptable and useful to better understand how their behaviours and skills influence patient care.30, 33, 44, 52, 56, 65 In two studies, some trainees struggled to accept and even invalidated patient feedback if not aligned with self-perceived competence, or if they could not associate the feedback with the patient or clinical context.30, 33 Several studies offered trainees the opportunity to discuss collated patient feedback. In these studies, programme directors,47, 51, 54, 64 other faculty physicians,39, 45, 52 a medical educator chosen by the trainee33 or a non-physician with a professional background in behavioural science served as coach for residents.65

환자 참여가 행동 변화에 기여했는지 또는 환자 결과에 영향을 미쳤는지 평가한 연구는 거의 없습니다(7/39; 15.4%).25, 33, 39, 45, 51, 54, 64 MSF와 기존의 교수진만 평가하는 무작위 연구에서 환자 평가자로부터 피드백을 받은 레지던트는 대인관계 및 의사소통 기술이 크게 향상되는 것으로 나타났습니다.54 Bylund 등은 종양학 학습자를 위한 의사소통 기술 프로그램을 연구하고 프로그램 완료 전후에 환자 피드백을 수집한 결과, 기준 점수가 낮은 학습자에서 유의미한 개선이 나타났지만 의사소통 기술에는 큰 변화가 없는 것으로 나타났습니다.25 마찬가지로, Cope 등은 기준 점수가 낮고 코칭 피드백을 받은 학습자가 시간이 지남에 따라 개선되어 이후 약간 더 나은 환자 평가를 받았음을 보여주었습니다.64 그러나 다른 4개의 연구에서는 환자 설문조사에서 수집된 피드백을 기반으로 학습자를 코칭하는 것이 레지던트의 성과에 대한 후속 환자 평가에 영향을 주지 않았습니다.39, 45, 51, 64 그럼에도 불구하고 환자 피드백을 반영하고 맥락화하는 코칭은 학습자의 신뢰를 방해하지 않고 수용을 향상시키는 데 도움이 되었습니다.45, 51 
Few studies (7/39; 15.4%) evaluated whether patient involvement contributed to changes in behaviours or impacted patient outcomes.25, 33, 39, 45, 51, 54, 64 In a randomised study comparing MSF and traditional faculty-only evaluations, residents who received feedback from patient raters showed significant improvement in interpersonal and communication skills.54 Bylund et al. studied a communication skills programme for oncology learners and collected patient feedback before and after completion of the programme showing no significant change in communication skills, although there was significant improvement seen in learners with lower baseline scores.25 Similarly, Cope et al. demonstrated that learners who had low baseline scores and who received coaching feedback improved over time with subsequent slightly better patient ratings.64 However, in four other studies, coaching learners based on collated feedback from patient surveys did not influence subsequent patient ratings of resident's performance.39, 45, 51, 64 Nevertheless, coaching to reflect on and contextualise patient feedback helped improve its acceptance without hindering their learners' confidence.45, 51

4 토론
4 DISCUSSION

우리의 범위 검토는 졸업후의학교육(PGME) 학습자 평가에 환자의 참여를 최대한 촉진하고, 종종 환자 참여의 장애물로 언급되는 행정적 부담이 실제로는 극복할 수 없는 것이 아니라는 다른 학자5,66의 의견과 일치합니다. 환자는 여러 전문 교육 분야, 임상 환경 및 환자 집단에 걸쳐 효율적으로 참여할 수 있으며, 환자의 참여는 사용 가능한 행정 자원에 달려 있습니다. 환자 모집은 일반적으로 큰 어려움이 없는 것으로 보이며, 다른 연구에서 설명한 바와 같이 적극적으로 참여하고 경험을 공유하려는 환자의 의지와 관련이 있을 수 있습니다12, 17, 19; 대부분의 연구에서 상대적으로 높은 참여율이 보고되었습니다. 환자는 전공의의 대인관계 기술 및 행동 수행과 밀접하게 연관되어 있기 때문에 전통적인 평가 접근법을 보강하고 의사소통, 옹호, 전문성 등 잘 드러나지 않는 역량을 조명할 수 있는 잠재력을 가지고 있으며,19, 66 따라서 학습자의 역량에 대한 보다 전체적인 그림을 제공합니다.5 다양성과 포용성을 보장하고 이러한 요소가 환자의 평가와 의견, 학습자의 환자 중심 진료에 대한 수용에 미치는 영향에 대한 이해를 더욱 향상시키기 위해 모국어 및 기타 사회 문화적 고려사항과 평가를 일치시키는 데 더 많은 주의가 필요합니다. 
Our scoping review highlights, and aligns with other scholars,5, 66 that promote patient involvement in postgraduate learner assessment as possible and that administrative burdens, often cited as barriers to patient involvement, are in fact not insurmountable. Patients can be engaged efficiently across a number of specialty training areas, clinical settings and patient populations and their involvement hinges on available administrative resources. Patient recruitment appeared to be generally without major challenges and may tie into patients' willingness to actively participate and share their experiences as described in other studies12, 17, 19; relatively high participation rates were reported in most studies. By virtue of being intimately coupled to performances of residents' interpersonal skills and behaviours, patients hold the potential to augment traditional assessment approaches and shed light on less represented competencies such as communication, advocacy and professionalism,19, 66 thus provide a more holistic picture of learners' competence.5 Greater attention is required to align assessments with native language and other sociocultural considerations to ensure diversity and inclusion and further improve our understanding of how these factors influence patient ratings and comments and learners' uptake into their patient-centred practice.

환자 참여의 본질은 다양한 형태로 나타날 수 있습니다. 우리의 종합 결과, 환자는 개별 작업장 기반 평가뿐만 아니라 다중 소스 피드백 프로세스(의사가 풍부한 평가 데이터를 받아 정기적으로 상호 작용하는 다양한 개인 그룹으로부터 얻은 평가와 비교하여 환자 치료를 개선할 수 있는 핵심 역량을 알려주는 방법)의 구성 요소에도 관여하는 것으로 확인되었습니다.67, 68 환자의 평가와 의견을 수집하기 위해 다양한 구성을 측정하는 여러 평가 도구가 연구되었습니다. 그러나 이러한 도구에 대한 타당성 증거는 주로 신뢰도 측정에 초점을 맞추었으며, 신뢰도 높은 판단을 위해 필요한 환자 평가 횟수에 대한 권장 사항은 대부분 가변적이었습니다. 그러나 CBME 프레임워크에서 '학습을 위한 평가'에 대한 강조가 증가함에 따라,69 환자 평가의 유용성은 학습자의 역량 달성 및 전문성 개발에 정보를 제공하고 혜택을 주는 방법에 따라 결정되어야 합니다.5 따라서 다른 평가 방법과 결합할 경우 많은 수의 환자 평가를 수집하는 것이 필요하지 않을 수도 있습니다. 
The nature of patient involvement can take many forms. Our synthesis identified patients have been involved in individual workplace-based assessments as well as a component of a multi-source feedback process (a method by which physicians receive rich assessment data to compare self-assessment to those obtained from different groups of individuals with whom they interact regularly and thereby inform on key competencies that can improve patient care).67, 68 Several assessment tools measuring various constructs have been studied to capture patients' ratings and comments. However, validity evidence for these tools focused primarily on reliability measures with largely variable recommendations in the number of patient assessments needed for highly reliable judgements. However, with the increased emphasis towards ‘assessment for learning’ in CBME frameworks,69 utility of patient assessments need to be driven by how it informs and benefits learners' competency attainment and professional development.5 Therefore, collecting a high number of patient assessments may arguably not be necessary when coupled with other assessment methods.

샘플 조사에서 코칭과 성찰을 통한 피드백 촉진이 환자 평가 데이터의 수용과 이해를 개선하는 것으로 나타났습니다. 그러나 코칭 피드백 개입 후의 결과는 역량 달성에 가장 큰 혜택을 경험한 것으로 보이는 낮은 등급의 학습자를 제외하고는 모호한 결과를 보여주었습니다. MSF 문헌은 코치 또는 동료와의 성찰과 대화가 임상 실습에서 의미 있는 변화를 채택하는 데 중요한 역할을 한다고 제안합니다.70, 71 코치의 지도 아래 수련생이 받은 피드백을 분석하고 반영하여 목표를 파악하고 목표 달성을 위한 계획을 개발하는 코칭 피드백은 의학 교육에서 점점 더 많이 사용되고 있지만,72 종단 데이터가 부족하여 환자 평가와 관련된 연구는 미흡한 실정입니다. 환자의 의견을 바탕으로 한 코칭 피드백이 어떻게 학습, 전문성 개발 및 진료 변화를 유도하여 궁극적으로 환자 치료와 결과를 개선할 수 있는지에 대한 보다 완전한 이해는 앞으로의 과제입니다. 
In our sample, we found that feedback facilitation through coaching and reflection improved acceptance and understanding of patient assessment data. However, outcomes following coaching feedback interventions demonstrated equivocal results except for learners with lower ratings who seemed to experience the most benefit to competency attainment. The MSF literature does suggest an important role for reflection and conversations with a coach or peer to adopt meaningful changes in one's clinical practice.70, 71 Coaching feedback whereby trainees analyse and reflect on the received feedback to identify goals and develop a plan to reach them under the guidance of a coach is increasingly used in medical education,72 but under-studied in relation to patient assessments with lack of longitudinal data. Understanding more fully how coaching feedback based on patient input can drive learning, professional development and practice changes that ultimately improve patient care and outcomes is an area of future.

4.1 격차 및 향후 연구에 대한 시사점
4.1 Gaps and implication for future research

양질의 진료와 환자 중심주의는 CBME 프레임워크의 중요한 결과이므로,1, 7 역량 기반 평가에서 환자가 더 큰 역할을 할 수 있도록 평가 대화를 전환하는 것이 우선순위가 됩니다.5, 66 우리의 연구 결과는 환자가 효과적인 평가자가 될 수 있음을 시사합니다. 그러나 수집된 데이터를 역량 성취와 관련된 결정을 위해 요약 수준에서 어떻게 사용할 수 있는지에 대해서는 표본에서 논의되지 않았으며, 이는 역량 기반 평가의 중요한 요소로서 학술적 관심이 필요합니다. 
Since quality care and patient-centeredness are important outcomes to CBME frameworks,1, 7 shifting our assessment conversations to provide patients a larger role in competency-based assessment becomes a priority.5, 66 Our findings suggest that patients can be effective assessors. However, how their collated data may be used at a summative level for decisions related to competency attainment was not discussed in our sample and is an important element of competency-based assessment in need of scholarly attention.

환자의 피드백이 교육생의 성과 및 행동 변화에 미치는 영향은 여전히 모호하며, 이를 해결하기는 어렵지만 불가능하지는 않습니다. 수련의에 대한 환자 평가를 조사한 다른 리뷰에서도 비슷한 결론에 도달했습니다.50, 73 교육 성과 측정과 연결된 환자 보고 성과 척도(PROM)는 평가 시스템에서 교육적 역할로 인해 PGME에서 주목받고 있습니다.74-76 PROM과 연결된 환자 피드백이 성과 평가에 정보를 제공하고 추가하는 방법을 탐구하면 교육 개입, 의미 있는 진료 변화, 진료의 질, 환자 결과 사이의 격차를 해소하는 데 유용할 수 있습니다.
The effect of patient feedback on trainees' performance and behavioural changes remains equivocal and will be challenging, but not impossible, to address. Other reviews investigating patient assessments of practicing physicians reached similar conclusions.50, 73 Patient reported outcome measures (PROMs) linked to educational outcome measures are gaining attention in PGME for their educational role in our systems of assessment.74-76 Exploring how patient feedback tied to PROMs informs and adds to performance assessment may prove useful to bridge the gap between education interventions, meaningful practice change, quality of care and patient outcomes.

PGME 프로그램이 점점 더 어려워지는 경제적 제약 속에서 유능한 의사를 졸업시키기 위해 노력함에 따라,77,78 환자 참여, 평가 데이터 수집 및 학습자 전달의 경제적 영향을 다루는 비용 효과성 연구는 우리가 선택한 연구에는 없었지만 많은 PGME 프로그램이 직면한 중요한 장벽이 될 수 있으므로 추가로 고려할 필요가 있습니다. 
As PGME programmes strive to graduate competent physicians in ever-growing economical restrictions,77, 78 cost-effectiveness studies that address the economic implications of patient involvement, assessment data collection and delivery to learners need to be further considered as this was absent from our selected studies yet may be a critical barrier facing many PGME programmes.

마지막으로, 더 중요한 것은 유능한 의사에 대한 총체적인 관점에 기여하고 안전하고 효과적인 환자 중심 진료로 나아가는 데 기여할 수 있는 환자의 목소리를 방해하는 PGME의 사회문화적 및 제도적 장애물을 즉시 해결해야 한다는 점입니다.7, 66 
Lastly, and perhaps more importantly, we need to promptly address the sociocultural and institutional roadblocks in PGME that impede the patient voice which can contribute to a holistic view of the competent physician and drive us towards safe, effective patient-centred care.7, 66

4.2 제한점
4.2 Limitations

검색을 위해 포괄적으로 검색하고 숙련된 사서와 협력했지만, 보건 전문직 교육은 검색이 어려운 것으로 확인되었습니다.79 관련 연구가 확인되지 않았을 가능성이 있습니다. 모든 전자 데이터베이스를 검색하지는 않았으며 영어 또는 프랑스어가 아닌 언어는 제외했습니다. 또한 '환자'라는 검색어는 의료 분야에서 모호하지 않기 때문에 포함시켰으며, 고려할 수 있었던 다른 용어로는 '사용자', '소비자', '클라이언트'가 있으며, 이는 앞서 언급한 문헌 검토의 복잡성을 반영한 것입니다.12 검토의 맥락이 레지던트에 대한 평가임을 감안하여 이러한 용어가 '환자'보다 우선순위가 높지 않을 것이라는 가설을 세웠지만 이 가설을 테스트하지 않았습니다.  
Although we searched comprehensively and collaborated with an experienced librarian for our search, health professions education is identified as difficult to search.79 It is possible that relevant studies were not identified. We did not search all electronic databases and excluded non-English or French languages. We also included the search term ‘patients’ as it is unambiguous for the medical field; other terms that could have been considered include ‘user’, ‘consumer’ and ‘client’ and speaks to the previously documented complexities in reviewing this literature.12 Given the context of the review was assessment of residents, we hypothesised that these terms were unlikely to be prioritised over ‘patient’ in this context but we did not test this hypothesis.

5 결론
5 CONCLUSION

전공의에 대한 보다 총체적인 관점을 확보하려면 평가에 다양한 관점, 특히 환자를 포함시키는 것이 도움이 될 수 있습니다. 검토 결과, 평가에 환자의 참여는 여러 학문 분야와 임상 환경에서 가능한 것으로 나타났습니다. 또한, 환자는 평가에서 의사 중심의 전통적인 관점을 보완할 수 있는 다양한 관점과 전문성(예: 경험적 관점)을 제공합니다. 학습자의 전문성 개발과 환자 중심 관행을 알리기 위해 환자 수준의 데이터를 가장 잘 활용할 수 있는 방법, 특히 평가 시스템에 대한 환자의 참여가 사회적 요구에 더 많이 기여할 준비가 된 의사를 배출하는 데 의미 있게 기여하는지 여부와 그 방법에 대해서는 향후 연구가 필요합니다. 이를 위해 환자가 의학교육 전반과 특히 평가에 점점 더 많이 참여함에 따라, 총체적인 평가가 완전히 실현될 수 있도록 공평하고 다양한 참여를 보장하는 것이 우선시되어야 합니다. 
Achieving a more holistic view of postgraduate learners may benefit from including diverse perspectives in their assessments and specifically patients. In our review, patient engagement in assessments was viewed as feasible across multiple disciplines and clinical settings. Further, patients contribute different perspectives and expertise (e.g. experiential) that can augment more traditional, physician-focused, perspectives in assessments. How patient-level data can best be used to inform learners' professional development and patient-centred practices remains in need of future research, in particular if and how patient involvement in assessment systems contribute meaningfully to producing physicians that are ready to contribute more fully to societal needs. To this end, as patients increasingly engage in medical education generally and assessment specifically, ensuring equitable, diverse inclusion should be prioritised to ensure holistic assessments are to be fully realised.

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.

어떻게 근무현장-기반 평가가 졸업후교육에서 학습을 가이드하는가: 스코핑 리뷰 (Med Educ, 2023)
How workplace-based assessments guide learning in postgraduate education: A scoping review 
Leslie Martin1 | Sarah Blissett2 | Bronte Johnston3 | Michael Tsang1 | Stephen Gauthier4 | Zeeshan Ahmed5 | Matthew Sibbald1 

1 서론
1 INTRODUCTION

평가 전략은 수련의가 학습하는 방식에 분명한 영향을 미칩니다.1-3 역량 기반 의학교육(CBME)4-6 에서 작업장 기반 평가(WBA)를 늘리려는 전 세계적인 변화는 학습자7, 8 와 피드백 추구와 같은 학습 행동에 긍정적인 영향을 미쳤습니다.9, 10 CBME 내 프로그램 평가의 가장 중요한 희망은 WBA를 사용하여 작업장에 학습 평가를 포함시키는 동시에 강력한 고부담 승진 결정(학습의 평가)을 최적화하고 프로그램 개선을 위한 정보를 제공하고자 하는 것입니다.11, 12 안타깝게도 예비 문헌에 따르면 각 평가의 형성적 의도와 총괄적 의도가 혼재되어 있어 프로그램 평가를 통해 학습 목표를 달성하는 데 어려움이 있음을 보여줍니다.13-15 임상 환경에서 WBA를 사용하여 낮은 부담의 학습 목표와 높은 부담의 진급 결정을 모두 달성할 때 연수생이 성과와 학습 목표 사이의 갈등을 인식함에 따라 유사한 긴장이 발생했습니다.16, 17 이러한 긴장의 핵심은 사회적으로 구성되고 고도로 맥락적인 직장에서 임상 성과를 '객관적으로 평가'해야 한다는 과제입니다.18 임상 업무 환경에서는 이러한 맥락적 전문성을 '실천 속에서 아는 것'이라고 합니다.19 
Assessment strategies clearly impact how trainees learn.1-3 The worldwide shift to increase workplace-based assessment (WBA) within competency-based medical education (CBME)4-6 in postgraduate medical education (PGME) has no doubt positively impacted learners7, 8 and learning behaviours, such as seeking feedback.9, 10 The overarching hope of programmatic assessment within CBME is to embed learning assessments in the workplace using WBA, while optimizing robust high-stakes promotion decisions (assessment of learning), and providing information for programme improvement.11, 12 Unfortunately, preliminary literature illustrates challenges in achieving learning goals through programmatic assessment, due to conflation of the formative and summative intent of each assessment.13-15 Similar tensions have arisen when using WBA in the clinical environment to achieve both low-stakes learning goals and high-stakes promotion decisions, as trainees perceive conflict between performance and learning goals.16, 17 Integral to these tensions is the challenge of ‘objectively assessing’ clinical performance in the socially-constructed and highly contextual workplace.18 In the clinical workplace, this contextual expertise is referred to as ‘knowing in practice’.19

현재 우리는 강력한 평가 프로그램을 직장으로 전환하는 것이 수련의 학습에 미치는 영향에 대해 명확하게 이해하지 못하고 있습니다. 또한 현재 WBA를 사용하여 학습을 위한 평가를 성공적으로 달성하는 방법에 대한 포괄적인 프레임워크가 없습니다. 최근의 해석학적 검토에 따르면 학습을 위한 평가를 달성하기 위해서는 별도의 평가자 그룹을 정의하여 평가의 요약적 역할과 형성적 역할을 명확히 구분해야 한다는 결론을 내렸습니다20. 이러한 제안은 문헌의 다른 부분에도 반영되어 있습니다.9 그러나 다른 사람들은 평가의 명확한 긴장을 관리하기 위해 '양자택일적 사고'를 넘어 '양립적 사고'로 나아가야 한다고 주장합니다.21 따라서 직장 환경에서 학습을 위한 WBA를 성공적으로 달성하는 길은 아직 불분명합니다. 
We currently do not have a clear understanding of the implications of shifting a robust programme of assessment into the workplace on trainee learning. Furthermore, there is currently no comprehensive framework for how to successfully achieve assessment for learning using WBA. A recent hermeneutic review concluded that a clear distinction be drawn between the summative and formative role of assessment by defining separate group of assessors20 in order to achieve assessment for learning. This suggestion is also reflected elsewhere throughout the literature.9 However, others have argued that we need to move beyond ‘either-or thinking’ in order to manage the clear tensions in assessment, and rather towards a ‘both-and’ approach.21 Thus, the path to successfully achieve WBA for learning in the workplace environment remains unclear.

초기 직장 기반 학습(WBL) 모델은 CBME 내에서 구현된 것과 유사하게 직접적인 관찰과 피드백에 중점을 두고 의도적으로 학습을 발판으로 삼는 결과 중심 직장 모델로 전환할 것을 요구했습니다.20 WBL에 관한 후속 모델 또는 이론은 CBME가 널리 구현되기 전에 만들어졌거나,22, 23 공식화된 평가 또는 WBA에 기반한 문헌을 특별히 제외했습니다.24, 25 CBME 맥락에서 프로그램적 WBA가 구현된 이후 WBL 모델을 재검토한 적은 없습니다. 
Early models of workplace-based learning (WBL) called for the movement towards a outcomes-driven workplace model to intentionally scaffold learning, with an increased focus on direct observation and feedback, similar to what was implemented within CBME.20 Subsequent models or theories regarding WBL were created prior to widespread implementation of CBME,22, 23 or specifically excluded literature based on formalised assessment or WBA.24, 25 Models of WBL have not been revisited since the implementation of programmatic WBA in the CBME context.

WBA가 이러한 프레임워크에 어떤 영향을 미치는지 더 잘 이해하지 못한 상태에서 WBL의 이론적 프레임워크를 현재의 CBME 맥락에 적용해서는 안 됩니다. 보다 완전한 프레임워크가 없다면 의학전문대학원 교육에서 학습과 평가를 모두 최적화하기 위한 노력은 계속될 것입니다. 현재의 복잡한 학습 환경에서 WBL과 평가를 이해하기 위해서는 대안적인 이론이 필요하다는 주장이 제기되고 있습니다.26 이 분야에서 이론을 개발하면 CBME 맥락에서 학습을 위한 평가라는 궁극적인 목표를 달성하는 방법을 조명할 수 있는 대안적인 관점을 제공할 수 있을 것입니다.
Theoretical frameworks of WBL should not be applied in current CBME contexts without a better understanding of how WBA impacts these frameworks. Without a more complete framework, it is likely that the struggle to optimize both learning and assessment will continue in postgraduate medical education. It has been argued that alternative theories are required to understand WBL and assessment in the current complex learning environment.26 Developing theory in this space will provide an alternative perspective to shed light on how to achieve the ultimate goal of assessment for learning in the CBME context.

첫 번째 단계로, 이 범위 검토를 통해 우리는 PGME 내에서 이 공간에 대한 이해를 넓히기 위해 WBA와 WBL 사이의 특정 교차점을 다루는 주요 문헌 기반의 폭과 깊이를 탐구하고자 했습니다. 분석은 빌렛의 보건의료 업무를 통한 학습 모델의 네 가지 전제에 따라 진행되었습니다.25 이 모델은 전통적인 '교실' 교육 밖에서 보건의료 분야의 학습이 어떻게 이루어지는지 이해하기 위한 명확하고 간결한 프레임워크와 잘 정리된 원칙을 제공합니다. 이는 평가가 이러한 원칙에 의도적 또는 비의도적으로 영향을 미칠 수 있는 방법을 탐구하는 데 강력한 발판을 제공합니다. 간단히 말해, 네 가지 전제는 각각 다음을 강조합니다.25

• (1) 학습은 항상 일어나고,
• (2) 직장 참여는 직장 환경과 직원의 위치를 변화시키고,
• (3) 직장의 물리적, 사회적 측면은 임상 지식과 학습을 제공하며,
• (4) 학습과 개인 개발은 다르지만 상호 의존적인 과정이다.

As a first step, through this scoping review we sought to explore the breadth and depth of the primary literature base that addresses the specific intersection between WBA and WBL in order to expand our understanding of this space within PGME. The analyses were guided by the four premises of Billett's model of learning through health care work.25 This model offers a clear and concise framework with well-articulated principles for understanding how learning in healthcare occurs outside of traditional ‘classroom’ education. This provided a strong scaffold to explore how assessment may intentionally or unintentionally influence these principles. Briefly, the four premises respectively highlight

• (1) how learning is always happening;
• (2) workplace engagement transforms the workplace environment and staffs' positions;
• (3) the physical and social aspects of a workplace provide clinical knowledge and learning; and
• (4) learning and personal development are different, but interdependent processes.25 

이 틀을 사용하여,25 우리는 WBA를 통한 학습을 설명할 때 깊이 강조되고 탐구된 영역과 1차 문헌 기반에서 덜 주목된 다른 영역을 강조하고자 했습니다. WBL의 렌즈를 통해 이러한 문헌 기반을 종합함으로써, WBA가 빈번하게 사용되는 시대에 WBL 모델을 업데이트하기 위한 향후 연구를 통해 해결될 수 있는 문헌의 격차를 발견할 수 있기를 바랍니다. 
Using this framework,25 we sought to highlight areas that have been deeply emphasized and explored in describing learning through WBA, and others that have been less attended to across the primary literature base. In synthesizing this literature base through the lens of WBL, we hope to uncover gaps in the literature that can be addressed through future studies aimed at updating models of WBL within the era of frequent WBA.

2 방법
2 METHODS

저희는 WBA가 대학원 의학교육에서 학습을 어떻게 안내하는지에 대한 문헌의 범위 검토를 수행했습니다. 
We conducted a scoping review of literature exploring how WBA guide learning in postgraduate medical education.

2.1 검토 유형
2.1 Type of review

범위 검토는 광범위하고 이질적인 잠재적 문헌 기반과 명확하게 정의된 연구 질문을 고려할 때 이용 가능한 문헌의 범위를 매핑하는 이상적인 방법으로 선택되었습니다.27, 28 이 방법론은 질적, 양적 및 미발표 문헌을 포함할 수 있으며 레지던트 교육에서 WBA를 사용하는 기존 문헌의 상태를 파악하는 데 중점을 둡니다.29 
A scoping review was selected as an ideal method to map the extent of available literature given the broad and heterogeneous potential literature base, and clearly defined research question.27, 28 This methodology allows for the inclusion of qualitative, quantitative and unpublished literature, and focuses on capturing the state of existing literature the use WBA in residency training.29

2.2 관련 연구 식별 및 선택
2.2 Identifying and selecting relevant studies

이 범위 검토는 이전에 발표된 프레임워크를 따랐다.28, 30-32 PRISMA-ScR 체크리스트는 출판에 앞서 참고하였다.33 연구팀은 먼저 일차 문헌에 근거하여, WBA가 대학원 의학교육에서 WBL을 어떻게 안내하는가라는 집중 연구 질문을 개발했다.
This scoping review followed previously published frameworks.28, 30-32 The PRISMA-ScR Checklist was references in advance of publication.33 The research team first developed a focused research question: based on the primary literature, how do WBA guide WBL in postgraduate medical education?

연구 질문의 범위에 검색을 포함하기 위해 명확한 포함 및 제외 기준을 선험적으로 정의했습니다. 특히, 해당 분야에서 새롭게 떠오르는 주요 관점과 의견을 알려주는 데이터의 범위를 이해하고 종합하기 위해 1차 문헌만 포함하기로 결정했습니다. 이 주제에 대한 수많은 의견, 논평 및 리뷰가 있다는 것을 잘 알고 있습니다. 이러한 자료는 연구팀에게 해당 분야의 지배적인 관점을 알리는 데 도움이 되도록 충분히 검토되었지만, 1차 데이터의 폭과 깊이를 이해하고자 하는 연구 목표를 고려하여 범위 검토에 공식적으로 포함되지는 않았습니다.
Clear inclusion and exclusion criteria were defined a priori in order to contain the search to the scope of our research question. Of note, the decision was made to only include primary literature because we wanted to understand and synthesize the scope of data that informs the predominant emerging perspectives and opinions in the field. We recognize that there are numerous opinions, commentaries and reviews on the subject. These were reviewed in full to help inform the research team on prevailing perspectives in the field, but not formally included in the scoping review given our research aim to understand the breadth and depth of primary data.

2.3 포함 기준
2.3 Inclusion criteria

논문은 대학원 의학교육 내 모든 이해관계자(예: 감독자, 수련의, 환자 및 관련 의료 전문가)의 관점에서 직장 및 WBA에서의 학습에 대한 인식 또는 기타 측정을 포착한 경우 포함되었습니다.
Papers were included if they captured perceptions or other measures of learning in the workplace and WBA from the perspective of any stakeholder (e.g., supervisors, trainees, patients and allied health professionals) within Postgraduate Medical Education.

본 연구의 목적을 위해, 우리는 학습이 임상 환경에서의 활동과 상호작용, 그리고 수련의의 참여에 의존하는 직장 내 학습(WBL)에 대한 빌렛의 정의를 사용했습니다.34 WBA는 관찰이 필요하고 피드백의 기회를 창출하는 임상 환경에서 수행되는 평가로 정의했습니다.35 영어로 제공되고 1차 데이터(양적, 질적 또는 혼합 방법)가 포함된 논문만 포함했습니다.
For the purposes of our work, we used Billett's definition of learning in the workplace (WBL) where learning is reliant on both the presence of activities and interactions in clinical settings, and the engagement of trainees.34 WBA was defined as an assessment performed in the clinical environment that requires observation and creates the opportunity for feedback.35 Only papers that were available in English and contained primary data (quantitative, qualitative or mixed-methods) were included.

2.4 제외 기준
2.4 Exclusion criteria

제외 기준에는 다른 보건 전문직 분야, 학부 의학교육과 관련된 논문 및 전문을 볼 수 없는 논문이 포함되었습니다.
The exlusion criteria included papers related to other health professions fields, undergraduate medical education and those unavailable in full text.

검색 전략은 사서의 도움을 받아 의학교육 대학원 교육, 직장 학습, 평가 또는 평가를 포착하기 위해 핵심 용어를 사용하여 개발되었습니다(전체 검색 전략은 부록 S1 참조). 이 전략은 OVID Medline, Web of Science, ERIC 및 CINAHL 데이터베이스에 적용되었습니다. 2020년 9월까지 출판된 논문이 이 검토에 포함되었습니다.
The search strategy was developed with the assistance of a librarian using the core terms to capture medical education postgraduate training, workplace learning and assessment or evaluation (see Appendix S1 for the complete search strategy). The strategy was applied in OVID Medline, Web of Science, ERIC and CINAHL databases. Papers published until September 2020 were included in this review.

검색 전략에 의해 포착된 모든 논문의 제목과 초록은 연구팀원 두 명(LM과 SB)이 독립적으로 선별하고 포함 및 제외 기준과 비교하여 적절성을 결정했습니다. 검토 과정에서 소프트웨어 Rayyan QCRI가 사용되었습니다.36 연구자들은 검색 전략과 포함 기준이 적절한지 확인하기 위해 심사 과정의 시작, 중간, 마지막 단계에서 만났습니다.31 포함 여부에 대해 이견이 있는 경우 초록을 다시 검토하여 합의에 도달할 수 있는지 확인했습니다. 심사 과정이 끝나면 연구팀원 2명이 각 논문의 전문(LM 및 SB)을 검토하여 포함 기준을 더 이상 충족하지 못하는 경우 해당 논문을 삭제했습니다. 이견이 있는 경우 연구팀의 세 번째 구성원이 참여하여 합의에 도달할 때까지 토론을 진행했습니다. 연구 흐름도는 그림 1을 참조하세요. 
The titles and abstracts of all papers captured by the search strategy were screened by two members of the research team independently (LM and SB) and compared against the inclusion and exclusion criteria to determine their appropriateness. The software Rayyan QCRI was used during the review process.36 Researchers met at the beginning, midpoint and final stages during the screening process to ensure the search strategy and inclusion criteria were appropriate.31 If there was disagreement regarding inclusion, the abstract was re-reviewed to see if a consensus could be reached. After the screening process, two members of the research team reviewed the full text of each paper (LM and SB), and if inclusion criteria were no longer met, it was removed. If disagreements were raised, a third member of the research team was involved, and a discussion held until consensus reached. Please see Figure 1 for the study flow chart.

2.5 데이터 추출
2.5 Data extraction

데이터 추출을 안내하기 위해 엑셀 스프레드시트를 선험적으로 개발하여 반복적으로 업데이트했습니다. 연구팀 전체가 데이터 추출에 참여했으며, 추출은 포함된 모든 논문에 대해 중복으로 수행되었습니다. 추출된 데이터에는 논문 번호, 제목, 저자, 학술지, 출판 연도, 국가, 주요 방법론, 주요 연구 결과 및 검토자가 포함되었습니다. 질적 데이터의 경우, 연구 결과를 단순히 요약하는 것을 피하기 위해 서술적 분석 방법을 사용했습니다.31 연구자들은 선별 과정의 시작, 중간, 최종 단계에서 만나 데이터 수집이 합리적이고 의미 있는지 확인했습니다.31 검토 과정에서 각 논문은 포함된 양적 연구에 대해서는 의학교육 연구 품질 도구(MERSQI)37 를, 질적 연구에 대해서는 Cote 등이 발표한 질적 연구 그리드를 사용하여 품질을 평가했습니다.38 품질 검토 과정은 연구팀과 독자에게 포함된 연구의 품질에 대해 정보를 제공하기 위한 것이며 포함 또는 제외를 안내하기 위해 사용되지는 않았습니다. 
An excel spreadsheet was developed a priori to guide data extraction, and updated iteratively. The entire research team participated in data extraction, and extraction was done in duplicate for every included paper. The extracted data included the papers' assigned number, title, authors, journal, year of publication, country, primary methodology, key findings and reviewers. For qualitative data, a descriptive-analytical method was employed to avoid simply summarizing the findings.31 Researchers met at the beginning, midpoint and final stages of the screening process to ensure the data collection was both reasonable and meaningful.31 During the review, each paper was also assessed for quality, using the Medical Education Research Study Quality Instrument (MERSQI)37 for included quantitative studies, and a qualitative study grid as published by Cote et al.38 The quality review process was meant to inform the research team and readers regarding quality of the included studies and was not used to guide inclusion or exclusion.

2.6 데이터 분석
2.6 Data analysis

각 논문의 서술적-분석적 요약을 검토한 후, 각 팀원이 개별적으로 질적 주제를 생성했습니다. 그런 다음 팀원들 간에 합의에 도달할 때까지 논의하여 다음 기준을 충족하는 프레임워크를 개발했습니다: (1) 기초 문헌을 반영하고, (2) 연구팀의 면밀한 검토를 견뎌내고, (3) 해당 분야와 관련성이 있을 만큼 충분한 깊이와 폭을 포함해야 합니다. 빌렛의 네 가지 전제는 직장 기반 평가 이전의 의료 환경에서의 WBL에 대한 명확하고 전체적인 관점을 제공하기 때문에 분석의 틀을 구성하기 위해 선택되었습니다.25 데이터 분석의 마지막 단계로, 연구팀은 연구 및 실무에 대한 연구 결과의 향후 함의를 탐색했습니다. 
Upon reviewing the descriptive-analytical summaries of each paper, qualitative themes were generated individually by each team member. These were then discussed amongst the team until consensus was reached, and a framework was developed, which met the following criteria: (1) reflected the underlying literature; (2) withstood scrutiny of the research team and (3) included sufficient depth and breadth to have relevance to the field. Billett's four premises were selected to frame the analysis because they provide a clear and holistic perspective on WBL in the healthcare setting which pre-dated workplace-based assessment.25 As the final step of data analysis, the research team explored future implications of our findings on research and practice.

2.7 자문 단계
2.7 Consultation phase

검토 완료 후 결과의 타당성을 높이기 위해 외부 이해관계자에게 전문가 의견을 구하여 연구 결과가 WBA 및 WBL에 대한 그들의 경험에 공감할 수 있도록 했습니다.32 
To improve the validity of our results upon completion of the review, expert opinion was sought from external stakeholders to ensure our results resonated with their experience in WBA and WBL.32

2.8 연구팀
2.8 Research team

연구팀은 교육 설계, 평가 및 임상 추론에 대한 전문성을 갖춘 캐나다의 3개 대학(맥마스터 대학, 웨스턴 대학, 퀸즈 대학)의 다양한 임상의 및 의학교육자 그룹으로 구성되었습니다. 저자들은 CBME 구현의 여러 단계에서 다양한 환경에서 WBA 및 CBME에 대한 다양한 행정 및 실무 경험을 보유하고 있습니다. 이 팀은 학습에 대한 사회적 구성주의 철학과 CBME의 목표에 대한 공통된 이해를 공유합니다. 
The research team consisted of a diverse group of clinicians and medical educators at three academic Universities in Canada (McMaster University, Western University and Queens University), with expertise in instructional design, assessment and clinical reasoning. The authors have diverse administrative and practical experience with WBA and CBME across a breadth of settings at various stages of CBME implementation. The team shares a social constructivist philosophy on learning, and a common understanding of the goals of CBME.

3 결과
3 RESULTS

문헌 검색을 통해 692개의 초록이 생성되었으며, 이 중 51개의 논문이 전체 텍스트 검토 기준을 충족했습니다(그림 1). 51개 논문 중 33개 논문이 포함 기준을 충족했습니다. 전체 텍스트를 검토한 결과, 직장에서의 학습과 평가의 교차점에 대한 이해를 돕는 1차 데이터가 상대적으로 부족하다는 점이 강조되었습니다. 
The literature search generated 692 abstracts, of which 51 papers met criteria for the full text review (Figure 1). Of the 51 papers, 33 met the inclusion criteria. The full text reviewed highlighted that there is a relative paucity of primary data informing our understanding regarding the intersection between learning and assessment in the workplace.

3.1 포함된 논문의 특징
3.1 Characteristics of included articles

표 1은 이 검토에 포함된 논문의 특징을 요약한 것입니다. 포함된 각 논문에 대한 자세한 요약은 부록 S2에서 확인할 수 있습니다. 논문은 외과 및 의학 전문 분야에 걸쳐 있으며 주로 북미와 유럽에서 수행되었습니다. 포함된 논문의 대부분은 질적 방법론을 사용했으며, 세부적으로는 23건의 질적 연구, 5건의 혼합 방법, 5건의 정량적 연구가 포함되었습니다. 정성적 연구는 대부분 인터뷰(43%) 또는 포커스 그룹(39%)을 사용했습니다. 이러한 정성적 연구 중 상당수가 구성주의적 근거 이론을 분석에 사용했으며(36%), 대부분 WBA 도구(미니 임상 평가 연습[CEX], 사례 기반 토론 등)를 사용하는 데 중점을 두었습니다. 정량적 연구 또는 혼합 방법 연구의 구성 요소는 Q 방법론 연구39 및 평가 점수의 후향적 비교를 사용한 두 연구를 제외하고는 설문조사 기반이었습니다.40 
Table 1 summarizes the characteristics of the included articles in this review. A more detailed summary of each included paper is available in Appendix S2. The papers spanned both surgical and medical specialities and were predominantly conducted in North American and European contexts. The majority of the included papers employed qualitative methodology: the specific breakdown included 23 qualitative, five mixed methods and five quantitative studies. Qualitative studies mostly employed interviews (43%) or focus groups (39%). A significant proportion of these qualitative studies employed constructivist grounded theory for the analyses (36%), and most of them focused on the employment of a WBA tool (mini-clinical evaluation exercise [CEX], case-based discussion, etc.). The quantitative studies, or components of mixed-method studies, were survey-based with the exception of two studies, which used a Q methodological study39 and retrospective comparison of assessment scores.40

모든 연구는 교육생(36%), 교수진(6%) 또는 둘 다(58%)의 관점에서 WBA를 통한 학습에 대한 인식에 초점을 맞추었습니다. 논문 중 12편(36%)만이 사회적 정체성이나 상황적 학습 이론과 같은 기존의 심리학 또는 교육 이론을 명시적으로 언급했습니다. 분석에 이론을 참조한 논문에서는 사회 인지 이론이 가장 많이 사용되었습니다(15%). 
All studies focused on the perception of learning through WBA, from the perspective of either trainees (36%), faculty (6%) or both (58%). Only 12 of the papers (36%) made any explicit reference to an existing psychological or education theory, such as social identity or situated learning theory. In the papers that did reference a theory in their analyses, social cognitive theory was the most common (15%). 

3.2 주제별 분석
3.2 Thematic analysis

이 문헌고찰의 주제별 분석은 빌렛(Billett) 등이 설명한 의료 업무를 통한 학습의 네 가지 전제에 따라 구성되었습니다.25
The thematic analysis for this review was framed by the four premises of learning through healthcare work described by Billett et al.25

3.2.1 전제 1: 학습은 항상 일어난다
3.2.1 Premise one: Learning occurs all the time

업무를 통한 학습에 관한 빌렛의 논문에서 논의된 바와 같이, 학습은 의도적인 교육 경험만을 위한 것이 아니라 수련생이 업무에 적절히 참여하고 감독자의 지원을 받는다면 일상적인 경험 중에 발생합니다.25 전통적인 직장 학습의 단점은 수련생이 모든 임상 활동에 대한 접근을 보장받지 못하고 간접적인 지도에 의존하기 때문에 학습 목표가 불분명할 수 있다는 위험입니다.25 일부 맥락에서 WBA는 중요한 업무 기반 기술과 역량을 묘사함으로써 학습 목표를 명확하게 개선해 왔습니다.7
As discussed in Billett's paper on learning through work, learning is not reserved for intentional educational experiences but rather occurs during everyday experiences if trainees adequately engage in work and are supported by supervisors.25 A shortcoming of traditional workplace learning is the risk that trainees will not be guaranteed access to all clinical activities, and that learning goals may remain unclear because of reliance on indirect guidance.25 In some contexts, WBAs have improved clarity around learning goals by delineating important workplace-based skills and capabilities.7

이 검토에서 여러 연구에서 강조된 WBA의 주요 장점 중 하나는 WBL에서 피드백이 개선되었다는 점입니다. 많은 교육생들은 WBA를 직접 관찰과 피드백을 '강제'할 수 있는 기회로 여겼으며, WBA 도구를 사용하지 않는 한 피드백은 드문 경험이라는 인식을 보고했습니다.10, 64 이러한 도구는 피드백의 구조와 구체성을 향상시키고 전통적으로 간과되는 비기술적 직접 관찰 기술에 대한 피드백을 장려하는 것으로도 인정받았습니다.48, 49, 52, 54, 63 여러 연구에서 훈련생들은 일관되게 WBA와 관련된 수치적 척도보다 서술적 피드백에서 더 많은 의미를 발견했습니다.7, 49, 51 주목할 점은 WBA가 피드백 과정을 개선했다는 인식이 모든 연구에서 모든 참가자에게 보편적으로 공유되지는 않았다는 것입니다: WBA의 규정된 구조가 활동의 강제적이고 형식적인 특성으로 인해 실제로 피드백의 질을 저하시킨다는 상반된 인식이 존재했습니다.8, 25, 53, 63
One key advantage of WBA that was highlighted across the studies in this review was an improvement in feedback in WBL. Many trainees viewed WBA as an opportunity to ‘force’ direct observation and feedback, and reported the perception that feedback was a rare experience outside of the use of WBA tools.10, 64 These tools have also been credited with enhancing the structure and specificity of feedback, as well as encouraging feedback on non-technical directly observed skills which are traditionally overlooked.48, 49, 52, 54, 63 Across studies, trainees consistently found more meaning in narrative feedback than in the numeric scales associated with WBA.7, 49, 51 Notably, the perception that WBA improved the feedback process was not universally shared by all participants across the studies: there was a contradictory perception that the prescribed structure of WBAs actually led to a deterioration in the quality of feedback due to the compulsory and form-filling nature of the activity.8, 25, 53, 63

3.2.2 전제 2: 개인이 자신의 업무에 참여할 때, 그들은 또한 직장과 직업의 지속적인 변화에 기여한다.
3.2.2 Premise two: As individuals engage in their work, they also contribute to the ongoing transformation of the workplace and their occupation

수련생이 임상 학습 환경에 참여할 때, 그들은 직장 프로세스와 문화의 적극적인 변화에 기여합니다.25 직장 피드백의 증가는 수련생과 감독자 모두의 일상적인 업무 흐름의 변화를 나타냅니다. 또한, 일부 연구에서 WBA 도구를 사용하면 수련생이 인지된 기존 숙련도의 범위를 넘어서는 과제를 완료하도록 장려하는 것으로 나타났습니다.49, 65 '근위 발달 영역'으로의 이러한 추진은 새로운 숙련도의 개발 또는 개선을 촉진하고 수련생이 직장에서 특정 학습 경험을 추구하려는 노력을 변화시킬 수 있습니다.49 
As trainees engage with the clinical learning environment, they contribute to an active change in workplace processes and culture.25 Increased workplace feedback represents a change in the day-to-day workflow of both trainees and supervisors. In addition, the use of WBA tools was found to encourage trainees to complete tasks beyond the scope of their perceived existing skillset in some studies.49, 65 This push towards the ‘proximal zone of development’ could facilitate the development or refinement of novel skills and change efforts by trainees to seek particular learning experiences in the workplace.49

안타깝게도 현재 임상 업무 환경은 다양한 학습 환경에서 WBA를 쉽게 이수할 수 있도록 체계적으로 변화하지 않았습니다. 연수생과 트레이너 모두 직접 관찰, 피드백 제공, WBA 완료에 필요한 시간8, 41, 49, 63 을 장애물로 일관되게 강조했습니다. 이러한 시간 압박은 임상 환경에서 교육과 환자 치료에 대한 경쟁적인 책임으로 인해 악화되는 것으로 나타났습니다.57 업무량, 분절된 업무 패턴, 업무 분배와 같은 의료 시스템 변수가 WBL에 영향을 미치는 것으로 잘 알려져 있습니다.24 개인이 임상 및 교육 업무에 계속 종사하면서 의무적으로 WBA를 이수해야 하는 경우, 관찰, 피드백을 위한 시간을 확보하고 수련의의 학습 목표 수립에 의도적으로 피드백을 통합하기 위해서는 업무 공간 혁신이 이루어져야 할 것입니다.58 
Unfortunately, at this time the clinical workplace has not systematically changed to facilitate the completion of WBAs across different learning environments. Time was consistently highlighted by both trainees and trainers as a barrier for direct observation, provision of feedback, and completion of a WBA,8, 41, 49, 63 each of which are necessary to achieve learning. This time pressure was felt to be exacerbated by competing responsibilities for both education and patient care in the clinical environment.57 Health systems variables such as workload, fragmented work patterns, and distribution of work are well recognized to influence WBL.24 As individuals continue to engage in both their clinical and educational work, which includes the compulsory completion of WBAs, workplace transformation will need to occur in order to create time for observation, feedback, and deliberate integration of feedback into the formulation of trainees' learning goals.58

WBA의 인지된 가치에 관한 직장 내 변화는 시간이 지남에 따라 발생할 수 있습니다. 한 연구에 따르면 마일스톤이 도입된 지 10년이 지난 후 수련의들은 성과와 성적에 덜 집중하게 되었고, 수치 평가보다는 직접적인 관찰과 즉각적인 피드백이 학습에 미치는 긍정적인 영향에 감사를 표하는 것으로 나타났습니다.66 임상 학습 환경 내에서 WBA를 광범위하게 시행하는 초기 단계인 지금, 우리는 WBA의 시행으로 인해 지속적인 변화가 일어날 것으로 예상할 수 있습니다. 
Workplace transformation regarding the perceived value of WBAs can occur with time. In one study, it was shown that 10 years after the rollout of milestones, trainees became less focused on performance and grades, and expressed appreciation for the positive learning implications of direct observation and in-the-moment feedback rather than numerical assessments.66 At this early stage of widespread implementation of WBA within the clinical learning environment, we can anticipate ongoing transformations to take place as a result of the implementation of WBAs.

3.2.3 전제 3: 직장은 물리적 및 사회적 환경에 의해 구성된 임상 지식을 제공합니다. 이러한 실제 환경에 대한 적극적인 참여는 개인적으로 매개되며 의미 있는 학습을 위한 필수 조건입니다.
3.2.3 Premise three: Workplaces provide clinical knowledge framed by the physical and social environments. Active engagement with these authentic environments is personally mediated and a requisite for meaningful learning

이러한 전제는 학습이 이루어지는 문화와 맥락의 핵심적인 중요성과 실제 환경에 대한 교육생의 적극적인 참여의 필요성을 강조합니다.20 따라서 WBA를 사용하는 감독자와 교육생 모두 이러한 도구의 워크플로와 목적에 대한 이해를 공유하는 것이 중요합니다. WBA가 이중 목적(형성 또는 학습을 위한 평가 vs 요약 또는 학습의 평가)으로 사용되기 시작했다는 점을 감안할 때,11 연수생과 감독자 모두의 관점에서 볼 때 목적이 명확하지 않은 것은 이해할 수 있습니다.7-9, 49, 50, 56, 57 WBA의 목적에 대한 이해의 다양성은 '총괄 대 형성'이라는 이중 목적에 대한 인식을 넘어선 것으로 나타났습니다.

• de Jonge 등의 연구에 따르면 참가자들 사이에서 WBA에 대한 다섯 가지 관점이 발견되었습니다.39 예를 들어, 이 연구에서 한 관점은 학습자가 능동적이고 자기 주도적인 역할을 수행해야 하며 '학습할 내용을 결정'해야 하는 WBA 과정을 통해 학습자의 주체성을 강조합니다.39 이는 객관성과 같은 일부 다른 관점과는 대조적이었는데, WBA가 고도로 구조화되고 기준 기반이며 '개별 학습 목표에 맞춰지지 않는 것'에 가치를 두었습니다.39
• 다른 연구에서도 많은 교육생이 기준 기반 성과 기준이 평가 데이터 해석과 학습 목표 개발에 어떻게 도움이 되는지 유사하게 설명했습니다.7, 46, 53, 67 명확하게 정의된 성과 기준은 연수생과 감독자가 WBA 과정에 참여하고, 주어진 역량을 달성하는 것이 무엇을 의미하는지 이해하고, CBME 맥락에서 피드백을 촉진하는 데 도움이 될 수 있습니다.46, 48, 52, 53, 55, 67 
• 드 존지 연구39 에서 언급된 다른 관점으로는
  • 임상 환경에서 양질의 환자 치료를 보장하기 위해 WBA가 중요하다고 느낀 책무성과
  • 응답자가 WBA가 감독자와 연수생 간의 합작 투자라고 느낀 상호성이 있습니다.
  • 학습자와 수퍼바이저 간에 WBA를 완료할 책임이 어디에 있는지에 대한 '논쟁'은 문헌의 다른 곳에서도 볼 수 있습니다.10
• 직장에서의 의료 교육의 사회적, 문화적 맥락은 자율성과 효율성을 모두 중시하는 것으로 알려져 있습니다.47 이러한 효율성 중시는 수련생이 직장에서 수퍼바이저에게 평가를 완료하도록 요청하는 것을 특히 어렵게 만듭니다.47 주요 이해관계자들 사이에서 WBA의 목적과 실행에 대한 공유된 이해가 부족하여 프로세스의 구매와 참여에 영향을 미치고, 불행히도 수련생의 전반적인 학습 가치를 약화시킬 수 있습니다. 

This premise highlights the core importance of the culture and context where learning takes place, and the need for active engagement of trainees in the authentic environment.20 As this stands, it is critical that both supervisors and trainees using WBAs share an understanding of the workflow and purpose of these tools. Given that WBAs have begun to serve a dual purpose (formative or for-learning versus summative or of-learning),11 there remains an understandable lack of clarity of purpose from the perspective of both trainees and supervisors.7-9, 49, 50, 56, 57 The diversity of understanding regarding the purpose of WBAs has been shown to go beyond the perception of the dual ‘summative versus formative’ purpose.

• A study by de Jonge et al. uncovered five different perspectives on WBA amongst their participants.39 For example, one perspective in this study emphasizes learner agency through the WBA process, where trainees should play an active, self-directed role and ‘decide what is to be learnt’.39 This was in contrast with some of the other perspectives, such as objectivity, where value was placed on WBA being highly structured, criterion-based and ‘not be tailored to individual learning goals’.39 
• Across other studies, many trainees similarly described how criterion-based performance standards helped guide their interpretation of assessment data and the development of learning goals.7, 46, 53, 67 Clearly defined performance standards can help trainees and supervisors engage in the WBA process, understand what it means to achieve a given competency, and facilitate feedback in the CBME context.46, 48, 52, 53, 55, 67 
• Other perspectives noted in the de Jonge study39 included
  • accountability, where WBA was felt to be important in the clinical setting to ensure high-quality patient care, as well as
  • mutuality, where respondents felt WBA should be a joint venture between supervisor and trainee.
  • The ‘debate’ about where the responsibility falls to complete WBAs between learners and supervisors is seen elsewhere throughout the literature.10 
• It is known that the social and cultural context of medical training in the workplace values both autonomy and efficiency.47 This focus on efficiency makes it particularly challenging for trainees to ask supervisors to complete an assessment in the workplace.47 The lack of shared understanding regarding the purpose and implementation of WBA amongst key stakeholders has impacted the buy-in and engagement with the process, which can unfortunately undermine the overall learning value for trainees.

이러한 문제에 기여하는 것은 PGME 교육생 교육에서 개별 슈퍼바이저가 수행하는 역할의 다중성입니다. 예를 들어, 한 명의 수퍼바이저가 개별적인 순간 평가, 종단적 종합 평가, 연수생 그룹에 대한 승진 관련 결정에 대한 가중치 부여를 동시에 담당할 수 있습니다.49 수퍼바이저들은 교사와 평가자의 역할을 겸하고 있기 때문에 비판적인 피드백을 제공하는 것이 어렵다고 말했습니다.52 WBA를 시행할 때, 평가가 수퍼바이저와 학습자 간의 대인 관계 및 신뢰 관계 구축에 미치는 영향을 고려하는 것이 어려웠습니다.57 또한, 수련생은 수퍼바이저가 직면한 이러한 문제에 민감하며, 이러한 공유된 역할이 WBA 후 제공되는 피드백의 신뢰성에 미칠 수 있는 영향을 인식하고 있습니다.8, 9, 45 이에 대응하여, 수퍼바이저와 수련생이 직접 관찰의 역할에 대해 공개적으로 논의할 것을 권장하고 있습니다.45 이는 WBA 중 양측의 요구를 명확히 하기 위한 것입니다. 수퍼바이저와의 종적, 지지적 관계는 학습자가 평가 순간의 학습 가치에 기여한다고 느꼈기 때문에 학습을 촉진하도록 권장됩니다.8, 9, 57, 61 이는 수퍼바이저가 시간이 지남에 따라 실제 임상 실습을 반복적으로 관찰할 수 있게 해주기 때문에 의미 있는 피드백을 향상시킬 수 있습니다.57 

Contributing to this challenge is the multitude of roles an individual supervisor may play in the education of PGME trainees. For example, one supervisor may be simultaneously responsible for completing individual in-the-moment assessments, longitudinal summative assessments and weighing in on decisions regarding promotion for a group of trainees.49 Supervisors have spoken about the difficulty in providing critical feedback, given their combined role of teacher and assessor.52 In the implementation of WBAs, it has been difficult to account for the impact of assessment on the interpersonal relationship between supervisors and learners and the establishment of a trusting relationship.57 In addition, trainees are sensitive to this challenge facing supervisors and recognize the impact this shared role can have on the authenticity of feedback provided after a WBA.8, 9, 45 In response to this, it has been recommended that supervisors and trainees openly discuss the role of direct observation,45 in order to clarify the needs of both parties during a WBA. Longitudinal, supportive, relationships with supervisors were felt by learners to contribute to the learning value of the assessment moments and therefore are encouraged to facilitate learning.8, 9, 57, 61 This can enhance meaningful feedback, as it allows supervisors to repeatedly observe authentic clinical practice over time.57

3.2.4 전제 4: 경험 전반에 걸친 학습과 개인 개발은 서로 연관되어 있지만 별개의 과정이며, 개인은 한 경험에서 동일한 것을 배우지 않는다.
3.2.4 Premise four: Learning and personal development across experiences are related but separate processes, and individuals will not learn the same thing from one experience

두 개인은 한 경험에서 같은 것을 배우지 않을 것입니다.25 이는 '학습을 위한' WBA를 구현하는 데 있어 잘 문서화되어 있으며 학습 목표와 성과 목표 사이의 긴장으로 설명되어 온 도전 과제에 대한 강력한 틀을 제공합니다. 예를 들어, 연구에 따르면 학습자는 다음 두 가지 목표 중 하나를 달성하기 위해 WBA 사례 또는 평가자를 찾는 것으로 나타났습니다:

• (1) 역량 입증(성과 지향) 또는
• (2) 학습 극대화(성장 또는 숙달 지향) .9, 67

Two individuals will not learn the same thing from one experience.25 This provides a powerful framing of the challenges which have been well-documented in the implementation of WBA ‘for-learning’ and has been described as the tension between learning versus performance goals. For example, studies illustrate that learners specifically seek WBA cases or assessors to achieve one of two goals:

• (1) demonstrate competence (performance orientation) or
• (2) maximize learning (growth or mastery orientation).9, 67 

Castanelli 등은 WBA에서 역량을 입증하려는 학습자의 동기를 '선순환 또는 악순환'으로 설명합니다.49 악순환에 빠진 학습자의 경우 WBA가 '틱 박스' 연습이 되어 평가의 진정성과 전반적인 학습 가치에 영향을 미칠 위험이 있습니다.8, 10, 49, 51, 53, 55, 56 한 연구에 참여한 연수생들은 전문성 개발을 지원하는 데 있어 이러한 피드백이 중요한 요소임을 인식하면서도 비공식적인 피드백이 자존감에 덜 위협적이라고 느꼈기 때문에 WBA의 맥락 밖에서 부정적이거나 건설적인 피드백(즉, '진정한 학습')을 구체적으로 추구하는 것으로 나타났습니다.9 WBA를 시행함으로써 학습자에게 도움이 되도록 평가를 조작하는 '게임'의 문화를 의도하지 않게 조성한 것은 아닌지 의문이 제기되었습니다.9
Castanelli et al. describe learners' motivation to demonstrate their competence in WBAs as the ‘Virtuous or Vicious Cycle’.49 For those in the Vicious Cycle, there is a risk that WBAs could become ‘tick-box’ exercises, impacting the authenticity of the assessment and overall learning value.8, 10, 49, 51, 53, 55, 56 Trainees in one study identified specifically seeking negative or constructive feedback (i.e., ‘real learning’) outside of the context of a WBA, as they recognized the critical element of such feedback in supporting their professional development but felt informal feedback was less threatening to their self-esteem.9 The question has been raised whether, through the implementation of WBA, we have unintentionally created a culture of ‘gaming’—manipulating assessments to benefit the learner.9

일부 교육생이 성과 목표를 중심으로 학습하는 경향은 전통적인 WBA 이외의 영역에서도 나타났습니다. 이 검토에 포함된 다른 연구에서는 공식적인 WBA를 동시에 완료하지 않더라도 모든 관찰이 평가처럼 느껴진다는 인식을 바탕으로 직접 관찰하는 것만으로도 수행 불안에 대한 유사한 설명이 발견되었습니다.41, 42 이에 따라 교수진은 비공식적이고 직접적인 관찰 순간이 최종 요약 평가에 영향을 미친다고 지지했습니다.41 자기 평가를 조사한 또 다른 연구에서는 학습자가 피드백을 얻고 통합하려고 노력하지만 확인되지 않은 정보를 두려워하고 자신의 자기 평가와 불일치를 조정하는 데 어려움을 겪는 유사한 긴장이 강조되었습니다.43 이러한 평가의 '위협'은 훈련생의 성과 지향적 조정 행동으로 이어질 수 있으며,42, 58 이는 비공식 직접 관찰의 학습 가치를 훼손할 수 있습니다. 이러한 결과를 바탕으로 일부 교육자들은 구조화된 평가와 엄격하게 분리된 관찰 기반 코칭 문화를 제안했습니다.42, 57 
The inclination for some trainees to orient themselves around performance goals has been shown in spheres outside of traditional WBA. Other studies captured in this review found a similar description of performance anxiety simply from being directly observed, based on the perception that any observation felt like an assessment, even without the concurrent completion of a formal WBA.41, 42 In keeping with this, faculty endorsed that informal and direct observation moments did impact their final summative assessments.41 In another study looking at self-assessment, similar tensions were highlighted43 where learners sought to obtain and integrate feedback, but feared disconfirming information and struggled to reconcile inconsistencies with their own self-appraisal.43 This ‘threat’ of assessment can lead to a performance-oriented adjustment trainees' behaviour,42, 58 which will undermine the learning value of informal direct observation. Based on this finding, some educators have proposed a culture of observation-based coaching that is strictly separated from any structured assessment.42, 57

그러나 포함된 연구들은 평가의 '위협'이 보편적이지 않다는 것을 보여줍니다. 연수생 개개인은 직접 관찰로 인한 정서적 스트레스에 대한 반응이 다양하며,58 WBA에 대한 선호도도 다양합니다.63

• 한 연구에서, 피드백 및 평가에 대한 일반적인 접근 방식에 WBA가 보완적이라고 생각한 슈퍼바이저나 연수생은 더 쉽게 도구를 통합할 수 있었습니다.63
• 같은 연구에서, WBA가 일반적인 접근 방식에 적합하지 않지만 그 과정의 가치를 인정하여 도구를 통합하려고 노력한 개인도 있었습니다.63
• WBA의 역할을 이해하지 못하는 개인은 그 과정이 특히 부담스럽고 교육적 가치가 낮다고 느꼈습니다.63
• 적극적인 슈퍼바이저는 자주 관찰하고 피드백을 제공함으로써 교육생들의 평가 회피 행동을 극복할 수 있는 것으로 나타났습니다.58
• 종종 전체 교육 그룹이 관점을 공유하는데, 이는 사회적 맥락의 중요성을 더욱 강조합니다.58
• 이에 발맞춰 Balmer 등의 후속 연구에 따르면 교수진과 교육생 모두 CBME 맥락에서 10년 후 성과 지향에서 학습 지향으로 전환할 수 있었습니다.66
• 성과에서 학습 지향으로의 전환은 이해관계자들이 성과 기준, 과정 및 목적을 포괄적으로 지향하고 결국 공유 정신 모델을 달성하기 위해 시간이 더 필요하다는 것을 시사할 수 있습니다.

이 범위 검토에 포함된 연구 전반에서 사회적 학습 이론이 가장 일반적으로 적용된 이론이었습니다.9, 43, 47, 57, 61 이는 이 분야의 연구자들 사이에서 WBA를 통한 학습을 이해하는 데 있어 사회적 맥락의 중심 역할에 대해 어느 정도 동의한다는 것을 시사합니다. 

Yet the included studies illustrate that the ‘threat’ of assessment is not universal. Individual trainees have variable responses to the emotional stress of direct observation,58 and variable affinity towards WBA.63 

• In one study, supervisors or trainees that found WBA complimentary to their usual approach to feedback and assessment were able to incorporate their use with greater ease.63 
• In this same study, there were individuals who did not find that WBA fit with their usual approach, but ascribed to the value of the process, and thus worked to incorporate the tools.63 
• It was individuals who did not understand the role of WBA that found the process particularly burdensome and the educational value to be low.63 
• Active supervisors have been shown to be able to overcome avoidant assessment behaviour by trainees by offering frequent observation and feedback.58 
• Perspectives are often shared by the whole training group, which further highlights the importance of the social context.58 
• In keeping with this, a follow-up study by Balmer et al. found that both faculty and trainees were able to shift from a performance orientation to a learning orientation after 10 years in a CBME context.66 
• The transition from performance to learning orientation could suggest that we simply need more time to comprehensively orient stakeholders to the performance standards, process and purpose, and eventually achieve a shared mental model.

Across the included studies in this scoping review, social learning theories were the most commonly applied theories.9, 43, 47, 57, 61 This suggests some agreement regarding the central role of social context in understanding learning through WBA amongst researchers in this field.

WBL 문헌 기반에서 수퍼바이저와 연수생 행동의 개인차는 학습의 조절자로서 광범위하게 설명되어 왔습니다.24, 25 Wiese 등의 모델에서는

• 수퍼바이저 스타일의 차이가 학습에 미치는 영향(전문적 대 비전문적 행동 모델링, 마이크로 매니지먼트 대 미니멀리스트 수퍼바이저 스타일)과
• 연수생 간의 차이(자신의 학습에 대한 연수생의 주체성, 부적절한 지원 추구에 대한 인식 및 두려움, 피드백 추구 행동)를 강조했습니다.24

WBL에 대한 Billett의 논문에서도 마찬가지로 개인이 사회적 맥락에서의 참여, 환경 단서의 흡수 및 자신의 진행 상황 모니터링을 포함하여 제공되는 학습 경험에 참여할 수 있는 다양성을 강조하고 있습니다.25 따라서 다양한 교육생 목표 지향성은 WBA 시대에 새로운 것은 아니지만 임상 환경에서 직접 관찰, 피드백 및 평가의 요구 빈도와 인식이 증가함에 따라 더 큰 관심을 받고 있습니다.  
In the WBL literature base, individual differences in supervisor and trainee behaviours have been extensively described as modulators of learning.24, 25 In the Wiese et al. model,

• differences in supervisory styles were highlighted for their impact on learning (professional versus unprofessional behaviour modelling, micromanaging versus minimalist supervisor styles) as were
• differences between trainees (trainee agency over their own learning, perceptions and fears of inappropriate support seeking, feedback-seeking behaviours).24 

Billett's paper on WBL similarly emphasizes the variance through which individuals will engage in the provided learning experiences, including their engagement in the social context, uptake of environmental clues and monitoring of their own progress.25 Thus, the different trainee goal orientations are not new in the era of WBA but have received greater attention given the increased required frequency and perceived stakes of direct observation, feedback and assessment in the clinical environment.

4 논의
4 DISCUSSION

이 범위 검토를 통해 연수생과 교수진의 관점에서 WBA를 통한 학습을 탐구하는 광범위한 1차 문헌 기반을 확인했습니다. 이전 리뷰와 관점에서는 WBA의 실행,6,68 수용성, 효과 및 유용성을 검토한 바 있지만,20 본 연구는 WBA가 대학원 의학 학습에 미치는 영향을 총체적으로 탐구한 최초의 연구입니다. 긴장과 도전 과제를 재구성하기 위해 이 분석은 빌렛의 기존 WBL에 따라 진행되었습니다.25  
This scoping review identified a broad primary literature base exploring learning through WBA from the perspective of trainees and faculty members. While prior reviews and perspectives have examined the implementation,6, 68 acceptability, effectiveness, and utility of WBA,20 our study is the first to holistically explore how WBA impacts postgraduate medical learning. In order to re-frame tensions and challenges, the analysis was guided by Billett's existing WBL.25

우리는 학습을 '알고, 할 수 있고, 가치 있는 것'으로 변화하는 과정으로 정의합니다.25 이 광범위한 정의를 적용하면 학습이 항상 어떻게 발생하는지 명확해집니다. 임상 업무 환경에서는 교육생의 가치 체계 변화와 같이 모든 형태의 학습을 포착하거나 측정하기 쉬운 것은 아닙니다. 학습을 안내하기 위해 WBA를 사용할 때, 감독자가 직접 관찰하고 피드백을 제공하고 평가를 완료하는 능력에 따라 우선순위가 정해지는 특정 유형의 학습이 있습니다. 그 외의 관찰, 상호 작용 및 비공식적인 피드백은 체계적으로 포착할 수 없습니다. 이러한 점을 염두에 두고, 이 범위 검토에서는 WBA와 WBL 사이의 가장 강력한 연결고리로서 피드백을 강조합니다. 보건 전문직 교육에서 피드백은 '교육생의 성과를 개선하기 위한 의도로 주어진 교육생의 관찰된 성과와 표준 간의 비교에 대한 구체적인 정보'로 정의되었습니다.69 위에서 설명한 바와 같이, WBA는 이러한 객관적인 표준을 정의하고48, 49, 52, 54, 63 피드백 빈도의 증가를 유도함으로써 피드백의 구체성과 구조를 강화했습니다.10, 64 그러나 이러한 도구가 교육생에게 제공되는 피드백의 질을 확실하게 개선하지는 못했습니다.8, 53, 63 의미 있는 피드백은 종종 교수진에서 교육생에게 피드백이 선형적으로 전달되는 것이 아니라 교수진과 교육생 간의 공동 구성으로 설명됩니다.24 WBA는 이러한 논의의 출발점이 될 수 있지만,45 이러한 평가가 학습과 역량 평가라는 이중 목적을 달성하는 경우 교수진과 교육생 모두에게 기대치와 목표를 공동 구성하는 것은 실질적으로 어려운 일이 됩니다.7, 48  
We define learning as the process of change to what someone ‘knows, can do and values’.25 Applying this broad definition, it becomes clear how learning occurs all the time. In the clinical workplace, not all forms of learning are easy to capture or measure, such as changes to a trainees' value system. When we hone in on the use of WBA to guide learning, there are certain types of learning that become prioritized based on a supervisor's ability to directly observe, provide feedback and complete an assessment. Other observations, interactions and informal pieces of feedback cannot be systematically captured. With that in mind, this scoping review highlights feedback as the strongest link between WBA and WBL. Feedback within health professions education has been defined as ‘specific information about the comparison between a trainee's observed performance and a standard, given with the intent to improve the trainee's performance’.69 As described above, WBA has enhanced feedback specificity and structure by defining those objective standards,48, 49, 52, 54, 63 and prompting an increase in the frequency of feedback.10, 64 However, these tools have not reliably improved the quality of feedback provided to trainees.8, 53, 63 Meaningful feedback is often described as a co-construction between faculty and trainees, rather than the linear transmission of feedback from faculty to trainee.24 A WBA can act as a starting point for this discussion,45 but co-construction of expectations and goals becomes practically challenging for both faculty and trainees when these assessments serve the dual purpose of learning and assessment of competence.7, 48

4.1 향후 연구를 위한 격차 확인
4.1 Identified gaps for future study

4.1.1 연구 결과의 확장
4.1.1 Expanding research outcomes

이 범위 검토에서 수집한 문헌은 일반적으로 교수진과 연수생의 관점과 WBA 도구의 실행에 대한 반응에 초점을 맞추었습니다. 평가 도구에 대한 인식이 효능에 영향을 미치고,70 태도와 문화가 도구의 수용 가능성과 학습 가치에 영향을 미친다는 것은 분명하지만,63,71 인식을 넘어서는 연구를 시작하는 것이 중요합니다. WBL 이론에서 향후 조사해야 할 관심 있는 결과로는 WBA가 직장의 변화에 미치는 영향,25 전문가 정체성 형성, 안전한 의료행위 참여, 미래 의료행위 준비 등이 있습니다.24 이는 의료 학습 모델을

• 전통적인 자격 지표(지식, 기술 및 태도)를 넘어
• 사회화(전문가 그룹의 일원이 됨) 및
• 주체화(사려 깊고 성찰적이며 책임감 있는 의사 되기)로 확장하려는 최근 제안과 일치합니다.72

사회화 및 주체화를 탐구하는 미래의 학문적 작업은 신중하게 설계된 이론 기반 종단 질적 연구를 통해 추구할 수 있습니다. 
The literature captured in this scoping review generally focused on faculty and trainee perspectives and reactions to the implementation of WBAs tools. While it is clear that perception of an assessment tool will impact the efficacy,70 and attitudes and culture will impact the acceptability and learning value of any tool,63, 71 it is important that we start to move beyond perceptions. Future outcomes of interest to investigate in WBL theory could include the impact of WBA on transformation of the workplace,25 professional identity formation, safe participation in practice and preparation for future practice.24 This aligns with a recent proposal to expand the medical model of learning beyond

• traditional qualification metrics (knowledge, skills and attitudes) to include
• socialization (becoming a member of a professional group) and
• subjectification (becoming a thoughtful, reflective and responsible physician).72 

Future scholarly work to explore socialization and subjectification could be pursued through carefully designed theory-informed longitudinal qualitative studies.

4.1.2 평가 어휘집
4.1.2 Lexicon of assessment

프로그램적 WBA에 적용된 어휘집은 감독자와 훈련생이 공유된 정신 모델을 개발하는 능력을 의도하지 않게 방해했을 수 있습니다. 최근 사용자의 공유된 이해를 개선하기 위해 WBA의 설계와 위임 언어를 최적화해야 한다는 주장이 제기되었습니다.73 언어는 평가의 인지된 부담에도 영향을 미칠 수 있습니다.14 자율성과 유연성을 강화하는 언어로 WBA를 설계하면14, 15 학습자의 주체성을 촉진하고 다양한 교육 상황 및 문화와의 조율을 지원할 수 있습니다.73 이러한 변화는 학습 결과를 설명하기 위해 고안된 도구가 대화, 여러 이해관계자의 관점, 학습이 이루어지는 시스템의 복잡성을 통합해야 한다고 제안하는 경험적 학습 이론 및 문화역사 활동 이론과 일치합니다.23 이는 직장에서의 사회적 학습을 의도적으로 통합하는 훈련생에 대한 성과 관련 피드백으로의 전환을 강화하는 역할을 할 것입니다.74 WBA 프로그램을 재설계할 때 우리는 질문을 할 수 있습니다:

• 학습을 보다 효과적으로 안내하기 위해 WBA 중에 발생하는 복잡하고 상황에 기반한 상호 작용을 포착하도록 도구를 최적화할 수 있을까요?

이러한 재설계에는 이러한 평가의 객관성 부족에 대한 불만을 지속하기보다는 직장 기반 평가에서 '공유-주관성'을 포용하고 중요하게 여길 기회가 있습니다.18 향후 작업에서는 설계 반복에 정보를 제공하기 위해 직장 학습에 관한 지표를 사용하여 WBA를 운영하는 품질 개선 접근법을 채택할 수 있습니다.
The lexicon applied to programmatic WBA may have unintentionally impeded the ability for supervisors and trainees to develop a shared mental model. It was recently argued that the design of WBA, and the language of entrustment, needs to be optimized in order to improve the shared understanding of the users.73 Language is likely to also have an impact on the perceived stakes of an assessment.14 Designing WBA with language that enhances autonomy and flexibility14, 15 could promote learner agency and support alignment with different training contexts and cultures.73 This shift would align with both experiential learning theory and cultural historical activity theory, which suggest that tools designed to describe learning outcomes need to integrate dialogue, perspectives from multiple stakeholders, and the complexity of the system in which the learning takes place.23 This would serve to reinforce the shift towards performance-relevant feedback for trainees, which intentionally integrates social learning in the workplace.74 In re-designing our programmes of WBA could we ask the question: 

• Can the tools be optimized to capture the complex and situationally-rooted interactions that occur during WBA in order to guide learning more effectively? 

There is opportunity in this re-design to embrace and value ‘shared-subjectivity’ in workplace-based assessment rather than perpetuating the frustration about the lack of objectivity of these assessments.18 Future work could adopt a quality improvement approach in operationalizing WBA using metrics around workplace learning to inform design iterations.

4.1.3 범위 확장: 문화적, 이론적, 철학적 토대
4.1.3 Expanding the scope: Cultural, theoretical and philosophical underpinnings

임상팀, 지역 문화, 임상 업무의 성격은 모두 WBL 환경에서 감독자, 수련생, 환자 간의 관계와 상호작용에 영향을 미칩니다.24 이 백서에서는 WBA의 실행이 직장을 어떻게 변화시킬 것인지에 대해 논의합니다. 여러 논문에서 (조직 수준에서) 문화적 변화의 필요성과 CBME 내에 WBA를 통합하기 위한 광범위한 동의에 대해 언급하고 있지만,48 다음은 여전히 불분명합니다.

• (1) 이를 어떻게 배양해야 하는지,
• (2) 임상 작업장의 변화(의도적이든 비의도적이든)를 어떻게 모니터링해야 하는지

The clinical team, local culture, and nature of clinical tasks all influence the relationship and interactions between supervisors, trainees and patients in the WBL environment.24 In this paper, we discuss how the implementation of WBA will transform the workplace. While papers speak to the need for cultural change (at the organizational level) and widespread buy-in for integrating WBA within CBME,48 it remains unclear

• (1) how this should be cultivated and
• (2) how we should monitor the transformation of our clinical workplaces (both intentional and unintentional).

이 리뷰에 포함된 대부분의 연구는 귀납적 질적 방법론, 주로 구성주의 근거 이론(CGT)을 적용했습니다. 완전 귀납적 연구 설계인 CGT의 경우, 연구팀은 데이터로부터 자체 이론을 생성합니다.75 현 단계에서 우리는 WBA 맥락에서 '긴장'으로 나타나는 행동과 정서적 반응을 이해하기 위해 향후 연구에서 사회문화 및 학습 이론이 필요하다고 주장합니다. 링가드와 클라센은 임상 수퍼비전의 복잡한 차원을 지속적으로 이해하는 것의 중요성에 대해 언급하며, 이는 WBA를 통해 수련생과 수퍼바이저의 행동을 평가하는 비선형 매트릭스를 포함합니다.76 우리는 이 렌즈를 통한 추가 연구가 학습을 위한 평가가 언제, 어떻게 이루어질 수 있는지에 대해 더 가까이 다가갈 수 있기를 바랍니다. 
Most studies included in this review applied inductive qualitative methodologies, predominantly constructivist grounded theory (CGT). In the case of CGT, which is a fully inductive study design, the research team generates their own theory from the data.75 At this stage, we argue that sociocultural and learning theories are required in future studies in order to understand the behaviour and emotional reactions presenting as ‘tensions’ within the WBA context. Lingard and Klasen comment on the importance of continuing to understand the complex dimensions of clinical supervision, a non-linear matrix that contains evaluating trainees' and supervisors' behaviours with WBAs.76 We hope that further research through this lens could move closer to if, when and how assessment-for-learning can be achieved.

이 백서에서는 임상 학습 환경에서 WBA를 사용하는 사람들이 공유하는 멘탈 모델의 부재와 이것이 교육생의 참여에 미치는 영향을 강조합니다. 한 걸음 물러서서 생각해보면 이러한 구현 문제는 CBME의 철학적 기원에 대해 생각해 볼 때 예측할 수 있었던 문제일 수도 있습니다. 타바레스 등이 주장한 바와 같이, 평가 문헌에는 역량의 철학적 토대에 대한 일관된 정신 모델이 부족하며, 일부 모델은 실증주의 또는 포스트 실증주의에 부합하고 다른 모델은 구성주의 또는 해석주의에 부합합니다.77 이러한 다양한 철학적 관점은 평가 설계, 실행, 교수진 개발 및 연수생과 WBA의 상호작용에 영향을 미치며, 이는 의심할 여지없이 학습에 영향을 미칠 것입니다.

• 실증주의적 관점은 일부 기준 기반 성과 표준에 초점을 맞출 가능성이 높으며,7, 39, 77 이는 성과 지향에 대한 긴장을 고조시킬 위험이 있습니다.
• 반면 구성주의적 관점은 강력한 심리측정의 필요성을 덜 강조하고, 유연성 향상과 학습자 선택권 확대를 통해 상황 및 문화적 요인을 포착하는 것을 수용합니다.77

우리는 WBA 및 학습 분야에서 연구자들이 다양한 철학적 입장을 계속 유지할 것임을 인식하며, 향후 작업에서 이러한 대화의 일관성과 명확성을 높이기 위해 연구자들이 자신의 철학적 입장을 명시적으로 공개할 것을 촉구합니다.77 연구자의 철학적 입장은 연구 결과와 얽혀 있으며 WBA를 통한 학습 결정의 기본이 될 것입니다.77 
This paper highlights the absence of a shared mental model by those using WBA in clinical learning environments and the impact of this on trainees' engagement. Taking a step back, perhaps this implementation challenge could have been predicted when we think about the philosophical origins of CBME. As argued by Tavares et al., there is lack of a consistent mental model around the philosophical underpinnings of competence within assessment literature, with some models aligning with positivism or post-positivism, and others with constructivism or interpretivism.77 These different philosophical perspectives will impact assessment design, implementation, faculty development and trainee interaction with WBA, which will undoubtedly impact learning.

• Positivist perspectives are more likely to focus on some of the criterion-based performance standards,7, 39, 77 which risks contributing to the rising tensions around performance orientation.
• Alternatively, a constructivist perspective de-emphasizes the need for robust psychometrics, and embraces capturing situational and cultural factors through enhanced flexibility and greater learner agency.77 

We recognize that there will continue to be a variety of philosophical positions held by researchers in the space of WBA and learning, and echo the call for researchers to explicitly disclose their philosophical position in order to enhance alignment and clarity of these conversations in future work.77 Researchers' philosophical positions are intertwined with research outcomes and will be fundamental to determining learning through WBA.77

4.2 요약
4.2 Summary

빌렛의 네 가지 전제의 렌즈를 사용하여 WBA를 통한 학습의 과제를 재구성하면 관찰을 상황화하고 표준화하여 앞으로 나아갈 길을 명확하게 제시하는 데 도움이 됩니다.

• 학습은 WBA 획득 여부와 관계없이 WBL 내에서 항상 발생한다는 것이 분명해집니다. 지나치게 규범적이지 않다면, WBA는 WBL에서 학습 목표의 명확성을 높이고 덜 일반적으로 관찰되지만 진정한 임상 술기에 대한 직접적인 관찰과 피드백을 장려하는 역할을 할 수 있습니다.
• 또한, WBA에 대한 우리의 지속적인 참여는 우리의 업무 환경을 변화시키고 있으며, 우리는 이러한 영향을 파악하고 이해하는 초기 단계에 있습니다. WBA가 학습이나 목표 지향성에 미치는 영향에 대해 '모든 것에 맞는' 하나의 정의를 내릴 수는 없다는 점을 인식하는 것이 중요합니다. 즉, 부분적으로는 WBL 환경 내에서 WBA 프로세스에 대한 참여가 개인적, 사회적으로 매개되기 때문입니다.
• 마지막으로, 우리는 WBA와 WBL 모두에서 학습의 조절자를 이해함으로써, 교육 프로그램이 다양한 사회적 환경 내에서 개별 학습자의 요구에 맞게 평가 전략을 조정하고 '실천 속에서 아는 것'에 필요한 주관성을 포용하는 시스템을 만들 수 있다고 제안합니다.

Re-framing the challenges of learning through WBA using the lens of Billett's four premises helps to provide clarity on a path forward by situating and normalizing our observations.

• It becomes clear that learning occurs all the time within WBL, irrespective of whether WBAs are obtained. If not overly prescriptive, WBA can serve to enhance clarity of learning goals in WBL and to encourage direct observation and feedback on less commonly observed, yet authentic, clinical skills.
• Furthermore, our ongoing engagement with WBA is transforming our workplace, and we are early stages of capturing and understanding this impact. It is important to recognize that we cannot seek to define a ‘one size fits all’ understanding of the impact of WBA on learning or goal orientation. That is, in part, because engagement in the WBA process within the WBL environment is both personally and socially mediated.
• Finally, we propose that understanding the modulators of learning in both WBA and WBL may allow educational programs to tailor their assessment strategies towards individual learner needs within different social environments, and to create a system that embraces subjectivity required for ‘knowing in practice’.

4.3 한계
4.3 Limitations

범위 검토의 좁은 초점 때문에 직장 내 평가와 학습을 모두 다룬 주요 연구 논문만 포함되었습니다. WBA를 사용하여 학습을 위한 평가를 달성하는 방법에 대한 관점과 논쟁이 증가하고 있지만, 우리의 의도는 이 분야를 알려주는 주요 데이터를 종합하는 것이었습니다. 또한 실제 임상 환경에서의 학습 및 평가에 대한 광범위한 개념에 초점을 맞추었기 때문에 통제된 환경에서 개별 WBA 도구를 실험적으로 검증하는 동안 학습 결과의 개발 및 측정에 관한 모든 1차 문헌을 수집하려고 하지는 않았습니다. 검색 전략은 포괄적이었지만, 연구팀은 검색 전략을 추가 데이터베이스에 적용했다면 추가 연구를 포착할 수 있었을 것이라는 점을 인지하고 있습니다.
Given the narrow focus of a scoping review, only primary research papers that captured both assessment and learning in the workplace were included. While there are growing perspectives and debates regarding how to achieve assessment for learning using WBA, our intention was to synthesize the primary data that informs this space. Furthermore, given the focus on the broader concepts of learning and assessment in the authentic clinical environment, we did not seek to capture all primary literature regarding the development and measurement of learning outcomes during the experimental validation of individual WBA tools in controlled settings. While the search strategy was inclusive, the research team recognizes that additional studies may have been captured if the search strategy was applied to additional databases.

4.4 교육자 및 연구자를 위한 시사점
4.4 Implications for educators and researchers

이용 가능한 문헌에 따르면 WBA는 '학습을 위한 평가'와 '학습에 대한 평가'라는 두 가지 목적을 달성하기 위해 활용되고 있지만, 실제로 이러한 상호 목표가 달성되었음을 아직 입증하지 못했습니다. 현재 우리는 평가와 학습에 대한 가정 사이에서 교착 상태에 빠져 있습니다. 이 백서에서는 WBL 이론에 주목하여 이 논의를 재구성하고자 했습니다. 우리는 학습과 사회문화 이론을 연구 설계에 더 많이 통합하고, WBA를 통해 학습에 관한 모델을 업데이트할 때 연구자의 철학적 입장에 명확히 맞출 것을 제안합니다. 실질적으로, CBME 교육 맥락에서 리더와 교육자들은 현재의 WBL 환경에서 교육생들 사이에 존재할 다양한 관점을 잘 설명하는 것이 중요합니다. 
The available literature suggests that although WBAs are being utilized to serve the dual purpose of ‘assessment-for-learning’ and ‘assessment-of-learning’, we have yet to demonstrate achievement of these mutual goals in practice. We are currently in a stalemate between assessment and learning assumptions. In this paper, we have sought to re-frame this conversation by attending to WBL theory. We propose that learning and sociocultural theory be more heavily integrated into research design, with clear alignment to the researchers' philosophical position when updating models on learning through WBA. Practically speaking, it is critical that leaders and educators in a CBME training context come to recognize the well-described variety of perspectives that will exist amongst their trainees in the current WBL environment.

5 결론
5 CONCLUSION

결론적으로, 빌렛의 네 가지 전제25에 따라 WBA와 WBL의 중첩에 초점을 맞춘 문헌을 종합하여 중요한 격차를 강조하고 CBME의 궁극적인 목표인 직장 내 학습을 위한 평가를 달성할 가능성을 높이기 위한 주요 탐구 방법을 확인했습니다. In conclusion, by bringing together the literature that focuses on the overlap between WBA and WBL framed by Billett's four premises,25 we have highlighted critical gaps, and identified key avenues for exploration to increase our chances of achieving the ultimate goal of CBME: assessment for learning in the workplace.

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.

평가 프로그램에서 학생의 진급 결정: 임상적 의사결정과 배심원 의사결정을 외삽할 수 있을까? (BMC Med Educ, 2019)
Student progress decision-making in programmatic assessment: can we extrapolate from clinical decision-making and jury decision-making? 
Mike Tweed1* and Tim Wilkinson2

배경
Background

평가 의사 결정의 문제점
The problem with decision-making in assessment

학생에 대한 개별 평가에서 생성되는 데이터의 견고성을 확보하기 위해 많은 노력을 기울여 왔습니다. 점수 신뢰도, 청사진 작성, 표준 설정 등 개별 시험 또는 평가 이벤트 수준에서 평가 데이터의 견고성을 확보하는 데 관한 광범위한 문헌이 있습니다[1,2,3]. 이는 특히 수치 데이터[4]에 해당하지만, 텍스트/내러티브 데이터[5]에 대해서도 점점 더 많이 요구되고 있습니다. 그러나 의사 결정은 여러 평가 이벤트의 증거를 종합적으로 고려하여 내리는 경우가 더 많습니다. 이는 평가에 대한 보다 프로그래밍적인 접근 방식을 취함에 따라 점점 더 많아지고 있습니다[6]. 예를 들어, 한 해의 합격 여부에 대한 결정은 연말 시험 합격 여부에 대한 결정이 아니라 한 해 전체의 평가 결과를 종합하여 내리는 결정이 되고 있습니다. 이러한 변화에도 불구하고, 개별 학생에 대한 강력한 결정을 내리기 위해 여러 가지 이질적인 개별 평가의 정보를 종합하는 데 따르는 함정과 개선 방법에 대한 간극이 존재합니다[7]. 
Much effort has been put into the robustness of data produced by individual assessments of students. There is an extensive literature on achieving robustness of assessment data at the individual test or assessment event level, such as score reliability, blueprinting, and standard setting [1,2,3]. This is especially so for numerical data [4], but increasingly also for text/narrative data [5]. However, decisions are more often made by considering a body of evidence from several assessment events. This is increasingly the case as a more programmatic approach to assessment is taken [6]. For example, the decision on passing a year is becoming less about a decision on passing an end of year examination and more about a decision based on synthesising assessment results from across an entire year. Despite these changes, there is a gap regarding the pitfalls and ways to improve the aggregation of information from multiple and disparate individual assessments in order to produce robust decisions on individual students [7].

이 백서에서는 학생의 진급 의사 결정과 임상 의사 결정 사이의 유사점을 도출한 다음, 그룹이 내리는 의사 결정의 맥락에서 진급 의사 결정과 배심원의 의사 결정 사이의 유사점을 도출할 것입니다. 마지막으로, 이러한 유사점을 살펴봄으로써 진급 의사 결정과 관련된 정책, 실무 및 절차에 대한 실질적인 요점을 제안합니다. 사용할 수 있는 의사결정의 예는 많지만, 의료 교육 기관에 익숙한 임상 의사결정과 집단이 증거를 평가하여 중대한 결정을 내리는 방법과 관련된 사례인 배심원 의사결정을 선택했습니다.  
In this paper we draw parallels between student progression decision-making and clinical decision-making, and then within the context of decisions a made by groups, we will draw parallels between progression decision-making and decision-making by juries. Finally, exploration of these parallels leads to suggested practical points for policy, practice and procedure with regard to progression decision-making. There are many examples of decision-making that could be used but we chose clinical decision-making as it is familiar to healthcare education institutions, and jury decision-making as it is a relevant example of how groups weigh evidence to make high-stakes decisions.

진급 의사 결정: 임상 의사 결정의 유사점
Progression decision-making: parallels in clinical decision-making

학생이 진급 진행(합격) 또는 불합격(불합격) 여부에 대한 의사 결정은 환자 진단과 많은 유사점이 있습니다[8].

• 평가 진도 결정과 환자 진단 결정 모두 여러 가지 정보(다양한 수준의 견고성을 가진 수치와 서술/텍스트가 혼합되어 있음)를 종합적으로 고려해야 합니다.
• 환자 진단 결정과 후속 관리 결정은 환자 및/또는 의료기관에 미치는 영향 측면에서 중대한 사안일 수 있습니다.
• 마찬가지로 진급 상황 결정과 그 결과도 학생, 교육 기관, 의료 기관, 환자 및 사회에 큰 영향을 미칩니다.

The decision-making around whether a student is ready to progress (pass) or not (fail) has many parallels with patient diagnosis [8].

• For both assessment progression decisions and patient diagnosis decisions, several pieces of information (a mix of numerical and narrative/text with varying degrees of robustness), need to weighed up and synthesised.
• Patient diagnosis decisions and subsequent decisions on management can be high-stakes in terms of impact on the patient and/or healthcare institution.
• Likewise progression decisions and the consequences carry high-stakes for students, educational institutions, healthcare institutions, patients, and society.

의사 결정을 위한 정보 취합
Aggregating information to make decisions

임상의와 임상팀은 휴리스틱을 사용하여 다양한 정보를 효율적이고 정확하게 결합하지만[9,10,11,12,13,14], 환자 진단에 관한 임상 의사 결정은 편견과 부정확성에 취약할 수 있습니다[12,15,16,17,18]. 이러한 편견과 오류에 대한 메타인지적 인식[15,16]이 임상 의사 결정을 개선하는 것으로 가정되는 것처럼[19,20,21], 평가 정보를 결합할 때 이러한 편견에 대한 인식과 이를 해결하는 방법도 진행 상황 결정의 견고성을 개선할 수 있다고 제안합니다. 
Clinicians and clinical teams combine various pieces of information efficiently and accurately using heuristics [9,10,11,12,13,14], however clinical decision-making regarding patient diagnoses can be prone to biases and inaccuracies [12, 15,16,17,18]. Just as metacognitive awareness of such biases and errors [15, 16] is postulated to lead to improved clinical decision-making [19,20,21], we suggest that an awareness of such biases in combining assessment information, and ways to address this, could also improve the robustness of progression decisions.

정보 수집
Gathering information

임상 환경에서 환자 진단에 대한 의사 결정을 내리는 데 사용되는 데이터는 상담 및 관련 조사에서 얻을 수 있습니다. 병력은 거의 전적으로 서술형/텍스트, 임상 검사는 대부분 서술형/텍스트와 일부 수치 데이터, 조사는 서술형/텍스트와 수치 데이터가 혼합된 형태로 이루어집니다. 진단으로 이어지는 임상 의사 결정은 빠르고 효율적일 수 있지만[15], 때로는 더 어렵고 임상의는 더 많은 정보를 얻고, 다양한 옵션을 평가하고, 상충되는 증거를 평가해야 할 수도 있습니다. 
In the clinical setting, data used to inform the decision-making of a patient diagnosis may come from the consultation and associated investigations. The history is almost entirely narrative/text, the clinical exam is mostly narrative/text with some numerical data, and investigations are a mixture of narrative/text and numerical data. Clinical decision-making leading to a diagnosis can be quick and efficient [15], but sometimes it is more difficult and the clinician may need to obtain more information, weigh up different options, and/or weigh up conflicting pieces of evidence.

추가 정보를 얻는 과정에는 상담 및 조사 재방문과 같이 데이터 수집을 반복하거나, 일반 방사선 사진을 보완하기 위해 컴퓨터 단층 촬영 스캔을 얻는 등 다른 관점에서 문제에 접근하거나, 생검과 같이 완전히 새롭고 다른 정보 출처를 찾는 것 등이 포함될 수 있습니다[15]. 이러한 추가 정보의 성격은 지금까지 얻은 정보에 따라 달라지며, 이미 알려진 것과 관계없이 모든 환자에게 동일한 추가 검사를 실시하는 것은 좋은 임상 관행이 아닙니다. 또한 제기된 임상적 질문에 답하기 위해 효율성, 위험/편익, 비용 측면에서 가장 적절한 조사를 고려합니다[22, 23]. 
The process of obtaining additional information may include repeating data collection, e.g. revisiting the consultation and investigations; approaching the issue from a different perspective, e.g. obtaining a computerised tomography scan to complement a plain radiograph; and/or looking for an entirely new and different source of information, e.g. getting a biopsy [15]. The nature of this additional information will depend on the information obtained so far, as doing the same extra tests on all patients regardless of what is already known is not good clinical practice. Consideration is also given to the most appropriate investigations in terms of efficiency, risk/benefit, and cost [22, 23], to answer the clinical question posed.

임상 의사 결정에서 진단이 확정된 후에도 데이터를 계속 수집하거나 조사를 수행하는 것은 비효율적이며 때로는 해로울 수 있습니다. 진급 의사결정 측면에서도 이와 유사한 점이 있는데, 진급 의사결정에 필요한 추가 정보를 얻기 위해 충분한 정보가 수집되면 개별 학생에 대한 검사를 중단하는 순차적 검사가 포함될 수 있습니다[24]. 이는 진급 결정의 근거가 될 충분한 정보가 확보되면 평가를 중단하는 평가 프로그램에도 적용될 수 있습니다. 결정의 부담stake은 충분한 정보에 필요한 정보의 강도와 가중치를 알려줄 것입니다. 임상 의사 결정과 마찬가지로, 같은 유형의 평가를 더 많이 한다고 해서 진도 의사 결정이 개선되지 않을 수 있으며, 새로운 관점이나 완전히 새로운 데이터 소스가 필요할 수 있습니다. 학생에게 평가를 반복하도록 요청하는 대신, 필요한 충분한 정보를 제공하기 위해 목표 관찰 기간, 면밀한 감독 또는 다른 평가를 실시하는 것이 더 바람직할 수 있습니다. 필요한 추가 정보의 성격은 개인에 대해 이미 알려진 내용에 따라 달라지며 학생마다 다를 수 있습니다. 결과적으로 가변 평가는 공정성에 대한 우려를 불러일으킬 수 있습니다. 이에 대해 저희는 공정성이란 모든 학생이 동일하게 평가되었는지 여부보다는, 진급 결정의 견고성과 방어 가능성에 더 많이 적용된다고 주장합니다. 
In clinical decision-making it is inefficient, and sometimes harmful, to keep collecting data or undertaking investigations once a diagnosis is secure. There are parallels with this, in terms of progression decision-making: obtaining additional information to inform progression decision-making may include sequential testing, whereby testing ceases for an individual student when sufficient information has been gathered [24]. This could be extrapolated to programmes of assessment whereby assessments cease when sufficient information is available on which to base a progress decision. The stakes of the decision would inform the strength and weight of the information required for a sufficiency of information. Just as for clinical decision-making, more of the same type of assessment may not improve progress decision-making, and a new perspective or an entirely new data source may be required. Instead of asking a student to repeat an assessment, a period of targeted observation, closer supervision or different assessments might be preferable to provide the required sufficiency of information. The nature of the extra information required will depend on what is already known about the individual, and may vary between students. The resulting variable assessment may generate concerns over fairness. In response, we would argue that fairness applies more to the robustness and defensibility of the progression decision, than to whether all students have been assessed identically.

상충되는 정보 취합
Aggregating conflicting information

임상 의사 결정에서는 상충되는 증거를 종합적으로 검토해야 하는 경우가 많습니다. 병력, 검사 및 조사에서 수집한 정보를 개별적으로 고려하면 가장 가능성이 높은 진단 목록이 여러 개 생성될 수 있으며, 각 목록은 불확실성을 내포하고 있습니다. 그러나 모든 정보를 종합하면 가장 가능성이 높은 진단 목록이 더 명확해지고 점점 더 확실해집니다[25]. 진도 의사 결정에서도 마찬가지로, 독립적인 평가 이벤트에서 생성된 단일 정보를 고려하면 학생의 진도 준비 상태에 대한 해석이 달라질 수 있지만, 이러한 단일 정보를 종합하면 더 강력한 그림이 구성됩니다.  
In clinical decision-making it is often necessary to weigh up conflicting pieces of evidence. Information gathered from history, examination, and investigations might, if considered in isolation, generate different lists of most likely diagnoses, each of which is held with uncertainty. However, when all the information is synthesised, the list of most likely diagnoses becomes clearer, and is held with increasing certainty [25]. Likewise in progression decision-making, considering single pieces of information generated from independent assessment events might generate different interpretations of a student’s readiness to progress, but when these single pieces are synthesised, a more robust picture is constructed.

의료 정책 입안자와 실무자는 여러 출처의 데이터를 종합할 수 있습니다[26,27,28]. 일부 데이터 합성은 개별 임상의보다 기계적으로 또는 알고리즘에 의해 더 잘 수행되지만[29], 빠르고 검소한 휴리스틱을 보험 계리 방법과 결합하면 더 나은 결과를 얻을 수 있습니다[30]. 진행 의사 결정에서 알고리즘을 사용하여 점수를 결합하는 것은 가능하지만[31], 똑같이 그럴듯한 알고리즘도 다른 결과를 초래할 수 있습니다[32, 33]. 검사 결과를 단순히 합산하는 것은 쉬울 수 있지만, 그 결과가 반드시 의사결정 목적에 가장 적합한 정보를 제공하지는 않을 수 있습니다[31]. 
Synthesising data from multiple sources is possible for healthcare policy makers and practitioners [26,27,28]. Some data synthesis is done better mechanically or by algorithms than by individual clinicians [29], but better results may be achieved if fast and frugal heuristics are combined with actuarial methods [30]. In progression decision-making, combining scores using algorithms is possible [31], but equally plausible algorithms can lead to different outcomes [32, 33]. It may be easy simply to add test results together, but the result may not necessarily contribute the best information for decision-making purposes [31].

임상 의사 결정의 경우, 의사 결정을 개선하기 위한 전략에는 진단 의사 결정 지원의 가용성, 이차 의견, 감사 등 의료 시스템에 대한 고려가 포함됩니다[12]. 확인 및 안전장치가 부족하면 오류가 발생할 수 있습니다[34]. 이를 진행 의사 결정에 적용하면 모든 평가 결과를 맥락에서 고려하고 의사 결정 지원 및 의사 결정 검토 프로세스를 사용해야 합니다. 
For clinical decision-making, strategies to improve decision-making include consideration of the health systems, including the availability of diagnostic decision support; second opinions; and audit [12]. A lack of checking and safeguards can contribute to errors [34]. Extrapolating this to progression decision-making, all assessment results should be considered in context, and decision support and decision review processes used.

선별 검사 및 진단 검사
Screening tests and diagnostic tests

임상 진료에서 질병 검사에는 선별 검사와 확진 검사 등 검사를 결합해야 하는 선별 검사 프로그램이 포함될 수 있습니다[35]. 이는 특히 데이터가 희박한 경우[36] 진행 의사 결정으로 추정될 수 있습니다[8]. 일반적으로 임상 검사 및 교육 평가를 통한 의사 결정은 민감도와 검사의 특이도 간의 균형을 유지하여 의사 결정에 도움을 주어야 합니다. 이는 개별 평가의 목적과 평가 검사 프로그램의 목적에 따라 영향을 받습니다[8]. 일반적으로 질병 선별 검사는 특이도가 낮고 민감도가 높으며, 확진 검사는 민감도가 낮고 특이도가 높습니다[35]; 검사의 예측 값은 질병 유병률에 따라 달라집니다. 따라서 겉으로 보기에 민감도와 특이도가 우수하더라도 유병률이 매우 높거나 낮으면 검사 프로그램이 기여도가 없거나 더 심하면 잠재적으로 해로울 수 있습니다[8]. 교육 평가와 관련된 이러한 편견은 나중에 논의합니다. 
Testing for disease in clinical practice can include a screening programme which requires combining tests, such as a screening test followed by a confirmatory test [35]. This can be extrapolated to progression decision-making [8], especially when data are sparse [36]. Generally, decision-making from clinical tests and educational assessments has to balance the sensitivity with the specificity of a test to help inform the decision. This is influenced by the purpose of the individual assessment and by the purpose of the assessment testing programme [8]. A screening programme for a disease will generally have a lower specificity and higher sensitivity, and a confirmatory test a lower sensitivity and higher specificity [35]; the predictive value of the test will be dependent on disease prevalence. Hence despite apparently excellent sensitivity and specificity, if the prevalence is very high or low, a testing programme can be non-contributory, or worse still, potentially harmful [8]. Such biases associated with educational assessment are discussed later.

결정과 관련된 위험
Risks associated with decisions

잘못된 임상적 결정 또는 최적의 진료에서 벗어난 결과와 위험은 임상적으로 유의미한 결과가 없는 것부터 사망에 이르기까지 크게 다를 수 있습니다[37]. 최적의 진료에서도 부작용과 위험은 발생할 수 있습니다. 약물은 적절하게 사용하더라도 부작용이 있으며, 때때로 이러한 위험은 임상 진료에서야 드러납니다[38]. 
The consequence and risk of incorrect clinical decisions, or deviation from optimal practice, can vary significantly from no clinically significant consequence to fatality [37]. Adverse consequences and risks occur even with optimal practice. Drugs have side effects, even when used appropriately, and sometimes these risks only come to light in clinical practice [38].

의료 교육 기관은 학생에 대한 진급 결정을 내릴 때 학생[39]과 사회[40]의 이익을 모두 고려해야 할 주의 의무가 있습니다. 개인뿐만 아니라 사회에도 영향을 미치는 개인을 위한 결정을 내릴 때의 이러한 딜레마는 배심원 의사 결정 섹션에서 자세히 살펴봅니다. 
Healthcare educational institutions have a duty of care to take the interests of both students [39] and society [40] into account when making progression decisions on students. This dilemma of making decisions for individuals which have an impact not only on that individual, but also society, is explored further in the section on jury decision-making.

결정이 어려울 때
When the decisions get tough

임상에서 시간에 쫓기는 의사 결정[41] 및 고위험 의사 결정[42]과 같이 상황에 따라 의사 결정이 더 어려워지는 경우도 있습니다. 정답을 알고 있더라도 시간 압박은 의사 결정의 불확실성과 부정확성을 증가시킵니다. 교육 기관은 의사 결정자에게 올바른 결정을 내릴 수 있는 충분한 시간을 제공하는 것이 중요합니다.
Some decisions are made more difficult by the context, such as time-pressured decision-making in clinical practice [41] and high-stakes decision-making [42]. Even when correct answers are known, time-pressure increases uncertainty and inaccuracy in decision-making. It is important that educational institutions provide decision-makers with sufficient time to make robust decisions.

또한 개인이 해결할 수 없는 질문도 있습니다[34]. 결정이 중대한 결과를 초래할 수 있고 최적의 치료를 조언하기 위해 여러 전문 정보 또는 관점을 결합해야 할 수 있기 때문에 진단이 간단하지 않을 수 있습니다. 이러한 상황에서는 2차 소견을 요청할 수 있습니다[12]. 사용 가능한 데이터를 고려하는 사람의 수를 늘리는 것이 실용적이거나 안전하지 않은 경우 사용 가능한 데이터를 늘리는 것보다 더 나은 방법이 될 수 있습니다. 다학제 팀, 다학제 회의, 사례 회의는 여러 사람의 도움을 받아 집계된 정보를 바탕으로 의사 결정을 내림으로써 환자 치료를 개선할 수 있습니다. 특정 상황에서는 이러한 집단 의사 결정이 환자의 치료 결과를 개선하기도 합니다[43].
In addition, there are some questions that are impossible for an individual to resolve [34]. The diagnosis may not be straightforward because decisions may have significant consequences, and multiple specialised pieces of information or perspectives may need to be combined in order to advise optimal care. In these circumstances a second opinion may be requested [12]. Increasing the number of people considering the available data can be a better method than increasing the available data where this is not practical or safe. Multi-disciplinary teams, multi-disciplinary meetings, and case conferences can enhance patient care by using multiple people help to make decisions on aggregated information. In certain situations such group decision-making improves outcomes for patients [43].

의료 전문직 학생에게 가장 중요한 진급 결정 중 하나는 졸업입니다. 교육기관은 개인이 의료 전문직에 진출할 준비가 되었으며, 최소한 유능하고 안전한 의료인이 될 것임을 규제 기관과 사회에 권고해야 합니다. 고려해야 할 정보의 잠재적 위험과 복잡성을 고려할 때, 패널은 종종 프로그램 평가에서 의사 결정의 일부가 됩니다[6]. 패널은 서로 다른 관점을 가지고 있으며, 집단이 구성 요소 개인보다 낫다는 오랜 주장이 있습니다[44]. 
One of the highest-stakes progression decisions on healthcare professional students is at graduation. The institution needs to recommend to a regulatory authority, and thereby society, that an individual is ready to enter the healthcare profession, and will be at least a minimally competent and safe practitioner. Given the potential high-stakes and complexity of the information to be considered, a panel is often part of decision-making in programmatic assessment [6]. The panellists bring different perspectives, and the longstanding assertion is that the collective is better than the component individuals [44].

개인과 집단의 의사 결정 비교
Comparing decision-making by individuals and groups

정보를 취합할 때, 개인의 추정치가 다양하고 현실과 거리가 멀더라도 많은 개인의 추정치의 평균은 현실에 가까울 수 있습니다[44, 45]. 이러한 '군중의 지혜' 효과가 모든 상황에서 적용되는 것은 아닙니다. 사람들이 개별적으로 일하지 않고 집단적으로 일할 때는 사회적 상호작용과 집단 내에서 인지된 권력 차이가 개인의 추정치에 영향을 미치기 때문에 이 효과가 덜 분명할 수 있습니다. 결과적으로 도출된 합의는 더 이상 정확하지 않지만, 그룹 구성원은 자신이 더 나은 추정을 하고 있다고 인식할 수 있습니다[45]. 또한, 평균이든 중앙값이든 이 효과를 입증하기 위해 평균을 사용하는 것은 이 효과가 서술형 데이터가 아닌 수치 데이터에서 작동하는 방식, 즉 수학적 효과의 강점을 반영합니다[45]. 집단이 개인보다 더 나은 의사 결정을 내린다는 명백한 안심은 예방 조치를 취하지 않는 한 내러티브 데이터나 집단적 의사 결정에 있어서는 잘못된 판단일 수 있습니다. 
When aggregating information, the average of many individuals’ estimates can be close to reality, even when those individual estimates may be varied and lie far from it [44, 45]. This ‘wisdom of the crowd’ effect may not be true in all situations. When people work collectively rather than individually, this effect may be less apparent, as social interactions and perceived power differentials within groupings influence individual estimates. The resulting consensus produced is no more accurate, yet group members may perceive that they are making better estimates [45]. Further, the use of average, whether mean or median, to demonstrate this effect reflects the strength of how this effect works for numerical rather than narrative data, it is a mathematical effect [45]. The apparent reassurance that groups make better decisions than individuals may be misplaced when it comes to narrative data or collective decisions, unless precautions are taken.

의사 결정의 오류는 지식, 데이터 수집, 정보 처리 및/또는 검증의 결함으로 인해 발생할 수 있습니다 [46]. 개인의 의사 결정에는 편견과 오류가 존재하며[10, 12, 15, 17, 18, 47], 그 중 일부는 집단 의사 결정에서도 나타납니다[48,49,50]. 개인이 내린 의사 결정의 편견과 오류를 집단이 내린 의사 결정과 비교할 때, 일부는 약화되고 일부는 증폭되며 일부는 재생산되며 분류별로 일관된 패턴이 없습니다 [48]. 이러한 편견과 오류는 개인 및 그룹 진급 의사 결정과 관련하여 표 1에 나와 있습니다. 
Errors in decision-making can arise due to faults in knowledge, data gathering, information processing, and/or verification [46]. There are biases and errors in individual’s decision-making [10, 12, 15, 17, 18, 47], some of which are also evident in group decision-making [48,49,50]. In comparing biases and errors in decisions made by individuals with those made by groups, some are attenuated, some amplified, and some reproduced, with no consistent pattern by categorisation [48]. These biases and errors, as they relate to individual and group progression decision-making, are shown in Table 1.

개인과 마찬가지로 그룹도 의사결정을 내릴 때 여러 과정을 거칩니다. 개인이 그룹으로 모이는 과정은 정보 회상 및 처리에 영향을 미칠 수 있습니다[48]. 개인이 의사 결정을 내리는 것에 대한 문헌이 훨씬 더 많지만, 의사 결정을 내리는 그룹도 편견에 빠지기 쉬우며[63] 이는 여러 출처에서 발생할 수 있습니다[43]. 진행 의사결정의 맥락에서, 그룹의 초기 선호도는 이용 가능하거나 이후에 공개된 정보에도 불구하고 지속될 수 있으며[64], 이는 진단 의사결정의 조기 종결 편향과 유사합니다[15]. 그룹 구성원은 지배적인 성격의 과도한 비중과 같은 의사 결정 그룹 내 대인 관계를 인식할 수 있으며, 이러한 인식은 개인의 기여와 정보 토론에 영향을 미칠 수 있습니다[48]. 설득과 영향력은 후보자 평가에 대한 토론 중에 발생합니다. 처음에 후보자의 점수를 높게 매긴 이상값은 점수를 낮출 가능성이 높고, 처음에 후보자의 점수를 낮게 매긴 이상값은 점수를 높일 가능성이 낮기 때문에 합의된 토론은 후보자의 점수를 낮추어 합격률을 낮출 가능성이 높습니다[65].
Groups, like individuals, undertake several processes in coming to a decision. The process of individuals gathering into a group can influence information recall and handling [48]. Although there is a significantly greater literature on individuals making decisions, groups making decisions can also be prone to biases [63] and this can arise from many sources [43]. In the context of progression decision-making, a group’s initial preferences can persist despite available or subsequently disclosed information [64], a bias similar to premature closure in diagnostic decision-making [15]. Group members may be aware of interpersonal relationships within the decision group, such as the undue weight of a dominant personality, and these perceptions can influence an individual’s contribution and discussion of information [48]. Persuasion and influence occur during discussion of a candidate assessment. Outliers who initially score candidates higher are more likely to reduce their score, while outliers who initially score the candidates lower are less likely to increase their score, with the result that consensus discussion is likely to lower candidate scores and therefore reduce the pass rate [65].

집단에 의한 고위험 의사 결정의 예로서 배심원단
A jury as an example of high-stakes decision-making by a group

배심원 의사결정은 그룹이 고위험 의사결정을 내리는 예로서[48], 광범위하게 연구되어 왔으므로 진급 의사결정에 대한 통찰력을 제공할 수 있습니다. 배심원 및/또는 배심원의 의사 결정, 편견, 오류에 관한 중요한 문헌[49, 50, 66,67,68,69,70,71, 72,73,74,75,76]이 있으며, 여기에는 요약 리뷰[77]도 포함되어 있습니다. 모든 증거를 고려하는 배심원 그룹의 주된 목적(유죄 또는 무죄라는 이분법적인 평결에 도달하는 것을 목표로 함)과 모든 평가 데이터를 고려하는 의사 결정자 그룹의 주된 목적(합격 또는 불합격이라는 고위험 평결에 도달하는 것을 목표로 함) 사이에는 유사성이 있습니다. 배심원 의사 결정은 진도 의사 결정과 비슷하지만, 앞서 설명한 다른 그룹 의사 결정과 달리 정답이 알려진 문제를 다루지 않습니다[48, 66]. 
Jury decision-making is an example of a group making a high-stakes decision [48], that has been extensively researched and therefore could offer insights into progression decision-making. There is significant literature on decision-making, biases, and errors by jurors and/or juries [49, 50, 66,67,68,69,70,71,72,73,74,75,76], including a summarising review [77]. There are similarities between the main purpose of the group of jurors considering all the evidence (with the aim of reaching a high-stakes verdict which is often a dichotomous guilty or not guilty verdict) and the main purpose of a group of decision-makers to consider all the assessment data (with the aim of reaching a high-stakes verdict of pass or fail). Jury decision-making, like progression decision-making, but unlike other group decision-making described, does not address a problem with a known correct answer [48, 66].

배심원과 배심원이 내린 결정에 대한 상대적 기여도는 과제에 따라 다릅니다 [50]. 임상 의사결정의 경우 의사결정의 정확성과 효율성을 향상시킬 수 있는 휴리스틱이 있지만, 이러한 휴리스틱이 정확도가 떨어지거나 효율성이 떨어지는 결과를 낳으면 편견으로 간주됩니다. 시뮬레이션 배심원 및/또는 일부 실제 배심원의 경우 편견과 편향에 대한 취약성이 보고되었으며, 그 요인으로는 [49, 50, 66,67,68,69,70,71,72,73,74,75,76,77] 등이 있습니다: 
The relative contribution to the decision brought about by jurors and juries varies with the task [50]. As for clinical decision-making, there are heuristics which can improve the accuracy and efficiency of decisions, but when these produce less accurate or less efficient results, they are seen as biases. Susceptibility to variation and bias has been reported for simulated jurors and/or for some real juries, with factors that include [49, 50, 66,67,68,69,70,71,72,73,74,75,76,77]:

• 피고 및/또는 피해자/원고 요인. 여기에는 성별, 인종, 외모, 경제적 배경, 성격, 부상, 재판 전 홍보, 피고인의 전과 기록 공개, 자기 모욕죄로부터의 자유, 개인 또는 법인 여부, 법정 행동과 같은 개인적 요인이 포함됩니다;
  Defendant and/or victim/plaintiff factors. This includes personal factors such as gender, race, physical appearance, economic background, personality, injuries, pre-trial publicity, disclosure of defendants prior record, freedom from self-incrimination, being individual or corporation, courtroom behaviour;
• 배심원 요인. 여기에는 권위주의, 유죄 또는 무죄 판결에 찬성하는 성향, 나이, 성별, 인종, 사회적 배경, 증거의 기억력, 증거에 대한 이해도, 지시된 정보를 무시하는 정도, 배심원 경험 등이 포함됩니다;
  Juror factors. This includes authoritarianism, proneness to be pro-conviction or pro-acquittal, age, gender, race, social background, recall of evidence, understanding of evidence, ignoring information as instructed, prior juror experience;
• 대표성 요인. 여기에는 성별, 서면/언어적 표현, 명확성, 스타일 및 프레젠테이션의 효율성과 같은 법적 대표성 요인이 포함됩니다;
  Representative factors. This includes legal representation factors such as gender, written/verbal representation, clarity, style and efficiency of presentation;
• 증거 요인. 여기에는 증거의 이미지(더 시각적이거나 시각적으로 상상할 수 있는 것), 제시 순서, 증거의 성격이 포함됩니다;
  Evidence factors. This includes imagery of evidence (the more visual or more visually imaginable), order of presentation, nature of evidence;
• 범죄 요인. 여기에는 범죄의 심각성 또는 유형이 포함됩니다;
  Crime factors. This includes the severity or type of crime;
• 판사 요인. 여기에는 주어진 지침 또는 안내의 내용이 포함됩니다;
  Judge factors. This includes the content of the instructions or guidance given;
• 배심원단 구성 요소. 여기에는 사회적 배경 혼합, 인종 혼합과 같은 여러 측면이 포함됩니다.
  Jury membership factors. This includes the mix of aspects such as social background mix, racial mix.

이러한 요인 중 일부는 진행 상황 결정과 관련하여 유사점이 있습니다. 스토리 구축의 용이성은 결정과 그 결정의 확실성 모두에 영향을 미치며[71], 이는 가용성 편향과 유사합니다. 첫인상으로 인한 배심원 편향[67, 75, 77]은 앵커링과 유사합니다. 사람들은 비슷한 사람들과 동일시할 수 있으며, "우리와 같은 사람들" 효과가 존재할 수 있습니다[78]. 진급 의사 결정의 경우 이러한 영향 중 일부는 가능한 한 학생을 익명화하여 완화할 수 있습니다. 
There are similarities in some of these factors in relation to progression decision-making. The ease of building a story influences both the decisions and the certainty in those decisions [71], akin to the availability bias. The juror bias due to initial impression [67, 75, 77] is akin to anchoring. People may identify with similar people; a “people like us” effect may be present [78]. For progression decision-making some of these effects can be mitigated by anonymisation of students, as far as possible.

배심원과 진도 결정을 내리는 패널의 한 가지 차이점은 배심원은 동료 배심원에게 정보를 제공하지 않는다는 점입니다. 이와는 대조적으로 진급 결정 패널의 구성원은 학생을 관찰하고 정보를 제공할 수 있습니다. 의사 결정권자의 관찰 부족은 편견의 잠재적 원인을 제거하기 때문에 의사 결정에 도움이 될 수 있습니다. 하나의 일화가 강력한 증거와 부적절하게 모순될 수 있기 때문입니다[57]. 또한, 잘못된 증거 회상으로 인한 편견은 심의를 위해 패널에 제출된 증거보다 덜 문제가 됩니다. 
One difference between a jury and a panel making a progression decision, is that a juror does not provide information to their co-jurors. In contrast, a member of a progression decision panel might also have observed the student and can provide information. Lack of observation by the decision-makers can be a benefit in decision-making, as it removes a potential source of bias: a single anecdote can inappropriately contradict a robust body of evidence [57]. Additionally, bias produced by incorrect evidential recall is less of an issue than evidence presented to the panel for deliberation.

프로그램 평가 패널은 일반인 및 동료 배심원단보다는 대법원 판사 패널에 더 가까울 수 있지만, 비공개 회의로 진행되는 대법원 판사 패널의 의사 결정 및 심의에 대한 연구는 거의 없습니다. 
The programmatic assessment panel may be closer to a Supreme Court panel of judges rather than a jury of lay-people and peers, but there is little research on the decision-making and deliberations of panels of Supreme Court judges, which are conducted in closed-door meetings.

배심원단의 의사 결정 스타일
Jury decision-making style

배심원단의 심의 스타일은 정보 수집을 통한 증거 중심 또는 평결 투표로 시작하는 평결 중심[68]으로 나타났습니다. 증거 중심 심의는 시간이 오래 걸리고 더 많은 합의를 이끌어내는 반면, 평결 중심 심의는 적대적인 방식으로 반대 의견을 이끌어내는 경향이 있습니다. 증거 중심 심의에서 의견이 크게 바뀌는 경우, 이는 판사의 지시에 대한 토론과 관련이 있을 가능성이 높습니다[68]. 결정 규칙이 합의 없이 다수결로 평결을 내릴 수 있도록 허용하는 경우, 작지만 실질적인 효과를 볼 수 있습니다. 배심원단이 필요한 정족수에 도달하면 심의를 중단하는 것입니다 [77]. 평결 투표는 사람들이 투표 순서에 따라 투표를 변경하는 투표 순서와 같은 추가적인 편견의 영향을 받을 수 있습니다[77]. 그룹 토론은 극단적인(보다 정직한) 입장을 도출할 수 있다는 점에서 잠재적인 문제가 없는 것은 아닙니다. 전체 배심원 평결의 90%는 1차 투표 과반수[66]의 방향으로 이루어지지만, 적지 않은 수의 배심원들이 숙의에 의해 흔들립니다. 개인이 개별적인 결정과 근거를 진술하면 그룹 내에서 책임이 분산되어 더 위험한 의견이 진술되고 따라서 더 위험한 결정이 내려질 수 있습니다[66]. 
Jury deliberation styles have been shown to be either evidence-driven, with pooling of information, or verdict-driven, which start with a verdict vote [68]. Evidence-driven deliberations take longer and lead to more consensus; verdict-driven deliberations tend to bring out opposing views in an adversarial way. When evidence-driven deliberations lead to a significant change of opinion, it is more likely to be related to a discussion of judge’s instructions [68]. If the decision rules allow a majority vote verdict without consensus, a small but real effect is seen [77]: juries will stop deliberating once the required quorum is reached. Verdict voting can be subject to additional biases such as voting order where people alter their vote depending on the votes given to that point [77]. Group discussions are not without potential problems, in that they can generate extreme (more honest) positions. Ninety percent of all jury verdicts are in the direction of the first ballot majority [66], but a small and not insignificant number are swayed by deliberation. Once individuals state their individual decisions and rationales, diffusion of responsibility within a group may lead to riskier opinions being stated, and therefore riskier decisions being made [66].

이를 진급 의사 결정의 맥락으로 확장하면, 최적의 접근 방식은 정책과 프로세스의 규칙과 실행에 주의를 기울이면서, 증거에 기반하는 합의 결정입니다.
Extrapolating this to the context of progression decision-making, an optimal approach is consensus decisions that are based on evidence, whilst attending to the rules and implementation of policy and process.

배심원 리더십
Jury leadership

배심원 의사결정 프로세스에 대해 우리가 알고 있는 바에 따르면, 평가 진행 패널 위원장에 해당하는 배심원 단장은 의사결정에서 좋은 프로세스를 유지하면서 열린 담론을 보존할 수 있는 기술이 필요합니다. 배심원단장은 영향력이 있을 수 있으며[77], 개별 배심원들은 극단적인 견해를 가질 수 있지만, 배심원단 선정 과정이 일반적으로 극단적인 견해를 가진 사람들의 선정 가능성을 낮춰준다[66]. 
Based on what we know about jury decision-making processes, the jury foreperson, the equivalent of the assessment progress panel chair, needs the skills to preserve open discourse, whilst maintaining good process in decision-making. The jury foreperson can be influential [77], and individual jurors can hold extreme views, though the process of jury selection usually mitigates against the selection of people with extreme views [66].

진행 의사결정자를 선정할 때는 임상 진료와 관련된 기술 및 지식보다는, 정보를 종합하여 중대한 결정을 내리는 데 필요한 기술을 고려해야 합니다.
In choosing progress decision-makers, consideration should be given to the skills that are required to make high-stakes decisions based on aggregating information, rather than skills and knowledge relating to clinical practice.

배심원단의 관용과 실패하지 않기
Jury leniency and failure to fail

피고인에 대한 관용과 failure to fail 현상 사이에 유사점이 있습니까[55]? 배심원단은 무죄를 추정하도록 지시받습니다[67]: 평결에 오류가 있을 경우 관용을 베푸는 것이 바람직합니다[79]. 법적 의사 결정에는 결정을 지지할 확률과 해당 결정을 지지하는 데 필요한 임계값이라는 두 가지 요소가 있습니다[66]. 결정을 지지하면서도 어느 정도의 의심은 남아있을 수 있습니다. 배심원 및 배심원 결과에 요구되는 증명 기준(합리적 의심)의 영향은 상당합니다[69, 77]. 의심스러운 경우 배심원은 무죄를 선호합니다[48, 63]. 배심원단의 심의는 관용을 베푸는 경향이 있으며[72, 75], 대부분의 관용은 증명 기준의 요건에 의해 설명됩니다[72]. 
Is there a parallel between leniency towards the defendant and the failure to fail phenomenon [55]? Juries are instructed to presume innocence [67]: if one is to err in a verdict, leniency is preferred [79]. Legal decision-making has two components: the probability of supporting a decision, and threshold required to support that decision [66]. It is possible to support a decision but still retain a degree of doubt. The effect of standard of proof (reasonable doubt) required on juror and jury outcomes is significant [69, 77]. If in doubt, a jury will favour acquittal [48, 63]. Jury deliberations tend towards leniency [72, 75], with most leniency is accounted for by the requirement of standard of proof [72].

진급 의사 결정에서도 비슷한 효과가 관찰되었는데, 의심스러운 경우 일반적으로 학생을 합격시키는 결정을 내립니다[55]. 유죄가 입증되지 않는 한 무죄를 추정할 책임은 배심원단에게 있지만, 학생의 유능함을 입증할 책임은 진행 패널에게 있습니까? 이 책임은 무능력이 입증되지 않는 한 능력이 있다고 추정하는 것으로 잘못 해석되는 경우가 너무 많습니다. 이는 능력이 아직 입증되지 않았음을 시사하는 여러 가지 작은 증거를 무시하는 것으로 나타날 수 있습니다[36]. 
A similar effect has been observed in progression decision-making where, if in doubt, the decision is usually to pass the student [55]. The onus is on the jury to presume innocence unless finding guilt proven, but is the onus on the progress panel to find student competent proven? Too often this onus is erroneously misinterpreted as presuming competence unless finding incompetence proven. This can manifest as a discounting of multiple small pieces of evidence suggesting that competence has not yet been demonstrated [36].

학생 진급과 관련된 의사 결정의 견고성을 높이기 위해 주의해야 할 제안 사항
Suggestions to attend to in order to promote robustness of decisions made relating to student progression

이제 진급 결정권자가 사용할 수 있는 몇 가지 모범 사례 팁과 원칙을 제안합니다. 이는 앞서 설명한 임상 의사 결정 및 배심원단 의사 결정의 증거와 추가 관련 문헌에 근거한 것입니다. 
We now propose some good practice tips and principles that could be used by progression decision-makers. These are based on the previously outlined evidence from clinical decision-making and jury decision-making, and from additional relevant literature.

교육 기관, 의사 결정 패널, 패널리스트는 진행 상황 결정에 편견과 오류가 있을 수 있음을 인지해야 합니다.
Educational institutions, decision-making panels, and panellists should be aware of the potential for bias and error in progression decisions

편견의 가능성을 의식적으로 인식하는 것이 편견을 완화하기 위한 첫 번째 단계입니다[19,20,21]. 이러한 편향은 의사 결정을 내리는 개인과 의사 결정을 내리는 집단 모두에서 발생할 수 있습니다. 임상 의사 결정에서 추론해 보면, 의사 결정자의 오류 가능성에 대한 인식을 높이는 것이 과제입니다[12]. 임상의가 임상 의사 결정에서 불확실성을 인식하고 공개하지 않는 것은 심각한 문제입니다 [47, 80]. 그러나 학생 성과에 대한 불확실성이 있더라도 의사 결정 패널은 여전히 결정을 내려야 합니다. 
Being consciously aware of the possibility of bias is the first step to mitigate against it [19,20,21]. Such biases can occur both for individuals making decisions and for groups making decisions. Extrapolating from clinical decision-making, the challenge is raising awareness of the possibility of error by decision-makers [12]. Clinicians failing to recognise and disclose uncertainty in clinical decision-making is a significant problem [47, 80]. However, even when there is uncertainty over student performance, decision panels still need to make a decision.

의사 결정은 적절하게 선정된 의사 결정 패널에 의해 이루어져야 합니다.
Decisions should be made by appropriately selected decision-making panels

임상 의사 결정에서 추론해 볼 때, 개인의 의사 결정을 개선하기 위한 전략에는 전문 지식과 메타인지 연습을 증진하는 것이 포함됩니다. 전문성 부족은 오류의 원인이 될 수 있으므로[34], 평가 내용보다는 학생 결과 의사결정에 대한 적절한 전문성을 갖춘 패널을 선정해야 하며, 의사결정의 질에 대한 반영에는 의사결정에 대한 피드백 및 의사결정 훈련 방식의 질 보증이 포함되어야 합니다. 따라서 패널은 지위/연공서열, 평가 내용에 대한 친숙도 또는 학생과의 친밀도보다는 편견을 인식하는 메타인지 능력을 기준으로 선정해야 합니다.
Extrapolating from clinical decision-making, strategies to improve individual decision-making include promotion of expertise and metacognitive practice. A lack of expertise can contribute to errors [34], hence panel members should be selected with appropriate expertise in student outcome decision-making, rather than assessment content, and reflections on decision quality should include quality assurance in the way of feedback on decisions and training for decision-making. As such, the panel should be chosen on the basis of its ability to show metacognition in recognising bias, rather than status/seniority, familiarity with assessment content, or familiarity with the students.

숙련된 의사결정자들로 구성된 패널도 편견의 가능성이 없는 것은 아니지만[81], 정책, 절차 및 실무 수준에서 구현할 수 있는 가능한 해결책이 있습니다. 학생과 교직원 간의 직업적, 사회적 상호 작용의 가능성을 고려할 때 잠재적 이해 상충에 대한 정책, 절차 및 실무 문서가 있어야 합니다. 의사 결정자가 한 명 이상의 학생과 이해관계가 충돌하는 경우 의사 결정에서 물러나야 합니다. 잠재적 이해 상충은 개별 의사 결정자 및 개별 학생과 관련될 가능성이 훨씬 높으므로 적절한 정책에 따라 사례별로 처리해야 합니다. 갈등의 예로는 가족 구성원과의 보다 명백한 관계뿐만 아니라 멘토/멘티, 학생과 복지 역할을 하는 사람과의 관계도 포함될 수 있습니다.  
Even a panel of experienced decision-makers is not without the potential for bias [81], but there are possible solutions that can be implemented at the policy, procedure and practice levels. Given the potential for professional and social interactions between students and staff, there should be policy, procedure, and practice documentation for potential conflicts of interest. If a decision-maker is conflicted for one or more students, then they should withdraw from decision-making. Potential conflicts of interest are far more likely to relate to individual decision-makers and individual students, and should be dealt with on a case-by-case basis guided by an appropriate policy. Examples of conflict might include more obvious relationships with family members, but also with mentors/mentees and those with a welfare role with students.

교육 기관은 평가 이벤트 및 관련 의사 결정과 관련된 정책, 절차 및 실무 문서를 공개적으로 이용할 수 있어야 합니다.
Educational institutions should have publicly available policies, procedures, and practice documentation related to assessment events and the associated decision-making

배심원단의 성과를 개선하는 것은 절차적 문제를 개선함으로써 달성할 수 있습니다[77]. 여기에는 다음 등이 포함되고 다른 것도 있을 수 있습니다.

• 증거 사실에 대한 철저한 검토,
• 판사의 지시에 대한 배심원단의 정확한 이해,
• 모든 배심원의 적극적인 참여,
• 규범적 압력이 아닌 토론을 통한 이견 해소,
• 다양한 평결 옵션의 요건에 대한 사건 사실의 체계적 일치 

마찬가지로 진행 패널 결정의 관점에서 보면, 이는 다음에 해당합니다.

• 제공된 정보의 철저한 검토,
• 정책에 대한 정확한 이해,
• 모든 패널 구성원의 적극적인 참여,
• 토론과 합의를 통한 이견 해소,
• 평가 목적 및 결과에 대한 요건에 대한 정보의 체계적 매칭

이러한 요소들이 이미 많은 의사결정 과정에 내재되어 있다고 주장하는 사람들도 있지만, 이러한 요소들을 보다 명시적으로 만들면 의사결정의 질이 향상될 수 있습니다. 
Improving jury performance can be achieved through improving procedural issues [77]. These include, but are not necessarily limited to, the following:

• a thorough review of the facts in evidence,
• accurate jury-level comprehension of the judge’s instructions,
• active participation by all jurors,
• resolution of differences through discussion as opposed to normative pressure, and
• systematic matching of case facts to the requirements for the various verdict options.

Likewise, from the perspective of a progression panel decision, these would equate to:

• a thorough review of the information provided,
• accurate comprehension of the policy,
• active participation by all panel members,
• resolution of differences through discussion and consensus, and
• systematic matching of information to the requirements for the assessment purpose and outcomes.

While some might argue that these components are already implicit in many decision-making processes, the quality of decision-making may be improved if such components are made more explicit.

패널과 토론자에게 필요한 의사결정을 위한 충분한 정보를 제공해야 합니다.
Panels and panellists should be provided with sufficient information for the decision required

그룹 토론은 정보 기억력을 향상시킬 수 있으며[48], jurors과 달리 juries의 이점 중 일부는 개인에 비해 그룹이 기억력을 향상시키는 것과 관련이 있습니다[66, 67, 74]. 다수의 배심원은 개별 배심원보다 덜 완전하지만 더 정확한 보고서를 작성합니다[66].
Group discussions can improve recall of information [48], and some of the benefit of juries, as opposed to jurors, relates to improved recall by a group compared to individuals [66, 67, 74]. Multiple jurors produce less complete but more accurate reports than individual jurors [66].

진급 의사 결정에서 패널리스트가 결정을 내릴 때 정보 또는 정책의 세부 사항에 대한 회상에 의존해야 할 가능성은 낮지만, 패널은 개별 학생에 대한 결정에 도달하기 위해 충분한 정보(질과 양)를 가지고 있는지 결정해야 할 것입니다. 정보가 불충분하지만 더 많은 정보가 입수될 수 있는 경우, 이를 구체적으로 구하고[36] 결정을 연기해야 합니다. 추가 정보가 제공되지 않을 경우, 입증 책임이 어디에 있는지에 대한 질문으로 전환해야 합니다. 
In progression decision-making, it is unlikely that panellists will have to rely on recall for specifics of information or policy when making decisions, but the panel will need to decide if they have sufficient information (quality and quantity) in order to reach a decision for an individual student. Where there is insufficient information, but more may become available, this should be specifically sought [36], and a decision deferred. Where further information will not become available, the question should then turn to where the onus of the burden of proof lies.

패널과 토론자는 정보 종합을 최적화하고 편견을 줄이기 위해 노력해야 합니다.
Panels and panellists should work to optimise their information synthesis and reduce bias

표 1에 요약된 바와 같이 그룹 내 심의 및 토론 행위는 개인의 많은 편견과 오류를 줄여줍니다[48]. 증거 외 편향과 같은 일부 편향은 그룹 의사 결정에서 증폭될 수 있으며, 일화 제공이 그룹의 결정에 부당하게 영향을 미칠 수 있는 경우를 예로 들 수 있습니다[57]. 
The act of deliberation and discussion within groups attenuates many of the biases and errors of individuals [48], as outlined in Table 1. Some biases, such as extra-evidentiary bias, can be amplified in group decision-making, an example being where provision of an anecdote could unduly influence a group’s decision [57].

의사 결정은 의사 결정 지원 및 의사 결정 검토와 함께 모든 정보와 맥락을 고려해야 합니다. 외부 검토는 단순히 의사 결정에 대한 검토를 넘어 기본 패널 프로세스, 절차 및 관행에 대한 외부 검토로 확장될 수 있습니다. 모든 패널 토론에 외부 검토가 필요한 것은 아니지만, 정기적인 외부 참관과 관련된 정책 검토는 적절할 수 있습니다. 
Progression decision-making requires consideration of all information and the context, with decision support and decision review. External review might extend beyond just reviewing the decisions, to an external review of the underlying panel process, procedures, and practices. Not every panel discussion needs external review, but policy review associated with regular external observation would be appropriate.

패널은 합의를 통해 결정에 도달해야 합니다.
Panellists should reach decisions by consensus

투표가 아닌 합의에 의한 의사결정은 적대적인 의사결정을 피할 수 있습니다. 법정에서는 공정성을 확보하기 위해 사실관계가 적대적인 방식으로 밝혀지고 제시되며, 반대 측 법률 대리인이 정보를 문제 삼습니다[67]. 그 결과 증거의 신뢰성이 떨어지고 논쟁의 여지가 있는 것처럼 보입니다. 마찬가지로, 적대적인 방식으로 제시된 정보에 직면한 경우, 진급 의사결정 패널은 해당 정보의 신뢰성이 떨어지고 따라서 확고한 결정을 내리기에는 불충분하다고 생각할 수 있습니다. 
Consensus decision-making rather than voting avoids adversarial decision-making. In an attempt to produce fairness within a courtroom, facts are uncovered and presented in an adversarial manner, with information being questioned by opposing legal representation [67]. This results in the appearance of evidential unreliability and contentiousness. Similarly, when faced with information presented in an adversarial way, progression decision-making panels might view the information as being less reliable, and therefore insufficient to make a robust decision.

입증 책임은 입증된 역량 입증자에게 있어야 합니다.
The burden of proof should lie with a proven demonstration of competence

합격/불합격이 중요한 의사 결정의 경우, 입증 기준은 학생의 역량이 진도에 만족할 만한 수준이라는 것을 증명하는 것이어야 합니다. 그렇지 않다는 것이 증명되기 전까지는 학생이 유능하다고 가정하는 경우가 많습니다. "유죄가 입증될 때까지 무죄"와는 대조적으로, 우리는 보건의료 교육 기관이 사회를 보호해야 할 의무를 반영하여 유능한 것으로 입증될 때까지 학생을 무능력한 것으로 간주해야 한다고 제안합니다[40]. 
For high-stakes pass/fail decision-making, the standard of proof should be proof that the student’s competence is at a satisfactory standard to progress. The assumption is often that the student is competent, until proved otherwise. In contrast to “innocent until proven guilty”, we suggest students should be regarded as incompetent until proven competent, reflecting the duty for healthcare educational institutions to protect society [40].

검사 결과의 예측값은 민감도와 특이도는 변하지 않더라도 검사 전 확률 또는 유병률의 영향을 받습니다. 이 시험 전 합격 확률 또는 유병률은 코호트가 과정을 진행하면서 능력이 떨어지는 학생이 제거됨에 따라 증가해야 합니다. 따라서 잘못된 합격/불합격 결정은 잘못된 합격(진정한 불합격)보다 잘못된 불합격(진정한 합격)일 가능성이 상대적으로 더 높으며, 평가가 모호한 경우에는 학생이 괜찮을satisfactory 가능성이 안괜찮을 가능성보다 더 높습니다. 그러나 학생이 코스를 진행하면서 추가 평가의 기회가 줄어듭니다. 졸업이 가까워질수록 잘못된 합격/불합격 결정의 위험과 영향이 커집니다. 시험 전 확률이나 유병률을 고려하면 학생의 pass할 가능성이 높아질테지만, 사회의 요구와 기대를 충족해야 하는 교육기관의 의무가 이를 우선시해야 합니다. 
The predictive value of a test result is affected by the pre-test probability or prevalence, even though sensitivity and specificity may not change. This pre-test probability or prevalence of passing should increase as a cohort progresses through the course, as less able students are removed. Therefore, incorrect pass/fail decisions are relatively more likely to be false fails (true passes) than false passes (true fails), and when an assessment is equivocal, it is more likely that the student is satisfactory than not. However, as a student progresses through the course and the opportunities for further assessment are reduced. As graduation nears, the stakes and impact of an incorrect pass/fail decision increases. Although pre-test probability or prevalence considerations would favour passing the student, the duty of the institution to meet the needs and expectations of society should override this.

Student progress decision-making in programmatic assessment: can we extrapolate from clinical decision-making and jury decision-making?

PMID: 31146714

PMCID: PMC6543577

DOI: 10.1186/s12909-019-1583-1

Free PMC article

모든 이해관계자를 위한 핵심 역량 평가 프로그램 만들기: 선박 설계와 건조에서 얻을 수 있는 것( Adv Health Sci Educ Theory Pract. 2020)
Building a core competency assessment program for all stakeholders: the design and building of sailing ships can inform core competency frameworks 
W. Dale Dauphinee1,2

그러나 제 의견을 공식화하고 뒷받침하는 데 도움이 되도록, 저는 예전에 목조 범선을 건조하고 장식하던 부모님의 가족으로부터 빌린 비유를 제시하고 싶습니다. 모든 이해관계자의 요구와 기대를 충족하기 위해 실제 일상 세계에서 작동해야 하는 제품이나 서비스를 만들려는 모든 이니셔티브와 마찬가지로, 목조 범선을 만드는 과정에는 여러 개별적이지만 서로 연결된 단계가 포함됩니다. 이러한 모든 단계는 성공적인 결과와 원하는 효과를 얻기 위해 필수적입니다.

• 즉, 선박의 주요 목적을 가장 적절하게 달성할 수 있도록 설계 및 건조하고(속도를 내기 위해 좁거나 큰 하중을 싣기 위해 넓게),
• 바람을 최적으로 포착하기 위한 '도구'로서 돛대, 리깅 및 돛을 설계 및 설치하며,
• 마지막으로 각 설계 가정과 후속 실행의 신뢰성과 타당성을 모두 검증하기 위해 해상 시험을 실행하는 것입니다.
• 궁극적인 목표는 설계자와 건조자가 이해관계자가 의도한 선박에 대한 비전과 열망을 충족했음을 입증하는 것입니다(Herreshoff 1974).

However, to help formulate and undergird my comments, I want to offer a metaphor borrowed from my parents’ families as builders and outfitters of wooden sailing ships in earlier times. Like any initiative in which one seeks to create a product or service that has to function in the real everyday world in order to meet all stakeholder’s needs and expectations, the creation of a wooden sailing ship involved several discrete but interconnected steps. All of these steps are essential for a successful outcome and the desired impact. They are:

• design and build the ship to most appropriately achieve its primary purpose (narrow for speed or wide for large loads),
• design and install the masts, rigging and sails as ‘instruments’ to optimally capture the wind; and
• lastly execute the sea trials to validate both the reliability and validity of each of the design assumptions and their subsequent execution.
• The ultimate goal is demonstrate that the designers and builders have met the stakeholders’ intended vision and aspirations for the ship (Herreshoff 1974).

저자의 접근 방식
The authors’ approach

반 데르 아아의 글은 이 새로운 전략을 성공적으로 마무리하기 위해 해결해야 할 일련의 개발 문제 중 첫 번째 단계에 대해 설명합니다. 아직 해야 할 일이 많이 남아 있습니다. 예를 들어, 핵심 역량을 파악하는 아이디어는 새로운 것이 아닙니다. 1999년에 미국의학전문위원회(ABMS)와 미국의학전문대학원교육인증위원회(ACGME)는 ABMS 역량 유지 프로그램 및 대학원 교육 수련 프로그램 인증의 기반이 될 6가지 핵심 일반 역량을 공동 승인하면서 이 개념을 장려했습니다. 6개의 광범위한 역량을 일련의 평가 요소로 분해한 다음 일련의 도구로 재구성해야 한다는 개념은 큰 도약이자 위험한 일이었습니다. 품질 개선을 지원하는 인프라를 구축하지 않으면 이러한 형식은 '제도화'는 되지만 '전문화'는 되지 않는 경향이 있습니다(Audet 외. 2005). 목록과 규칙만으로는 충분하지 않습니다. 
The van der Aa article describes the first step in a cascade of developmental issues that must be addressed in moving this new strategy to a successful conclusion. Much more remains to be done. For example, the idea of identifying core competences is not new. In 1999, the American Board of Medical Specialties (ABMS) and the Accreditation Council for Graduate Medical Education (ACGME) promoted the concept with their joint endorsement of six core general competencies to serve as the bases for the ABMS Maintenance of Competence program and for the accreditation of post-graduate education training program. The notion of six broad competencies having to be deconstructed into set of assessment elements and then reconstructed into a set of tools was a major leap and risky. Without the building of infrastructure to support quality improvement, such formats tend to be ‘institutionalized’ but not ‘professionalized’ (Audet et al. 2005). Lists and rules are not enough.

그러나 EBCOB 개발의 경우, 저자들은 행동 연구를 사용하여 일반적인 역량 프레임워크를 개발했습니다. 연구팀은 이해관계자 매핑을 활용하여 이해관계자 그룹과 협력하여 네 가지 영역을 식별했습니다.

• 환자 중심 치료,
• 팀워크,
• 시스템 기반 진료,
• 개인 및 전문성 개발

그러나 각 영역에서 '지침'을 제시하기보다는 이해관계자가 파악한 '요구사항'의 예를 설명하여 평가자가 '지침 표준'을 현지 상황에 적용할 때 더 나은 지침을 제공할 수 있도록 했습니다. 또한 평가자가 현장에서 재창조하고 창의적으로 적응할 수 있는 기회를 제공하기 위해 네 가지 영역을 일반적인 용어로 설명했습니다. 이 전략이 주는 시사점은 무엇인가요? 
However, in the case of EBCOB development, the authors used action research to develop a guiding generic competency framework. Utilizing stakeholder mapping, the research team worked with the stakeholder groups to identify four domains. They were

• patient- centered care;
• teamwork;
• systems-based practice; and
• personal and professional development.

However, under each domain, rather than offering ‘directives’, they described examples of the stakeholder’s identified ‘needs’ so as to offer better guidance to assessors when applying the ‘guiding standard’ to local contexts. Furthermore, the four domains were described in general terms so as to offer the evaluators the opportunities for re-invention and creative adaptation in the field. What are the implications arising from this strategy?

s10459-019-09910-8.pdf

0.90MB

 

세 가지 즉각적인 과제가 있습니다. 프레임워크가 프로그램 디렉터, 학습자 및 교수진을 위해 최적으로 작동하려면 표준 보고 형식, 데이터 시스템 및 성과 데이터 수집을 위한 대시보드 액세스(예: 표준화된 항해 차트와 항해 육분계 및 기압계 데이터)를 설계하고 구현하는 것이 필수적입니다. 교수진을 준비하고 교육하기 위한 교수진 개발 프로그램과 연계된 품질 관리 프레임워크가 분명히 필요할 것입니다. 또한 학회와 이사회는 교수진이 사용할 수 있는 용어집과 허용되는 시험 형식을 제공할 수 있도록 해야 합니다. 저와 제 동료들은 품질 관리의 중요성과 핵심 역량 기반 교육 이니셔티브의 변경 사항을 감독하는 책임 있는 기관의 필요성을 설명했습니다(도피니 외. 2019). 우리는 모든 평가 노력의 장기적인 지속 가능성을 보장하기 위해 더 나은 품질 관리를 가능하게 하는 경로와 프레임워크를 제공했습니다. 우리도 이러한 다음 개발과 현장 테스트('해상 시험')를 기대할 것입니다.
There are three immediate challenges. The design and implementation of standard reporting formats, data systems and access to dashboards for the collection of performance data (i.e. standardized navigation charts plus data from navigation sextants and barometers) is essential if the framework is to function optimally for the program directors, the learners and teaching staff. Clearly a quality control framework, in association with a faculty development program to prepare and train the faculty, will be needed. That will also require the Society and Board to ensure that a glossary of terms and acceptable testing formats will be available for the teaching faculty. My colleagues and I have described the importance of quality control and having a responsible authority overseeing any changes in core competency-based education initiatives (Dauphinee et al. 2019). We offered pathways and frameworks to enable better quality control to ensure long-term sustainability of any evaluation endeavour. We too will look forward to these next developments and their field testing (‘sea trials’).

장미의 다른 이름: Lawrence 등의 잠재 교육과정 스코핑 리뷰에서 몇 가지 흥미로운 점(Acad Med, 2018)
A Rose by Other Names: Some General Musings on Lawrence and Colleagues’ Hidden Curriculum Scoping Review 
Frederic W. Hafferty, PhD, and Maria Athina Martimianakis, PhD

이번 학술 의학 호에서는 로렌스와 동료들이 숨겨진 커리큘럼과 의학교육에 대한 생각을 자극하는 광범위한 검토를 제공합니다.1 이들은 지난 25년 동안2,3 보건 전문직 교육의 학습 환경을 구성하는 모든 임상 및 비임상 맥락과 프로세스에 걸쳐 분석 도구로 활용되어 온 숨겨진 커리큘럼(HC)에 대해 다룹니다. 이 해설에서는 로렌스와 동료들의 데이터와 결론을 바탕으로 네 가지 문제를 다룹니다.

• 첫째, "이 용어는 뚜렷하고 보편적인 정의가 부족한 것 같다"는 검토 결과와 이러한 '모호성'이 다양한 방법론적 및 개념적 문제에 미치는 영향에 대한 관련 우려를 다루며, 이 모든 것이 HC에 대한 보다 명확한 정의의 통일성을 요구하는 개선 요구로 이어지며, 우리는 특별한 근거에 따라 이의를 제기합니다.
• 둘째, 우리는 숨겨진 HC 문헌의 존재를 문서화하고, HC와 유사한 분석 프레임워크를 사용하거나 HC 효과를 조사하지만 이 용어를 직접 언급하지 않는 연구에 어떻게 대처하는 것이 가장 좋은지 묻습니다. 최소한 이러한 저급 문헌의 존재는 범위 검토에서 "범위"가 무엇인지에 대한 시사점이 있습니다.
• 셋째, 로렌스와 동료들의 검토와 밀접한 관련이 있는 두 가지 출판물을 살펴봅니다.
  • 첫 번째는 맥레오드의 HC에 대한 비평으로,4 로렌스와 동료들이 범위 검토의 존재 이유를 스스로 밝힌 것입니다.
  • 두 번째, 마르티미나키스와 동료들의 HC 범위 검토2는 로렌스와 동료들의 검토 초기에 언급되었다가 더 이상 언급되지 않고 사라졌습니다.
  • 두 리뷰 모두 동일한 개념을 탐구하지만 서로 다른 관점에서 다소 다른 결론을 내리고 있기 때문에 이러한 조기 누락은 유감스럽지만, 우리가 강조하고자 하는 차이점은 다음과 같습니다.
• 마지막으로, 우리는 '이론적 충실성'의 문제와 한 학문적 전통이나 패러다임(예: HC)에서 개발된 이론적 틀이 다른 학문 영역으로 가져올 때 어떻게 개념적 변형을 겪을 수 있는지, 그리고 그러한 변형이 이러한 변형을 생성하는 문화에 대해 무엇을 말할 수 있는지(그리고 어떻게 유익할 수 있는지)를 다룹니다. 

In this issue of Academic Medicine, Lawrence and colleagues provide a thought-provoking scoping review of hidden curricula and medical education.1 They address the hidden curriculum (HC), which for the past quarter century,2,3 has been deployed as an analytic tool across the full range of clinical and nonclinical contexts and processes that make up the learning environments of health professions education. In this Commentary, galvanized by Lawrence and colleagues’ data and conclusions, we address four issues.

• First, we tackle the review’s finding that “the term seemed to lack a distinct and universal definition,” along with related concerns as to the impact of such “ambiguity” on a variety of methodological and conceptual issues—all leading to a remedial call for more definitional uniformity regarding the HC, a conclusion we challenge on particular grounds.
• Second, we document the existence of a hidden HC literature and ask how best to deal with work that uses an HC-like analytic framework or that examines HC effects, yet never directly mentions the term. At minimum, the existence of this hypogean literature has implications for what is “scoped” in scoping reviews.
• Third, we touch on two publications closely linked to Lawrence and colleagues’ review.
  • The first, a critique of the HC by MacLeod,4 is the self-identified raison d’être for Lawrence and colleagues’ scoping review.
  • The second, an HC scoping review by Martimianakis and colleagues,2 is mentioned early in Lawrence and colleagues’ review only to disappear without further mention.
  • This early disappearance is regrettable because both reviews explore the same concept, but from different vantage points and with somewhat different conclusions—differences we seek to accentuate.
• Finally, we tackle issues of “theoretical fidelity” and how a theoretical framework developed within one scholarly tradition or paradigm (such as the HC) might undergo conceptual mutation when imported into another domain of scholarly work, and what such transmutations might say about (and how they may benefit) the culture that generates these alterations.

다른 이름의 장미
A Rose by Other Names

HC가 "모호하고 보편적으로 사용되는 것 같다"는 결론과 함께, 보다 통일된 정의 기반으로 이동하여 이러한 어휘의 과잉을 억제해야 한다는 권고가 로렌스와 동료들의 검토의 핵심입니다. 우리는 이들의 기본 연구 결과를 지지하면서도 여러 측면에 문제를 제기합니다. 우리는 학습 환경이 공식 커리큘럼과 함께 상호 작용과 영향력의 복잡한 그물망을 형성하는 다양한 숨겨진 커리큘럼으로 구성된다는 Lawrence와 동료들의 결론에 동의합니다. 또한 '숨겨진 커리큘럼'이라는 단수 표현을 사용하면 이 중요한 구조적 사실을 모호하게 만들 수 있다는 데 동의합니다. 그럼에도 불구하고 이론적으로 말하자면, 저희는 이 개념에 특이점이 내포되어 있지 않으며, 내포된 적도 없다고 생각합니다. 오히려 그 존재론적 뿌리는 시간적, 공간적 다양성을 구체적으로 가정하는 인식론적 접근을 요구합니다. 따라서 HC 현상은 어디에나 존재하며 단수로 지칭할 수 있지만, 그 발현은 다양하고 역동적일 것으로 예상됩니다. 측정 문제를 중심으로 도출된 유사한 결론은 Haidet과 동료들에 의해 반복적으로 언급되었습니다.5,6
The conclusion that the HC suffers from “ambiguous and seemingly ubiquitous use,” along with recommendations to curb such lexiconic excesses by moving to a more uniform definitional foundation, is central to Lawrence and colleagues’ review. We support, yet also take issue with, different aspects of their underlying findings. We concur with Lawrence and colleagues’ conclusion that learning environments are composed of a multiplicity of hidden curricula, which, together with the formal curriculum, form a complex web of interactions and influence. We also agree that use of the singular (“hidden curriculum”) may obscure this important structural fact. Nonetheless, and now speaking theoretically, we believe the concept does not, and never has, implied singularity. Instead, its ontological roots demand an epistemological approach that specifically assumes temporal and spatial diversity. Thus, while the phenomenon of the HC is ubiquitous and can be referred to in the singular, its manifestations are expected to be numerous and dynamic. A similar conclusion, generated around measurement issues, has been noted repeatedly by Haidet and colleagues.5,6

우리는 또한 HC 개념(단수이든 복수이든)을 사용하는 학문이 조사 대상을 정의할 필요가 있다는 데 동의합니다. 따라서 우리는 로렌스와 동료들이 검토한 논문 중 21%(197편 중 41편)만이 "'숨겨진 교육과정'이라는 용어에 대한 직접적인 정의를 포함하지 않았고", 포함된 논문 중 17%(33편)만이 이 개념(숨겨진 교육과정과 비공식 교육과정)을 동의어로 사용했다는 사실을 발견하고 고무되었습니다(낙담하지 않았습니다). 논문의 결론을 고려할 때 그 비율은 더 높을 것으로 예상했습니다. 또한 로렌스와 동료들의 범위 검토에서 이 17%가 이 두 개념 사이의 "점점 더 모호해지는" 경계 때문이라는 결론을 뒷받침하는 데이터를 찾지 못했습니다. 

We also agree that scholarship employing the HC concept (singular or plural) needs to define what is being examined. As such, we were encouraged (not discouraged) to discover that only (our “only”) 21% of the articles in Lawrence and colleagues’ review (41 of 197) “did not include a direct definition for the term ‘hidden curriculum’” and that even less, 17% or 33, of the included articles used the concepts (hidden and informal) as synonyms. Given the article’s conclusions, we thought the percentages would be higher. We also did not locate data in Lawrence and colleagues’ scoping review supporting the conclusion that this 17% was due to an “increasingly blurred” line between these two concepts.

셋째, 우리는 의학교육 장학의 환경이 HC 명명법으로 가득 차 있다는 로렌스와 동료들의 의견에 동의합니다. 우리 중 한 명(F.W.H.)은 HC 작업에서 접하는 용어에 대한 실행 로그를 작성하고 있습니다. 현재까지 이 목록에는 "공식적인" 교육과정을 지칭하는 데 사용되는 9개의 용어(예: "공식", "명시적", "성문화된")와 학습 환경의 공식적이지 않은 측면을 다루는 29개의 용어가 포함되어 있습니다.7 그러나 우리에게 중요한 문제는 용어의 확산이 아니라

• (1) 용어가 어떻게 적용되는지,
• (2) 어떤 문제를 다루는지,
• (3) 사용 중인 용어가 적절하게 정의되어 있는지입니다.

9개의 공식적인 용어들 사이에는 실질적인 정의상의 차이는 없지만(따라서 상호 교환적으로 사용하는 데 문제가 거의 없음), 29개의 '공식적이지 않은' 프레이밍 사이에는 상당한 차이가 있음을 알 수 있습니다. 로렌스와 동료들이 지적했듯이 비공식 교육과정과 HC 사이에는 중요한 차이점이 있으며, 예를 들어 무형식null 교육과정과 같은 다른 개념들 사이에도 추가적인 차이점이 있습니다.2 
Third, we agree with Lawrence and colleagues that the landscape of medical education scholarship is littered with HC nomenclature. One of us (F.W.H.) keeps a running log of terms encountered in his HC work. To date, this list includes 9 terms that are used to refer to the “formal” curriculum (e.g., “official,” “manifest,” “codified”) along with a breathtaking 29 covering the other-than-formal aspects of learning environments.7 The central issue for us, however, is not the proliferation of terms but, rather,

• (1) how they are applied;
• (2) what issue(s) they address; and
• (3) whether the term(s) in play is adequately defined.

Although we see no real definitional distinctions among the 9 formal terms (and thus have little issue with their interchangeable use), we do see substantial differences among the 29 “other-than-formal” framings. As noted by Lawrence and colleagues, there are important distinctions between the informal curriculum and the HC—as well as additional dissimilitudes across other concepts, including, for example, the null curriculum.2

그러나 로렌스와 그의 동료들과는 달리, 저희는 대체 또는 대안적 HC 프레임을 사용하는 것이 개념적으로 활력을 불어넣고 풍요롭게 한다는 것을 발견했습니다. 또한 중요한 것은 다른 프레임워크가 검토 범위 설정에 중요한 시사점을 제공한다고 생각합니다. 이 두 가지 요점을 설명하기 위해 로렌스와 동료들의 범위 검토에 '적용'된 연구와 그렇지 않은 연구 두 가지를 살펴봅니다. 

• 전자는 Balmer와 동료들이 수행한 연구로,8 "의대생이 교과목 목표를 학습하기 위해 명시적 교과과정, 암묵적 교과과정, 교과외적 활동의 상호 작용을 어떻게 탐색하는가"를 이해하고자 했습니다.
• 후자의 똑같이 도발적인 연구인 Ginsburg 등의 연구9는 '거부된 커리큘럼'이 직업적으로 어려운 상황에서 학생들의 추론에 어떤 영향을 미치는지 이해하고자 했습니다. 

In contrast to Lawrence and his colleagues, however, we find the use of alternate or alternative HC framings to be conceptually energizing and enriching. Also, importantly, we believe the other framings have important implications for scoping reviews. In speaking to both points, we turn to two studies: one that “made it” into Lawrence and colleagues’ scoping review and one that did not. The former, a study by Balmer and colleagues,8 sought to understand how “medical students navigate the interplay of explicit curricula, implicit curricula, and extracurricula to learn curricular objectives.” The latter, an equally provocative study by Ginsburg et al,9 sought to understand how the “disavowed curriculum” influenced students’ reasoning in professionally challenging situations.

Balmer 등은 왜 "명시적", "암시적", "교과외적"라는 용어를 사용했고, Ginsberg와 동료들은 왜 "거부된"이라는 용어를 사용했을까요? 저희는 저자들을 대변하는 척하지는 않지만, 각각의 개념이 저자들이 조사하고자 하는 문제를 최적으로 탐구할 수 있게 해주었고, 그렇게 함으로써 데이터가 밝혀냈다고 생각하는 바를 가장 잘 표현할 수 있었다고 가정합니다. 그러나 우리 앞에 놓인 문제는 저자들이 선택한 용어를 선택하면서 우리를 혼란의 길로 인도했는지 여부입니다. 저희는 그렇지 않다고 생각합니다. 오히려 저자들은 고도로 제도화되고 일상화된 교육 관행의 '체계적 부작용'10과 '예상치 못한 결과'11에 대한 우리의 집단적 이해를 풍부하게 했다고 생각합니다. 발머와 긴즈버그가 보다 제한된 개념에서 출발했다고 주장하는 것은 우리가 지지할 만한 답이 아닙니다. HC 현상에 대한 단일한 이해나 진실은 결코 존재할 수 없습니다. 
Why did Balmer et al employ the terms “explicit,” “implicit,” and “extra,” and why did Ginsberg and colleagues turn to “disavowed?” Although we do not pretend to speak for the authors, we assume that the respective concepts allowed the authors to explore optimally the issue(s) they wished to investigate and, in so doing, best express what they thought the data revealed. The issue before us, however, is whether, in selecting the terms they selected, the authors took us down a garden path of bewilderment. We think not. Instead, we believe that these authors enriched our collective understandings of the “systematic side effects”10 and the “unanticipated consequences”11 of highly institutionalized and routinized educational practices. Insisting that Balmer et al and Ginsberg et al draw from a more restricted set of concepts is not an answer we would endorse. There can never be a singular understanding or truth about HC phenomena.

마지막으로, Balmer와 동료들의 연구8가 이 범위 검토에 포함되었음에도 불구하고(범주 레이블로 "암시적"을 사용했기 때문에), Ginsburg와 동료들의 연구9는 포함되지 않았음에도 불구하고(세 가지 트리거 용어인 숨겨진, 암시적, 비공식적 모두를 피했기 때문에), 우리는 둘 다 "HC 연구"로 간주하며, 이 결론은 로렌스와 동료들의 검토 측면에서 Ginsberg와 동료들의 연구를 잘못된 부정으로 만드는 것은 우연이 아닙니다.  
Finally, in spite of the fact that Balmer and colleagues’ study8 was captured in this scoping review (because of its use of “implicit” as a category label) and Ginsburg and colleagues’ study9 was not (because it eschewed all of the three trigger terms: hidden, implicit, informal), we consider both to be “HC studies”—a conclusion which not-so-incidentally makes Ginsberg and colleagues’ study a false negative in terms of Lawrence and colleagues’ review.

앞의 단락에서 두 가지 중요한 자격 요건과 관련 논거를 살펴봤습니다. 첫째, HC 현상에 대한 모든 연구가 이러한 일반적인 이론적, 방법론적 틀에 속하기 위해 '숨겨진 커리큘럼'(또는 커리큘럼)이라는 용어를 사용해야 하는 것은 아닙니다. 예를 들어, 모든 참가자가 그룹 문제에 대한 대안적 해결책이 공식적인 규칙의 테두리를 벗어난다는 사실을 (연구를 통해) 충분히 알 수 있는 경우에도 해결 방안에 대한 연구를 HC 연구로 간주하는 것이 적절하고 개념적으로도 풍부하다고 생각할 수 있습니다. 이러한 유형의 일탈을 추구할 때 발생하는 상호주관성은 사회적 행위자가 자신의 사회적 지위를 손상시키지 않으면서 규칙을 어디까지, 어떤 맥락에서 구부릴 수 있는지에 대한 암묵적인 이해와 관련이 있습니다. 이 가상의 예에서 우리가 요청하는 것은 가상의 저자가 우회 방법을 실행하는 미시적인 사회적 상호작용을 "숨겨진" 것이 아니라 "비공식적인" 것으로 언급했다는 점입니다. 

The preceding paragraph brings us to two important qualifications and related arguments. First, not all studies of HC phenomena need to use the term “hidden curriculum” (or curricula) to fall within this general theoretical and methodological framework. For example, we would consider it appropriate, as well as conceptually enriching, to imagine a study on workarounds to be an HC study, even when it is abundantly clear (from the study) that all participants share understandings that their alternative solution to a group problem stands outside the boundaries of what the formal rules say should be taking place. The intersubjectivity generated from the pursuit of this type of deviancy relates to implicit understandings of how far and in what contexts social actors can bend the rules without compromising their social standing. All we would ask, in this hypothetical example, is that the fictional authors refer to the micro social interactions of executing the workaround as “informal” rather than “hidden.”

둘째, 이와 관련하여 로렌스와 그의 동료들처럼 연구자들이 프로젝트를 "HC 연구"라고 명명했음에도 불구하고 숨겨진 것이 아니라 비공식적인 사회적 관행에 대한 연구를 접한 적이 있습니다.3 그러나 이러한 관행이 위에서 언급한 것처럼 이 개념이 공식적인 사회적 과정과 공식적이지 않은 사회적 과정 사이의 단절 가능성을 사고하고 방법론적으로 탐구하기 위한 일반적인 조직 프레임워크이자 휴리스틱한 고안으로 기능할 수 있다는 사실을 바꾸지는 않습니다.3 이러한 탐구가 이루어지는 방식과 현상의 특정 뉘앙스를 분류하는 방식은 다양해야 한다고 주장합니다. 사회 역학의 복잡성은 이러한 이질성과 다양성을 보장합니다. 

Second, and related, we, like Lawrence and his colleagues, have encountered studies of social practices that are more informal than hidden even though the investigators have marqueed the project as an “HC study”3; however, this practice does not change the fact that the concept—as noted above—can function as a general organizing framework and a heuristic devise for thinking about and methodologically exploring the potential for disjunctures between formal and other-than-formal social processes.3 How this exploration takes place and how particular nuances of the phenomenon are labeled, we argue, should be varied. The complexity of social dynamics warrants such disparateness and diversity.

숨겨진 HC 문학
The Hidden HC Literature

앞서 논의한 내용을 고려할 때, 독자들은 세 가지 벡터를 따라 숨겨진 HC 연구의 사례를 고려해 보시기 바랍니다. 첫째, 긴즈버그와 동료들의 연구에서도 알 수 있듯이,9 관련 연구는 비정상적, 대안적 또는 전자연적 개념을 사용했다는 이유로 주어진 범위 검토에 포함되지 않을 수 있습니다. 로렌스와 동료들이 배포된 개념의 범위를 제한하라는 요구는 개념적 풍요로움의 손실을 초래할 수 있다고 생각합니다. 우리는 이론적 구성의 한계와 다양한 맥락에서의 적용 가능성을 명확히 하는 등 이론적 구성에 대한 지속적인 비교를 통해 한 분야의 개념적 성장이 제한되기보다는 촉진된다고 믿습니다. 
Given our preceding discussion, we invite readers to consider the case of hidden HC studies—and to do so along three vectors. First, and illustrated by Ginsberg and colleagues’ study,9 pertinent studies might not be included in a given scoping review by virtue of having used an aberrant, alternative, or preternatural concept. The call by Lawrence and colleagues to restrict the range of concepts deployed would, in our view, fuel a loss of conceptual richness. We believe a field’s conceptual growth is facilitated—rather than limited—by an ongoing comparison of theoretical constructs, including the articulation of their limits and applicability in different contexts.

두 번째 유형의 숨겨진 HC 문헌은 다른 곳에서 언급된 바 있으며3, 겉으로 드러나는 모든 목적이 장르 외부에 있는 작품으로 구성됩니다. Campbell과 동료들의 전국적인 의학 전문직업성 설문조사12가 그 예입니다. 조사 결과 중 저자들은 의사들이 "일반적으로 제안된 전문직 규범에 동의"하지만 "보고된 행동이 ... 항상 그러한 규범에 부합하는 것은 아니었다"고 지적합니다.12 이 결과는 HC와 직접적인 관련이 있지만, 저자들은 HC를 개념으로 전개하지 않았고, 의학교육 문제, 문화적 전달의 한 형태인 역할 모델링 또는 직업 정체성 형성, 사회화 및 학습 환경과 같은 관련 이슈로 논의를 확장하지도 않았습니다. 데이터를 고려할 때 합법적으로 그렇게 할 수 있었을까요? 물론입니다. 그럼에도 불구하고 그들은 그렇게 하지 않았고, 이것이 바로 이 연구가 "숨겨진" HC 연구인 이유입니다. 또한 이 연구는 다른 연구들과 함께13,14 전통적으로 조직화된(즉, 키워드 기반) HC 범위 검토로는 포착되지 않는 연구입니다.
A second type of hidden HC literature has been mentioned elsewhere3 and consists of work that for all apparent purposes stands outside the genre altogether. Campbell and colleagues’ national survey of professionalism in medicine12 is an example. Among their findings, the authors note that although physicians “generally agree with proposed professional norms,” their “reported behavior … did not always conform to those norms.”12 Although this finding has direct HC implications, the authors did not deploy the HC as a concept, nor did they extend its discussion to issues of medical education, to role modeling as a form of cultural transmission, or to related issues such as professional identity formation, socialization, and the learning environment. Might they have legitimately done so given their data? Absolutely. Nonetheless, they did not, and this is why this study is a “hidden” HC study. It also is a study, along with others,13,14 that would not be captured by a traditionally organized (i.e., keyword-based) HC scoping review.

다른 곳에서 HC 개념을 사용해 본 연구자를 포함하여 HC 개념에 친숙한 연구자라도 자신의 주장에 가장 적합하다고 생각되면 사용을 포기할 수 있습니다. 우리가 보기에, 파워포인트 슬라이드, 역량 및 화면 읽기가 의료 학습 환경에서 어떻게 "완벽한 인지 폭풍"을 구성하는지에 대한 Wear의 분석15은 특히 문제를 구성하고 데이터를 해석하는 방식을 고려할 때 HC 논문이라고 할 수 있습니다. 캠벨과 동료들의 연구와 마찬가지로,12 Wear의 분석은 전통적으로 조직화된(즉, 키워드 기반의) HC 범위 검토로는 포착되지 않으며, 심지어 Wear의 다른(그리고 더 공식적으로 태그가 지정된) 논문16,17이 Lawrence와 동료들의 범위 검토에 포함되었습니다. 우리는 사회생활의 공식적 차원과 공식적이지 않은 차원 사이의 근본적인 차이에 관심이 있는 연구자는 '캠벨식' 및 '웨어식' 연구를 접할 때 열린 '범위 지정 마인드'를 유지해야 한다고 생각하며, 이는 공식적으로 그렇게 분류된 논문만 존재할 수 있다고 믿는다면 일어날 수 없는 일이라고 생각합니다.
Even researchers intimately familiar with the HC concept, including those who have used it elsewhere, can forego its use when they feel their arguments are best served by doing so. In our view, Wear’s analysis15—of how PowerPoint slides, competencies, and screen reading constitute a “perfect cognitive storm” within medical learning environments—is an HC article, particularly given how Wear frames her problem and interprets her data. Like Campbell and colleagues’ study,12 Wear’s analysis would not be captured by a traditionally organized (i.e., keyword-based) HC scoping review—even as other (and more formally tagged) articles by Wear16,17 made the cut for Lawrence and colleagues’ scoping review. We believe that researchers who are interested in the underlying distinction between formal versus other-than-formal dimensions of social life need to keep an open “scoping mind” when encountering “Campbellesque” and “Wear-like” studies, which cannot happen if they believe that the only HC articles that can exist are those formally labeled as such.

셋째, HC에 대한 연구 이전에도, 그리고 지금도 계속되고 있는 풍부한 이론적 프레임워크와 개념적 도구가 있습니다. 의학교육 문헌에서는 HC를 교육 분야의 초기 연구로 추적하는 경향이 있지만, 이 개념은 사회학 분야, 특히 케임브리지(매사추세츠) 학계와 더 밀접하게 연관되어 있습니다.

• 우리가 알고 있는 가장 초기의 HC 관련 문헌은 1965년 하버드 박사 학위를 받은 프레드 스트로트벡(Fred L. Strodtbeck)18의 보고서/출판물이며, 이후 1970년대 초에 "중산층 가정의 숨겨진 교육과정"에 대한 연구가 하버드 논문과 논문으로 다수 발표되었습니다.3
• 한편, 매사추세츠 애비뉴에서 1마일 반 거리에 있는 매사추세츠 공과대학(MIT)의 벤슨 스나이더 교수19는 1960년대에 MIT와 웰즐리 대학의 학생 학습 전략을 비교 분석하는 데 기초가 될 데이터를 수집하기 시작했으며, 이를 '숨겨진 커리큘럼'이라고 제목을 붙였습니다.
• 하버드 대학원생 시절에 발표된 로버트 K. 머튼의 예상치 못한 결과 이론11(1936년), 표면적 기능과 잠재적 기능에 대한 그의 후기 연구,20 그리고 의학교육의 사회학에 대한 그의 획기적인 연구(학생-의사)21 등 여러 하버드 학생 및 교수진의 사회학적 연구와 HC의 관계는 더욱 밀접한 관련이 있으며, 여기서 그는 현대 의학 HC 장학금에서 비공식적이고 숨겨진 교육과정의 전달의 핵심으로 널리 알려진 역할 모델링 개념을 도입했습니다.
• 1961년(이번에는 북쪽으로 3마일 떨어진 곳에서) 시카고 대학의 사회학자 에버렛 C. 휴즈가 터프츠 대학에 도착했습니다. "공식적인 교육"과 "병동 경험" 사이의 격차를 강조한 휴즈의 간호교육에 대한 초기 연구22는 간호교육이 오랫동안 집중해온 "이론-실무 격차"23에 대한 기초를 형성하는 데 도움이 되었으며, 이는 HC와 강력한 개념적 연관성을 지닌 개념입니다. 우연히도 휴즈는 1950년대 말과 1960년대 초에 의학교육에 관한 두 번째 주요 연구인 하워드 베커와 동료들의 Boys in White를 수행할 연구팀의 멘토가 되기도 했습니다.24 

Third, there is a wealth of theoretical frameworks and conceptual tools that precede—yet continue to surround—work on the HC. Although the medical education literature tends to trace the HC to earlier work in the field of education, the concept has more proximal linkages to the field of sociology, in particular to the Cambridge (Massachusetts) academic community.

• The earliest HC reference we are aware of is a 1965 report/publication by Fred L. Strodtbeck,18 a Harvard PhD, whose study of “the hidden curriculum in the middle class home” was followed by a scattering of Harvard theses and dissertations during the early 1970s.3 
• Meanwhile, a mile and a half down Massachusetts Avenue, Massachusetts Institute of Technology (MIT) professor Benson Snyder19 began collecting data in the 1960s that would form the basis of his comparative analysis of student learning strategies at MIT and Wellesley College—something he titled The Hidden Curriculum.
• More proximal still are the HC’s ties to sociological works by several Harvard students and faculty, including Robert K. Merton’s (1936) theory of unanticipated consequences11 (published as a Harvard graduate student), his later work on manifest versus latent function,20 and his landmark study on the sociology of medical education (The Student–Physician),21 in which he introduced his concept of role modeling, a vehicle widely identified within contemporary medical HC scholarship as core to the transmission of informal and hidden curricula.
• In 1961 (and this time three miles to the north), former University of Chicago sociologist Everett C. Hughes arrived at Tufts University. Hughes’ early studies on nursing education,22 which highlighted the gap between “formal instruction” and “ward experience,” would help form the basis for nursing education’s long-standing focus on the “theory–practice gap”23—a concept with strong conceptual linkages to the HC. Not so incidentally, Hughes also mentored the research team that would carry out the second major study of medical education in the late 1950s and early 1960s, Howard Becker and colleagues’ Boys in White.24

우리의 전반적인 요점은 맥락적 민감성과 포용성입니다. HC를 명시적으로 식별하거나 명시적으로 라벨을 붙인 작품으로 제한하면 HC에 대해 많은 것을 배울 수 있지만, 너무 적게 배울 수도 있습니다. 사회과학, 교육, 간호 분야에서 HC와 유사하고 HC에 대한 정보를 제공하는 풍부한 연구는 특히 학습의 공식적 차원과 공식적이지 않은 차원, 그리고 보다 일반적으로 사회생활 사이의 춤에 대한 이해에 기여합니다.25 우리는 연구자들이 용어를 정의하고 변수를 명확하게 조작해야 한다는 Lawrence와 그의 팀 및 MacLeod4 의 의견에 동의하지만, 개념 어휘를 제한하는 것이 이 저자들이 지적한 문제에 대한 해결책이라고 생각하지 않습니다.  
Our overall point is one of contextual sensitization and inclusiveness. Although one can learn a great deal about the HC by limiting oneself to works that explicitly identify or expressly label the HC, one also can learn too little. A wealth of work within the social sciences, education, and nursing that is HC-like and HC-informing contributes to our understandings of the dance between formal and other-than-formal dimensions of learning specifically, and social life more generally.25 Although we concur with Lawrence and his team and MacLeod4 that researchers should define their terms and clearly operationalize their variables, we do not feel that restricting the conceptual lexicon is a solution to the problems identified by these authors.

두 가지 주요 논문
Two Key Articles

위에서 언급한 바와 같이, 맥레오드4 논문은 저자들이 스코핑 검토의 존재 이유를 스스로 밝힌 것입니다. 따라서 이 논문을 다시 살펴봄으로써 로렌스와 공동 저자들이 도출한 결론에서 왜 그리고 어떻게 벗어나는지 더 잘 설명하고자 합니다. 맥리드는 이 개념에 문제를 제기하기 위해 다음과 같은 여러 가지 도발적인 문제를 제기합니다:

• (1) 한때 '급진적'이고 '혁명적'이었던 개념이 시간이 지나면서 어떻게 '보편적'이 되었는지,
• (2) 한때는 숨겨져 있었지만 지금은 '쉽게 인식되는' 현상을 '비공식적'으로 분류해야 하는지, 아니면 공식적인 교육 환경의 일부로 분류해야 하는지;
• (3) '숨겨진 커리큘럼'이라는 단일 명칭은 잘못된 명칭이며, 우리가 분석하고자 하는 것은 여러 개의 '숨겨진 커리큘럼'으로 개념화하는 것이 가장 적합하다는 점,
• (4) 그녀가 가장 중요한 문제라고 밝힌 것은, "특정 관행에 '숨겨진'이라는 이름을 붙인 후과"이다. 즉, 그러한 '숨겨진' 이라고 명명함으로써, 그 명칭이 어떻게 행동에 대한 책임을 "스스로 부인하게" 할 수 있는지이다.

As noted above, the MacLeod4 article stands as the authors’ self-identified raison d’être for their scoping review. We thus revisit this article to better outline why and how we depart from the conclusions drawn by Lawrence and coauthors. In seeking to problematize the concept, MacLeod raises a number of provocative issues, including the following:

• (1) how a once “radical” and “revolutionary” concept may have become “commonplace” over time;
• (2) whether a phenomenon once hidden, but now “handily recognized,” should be categorized as either “informal” or perhaps even part of the formal educational landscape;
• (3) how the singular (hidden curriculum) is a misnomer, and that what we seek to analyze is best conceptualized as multiple “hidden curricula”; and
• (4) what she identifies as her most important issue, “the consequences of naming a particular practice ‘hidden’”—including how such a label might “allow us to disavow ourselves of responsibility” for action.

저희는 위의 모든 내용에 동의합니다. 특히 마지막 문제, 즉 어떤 것을 '숨겨진'이라고 명명하는 것이 어떻게 손댈 수 없거나 심지어 존재하지 않는 상태로 격상시킬 수 있는지에 대해 흥미를 느낍니다. 맥레오드가 제기한 문제 외에도, 누가 '숨겨진 것'을 범위를 벗어난 것으로 분류할 수 있는 권한을 가지고 있으며, 그러한 관행으로 인해 누가 이득을 볼 수 있는지에 대해서도 질문합니다. 이 과정에서 어떤 종류의 특권과 권력이 (재)생산될까요? 실제로 우리는 미시적인 과정을 통해 무언가를 '손댈 수 없는 것'으로 만드는 행위를 HC 효과로 연구할 수 있다고 주장할 수 있습니다. 맥레오드는 다른 주장과 마찬가지로 "우리 의학교육계는 문제가 되는 [HC] 관행을 파악하는 데 탁월한 성과를 거두었다"고 결론을 내리고, 따라서 오늘날의 필요성은 "만연한 교육 문제, 즉 실제로는 그렇게 숨겨져 있지 않은 것들"을 해결하는 것이라고 말합니다. 또는 지금까지 표적이 되어온 문제와 관련 개선 노력이 특권을 반영하고 있는 것은 아닌지 궁금합니다. 보건 전문직 교육 내에서 권력과 특권이라는 보다 근본적인 문제가 계속해서 방해받지 않고 도전받지 않고 방치되고 있는 것일까요? 

We agree with all of the above. We are particularly intrigued by the last issue, how the labeling of something as “hidden” might elevate it to the status of untouchable or even nonexistent. In addition to the issues MacLeod raises, we also ask, Who has the power to label something “hidden” as out-of-bounds, and who benefits from such practices? What kinds of privilege and power are (re)produced in this process? Indeed, we would argue that the act of rendering something “untouchable” through micro processes can be studied as an HC effect. In line with her other arguments, MacLeod concludes that “we in medical education have done a superb job in identifying the problematic [HC] practices,” and thus, she continues, today’s need is to address the long list of “pervasive educational issues—the things that really aren’t so hidden.” Alternatively, we wonder if what has been targeted thus far, along with related remedial efforts, reflects privilege? Do the more fundamental issues of power and privilege within health professions education continue to lie undisturbed and unchallenged?

HC 개념의 광범위한 사용은 이 용어가 더 광범위한 사회정치적 관계에 어떻게 연관되어 있는지 해체할 필요가 있다는 신호라는 결론을 내렸기 때문에(이 용어를 완전히 추방하라는 요구가 아니라) 로렌스 팀은 MacLeod4 논문과 마르티미나키스 및 동료들의 범위 검토를 연결할 수 있었습니다.2 마르티미나키스 팀2은 HC 구조를 의사 휴머니즘과 명시적 또는 묵시적으로 연결한 6개의 의학 교육 저널에 발표된 200건의 논문을 확인했습니다. 그러나 로렌스 팀과는 달리, 저자가 특정 HC 정의를 적용하지 않았더라도 HC 현상을 언급한 논문도 포함했습니다. 마르티미나키스와 공동 저자들은 전통적인 분류학적 접근법(범위 검토와 일치하는)을 넘어 비판적 담론 분석과 주제 분석 기법을 적용함으로써 검토에 포함된 텍스트를 데이터로 취급하여 HC의 구성과 휴머니즘의 아이디어를 연결함으로써 얻을 수 있는 교육적 효과를 도표화할 수 있었습니다. 그 과정에서 그들은 부정적인 역할 모델링을 초래하는 의사 교사의 도덕적 침식에 대한 강한 집착을 확인했습니다. 인본주의 진료에 대한 이러한 인식은 의대생과 교수진의 문제 행동을 겨냥한 개혁과 같은 특정 유형의 개입/대응을 다른 유형보다 우선시하는 결과를 낳았지만 조직, 기관, 더 광범위한 사회정치적 관계가 그러한 문제 행동을 유발할 수 있는 방식에 대한 고려는 거의 없었습니다. 학생, 다른 수련의, 교수진의 행동을 규제하는 것을 지나치게 강조하다 보니 전문직업성과 인본주의26가 혼동되고, 보건 경제, 정치, 관행에 반영된 직장의 이해관계가 어떻게 그리고 왜 교육적 이상과 어긋나게 되는지에 대한 인식이 부족해졌습니다. 결론적으로, 마르티미나키스와 동료들2은 보건 전문직 교육자들에게 전문직업성 문제와 휴머니즘 문제를 의도적으로 분리하는 것이 어떻게 다른 종류의 HC 연구와 교육 개혁에 기여할 수 있는지, 즉 의료 교육이 사회정치적 진공 상태에서 이루어지지 않는다는 것을 인정하는 것에서 시작되는 것을 고려하도록 도전합니다.  

A conclusion that the pervasive use of the HC concept signals the need to deconstruct how the term is implicated in broader sociopolitical relations (rather than a call to banish the term altogether) might have allowed the Lawrence team to bridge the MacLeod4 article and Martimianakis and colleagues’ scoping review.2 The Martimianakis team2 identified 200 articles published in six medical education journals that explicitly or implicitly linked the HC construct to physician humanism. In contrast to the Lawrence team, however, they included articles that referenced the phenomenon of the HC even if the authors did not deploy a specific HC definition. By moving beyond a traditional taxonomic approach (which is consistent with scoping reviews), and by applying critical discourse analysis and thematic analysis techniques, Martimianakis and her coauthors were able to treat the texts in their review as data, and thus chart the educational effects of linking the construct of HC to ideas of humanism. In the process, they identified a strong preoccupation with the moral erosion of physician teachers that results in negative role modeling. These perceived attacks to humanistic care resulted in the privileging of certain types of interventions/responses over others—namely, reforms targeting problematic behaviors of medical students and faculty members—but with very little consideration for how organizations, institutions, and broader sociopolitical relations might give rise to such problematic behaviors. This overemphasis on regulating the behaviors of students, other trainees, and faculty has contributed to the conflation of professionalism and humanism26 along with an underappreciation of how and why workplace interests reflected in health economics, politics, and practices become misaligned with(in) educational ideals. In conclusion, Martimianakis and colleagues2 challenge health professions educators to consider how the deliberate disentanglement of professionalism issues from humanism issues might contribute to a different kind of HC study and educational reform, one that begins by acknowledging that medical training does not happen in a sociopolitical vacuum.

이론적 전환의 과제
The Challenge of Theoretical Conversion(s)

이제 결론에 도달했습니다. 마르티미나키스 연구팀2의 범위 검토는 HC 구성이 의학교육 연구에서 점점 더 많이 활용됨에 따라 어느 정도 개념적 변이를 겪어온 과정을 보여줍니다. 과거에는 주로 사회 구조 및 시스템 수준의 개입에 초점을 맞추던 의학교육 내 개선 노력이 개인과 해로운 영향에 대한 회복력을 발휘하는 능력에 초점을 맞추기 시작하면서 상대적으로 발견되지 않은 리모델링을 거쳤습니다.

• 이러한 변화는 Ng와 동료들이 의학교육 내에서 성찰 담론이 "원래의 성찰 및 성찰적 실천 이론과 어떻게 분리되었는가"에 대해 보고한 것과 유사합니다.
• 마찬가지로, 리츠와 공동저자28는 사회적 책무성의 개념이 어떻게 그 의미에서 "현저한 다양화"("사회적 반응성" 및 "사회적 책임"과 같은 용어와의 혼용 포함)를 겪었을 뿐만 아니라 어떻게 "비판적 분석의 영역을 넘어 독립적으로 존재하는 것처럼 보이는 담론의 영역으로" 격상되었는지를 기록합니다.
• 마지막으로, 바르피오와 동료들은29 방법론적 틀이나 이론적 개념이 한 학문에서 다른 학문으로 전수될 때 이를 온전하게 유지하는 것이 거의 불가능에 가깝다는 점을 자세히 설명합니다.

This brings us to our concluding point. The scoping review by the Martimianakis team2 makes visible how the HC construct has undergone a degree of conceptual mutation as it has become increasingly deployed within medical education research. What once (within education) focused predominantly on social structural and systems-level interventions underwent a relatively undetected remodeling as remediation efforts within medical education began focusing on individuals and their ability to manifest resilience to pernicious influences.

• This transmutation is similar to one reported by Ng and colleagues27 on how the discourse of reflection within medical education has become “divorced from original theories of reflection and reflective practice.”
• Similarly, Ritz and coauthors28 document not only how the concept of social accountability has undergone a “marked diversification” in its meaning (including a conflation with terms like “social responsiveness” and “social responsibility”) but also how it has become elevated “to a realm of discourse where it appears to have an independent existence … beyond the realm of critical analysis.”
• Finally, in a broadly framed argument, Varpio and colleagues29 detail how keeping a methodological framework or theoretical concept intact when it is being expropriated from one discipline to another is nigh impossible.

이 전이 문제를 제기하면서 우리는 다시 맥레오드에게로 돌아가,4 먼저 HC 개념을 문제점으로 도출한 다음, "따라서" HC가 "그 과정을 거쳤다"는 그녀의 우려에 도달합니다. 우리는 맥레오드가 문제를 제기하는 것을 부끄러워하지 않지만, 우리가 우려하는 것은 (마르티미나키스와 동료들이 제안한 것처럼2) 문제가 되는 것은 개념 자체보다는 개념이 특권에 의해 편향적으로 적용될 가능성입니다. 즉, 의학교육자들은 다른 전문직과의 관계에서 의사의 보수가 어떻게 설정되는지를 포함하여 의료 자원 문제와 같은 [구조적 또는 제도적 장치가 직장에서의 비전문적 행동에 어떻게 기여할 수 있는지 탐구하기]보다는, [학습자와 교사의 행동을 규제하는 데] 더 집중할 가능성이 높습니다.

In raising this issue of transmutation, we again reach back to MacLeod,4 first to her distillation of the HC concept as a problem, and then to her “therefore” concern that HC has “run its course.” Although we unabashedly endorse MacLeod’s predilection to problematize, our concern is with the possibility (as suggested by Martimianakis and colleagues2) that what is problematic is the concept’s biased-by-privilege application rather than the concept itself. That is, medical educators are more likely to focus on regulating behaviors of learners and teachers rather than exploring how structural or institutional arrangements such as health resourcing issues, including how physician remuneration is set up in relation to other professions, may contribute to unprofessional behaviors in the workplace.

지금까지 공유한 모든 사례에서 우리는 의학을 상당한 문화적 영향력을 가진 힘의 장으로 보고 있으며, 따라서 그 경계 내에서 현상이 전개되는 방식을 "구부리거나", 재구성하거나, 왜곡할 수 있는 분야로 보고 있습니다. 또한, 의학은 "문화가 없는 문화"30라는 공상적인 믿음으로 인해 이러한 힘의 장이 더욱 악화되고 있으며, 따라서 문화의 보다 기본적이고 공통적이며 주관적인 힘의 외부 또는 그 위에 존재하는 사회적 관행의 한 형태라고 생각합니다. 리츠와 동료들을 떠올리면,28 헤게모니는 자기기만적이고 자기 강화적이며 궁극적으로 자기 영속적인 것으로 간주됩니다.

In all the examples we have shared thus far, we view medicine as a force field of considerable cultural influence, and thus a field that can “bend,” reshape, or otherwise distort how phenomena unfold inside its boundaries. Furthermore, we see this force field being exacerbated because of medicine’s fanciful belief that it is a “culture of no culture”30 and therefore a form of social practice that resides outside or above the more base, common, and subjective forces of culture. Recalling Ritz and colleagues,28 we see hegemony as self-deluding, self-reinforcing, and ultimately self-perpetuating.

따라서 HC 및 보건 전문직 교육의 경우, 계급 투쟁이 의학교육의 포스트 실증주의적 출발점에 거의 포함되지 않았기 때문에 HC의 마르크스주의적 뿌리(그리고 그에 상응하는 체계적 불평등에 대한 초점)는 의학교육 청중에게 거의 보이지 않았습니다.31 
Thus, and in the case of the HC and health professions education, the Marxist roots of the HC (and the corresponding focus on systemic inequities) largely have been invisible to a medical education audience because class struggles rarely have been part of medical education’s postpositivist starting points.31

그럼에도 불구하고 우리가 강조하고 싶은 점은, 비록 이 개념이 "잘못 적용"되었지만, (잃어버린 계보의 산물인) HC는 마르크스주의를 포함한 다른 비판적 형태의 학문이 자리 잡을 수 있는 패러다임적 토대를 개발하는 데 기여했다는 점입니다. 예를 들어 Ng와 동료27는 사람들의 일상과 노동에 기반을 두고 있기 때문에 마르크스주의적 기반이 강한 페미니스트 방법론인 제도적 민족지학의 교리를 의학 청중에게 소개합니다. 이들은 제도 민족지학의 초석인 '문제적'이라는 개념을 설명하는 것으로 시작합니다. 이들은 문제적인 것이 "현존하는 문헌에서 발견되는 것이 아니라 사람들의 일과 경험을 뒷받침하는 사회적 관계에서 발견되기 때문에 연구 문제와는 다르다."27(54쪽) 이어서 사람들의 일과 경험을 뒷받침하는 사회적 관계가 어떻게 "즉각적인 시야에서 숨겨져 있으며" "지역 및 지역 외 관행의 복잡한 그물망"의 일부인지를 설명합니다. 의학교육 맥락에서 기관 민족지학을 적용하는 것은 연구자들이 문화와 구조에 대한 설명을 넘어 일상적인 일상적 관행이 커리큘럼 제공과 학습에 미치는 영향을 이해할 수 있게 해준다는 점에서 HC 효과를 차트화하는 학자들의 관심사와 분명히 비교할 수 있습니다. HC 구조와 기관 민족지학을 결합하면 의학교육자와 학자가 암묵적 및 비공식적 영향에 대해 알고 있는 것을 구축하고 향상시킬 수 있는 잠재력이 있으며, 이는 Webster와 동료들이 경험적으로 입증한 바 있습니다.32 

Nonetheless, and in a point we wish to emphasize—even as the concept has also been “misapplied”—the HC (a product of the lost genealogy) has contributed to the development of a paradigmatic foundation for other critical forms of scholarship to take hold, including Marxist. Ng and colleagues,27 for example, introduce to a medical audience the tenets of institutional ethnography, a feminist methodology with strong Marxist underpinnings because it is grounded in the everyday lives and work of people. They start by explaining the concept of the “problematic” a cornerstone of institutional ethnography. They note that the problematic “is different from a research problem” because it “is not found in the extant literature, but within the social relations underpinning people’s work and experience.”27(p54) They go on to describe how the social relations underpinning people’s work and experiences “are often hidden from immediate view” and are part of a “complex web of local and extra local practices.” The application of institutional ethnography in medical education contexts is clearly comparable with the interests of scholars charting HC effects, for it enables researchers to move beyond the description of culture and structures to understanding how routine day-to-day practices affect curriculum delivery and learning. Combining the use of the HC construct with institutional ethnography signals potential to build and enhance what medical educators and scholars know about tacit and informal influences, a point demonstrated empirically by Webster and colleagues.32

마무리 생각
Closing Thoughts

로렌스와 동료들의 범위 검토는 매우 훌륭합니다. 저자들의 기본 방법론과 논문 식별 및 분석에 대해 제공하는 세부 사항은 다른 검토의 롤모델이 될 수 있습니다. 또한 HC에 대한 네 가지 정의 영역(제도-조직, 대인관계-사회, 상황-문화, 동기-심리)을 구분하고 이러한 영역을 네 가지 학문적 렌즈(각각 정책, 사회학, 인류학, 심리학)에 매핑한 것도 주목할 만합니다. 이러한 맥락에서, 우리는 또한 연구자들이 다루고자 하는 연구 질문의 학문적, 이론적 뿌리(HC에 초점을 맞추든 맞추지 않든)를 어느 정도 파악하고 있어야 한다는 로렌스와 동료들의 요청을 지지합니다. 
Much of Lawrence and colleagues’ scoping review is admirable. The authors’ underlying methodology and the details they provide on article identification and analyses are a role model for other reviews. Also noteworthy is their discernment of four definitional domains (institutional-organizational, interpersonal-social, contextual-cultural, and motivational-psychological) for the HC, along with their mapping of these domains to four disciplinary lenses (respectively, policy, sociology, anthropology, and psychology). Within this context, we also endorse Lawrence and colleagues’ call for researchers to have some idea of the disciplinary and theoretical roots underscoring the research question(s)—HC focused or not—that they seek to address.

이 네 가지 영역을 통해 우리는 항상 개념적 이질성을 염두에 두어야 한다는 결론에 도달하게 됩니다. 다음 HC 범위 검토에서 '숨겨진', '비공식적', '암시적'(로렌스와 동료들의 검토의 근거)과 같은 키워드를 포기하고 대신 로렌스와 동료들이 제시한 것과 같은(반드시 이에 국한되지는 않음) 규율적 렌즈를 적용하여 기본 개념적 지형을 탐색하고 매핑하려고 한다면 어떻게 될까요? 위에서 살펴본 HC 사고의 사회학적 기원에 대한 간략한 탐구는 저희에게는 흥미로운 여정이었습니다. 다른 탐구도 비슷하게 진행될 수 있다고 생각합니다. 래빗홀은 마음을 확장하는 서식지가 될 수 있습니다. 앨리스에게 물어보세요. 
These four domains bring us to a closing enticement—always with an eye toward conceptual heterogeneity. What if the next HC scoping review abandons keywords such as “hidden,” informal,” and “implicit” (the basis for Lawrence and colleagues’ review) and, rather, seeks to explore and map the underlying conceptual landscape by applying disciplinary lenses such as (but not necessarily restricted to) those provided by Lawrence and colleagues? Our brief foray above into the sociological origins of HC thinking was an exciting excursion for us. We think other explorations might be similarly undertaken. Rabbit holes can be mind-expanding habitats. Just ask Alice.

결국, HC 프레임워크 내에서 작업하는 데 관심이 있거나 HC 현상을 탐구하는 데 관심이 있는 사람들은 두 가지 문제적인 단어와 싸워야 합니다: "숨겨진"과 "커리큘럼".

• 첫 번째는 사회적 학습의 대부분이 공식적인 학습 영역과 공식적이지 않은 다양한 학습 영역 사이의 중간 공간에서 일어난다는 것을 알고 있음에도 불구하고 학습의 보다 암묵적이고 의도하지 않은 암묵적인 측면으로 우리를 편향시킵니다.
• 두 번째는 우리가 부당하게 생각하는 교육이라는 사회적 제도에 대한 제한입니다. 학습의 사회적 역동성과 구조적 구조는 "커리큘럼"이라는 단어에서 일반적으로 떠올리는 것의 벽을 훨씬 뛰어넘습니다.

In the end, those of us interested in working within an HC framework or interested in exploring HC phenomena must contend with two problematic words: “hidden” and “curriculum.”

• The first biases us toward the more implicit, unintended, and tacit sides of learning—even as we know that much of social learning takes place within an interstitial space between the formal and a range of other-than-formal domains of learning.
• The second restricts us—unduly we think—to the social institution of education. The social dynamics and structural architecture of learning extend far beyond the walls of what commonly comes to mind when we say the word “curriculum.”

1965년 스트로트벡이 중산층 가정에서 HC를 발견한 것에서 교훈을 얻을 수 있을까요? 스트로트벡은 중산층 가정의 아동과 "의존적 빈곤층 아동"이 "거의 무의식적으로" 획득하는 사회적 이점에 대해 관심을 가졌습니다. 물론 스트로트벡이 고민했던 것은 아직 사회학 어휘집에 등장하지 않은 사회적 자본의 문제였습니다. 따라서 앨리스는 또 다른 구성 요소(사회적 자본)가 HC와 어떻게 상호작용할 수 있는지, 따라서 사회적 관계, 사회적 학습, 사회적 삶이라는 마술처럼 광활한 춤 속에서 HC를 재위치시키기 위해 끊임없이 도전받는 우리를 관찰하는 것을 기쁘게 여겼을 것입니다.

Perhaps there is a lesson in Strodtbeck’s18 1965 identification of an HC in the middle class home? Strodtbeck was concerned with the social advantages differentially and “almost unconsciously” acquired by children from middle class homes versus “children from the dependent poor.” What Strodtbeck was wrestling with, of course, was the issue of social capital—a term that had not yet made its way into the sociological lexicon. Alice would be pleased to thus observe us wrestling with how yet another construct (social capital) might interface with the HC, and thus how we continuously are challenged to resituate the HC within the magically expansive dance of social relationships, social learning, and social life.

평가에 대한 메타포의 사용과 남용(Adv Health Sci Educ Theory Pract. 2023)
On the use and abuse of metaphors in assessment
Jacob Pearce1 · Neville Chiavaroli1 · Walter Tavares2

토론: 평가에서 은유의 사용과 단점
Discussion: On the uses and disadvantages of metaphors in assessment

제목에서 은유의 '사용과 남용'이라는 다소 자극적인 표현에서 벗어나, 니체의 동일한 에세이(Nietzsche, 1997)의 다른 번역본(홀링데일 저)을 논의의 출발점으로 삼아 평가 맥락에서 은유의 '사용과 단점'을 보다 냉정하게 검토해 보려고 합니다. 제시된 다섯 가지 사례를 보면 은유가 평가에 가져다주는 가치가 무엇이든 그에 상응하는 비생산적인 연관성, 함의 또는 오해가 발생할 수 있는 것으로 보입니다. 따라서 은유를 사용할 때는 잠재적 장점과 그에 따른 잠재적 단점에 세심한 주의를 기울여야 합니다. 
Departing from the more provocative language of the ‘use and abuse’ of metaphor in our title, we take a different translation (by Hollingdale) of Nietzsche’s same essay (Nietzsche, 1997) as the starting point for our discussion, and examine, more dispassionately, the ‘uses and disadvantages’ of metaphor in assessment contexts. From the five examples given, it seems that whatever value a metaphor brings to assessment, there are potentially corresponding counterproductive associations, implications, or misinterpretations that may arise. We thus need to pay careful attention to potential advantages and their corollary potential disadvantages when using metaphors.

널리 받아들여지는 은유의 타당성에 대한 잠재적 자기충족성은 평가 프로그램의 방어 가능성에 영향을 미칠 수 있습니다. 예를 들어, 저희는 교육 활동에서 픽셀 은유(및 다른 은유)를 여러 번 사용했으며, 대부분 긍정적인 반응과 새로운 이해에 대한 뚜렷한 감각을 느낀 적이 있음을 인정합니다. 그러나 다른 경우에는 서로 다른 암묵적 가정에서 비롯된 잠재적 혼란을 발견하기도 했으며, 모든 은유가 그렇듯이 이 은유에도 한계와 오해의 소지가 있다는 것을 깨닫게 되었습니다. '신 용어god term'(비슷하게 직관적이지만 역시 한계가 있는 또 다른 은유)에 대한 링가드의 경고는 여기서 적절하며, 그녀는 은유가 "반복적인 사용과 친숙함을 통해" "자연스럽고 보편적이며 필연적인 현실의 질서를 암시하게 될 수 있다"(Lingard, 2009, 627쪽)고 지적합니다. 예를 들어, 픽셀 은유를 채택하는 것이 반드시 타당한 평가를 의미한다고 잘못 생각할 수 있습니다(예: 샘플링 대상과 이유에 대한 세심한 주의 없이 샘플링하는 것)(Tavares et al., 2020a, b). 
The potential self-fulfilling nature of the validity of widely accepted metaphors could have implications for the defensibility of an assessment program. For instance, we acknowledge that we have found ourselves drawing on the pixel metaphor (and others) many times in our educational activities, with mostly positive responses and even a palpable sense of new understanding. Yet on other occasions we have also noticed potential confusion, stemming from differing implicit assumptions, helping us realise that this metaphor, as with all metaphors, also has limitations and potential misleadings. Lingard’s warning about ‘god terms’(another metaphor, similarly intuitive but also limited) is relevant here, about which she notes that “through repeated use and familiarity” a metaphor may “become suggestive of a natural, universal and inevitable order of reality” (Lingard, 2009, p. 627). For example, one may incorrectly assume that adopting the pixel metaphor necessarily implies valid assessment (e.g., sampling without careful attention to what is being sampled and why) (Tavares et al., 2020a, b).

라코프와 존슨은 은유가 "개념을 더 정의하고 적용 범위를 변경하기 위한 체계적인 장치"가 될 수 있는 방법을 설명합니다(Lakoff & Johnson, 2003, 125쪽). 개념을 추론하는 데 사용되는 은유는 일관성이 없을 수 있으며, 이는 불협화음과 긴장을 유발할 수 있습니다. 이러한 불협화음은 생산적이고, 생성적이며, 변혁적일 수 있습니다(Bono, 1990). 즉, 평가 은유가 중요하다는 것이 요점입니다. 실제로 "은유적으로 생각하는 방식이 중요합니다."(Lakoff & Johnson, 2003, 243쪽). 이 다섯 가지 (그리고 다른) 평가 은유는 우리가 평가에 대해 생각하고 실천하는 방식을 변화시킵니다. Lakoff와 Johnson의 말을 빌리자면, "상상력이 풍부하고 창의적인 은유는 ... 우리의 경험을 새롭게 이해할 수 있게 해 줍니다. 따라서 은유는 우리의 과거, 일상 활동, 우리가 알고 믿는 것에 새로운 의미를 부여할 수 있습니다."(Lakoff & Johnson, 2003, 139쪽). 

Lakoff and Johnson outline how metaphors may be “systematic devices for further defining a concept and for changing its range of applicability” (Lakoff & Johnson, 2003, p. 125). The metaphors used to reason about concepts may be inconsistent (Lakoff & Johnson, 2003, p. 273), which can lead to dissonance and tension. Such dissonance can be productive, generative, and transformative (Bono, 1990) – the point being that assessment metaphors matter. Indeed, “How we think metaphorically matters” (Lakoff & Johnson, 2003, p. 243). These five (and other) assessment metaphors change the way we think about and practice assessment. In the words of Lakoff and Johnson, “metaphors that are imaginative and creative … are capable of giving us a new understanding of our experience. Thus, they can give new meaning to our pasts, to our daily activity, and to what we know and believe” (Lakoff & Johnson, 2003, p. 139).

우리는 은유 자체와 은유가 선택되어 평가에 적용되는 방식 사이에 또 다른 중요한 구분을 하고자 합니다. 이 글 전체에서 비판해 온 것은 후자이며, 실제로 은유의 인스턴스화는 더 많은 비판을 필요로 합니다. 니체가 역사에서 그랬던 것처럼, 은유가 평가에 방해가 되지 않고 평가에 도움이 되려면 은유를 주의 깊게 파악하고 정교화하거나 설명해야 한다고 판단합니다. 따라서 이러한 요구를 해결하기 위해 은유를 배치하기 전에 구체적인 평가 요구가 무엇인지 맥락에서 파악하는 것이 출발점이 되어야 합니다. 

We want to make another important distinction, this time between the metaphors themselves, and the way they are selected and applied to assessment. It is the latter that we have been critiquing throughout this piece, and the instantiation of metaphors in practice necessitate further critique. In the same way Nietzsche does for history, we determine that metaphors must be carefully grasped and elaborated or explained if they are to be useful in serving assessment needs, rather than hindering assessment. The starting point should thus be determining what the specific assessment needs are, in context, before any metaphor is deployed to address those needs.

아래 표는 평가 맥락에서 특정 은유를 적용하는 것의 유용성을 일반적인 용도/장점 및 식별 가능한 측면의 상응하는 위험/단점 측면에서 도출하기 위한 시도입니다. 은유를 사용하는 이유, 은유가 작동하는 방식, 고려해야 할 중요한 측면에 대한 유형입니다. 행위자가 은유의 특정 인스턴스화를 단점 또는 장점으로 보는지 여부는 행위자의 관점에 따라 달라질 수 있습니다.

The box below is our attempt to draw out the utility of applying specific metaphors in assessment contexts, in terms of general uses/advantages and corresponding dangers/disadvantages of identifiable aspects. This is our typology of why metaphors may be deployed, how they work, and important aspects to consider. Whether an actor sees a particular instantiation of a metaphor as a disadvantage or advantage is likely contingent on their vantage point.

 

© 2023. The Author(s), under exclusive licence to Springer Nature B.V.

사회문화적 학습이론과 학습을 위한 평가 (Med Educ, 2023)
Sociocultural learning theory and assessment for learning
Damian Castanelli

학습을 위한 평가는 프로그램 평가 및 역량 기반 의학교육(CBME)을 구현하는 데 있어 매력적인 동기 부여입니다. CBME가 광범위하게 채택됨에 따라 이제 전 세계 대학원 의학교육 프로그램에 직장 기반 평가(WBA)가 포함되고 있습니다. 그러나 실행 보고서에 따르면 WBA에서 학습을 위한 평가의 약속과 실현 사이에는 차이가 있을 수 있습니다. 실제로 교수진과 학습자는 요약 평가와 형성 평가를 혼동하고,1 수퍼바이저는 코치와 심사위원 역할을 동시에 수행하기 위해 고군분투하고,2 수련생은 공연 준비에 집중했습니다.3 많은 임상 교사와 수련생에게 학습을 위한 평가의 약속과 실현 사이의 간극은 틈새이며, WBA가 약속한 학습 포상금은 여전히 달성하기 어려운 것으로 나타났습니다. 
Assessment for learning is an enticing motivation for implementing programmatic assessment and competency-based medical education (CBME). With the widespread adoption of CBME, workplace-based assessment (WBA) is now embedded in postgraduate medical education programmes worldwide. However, implementation reports suggest that there may be a gap between the promise and realisation of assessment for learning in WBA. In practice, faculty and learners have confused summative and formative assessment,1 supervisors have struggled to act as both coach and judge,2 and trainees have focused on staging a performance.3 For many clinical teachers and trainees, the gap between the promise and realisation of assessment for learning is a chasm, and the promised learning bounty of WBA remains elusive.

많은 임상 교사와 수련생에게 학습을 위한 평가의 약속과 실현 사이의 격차gap가 틈새chasm입니다. 
For many clinical teachers and trainees, the gap between the promise and realisation of assessment for learning is a chasm.

이러한 배경에서 Martin 외4는 최근 검토에서 실제로 학습을 위한 평가의 성취를 안내할 수 있는 프레임워크가 없다는 점을 강조했습니다. 이에 따라 이들은 빌렛의 보건의료 업무를 통한 학습 모델5을 채택하여 검토의 틀을 마련하고, WBA가 학습에 미치는 영향에 대한 이해를 증진하기 위해 사회문화적 학습 이론을 사용해야 한다고 주장했습니다. 이 연구는 사회문화적 학습 이론이 WBA에서 학습 평가를 더 잘 실현하는 데 어떻게 도움이 될 수 있을까라는 질문을 자극합니다. 그러나 이 문제를 다루기 전에 학습을 위한 평가가 어떻게 작동해야 하는지에 대한 명확한 설명이 필요합니다.
Against this background, Martin et al.4 have highlighted in their recent review that there is no framework available to guide the achievement of assessment for learning in practice. In response, they have adopted Billett's model of learning through health care work5 to frame their review and argue for the use of sociocultural learning theories to further our understanding of the impact of WBA on learning. This work stimulates the question—How might sociocultural learning theory help us better realise assessment for learning in WBA? But before addressing this, clarification of how assessment for learning is supposed to work is required.

명확하게 표현되는 경우는 드물지만, 프로그램 평가와 CBME 모두 학습에 대한 구성주의적 관점을 취합니다.6,7 WBA의 초점은 임상 실습에서 수행되는 활동이며,

• 연수생은 능동적인 학습자로 간주되는 반면, 슈퍼바이저는 코치 또는 멘토로 간주됩니다.
• 수련자와 슈퍼바이저는 학습 결과 또는 역량으로 표현되는 학습 목표를 정의할 수 있으며, 최근에는 위임 가능한 전문 활동으로 표현하기도 합니다.8
• 목표는 수련자가 향후 실습을 향상시키기 위해 슈퍼바이저의 전문적인 판단에 접근하는 피드백 대화가 이어지는 것입니다.7
• 수련자는 필요한 수행 기준에 대한 슈퍼바이저의 관찰과 지식을 사용하여 자신의 수행에 대해 성찰하고 개선 방법을 계획하며,9 자기 주도적인 실습이 되기를 바랍니다.10
• 구성주의 관점에서 학습은 사고의 변화입니다. 교육생은 이전 경험을 바탕으로 다른 사람과의 상호작용 및 상황에 따라 능동적으로 지식을 재구성합니다.

Although seldom articulated clearly, both programmatic assessment and CBME take a constructivist view of learning.6, 7 The focus of a WBA is an activity performed in clinical practice, and

• trainees are viewed as active learners while supervisors are seen as coaches or mentors.
• The trainee and supervisor may have defined learning goals, expressed as a learning outcome or competency or, more recently, an entrustable professional activity.8 
• The aim is that a feedback conversation ensues where trainees access the expert judgement of supervisors to enhance their future practice.7 
• The trainee uses the supervisor's observations and knowledge of the required performance standard to help them reflect on their performance and plan how they will improve,9 with the hope that this will become a self-directed practice.10 
• From a constructivist viewpoint, learning is a change in our thinking. Trainees build upon their prior experiences and actively re-organise their knowledge in response to their interactions with others and their context.

연구자들이 학습을 위한 평가가 효과가 없다고 말하는 것은 이러한 과정이 일어나지 않는다는 것을 의미합니다. 
When researchers say assessment for learning is not working, they mean this process is not occurring.

사회문화적 학습 이론은 환경과의 관계를 강조하는 다양한 철학적 토대에서 출발합니다. 

• 사회문화적 관점에서 우리는 맥락의 영향을 받는 고립된 개체가 아니라 항상 사회 전체의 일부이며 사회와 분리될 수 없습니다.11 
• 사고하고 행동하는 우리의 능력은 활동과 실천에 대한 적극적인 참여와 관여에서 비롯됩니다.12, 13 
• 그러한 활동에 참여할 때 우리는 변화에 영향을 미치고, 변화를 받기도 합니다.13 
• 사회문화적으로 활동은 학습을 함의하며, 따라서 학습은 여러 활동 중 한 가지 유형이 아니라 모든 활동에 필수적인 요소입니다.14 

Sociocultural learning theories start from different philosophic underpinnings that emphasise our connection with our environment.

• From the sociocultural viewpoint, we are not isolated entities affected by context but are always a part of the social whole and cannot be separated from it.11 
• Our capacity to think and act arises from active engagement and participation in activity and practice.12, 13 
• When we engage in such activity, we both effect change and are changed.13 
• Socioculturally, activity implies learning, so that learning is not one type of activity among many but integral to all activity.14 

사회문화적 학습 이론을 사용하여 WBA에서 일어나는 일을 더 잘 이해할 수 있는 잠재적 이점은 이전에 제안되었지만,15 여기서는 이러한 철학적 뿌리에서 비롯된 WBA의 학습에 대한 두 가지 통찰력을 강조하고자 합니다. 

• 첫째, 학습은 항상 일어나며 의도적인 교수 또는 학습 활동에만 국한되지 않는다는 것입니다.
• 둘째, 학습은 사고의 변화를 넘어 우리 자신의 변화를 수반한다는 것입니다.

While potential benefits in using sociocultural learning theories to better understand what is happening in WBAs have been proposed previously,15 I will highlight here two insights into learning from WBA that flow from these philosophical roots.

• Firstly, that learning is always occurring and is not confined to intentional teaching or learning activities.
• Secondly, that beyond a change in thinking, learning involves a change in ourselves.

사회문화적으로 활동은 학습을 의미하므로, 학습은 여러 활동 중 한 가지 유형이 아니라 모든 활동에 필수적인 요소입니다. Socioculturally, activity implies learning, so that learning is not one type of activity among many but integral to all activity.

CBME의 학습 결과는 일반적으로 교육과정에 교육생이 원하는 역량으로 문서화되는데, 이는 교육과정이 제정된 맥락에서 벗어난 일반적이고 추상적인 의미입니다.16 학습이 학습 환경의 실천에 필수적인 사회문화적 관점에서 볼 때,17 

• 이러한 역량 또는 모든 실무자에게 기대되는 '표준적' 지식16 은 필수적이지만 학습해야 할 내용에 대한 불완전한 설명입니다. 
• 연수생은 실제 실습에 참여하여 특정한 물리적, 사회적 맥락에서 다른 독특한 개인과 상호 작용하면서 배웁니다. 
• 무엇을 배우고 어떻게 배울 것인지는 훈련생들의 참여와 그들이 인식하는 기회에 따라 달라집니다.17 
• 커리큘럼 설계자가 의도한 대로, WBA는 감독관이 훈련생들이 표준 지식을 사용할 맥락에서 학습할 수 있는 기회를 제공할 수 있습니다.15 
• 그러나 학습은 항상 일어나기 때문에 의도한 학습이 없는 것처럼 보이는 곳에서도 다른 학습이 일어날 수 있습니다. 

The learning outcomes in CBME are generally documented in curricula as the competencies desired of trainees, in a generic and abstract sense that is removed from the context in which they are enacted.16 From a sociocultural viewpoint, where learning is integral to the practices of the learning environment,17 

• these competencies, or the ‘canonical’ knowledge16 expected of all practitioners, are essential but incomplete descriptions of what is to be learned.
• Trainees learn from engaging in authentic practice, interacting with other unique individuals in particular physical and social contexts.
• What is to be learned and how it is learned depend upon their engagement and the opportunities they perceive.17 
• As curriculum designers intend, WBAs may provide an opportunity for supervisors to help trainees learn canonical knowledge in the context where it will be used.15 
• However, given that learning is always occurring, where intended learning appears absent, there will still be other learning.

장 라브는 '학습이 일어난다는 것은 문제가 되지 않는다... 학습된 것은 항상 복잡하게 문제가 된다'고 언급했습니다.14 향후 연구에서는 의도된 학습이 일어나고 있는지에 좁게 초점을 맞추기보다는 한 걸음 물러나서 WBA에서 어떤 학습이 일어나고 있으며 어떻게 발생하는지 탐구할 수 있습니다.15 이러한 연구는 학습을 위한 평가가 주로 훈련생이 표준 지식을 학습하도록 돕는다는 현재의 이해를 넓히고10 사회 문화적 관점에서 적절한 이론적 틀을 제공하는 데 도움이 될 수 있을 것입니다.
Jean Lave noted, ‘that learning occurs is not problematic … what is learned is always complexly problematic’.14 Rather than focusing narrowly on whether desired learning is occurring, future research could take a step back and explore what learning is occurring in WBA and how it comes about.15 Such research could help broaden our current understanding that assessment for learning primarily entails helping trainees learn canonical knowledge10 and a sociocultural perspective could provide suitable theoretical framing.

의도된 학습이 부재한 것처럼 보이는 경우에도 다른 학습이 있을 수 있습니다.
Where intended learning appears absent, there will still be other learning.

학습에 대한 사회문화적 이해에서는 지식을 동화시키고 '다르게 생각하는 법'을 배우는 것을 넘어, 수련생은 특정 맥락에서 전문직의 관행을 알고 이에 기여하게 됩니다.17 이러한 관행은 지역 역사 및 문화와 일치하지만, 각각의 재현은 고유하기 때문에 관행도 진화합니다. 수련생은 실습에 참여하는 동안 전문직의 가치와 신념에 동화됩니다.18 또한 수련생은 수퍼바이저와 자신을 차별화하여 기관의 한 개인이 되어 전문직 발전에 기여하고 실천 공동체의 완전한 구성원이 됩니다.18 Martin 등이 제안했듯이 향후 연구에서는 WBA가 학습의 이러한 측면에 어떻게 기여하는지 살펴볼 수 있습니다. 
In a sociocultural understanding of learning, beyond assimilating knowledge and learning to ‘think differently’, the trainee comes to know and contribute to the profession's practices in their particular context.17 Such practices concord with local history and culture, yet practice also evolves because each reproduction is unique. Trainees assimilate the profession's values and beliefs while they participate in practice.18 Additionally, trainees differentiate themselves from their supervisors, becoming an individual with the agency to contribute to the profession's development and assume full membership of their community of practice.18 As Martin et al. suggest, future research could explore how WBAs contribute to these aspects of learning.

사회문화적 관점에서, 의도한 대로 [학습을 위한 평가]를 달성하는 것으로 돌아가면, 수련생이 배우는 실무에는 전문직의 평가 관행이 포함됩니다. 임상 교사와 학습자가 학습을 향상시키기 위해 참여하는 활동인 WBA는 교육학적 관행을 나타냅니다.5 학습은 공동 생산되고 수련생은 자신의 경험, 가치, 동기를 가진 주체적 학습자이므로 수퍼바이저와의 상호작용은 각각 고유한 학습 사건을 나타냅니다. 슈퍼바이저와 실습생은 각 WBA에서 평가 실습이 어떻게 시행되는지에 대한 이해를 더합니다. 슈퍼바이저와 실습생은 참여를 통해 현지 평가 관행을 재현할 뿐만 아니라 잠재적으로 변화시킬 수 있습니다.
Circling back to achieving assessment for learning as intended, from a sociocultural point of view, the practices which trainees learn include the profession's assessment practices. WBA, as an activity that clinical teachers and learners participate in to enhance learning, represents a pedagogical practice.5 Since learning is co-produced and the trainee is an agentic learner with their own experience, values and motivation, each interaction with a supervisor represents a unique learning event. The supervisor and trainee add to their understanding of how assessment practice is enacted in each WBA. Through their participation, the supervisor and trainee not only reproduce but potentially change local assessment practices.

슈퍼바이저와 연수생은 참여를 통해 현지 평가 관행을 재생산할 뿐만 아니라 잠재적으로 변화시킬 수 있습니다.
Through their participation, the supervisor and trainee not only reproduce but potentially change local assessment practices.

WBA 연구에 사회문화적 프레임워크를 적용하면 WBA를 통한 학습의 복잡한 관계적, 맥락적 요소를 조사할 수 있습니다. 이러한 연구는 진화하는 WBA 문화에 대한 이해를 높이고 잠재적인 개선의 길을 제시할 수 있습니다. 예를 들어, 빌렛의 어포던스 및 참여 프레임워크는 직장에서 인식되는 초대적 특성이 연수생의 학습 참여에 어떻게 중요한 영향을 미치는지를 강조합니다.17 연수생의 참여 방식은 적어도 부분적으로는 감독자의 행동을 반영합니다. 따라서 각 WBA는 동기 부여가 된 감독자와 수련생이 현지 평가 실습이 원하는 방식으로 발전하도록 도울 수 있는 기회를 제공합니다. 
Applying a sociocultural framework in WBA research would allow us to examine the complex relational and contextual elements of learning through WBAs. Such research might enhance our understanding of the evolving culture of WBA and generate potential avenues for improvement. For example, Billett's framework of affordances and engagement emphasises how the perceived invitational qualities of the workplace critically influence trainee engagement in learning.17 At least in part, how the trainee engages reflects supervisor behaviour. Each WBA, therefore, represents an opportunity for motivated supervisors and trainees to help their local assessment practice evolve in the way they desire.

WBA 연구에 사회문화적 프레임워크를 적용하면 WBA를 통해 학습의 복잡한 관계적, 맥락적 요소를 조사할 수 있습니다.
Applying a sociocultural framework in WBA research would allow us to examine the complex relational and contextual elements of learning through WBAs.

학습을 위한 평가를 구현하는 것은 평가 관행의 혁신적인 변화를 의미하며7, 이러한 변화는 WBA 기간 동안 급격하게 부각됩니다. 직장 학습에 대한 사회문화적 이론은 학습을 위한 평가를 달성하는 데 방해가 되는 어려움을 더 잘 이해하고 이에 대응할 수 있는 매력적인 프레임워크를 제공합니다. 이러한 이론은 우리가 학습이라고 생각하는 것과 학습이 발생하는 시기를 확장할 수 있게 해줍니다. WBA를 재생산되면서 발전할 수 있는 관행으로 보는 것은 WBA를 개선하고 학습을 위한 평가를 더 잘 실현할 수 있는 새로운 기회를 제공할 수 있습니다.

Implementing assessment for learning represents a transformative change in assessment practice7 and that change comes sharply into focus during WBAs. Sociocultural theories of workplace learning provide an attractive framework to better understand and respond to the difficulties impeding us from achieving assessment for learning. They allow us to expand what we think of as learning and when we think learning occurs. Viewing WBAs as a practice that can evolve as it is reproduced may provide new opportunities to improve WBAs and better realise assessment for learning.

표면 아래로 긁어보기: 어떻게 조직문화가 교육과정 개편에 영향을 미치는가 (Med Educ, 2022)
Scratching beneath the surface: How organisational culture influences curricular reform 
Adarsh P. Shah1 | Kim A. Walker1 | Lorraine Hawick1 | Kenneth G. Walker2 | Jennifer Cleland3 

1 소개
1 INTRODUCTION