Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

협력적 수행능력의 상호의존성 측정의 접근법(Med Educ, 2021)
A scoping review of approaches for measuring ‘interdependent’ collaborative performances
Stefanie S. Sebok-Syer1 | Jennifer M. Shaw2 | Farah Asghar3 | Michael Panza4 | Mark D. Syer5 | Lorelei Lingard6

1 소개
1 INTRODUCTION

임상 성과Clinical performance 는 근본적으로 협업적입니다. 그러나 임상 성과의 평가는 근본적으로 개인주의적이다. 이것은 의학 교육에 심오한 의미를 갖는 개념적 역설이다. 우리는 시스템, 팀 및 관계의 중요성을 인정하지만 전통적인 평가 모델을 사용하여 이를 설명하지는 못한다. 평가는 종종 [복잡한 수행능력의 인위적인 단순화]로 간주되지만, 우리는 [복잡한 수행능력의 진정성]을 풍부하게 하기 위해 고군분투한다. 우리는 평가 데이터에서 [설명되지 않은 '노이즈']가 더 높은 수준의 패턴을 반영할 수 있다고 의심하지만, 우리는 그것을 이해할 이론이 부족하다. 이 역설을 해결하기 전까지는 효과적인 협업 의료 제공에서 개인의 역할을 의미 있고 진정으로 나타내는 강력한 평가를 제공할 수 없다.
Clinical performance is fundamentally collaborative. However, the assessment of clinical performance is fundamentally individualist. This is a conceptual paradox with profound implications for medical education. We acknowledge the importance of systems, teams and relationships, but we fail to account for them with our use of traditional assessment models. Assessments are often regarded as artificial simplifications of complex performances, but we struggle to enrich their authenticity. We suspect that the unexplained ‘noise’ in assessment data may reflect higher-level patterns, but we lack theory to make sense of it. Until we address this paradox, we cannot provide individuals with robust assessments that meaningfully and authentically represent their role in effective collaborative healthcare delivery.

직장 기반 임상 환경에서 개인은 협업 팀의 일부로 작업하며, 성과는 한 사람에게만 쉽게 귀속될 수 없다. 이 과제를 해결하기 위해 노력하는 연구자들은 팀의 '집단적 역량', 감독자, 다른 팀 구성원 및 시스템 요소와의 훈련생의 '상호 의존성', 임상 팀 성과에 대한 훈련생의 기여에 대해 설명했다. 그러나 이러한 노력의 지배적인 배경은 독립적 성과에 대한 강한 집중과 암묵적인 가정을 가진 평가 담론으로 남아 있다. 그 밖의 모든 것은 많은 통계적 모델에서 독립성의 가정에 도전하고 개인의 역량을 문서화하는 주요 목표를 훼손하기 때문에, 전통적으로 '통계적으로 성가신 것'로 간주된다. 이 목표는 필요하지만 충분하지 않습니다. [개별 성과]는 서로를 [보완 또는 모순, 수렴 또는 발산, 정교화 또는 약화]할 수 있기 때문에, 높은 품질의 의료 서비스는 [성과 간의 관계]를 이론화하고 측정할 수 있어야 합니다.
In workplace-based clinical settings, individuals work as part of a collaborative team, and performance cannot easily be attributed to one person alone.1-3 Researchers grappling with this challenge have described the ‘collective competence’ of a team,4 the ‘interdependence’5 of trainees with supervisors, other team members and system factors,6 as well as the contribution of trainees to clinical team performance.7 Yet the dominant backdrop to these efforts remains an assessment discourse with a strong focus on—and tacit assumption of—independent performances.8-10 Anything else is conventionally viewed as a ‘statistical nuisance’11 because it challenges the assumption of independence in many statistical models and detracts from the primary goal of documenting the competence of individuals. This goal is necessary but insufficient: high-quality health care requires that we are able to theorise—and measure—relationships among performances because individual performances can complement or contradict, converge or diverge, elaborate or undermine each other.12

[상호 의존성]의 구성을 둘러싼 복잡성은 임상 성과의 개념적 역설과 함께 추가적인 도전을 제시한다. 다양한 분야의 연구자들이 다양한 의미를 전달하기 위해 '상호의존'이라는 용어를 사용하게 되면서 일반적인 모호성을 초래했다. 연구자들 사이의 용어와 접근 방식의 가변성은 평가를 더 어렵게 만드는 데 기여할 수 있다. 넓게 봐서, [상호의존성]은 [경험과 결과에 영향을 미치는 개인 간의 상호작용 패턴]으로 특징지을 수 있다. 이 연구의 목적과 특히 의료 교육에 적용하기 위해, 우리는 [상호 의존성]을 [협력적으로 작업하여, 개인의 성과를 내게 하거나afford, 제한하고contrain, 잠재적으로 더 광범위한 의료 팀의 실천을 형성할 수 있는 개인 간의 상호 작용 패턴]으로 특징지었다.
The complexity surrounding the construct of interdependence presents an additional challenge alongside the conceptual paradox of clinical performance. Researchers from numerous disciplines have used the term ‘interdependence’ to convey various meanings, leading to general ambiguity.13 The variability in both terminology and approaches among researchers may contribute to assessment challenges. Broadly, interdependence can be characterised as patterns of interactions among individuals that influence experience and outcomes.14 For the purposes of this work and application to medical education specifically, we characterise interdependence as patterns of interactions between individuals, working collaboratively, that can afford or constrain one's performance and potentially shape the practice of a broader healthcare team.

우리가 아는 바로는, 현재 의학 교육에서 더 큰 그룹의 일부로 함께 일하는 개인들 사이에 관계가 존재하는 성과를 특성화하고 측정하기 위한 단일 접근법은 존재하지 않는다. 그러나 다른 많은 분야는 협업 성과를 평가하는 과제와 씨름하고 있으며, 그들의 노력은 유망한 접근 방식을 조정하고 지속적인 지식 격차를 목표로 하는 측면에서 우리 자신에게 알려야 한다.
To our knowledge, no single approach currently exists in medical education to characterise and measure performances where relationships exist among individuals working together as part of a larger group. However, many other disciplines are grappling with the challenge of assessing collaborative performance, and their efforts ought to inform our own, both in terms of adapting promising approaches and targeting persistent knowledge gaps.

2 방법
2 METHODS

우리는 다음 연구 질문을 해결하기 위해 범위 검토를 수행했다. 협업적이고 상호의존적인 성과를 의미 있게 평가하기 위해 어떤 측정 접근법이 존재하는가? 범위 검토는 연구 영역을 뒷받침하는 핵심 개념과 이용 가능한 증거의 주요 출처 및 유형을 매핑한다. 그것들은 이전에 검토되지 않은 분야의 문헌을 검토할 때 유용하다. 후속 조사 결과 분석의 깊이는 검토의 목적에 따라 달라진다. 정량적 체계적 검토와 같은 다른 유형의 검토와 달리 [범위 검토]는 연구 증거의 품질을 평가하지 않는다. 그러나 개별 연구의 강점과 한계를 고려하고 기존 지식의 체계를 비판한다. 우리는 주제에 대한 문헌을 검토, 요약 및 합성하기 위해 아크시와 오말리의 5단계 범위 검토 방법론을 따랐고 이 접근법에 대해 인정된 엄격성 원칙을 따랐다. 우리의 해석은 Levac 등이 권고한 비공식 이해관계자 협의에 의해 강화되었다. 
We conducted a scoping review to address the following research question: What measurement approaches exist to meaningfully assess collaborative, interdependent performance? Scoping reviews map the key concepts underpinning a research area and the main sources and types of evidence available. They are useful when reviewing literature in areas that have not been reviewed before. The depth of the subsequent analysis of findings depends on the purpose of the review. Unlike other types of reviews, such as quantitative systematic reviews, a scoping review does not appraise the quality of research evidence. However, it does consider the strengths and limitations of individual studies and critique the existing body of knowledge. We followed Arksey and O’Malley's five-stage scoping review methodology to review, summarise and synthesise the literature on a topic15 and followed accepted principles of rigour for this approach.16 Our interpretations were enriched by informal stakeholder consultations, as recommended by Levac et al.17

2.1 검색 전략
2.1 Search strategy

우리는 모든 분야에서 상호의존성의 구성을 측정하는 문헌을 식별하기 위한 검색 전략을 개발했다. 주요 용어: 협업 학습, 그룹 프로세스, 협력 행동, 교육 측정, 상호 작용 패턴, 팀워크, 다이애드 성과 모델링 및 그룹 성과 평가. 이러한 용어는 범위 검토 전문가의 권고에 따라 검토가 진행됨에 따라 수정 및 수정되었다.15 연구 사서의 지원을 받아 2018년 10월 ERIC, CINAHL, Academic Search Complete, PsycINFO 및 Medline의 5개 데이터베이스에 걸쳐 검색을 구현했다. Medline에 대한 검색 문자열은 부록 1에 설명되어 있습니다. 다른 모든 검색 문자열은 각 추가 데이터베이스의 구문 및 어휘로 변환되었습니다.
We developed a search strategy to identify literature on measuring the construct of interdependence from any discipline. Key terms included: collaborative learning, group process, cooperative behaviour, educational measurement, interaction patterns, teamwork, modelling dyad performance and assessing group performance. These terms were revised and adapted as the review progressed, as recommended by scoping review experts.15 With the support of a research librarian, we implemented the search in October 2018 across five databases: ERIC, CINAHL, Academic Search Complete, PsycINFO and Medline. The search string for Medline is included as illustration in Appendix 1. All other search strings were translated into the syntax and vocabulary of each additional database.

2.2 포함 및 제외 기준
2.2 Inclusion and exclusion criteria

우리는 모든 연도의 출판물과 이론 또는 응용 분야를 포함했다. 우리는 상호의존적 협업 성과의 측면을 측정하고 접근 방식이 어떻게 개발되었는지 이해할 수 있는 측정 또는 모델에 대한 충분한 세부 정보(복제할 수 있을 정도로)를 제공하는 작업을 추구했다.
We included any publications from all years and any domain of theory or application. We sought work that measured an aspect of interdependent collaborative performance and supplied sufficient details (ie enough to replicate) about the measure or model that we could understand how the approach was developed.

[개인의 성과만]을 측정하거나 [팀의 성과만]을 측정하는 작업은 제외했습니다. 팀 성과 측정과 상호의존적 성과 측정의 차이는 우리의 선정 과정에서 매우 중요했다. [팀 성과 측정 도구]는 [개별 구성원의 성과 격리 능력]을 제한하는 그룹 수준 결과에 초점을 맞춘다는 점에서 의료 훈련생 평가에 적합하지 않다. 초점의 측면에서, 그런 도구의 지향점은 팀 전체이다. 예를 들어, 의사소통의 차원은 일반적으로 개인에게 '환자 치료에 대한 팀원 간의 효과적인 의사소통이 있다'와 같은 진술에 동의하는 리커트 척도로 점수를 매길 것을 요청함으로써 평가된다. 이 구조는 개인의 기여를 포착하고 측정하는 방식으로 [둘 이상의 개인의 협력 결과를 조사하는 상호의존성 측정]과는 구별된다.
We excluded work that measured only individual performance or only team performance. The distinction between measuring team performance and measuring interdependent performance was critical to our selection process. Team performance measurement instruments are unsuitable for medical trainee assessment given their focus on a group-level outcome, which limits the ability to isolate the performance of individual members. In terms of focus, their orientation is the team-as-a-whole. For example, the dimension of communication is commonly assessed by asking individuals to score on a Likert scale their agreement with statements such as ‘There is effective communication between team members about patient care’.18 This construct is distinct from measures of interdependence, which examine a collaborative outcome from two or more individuals in a way that also captures and measures individual contributions.

특정 분야의 수많은 논문(예: 비즈니스 및 시뮬레이션)은 그룹 성과(예: 팀 성과, 응집력) 또는 개인 성과(예: 학습 인식)에 대한 유일한 초점을 고려할 때 제외되었습니다. 또한 측정 측면이 없는 작업(예: 커리큘럼 설명), 상호 의존성과 관련이 없는 교육적 측정(예: 전문가와 초보자 성과 간의 차이), 측정 애플리케이션을 설명하기 위한 경험적 데이터가 없는 완전한 개념적 작업, 영어 이외의 언어로 작업, 전체 원고를 얻을 수 없는 연구를 제외했다.
Numerous articles from certain fields (eg business and simulation) were excluded given their sole focus on group outcomes19 (eg team performance, cohesiveness) or individual outcomes20 (eg perceptions of learning). We also excluded work with no measurement aspect (eg curriculum descriptions), educational measurement not related to interdependence (eg differences between expert and novice performance), wholly conceptual work with no empirical data to illustrate a measurement application, work in languages other than English, and studies where the full manuscript was unavailable.

2.3 심사 및 선정
2.3 Screening and selection

세 명의 저자(SSS, FA, JMS)가 포함 및 제외 기준을 적용하여 제목과 요약(n = 10254)을 선별했다. 전체 텍스트 스크리닝(n = 131) 다음에 두 명의 저자(SSS, MDS)가 나옵니다. 두 선별 단계에서 두 명의 훈련된 검토자가 포함 및 제외 기준을 반영하기 위해 개발한 선별 가이드를 사용하여 각 기록을 선별했다. 불일치는 세 번째 검토자에 의해 해결되었다. 총 24개의 인용구가 포함 기준을 충족했다. 2020년 10월, 우리는 동일한 절차에 따라 검색을 업데이트했다. 최종 숫자가 표시된 PRISMA 다이어그램은 그림 1에서 확인할 수 있습니다. 3명의 저자(SSS, JMS 및 MP)가 제목 및 요약(n = 1598)에서 각 레코드를 선별했으며, 3명의 저자(SSS, MP 및 MDS)는 전체 텍스트 선별 단계(n = 30)에 참여하여 추가로 2개의 인용문을 제공했다. 포함된 26개의 모든 기록의 서지 목록은 관련 참고 자료를 손으로 검색했다: 14개의 제목과 요약본이 상영되었지만, 전문으로 진행된 것은 없었다. 마지막으로, 7개의 기사가 주요 정보원에 의해 추천되었고 1개는 추출에 성공하여 우리의 범위 검토 총 27개의 기사가 되었습니다. 이 범위 검토에 포함된 문헌 목록은 표 1에서 확인할 수 있다. 
Three authors (SSS, FA and JMS) screened titles and abstracts (n = 10 254), applying inclusion and exclusion criteria. Full-text screening (n = 131) followed by two authors (SSS, MDS). At both screening stages, two trained reviewers screened each record using a screening guide we developed to reflect inclusion and exclusion criteria. Discrepancies were resolved by a third reviewer. A total of twenty-four citations met inclusion criteria. In October 2020, we updated the search following the same procedures. The PRISMA diagram with final numbers can be found in Figure 1. Three authors (SSS, JMS and MP) screened each record at the titles and abstracts (n = 1598), and three authors (SSS, MP and MDS) engaged in full-text screening stages (n = 30), yielding an additional two citations for inclusion. The bibliographies of all twenty-six included records were hand searched for relevant references: fourteen titles and abstracts were screened, but none progressed to full text. Finally, seven articles were recommended by our key informants and one made it through to extraction bringing our scoping review total to twenty-seven articles. A list of the literature included in this scoping review is available in Table 1.

2.4 데이터 도표 작성 및 분석
2.4 Data charting and analysis

우리는 선택된 기록의 특징을 도표화하기 위해 내용과 주제 분석의 방법을 사용하여 서술적 분석을 수행했다. 반복적인 프로세스에 따라, 우리(SSS, JMS, LL)는 데이터 추출을 조직하고 연구 질문 및 목적과 일치하는지 확인하기 위해 데이터 차트 양식을 개발, 파일럿 및 업데이트했다. 우리는 기사 유형, 분야, 적용 맥락, 방법, 이론적 개념, 측정 기법, 임상 훈련 맥락에 대한 조치의 적용 가능성, 그리고 그러한 적용과 관련된 촉진 및 제한 요인에 대한 각 기록을 분석했다. 세 명의 검토자(SSS, JMS, LL)가 독립적으로 각 레코드의 데이터를 차트화하여 정기적으로 회의를 열어 프로세스를 논의했다. 특정한 전문성이 필요한 경우, 세 번째 검토자도 기록을 도표화했습니다. 예를 들어, 고급 수학 공식을 포함하는 기록이 있는 경우, MDS는 이러한 전문성을 제공했습니다.
We conducted a descriptive analysis using methods from content and thematic analysis21 to chart the features of the selected records. Following an iterative process,16 we (SSS, JMS, LL) developed, piloted and updated a data charting form to organise data extraction and ensure it was consistent with the research question and purpose.10 We analysed each record for article type, discipline, context of application, method, theoretical concepts, measurement techniques, applicability of the measures to the clinical training context, and facilitating and limiting factors related to such application. Three reviewers (SSS, JMS, LL) independently charted the data for each record, meeting regularly to discuss the process. Where particular expertise was required, a third reviewer also charted the record: for instance, where a record included advanced mathematical formulas, MDS provided this expertise.

2.5 이해관계자 협의
2.5 Stakeholder consultation

우리는 범위 검토 방법론의 여섯 번째 단계인 이해관계자와의 협의를 수행했다. Levac 등의 권고에 따라 이 단계에 대한 명확한 목적을 설정하고 예비 지식 전달 메커니즘으로 처리했다. 우리의 목적은 세 가지였다: 검토에서 명백한 것을 놓친 것이 있는지 확인하고, 이해관계자에게 패턴에 대한 우리의 해석이 타당한지 탐구하고, 그 결과가 임상 훈련 환경에 어떻게 적용될 수 있는지에 대해 그들을 참여시키는 것이었다. 이해관계자 협의는 인터넷 기반 화상회의를 통해 이루어졌으며, 1개의 그룹 발표와 5개의 개별 토론이 포함되었다. 그룹 발표는 50명 이상의 의학 교육 연구 이사회 회원, 검토 후원자 및 협업 임상 상황에서 훈련생 성과를 평가하는 문제에 익숙한 의료 교육 분야의 리더들과 함께 했다. 의학교육평가 전문가 2명, 의학교육 경험이 있는 통계학자 2명, 검토(즉 사회심리학)에서 대표되는 학문인 사회심리학 학자 1명 등 이해관계자의 목적적 표본을 중심으로 5건의 개별 대화가 진행됐다. 개별적인 대화에 앞서, 이해 관계자들은 우리의 주요 연구 결과에 대한 비디오 프레젠테이션을 시청했고 또한 검토를 위해 추출 요약 표를 받았다. 두 명의 연구원(SSS, LL)이 개별 토론을 진행했고, 한 명은 손으로 쓴 메모를 했다. 
We conducted a sixth stage of scoping review methodology: consultation with stakeholders. Following the recommendations of Levac et al,10 we established a clear purpose for this stage and treated it as a preliminary knowledge transfer mechanism. Our purpose was three-fold: to help identify whether we had missed anything obvious in the review, to explore whether our interpretation of patterns made sense to stakeholders and to engage them in reflecting on how the findings might apply to the context of clinical training environments. Stakeholder consultation took place over an Internet-based video conference and included one group presentation and five individual discussions. The group presentation was with 50+ members of the Society of Directors of Research in Medical Education, funders of the review and leaders in the medical education field who are familiar with the challenges of assessing trainee performance in collaborative clinical contexts. Five individual conversations took place with a purposive sample of stakeholders, including two medical education assessment experts, two statisticians with experience in medical education, and one scholar from social psychology, a discipline represented in the review (ie social psychology). Prior to individual conversations, stakeholders watched a video presentation of our main findings and were also sent the extraction summary table for review. Two researchers (SSS, LL) conducted the individual discussions, with one taking handwritten notes.

이 검토에서 공식적, 오디오 녹음 및 전사된 인터뷰에 대한 재정적 자원이나 윤리적 승인이 없었기 때문에, 우리는 참가자들에게 우리가 오디오 녹음도 안 하며, 말한 내용을 인용도 하지 않을 것이라고 알렸다. 따라서, 우리는 이해관계자 협의 단계의 전통적이고 인용된 '결과'를 제시하지 않는다. 오히려 이 단계를 사용하여 2020년 데이터베이스 검색 업데이트를 알리고 임상 환경에서 상호 의존적인 훈련생 성과를 측정하기 위한 연구 결과의 의미를 논의했다.
Given that we had neither financial resources nor ethical approval for formal, audiorecorded and transcribed interviews in this review, we informed participants that we would be neither audio recording nor using verbatim quotes. Therefore, we do not present conventional, quoted ‘results’ from the stakeholder consultation phase. Rather, we used this phase to inform our 2020 update of the database search and discussion of the findings’ implications for measuring interdependent trainee performance in clinical settings.

3 결과
3 RESULTS

검색은 2018년 10월에 수행되었으며 2020년 10월에 업데이트되었다. 스터디 선택 프로세스의 흐름도는 그림 1에 나와 있습니다. 최초 및 업데이트된 검색 결과 총 12732개의 기사가 검색되었습니다. 880건의 중복 배제 후 2명의 저자가 제목과 추상적 수준의 기사 11852건을 심사한 데 이어 포함·배제 기준에 반대하는 기사 161건에 대한 전문 심사가 이어졌다. 이해관계자 권고사항에 따라 추가 기사가 작성되었다. 총 27개 기사가 포함되도록 선정되었으며 각 기사의 관련 세부사항은 보충 자료 표 S1에서 확인할 수 있다.
Searches were conducted in October 2018 and updated in October 2020. A flow chart of the study selection process is provided in Figure 1. The initial and updated search resulted in a total of 12 732 articles. After the removal of 880 duplicates, two authors screened 11 852 articles at the title and abstract level, followed by a full-text review of 161 articles against the inclusion and exclusion criteria. Stakeholder recommendations yielded an additional article for inclusion; in total, twenty-seven articles were selected for inclusion and relevant details from each article are found in Supplementary Material Table S1.

논문 유형과 관련하여, 18개의 포함된 연구는 경험적이었고 9개는 경험적 삽화가 있는 개념적이었다. 경험적 측정 접근법을 위해 기법은 (a) 서술적/탐색적, (b) 추론적/예측적의 두 가지 범주로 구분되었다.

• [서술적이고 탐색적인 접근법]은 데이터의 요약과 표현을 의미 있는 방식으로 제시함으로써 데이터에 대한 기본적인 이해를 제공한다.
• [추론적이고 예측적인 접근법]은 미래의 성능을 예측하고, 패턴을 설정하고, 데이터 간의 관계를 정량화할 수 있는 기회를 제공한다.

Regarding article type, eighteen included studies were empirical and nine were conceptual with an empirical illustration. For the empirical measurement approaches, techniques were divided into two categories: (a) descriptive/exploratory and (b) inferential/predictive.

• Descriptive and exploratory approaches provide a basic understanding of data by presenting summaries and representations of data in meaningful ways.
• Inferential and predictive approaches provide an opportunity to predict future performance, establish patterns and quantify relationships among data.

18개 연구의 대부분은 정량적 방법론을 사용했다. 예를 들어, 한 연구는 유쾌하고 갈등적인 상호작용 과제 동안 우울증이 있는 어머니-딸의 다이애드 사이의 생물행동 동기화의 장애를 평가하는 통제된 실험을 포함했다. 15개의 연구에서는 각 그룹 구성원에게 크레딧을 할당하고 특정 그룹 구성과의 차이를 속성화하기 위해 1차원 및 다차원 항목 응답 모델을 사용한 연구와 같은 모델 테스트 방법론을 사용하였다. 발리우드 산업 내의 복잡한 사회 구조의 일부로서 개인을 조사하기 위해 네트워크 분석을 활용한 연구를 포함한 두 가지 연구가 탐색적 연구였다. 나머지 9개 연구는 혼합 방법 접근법을 사용했다. 예를 들어, 한 연구는 사회 중심적 질적 인터뷰와 사회 그래프를 사용하여 노인들 사이의 사회적 통합을 보조 생활에서 측정했다. 
The majority of studies (ie eighteen) used quantitative methodology. For instance, one study involved a controlled experiment assessing disruptions in biobehavioural synchrony between depressed mother/daughter dyads during pleasant and conflict interaction tasks.22 Fifteen studies used model testing methodologies, such as a study using unidimensional and multidimensional item response models to assign credit to each group member and to attribute differences from specific group configurations.23 Two studies were exploratory studies, including one that utilised a network analysis to examine individuals as part of a complex social structure within the Bollywood industry.24 The remaining nine studies used mixed-method approaches. For example, one study used sociocentric qualitative interviews and sociograms to measure social integration among older adults in assisted living.25

논문 중에는 교육 9개, 심리 9개, 컴퓨터 과학 5개, 수학 2개, 생물학 2개 등 다양한 분야가 대표적이었다. 또한 온라인 학습, 스포츠 수행, 상담 및 시뮬레이션을 포함하여 연구에 따라 적용 맥락이 다양했다.

• 교육기사 중 하나는 [비동기식 토론집단을 연구하는 맥락에서 다단계 모델링을 적용한 실제 사례]를 제시했다.
• 심리학 분야의 논문은 [가상 그룹 내의 비공식적인 의사소통을 통한 네트워크 자기관련성network autocorrelation이 온라인 게임에서 개인의 작업 성취에 어떻게 영향을 미치는지] 탐구했다.
• 컴퓨터 과학 분야에서는 [협업에 대한 피드백을 통해 자기 성찰과 감각 만들기를 촉진하기 위해 학생들의 온라인 협업 관행]을 설명하고자 하는 글이 시도되었다.
• 수학 분야의 한 논문은 상호작용이 표본의 다른 개인과 비교하여 파트너를 더 유사하게 만드는지 여부를 조사했다.
• 마지막으로, 생물학 분야에서, 한 기사는 [스포츠 팀]을 기능적으로 통합된 '슈퍼 유기체'로 개념화하여 고도로 조정된 협력 선수들이 단일 사회 단위로 어떻게 집단적으로 작동할 수 있는지에 대한 설명을 제안했다.

Various disciplines were represented among the articles, including nine from education, nine from psychology, five from computer science, two from mathematics, and two from biology. Additionally, the context of application varied across studies, including online learning, sports performance, counselling, and simulation.

• Among the education articles, one presented a practical example of applying multi-level modelling in the context of studying asynchronous discussion groups.26 A
• An article from the discipline of psychology explored how network autocorrelation, via informal communication within a virtual group, affected an individual's task achievement in an online game.27 
• From the computer science discipline, an article attempted to illustrate students’ online collaboration practices, in order to promote self-reflection and sense-making through feedback about collaboration.28 
• An article from the mathematics discipline examined whether interactions cause partners to become more similar compared to other individuals in the sample.29 
• Lastly, from the discipline of biology, an article conceptualised sport teams as functionally integrated ‘superorganisms’, proposing an explanation of how highly coordinated collaborating players might collectively operate as a single social unit.30 

이론적 개념과 관련하여 세 가지 주요 범주가 나타났다. 다이애드에 초점을 맞춘 기사(8개 기사), 다이애드보다 큰 그룹(11개 기사), 네트워크(8개 기사).
Regarding theoretical concepts, three main categories emerged: articles focused on dyads (8 articles), groups larger than dyads (11 articles) and networks (8 articles).

세 가지 주요 이론적 범주에서 각각 다양한 핵심 개념이 등장했다.

• [다이애드]를 다룬 논문의 경우, 핵심 개념은 배우-파트너 상호작용 모델, 생물행동 동기화, 심리생물학적 조정, 협업 상호작용 유형, 긍정적 및 부정적 상호작용 유형, 누적 경험, 동기화, 일관성, 상호조절, 연결 및 교환 가능한 다이애드 멤버였다. 
• [그룹]에 초점을 맞춘 기사와 관련하여, 핵심 개념은 협업 학습 모델, 입력-과정-결과 모델, 행위자-파트너 상호작용 모델, 영향력 및 시간적 의존성이었다. 
• 마지막으로, [네트워크로서의 그룹]을 연구하는 논문의 경우, 핵심 개념은 정도 중심성, 초 유기체, 무작위 행렬 이론, 중앙 집중화, 상태 이론, 소셜 네트워크 이론 및 네트워크 자기 상관 모델이었다. 

Various key concepts emerged from each of the three main theoretical categories.

• For articles addressing dyads, key concepts were the actor-partner interaction model,26, 31 biobehavioural synchrony,20 psychobiological attunement,20 collaborative interaction types,32 positive and negative reciprocity,28 cumulative experience,33 synchrony,34 coherence,31 coregulation,31 linkage31 and distinguishable vs. exchangeable dyad members.26 
• Regarding articles that focused on groups, the key concepts were collaborative learning models,35 input-process-outcome models,36 actor-partner interaction model,26, 28 influence37 and temporal dependence.38 
• Lastly, for articles studying groups as networks, key concepts were degree centrality,22, 34, 39-41 superorganism,27 random matrix theory,16 centralisation,36 status theory,38 social network theory22, 34, 36-38, 42 and network autocorrelation model.24 

행위자-파트너 상호작용 모델과 중심성 정도degree centrality은 두 개 이상의 논문에서 나타난 유일한 이론적 개념이었다.

• 행위자-파트너 상호작용 모델은 적절한 통계 기법을 상호의존성의 개념적 관점과 결합하면서 이원적 관계를 나타낸다. 행위자 효과는 개인의 특성에 대한 척도가 그들 자신의 결과를 예측할 때 발생한다. 파트너 효과는 개인의 결과가 파트너의 이전 행동에 의해 예측될 때 발생한다. 이 핵심 개념은 심리학 분야의 두 기사에서 나타났으며, 둘 다 적용의 상담 맥락 안에 있었다.
• 소셜 네트워크 분석에서의 중심성 정도는 특정 노드가 포함하는 연결 수를 말하며, 네트워크에서의 중심성을 나타냅니다. 학위 중심성을 포함한 6개의 논문 중 4개는 심리학 분야에서 나왔고, 1개는 컴퓨터 과학 분야에서, 1개는 교육 분야에서 나왔다.

The actor-partner interaction model and degree centrality were the only theoretical concepts that appeared in more than one article.

• The actor-partner interaction model represents dyadic relationships while combining appropriate statistical techniques with a conceptual view of interdependence.43 The actor effects occur when a measure of individual's characteristics predicts their own outcome. The partner effects occur when an individual's outcome is predicted by a partner's earlier behaviour. This key concept appeared in two articles from the discipline of psychology, both within the counselling context of application.28, 44 
• Degree centrality within social network analysis refers to the number of connections a specific node contains, indicating its centrality in a network. From the six articles that included degree centrality, four were from the discipline of psychology,22, 36-38 one from the discipline of computer science39 and one from the discipline of education.34

설명적 추출과 함께, 개념과 기법이 임상 맥락에 어떻게 적용될 수 있는지, 그리고 그러한 적용과 관련된 제한 또는 촉진 요인과 같은 해석적 추출 질문이 포함되었다. 우리는 다이애드 측정, 소셜 네트워크 매핑, 데이터 마이닝 및 기계 학습의 세 가지 반복 개념을 참조하여 해석적 추출 결과를 설명할 것이다. 이 세 가지 개념은 각각 여러 논문에 등장했으며 의학 교육에 잠재적으로 유익한 적용을 제공한다.
Alongside the descriptive extraction, interpretive extraction questions were included, such as how concepts and techniques might be applied to the clinical context, and the limiting or facilitating factors related to such application. We will illustrate the results of the interpretive extraction with reference to three recurring concepts:

• dyad measurement,20, 26, 28, 29, 31, 45 
• social network mapping,22, 34, 36-39 and
• data mining and machine learning.24, 25, 32, 33, 38, 46, 47 

These three concepts each appeared in multiple papers and offer potentially fruitful application to medical education.

[다이애드 측정]과 관련하여, 임상 결과의 얼마나 많은 부분이 전공의에게 기인하는지 분석하는 것과 같이, 감독자/전공의상호 의존성에 대한 작업을 추가하기 위해 측정 모델을 구축하는 데 접근법을 활용할 수 있다. 예를 들어, 한 기사는 개인 단위와 결합된 공연 단위로서 짝을 이룬 선수들 사이의 관계를 보여주는 경쟁적인 치어리더 공연을 포함했다. 한 가지 제한 요인은 고유한 쌍의 반복 성능을 얻을 수 없다는 것입니다. 촉진 조건은 정의되고 측정될 수 있는 결과(예: 시간 및 효율성)를 포함한다.
Regarding dyad measurement, approaches could be utilised to build measurement models to further our work on supervisor/resident interdependence, such as parsing out how much of a clinical outcome is attributable to a resident. For example, one article involved competitive cheerleading performances that demonstrated the relationships between paired athletes as individual and combined performing units.42 One limiting factor would be the inability to get repeat performances of unique pairs. A facilitating condition includes an outcome that can be defined and measured (eg time and efficiency).

[소셜 네트워크 매핑]과 관련하여 접근법을 사용하여 특정 임상 활동에 참여하는 개인을 매핑하여 상호의존성의 축이 가장 강한 위치(예: 중심성)를 입증할 수 있다. 예를 들어, 한 기사의 분석에는 팀의 성과에 가장 중요한 사람이 누구인지를 결정하기 위해 각 개별 행위자가 있는 시뮬레이션과 없는 시뮬레이션이 포함되었다. 잠재적 한계에는 각 개별 에이전트의 행동이 집단 성과에 동일하게 기여한다는 가정이 포함되며, 이는 임상 훈련 환경에서 적용되지 않을 수 있다. 촉진 요인에는 대학원 교육 프로그램에서 볼 수 있는 소규모 샘플(즉 ~ 30개) 사이의 효과 가능성이 포함된다.
Regarding social network mapping, approaches could be used to map individuals engaging in a particular clinical activity, demonstrating where the axes of interdependence are strongest (eg centrality). For example, analysis in one article involved simulations with and without each individual actor to determine who was most critical to the team's performance.39 A potential limitation includes the assumption that each individual agent's behaviour contributes equally to collective performance, which may not hold true in clinical training environments. A facilitating factor includes the possibility of effectiveness among smaller samples (ie ~30) such as might be seen in postgraduate training programmes.

[데이터 마이닝 및 기계 학습]과 관련하여, 클릭을 분석하기 위해 전자 건강 기록(EHR)과 같은 기존 데이터베이스와 함께 접근법을 사용할 수 있다. 예를 들어, 온라인 협업 글쓰기 과제와 관련된 한 기사는 수정 횟수와 수행된 변경의 길이를 정량화하여 학생들의 상호작용과 기여를 조사했다. 한 가지 잠재적인 제한 요소는 컴퓨터화된 데이터 환경의 필요성입니다. 또 다른 문제는 온라인 학습 연구에서 임상 환경으로 데이터를 변환하는 데 어려움이 있다는 것입니다. 연구자들은 간단하고 셀 수 있지만 관련성이 있고 의미 있는 EHR 작업을 식별할 필요가 있을 것이다. 촉진 요인에는 더 작은 샘플 크기(즉 ~100)로 다단계 모델링의 가능성이 포함된다.

Regarding data mining and machine learning, approaches could be used with existing databases, such as the Electronic Health Record (EHR), to analyse clicks. For example, one article involving online collaborative writings tasks examined students’ interactions and contributions by quantifying the number of revisions and the length of changes performed.44 One potential limiting factor is the necessity of a computerised data environment. Another is the difficulty in translating data from online learning studies to the clinical setting: researchers would need to identify simple and countable—yet relevant and meaningful—EHR actions. A facilitating factor includes the possibility of multi-level modelling with smaller sample sizes (ie ~100).

상호의존성 측정과 관련된 다양한 주제들이 이해관계자들과의 대화에서 등장했다. 첫째, 이해관계자들은 이 검토의 필요성을 논의하면서 [현재 연구의 격차]를 언급했다. 그들은 [상호의존성 개념의 참신성novelty]을 접근법의 차이와 불일치의 핵심적인 이유로 보았다. 이해관계자들은 또한 여러 목적이 가능하며, 이 개념이 평가와 팀워크에 관한 광범위한 문헌에 어떻게 사용될 수 있는지에 대한 영향을 포함하여 [상호의존성 측정의 목적을 명확하게 정의할 필요]가 있음을 시사했다. 이해관계자들은 측정 분산을 설명하기 위해 이러한 접근방식을 사용할 수 있는 가능성에 대해 열정적이었으며 교수진/감독관 다이애드, 팀 및 임상 단위와 같은 임상적 맥락에서 다양한 수준에서 상호의존성의 영향을 조사하기 위한 사용에 관심이 있었다. 또한 이해관계자는 [다단계 모델링, 구조방정식모델링, 지시 비순환 그래프 및 소셜 네트워크 분석]을 포함하여, 상호의존성과 관련된 [다양한 통계적 접근방식의 장단점]에 대해 의견을 제시했다. 일부 강점에는 데이터 네스팅에 대한 설명이 포함되었고, 일부 약점에는 [통계적 배경이 거의 없거나 전혀 없는 교육자가 측정 모델에 접근할 수 있도록 하는 것]이 포함되었다. 측정할 수 없지만 의료 팀 내에 존재하는 복잡한 복잡성을 포착하기 위한 [질적 접근 방식을 유지하는 것의 중요성]도 강조되었다.
Various themes relating to the measure of interdependence emerged during conversations with stakeholders. Firstly, stakeholders mentioned the gap in current research, discussing the necessity of this review. They viewed the novelty of the concept of interdependence as a key reason for both the gap and the inconsistency in approaches. Stakeholders also alluded to the need to clearly define the purpose of an interdependence measure, given that multiple purposes are possible, with implications for how the concept could be used both for assessment and for the broader literature on teamwork. Stakeholders were enthusiastic about the potential to use these approaches to account for measurement variance and were interested in their use to examine the impact of interdependence at various levels in a clinical context, such as faculty/supervisor dyad, team and clinical unit. Additionally, stakeholders commented on the strengths and weaknesses of the various statistical approaches relating to interdependence, including multi-level modelling, structural equational modelling, directed acyclic graphs and social network analysis. Some strengths included accounting for nesting in data and some weaknesses included making the measurement models accessible to educators with little or no statistical background. The importance of retaining qualitative approaches to capture the intricate complexities that are immeasurable, yet exist within healthcare teams, was also emphasised.

마지막으로, 많은 이해관계자들은 상호의존성 측정이 프로그램 평가에 어떻게 적합한지, 그리고 그것을 [의학 교육에서 실용적이고 실현 가능하게 만드는 방법]에 대해 논의했다. 그들은 헬스케어는 상호의존성을 측정하기 위한 복잡한 맥락을 나타낸다는 것을 인식하였다. 따라서 몇몇은 임상 환경 내의 다이애드(예: 감독자 및 수습자)가 환자 치료 및 학습 결과와 같은 요인에 기초하여 교직원과 수습자를 쌍으로 구성할 수 있는 잠재력을 가지고 있기 때문에 상호 의존성의 구성을 측정하기 시작하는 데 가장 적절한 출발점일 수 있다고 제안했다.
Finally, a number of stakeholders discussed how an interdependence measurement might fit within programmatic assessment and how to make it practical and feasible in medical education. They recognised that health care represents a complex context for measuring interdependence because of the ever-changing group composition. Therefore, several suggested that dyads (eg supervisor and trainee) within clinical settings may be the most appropriate starting point to begin measuring the construct of interdependence because it has the potential to pair faculty members with trainees based on factors such as patient care and learning outcomes.

4 토론
4 DISCUSSION

이 검토는 상호의존성 측정과 관련하여 제한적으로 발표된 지식 기반을 발견했다. 대부분의 연구는 개인과 팀을 모두 고려하는 상호의존적 측정과 달리 개인 또는 팀 차원 측정을 대상으로 했기 때문에 선별 과정에서 제외되었다. 우리가 발견한 지식은 5개 학문분야와 6개 하위 분야의 기사와 함께 흩어져 있습니다. 의학 교육에서 지식은 특히 부족하며, 관련 기사는 단 두 개뿐이다. 우리가 검토한 기사들은 매우 다양한 이론적 개념을 사용했다. 그들은 또한 이론적 개념과 측정 기법 모두에 대한 [용어적 일관성이 부족하다]는 것을 보여주었다. 예를 들어, [연결, 관계, 상호작용 및 중심성 정도]과 같은 이론적 개념은 모두 [사람이나 사물 사이에 존재하는 상호의존적인 연결]을 가리킨다. 측정 기법 내에서 다단계 모델링, 계층적 선형 모델링 및 선형 성장 모델은 데이터가 독립적이지 않은 회귀 기반 모델에 대한 변형 용어이다. 여러 개념의 존재와 유사한 현상을 언급하기 위해 다른 용어를 사용하는 것은 개념이 연구에서 연구로 정제되지 않는 학문적 영역을 시사한다. 오히려, 비록 많은 분야의 학자들이 상호의존성을 측정하는 문제와 씨름하고 있지만, 그들은 아마도 다른 분야의 관련 이론이나 기술을 알지도 못하면서 평행선을 달리고 있다. 이러한 [용어적 문제]는 상호의존성(다중 상황에서 관련성이 있는 현상)을 포착하기 위한 새로운 측정 모델의 진화가 간헐적이고 누적되지 않으며 분리된 이유를 설명할 수 있다.
This review found a limited published knowledge base relating to the measurement of interdependence. The majority of studies were excluded during screening because they targeted either individual or team-level measurements, as opposed to interdependent measures which consider both the individual and team. The knowledge we did find is scattered, with articles from five disciplines and six sub-disciplines. Knowledge is particularly scarce in medical education, with only two relevant articles identified. The articles we reviewed employed a wide variety of theoretical concepts. They also demonstrated a lack of terminological consistency for both theoretical concepts and measurement techniques. For example, theoretical concepts such as links, relationships, interactions and degree centrality all refer to interdependent connections that exist between people or things. Within measurement technique, multi-level modelling, hierarchical linear modelling and linear growth models are variant terms for regression-based models where data are not independent. The presence of multiple concepts, and the use of different terms to refer to similar phenomena, suggest a scholarly domain in which concepts are not refined from study to study. Rather, although scholars from many fields are grappling with the problem of measuring interdependence, they are working in parallel tracks, perhaps not even aware of relevant theory or techniques from other disciplines. Together, these terminological issues might explain why the evolution of new measurement models to capture interdependence—a phenomenon of relevance in multiple contexts—has been intermittent, non-cumulative and segregated.

이 검토에 설명된 다양한 상호의존적 측정 기법은 임상 훈련 맥락에 대한 잠재력을 가지고 있다. 상호의존성을 단순한 '통계적 골칫거리' 이상으로 다루기 위한 전략들이 있다. 예를 들어, [다단계 모델링]은 서로 다른 수준의 변수를 통합하여 중첩된 데이터를 처리하기 위한 프레임워크를 제공하여 연구자가 개별 및 그룹 수준 요인을 모두 측정할 수 있도록 하기 때문에 유망하다. 비록 [측정 접근법]은 임상 훈련 상황에서 보통 가용한 샘플 수보다 더 큰 샘플 크기를 요구하지만, 우리는 중간 규모의 대학원 프로그램과 유사한 샘플을 사용한 몇 가지 연구를 발견했다.
Various interdependent measurement techniques described in this review have potential for the clinical training context. There are strategies to deal with interdependence as more than just a ‘statistical nuisance’. For example, multi-level modelling has promise as it provides a framework for dealing with nested data by incorporating variables at different levels, enabling researchers to measure both individual and group-level factors. And although measurement approaches often demand a larger sample size than is available in clinical training contexts, we did find some studies that used samples comparable to medium-sized postgraduate programmes.

그러나 여러 척도를 결합한 연구가 가장 흥미로울 수 있다. 예를 들어, 기술적 접근법(예: 네트워크 분석)과 예측 측정 접근법(회귀 기반 기술)을 결합하면 네트워크의 특성을 체계적으로 이해하고 네트워크 내에 존재하는 특정 상호의존성 패턴의 영향을 입증할 수 있는 조치를 만들 수 있는 기회를 제공한다.
However, research that combines multiple measures may be of most interest. For example, combining descriptive approaches (eg network analysis) with predictive measurement approaches (ie regression-based techniques) offers the opportunity to systematically understand the nature of a network and create measures that can demonstrate the impacts of specific patterns of interdependence that exist within it.

우리가 발견한 [기술적 접근법]과 [예측적 접근법]을 모두 결합한 측정 접근법의 가장 좋은 예는 Gin 등의 논문이다. 이 연구에서 저자들은 남녀 다이애드에 초점을 맞추고 다이애드 아이템 반응 이론(dIRT) 모델을 사용하여 스피드 데이팅 세션 동안 두 개인 사이에 존재하는 상호 작용을 포착했다. 저자들에 따르면, dIRT 모델은 이진 데이터의 측정을 위해 [문항 반응 이론]과 [사회적 관계]를 모두 활용한다. 그들은 이 접근법이 개별 접근법으로 측정할 수 없는 상호 매력과 같은 상호작용을 포착한다는 것을 발견했다. 또한 종속척도는 10점 등급 척도(이후 5점 척도로 압축됨)를 이용한 일련의 대응이었다. 이 결과 측정은 협력적인 직장 기반 환경에서 훈련생을 평가하는 데 가장 일반적으로 사용되는 위탁 척도 및 기타 등급 척도와 일치합니다. 간단히 말해서, 이 논문은 의료 교육 분야에서 상호 의존성을 측정하기 위한 중요한 고려 사항을 강조한다.

• (a) 다이애드로 시작한다(예: 감독관-의사-의사-의사 또는 의사-의료 보조자). 
  
• (b) 개인 간의 상호 작용을 조사하기 위해 일종의 사회적 관계 또는 소셜 네트워킹 접근법을 사용한다. 
  
• (c) 회귀 기반 모형을 사용하여 협업(또는 내포) 성능을 측정할 수 있도록 순서형 또는 비율 결과를 사용할 수 있습니다.

The best example we found of a measurement approach that combines both descriptive and predictive approaches is the paper by Gin et al.48 In this study, the authors focused on dyads of male and females and used a dyadic item response theory (dIRT) model to capture the interactions that exist between two individuals during speed dating sessions. According to the authors, the dIRT model utilises both Item Response Theory and Social Relations for the measurement of dyadic data.48 They found that this approach captured interactions, such as mutual attractiveness, that are not measurable by individual approaches. Furthermore, the dependent measure was a series of responses using a 10-point rating scale (which was later collapsed to a 5-point scale). This outcome measure is consistent with entrustment scales and other rating scales most commonly used to assess trainees in collaborative, workplace-based environments. In short, this paper48 highlights important considerations for measuring interdependence in the field of medical education:

• (a) start with dyads (eg supervisor-trainee, physician-nurse or physician-medical assistant);
• (b) use some sort of social relations or social networking approach to examine the interactions between individuals; and
• (c) have an ordinal or ratio outcome so that a regression-based model can be used to measure collaborative (or nested) performance.

4.1 의료 교육자를 위한 실제 권장 사항
4.1 Practical recommendations for medical educators

이 연구의 다음 단계는 [상호의존적 성과(예: 한 개인/기계가 수술 도구를 작동하고, 다른 개인이 카메라에 초점을 맞추고 비디오 영상을 해석하는 복강경 수술)]를 구성하는 임상 행동과 결정이 무엇인지 정확하게 식별하는 것이다. 이를 통해 우리는 기본적인 측면을 특성화하고 구조로서의 상호의존성에 대한 풍부한 이해를 개발할 수 있을 것이다. 우리의 훈련 모델이 훈련생과 교직원 간의 상호 의존성을 촉진하는 방식으로 설계되었다는 점을 고려할 때, 특히 의학 교육 맥락에서 이러한 격차를 탐구하는 것은 가치가 있다. 임상 훈련 내에서 상호의존성을 측정할 수 있는 가능성에 대해 생각할 때, 우리는 개별 훈련생이 의료 팀의 전반적인 성과에 어떻게 기여하는지를 반영하기 위해 교육 및 평가의 목표를 전환하는 것을 고려할 수 있다. 이를 위해서는 단일 점수 또는 결정에 초점을 맞추는 평가 시스템에서 벗어나 의료 팀 내에서 개인 및 상호의존적인 성과 측면을 모두 포착하는 평가를 만들어야 할 수 있습니다. 의료 교육자는 이 접근법을 지원하기 위해 다양한 데이터를 수집하고 이 검토에서 식별된 일부 측정 모델을 사용하여 분석할 수 있다. 마지막으로, 의료는 팀에서 수행되며 상호의존적 협업은 해당 팀 내에 존재한다. 따라서, 우리는 관련 영역에서 훈련생의 역량을 정확하게 평가하고 훈련생이 환자에게 제공하는 협업적인 팀 기반 치료에 대한 피드백을 제공하기 위해 상호의존성의 유효하고 신뢰할 수 있는 측정이 필요하다.
The next step in this line of research is to precisely identify what clinical actions and decisions constitute interdependent performance (eg laparoscopic surgery where one individual/machine is operating the surgical tool while another individual is focusing the camera and interpreting video imaging). This will allow us to characterise fundamental aspects and develop a rich understanding of interdependence as a construct. Given that our training models are designed in ways that foster interdependence between trainees and faculty, exploring this gap specifically in medical education contexts is worthwhile. In thinking about the potential for measuring interdependence within clinical training, we might consider shifting the goal of education and assessment to reflect how individual trainees contribute to the overall performance of a healthcare team. This may require us to move away from an assessment system that focuses on a single score or decision and create assessments that capture both individual and interdependent aspects of one's performance within a healthcare team. Medical educators could collect a variety of data to support this approach and analyse it using some of the measurement models identified in this review. Finally, medicine is practiced in teams and interdependent collaborations exist within those teams; therefore, we need valid and reliable measures of interdependence to accurately assess trainees’ competence in associated domains and provide them with feedback about the collaborative, team-based care they provide to patients.

4.2 제한사항
4.2 Limitations

이 연구는 선정 과정에서 사용된 5개 데이터베이스의 기사로 제한된다. 우리가 발견한 기사들이 많은 분야와 하위 분야에 흩어져 있다는 점을 고려할 때, 우리는 다른 데이터베이스를 통해 추가 출처를 확인했을 가능성이 가능하다. 또한 포함 기준은 상호의존성에 대한 잠재적 대리인을 연구하는 분야를 제외했을 수 있다. 이 문헌에서 확인한 용어 불일치도 검색에 영향을 미쳤을 수 있다. 검색에서 키워드가 아닌 용어를 사용했기 때문에 관련 연구가 제외되었을 가능성이 있다. 특히 이 분야에서 '상호의존성'의 사용법이 상당히 생소하다는 점에서 의학교육에는 다른 글들이 존재하지만 우리의 검색어 이외의 용어를 사용하는 것은 아닌지 궁금하다. 팀 수준에서만 측정된 기사를 제외하기로 한 우리의 결정은 측정 세부사항이 불충분했던 기사를 제외하기로 한 결정이 관련 측정 접근법을 간과하게 만들었을 수도 있는 것처럼 '상호의존성'과 관련된 이론적 개념에 대한 통찰력을 제한할 수도 있다. 소셜 네트워크 분석이 샘플에서 반복적인 접근 방식이었지만, 이 논문들은 정도 중심성에 크게 초점을 맞춰 소셜 네트워크 분석의 전체적인 분석 접근 방식이 임상 훈련 환경에서 상호 의존성을 측정하는 데 어떻게 도움이 될 수 있는지에 대해 배울 것이 더 있음을 시사한다. 마지막으로, 우리의 검토는 포함된 기사의 품질 평가를 포함하지 않는다. 이러한 접근 방식 중 어떤 것이 효과적이고 실제적으로 얼마나 강력한지 평가하기 위한 추가 노력이 필요하다.

The study is limited to the articles from the five databases that were used in the selection process. Given that the articles we found were scattered across many disciplines and sub-disciplines, it is possible that we would have identified additional sources through other databases. Furthermore, inclusion criteria may have excluded disciplines that researched potential proxies for interdependence. The terminological inconsistency we identified in this literature may also have affected our search: it is possible that relevant studies were excluded because they used terms other than the keywords in our search. In particular, we wonder if other articles exist in medical education but use terminology outside our search terms, given that the usage of ‘interdependence’ is fairly new in this field. Our decision to exclude articles that only measured at the team level may also have limited our insight into theoretical concepts of relevance to ‘interdependence’, just as our decision to exclude those that had insufficient measurement detail may have caused us to overlook relevant measurement approaches. While social network analysis was a recurrent approach in our sample, these papers focused heavily on degree centrality, suggesting that there is more to be learned about how the full extent of analytical approaches in social network analysis might assist with measuring interdependence in clinical training settings. Finally, our review does not include a quality assessment of included articles; further efforts are needed to evaluate which of these approaches work and how robust they are in practice.

5 결론
5 CONCLUSION

팀 내에서 개인 간에 존재하는 상호의존성을 포착하기 위한 측정 접근법은 드물고 여러 분야에 걸쳐 분산되어 있다. 더욱이, 일관성 없는 개념적, 기술적 용어는 이 질문에 대한 지식의 축적을 제한할 수 있다. 이 검토는 연구자들이 상호의존성에 대해 어떻게 생각하고 있는지, 그리고 상호의존성의 어떤 측면이 측정 관점에서 중요한지를 강조한다. 다른 분야의 접근 방식이 임상 훈련 맥락에 대한 유망성을 가지고 있지만, 의료 교육 분야에서 단 두 가지 연구만 식별된다는 것은 이러한 맥락에서 응용 연구의 필요성을 시사한다.
Measurement approaches for capturing the interdependence that exists between individuals within a team are scarce and scattered across multiple fields. Furthermore, inconsistent conceptual and technical terminology may be limiting the accumulation of knowledge regarding this question. This review highlights how researchers are thinking about interdependence and what aspects of interdependence are important to consider from a measurement perspective. While approaches from other fields have promise for the clinical training context, the identification of only two studies in the field of medical education suggests a need for application studies in this context.

© 2021 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

신뢰와 위험: 의학교육을 위한 모델 (Med Educ, 2017)
Trust and risk: a model for medical education
Arvin Damodaran,1 Boaz Shulruf2 & Philip Jones3

서론
Introduction

의료, 위험 및 신뢰
Health care, risk and trust

의료는 본질적으로 복잡하고 위험한 사업이며, 임상의가 지속적으로 위험을 관리해야 한다. 임상 교사들도 마찬가지로 학생이나 후배 의사에게 임상 업무를 위임할 때마다 잠재적인 문제가 있다는 것을 이해한다. 기존의 역량 평가는 이러한 미묘한 결정을 내리기에 충분한 정보를 제공하지 못할 수 있지만, 특정 훈련생을 불신하거나 신뢰할 수 있는 결정을 내려야 한다. 신뢰는 임상의에게 생소한 어휘가 아니다. 비공식적으로, 의사들은 그들의 후배들과 또래들을 다음과 같은 간단한 질문으로 평가한다. '당신은 그들이 당신의 어머니를 돌볼 것이라고 믿겠습니까?' 이는 작업 공간 기반 평가를 재구성하는 방법을 나타내는 신뢰할 수 있는 전문 활동(EPA)의 직관성과 새로운 인기를 부분적으로 설명할 수 있다.
Health care is an inherently complex and dangerous business, in which clinicians are continually required to manage risk. Clinical teachers likewise understand there are potential problems each time they delegate a clinical task to a student or junior doctor. Conventional assessments of competency may not provide enough information to make these nuanced decisions,2 yet the decision to either distrust or trust a particular trainee to undertake a task must be made. Trust is not an unfamiliar vocabulary to clinicians. Unofficially, doctors rate their juniors and peers with the simple question: ‘Would you trust them to look after your mother?’ This may in part explain the intuitiveness and new popularity of entrustable professional activities (EPAs) as representing a way to restructure workplace-based assessments.3

의학 교육에서 '위임'이라는 단어의 바로 그 사용은 신뢰라는 개념에 새로운 초점을 가져왔다. 그러나 일단 이 개념을 도입하면 다음과 같은 많은 질문이 발생합니다.

• 신뢰의 정의는 무엇입니까?
• 우리는 어떻게 신뢰하거나 불신하는 결정을 내릴 수 있을까?
• 신뢰에 대해 이야기하는 것이 평가와 역량의 전통적인 의학 교육 어휘보다 더 진실하고 의미 있는 대화인가?
• 신뢰는 개인과 조직을 어떻게 상호 연결합니까?
• 신뢰의 개념을 의료 커리큘럼에서 더 폭넓게 사용할 수 있는가, 아니면 그래야 하는가?

In medical education, the very use of the word ‘entrustment’ has brought new focus to the idea of trust. However, once we engage with the concept, many questions arise:

• What definition of trust should we be using?
• How do we come to a decision to trust or distrust?
• Is talking about trust a more authentic and meaningful conversation than the conventional medical education vocabulary of assessment and competency?
• How does trust interconnect individuals and organisations?
• Can, or should, we use the concept of trust more widely in medical curricula?4, 5

목적 및 방법
Aims and method

우리의 목표는 임상 교사 및 보건 교육 학자들에게 신뢰에 대한 문헌에 대한 광범위한 개요를 제공하고 신뢰, 위험 및 통제의 언어가 의학 교육의 현재 사고와 어떻게 교차할 수 있는지 탐구하며 잠재적인 질문 방향에 대한 제안을 하는 것이었다. 이는 체계적인 비판적 검토가 아닌 문헌의 서술적 개요로 제시된다.6, 7 다양한 데이터베이스(MEDLINE, ERIC [교육 자원 정보 센터], CINAHL [간호 및 제휴 건강 문헌에 대한 누적 지수], EMBASE, Proquest Central, Business Source Central 및 Google Scholar)를 사용하여 질문했다. 키워드 및 주제 검색에서 '신뢰', '의료', '건강', '교육'의 조합과 관련 참고문헌 및 인용문구가 손으로 작성되었습니다. 경영, 고등교육, 의학, 의료 교육 분야에서 신뢰trust 문헌에 대한 우수한 리뷰가 출판되었다. 이 논문의 목적은 이 연구를 강조하고 의학 교육 및 임상 커뮤니티를 위해 맥락화하는 것이었다. 우리는 환자-의사 또는 훈련생-감독자 관계와 같은 단일 관계로 초점을 제한하지 않고 여러 수준에서 관계를 포괄함으로써 폭을 위한 깊이를 희생했다. 
Our aim was to provide clinician-teachers and health education scholars with a broad overview of the literature on trust, exploring how the language of trust, risk and control might intersect with current thinking in medical education, and to make suggestions for potential directions of enquiry. This is presented as a narrative overview of the literature rather than a systematic critical review.6, 7 A variety of databases (MEDLINE, ERIC [Educational Resources Information Centre], CINAHL [Cumulative Index to Nursing and Allied Health Literature], EMBASE, Proquest Central, Business Source Central and Google Scholar) were interrogated using combinations of ‘trust’, ‘medical’, ‘health’ and ‘education’ in keyword and subject searches, and relevant references and citations were hand-searched. Excellent reviews of the trust literature have been published in the fields of management,8, 9 higher education,10 medicine11 and medical education.3, 12 The purpose of this article was to highlight this research and to contextualise it for the medical education and clinical community.13 We have sacrificed depth for breadth by encompassing relationships at multiple levels, rather than restricting the focus to a single relationship such as the patient–doctor or trainee–supervisor relationship.

우리는 의료 교육 및 의료에 대한 신뢰의 중요성을 설명하는 것으로 시작하여 외부의 의료로부터 신뢰 테마와 연구를 탐구한 후, 다시 돌아와 의료 교육 관계를 해체하는 데 관리 문헌의 모델이 어떻게 사용될 수 있는지 검토한다. 마지막으로, 우리는 신뢰가 더 광범위한 위험 관리 의제에 어떻게 부합할 수 있는지 살펴본다. 그러나 첫 번째 과제는 신뢰를 정의하는 것이다.
We begin on familiar ground by describing the importance of trust to medical education and health care, and then explore trust themes and research from outside health care, before returning to examine how a model from the management literature may be used to break down medical education relationships. Finally, we look at how trust may fit into the wider risk management agenda. The first task, however, is to define trust.

신뢰의 정의
Defining Trust

신뢰를 정의하는 특징은 [신뢰자가 위험을 인식하고 관계의 취약성을 받아들이는 것]이다. 신뢰는 [위험을 감수하기 위한 의식적인 결정]을 내리는 것을 포함하며, 이는 훈련생에게 직접적인 감독 여부가 있거나 없는 상황에서 임상 활동을 수행하도록 하는 과정에서 감독관이 해야 하는 일이다. 이 조치를 취함에 있어서, 감독자는 그녀의 환자뿐만 아니라 그녀의 명성도 위험에 처하게 한다. 담당 임상의의 이름은 환자의 침대 머리 위에 있습니다. 수술이 실패하거나 진단이 누락될 경우, 그녀는 개인적이고 잠재적으로 의학적인 법적 결과에 직면할 것이다. 이러한 [위험 평가]와 [취약성에 대한 자발적인 노출]은 [신뢰]와 [공정한 역량 인증]을 구별하는 것으로서, 특히 위험한 작업장에 적합할 수 있습니다. 사실, 기존의 학술 평가는 감독자가 임상 업무를 위임하기로 결정할 때 참조되지 않는 경향이 있다. 

The defining feature of trust is the trustor's appreciation of risk and acceptance of vulnerability in the relationship.14, 15 Trust involves making a conscious decision to take on risk, as a supervisor must do when letting a trainee carry out a clinical activity with or without direct supervision. In taking this action, the supervisor subjects her patient, as well as her own reputation, to risk. The supervising clinician's name is on the patient's bedhead. Should a procedure fail, or there be a missed diagnosis, she will face personal, potentially medico-legal consequence. This risk assessment and willing exposure to vulnerability differentiates trust from an impartial certification of competence, and may be particularly suited to the risky workplace. In fact, conventional academic assessments tend not to be referenced by supervisors when they decide to delegate clinical tasks.16

신뢰의 정의는 준비 상태로 볼 때 다음과 같이 표현된다. '신뢰는 다른 사람의 의도나 행동에 대한 긍정적인 기대를 바탕으로 취약성을 받아들이려는 의도를 포함하는 심리적 상태이다.' 이 정의는 상황별 및 작업별 특성을 생략하지만, 취약성의 정의 특성과 함께 신뢰자와 수탁자 간의 상호 의존성을 강조한다. 그러나 신뢰는, 특히 직장 관계에서, 직무 특이적이고 맥락에 따라 다르다. 특정 작업에서 '무엇을 할 것인가?'라는 질문을 추가하면, 공식은 'A는 B가 X하는 것을 신뢰한다'가 된다. Trustor(갑)는 Trustee(을)가 업무를 수행할 동기와 역량이 있다고 판단해야 한다.
A definition of trust when viewed as a state of readiness has been expressed as: ‘Trust is a psychological state comprising the intention to accept vulnerability based upon positive expectations of the intentions or behaviour of another.’17 Although this definition omits context- and task-specificity, it highlights interdependence between trustor and trustee, along with the defining characteristic of vulnerability. Trust, however, is task-specific and contextual, particularly in workplace relationships. If we add, in a specific task, the ‘to do what?’ question, the formulation becomes ‘A trusts B to do X’.18, 19 The trustor (A) must judge that the trustee (B) has the motivation and competence to get the job (X) done.

위의 모든 것을 고려한다면, 정의는 다음과 같이 확장될 수 있다: 신뢰는 신탁업자가 취약성 및 위험의 수용을 요구하는 판단이며, 수탁자(개인 또는 조직)가 특정 조건에서 특정 작업을 수행할 수 있는 역량, 의지, 무결성 및 역량(즉, 신뢰도)을 가지고 있다는 것이다. 이 문서의 나머지 부분에 사용할 정의입니다.
Factoring in all of the above, the definition might be expanded to:

• trust is a judgement by the trustor,
  
• requiring the acceptance of resultant vulnerability and risk,
  
• that the trustee (individual or organisation) has the competence, willingness, integrity and capacity (i.e. trustworthiness)
  
• to perform a specified task
  
• under particular conditions.

This is the definition we will use for the remainder of this article.

의료 교육 및 의료에 대한 신뢰
Trust in medical education and health care

교육생에 대한 감독자의 신뢰
Supervisors’ trust in trainees

신뢰는 교사-학생 관계의 핵심으로 여겨진다. 임상 훈련에서도 다른 공예와 마찬가지로 '점진적 독립'의 도제직이나 전통이 있다. 즉, 교육생들에게 감독관들이 점차 신뢰를 넓혀가면서 실제 업무 수행에 대한 자율성을 높일 수 있게 된다. 숙련된 상사는 위험을 허용 가능한 수준으로 유지하면서 훈련생의 역량과 자신감을 키워줍니다. 이상적으로, 훈련자의 학습 요구는 Vygotsky가 '근위 발달 영역'이라고 지칭한 도전에 의해 최적으로 충족된다. 각각의 신뢰 결정은 개별화되고 반복적이기 때문에, 정적 커리큘럼은 제한된 가치를 가진다. 이것은 직장에서의 학습 경험을 묘사하는 위치 학습과 숨겨진 커리큘럼과 같은 현대 이론과 일치한다. [교육병원에서의 학습]은 [실제 작업이 진행 중인 환경]에서 [실천 커뮤니티에 위치]하여 [경험적]이다. 학생은 합법적인 주변적 참여에서 시작하여 점차 이해와 참여도를 높이고 시간이 지남에 따라 의사 결정 과정의 중심이 됩니다. 이러한 이론과 완전히 일치하지만, 임상 과제를 위임하기 위한 복잡하고 다요인 결정을 이해하려면 [학습자의 머릿속]에서 벗어나 [(학습자의 요구는 보조적인 우선순위가 되는) 감독자의 머릿속]으로 들어가야 한다. 결국, 감독관은 신뢰자이다.
Trust is considered central to the teacher–student relationship.20, 21 In clinical training, as in other crafts, there is an apprenticeship or tradition of ‘progressive independence’.22 In other words, supervisors gradually extend trust to their trainees, allowing them increasing autonomy to perform real tasks in the workplace. A skilful supervisor encourages the trainee's developing competence and confidence, while keeping risks to an acceptable level. Ideally, the trainee's learning needs are optimally met by challenge in what Vygotsky referred to as the ‘zone of proximal development’.23, 24 As each trust decision is individualised and iterative, static curricula are of limited value. This is consistent with contemporary theories such as those of situated learning and the hidden curriculum, which describe the trainee experience of learning in the workplace.25 In teaching hospitals learning is experiential, situated in communities of practice in an environment in which real work is ongoing. The student starts off in legitimate peripheral participation,26 gradually increasing his understanding and engagement, and over time becomes increasingly central to the decision-making processes. Although it is entirely consistent with these theories, attempting to understand the complex and multifactorial decision to delegate clinical tasks takes us out of the learner's head and into the supervisor's, in which the learner's needs may well be a subsidiary priority. After all, the supervisor is the trustor.

[신뢰할 수 있는 전문 활동]은 [충분한 증거를 수집하고 평가]한 후 [훈련생에게 '위탁'할 수 있는 관찰 가능한 전문 작업을 선별하여 기술함]으로써 이러한 개념을 활용하는 새로운 접근법을 나타낸다. [EPA의 사용]은 임상의의 판단에 타당성을 추가하고 현재 작업장 평가에서 [원자성atomistic 체크박스]를 사용하는 것에 대한 우려를 해결한다.3 이러한 매력에도 불구하고 EPA를 개발하고 구현하는 최적의 방법은 아직 결정되지 않았다. 
Entrustable professional activities represent a novel approach that utilises these concepts by describing selected observable pieces of professional work that can be ‘entrusted’ to the trainee once sufficient evidence has been collected and assessed. The use of EPAs adds validity to the clinician's judgements and addresses concerns about current use of atomistic tick-boxes in workplace assessment.3 Despite these attractions, the optimal means of developing and implementing EPAs remain to be determined.27

EPA에서 '위임'이라는 단어의 의도적 사용은 어느 정도 탐구할 가치가 있다: 위임은 수탁자가 향후 활동을 수행할 수 있도록 하는 신탁 결정trust decision이 내려졌음을 의미한다. 한 사람이 다른 사람에게 특정한 일을 Entrusts한다. '위임'은 업무에 특화되어 있고 계약적이며, '신뢰'보다 개인적인 함축가 적다. 따라서 '위탁'이라는 단어를 사용하는 것이 교육생을 다룰 때, 특히 특정 업무와 행동에 대한 건설적인 피드백을 제공할 때 '신뢰'를 사용하는 것보다 더 나을 수 있습니다. 이러한 뉘앙스를 떠나 신뢰와 위탁의 구조는 불가분의 관계에 있다.
The purposeful use of the word ‘entrustment’ in EPAs deserves some exploration: entrustment implies that a trust decision has been made that will allow the trustee to undertake a future activity.18 One entrusts another to undertake a specific task. ‘Entrustment’ is task-specific and contractual, and has less personal overtones than ‘trust’. Using the word ‘entrustment’ may therefore be preferable to using ‘trust’ when dealing with trainees, particularly when giving constructive feedback around specific tasks and behaviours. Aside from these nuances, the constructs of trust and entrustment are inextricably linked.

우리는 감독 관계와 EPA를 신뢰에 대한 보다 일반적인 논의를 위한 친숙한 디딤돌로 사용해 왔다. 신뢰와 직업을 고려하고 더 광범위한 신뢰 문헌이 어떻게 유익할 수 있는지 살펴본 후에 우리는 훈련생-감독자 관계로 돌아갈 것이다.
We have used the supervisory relationship and EPAs as familiar stepping stones into a more general discussion of trust. We will return to the trainee–supervisor relationship after we have considered trust and the profession, and seen how the broader trust literature may be instructive.

환자가 의사를 신뢰하는 것
The patient's trust in the doctor

[환자-의사 신뢰 관계]는 치료 관계에 필수적인 것으로 간주되어 상당한 관심을 받아 마땅하다. 주치의에 대한 신뢰는 환자의 진료의욕, 민감한 정보공개, 조사나 관리의 취약성 수용에 영향을 미치며, 궁극적으로는 진료만족도에 영향을 미친다. 반대로, 일단 관계에 대한 신뢰가 깨지면, 환자들은 용서하거나, 다른 곳으로 가거나, 불평하거나, 의료-법적 절차를 시작하는 것을 선택할 수 있다. 의사들에 대한 신뢰를 높일 수 있는 개입에 대한 Cochrane 메타 분석은 주제에 대한 관심이 있지만, 어떤 접근법에서든 일관된 이익을 얻을 수 있는 증거가 아직 충분하지 않다는 것을 보여준다. 결국, 의사와 학생들이 항상 진실을 말하지 않기 때문에 불신은 정당화될 수 있다. 
The patient–doctor trust relationship, regarded as integral to the therapeutic relationship, has deservedly received significant attention. Trust in one's doctor impacts on the patient's willingness to seek care, disclose sensitive information and accept the vulnerability of investigations or management, and ultimately affects satisfaction with care.28, 29 Conversely, once there has been a breach of trust in the relationship, patients may choose to forgive, to go elsewhere, to complain or to initiate medico-legal proceedings.30, 31 A Cochrane meta-analysis of interventions that may increase trust in doctors demonstrates that although there is interest in the subject, there is as yet insufficient evidence for consistent benefit from any one approach.32 After all, distrust may be warranted as doctors and students do not tell the truth all the time.33, 34

의료계에 대한 환자의 신뢰
The patient's trust in the medical profession

[자신의 의사(일반적으로 매우 높은 것으로 평가됨)에 대한 신뢰]는 [의료 전문직이나 의료 시스템에 대한 신뢰(일반적으로 덜 높은 것으로 평가됨)]와 경험적으로 다르다. 의사나 의료 서비스에 의한 환자 신뢰의 우울할 정도로 정기적인 위반에 의해 공급되고 법적 수단이 요구되는 프로세스에서 직업과 기관에 대한 신뢰는 점점 더 도전받고 있다. 특히 미국의 [관리형 의료의 출현]과 [영국 국립 보건 서비스 의료 시스템]에 대한 신뢰의 침해와 관련하여, 우리의 [의료 시스템]과 [그 시스템에 공급하는 교육 기관]에 대한 사회적 신뢰가 하락하고 있다는 일반적 인식이 있다. 정부 정책을 알리기 위해 의료에 대한 국민의 신뢰에 대한 조사 기반 척도가 사용되어 왔다.
Trust in one's own physician (generally rated as very high) differs empirically from trust in the medical profession or health care systems (which is generally less high).29, 35 Trust in the professions and institutions is increasingly challenged in a process that is fed by depressingly regular breaches in patient trust by practitioners or health services and in which legal recourse is required.36 There is a perception of general decline in societal trust in our systems of health care and the educational institutions that feed into them, notably related to the advent of managed health care in the USA and perceived breaches of trust in the UK National Health Service health care systems.37-39 Survey-based measures of public trust in health care have been used to inform government policy.22

제약업계의 영향과 의사-연구자의 이해충돌로 의료업의 근간인 [과학·의학 연구에 대한 불신]도 커지고 있다. 환자가 반드시 의사의 제약 회사 계약이나 환자를 자금 지원 시험에 등록하기 위한 재정적 인센티브를 알 필요는 없다. 학술적 위법행위의 빈번한 사례가 저널 논문 철회를 증가시키고 있다. 하지만 이미 자신을 둘러싼 환경에서 다수의 학문적 경범죄를 인지하는 의대생들에게는 주목을 받지 못한다. 
Distrust is also increasingly expressed towards scientific and medical research, the foundation of the medical profession, because of the influence of pharmaceutical industry and physician-researcher conflicts of interest.40, 41 Patients are not necessarily made aware of doctor's pharmaceutical company engagements or financial incentives to enrol patients into funded trials.42 Frequent high-profile cases of academic misconduct drive an increasing number of journal article retractions.43 This is not lost on medical students, who perceive a multitude of academic misdemeanours in their own environments.44

신뢰 수준
Levels of trust

앞 단락에서 우리는 더 넓은 직업뿐만 아니라 개인으로서 의사들을 신뢰하는 몇 가지 위협에 대해 설명했습니다. 신뢰를 분석하려고 할 때, 사회적 또는 조직적 요인에서 대인관계 요인을 분리해내는 것이 분명히 중요하다. 어떤 하나의 신뢰 결정에서도 [대인관계와 조직적 결정 요인] 사이에 상호작용이 있을 가능성이 높다. 이를 위해, 문헌은 [대인관계, 조직 및 제도적 수준]을 참조하여 '신뢰 수준'의 개념을 도입한다.10 예를 들어,

• 대인적 신뢰는 친구나 동료의 신뢰를 의미할 수 있다;
• 조직적 신뢰는 임상 서비스, 의과대학 또는 대학에서의 신뢰를 의미할 수 있다.
• 제도적 신뢰는 국가 차원에서 보건 또는 교육 시스템과 같은 시스템의 신뢰를 지칭할 수 있다.

In the preceding paragraphs we described some of the threats to trust in doctors as individuals, as well as in the wider profession. In attempting to analyse trust, it is clearly important to tease out interpersonal factors from social or organisational factors.31 In any one trust decision, there is likely to be an interplay between interpersonal and organisational determinants.45 To this end, the literature brings in the concept of ‘levels of trust’ with reference to interpersonal, organisational and institutional levels.10 For example,

• interpersonal trust may refer to trust of friends or colleagues;
• organisational trust may refer to trusts in a clinical service, medical school or college, and
• institutional trust may refer to trust of systems such as health or education systems at a national level.

신뢰 연구자는 [신뢰 분석 수준]을 수준 간 또는 수준 간(예: 조직을 신뢰하는 개인)으로 구분합니다. [신뢰의 방향]도 변수다. 신뢰는 어느 방향으로든 확장될 수 있으며, 상호주의의 개념을 가져올 수 있다. [직접적인 상호주의]는 대인 신뢰의 기초가 될 수 있다. ['간접적 상호주의']라고 불리는 신뢰와 협력의 사슬은 조직의 신뢰를 이해하는 데 도움이 될 수 있다. [관계 초기]에는 [간접적 조직적 결정요인]이 지배적이며, 나중에는 개인적 접촉과 피드백이 증가함에 따라 [대인관계적 측면]이 신뢰관계를 지배하기 시작할 수 있다. 
Trust researchers distinguish levels of trust analysis8 as inter-level or cross-level (e.g. an individual trusting an organisation). The direction of trust is another variable. Trust can extend in either direction, bringing in the concept of reciprocity.8 Direct reciprocity may be the basis of interpersonal trust. Chains of trust and cooperation, referred to as ‘indirect reciprocity’, may be helpful in understanding organisational trust.46 It may be that early in relationships, indirect organisational determinates predominate, and that later, with increasing personal contact and feedback, interpersonal aspects begin to dominate trust relationships.

그림 1은 조직 수준으로 정렬된 의료 교육에 관련된 일부 실체를 고려한다. 신뢰는 각 실체, 각 상자 또는 상자 사이의 상호 작용에서 발생하는 역동적인 사회적 구조로 볼 수 있다.
Figure 1 takes into account some of the entities involved in medical education, arranged into organisational levels.8, 47 Trust may be viewed as a dynamic social construct arising from the interactions within each set of entities, within each box or between boxes, with either of the pair in the role of the trustor.

비록 단순하지만, 이 관계 지도는 이러한 팔의 어느 쪽이든, 관심을 덜 받은 팔들을 포함하여, 어느 방향으로든 탐험을 유도한다. 우리가 설명한 바와 같이, 의료 교육에 대한 최근의 관심은 [person box]에 있는데, 특히 [감독관이 교육생에 대한 신뢰를 어떻게 발전시키고 이것이 직장 평가로 어떻게 운영될 수 있는지]에 대해 향하고 있다. 그러나 신뢰는 다른 많은 의학교육 결정에 분명히 내포되어 있다. [평가, 진행, 학업 부정행위, 양호한 감독, 프로그램 평가, 성과 관리 및 승진 메커니즘]은 각각 관계 지도에서 제 역할을 합니다(그림 1). [상자 내부]와 [상자 사이]에서, 어느 방향으로든 화살표를 추가로 조사하면 연구를 위한 새로운 방법을 제시할 수 있습니다. 예를 들어 임상 서비스 또는 대학 의료 프로그램에 대한 임상 교사의 신뢰, 학생에 대한 환자의 신뢰, 임상 교사 또는 훈련 프로그램 또는 학생 또는 임상 교사에게 의료 시스템이 제공하는 신뢰에 초점을 맞출 수 있다.
Although simplistic, this relationship map does invite an exploration of any of these arms, in either direction, including those that have received less attention. As we have described, recent attention in medical education has been directed within the person box, particularly at how a supervisor develops trust in trainees12, 23 and how this may be operationalised as workplace assessment.48-50 However, trust is clearly implicit in many other medical education decisions. Assessment, progression, academic misconduct, good supervision, programme evaluation, performance management and promotion mechanisms each have their place in the relationship map (Fig. 1). Further examination of these arms in either direction, within and between boxes, may suggest novel avenues for research. For instance, focus could be brought to bear on the clinical teacher's trust in clinical services or university medical programmes, the patient's trust in students, clinical teachers or the training programme, or the trust afforded by health care systems in students or clinical teachers.

우리는 이제 신뢰를 정의하고 의학 교육을 제공하는 데 관련된 다양한 주체가 어떻게 이산적인 신뢰 관계를 가지고 있는지를 표현했다. 다음 섹션에서는 의료 교육에서의 적용으로 돌아가기 전에 더 광범위한 신뢰 문헌을 소개한다.
We have now defined trust and expressed how the various entities involved in delivering medical education have discrete trust relationships. In the next section, we introduce some of the wider trust literature, before returning to its application in medical education.

더 넓은 문헌에 대한 신뢰
Trust in the broader literature

신뢰 연구의 짧은 역사
A short history of trust research

의학교육은 신뢰에 대한 관심에서 고립되지 않는다. 잘 확립된 개념적이고 경험적인 작업이 많이 존재하며, 처음에는 사회과학에 의해 주도되고 나중에는 비즈니스와 경영에 의해 주도된다. 
Medical education is not isolated in its interest in trust. A great deal of well-established conceptual and empirical work exists, initially driven by the social sciences and later picked up by business and management.

갈등 해결의 선구자인 Morton Deutsch는 1950년대 [신뢰]와 [취약성을 감당하려는 의지] 사이의 연관성에 대해 언급하면서, [충족되지 않은 신뢰]는 결국 신뢰자trustor를 '불쾌한 결과로 인한 고통'으로 이끈다고 언급했다. 쿠바 미사일 위기의 아슬아슬한 미스를 정점으로 한 냉전은 극심한 불신을 배경으로 갈등 해결에 대한 관심을 자극했다. 당시 연구자들은 신뢰 연구가 신뢰를 얻은 것은 이 시기 이후라고 언급했다. 
Morton Deutsch, a pioneer in conflict resolution, commented on the link between trust and a willingness to take on vulnerability in the 1950s, noting that unfulfilled trust necessarily leads the trustor to ‘suffer an unpleasant consequence’.51 The Cold War, culminating in the near miss of the Cuban missile crisis, set a backdrop of intense distrust and stimulated interest in conflict resolution. Researchers of the time noted that it was after this period that trust research gained credibility.52, 53

도이치는 신뢰에 대한 사회심리학적 접근을 특징짓는 협동적 행동에 대한 실험적인 게임 모델인 잘 연구된 '죄수의 딜레마'의 초기 조사자였다. 그 죄수의 딜레마에 대한 변화는 여러 세대의 대학생들에게 가해져 왔다. 이 게임의 컴퓨터 시뮬레이션, 반복적인 형태는 이혼, 지정학 및 종의 진화만큼이나 다양한 관계에 대한 함의를 가진 협력 전략을 모델링하는 데 사용된다.
Deutsch was an early investigator of the well-studied ‘prisoner's dilemma’, an experimental game model for cooperative behaviour that characterises the social psychology approach to trust. Variations on the prisoner's dilemma have been inflicted on generations of college students. Computer-simulated, iterative forms of the game are used to model cooperation strategies54 with implications for relationships as diverse as those in divorce, geopolitics and the evolution of species.

20세기 후반부터 비즈니스, 경영, 마케팅 문헌은 '소비자 신뢰'와 '브랜드 충성도'과 같은 용어를 대중화하면서 그 자체로 연구 분야로서의 신뢰에 대한 관심이 높아지기 시작했다. 2008년 글로벌 금융위기의 조직적 실패는 '신뢰 회복'과 같은 새로운 연구 분야를 장려했다. 연구 간행물 원량의 증가는 신뢰가 자체 저널을 획득하는 결과를 낳았다. 
In the late 20th century, the business, management and marketing literature began to place increasing attention on trust as a research field in its own right, popularising terms such as ‘consumer trust’ and ‘brand loyalty’. The organisational failures of the 2008 global financial crisis encouraged new areas of study such as that of ‘trust repair’.9, 55 An increase in the raw volume of research publications has resulted in trust acquiring its own journal.56

세계화와 인터넷은 비즈니스 관계를 변화시켰습니다. 성공적인 기업은 기술 기반 신뢰 대리인을 고용하고 있으며, 그 선구적인 예로 [이베이의 구매자 및 판매자 신뢰 등급]을 들 수 있습니다. 상업 등급 웹 사이트의 의사 및 보건 서비스에도 유사한 등급이 점점 더 많이 적용되고 있습니다. 병원의 경우, 소비자 등급이 기존의 환자 경험 및 결과 측정과 잘 상관관계가 있다는 증거가 있다. 
Globalisation and the Internet have altered relationships in business: successful enterprises employ technology-based trust surrogates, a pioneering example of which is eBay's buyer and seller trust ratings.57, 58 Similar ratings are increasingly applied to doctors and health services on commercial ratings websites.59 In the case of hospitals, there is evidence that consumer ratings correlate well with conventional patient experience and outcomes measures.60

신뢰에 적용되는 연구 방법
Research methods applied to trust

신뢰에 대한 연구는 대부분 게임 실험('죄수의 딜레마'로 특징지어짐)과 설문조사의 범주에 속한다. [게임 실험]은 주로 [대인관계 신뢰]를 탐구하기 위해 고안된 반면, [조직에 대한 신뢰]는 [설문 조사]를 통해 가장 일반적으로 연구되었다. 기업, 정부, 학교 등 기관에 대한 신뢰를 조사하기 위해 다양한 조사도구가 활용되고 있다. 이러한 방법들 각각은 비판(일반성이 부족하다는 게임 실험과 너무 피상적이라는 조사)에 열려 있지만, 세 번째 옵션은 이해 계층을 추가할 수 있는 잠재력을 가지고 있다. 신뢰가 [창발적 사회적 구조]로 묘사될 수 있다면, 그것은 질적 방법을 선호하는 [구성주의 연구 프레임워크]에 잘 맞을 수 있다. 우리가 더 논의할 것처럼, 의료 교육에서 질적 방법은 Govaerts와 Van der Vleuten에 의해 제안되었고, 예를 들어 Hauer et al과 Kennedy et al의 연구에서 감독-훈련자 관계를 이해하기 위해 사용되었다. 
Research on trust has for the most part fallen into the categories of game experiments (characterised by the ‘prisoner's dilemma’) and surveys. Game experiments have largely been designed to explore interpersonal trust, whereas trust in organisations has been most commonly studied using surveys. A variety of survey instruments have been employed to examine trust in institutions such as businesses, government and schools. Although each of these methods is open to criticism (game experiments for their lack of generalisability and surveys for being too superficial19), a third option has the potential to add a layer of understanding. If trust can be described as an emergent social construct, it may be well suited to a constructivist research framework47, 61 favouring qualitative methods.62 As we will discuss further, in medical education qualitative methods have been suggested by Govaerts and van der Vleuten50 and used, for example, in the work of Hauer et al.23 and Kennedy et al.63 to understand the supervisor–trainee relationship.

이제 우리는 경영 문헌에서 나온 신뢰 모델로 눈을 돌리고 감독-연수생 관계에 대한 성찰을 사용하여 그 관련성을 설명한다.
We now turn to a model of trust sourced from the management literature and use reflections on the supervisor–trainee relationship to illustrate its relevance.

임상 감독에 신뢰 모델 적용
Applying a model of trust to clinical supervision

1995년 연구에서 메이어 등은 이전에 나왔던 개념적, 경험적 연구를 바탕으로 [신뢰에 대한 통합 모델]을 제안하였다. 신뢰의 다른 개념화도 있지만, 메이어 외 모델은 특히 강력하다는 것이 입증되었다. 원본 기사는 집필 당시 5300개 이상의 스코푸스 인용을 끌어모았다.
In their 1995 work, Mayer et al.15 proposed an integrative model for trust based on the conceptual and empirical research that had come before. Although there are other conceptualisations of trust,64 the Mayer et al.15 model has proved particularly robust. The original article15 has attracted more than 5300 Scopus citations at the time of writing.

이 모델은 그림 2에 재현되어 있습니다.
The model is reproduced in Fig. 2.

이 모델에서, 기본은 'A는 B가 X를 하는 것을 신뢰한다' 구조이다. 피드백 루프가 추가되어 정교하게 제작되었습니다. 이 모델은 구별되지 않은 신뢰의 관점을 세 가지 측면으로 분해한다: 

• [일반적인 믿음 또는 성향]으로서의 신뢰. 
  
• [취약성을 받아들이기 위한 결정]으로서의 신뢰
• [관계에서 위험을 감수하는 행위]로서의 신뢰

시간이 지남에 따라 관계가 발전함에 따라, 미래의 신뢰 결정에 대한 피드백이 있습니다.

In this model, the basic ‘A trusts B to do X’18 structure of trust is elaborated, with the addition of a feedback loop. The model breaks down an undifferentiated view of trust into three aspects:

• trust as a general belief or propensity;
• trust as a decision to take on vulnerability, and
• trust as the act of risk taking in a relationship.

As the relationship develops over time, there is feedback into future trust decisions.

모델을 탐구하기 위해, 우리는 [경험을 쌓을수록 더 위험하고 더 높은 위험의 임상 작업을 수행하도록 요청받는 trainee]라는 익숙한 예시로 돌아간다. 이 모델은 trainee에 대한 감독자의 신뢰개발에 대한 질적 연구에서 발견된 요인을 예측한다. 이러한 결정요인은 각각 다음과 관련된 몇 가지 범주로 분류된다. 

• 수련생 (인식된 신뢰성의 다양한 trustee 요인) 
  
• 감독자 (신탁자의 성향 및 신뢰의사), 
  
• 상황 및 과제 (결과와 함께 위험을 감수하는 행위) 및 
  
• 이전의 신뢰 에피소드에 영향을 받는 역동적 관계 (신탁자에게 과거 사건이 피드백함)

모든 것이 잘 되면 피드백 루프는 더 큰 신뢰로 이어져야 하고, 위험 업무를 독립적으로 처리할 수 있는 더 많은 책임을 수탁자에게 위임해야 한다.
To explore the model, we return to the familiar example of the trainee who is asked to perform riskier, higher-stakes clinical tasks with less supervision as he gains in experience. The model predicts the factors found in qualitative research on supervisors’ development of trust in trainees. These determinants fall into several categories pertaining to, respectively,

• the trainee (trustee factors of perceived trustworthiness),
• the supervisor (the trustor's propensity and willingness to trust),
• the context and task (perceived risk and the action of risk taking with resultant outcomes) and, lastly,
• their dynamic relationship influenced by previous trust episodes (outcomes feeding back to the trustor).12, 65 

If everything goes well, the feedback loop should lead to greater trust and to the delegation of more responsibility to the trustee to handle risky tasks independently.

우리는 A, B, X 요인에 대한 논의로 넘어간다.
We move on to a discussion of the A, B and X factors.

신뢰도
Trustworthiness

훈련을 진전시키고 점점 더 복잡한 임상 업무를 위임받기 위해서는 훈련자가 스스로를 '신뢰할만한trustworthy' 사람으로 투영해야 하며, 역량만으로는 충분하지 않다는 것이 명백하다. Trust(신탁자trustor가 위험을 감수하기 위한 판단)와 Trustworthiness(신뢰를 발생시키는 수탁자trustee의 인식된 특성)는 중복되는 특성에도 불구하고, 경험적으로 구별되는 구조이다. 실제로 일부 학자들은 우리가 'trust'보다는 'trustworthiness'에 관심을 가져야 한다고 주장한다. [신탁자의 선입견preconceived notion을 조작]하려 하기보다는, [자신의 신뢰도trustworthiness를 높이는 것]이 더 달성 가능한 목표이다.
To progress in training and to be delegated increasingly complex clinical tasks, we see that trainees must project themselves as ‘trustworthy’ and it is apparent that competence alone is not enough. Trust (a judgement to take on risk by the trustor) and trustworthiness (perceived qualities of the trustee that engender trust) are empirically distinct constructs despite their overlapping qualities.66 In fact, some scholars argue that we should be less concerned with ‘trust’ than with ‘trustworthiness’.19 Rather than manipulating the trustor's preconceived notions, increasing one's own trustworthiness is a more achievable goal.

여러 연구에서 [신뢰성의 결정 요인determinants of trustworthiness]을 조사했습니다. 이것들을 검토하면서, 메이어 등은 그 요소들이 [능력, 자비, 청렴]의 세 가지 원칙 범주로 합쳐질 수 있으며, 세 번째 범주 없이는 이 중 두 가지 범주로는 충분하지 않다고 제안했다. 이것은 건강 관리에 대한 연구와 일치한다. 환자의 의사 신뢰에 영향을 미치는 요인에 대한 정성적 탐구는 [의사 속성]을 [기술적 역량(능력), 대인관계(선행성과 무결성) 및 구조/직원(능력) 요인]으로 설명하는 세 가지 범주로 분류했다. 신뢰도 결정 요인을 분류하는 방법은 여러 가지가 있겠지만, 의료에서 유용한 공식은 [역량, 의지, 무결성 및 역량]일 수 있다.
Multiple studies have examined the determinants of trustworthiness. In reviewing these, Mayer et al. proposed that the factors could be coalesced into three principle categories of ability, benevolence and integrity,15 and that no two of these is enough without the third. This fits with the research in health care. A qualitative exploration of factors influencing patients’ trust in their physicians grouped physician attributes into three broad categories described as

• technical competence (ability),
• interpersonal (benevolence and integrity) and
• structural/staffing (ability) factors.67 

Although there will be any number of ways to categorise trustworthiness determinants, in health care a useful formulation may be competence, willingness, integrity and capacity.

여기서의 근거는 다음과 같다. 

• 규제 기관 및 교육자는 직무별 지식과 기술을 통합한 역량 개념에 익숙하다.
  
• 의지는 위탁자에 대한 자선benevolence 의 구조와 유사하며 인식된 대인관계 기술을 포착한다(의학에서 자애benevolence 는 특별한 윤리적 의미를 갖는다).
  
• 성실성은 전문성과 유사한 중요한 독립적 요소이며, 마지막으로,
  
• 카파시티를 분리하는 것은 임상의가 최선의 의도로도 직면하는 시간과 자원의 압박을 더욱 분명하게 만든다.

The rationale here is:

• regulatory bodies and educators are familiar with the concept of competence which incorporates task-specific knowledge and skills;
• willingness is similar to the construct of benevolence towards the trustor and captures perceived interpersonal skills (whereas benevolence has a particular ethical meaning in medicine);
• integrity is an important stand-alone factor with analogies to professionalism, and, lastly,
• separating out capacity makes more explicit the time and resource pressures clinicians face even with the best of intentions.

임상의가 효과적으로 행동할 수 있는 역량은 조직적인 결정요인을 가지고 있다. 유능한 의사나 병원 서비스는 대기자 명단이 이미 서비스 불가능하기 때문에 새로운 환자를 볼 능력이 없을 수 있다. 임상의는 비슷한 배경을 가진 졸업생들과 혼합된 경험 때문에 자신을 증명할 기회가 있을 때까지 새로운 훈련생에게 일을 맡기는 것을 꺼릴 수 있다. 따라서 위험 계산에서 여러 신뢰 수준(즉, 대인 관계 및 조직 결정 요인)이 고려된다.
A clinician's capacity to act effectively has organisational determinants. A competent and willing surgeon or hospital service may not have capacity to see new patients as the waiting list is already unserviceable. A clinician may be disinclined to delegate a task to a new trainee until he's had a chance to prove himself because of mixed experience with graduates of a similar background. Multiple levels of trust (i.e. interpersonal and organisational determinants) therefore figure in any risk calculation.

조직은 그에 상응하는 신뢰도 결정요인을 가지고 있다고 볼 수 있다. Caldwell과 Clapham은 조직의

• '능력'은 역량, 재정적 균형 및 질 보증에 의해 판단될 수 있으며,
• '자애'는 정보에 대한 상호적 예의와 책임에 의해 판단될 수 있으며,
• '성실성'은 모두 임상 서비스 관리자에게 친숙할 것이라고 주장한다.

Organisations may be viewed as having corresponding trustworthiness determinants. Caldwell and Clapham14 argue that

• ‘ability’ in an organisation might be judged by competence, financial balance and quality assurance,
• ‘benevolence’ by interactional courtesy and responsibility to inform, and
• ‘integrity’ by legal compliance and procedural fairness, all of which will be familiar to clinical service managers.

신뢰 성향
Propensity to trust

[신뢰성Trustworthiness]은 [수탁자Trustee]의 특성을 나타내지만, 보다 완전한 신뢰 방정식은 [신탁자Trustor]의 성향과 위험성에 대한 이해가 필요하다. 기존의 의료 평가에서는 편향을 최소화하고 신뢰성을 높이기 위해 표준화 및 보정을 위해 모든 노력을 기울인다. 따라서 대부분의 평가는 신뢰와 위험에 대한 개별 임상 교사의 내재된 지향점을 경시하거나 무시하도록 설계되었다. 대조적으로, 메이어 외 모델은 우리에게 Trustor를 식별하고, 그의 독특한 의사 결정 과정을 이해하려고 시도할 것을 명시적으로 요청한다. 모든 Trustor는 신뢰에 대한 결정과 관련된 위험과 취약성에 자신을 노출시키는 데 있어 편안함이나 불안의 정도가 다르다. 이를 Trustor의 '신뢰 성향' 또는 수탁자의 '중개 렌즈'라고 표현하였다. [낮은 신뢰자]는 위협 메시지를 보고, [높은 신뢰자]는 지정된 시나리오에서 협력 메시지를 봅니다. 신뢰자의 성별, 나이 및 인종은 신뢰도에 대한 결정요인을 평가하는 방법에 차이를 만듭니다. 예를 들어, 젊은 응답자들은 '정직한 의사소통'의 가치를 더 높게 평가한다. 임상 감독자가 되는 것을 고려하고 있는 임상의가 선천적인 신뢰 성향에 따라 스스로 선택한다는 이론이 있을 수 있다.
Trustworthiness describes the characteristics of the trustee, but the more complete trust equation requires an understanding of the trustor's disposition and the risks. In conventional medical assessment, all effort is made to standardise and calibrate in order to minimise bias and increase reliability. Most assessments are therefore designed to downplay or disregard an individual clinical teacher's in-built orientation to trust and risk. By contrast, the Mayer et al. model15 explicitly asks us to identify the trustor and to attempt to understand his unique decision-making process. All trustors differ in their degree of comfort or anxiety in exposing themselves to the risk and vulnerability associated with making a decision to trust. This has been described as the trustor's ‘propensity to trust’15 or the trustor's ‘mediating lens’.68 Low trustors see the threat message and high trustors see the cooperative message in any given scenario.69 The gender, age and race of the trustor make a difference in how he or she weights determinants of trustworthiness.68 For example, younger responders rate the value of ‘honest communications’ more highly. One might theorise that clinicians considering becoming clinical supervisors will self-select based on their innate propensity to trust.

작업 및 컨텍스트
Task and context

[위험]은 메이어 외 모델의 핵심이다. 리스크는, 그리고 그에 따라 신뢰 또한 상황에 따라 다르며 작업별로 다릅니다. 우리는 글로벌하게 신뢰를 제공하지 않습니다. 대신 다음과 같이 질문합니다. '어떤 작업을 위해, 어떤 상황에서?' '그들이 실패하면 어떤 결과가 초래됩니까?' 죄수의 딜레마에서 보듯 '블라인드 트러스트'는 악용될 가능성이 높다. Trustworthiness 만으로는 충분하지 않고, 위험 및 상황 결정 요인을 고려해야 합니다. 과업 특이성에 대한 명백한 예는 위장병 전문의는 대장 내시경 검사를 수행하지만, 방광 내시경 검사를 수행하지는 않는다는 것이다. 임상 작업장은 이보다 훨씬 더 미묘한 결정으로 가득 차 있다. [위험평가]는 [주니어 의사]에게 [임상적 판단능력의 학술적 평가에서 패스를 주는 (다음 교대로 넘어갈 수 있도록) 감독자의 행위]와 [팀의 아픈 환자를 평가하고 관리하기 위해 같은 레지던트를 혼자 두지 않도록 하는 행위 ]사이의 차이에서 볼 수 있다. 첫 번째 시나리오에서는 실제로 전공의를 이동시킴으로써 임상 위험이 감소합니다. 후자의 경우, 오진 및 잘못된 관리로 인해 환자에게 용납할 수 없는 위험이 있으며, 의료-법률적 결과를 초래할 수 있는 감독자에게 개인 위험이 있다. 특정 임상적 맥락에서 이러한 [위험 평가]를 기반으로 신뢰가 확장되거나 거부되는 것을 볼 수 있습니다.
Risk is key to the Mayer et al. model.15 Risk, and therefore trust, are context- and task-specific.14, 15 We do not globally proffer trust; instead, we ask: ‘For what task and under what circumstances?’ and ‘What are the consequences of them failing?’ ‘Blind trust’, as seen in the prisoner's dilemma, is likely to be taken advantage of. Trustworthiness is not enough: risk and situational determinants must be taken into consideration. An obvious illustration of task-specificity is trusting a gastroenterologist to perform a colonoscopy, but not trusting him to perform a cystoscopy. Clinical workplaces are filled with far more nuanced decisions than this. Risk assessment can be seen in the difference between a supervisor's act of giving a junior doctor a bare pass on an academic assessment of clinical judgement (so that he is moved on to the next rotation) and the act of ensuring that the same resident is not left alone to assess and manage the team's sick patients. In the first scenario, clinical risk is actually reduced by moving the resident along. In the latter circumstance, there is unacceptable risk to the patient of misdiagnosis and mismanagement, and there is personal risk to the supervisor with potential medico-legal consequence. We see that trust is extended or denied based on this risk assessment in a particular clinical context.

신뢰 문헌의 흥미로운 갈림길은 [신뢰]와 [불신]이 [동일한 연속체의 반대극]인지, 즉 본 논문에서 취한 입장인지, 아니면 높은 신뢰와 높은 불신이 공존할 수 있는 복잡한 관계를 허용하기 위해 [불신]과 [신뢰]가 [별도의 구조]로 존재할 수 있는지에 대한 의문을 제기해 왔다. 한 가지 예는 서로 경쟁하는 기업들이 (잠재적인 불신으로 인해) 지적 재산을 신중하게 보호하면서 특정 프로젝트(신뢰가 필요한)에 협력할 수 있는 시나리오이다. [복잡한 관계]는 의학에 아주 많으며, 예를 들어, 우리는 [서로 경쟁하는 의료 서비스 제공자나 연구자]들 사이에서 비슷하게 conflicted되는 관계를 볼 수 있다. 그러나 관계의 범위 내에서 특정 업무와 맥락에 초점을 맞춘 결정으로 신뢰를 모델링하면 [별도의 축으로 신뢰와 불신을 고려할 필요성]이 해소되는 경향이 있다.
An interesting fork in the trust literature has concerned the question of whether trust and distrust are opposite poles of the same continuum, which is the position taken in this paper, or whether distrust and trust may exist as separate constructs to allow for complex relationships in which high trust and high distrust may coexist.64, 70 One example is the scenario in which competitive corporations may collaborate on specific projects (which requires trust) while continuing to carefully guard their intellectual property (due to a measure of potential distrust). Complex relationships are abundant in medicine and we may see similarly conflicted relationships between competing health service providers or researchers, for example. However, the need to consider trust and distrust on separate axes tends to resolve if we model trust as a decision centred on a specific task and context within the span of the relationship.8

[Trustor를 식별]하면 우리는 그 또는 그녀의 개인적 위험을 이해할 수 있다. Kennedy 등은 훈련생들이 임상 감독관에게 도움을 요청하지 못한 중요한 안전 문제를 조사했습니다. 감독관이 교육생에 대한 신뢰를 어떻게 발전시키는지 이해하고자 했던 Hauer 등의 연구처럼, 이는 교육생-감독자 관계에 초점을 맞춘 훌륭한 기초 연구였다. 다시 말해, 훈련생의 결정에 영향을 미치는 요소들은 훈련생, 감독자 및 임상 상황과 관련된 요소들로 분류될 수 있다. 그러나 우려는 달랐다. 예를 들어, Kennedy 등의 연구에서, 주요 발견은 훈련생들이 너무 많은 질문을 하면 그들의 직업적인 신뢰도에 대해 걱정한다는 것이었다. 차이점은 관점에 있다. 하우어 등은 감독관을 위탁자로 배치하고, 그녀의 훈련생에게 임상 업무를 위임하기로 결정했다. Kennedy 등은 훈련생을 신뢰자로 배치하는데, 이 신뢰자는 자신을 판단하지 않고 감독관이 임상 조언을 해줄 것을 신뢰해야 한다. 훈련자가 인지하는 위험에는 환자에게 미치는 위험뿐만 아니라 자신의 전문적 신뢰의 상실이 포함된다.
Identifying the trustor enables us to understand his or her personal risks. Kennedy et al.63 investigated the important safety issue of trainees’ failure to ask their clinical supervisors for help. Like the work of Hauer et al.,23 which sought to understand how supervisors develop trust in their trainees, this was an excellent grounded study centred on the trainee–supervisor relationship. Again, the factors influencing the trainee's decision could be grouped into those related to, respectively, the trainee, the supervisor and the clinical circumstance. However, the concerns were different. For instance, in Kennedy et al.'s work,63 a principle finding was that trainees worry about their professional credibility if they ask too many questions. The difference is in the perspective. Hauer et al.23 place the supervisor as the trustor, deciding to delegate clinical tasks to her trainee. Kennedy et al.63 position the trainee as the trustor, who must trust the supervisor to give him clinical advice without judging him. The trainee's perceived risks include the loss of his own professional credibility, as well as the risk to the patient.

이 모든 것이 개인이 신뢰 결정이 필요할 때마다 신중한 스프레드시트를 배치한다는 것을 말하는 것은 아니다. 의사 결정의 측면들은 [숙고적인 것]이기보다, [감정적이거나 본능적]일 수 있다. 실제로 수십 년의 심리학 연구는 결정이 [느리고, 노력하고, 분석적인 사고][보다는 빠르고, 감정적이며, 본능적이지만 편향되기 쉬운 우리의 마음]에 의해 최소한의 노력으로 이루어지는 것을 선호한다고 말한다. 이들은 신뢰를 결정하는 데 있어 '정서적'과 '인지적' 요소로 설명되었다. 신뢰 연구의 또 다른 잠재적 방향은 신뢰자가 환자, 학생 또는 임상의인지에 관계없이 의사 결정의 정서적 요소를 이해하려는 노력을 포함할 수 있다.

All of this is not to say that an individual will lay out a careful spreadsheet each time a trust decision needs to be made. Aspects of the decision making may be more emotive or instinctive than deliberate. Indeed, decades of psychology research tell us that decisions are preferentially made with least effort by our fast, emotional, instinctive but bias-prone mind, rather than by slow, effortful, analytical thinking.71 These have been described as ‘affective’ and ‘cognitive’ components to determining trust.14 Another potential direction for trust research may involve trying to understand the affective component of decision making,8 whether the trustor is the patient, student or clinician.

리스크, 신뢰 및 제어 메커니즘
Risk, trust and control mechanisms

서론에서 지적했듯이, 공공, 임상의, 교육 기관 및 보건 시스템은 모두 위험에 대처해야 하지만 [신뢰]만이 유일한 선택은 아닙니다. 규제, 정책 및 치안 유지policing은 [대인 신뢰가 제한된 상황]에서 통제력을 제공할 수 있다. 이것은 마침내 위험을 다루기 위한 수단으로서 신뢰와 통제 메커니즘 사이의 상호 작용에 이르게 한다.
As we indicated in the introduction, the public, clinicians, educational organisations and health systems all need to deal with risk, but trust is not their only option. Regulation, policy and policing may offer control in contexts in which interpersonal trust is limited.72 This brings us finally to the interplay between trust and control mechanisms as means to deal with risk.

[시뮬레이션 이전 시대의 교육의 사례]는 [간호학]과 [의학]이 캐뉴레이션이나 비위관 배치와 같은 간단한 절차를 가르치는 경향이 있었던 방식의 차이를 의미한다.

• [간호사]들은 공식적인 훈련, 역량 승인 및 재인증을 통해 보다 프로토콜 중심적인 과정을 따르는 반면,
• [의사]들은 역사적으로 '하나를 보고, 하나 하고, 하나를 가르치는' 접근법이라고 일컬어지는 것에 대해 최소한의 지시만을 받았다.

틀림없이 이것은 [신뢰 대 통제 접근 방식]을 보여주며, 각각의 접근 방식에는 장단점이 있다. 둘 다 조직이나 단체가 위험을 다루기로 선택할 수 있는 방법이다.
An education example from the pre-simulation era refers to the difference in the ways in which nursing and medicine have tended to teach simple procedures such as cannulation or nasogastric tube placement.

• Doctors were historically given minimal direction in what has been referred to as a ‘see one, do one, teach one’ approach,73 whereas
• nurses often follow a more protocol-driven process with formal training, competency sign off and reaccreditation.

Arguably this illustrates trust versus control approaches, and there are pros and cons to each. Both are ways in which an organisation or group may choose to deal with risk.

조직 수준에서 [투명성과 책임성]은 우리의 기관 및 직업에서 점점 더 중요하게 인식되는 비즈니스 및 정부 원칙입니다. 고등교육 분야는 [제도적 규제 및 정부 차원]에서 [신뢰 대 통제 메커니즘]의 훌륭한 예를 제시한다. 시간이 지남에 따라, [외부 관리주의의 문화의 부상]과 [내부 통제의 상실]은 교육과 교육 분야에 종사하는 학자들 사이에서 증가하는 불만의 원천으로 언급되어 왔다. [외부 감사 및 핵심 성과 지표]와 같은 모니터링 시스템은 [신뢰와 자율성 상실]이라는 상응하는 [댓가를 치르면서 그 자체가 목적]이 될 수 있다. 이 현상은 영국과 호주에서 설명되지만, 다른 곳에서는 덜 명백할 수 있다. 다른 극단에서 핀란드의 교사들에 대한 신뢰 수준은 너무 높아서 정기적인 외부 검토가 필요하지 않다고 여겨진다. 
At an organisational level, transparency and accountability are business and government principles that are increasingly perceived as important in our institutions and professions. The higher education sector presents an excellent illustration of trust versus control mechanisms at the level of institutional regulation and government.10 Over time, a rise in the culture of external managerialism and the loss of internal control have been cited as sources of increasing dissatisfaction amongst academics engaged in education and in the education sector.74 Monitoring systems, such as external audit and key performance indicators, can become ends in themselves with a corresponding cost in loss of trust and autonomy. This phenomenon is described in the UK75 and in Australia,76 but may be less apparent elsewhere. Levels of trust in teachers in Finland, at the other extreme, are so high that routine external review is not deemed necessary.10

또한 [통제시스템은 의료 분야에서 점점 더 표준화]되고 있으며, 의료 전문가에 대한 이전 시대의 '존중과 맹목적인 신뢰'를 대체했다. 병원 기반 임상의는 이제 지속적인 전문 개발 및 전문적 재검증, 사고 보고, 근본 원인 분석 및 감사와 같은 [수많은 위험 관리 도구]에 익숙합니다. 의도는 일반적으로 양성으로 간주되고 데이터는 시스템 최적화를 주도하는 것으로 간주되지만, 그 결과는 [직업적 자율성과 신뢰의 침식]일 수 있다. [성숙한 시스템]은 [마땅할 때 신뢰]하고 [필요할 때 통제]하는 메커니즘을 모두 통합할 수 있지만, 동시에 똑같은 넓은 붓을 가지고 모든 사람을 색칠하고자 하며, 이는 분노를 일으킬 수 있습니다. 의료에 대해서 [신뢰를 갖는 통제 시스템]과 [자율성]의 최적의 상호 작용에 대한 검토가 필요하다. 신뢰, 통제 및 위험의 어휘는 이를 수행하기 위한 도구 중 일부를 제공할 수 있습니다. 
Control systems are also increasingly the norm in health care and have replaced a previous era's ‘deference and blind trust’ in health care professionals.77 Hospital-based clinicians are now familiar with a plethora of risk management tools, such as mandatory continuing professional development and professional revalidation, incident reporting, root cause analysis and audit. Although the intent is generally regarded as benign and the data as driving system optimisation, a consequence may be the perception of eroded professional autonomy and trust. A mature system may be able to incorporate both trust when it is deserved and control mechanisms when they are required, but at the moment the same broad brush is used to paint all comers, which has the potential to breed resentment. An examination of the optimal interplay of control systems with trust and autonomy in health care is required. The vocabulary of trust, control and risk may provide some of the tools with which to carry this out.

결론
Conclusions

위험 관리는 의심할 여지 없이 의료 제공과 의료 교육의 관계를 특징짓는다. [외부 감사 및 인증]과 같은 [선의의 통제 메커니즘]은 임상 환경에서 위험을 관리하도록 설계된 침해적인encroaching 존재이지만, 다른 접근 방식은 '신뢰'이다. EPA의 사용은 직장 기반 평가에서 신뢰를 탐구하는 한 가지 방법이다. 신뢰와 위험 또는 취약성 사이의 연관성은 사회과학 및 관리 문헌에서 분명하며, 환자-의사 관계에서 잘 기술되어 있지만 의학 교육 문헌에서는 이러한 연관성이 과소평가될 수 있다. 시뮬레이션에도 불구하고, 학생이나 훈련생이 수행하는 모든 임상 활동은 환자와 임상의에게 [어느 정도의 위험을 수반]한다. 그러므로 직장 학습과 평가에서 '신뢰'는 '역량'보다 더 진실하고 실용적인 어휘를 제공할 수 있다. 왜냐하면 위험은 명백한 고려사항이기 때문이다.
Management of risk undoubtedly characterises relationships in health care delivery and therefore medical education. Although well-intended control mechanisms, such as external audit and accreditation, are an encroaching presence designed to manage risk in clinical settings, another approach is ‘trust’. The use of EPAs is one way in which trust is being explored within workplace-based assessment. The link between trust and risk or vulnerability is clear in the social sciences and management literature, and although it is well-described in patient–doctor relationships, this association may be underappreciated in the medical education literature. Simulation notwithstanding, every clinical activity undertaken by students or trainees carries some risks for patients and clinicians. In workplace learning and assessment, ‘trust’ may therefore offer a more authentic and practical vocabulary than ‘competency’ because risk is an explicit consideration.

경영 문헌에서 나온 마이어 등의 강력한 신뢰 모델은 교육생에 대한 감독자의 신뢰 개발 보고와 일치한다. 예를 들어, 훈련생은 자신의 질문을 비판단적으로 처리할 수 있는 감독자에 대한 신뢰, 특정 임상 과제를 수행할 수 있는 환자의 신뢰, 적절한 졸업생을 제공할 수 있는 대학 프로그램에 대한 임상의사의 신뢰 등으로 표현되는 많은 다른 신뢰 관계가 있다. 가장 기본적인 수준에서 누가 신탁자인지, 누가 수탁자인지, 어떤 업무를 하는지 명확하게 기술하는 것이 도움이 된다. 각각의 관계는 대인관계와 조직적인 요소를 가지고 있다. 의료 및 의료 교육에서 [신뢰와 통제 메커니즘]을 이해하고 고려하는 것은 신뢰와 임파워먼트를 적극적으로 장려하면서, 위험을 성숙한 방식으로 관리하는 시스템의 개발로 이어질 수 있다.
Mayer et al.'s robust model of trust15 from the management literature is consistent with the reporting of supervisors’ development of trust in trainees. There are many other trust relationships in health care and medical education manifested by, for example, a trainee's trust in a supervisor to handle his questions non-judgementally, a patient's trust in her doctor to undertake a specific clinical task, or a clinician's trust in a university programme to deliver suitable graduates. At the most basic level, it is helpful to clearly delineate who is the trustor, who is the trustee, and for what task. Each relationship has interpersonal and organisational elements. Understanding and considered utilisation of trust and control mechanisms in health care and medical education may lead to the development of systems that maturely manage risk while actively encouraging trust and empowerment.

© 2017 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

EPA 프레임워크의 논리와의 고군분투 (Med Educ, 2022)
Struggling with the logic of EPA frameworks
Matt Sibbald1 | Glenn Regehr2

[신뢰할 수 있는 전문 활동(EPA) 프레임워크의 논리]를 둘러싼 [현실에서 일어나는 투쟁]을 알고 싶다면 역량 위원회에 참여하면 그에 대한 이야기를 듣게 될 것입니다. 역량 위원회(CC)는 EPA 데이터를 EPA 프레임워크의 깔끔한 행과 열로 신중하게 집계하여 진행 상황을 신중하게 정리tabulate, 요약, 판단한다. 그러나 EPA 프레임워크가 연습생 진행 상황을 불완전하게 포착할 때, CC는 종종 프레임워크 자체에 대해 논의한다. 헤누스 등은 42개 연구의 범위 검토를 수행함으로써 CC에게 EPA 프레임워크의 기본 논리에 대한 통찰력을 주었다. 그들은 로직의 세 가지 주요 흐름, 즉 서비스, 절차, 질병 또는 환자 범주를 확인했다. 그들의 작업은 이러한 EPA 프레임워크를 논의하기 위한 분류법을 제공하여 대화를 진전시키고, 그들의 강점과 격차를 식별한다. 실제로 EPA는 8개 중 1 하나 꼴로 세 가지 논리 중 어느 하나에도 맞지 않았고 위탁 등급에 쉽게 의존하지 않는 것으로 느껴졌다. 저자들은 이를 비EPA로 분류하여 모든 역량 기반 시스템을 EPA에 짜넣고 CC가 직면한 도전에 대한 통찰력을 제공하는 과제를 나타낸다. 
If you are looking for practical struggles around the logic of entrustable professional activity (EPA) frameworks, sit in on a competency committee, and you are bound to hear about them. Competency committees (CCs) carefully tabulate, summarise and judge progress, often by carefully aggregating EPA data into neat rows and columns of an EPA framework. But when the EPA framework incompletely captures trainee progress, CCs often debate the framework itself. Hennus and others have given CCs insight into the underlying logic behind EPA frameworks by conducting a scoping review of 42 studies.1 They identified 3 dominant lines of logic: service, procedures, and disease or patient categories. Their work moves the conversation forward by providing a taxonomy to discuss these EPA frameworks, identifying their strengths and also their gaps. In fact, one in eight EPAs did not fit into any one of the three logics and was felt not to lend itself easily to entrustment ratings. The authors labelled these as non-EPAs, signalling the challenge of squeezing all of a competency based system into EPAs and providing insight into the challenges CCs face.

예를 들면 이 문제를 더 잘 설명할 수 있을 것이다. 같은 교육 프로그램에 속해 있지만 EPA 포트폴리오를 완성하는 다른 단계에 있는 두 명의 수련생를 상상해 보십시오. 샤마라는 그녀의 또래들보다 거의 1년 앞서 있다. 그녀는 어텐딩에게 완료해야 하는 EPA를 강조함으로써 각 교대조 또는 입원 단위 주간을 시작하면서 EPA와 관련된 경험을 전략적으로 찾는다. 대조적으로, 루빈은 그의 동료들보다 거의 6개월 뒤쳐지고 있다. 역량 위원회는 루빈이 자신의 훈련 환경에 완전히 참여하고 있으며, 항상 환자 관리 책임을 따르고 항상 다음 필요한 작업을 자발적으로 수행한다고 들었습니다. 그러나 루빈은 샤마라와 같이 사전 예방적 접근법을 하기보다는, 사후에 EPA 관련 경험을 식별하는 데 의존한다. CC는 샤마라의 발전을 칭찬하고 동료들을 따라잡기 위한 전략을 루빈에게 제안합니다. 
Perhaps an example would further illuminate this issue. Imagine two trainees—peers in the same training programme—but at different stages of completing their EPA portfolios. Shamara is nearly 1 year ahead of her peers. She strategically seeks out experiences relevant to EPAs, starting each shift or inpatient unit week by highlighting EPAs that she needs to complete to her attendings. In contrast, Rubin is lagging nearly 6 months behind his peers. The competency committee hears that Rubin is fully engaged in his training environment, always following up on patient care responsibilities and always volunteering to do the next required task. However, he relies on identifying EPA relevant experiences after the fact, lacking Shamara's proactive approach. The competency committee commends Shamara on her progress and suggests strategies to Rubin to catch up to peers.

그러나 토론에서는 긴장감이 감돌고 있습니다. 루빈은 훌륭한 거주자이며, 최고 중 한 명입니다. 그는 신뢰할 수 있고 임상적으로 빈틈이 없으며, 교수진들은 그가 전체 서비스를 독립적으로 운영할 수 있도록 하는 데 완전히 편안함을 느낀다. 대조적으로, 샤마라는 견고한 거주자이지만, 교수진은 그녀가 환자 관리의 복잡성과 씨름하는 데 완전히 관여한다고 느끼지 않습니다. 그녀는 자신을 통해 추론하거나 임상 의사 결정의 복잡성과 씨름하지 않고 교수진 관리 제안을 빠르게 수용하고 이행합니다.
Yet there is tension in the discussion—Rubin is a great resident—one of the best. He is dependable and clinically astute with faculty feeling completely comfortable letting him run the entire service independently. In contrast, Shamara is a solid resident, but faculty does not feel that she fully engages in wrestling with the complexities of patient care. She is quick to accept and implement faculty management suggestions without reasoning them through herself or grappling with the complexity of clinical decision making.

역량 위원회는 EPA 프레임워크의 논리에 대해 토론하고 있다. 결국, EPA 프레임워크는 커리큘럼과 평가를 알려주는 훈련 프로그램의 구조를 제공하기 위한 것이다. 그럼에도 불구하고 [샤마라와 루빈의 이야기]는 EPA 포트폴리오 진행과 훈련생들의 직업 실습 참여 사이의 차이를 강조한다. 그것은 [의사가 되기 위해 공동체의 실천에 의미 있게 참여하는 것]과는 대조적으로 [전문직업적 실천 단위에 대한 신뢰도를 달성하는 것]의 차이를 강조한다. 전자는 이러한 경험으로부터 [의미를 구축]하고 [전문직과 정렬된 정체성을 개발]하기 위해 [전문직의 사회적 역학] 내에서 [경험에 참여하는 근본적인 역할]을 인식한다. 실천 공동체 내에서, 이것은 단지 [전문적 실천의 단위]를 수행하는 것이 아니라, (전문적 정체성의 획득을 가장 많이 지원하는) [전문직의 실천]에 참여하는 것이다.
The competency committee finds itself debating the logic of the EPA framework. After all, an EPA framework is meant to provide structure for a training programme, informing the curriculum and assessment. And yet the story of Shamara and Rubin highlights differences between EPA portfolio progress and the engagement of trainees with the practices of a profession. It highlights the difference between achieving entrustability on units of professional practice in contrast to engaging meaningfully in the practices of the community in order to become a physician. The latter recognises the fundamental role of engagement in experiences within the social dynamic of the profession in order to build meaning from these experiences and develop an identity aligned with the profession.2 Within a community of practice, it is engaging in the practices of a profession rather than just units of professional practice that most supports the acquisition of a professional identity.

실제로, [다양한 EPA 프레임워크의 논리적 차이]를 식별함에 있어 헤누스 등은 서비스, 절차, 질병 및 환자 범주가 모두 [의사의 진료에 대한 공통된 관점]을 공유한다는 동일성을 식별한다. 이는 이러한 EPA 프레임워크가 생성되는 방법을 고려할 때 이해할 수 있다. Lepre 등은 EPA 프레임워크를 생성할 때 이해관계자 협의 프로세스의 동일성sameness을 확인했다. 상담 대상자는 실무자와 학자로, 서비스 사용자, 정책 입안자, 다른 직종의 실무자 및 학생 등 [다른 전문직의 관점을 가진 사람]은 5명 중 1명 미만이었다. 마찬가지로, 프레임워크 개발에 사용되는 주요 방법 및 전략에는 문헌 검토, 그룹 기술 및 이해관계자 숙고가 포함되며, 포커스 그룹을 통한 작업장 과제에 대한 일차 데이터 수집, 인터뷰 및 실무 분석은 거의 사용되지 않는다.4 따라서 [EPA의 주요 논리]가 [서비스, 프로시져, 질병 및 환자 범주]가 정확하게 들어맞는 [거래적 일화적 보건의료 만남]의 지배적인 프레임과 함께, [의견을 제공한 이해 관계자의 지배적인 렌즈]를 나타낸다는 것은 놀랄 일이 아니다. 또한 이러한 관점이 [팀 기반 돌봄, 지역사회 업무, 옹호 업무 및 제도 업무와 관련된 직장 관행]을 어떻게 강조하는지 쉽게 상상할 수 있습니다. 역량 위원회의 루빈에 대한 호의적인 인상은 이러한 non-EPA-able areas에 대한 참여engagement에서 비롯되었을 가능성이 크다.
In fact, in identifying the logic differences of various EPA frameworks, Hennus et al.1 also identify their sameness—that service, procedures, disease and patient categories all share a common perspective of the practice of physicians. This is understandable when considering how these EPA frameworks are generated. Lepre et al.3 identified a sameness to the stakeholder consultation processes in generating EPA frameworks. Most consulted were practitioners and academics, with less than one in five involving those with other workplace perspectives such as service users, policy makers, practitioners from another profession and students. Similarly, the predominant methods and strategies used to develop frameworks include literature review, group techniques and stakeholder deliberation, with primary data collection about workplace tasks through focus groups, interviews and practice analysis being used rarely if at all.4 It should come as no surprise, therefore, that the predominant logics represent the predominant lens of the stakeholders being consulted, with a predominant frame of transactional episodic healthcare encounters within which service, procedures, disease and patient categories squarely fit. It is also easy to imagine how this perspective would de-emphasise workplace practices involving team based care, community work, advocacy work and institutional work.5 The competency committee's favourable impression of Rubin quite likely stems from engagement in these non-EPA-able areas.

이 때 수반되는 위험은 [EPA 기회 탐색]을 과도하게 우선적으로 추구함으로써, [전문직 공동체의 일상적인 실천에 참여하는 대가로 게임화되는 것]이다. Billet은 직장 학습에서 후자의 접근 방식의 중요성을 강조하며, [덜 구조화된 환경에서 깊이 내재된 페다고지]를 활용하여 [트레이닝을 직무 환경에서의 어포던스로 감싼다]. 이러한 관점에서, [기회]는 [커리큘럼 프레임워크]에 의해 규정되는 것이 아니라 [참여]를 통해 얻어진다. 위의 예에서, 루빈의 접근 방식은 견습생으로서, 직장 환경에서 요구되는 전문 그룹의 연습에 관여한다. 그의 보상은 임상팀에의 수락과 후광적인 신뢰감이다. 샤마라는 전략적이고 EPA 시스템을 훈련 기회로 활용한다. 샤마라와 같은 접근 방식은, 일반적으로 [임상 팀의 신뢰와 수용을 얻는 시스템 작업]에 대한 [다양한 유형의 참여]를 우회함에도 불구하고 empowering한다. 그러나 이는 평가자들이 시스템에 결함이 있는 것처럼 느끼게 하고, 직장 훈련의 핵심 구성 요소를 놓치게 합니다. 즉, [직무 수행에의 참여]와 [직무 수행 단위]를 잘못 동일시하는 것입니다.
What this risks is prioritising EPA opportunity seeking so much that they become gamified at the expense of engaging in the day to day practices of a professional community.6, 7 Billet8 highlights the importance of the latter approach in workplace learning, describing the central importance of participatory practice, taking advantage of deeply embedded pedagogies in a less structured setting to fold training into the affordance of the workplace environment. Within this lens, opportunities are earned through engagement rather than prescribed by curricular framework. In the example above, Rubin's approach is that of an apprentice, engaging in practices of the professional group as required by the workplace environment. His reward is acceptance into the clinical team and halo sense of trust. Shamara is strategic and levers the EPA system into training opportunities. This approach is empowering, even if it bypasses the type of engagement in system work that usually earns the trust and acceptance of the clinical team. However, it leaves assessors feeling as if the system is flawed, missing a core component of workplace training—mistakenly equating engagement in practices of a profession with units of practice.

따라서 우리가 다양한 EPA 프레임워크의 논리와 씨름하는 동시에, [프레임워크에 스며있는 논리]와 씨름하는 것도 중요할 것입니다. 커뮤니티 또는 실습 환경 내에서 덜 구조화된 직장 학습에 대한 훈련생 참여와 EPA 논리의 이점을 균형 있게 조정하는 것은 역량 위원회가 루빈과 샤마라 같은 훈련생들의 진행 상황에 대해 심의할 때 직면하는 긴장을 해결하기 위해 필요할 수 있다.
So even as we struggle with the logics of various EPA frameworks, it will be important to struggle, too, with the logic that pervades all these frameworks. Balancing the advantages of EPA logic with trainee engagement in less structured workplace learning within a community2 or landscape of practice9 may be required to address the tensions faced by competency committees as they deliberate about the progress of trainees like Rubin and Shamara.

Struggling with the logic of EPA frameworks

PMID: 35619052

DOI: 10.1111/medu.14846

EPA 프레임워크의 논리: 스코핑 리뷰 (Med Educ, 2022)
The logic behind entrustable professional activity frameworks: A scoping review of the literature
Marije P. Hennus1 | Marjel van Dam2 | Stephen Gauthier3 | David R. Taylor3 | Olle ten Cate4

1 소개
1 INTRODUCTION

신뢰할 수 있는 전문 활동(EPA)은 역량 적용을 위한 명확한 목적을 제공하는 보건 전문가 교육에서 빠르게 진화하는 개념을 나타낸다.

• [역량]은 교육자가 임상 실습에 제공하는 능력을 반영하는 반면,
• EPA는 이러한 역량이 필요한 의료의 과제이다.

EPA는 개별적인 직업별 작업(또는 작업 묶음)으로, 일반적으로 식별 가능한 환자 치료 행위이며, 여기에는 여러 역량(중요한 지식, 적절한 기술 및 태도 포함)의 통합이 필요하다. 학습자는 기본적으로 이러한 작업을 수행함으로써 EPA를 위해 훈련되고 있으며, 처음에는 엄격한 감독 하에 점차 자율적으로 훈련되고 있다. EPA에서 유능해지기 위한 진행은 소위 [위탁-감독 척도]를 따른 학습자의 여정을 반영한다. 이러한 척도는 학습자가 안전한 환자 치료를 보장하기 위해 필요한 감독 수준을 포착하는 것을 목표로 한다. 역량이 증가함에 따라 감독 강도를 시간이 지남에 따라 신중하게 낮춰야 한다. 전체적으로 본다면, 일련의 EPA는 전문 교육을 위한 커리큘럼의 틀을 정의하고 알리기 위해 사용될 수 있으며, 실제로 전문직의 핵심 활동을 반영한다. 이와 같이 EPA 기반 커리큘럼은 임상 훈련과 평가를 임상의가 일상 업무에서 실제로 수행하는 작업과 연결할 수 있는 잠재력을 가지고 있다. 결과적으로, 점점 더 많은 수의 대학원 의학 훈련 프로그램이 커리큘럼을 재설계하기 위해 그것들을 사용하기 시작했다. 

Entrustable professional activities (EPAs) represent a rapidly evolving concept in health professionals' education that offers clear purpose for the application of competencies. Whereas

• competencies reflect the capabilities trainees bring to clinical practice,1 
• EPAs are the tasks of health care for which these competencies are needed.

An EPA is a discrete profession-specific task (or bundle of tasks), typically an identifiable act of patient care, which requires the integration of multiple competencies (including vital knowledge, appropriate skills and attitudes).2, 3 Learners are essentially being groomed for EPAs by performing these tasks, initially under strict supervision and gradually more autonomously. Progression towards becoming competent in an EPA reflects a learner's journey along so-called entrustment-supervision scales. These scales aim to capture the level of supervision a learner requires to ensure safe patient care; with increasing competence, the intensity of supervision should be carefully lowered over time.4, 5 Taken collectively, a set of EPAs can be used to define and inform the framework of a curriculum for specialty training and, in fact, reflects the profession in its core activities. As such, an EPA-based curriculum has the potential to link clinical training and assessment to the work that clinicians actually do in daily practice.6 Consequently, an increasing number of postgraduate medical training programmes have begun using them to redesign their curricula.7, 8

EPA는 이해관계자 간에 내용 타당성과 수용성을 모두 제공할 수 있는 신중하게 구성된 접근방식을 요구한다. EPA의 개발 과정을 안내하는 데 도움이 되는 지침이 존재하지만, [예비 프레임워크 초안을 작성하기 위해 사용할 논리]를 결정하는 것은 중요하고 종종 어려운 첫 번째 단계를 제시한다. EPA 프레임워크의 논리는 개발자가 직업의 관행을 전문 작업 단위로 분해하기 위해 사용하는 관점으로 정의할 수 있다. 현존하는 문헌에서 발견된 보고된 접근법에는 다음이 포함된다. 

• 역할 ('다른 분야의 컨설턴트 전문가 역할'), 
  
• 절차 ('일반적인 폐 및 중환자 치료 절차를 안전하고 효율적으로 수행') 
  
• 질병 관리 ('패혈증 환자 관리') 
  
• 환자 범주 ('청소년 의료') 및 
  
• 기능 ('외래 환자 클리닉 실행') 

EPAs require a carefully constructed approach that can deliver both content validity and acceptance among stakeholders.9 Although guidelines exist to help guide the developmental process of EPAs,3, 10 deciding what logic to use to draft a preliminary framework poses a crucial and often difficult first step. The logic of an EPA framework can be defined as the perspective used by the developers to break down the practice of a profession into units of professional work.11 Reported approaches found in extant literature include

• roles (‘Act as the consultant specialist for other disciplines’),
• procedures (‘Safely and efficiently perform common pulmonary and critical care procedures’),
• disease management (‘Management of a patient with sepsis’),
• patient categories (‘Adolescent healthcare’) and
• functions (‘Running the outpatient clinic’).7, 8 

유사한 분야에서도 서로 다른 접근법이 사용되어 왔다. 예를 들어 폐 및 중환자 의료에 대한 [미국] 펠로우십 교육을 위한 '기능' 및 '역할 기반' EPA를 [네덜란드] EPA의 보다 '질병 관리' 지향 EPA 프레임워크와 비교한다. '모든 사람에게 맞는 하나의 크기'라는 격언은 EPA 프레임워크의 개발에 분명히 적용되지 않는다. 설정, 목적, 교육 프로그램에 기반한 맞춤화가 불가피해 보인다.
Even within similar disciplines, different approaches have been used. Compare for instance the predominantly ‘function-’ and ‘role-based’ EPAs for American Fellowship Training in Pulmonary and Critical Care Medicine12 with the more ‘disease management’ orientated EPA-framework of their Dutch counterparts.13 The ‘one size fits all’ adage clearly does not hold true for the development of EPA frameworks; customisation based on setting, purpose and/or training programme seems inevitable.

이 범위 문헌 검토는 대학원 의학 교육 및 펠로우십 프로그램에 걸쳐 EPA 프레임워크 개발에 사용된 지배적인 논리와 추가 연구를 위한 영역을 강조할 뿐만 아니라 EPA 개발을 위한 모범 사례 지침을 잠재적으로 알리기 위한 그들의 합리성을 매핑하는 것을 목표로 했다.
This scoping literature review aimed to map the dominant logics used in the development of EPA frameworks across postgraduate medical education and fellowship programmes and their rationales to potentially inform best practice guidelines for EPA development in addition to highlighting areas for further research.

2 방법
2 METHODS

2.1 설계
2.1 Design

주제에 대한 기존 연구 결과를 수집, 평가 및 제시하는 반복적이고 유연한 방법인 범위 검토가 수행되었다. 우리는 철저한 검토를 추구하지 않고 지배적인 EPA 논리를 식별하고 매핑하기 위해 시작했기 때문에 체계적인 검토 대신 범위를 사용했다. 이는 체계적 검토 및 메타 분석을 위한 선호 보고 항목(PRISMA)의 범위 검토 확장에 따라 보고되었다. 
A scoping review, an iterative and flexible method to collect, evaluate and present findings from existing research on a topic,14 was performed. We used a scoping, instead of a systematic review, as we did not seek to be exhaustive but set out to identify and map dominant EPA logics.15 This was reported in accordance with the Preferred Reporting Items for Systematic Review and Meta-analysis (PRISMA)'s extension for Scoping Reviews.16

2.2 검색 전략
2.2 Search strategy

문헌 본문의 범위를 평가하기 위해, 우리는 Khalil 등으로부터 채택된 스코핑 리뷰에 대한 증거 기반 다단계 접근법을 사용했다. 2005년 1월부터 2020년 12월까지의 연구는 타당성과 폭 및 포괄성의 균형을 맞추기 위해 3단계 문헌 검색을 사용하여 확인되었다.

• 1단계는 제목과 초록에 포함된 텍스트 단어(위탁가능 프로페셔널 활동*)를 2명의 저자(MH, MD)가 독립적으로 선별하여 MEDLINE과 Embase에 대한 제한된 검색으로 구성되었다.
• 두 번째 단계는 이 텍스트 단어들을 포함된 모든 데이터베이스(구글 스콜라, 스코푸스, 웹 오브 사이언스 추가)에서 검색어로 사용했다. 이러한 데이터베이스는 EPA에 대한 문헌을 포괄하고 함께 고려할 때 가능한 포괄적으로 선택되었다. 이 검토에서 사용된 검색 구문에 대한 자세한 내용은 지원 정보(부록 1)에서 확인할 수 있습니다.
• 세 번째 단계에는 확인된 모든 보고서 및 추가 연구를 위한 논문의 참조 목록 분석이 포함되었다.

To assess the extent of the body of literature, we used an evidence-based multistage approach to scoping reviews adapted from Khalil et al.17 Studies from January 2005 until December 2020 were identified using a three-step literature search in order to balance feasibility with breadth and comprehensiveness.

• The first stage consisted of a limited search of MEDLINE and Embase by screening of text words (Entrustable Professional Activit*) contained in the title and abstract by two authors (MH, MD) independently.
• The second stage used these text words as search terms across all included databases (adding Google Scholar, Scopus and Web of Science). These databases were chosen to span literature on EPAs and to be as comprehensive as possible when considered together. The full details of the search syntaxes used in this review can be found in the Supporting Information (Appendix 1).
• The third stage included analysis of the reference lists of all identified reports and articles for additional studies.

2.3 연구 선정
2.3 Study selection

2.3.1 포함 기준
2.3.1 Inclusion criteria

포함시킬 수 있는 연구들은 다음과 같은 연구였다.

• (i) 개발된 EPA 프레임워크의 논리를 설명하거나 최소한 EPA 제목을 제공한다. 
  
• (ii) 대학원 의학 교육 또는 펠로우십 프로그램 및 
  
• (iii) 영어로 쓰여졌다.

포함된 연구는 대조, 요약 및 결과 보고가 가능하도록 표와 서술 형식으로 차트화되었습니다.

Eligible for inclusion were studies that

• (i) either described the logic of developed EPA frameworks and/or provided at least the titles of EPAs for
• (ii) a postgraduate medical education or a fellowship programme and
• (iii) were written in English.

Included studies were charted in a tabular and narrative format allowing for collation, summarising and reporting of results.

2.3.2 배제 기준
2.3.2 Exclusion criteria

다음과 같은 문헌은 제외되었다.

• (i) 주 원고, 보충 데이터 및 온라인 보충 데이터에 EPA 프레임워크를 제공하지 않아 기본 논리를 분석할 수 없었다. 
  
• (ii) EPA의 규모와 복잡성의 결정에 영향을 미칠 수 있으므로 (하위) 전문 교육 프로그램의 단일 EPA 또는 일부 EPA에 대해서만 설명한다. 
  
• (iii) 학부생, 대학원 의학 교육(GME)에 입학하는 신규 졸업생의 평가 및 기타 보건 전문직(예: 간호사, 수의사, 약사)을 위한 EPA 프레임워크를 제공했다.

Papers were excluded if they

• (i) did not provide an EPA framework in either the main manuscript, supplemental data and/or online supplemental data, making it impossible to analyse the underlying logic;
• (ii) described only a single EPA and/or EPAs for a part of a (sub)specialty training programme as this may have impacted decisions of size and complexity of the EPAs; and/or
• (iii) offered an EPA framework for undergraduates, for the evaluation of newly graduated students entering graduate medical education (GME) and/or for other health professions (e.g., nurses, veterinarians and pharmacists).

2.4 선별과정
2.4 Screening process

두 명의 저자(MH, MD)는 검색 과정에서 반환된 모든 제목과 초록을 독립적으로 선별하여 포함 기준을 충족하지 않는 논문을 거부하였다. 논문을 포함하거나 제외하는 결정을 제목 및/또는 요약에 기초하여 내릴 수 없는 경우, 그 결정을 알리기 위해 전문에 접근했다. 현시점에서 불확실성이 여전했다면 제3의 저자(SG)가 심판 역할을 해 합의를 이끌어냈다. 
Two authors (MH, MD) independently screened all titles and abstracts returned during the search process, rejecting papers that did not meet the inclusion criteria. If a decision to either include or exclude a paper could not be made based on title and/or abstract, the full text was accessed to inform the decision. If uncertainties still remained at this point, a third author (SG) served as referee to help reach consensus.

2.5 논리의 분류
2.5 Categorisation of logic

심사 과정 동안 데이터의 반복 분석(종종 근거 분석이라고 함)을 이용한 귀납적 코딩 스타일을 두 명의 저자(MH, MD)가 독립적으로 사용하여 코드 초안을 작성했다. 이후 팀 미팅(MH, MD, SG, DT, OtC)을 개최하여 10편의 논문의 파일럿 코딩에 대해 논의하고, 이후 데이터 코딩과 추출을 MH와 MD가 수행하는 코딩 절차를 미세 조정하였으며, 두 저자는 제3저자(SG)와 함께 논문 내 포함된 모든 논문과 코딩된 EPA 로직을 독립적으로 읽고 재독하였으며, 사용된 논리에 대한 합의가 즉시 이루어지지 않았을 때 심판 역할을 맡았습니다. 
During the screening process, an inductive coding style using iterative analysis of the data (often referred to as Grounded Analysis) was be used by two authors (MH, MD) independently resulting in draft codes.18 Hereafter, a team meeting (MH, MD, SG, DT and OtC) was held to discuss a pilot coding of 10 papers and to fine-tune the coding procedure, following which data coding and extraction were performed by MH and MD. Both authors independently read and re-read all of the included papers and coded EPA logics within the papers with the third author (SG) serving as referee for papers when consensus on the logic used was not immediately reached.

3 결과
3 RESULTS

검색전략은 총 2607개의 인용을 확인하였으며, 중복제외 후 681개의 인용을 도출하였다. 이 중 42편의 논문이 이 검토에 포함되도록 선택되었다(PRISMA 다이어그램의 경우 그림 1 참조). 
In total, the search strategy identified 2607 citations, resulting in 681 citations after de-duplication. Of these, 42 papers were selected for inclusion in this review (for a PRISMA diagram see Figure 1).

3.1 EPA 프레임워크의 논리를 설명하는 논문의 일반적인 특성
3.1 General characteristics of papers describing the logic of EPA frameworks

Microsoft Excel 버전 16.54(표 1)를 사용하여 관련 연구 데이터(예: 출판 연도, 국가, 전문성 및 교육 수준)를 추출하고 표로 작성했습니다. 포함된 논문의 주요 특성은 표 2에 요약되어 있습니다. 대학원 또는 펠로우십 프로그램에 대한 EPA 프레임워크의 논리를 설명하는 대부분의 연구는 미국(n = 22; 52%), 캐나다(n = 6; 14%), 네덜란드(n = 4; 10%)(표 2)에서 수행되었다. 보고된 전공의 범위 전체에서 가정의학과(n=4;10%), 내과학과(n=4;10%), 소아과(n=3;7%), 정신과(n=3;7%)가 가장 많았다. 또한 프레임워크의 69%는 전공의용(n = 29), 31%는 전임의용(n = 13)으로 개발되었다. 
Relevant study data (e.g., publication year, country, specialty and level of training) were extracted and tabulated using Microsoft Excel Version 16.54 (Table 1). Key characteristics of included papers are summarised in Table 2. Most studies describing the logic of EPA frameworks for postgraduate or fellowship programmes were conducted in the United States (n = 22; 52%), Canada (n = 6; 14%) and the Netherlands (n = 4; 10%) (Table 2). Across the reported range of specialties, family medicine (n = 4; 10%), internal medicine (n = 4; 10%), paediatrics (n = 3; 7%) and psychiatry (n = 3; 7%) were the most common. Furthermore, 69% of the frameworks had been developed for residency (n = 29), 31% for fellowships (n = 13).

3.2 다양한 EPA 프레임워크 로직
3.2 Variety of EPA-framework logics

총 862개의 EPA가 EPA 프레임워크(범위 3-79)당 14개의 EPA의 중위수로 42개 조항에 설명되었다(표 1). 데이터의 반복 분석을 사용한 귀납적 코딩 스타일을 기반으로 다음 논리가 확인되었습니다(예시).

• 1) 임상 서비스를 포함한 서비스 제공: 직접('중상환 신생아의 영양 요구 관리') 및 간접 환자 치료('가족 회의 촉진') 및 
  비임상 의료 서비스('혈액 성분 수혈과 관련된 부작용 평가 및 보고') 
  
• 2) 프로시져 ('삽관, 기관지경, 흉부천자, 중심 정맥 카테터 배치 및 초음파를 포함한 일반적인 중환자 치료 절차 수행' 및 
  
• 3) 질병 또는 환자 그룹('비감염성 질염성 질염 환자 식별 및 관리') (표 1) 

A total of 862 EPAs were described in the 42 articles with a median of 14 EPAs per EPA framework (range 3–79) (Table 1). Based on an inductive coding style using iterative analysis of the data, the following logics were identified (with examples):

• 1) service provision including clinical services for direct (‘Managing nutritional needs of critically ill newborns’) and indirect patient care (‘Facilitating family meetings’) as well as non-clinical health care services (‘Evaluating and reporting adverse events involving the transfusion of blood components’);
• 2) procedures (‘Performing common critical care procedures, including intubation, bronchoscopy, thoracentesis, central venous catheter placement, and ultrasound’; and
• 3) disease or patient groups (‘Identifying and managing patients with noninfectious GI luminal disease’) (Table 1). 

눈에 띄는 것은, 보고된 모든 EPA의 13%(n = 109)가 의사가 서비스하는 사람들의 의료 요구를 효과적으로 충족시키기 위해 필요한 능력을 기술했다. (예: '평생 학습 참여', '전문적 행동 시연'). 이러한 EPA는 종합적인 위탁 결정에 적합하지 않기 때문에, 이 그룹은 4) 비 EPA로 분류되었다.
Notably, 13% (n = 109) of all reported EPAs described abilities physicians require to effectively meet the health care needs of the people they serve (e.g. ‘Engaging in life-long learning’, ‘Demonstrating professional behavior’). As these EPAs are not suitable for summative entrustment decisions, this group was categorised as 4) non-EPAs.

대부분의 논문(n = 37; 88%)은 EPA 프레임워크 개발에 2개 이상의 논리를 사용했다(표준 = 3, 범위 = 1~4). 질병 또는 환자 그룹과 서비스 제공이 가장 많이 사용된 논리(각각 39%와 37%)였다(표 1).
The majority of papers (n = 37; 88%) used two or more logics in the development of EPA frameworks (median = 3, range = 1–4). Disease or patient groups and service provision were the most common logics used (39% and 37%, respectively) (Table 1).

4 토론
4 DISCUSSION

이 검토에서, 우리는 대부분의 프로그램이 EPA의 프레임워크를 확립하기 위해 [논리의 조합을 사용한다]는 것을 발견했다. 그러한 프로그램의 개발자들이 의도적으로 이러한 분류를 선택했을 수도 있고 아닐 수도 있지만, 많은 사람들은 단지 하나의 논리적 분류를 찾지 않고 최선의 접근법이 무엇인지 알아내는 데 시간을 보냈을 것이다. 지금까지 '최선의' 접근법에 대한 권고안이 제시되지 않았으며, 의료 전문 분야와 다른 보건 전문 교육 프로그램 간의 차이는 방어 가능한 것으로 보인다. 빠르게 확장되는 문헌에 비추어, 우리는 실제로 사용되어 온 지배적인 논리를 탐색하고 EPA 프레임워크를 만들기 위한 새로운 이니셔티브에 유용할 수 있는 권장 사항을 증류하고자 했다. 
In this review, we found that most programmes use a mix of logics to establish a framework of EPAs. Whereas the developers of those programmes may, or may not, have deliberately chosen these categorizations, many will have likely spent time to figure what the best approach would be, without finding just one logical categorisation. So far, no recommendations for a ‘best’ approach20 have been offered, and differences between medical specialties, and among other health professions educational programmes, seem defensible. In light of the quickly expanding literature, we sought to explore the dominant logics that have been used in practice and to distil recommendations that may be useful for new initiatives to create EPA frameworks.

4.1 EPA의 광범위한 서비스 범위
4.1 The broad service range of EPAs

EPA를 정의할 때 [EPA의 목적]을 염두에 두는 것이 유용하다. 여러 출판물들은 그것의 정의와 EPA가 역량과 어떻게 다른지 상세히 설명하였다. '전문 실무 단위'로서 EPA는 전문 업무를 개념화하기 때문에 반드시 교육 모델이 될 필요는 없다. 그들은 주로 전문 교육을 위한 커리큘럼을 개발하고 직장 평가 절차를 만드는 데 사용되었다. 그러나 [필수 작업essential tasks]을 정의하는 것이 항상 명확한 것은 아닙니다. 또한, EPA는 고유한 우선 순위, 의무 및 목적을 가진 국가 또는 심지어 [국제 기구]에 의해 점점 더 공식화되고 있다. 이는 지역적으로 EPA를 선택하거나 식별하는 자유를 제한하며 프로그램, 기관 또는 국가를 넘어서는 [총괄적 위임 결정]을 인정하는 역할을 한다. 가까운 장래에 EPA는 예를 들어 관련된 교육생과의 부작용 발생 시 책임에 대한 분쟁이 발생하거나 [의료행위 범위의 정당성]이 위태로울 때 사법기관에 의해 인정될 수 있다. 그것은 자격 증명으로 인정되고, 위탁되고, 인증될 수 있는 전문 실무 단위의 건전한 공식화의 필요성을 강조한다. 
In defining EPAs, it is useful to keep their purpose in mind. Multiple publications have elaborated on its definition and how EPAs differ from competencies.3, 10, 21 EPAs, as ‘units of professional practice’, are not necessarily an educational model as they just conceptualise professional tasks.10 They have primarily been used to develop curricula and create workplace assessment procedures for specialty training; however, defining the essential tasks is not always clear-cut. Furthermore, EPAs are increasingly formulated by national or even international bodies with unique priorities, mandates and purposes.22-26 This limits the freedom to choose or identify EPAs locally and serves to acknowledge summative entrustment decisions beyond a programme, institution or country. In a foreseeable future, EPAs may be acknowledged by legal bodies, for example, when disputes arise about accountability in case of adverse events with trainees involved27 or when the legitimacy of a scope of practice is at stake. That stresses the need for a sound formulation of the units of professional practice that can be acknowledged, entrusted and certified as a credential.

최근 몇 년 동안 교육 후 EPA의 잠재적 역할이 더 많은 관심을 받고 있다. 3개의 네덜란드 UMC의 상주 코디네이터는 최근 EPA에게 재인증의 핵심 지위를 줄 것을 간청했다. 또한, EPA의 사용은 어떤 직원이 어떤 의료 특권을 가지고 어떤 훈련을 어떤 수준에서 수행할지 명시하도록 요청하는 'Joint Commission'가 수행하는 것과 같은 [병원 자격 증명 요건]과 자연스럽게 일치fit한다. 이는 EPA의 추가 목적 역할을 한다.
In recent years, the potential role of EPAs after training has received more attention.28, 29 Residency coordinators of three Dutch UMCs recently pleaded to give EPAs a core status in recertification.30 In addition, the use of EPAs naturally fits with requirements of hospital credentialling, such as done by the ‘Joint Commission’,31 which ask to specify which employees have which health care privileges and which tasks are to be performed by which trainees under which level of supervision. This serves as an additional purpose of EPAs.

4.2 주요 논리의 장단점
4.2 Pros and cons of the main logics

EPA 프레임워크 개발을 위한 논리를 선택하는 것은 어려울 수 있다. 각 접근방식은 아래에 논의된 바와 같이 장점과 단점이 있기 때문이다.
The choice of a logic for developing an EPA framework may be difficult, as each approach comes with benefits and drawbacks as discussed below.

4.2.1 서비스 제공
4.2.1 Service provision

[서비스 제공 EPA]는 [일반적으로 임상의의 스케쥴에 포함된 활동]을 반영하므로, 장점은 손쉽게 인식, '지정assigned', 금지prohibited된다. 그것들은 [광범위하고 일반적]이며, 위임 결정은 이러한 서비스 중에 발생할 수 있는 프로시져와 질병에 대한 [적절한 경험]을 전제로 한다. 이로 인해 EPA가 주니어 학습자들에게 덜 적합하게less suitable 된다. EPA '표준 외래 환자 상담'을 예로 들 수 있는데, 이는 보다 상급 의료 교육생에게 논리적이고 적합한 활동이다. 이 EPA에는 의대생에게 적합한 독립적 EPA로서 기능할 수 있는 '의학 이력서 작성' 및 '전체 표준 신체검사 수행'과 같은 활동이 포함될 것으로 추정된다. 또한, [서비스 제공 EPA]는 사례 특이성이 부족할 수 있으며, 결과적으로 감독 임상의가 적용apply하기 어려울 수 있다. 평가 시 표본 추출에 주의하지 않는 한, 이 접근 방식은 또한 특정 EPA에 대한 평가가 포함된 환자의 프레젠테이션 전반에 걸쳐 일반화될 수 있다고 가정한다.
These EPAs reflect activities as they are usually scheduled for clinicians and are therefore easily recognised, ‘assigned’ and/or prohibited. They are broad and general, and entrustment decisions assume adequate experience with procedures and diseases that may be encountered during these services. This makes them less suitable for junior learners.3 Take for example the EPA ‘standard outpatient consultation’, a logical and suitable activity for more advanced medical trainees. This EPA will presumably include activities like ‘taking a medical history’ and ‘performing a full standard physical examination’, activities that in itself may serve as suitable standalone EPAs for medical students. Furthermore, service provision EPAs may lack case specificity and as a result can be challenging for supervising clinicians to apply.6 Unless there is careful attention to sampling in assessment, this approach also presumes assessments for a given EPA can be generalised across included patients' presentation.

4.2.2 프로시져
4.2.2 Procedures

일부 전공 분야의 경우 프로시져(또는 프로시져의 클러스터)가 선호 EPA(예: 내시경 및 수술)가 될 수 있다. 일반적으로 잘 훈련될 수 있는 명확하고 잘 표시된 작업이다. 프로시져를 EPA로 채택하는 위험은 [개별적으로 고려할 때 매우 작거나 좁은 범위의 기술에 초점]을 맞춘다는 것이다. 작고 따라서 많은 절차적 EPA가 본질적으로 문제가 되는 것은 아니지만, 학습자에게 이러한 자격을 부여하기 위한 심각한 [총괄적 위임 결정]의 절차는 까다로운 일이 될 수밖에 없다. 또한, 이러한 소규모 EPA는 신뢰에 대한 여러 조건을 포함하기보다는 [정신운동 능력에만 초점을 좁힐 위험]도 수반한다.
For some specialties, procedures (or clusters of procedures) can be preferred EPAs (e.g. endoscopies and surgeries); they are clear and well-demarcated tasks that generally can be trained well. The risk of adopting procedures as EPAs is that they may be very small when considered individually and that the focus is on a narrow range of skills.3, 6 Small and thus many procedural EPAs are not inherently problematic, but serious summative entrustment decisions to qualify learners for these are bound to lead to cumbersome procedures.3, 6 Furthermore, these small EPAs incorporate the risk that the focus will narrow to psychomotor skills only, rather than including multiple conditions for trust.

4.2.3 질병 또는 환자군
4.2.3 Disease or patient group

[비시술적 전문분야]의 경우 [질병]이 빨리 떠오른다; [질병 X를 가진 환자를 관리하는 것]은 분명한 임무처럼 들린다. 질병이 논리로 나타나는 단점은 [감별 진단이 첫 번째 과제임을 무시하는 것]이다. 또한 질병은 학습자가 취급할 수 있는 공식적인 자격을 얻기보다는 '만난 것'의 체크박스 항목이 될 위험이 있는 [길고 상세한 목록]을 초래할 수 있다. [프로시져 EPA]와 유사하게, 질병에 대한 의료 전문지식을 중심으로 한 [좁은 범위의 역량에 초점]을 맞출 수 있다. 질병을 EPA의 논리로만 사용하는 것은 유용하고 실용적이지 않을 수 있다. 예를 들어 [진단 및 리퍼referral 후 치료가 일반적인 경우]에는 [질병 또는 질병 그룹]이 유용한 논리가 될 수 있다.
For non-procedural specialties, diseases come to mind quickly; managing patients with disease X sounds like a clear task. A draw-back of diseases as a logic is the disregard of differential diagnosis as a first task. Further, diseases may result in long and detailed lists with the risk of becoming checkbox items of what the learner ‘has encountered’ rather than having received a formal qualification to handle.3, 6 Analogously to the procedural EPA, it can focus on a narrow range of competencies centred on medical expertise for a disease. Using diseases only as the logic for EPAs may not be useful and practical. In some cases, diseases or disease groups can be a useful logic, for example, when treatment after diagnosis and referral is common practice.

4.2.4 비EPA
4.2.4 Non-EPAs

우리는 발표된 모든 'EPA'가 종합위탁 결정에 적합한 것은 아니며, 어떤 것은 EPA로서 유용성이 떨어진다고 판단했다. 우리는 모든 EPA의 13%(표 1)를 비 EPA로 분류했으며, 종종 의사가 서비스하는 사람들의 의료 요구를 효과적으로 충족시키는 데 필요한 능력을 설명한다. '평생 학습 참여', '전문적 행동 시연', '환자 안전 강화', '환자 개개인에 대한 옹호' 등이 대표적이다. 이러한 활동을 수행하는 것을 금지하는 것에서 직간접적인 감독 하에 허가하는 것으로의 전환을 상상하는 것은 어렵다. 우리는 훈련에 대한 이러한 목표의 중요성에 이의를 제기하지 않지만, 그것들은 독립적 EPA와는 다른 방식으로 훈련에 통합되어야 한다. EPA로 유용하게 개념화되지 않은 훈련 목표를 다루는 몇 가지 방법이 최근 텐 카테와 슈마허에 의해 제공되었다. 
We deemed not all published ‘EPAs’ as suitable for summative entrustment decisions and hence are less useful as EPAs. We qualified 13% (Table 1) of all EPAs as non-EPAs, often describing the abilities physicians require to effectively meet the health care needs of the people they serve. Examples include ‘Engaging in life-long learning’, ‘Demonstrating professional behavior’, ‘Enhancing patient safety’ and ‘Advocating for individual patients’. It is difficult envision the transition from a prohibition to perform these activities to permission to do so with direct or indirect supervision. We do not dispute the importance of these objectives for training, but they should be incorporated in training in a different way than stand-alone EPAs. Several ways to deal with objectives of training that are not usefully conceptualised as EPAs were recently provided by ten Cate and Schumacher.32

이 연구의 몇 가지 한계를 고려해야 한다. 첫째, 의학 대학원 및/또는 동료 훈련 프로그램의 발표된 EPA 프레임워크만 포함되었기 때문에 선택과 출판 편향의 문제가 있다. 네덜란드의 모든 전문 교육 프로그램에서 사용되는 EPA 유형의 요약을 포함하는 최근 논문은 유사한 논리를 발견했으며 부분적인 '회색 문학' 확인으로 볼 수 있다. 우리의 검토에서, 주요 이해관계자 그룹과 관련된 초기 EPA 프레임워크에 대한 근거는 일반적으로 설명되지 않았다. 개발자는 처음부터 시작했거나 통치 기관이나 국가 기관이 부과한 지침과 요구사항을 따랐을 수 있다. 다음으로, 적격 기사들은 외과 전문분야의 거의(n = 2)를 포함하였고, 이는 잠재적으로 논리로서 '구조'를 과소평가하게 만들었다. 그러나 이러한 유형의 논리의 중요성은 네덜란드에서 더 높은 발생률로 뒷받침된다. 보고된 일부 EPA는 둘 이상의 논리 범주로 분류될 수 있다. EPA 세트에 따라 EPA는 한 세트에서는 환자 범주이고 다른 세트에서는 서비스 범주일 수 있다. 

Several limitations of this study must be considered. First, there is the issue of selection and publication bias as only published EPA frameworks of medical postgraduate and/or fellow training programmes were included. A recent paper that includes a summary of the types of EPAs used by all specialty training programmes in the Netherlands found similar logics and can be seen as a partial ‘grey literature’ confirmation.26 In our review, the rationales for the initial EPA frameworks as relates to key stakeholder groups were usually not described. Developers may have started from scratch or have followed guidelines and requirements imposed by governing institutions or national bodies. Next, eligible articles included few (n = 2) from surgical specialties, potentially leading to an underestimation of ‘procedures’ as a logic. The importance of this type of logic, however, is supported by its higher occurrence in the Netherlands.26 Some reported EPAs could be categorised in more than one logic category; depending on the set of EPAs, an EPA may be a patient category in the one set and a service in the other.

수용된 권장 사항을 따름으로써 [개선할 수 있는 많은 EPA 제목]을 접했는데, 이는 논리 범주에 대한 의구심을 해소했다. 예를 들어, '검사 결과 전달'은 전문 실무의 독립적 단위로 간주할 가치가 거의 없기 때문에 확실히 더 성숙한 EPA에 내포될 수 있는 조기 교육 EPA일 수 있으며 부정사infinitive로 더 잘 공식화될 수 있다('진단 시험 결과의 소통'). 우리가 했던 [범주화의 한계]는 [full EPA description]에 대한 통찰력을 거의 갖지 못했다는 것이다. 예를 들어, 우리는 '예방'을 비 EPA로 인정했지만, 규격에는 EPA가 서비스 제공 논리에 속하는 것으로 간주하도록 만들 수 있는 매우 구체적인 하위 활동의 번들 또는 목록이 포함되어 있었을 수 있다. 단지 '예방'을 위해 임상의사를 인증하는 것은 종합적인 위탁 결정에 필요한 명확성이 부족하다. 마지막으로, EPA의 효과나 유효성을 설명하는 제한된 연구가 존재하며, 현재까지 우리는 어떤 논리 범주의 우월성을 지지할 이유가 없다. 향후 연구는 일반적인 EPA 사용에 대한 타당성 증거를 제공하는 것뿐만 아니라 설명된 논리의 사용(또는 우월성)을 뒷받침하는 데 초점을 맞춰야 한다.
We encountered many EPA titles that could be improved, if accepted recommendations10 were followed, which we gave the benefit of the doubt for a logic category. For example, ‘Communicates results of exams’ might be an early training EPA that would definitely be nested in a more mature EPA, as it is hardly worth considering it a stand-alone unit of professional practice, and it might be better formulated with an infinitive (‘Communicating diagnostic exam results’). A limitation of our categorisation is that we rarely had insight into the full EPA description. For example, we qualified ‘Prevention’ as a non-EPA, but the specifications might have included a bundle or list of very concrete sub-activities that could have made us consider the EPA as belonging to the service provision logic. Certifying clinicians just for ‘prevention’ lacks the necessary clarity for a summative entrustment decision. Finally, limited studies exist describing the effectiveness or validity of EPAs, and to date, we have no reason to support superiority of any one logic category. Future research should be directed at providing validity evidence for not only the use of EPAs in general but also to support the use (or superiority) of the described logics.

5 결론
5 CONCLUSION

이 연구는 대학원 의학 교육 및 펠로우십 프로그램에 걸쳐 EPA 프레임워크 개발에 사용되는 논리를 매핑하기 시작했다. '서비스 제공', '절차' 및/또는 '질병 또는 환자 그룹'이라는 세 가지 주요 논리가 식별될 수 있다. 각 논리에 대해 명확한 정의는 예, 이점 및 한계와 함께 제공됩니다. EPA에서 직업의 필수 업무를 포착하려고 할 때, 발견된 논리 유형 중 두세 가지를 조합하여 사용하는 것이 가장 적합해 보인다. 이러한 결과는 향후 EPA 프레임워크 개발자에게 유용한 발판을 제공할 수 있다.
This study set out to map the logics used in development of EPA frameworks across postgraduate medical education and fellowship programmes. Three dominant logics could be identified, namely, ‘service provision’, ‘procedures’ and/or ‘disease or patient groups’. For each logic, a clear definition is provided together with examples, benefits and limitations. When trying to capture the essential tasks of a profession in EPAs, the use of a combination of two or three of the types of logic found seems most suitable. These findings may provide helpful scaffolding for future EPA-framework developers.

The logic behind entrustable professional activity frameworks: A scoping review of the literature

PMID: 35388517

PMCID: PMC9542438

DOI: 10.1111/medu.14806

Free PMC article

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

간접 환자돌봄의 교육적 가치 최적화하기 (Med Educ, 2022)
Optimising the educational value of indirect patient care
Danielle O'Toole1 | Marina Sadik1 | Gabrielle Inglis1 | Justin Weresch1 | Meredith Vanstone1,2

1 소개
1 INTRODUCTION

환자 치료의 활동은 환자와 직접 상호작용하는 시간에 국한되지 않는다. 일반적인 의사는 50% 이상의 시간을 간접 환자 치료 활동(IPCA) 또는 대면상호작용이 필요하지 않은 치료 작업에 소비합니다. IPCA는 비동기 업무, 사무실 외부 방문 및 데스크톱 의료라고도 할 수 있다. 표 1은 전자건강기록(EHR)의 '수신함' 관리 등 IPCA의 여러 가지 범주의 예를 제공한다. 여기에는 영상 및 실험실 결과 검토 및 관리, 상담 노트, 양식 작성 및 처방된 의약품의 보충이 포함된다.
The activities of patient care are not confined to time spent directly interacting with a patient. A typical physician spends more than 50% of their time on indirect patient care activities (IPCA), or care tasks that do not require a face-to-face interaction.1-3 IPCA may also be called asynchronous tasks, activities outside of office visits and desktop medicine.4-7 Table 1 provides examples of several different categories of IPCAs, such as managing the ‘inbox’ of the electronic health record (EHR), which includes reviewing and managing imaging and laboratory results, consult notes, completing forms and refilling prescribed medications.

EHR의 채택과 관련하여 IPCA에 들어가는 시간도 증가했다. EHR은 의료 전, 치료 중 및 치료 후 의료 정보에 대한 신속한 액세스를 제공하기 때문에 2008년과 2012년 사이에 임상 실습에 널리 채택되었다. EHR의 잠재적 이점에도 불구하고, 기술의 통합은 과제를 가져왔다. 

• 환자-의사 상호 작용의 변화,
• 치료의 의미 있는 측면에서의 주의 산만,
• 의료진에게 사무 업무를 재배포하고 새로운 업무를 창출(예: 의약품 조정, 데이터 입력 및 전자 처방).

일부 활동 유형의 작업량을 줄였습니다. (예: 처방 및 일부 실험실 관련 작업) 
어떤 활동의 작업량은 늘어났다. (예: 예방 관리 작업 및 다른 받은 편지함 항목 검토)

이에 따라, EHR은 의료 행위를 재구성하여 IPCA에 소요되는 시간을 전반적으로 증가시켰다.
The time requirements of IPCAs have increased in relation to the adoption of EHRs.1, 8-11 The EHR was widely adopted into clinical practice between 2008 and 2012,7 because it provides rapid access to medical information before, during and after care with aims of improving quality care and safety.12-14 Despite the potential benefits of the EHR, the integration of technology has brought about challenges, including

• altering patient–physician interaction,
• distracting from meaningful aspects of care,
• redistributing clerical tasks to the clinician and creating new tasks (e.g. medication reconciliation, data entry and electronic prescribing).4, 12, 15-18 

It has reduced the workload of some types of activities (e.g. prescribing and some lab-related tasks), while increasing others (e.g. preventative care tasks and reviewing other inbox items).3, 7, 19, 20 Accordingly, this technology has re-shaped medical practice, resulting in an overall increase in the time spent on IPCAs.1, 8-11

IPCA는 많은 전문분야와 관련이 있다. 예를 들어, 심장내과, 내과, 정형외과 전문의들도 마찬가지로 시간의 50%를 간접적인 환자 활동에 사용한다. 정신과, 집중치료, 응급의학에서도 같은 경향이 보고되고 있다. 이러한 결과는 호주, 독일 및 영국을 포함하여 EHR 사용이 일반적인 고소득 국가에서 일관된다. IPCA는 특히 가정의에게 부담이 될 수 있다. 가정의학과 의사는 환자의 '메디컬 홈'인 만큼 다른 의사가 지시한 조사와 치료를 검토하고 관리하는 경우가 많아 자주 호출된다. 일반 가정의의의 경우, EHR의 출현은 환자와 함께 보내는 매 시간마다 컴퓨터에서 1~2시간씩, 진료 시간 외(오전 8시~오후 6시)에 소요되는 평균 1.5시간의 추가 EHR 시간을 의미했다.
IPCAs are relevant to many specialties. For example, cardiology, internal medicine and orthopaedic specialists similarly spend 50% of their time on indirect patient activities.3 The same trend has been reported in psychiatry,21 intensive care22 and emergency medicine.23, 24 These findings are consistent across high income countries where EHR use is common, including Australia,25 Germany26 and the United Kingdom.23 IPCAs may be especially taxing for family physicians. As the patient's ‘medical home’, family physicians who are often called to review and sometimes manage the investigations and treatments ordered by other physicians. For the average family physician, the advent of EHRs has meant 1–2 hours on the computer for every hour spent with patients, and an average of 1.5 hours of additional EHR time spent outside of clinic hours (8 AM–6 PM).4, 27

IPCA의 증가하는 부담은 의사의 일과 삶의 균형이라는 지속적인 도전을 악화시켜 직무 만족에 영향을 미치고 번아웃을 증가시킨다. 의학 교육자들은 학습자들이 그들의 경력 전반에 걸쳐 지속 가능한 방식으로 IPCA를 처리할 수 있도록 준비해야 하는 해당 과제에 직면해 있다. 학습자가 이러한 작업을 관리하는 방법을 배우는 것의 중요성을 인식하지 못할 수 있다는 증거가 있으며, 한 연구에서 전공의는 임상 문서 요구 사항이 과도하며, 그로 인해 환자 치료에 직접 참여할 수 있는 시간을 단축하고 더 가치 있다고 인식되는 교육 활동에 참여할 수 있는 기회가 줄었다고 보고했다. [직무 만족도와 일과 삶의 균형을 모두 유지하면서, 고품질의 환자 치료의 균형을 유지하는 방식으로 IPCA를 관리하는 방법]을 배우는 것이 중요함에도 불구하고, 이 분야의 교육자들을 지도하기 위한 교육 연구는 거의 수행되지 않았다. 훈련에서 이러한 IPCA의 영향과 이 중요한 교육을 가장 잘 제공하는 방법을 이해하는 것은 주민들이 이 중요한 역량을 획득하도록 돕는 중요한 부분이다.
The growing burden of IPCAs exacerbates the perennial challenge of work-life balance for physicians, affecting job satisfaction, and increasing burnout.28-35 Medical educators face the corresponding task of preparing learners to handle IPCAs in a sustainable way throughout their career. There is evidence that learners may not appreciate the importance of learning how to manage these tasks, with residents in one study reporting that clinical documentation requirements are excessive, compromising time to participate in direct patient care and decreasing opportunities to participate in educational activities perceived as more valuable.36 Despite the importance of learning how to manage IPCAs in a manner that balances high quality patient care while maintaining both job satisfaction and a work–life balance, little educational research has been conducted to guide educators in this area. Understanding the impact of these IPCAs in training and how best to deliver this vital education is an important part of helping residents obtain this critical competency.

교육 프로그램이 IPCA의 교수와 위임을 어떻게 최적화할 수 있는지 더 잘 이해하기 위해, 우리는 가정의학과에 위치한 질적 연구를 수행하여 미래의 실습을 위해 가족 의사를 적절하게 준비시켰다. '가족의학 거주자, 최근 졸업생 및 임상 감독관은 [간접 환자 치료 활동의 교육적 영향과 중요성]을 [어떻게 인식]하고 있는가?'
To better understand how education programmes may optimise the teaching and entrustment of IPCAs, we conducted a qualitative study located in the discipline of Family Medicine to adequately prepare family physicians for future practice, asking ‘How do family medicine residents, recent graduates and clinical supervisors perceive the educational impact and importance of indirect patient care activities’?

2 방법
2 METHODS

2.1 설계 연구
2.1 Study design

이것은 임상 교육 요구 사항 탐색과 같은 사회적 과정 연구에 적합한 방법론인 [구성주의 근거이론 연구]입니다. 이 방법론의 구성주의적 기반은 [학습자가 자신의 일의 맥락을 이해할 수 있는 다양한 방법을 강조]하며, 다음과 같은 힘에 의해 형성된다

• 교육 정책(예: 인증 요건 및 시험),
• 직업 및 작업 환경의 암묵적이고 명시적인 규범,
• 가정의가 된다는 것은 무엇을 의미하며, 가정의가 어떤 유형의 일을 해야하는지에 대한 사회적 기대

근거 이론이 요구하는 데이터 수집과 분석 사이의 반복을 통해 우리는 한 그룹의 예비 통찰력을 바탕으로 다음 라운드에서 데이터 수집을 구축하고 형성하여 우리의 조사에 응답하고 심화시킬 수 있었다.

This is a constructivist grounded theory study,37 a methodology appropriate for the study of a social process such as navigating a clinical education requirement. The constructivist underpinnings of this methodology highlighted the different ways that learners may understand the context of their work, shaped by forces such as

• education policy (e.g. accreditation requirements and exams);
• implicit and explicit norms of the profession and work environment;
• social expectations about what it means to be a family physician and what kind of work family physicians should do.

The iteration between data collection and analysis required by grounded theory allowed us to build on preliminary insights from one group, building and shaping data collection in the next round to respond to and deepen our inquiry.

2.2 연구 상황
2.2 Study context

이 연구는 캐나다 도시에 위치한 단일 가정의학 레지던트 프로그램의 맥락에서 수행되었다. 의료 거주자는 가정의학과 의사가 되기 위해 2년간의 일반 전문의 교육 프로그램을 이수하며, 일부에서는 3년차 고급 기술 교육을 선택적으로 받을 수 있습니다. 이 대규모 레지던트 프로그램은 의학-박사 대학과 연계되어 있으며, 매년 3개의 훈련장에서 200명의 레지던트들을 수용한다. 2개의 교육장은 학계 가정의학 실습과 연계되어 있으며, 1곳은 지역사회에 기반을 둔 여러 가정의학 실습이 있다.

• Academic practices는 의료 전문가의 교육과 가르침이 교수진의 역할의 큰 부분을 차지하는 의과대학과 관련된 것이다. 이러한 practice에서, 교수진 의사는 일반적으로 매일 2~3명의 학습자를 감독한다.
• 지역 사회 practice는 지역 사회 내의 일반적인 가정의학 관행이며 의사는 일반적으로 한 번에 한 명의 학습자를 감독한다.

This study was conducted in the context of a single Family Medicine residency programme located in urban Canada. Medical residents complete a 2-year generalist training programme to become Family Physicians, with an optional third year of enhanced skill training available to some. This large residency programme is affiliated with a medical-doctoral university, admitting 200 residents each year across three training sites. Two training sites are affiliated with academic family medicine practices, and one with multiple community-based family medicine practices.

• Academic practices are those associated with a medical school, where education and teaching of health care professionals are a large part of the role of faculty physicians. In these practices, faculty physicians typically supervise two to three learners each day.
• Community practices are general family medicine practices within the community and physicians typically supervise one learner at a time.

2.3 이론 렌즈
2.3 Theoretical lens

본 연구에서는 [Billett의 직장 학습 이론]을 민감 개념으로 사용하였다. [민감 개념]은 연구 중인 현상에 대한 연구자들의 생각에 INFORM하는 배경 아이디어입니다. 직장 학습 이론은 연구를 시작할 때 선임 연구원(MV)에게 알려졌고, 이는 작업의 개념화와 설계 방식에 영향을 미쳤다. 이 이론은 [작업장이 교육 기회를 제공]하는데, 이 [교육기회는 학습자가 효과적으로 학습하기 위해 확인하고 참여하도록 선택해야 하는 것]이라는 우리의 가정을 형성했다. [학습 기회의 식별]은 교육 및 조직 구조의 지도와 직장에 존재하는 다른 사람들의 입력에 의해 형성된다.

• 이 이론적 렌즈는 IPCA를 학습자와 그들의 임상 교사들에게 [인식될 수도 있고 그렇지 않을 수도 있는 교육적 어포던스]로 생각하는 우리의 생각에 영향을 미쳤다.
• [인터뷰 가이드의 구축과 개선 과정]에서, 이 이론은 학습자가 학습 기회에 대해 인식하고 결정하는 방법, 그리고 직장에서 어떤 선호도가 식별을 장려하거나 바람직한 특정 학습 기회를 만드는지에 대해 조사하기로 한 우리의 결정에 영향을 미쳤다.
• 우리는 분석 중에 이 이론이 직장 학습에 대해 제공한 배경 문맥을 넘어 이 이론에 명시적으로 관여하지 않았다.

We used Billett's workplace learning theory as a sensitising concept in this work.38 Sensitising concepts are background ideas, which inform the researchers' thinking about the phenomenon under study.39 Workplace learning theory was known to the senior researcher (MV) at the onset of the study, influencing the way the work was conceptualised and designed. This theory shaped our assumptions that workplaces offer educational opportunities that learners must both identify and choose to engage with to learn effectively.38 The identification of learning opportunities is formed by the guidance of educational and organisational structures and the input of others present in the workplace.38 

• This theoretical lens influenced our thinking of IPCA as an educational affordance that may or may not be recognised by learners and their clinical teachers.
• During the construction and refinement of the interview guide, this theory influenced our decision to probe about the way that learners recognise and make decisions about learning opportunities, and what affordances in the workplace encourage the identification or make desirable particular learning opportunities.
• We did not engage explicitly with this theory during analysis, beyond the background context it provided about workplace learning.

2.4 참가자
2.4 Participants

직장 학습의 맥락적 특성으로 인해 본 연구는 단일 가정의학 레지던트 프로그램을 중심으로 진행되었으며, 현재 학습자, 현 교육자 및 지난 5년 이내에 졸업한 동문들을 모집합니다. 대상자는 현재 가정의학과 전공의('거주자')와 이 프로그램에서 지도자 역할을 하는 임상의-교육자('교육자') 및 지난 5년 이내에 이 프로그램을 졸업한 가정의사('초기 직업의사')이다.
Due to the contextual nature of workplace learning, we conducted this study around a single family medicine residency programme, recruiting current learners, current educators and alumni who have graduated within the past 5 years. Eligible participants were

• current family medicine residents (‘residents’),
• clinician-educators who have a preceptor role within this programme (‘educators’), and
• family physicians who graduated from this programme within the past 5 years (‘early career physicians’).

2.5 샘플링 및 모집
2.5 Sampling and recruitment

우리는 세 참가자 그룹 각각에 대해 서로 다른 샘플링 전략을 사용했다. 프로그램 사무소에서 발송된 이메일, 프로그램 리드 전공의, 임상 공간의 포스터, 공동 저자 팀의 그룹 학습 세션 시작 시 이루어진 연구에 대한 발표를 통해 전공의를 모집했다. 잠재적 거주 참가자는 연구 보조자나 선임 저자(MV)에게 연락하도록 요청하여 그들의 신원이 의사 공동 저자에게 알려지지 않도록 했다. 처음 5년간 의사는 프로그램 동문들을 위한 온라인 페이스북 그룹들과 연구팀의 전문 네트워크를 통해 이메일을 통해 모집되었다. 교육자들은 연구팀이 보낸 이메일을 통해 모집되었다. 
We used different sampling strategies for each of the three participant groups. Residents were recruited through e-mails sent from the programme office and lead residents of the programme, posters in clinical spaces and announcements about the study made at the beginning of group learning sessions by the co-author team. Potential resident participants were asked to contact the study research assistant or senior author (MV) so their identities were not known to physician co-authors, who may have held a position of authority over them. Physicians in the first 5 years were recruited through online Facebook groups for programme alumni and by e-mail through the professional networks of the research team. Educators were recruited through e-mails sent by the research team.

우리는 [편의 샘플]로 시작했고, 예비 데이터 수집을 이론적으로 관련된 초기 데이터 분석에서 식별되어감에 따라서 참여자 임상 경험(위치, 임상 실습 및 기간)의 다양성을 보장하기 위해 [목적적이고 이론적으로 정보에 입각한 접근 방식]으로 이동했다. 
We started with a convenience sample and after preliminary data collection moved to a purposeful, theoretically informed approach to ensure diversity in participant clinical experience (location, clinical practice and duration), as these aspects were identified in initial data analysis as theoretically relevant.

이것은 [근거 이론 연구]였기 때문에, 우리는 데이터 충분성에 대한 판단을 안내하기 위해 [이론적 포화] 개념을 사용했다. 우리는 [이론에 기여하는 범주의 완전성]과 [이론적으로 지시된 유형의 샘플링 완료]와 관련해서 [이론적 포화]를 이해한다. 포화 식별은 데이터 분석 전반에 걸쳐 발생하는 프로세스로, 여러 분석가와의 논의를 통해 운영됩니다. 각 범주가 잘 개념화되어 있고, 식별된 이론이 모든 관련 데이터를 설명할 수 있다는 것을 확인한 후, 분석 그룹은 [전반적으로 보면, 이론에 아무것도 추가되지 않을 것]이기 때문에 [새로운 데이터 수집의 return이 감소한다]는 데 동의했다. 이 시점에서 우리는 코호트 및 수련 장소와 관련해서 [이론적으로 관련된 일부 관점]이 샘플에 강하게 존재하지 않는다는 점에 주목했다. 이러한 관점을 포함하기 위해 추가 자료를 찾았지만, 참여자의 다양성을 확대하기 위해 완료된 새로운 인터뷰는 새로운 분석 방향을 제시하지 못했다. 
As this was a grounded theory study, we used the concept of theoretical saturation to guide our judgements of data sufficiency.37, 40 We understand theoretical saturation to relate to the completeness of categories that contribute to a theory, and the completion of theoretically-indicated types of sampling. The identification of saturation is a process occurring throughout data analysis, operationalised through discussion with multiple analysts. After identifying that each category was well conceptualised, and the identified theory could account for all relevant data, the analytic group agreed that new data collection had diminishing returns, as it would not necessarily add anything to the overall theory.40 At this point we noted that some theoretically-relevant perspectives, related to cohort and training site, were not strongly present in the sample. We sought additional data to include these perspectives, but new interviews completed to expand the diversity of participants did not suggest new analytic directions.

2.6 데이터 수집
2.6 Data collection

데이터는 포커스 그룹과 개별 인터뷰를 통해 수집되었다. 포커스 그룹은 경력 단계별로 동질적이었다. 인터뷰와 포커스 그룹은 MV, MS, 그리고 연구 조수에 의해 촉진되었다. 이 개인들은 모두 질적 연구에 대해 훈련된 비-의사이며, 참가자들에게 알려지지 않은 여성들이다. 개별 인터뷰는 스케줄링이 참가자의 포커스 그룹 가입을 허용하지 않거나 참가자가 인터뷰에 대한 선호도를 표시한 경우에 수행되었다. 각 참가자 그룹에 대해 별도의 인터뷰 가이드(보충자료로 포함)를 개발하고 데이터 수집이 진행됨에 따라 다듬었다. 인터뷰 가이드는 문헌, 가정의학과 교사 및 학습자로서의 실제 경험, 연구 중인 문제에 대해 레지던시 프로그램에 제출한 피드백을 바탕으로 다학제 팀에 의해 개발되었습니다. 예비 포커스 그룹의 통찰력을 사용하여 미래 참가자의 모집 및 데이터 수집을 구체화하면서 한 번에 한 참가자 그룹에 초점을 맞추기 위해 데이터 수집을 단계화했다. 인터뷰 가이드는 초기 분석 통찰력을 반영하고, 이론적으로 관련된 문제에 대해 프로빙하고, 조사 범위를 세분화하기 위해 수정되었다. 전공의들은 우리의 처음이자 마지막 그룹이었기 때문에 우리는 프로젝트 진행 중에 발전한 새로운 분석 통찰력을 확인할 수 있었다.
Data were collected via focus groups and individual interviews. Focus groups were homogeneous by career stage. The interviews and focus groups were facilitated by MV, MS and a research assistant. These individuals are all women trained in qualitative research, non-physicians and unknown to the participants. Interviews were conducted when scheduling did not permit participants to join a focus group, or where the participant indicated a preference for an interview. Separate interview guides (included as supplementary material) were developed for each participant group and refined as data collection progressed. Interview guides were developed by our multi-disciplinary team based on literature, practical experience as family medicine teachers and learners, and feedback submitted to the residency programme about the issue under study. We staged our data collection to focus on one participant group at a time, using insight from preliminary focus groups to shape recruitment and data collection of future participants. Interview guides were amended to reflect initial analytic insights, to probe about theoretically relevant issues, and to refine the scope of inquiry. Residents were our first and our last group, so we could affirm emerging analytic insights that developed over the course of the project.

2.7 데이터 분석
2.7 Data analysis

데이터 분석은 구성주의 근거 이론을 상징하는 단계적 프로세스로 진행되었습니다. 이는 초기 데이터가 수집되는 즉시 시작하여 예비 통찰력을 향후 데이터 수집에 inform하는 것이다. 여러 분석가가 개방형 귀납적 코딩에 참여하여 팀 전체와 만나 잠재적인 집중 코딩에 대한 아이디어를 논의했습니다. 이 미팅을 통해 식별된 범주는 추가 코딩 라운드에서 운영되었으며, 이를 통해 우리는 집중적인 코딩 스키마를 생성하도록 조정, 확장 및 정교해졌다. 이 코딩 스키마의 적용은 연역적(귀납적 코딩을 통해 개발된 스키마를 적용)과 귀납적(확장, 정제, 정교화) 사이에서 다양한 코딩 과정을 통해 이루어졌다. [귀납적]에서 [연역 – 귀납적]으로의 이러한 움직임은, 우리의 분석이 데이터에 기반을 두도록 보장했다. 이러한 과정을 통해 테마를 귀납적으로 파악하였다. 우리는 연구 질문에 직접적으로 반응하는 주제를 개발하여 [교사 및 학습자의 경험을 설명]하는 것과 관련된 주제와 [가정의학의 교수 및 학습 개선을 위한 제안] 사이의 균형을 이루기 위해 노력했다. 
Data analysis proceeded in a staged process emblematic of constructivist grounded theory, beginning as soon as initial data were collected so preliminary insights informed future data collection. Multiple analysts engaged in open inductive coding, meeting with the whole team to discuss ideas for potential focused coding. The categories identified through this meeting were operationalised in an additional round of coding, through which we refined, expanded and elaborated to produce a focused coding schema. Application of this coding schema was accomplished through multiple rounds of coding that varied between deductive (applying the schema developed through inductive coding) to inductive (expanding, refining and elaborating schema). This movement from inductive to deductive–inductive ensured that our analysis remained grounded in the data. Through this process, themes were inductively identified. We developed themes, which were directly responsive to the research question, striving to achieve a balance between those relevant to describing the experiences of teachers and learners and those relevant to suggestions for improving teaching and learning in family medicine.

2.8 윤리
2.8 Ethics

이 연구는 해밀턴 통합연구윤리위원회(11547)의 승인을 받았으며, 모든 참여자는 각 데이터 수집 세션 시작 시 전자적으로 그리고 구두로 사전 동의를 제공하였다. 우리는 연구팀의 의사 교육자와 거주자 참여자 사이의 권력 불균형을 잠재적 윤리적 문제로 식별했다. 상주 참가자를 보호하기 위해, 우리는 의사 연구 팀원들이 원본 오디오 파일이나 확인된 녹취록을 포함하여 상주 참가자를 식별할 수 있는 정보에 접근하지 못하도록 보장했다.
This study was approved by the Hamilton Integrated Research Ethics Board (11547), and all participants provided informed consent electronically and again verbally at the beginning of each data collection session. We identified the power imbalance between the physician educators on the research team and the resident participants as a potential ethical issue. To protect resident participants, we ensured that physician research team members did not have access to any information which would identify resident participants, including original audio files or identified transcripts.

3 결과
3 RESULTS

우리는 19명의 거주자(R), 16명의 의사(P), 7명의 경험 있는 의사 교육자(E)로부터 인터뷰 및 포커스 그룹 데이터를 수집했다. 각 포커스 그룹에 3~6명의 참가자가 참여한 가운데 6개의 개별 인터뷰와 11개의 포커스 그룹을 실시하였다. 가정의학 실천 유형의 광범위한 다양성으로 인해, 우리는 표 2-4에 practice 유형을 학문적, 공동체적, 비전통적인 것으로 요약했다. '비전통적 행위'은 예를 들어 병원 의사, 입원 환자 정신 건강 기관, 사망 의료 지원, 완화 치료 및 교도소 보건/교정 시설과 같은 집중적인(제너럴리스트가 아닌) 행위을 의미한다. 참여자 인구통계 정보는 표 2-4에서 확인할 수 있다.
We collected interview and focus group data from 19 residents (R), 16 physicians in the first 5 years of practice (P) and 7 experienced physician educators (E). We conducted 6 individual interviews and 11 focus groups with three to six participants in each focus group. Due to the broad variability of family medicine practice types, we have summarised practice types in Tables 2–4 as academic, community and non-traditional. ‘Non-traditional practices’ refer to focused (rather than generalist) practices, for, for example, hospitalist, in-patient mental health unit, Medical Assistance in Dying, Palliative care and prison health/correctional facilities. Participant demographic information can be found in Tables 2–4.

우리는 먼저 모든 그룹의 참가자들이 [IPCA가 가정의사로서의 경력 기간 동안 반드시 지녀야 하는 무게로 작용한다]는 분석 결과에 대해 논의한다. 다음으로, 우리는 그들의 경력 초기에 그 무게를 부담으로 보았고, 더 많은 경험 있는 그룹들이 그 무게는 가정의학에서 지속 가능한 경력을 쌓는 데 필요한 힘을 기를 수 있는 기회라고 어떻게 이해했는지 설명한다. IPCA 작업을 부담 또는 강도 훈련으로 느끼게 하는 이유에 대한 이러한 논의에서 참가자들은 몇 가지 악화 및 완화 요인(모호한 기대, 작업량 불평등에 대한 인식, 환자 및 작업에 대한 교수 및 친숙함)을 식별했으며, 이는 차례로 논의된다. 우리는 표준화, 점진적 도입, 작업량에 대한 투명성, 명시적 교육 및 피드백과 경계 설정 등 IPCA의 교육 가치를 최적화하는 방법에 대한 거주 프로그램에 대한 참가자 권고를 설명함으로써 이 섹션을 마무리한다.

We first discuss the analytic finding that participants in all groups identified IPCA work as a weight they must carry for the duration of their career as family physicians. Next, we describe how those earlier in their career viewed that weight as a burden, and more experienced groups understood that weight to be a chance to develop the strength needed for a sustainable career in family medicine. In these discussions of what made IPCA work feel more like a burden or strength training, participants identified several exacerbating and alleviating factors (ambiguous expectations, perceptions of workload inequity, teaching and familiarity with patients and tasks), which are discussed in turn. We conclude this section by describing participant recommendations to residency programmes about how to optimise the educational value of IPCAs: standardisation, gradual introduction, transparency about workload, explicit teaching and feedback and boundary setting.

3.1 IPCA의 무게: 부담 또는 근력 훈련?
3.1 The weight of IPCAs: Burden or strength training?

모든 참가자들은 그들의 실천 단계에 관계없이 IPCA가 가정의학의 필요하지만 불쾌한 부분이라는 인식을 공유했다. 그들은 IPCA가 환자 치료를 위해 필요하다는 것을 인식했지만, 끝이 없어 보이는 서류작업의 '과중한 책임'(P6)도 설명했다. 참가자 그룹이 분화된 곳은 이 무게를 짊어지는 것의 성격과 영향을 [부담]으로 보았는지, 그들의 경력 동안 [이 무게를 짊어지는 데 필요한 힘이나 힘을 기를 수 있는 기회]로 보았는지에 대한 것이다.
All participants, no matter their stage of practice, shared the perception that IPCAs are a necessary but unpleasant part of family medicine. They recognised that IPCAs are required for patient care, but also described the ‘crushing responsibility’ (P6) of the seemingly never-ending stream of paperwork. Where participant groups diverged was how they framed the nature and impact of carrying this weight, as either a burden or an opportunity to develop the strength needed to carry this weight throughout their career.

[전공의들과 초기 직업 의사들]은 IPCA의 중요성을 교육 기회보다는 부담으로 강조했다. '그것은 나에게 어떤 교육적 가치보다 훨씬 더 많은 스트레스를 주었다.' (R12) 그들은 이러한 활동에 소비하는 시간이 학습, 일과 삶의 균형, 웰빙, 그리고 다른 교육 목표를 달성하는 능력을 저해하는 방법을 기술했다. '나는 확실히 그것이 압도적이라고 느낀다. 나는 그것이 지속가능하다고 느끼지 않는다'(P7). 그들이 이 무게를 견디기 위해 개발한 전략에는 늦게까지 머무르거나 휴가 기간을 사용하여 이러한 작업을 수행하는 것이 포함되어 있었다. '휴가시간을 이용해 매주 하루씩 전일제 가정의학과를 쉬었습니다'(R9)
Residents and early career physicians emphasised the weight of IPCAs as a burden rather than an educational opportunity: ‘it provided me way more stress than any educational value’ (R12) They described the ways that time spent on these activities impeded their learning, work–life balance and wellness, and ability to achieve other educational goals: ‘I definitely feel like it's overwhelming. I don't feel like it's sustainable’ (P7). The strategies they developed to carry this weight included staying late or using vacation time to accomplish these work tasks: ‘I've used my vacation time to take one day off every week of full-time family medicine’ (R9).

[독립의료를 하는 참가자]들은 IPCA의 무게에 대해 전공의들과 다르게 말했다. 그들은 이러한 업무가 환자 치료와 가족 의사의 업무 일부를 위해 필요하다는 것을 더 잘 인식했다. '당신이 이 양식을 완성할 때 당신은 당신의 환자에게 자금이나 자원 같은 것에 대한 접근권을 주는 것이고, 당신은 당신이 그들과 마주 앉아 있을 때보다 모든 면에서 혹은 그 이상으로 당신의 환자를 돕고 있는 것이다.'(E4)
Participants who were in independent practice spoke differently about the weight of IPCAs than residents. They were more apt to recognise that these tasks are necessary for patient care and part of the work of a family physician: ‘when you complete this form you are giving your patient access to funding or resources or whatever, you're helping your patient every bit as much or maybe more than when you're sitting face-to-face with them’ (E4).

[의사 경력 첫 5년 동안 의사]들은 레지던트 시절 IPCA 작업의 이점을 현재 진료에 반영했습니다. 'ODSP [Ontario Disability Support Program] 양식에는 분명히 재간finesse이 있습니다. 바보같이 들리지만, 그것들을 작성하면서 전공의로서 배우는 art가 있습니다. … 레지던트로서 그런 걸 알아내서 엉덩이를 박살내면서 시간을 보내서 다행이다, 그래, 스태프가 되면서 부담이 줄었다(P5).' 이 학습의 일부는 IPCA의 업무 스타일 변경을 포함하여, IPCA의 부담을 다루기 위한 전략을 개발하는 것이었다. 
Physicians in the first 5 years of their career recognised the benefits of the IPCA work they did in residency to their current practice: ‘There's obviously a finesse to ODSP [Ontario Disability Support Program] forms, it sounds silly to say but there is an art to filling them out and learning those things as a resident is helpful. … I'm glad that I spent time as a resident figuring that stuff out and busting my butt, then yeah, it reduced the burden when I became staff’ (P5). Part of this learning was developing strategies to deal with the burden of IPCAs, including changing their practice style:

대부분 이러한 전략과 교훈은 실용적인 방법으로 학습되었으며, 많은 의사들은 [IPCA를 지속 가능한 방식으로 관리하는 방법을 배우는 것]이 전공의의 중심 학습 목표라고 설명했다. '나는 그들을 설득하려고 노력하며, 지금 일을 잘 하면, 앞으로 보상이 있을 것이다.(P7)' 여기서, 우리는 모든 직업 단계의 교육자들이 [전공의 수련에서 IPCA의 무게]를 [부담으로 인식할 뿐만 아니라, 오랜 경력을 위해 자신을 훈련할 수 있는 기회로 인식]하고 있음을 확인했다. '그것보다 더 중요한 것은 우리 모두가 마라톤을 할 수 있는지 확인하고 그 과정에서 우리의 건강과 건강을 해치지 않도록 하는 것이다.'(E1)
Mostly, these strategies and lessons were learned in a practical way, and many physicians described that learning how to manage IPCAs in a sustainable way is a central learning objective for residents: ‘I do try to convince them, put the work in now and it will pay dividends moving forward’ (P7). Here, we identified that educators of all career stages perceive the weight of IPCAs in residency not solely as a burden, but also as an opportunity to train oneself for a long career: ‘more important than that is making sure we can all do the marathon and that we don't burn out and compromise our health and wellness in the process’ (E1).

3.2 악화 및 완화 요인 
3.2 Exacerbating and alleviating factors

참가자들은 IPCA가 부담스럽다는 데 일관되게 동의했지만, 그러한 부담을 악화시키거나 완화하는 조건도 설명했다.
While participants consistently agreed that IPCAs are burdensome, they also described conditions that exacerbate or alleviate that burden.

3.2.1 모호한 기대치
3.2.1 Ambiguous expectations

전공의와 최근 졸업한 직원들은 [모호한 기대]를 요인으로 식별하여 IPCA의 부담을 가중시켰다. 실천에서 독립하기 전에, 전공의들은 그들의 지도자들의 목표, 우선순위, 과정을 따라야 한다. 이 영역에 대한 명확하고 일관된 지침이 없으면 IPCA 부담이 증가합니다. '당신은 또한 특정 시간대에 그것을 끝내야 한다는 압박감을 느끼지만, 만약 그것이 당신의 물건이라면 당신은 "나는 이것을 내일 볼 것이다"와 같을 수 있다.(P5)
Residents and recently graduated staff identified ambiguous expectations as a factor, which exacerbated the burden of their IPCAs. Before becoming independent in their practice, residents must follow the goals, priorities and processes of their preceptors. Without clear and consistent instructions in this area, IPCA burdens are increased: ‘You also feel the pressure to get it done on a certain timeline, whereas if it was your own stuff you could be like “I'll look at this tomorrow”’ (P5).

3.2.2 작업량 형평성에 대한 거주자의 인식
3.2.2 Resident perceptions of workload equity

전공의 집단 특유의 또 다른 악화 요인은 할당된 작업의 양이나 강도에서 [전공의 간의 불평등한 차이]에 대한 인식이었다. 예를 들어, 농촌 실무에서 일하는 거주자들은 그들의 IPCA 부하가 학계 가족 보건 팀 내에서 일하는 거주자들보다 훨씬 적다고 보고했다. 일부 참가자들은 이를 [지도교사preceptor]의 선택 때문이라고 보았다. '운이 좋게도 어떤 지도교사를 얻었는지에 따라 얼마나 많은 사람들이 받은 편지함을 관리해야 하는지에는 큰 차이가 있었습니다. 우리는 같은 사이트에 있었고 같은 수의 환자를 보았지만 일부 사람들은 다른 사람들보다 받은 편지함과 바쁜 업무에 훨씬 더 많은 시간을 보냈다.'(P1)
Another exacerbating factor unique to the resident group was perceptions of inequitable differences between residents in the volume or intensity of assigned work. For example, residents working in rural practices reported that their IPCA load was much less than those working within academic family health teams. Some participants attributed this to preceptor choice: ‘there were huge discrepancies in how much people had to manage the inbox based on what preceptor they got lucky enough to get. We were at the same site and seeing the same population of patients yet some people spent significantly more time on their inbox and busy work than others did’ (P1).

[작업을 관리하는 데 사용할 수 있는 리소스]에서도 비슷한 불평등이 발견되었습니다. 일부 관행은 전공의가 IPCA 업무를 다른 사람에게 위임할 수 있도록 허용한 반면, 다른 관행에서는 전공의가 직접 이 작업을 하도록 했다. 전공의들은 지도교사가 할 수 있는 방식으로 업무를 위임하는 것이 허용되지 않아 업무량이 증가하고 만족도가 감소했다고 보고했다. 
'라벨을 인쇄하기 위해 프린터를 찾고 환자의 소변을 적신 다음 그것을 보내고 포장하기 위해 뛰어다니는 것은 거주 시간을 잘 사용하지 않습니다. 실제로 그럴 사람이 있어야 하고, 대부분의 클리닉에는 있지만, 우리에게는 없습니다.'

A similar inequity was seen in the resources available to manage this work. Some practices permitted residents to delegate IPCA tasks to others, while in other practices residents were required to do this work themselves. Residents reported that not being allowed to delegate work in the way their preceptors were able to do increased their workload and decreased their satisfaction: ‘It's not a good use of resident time to be running around trying to find a printer to print off labels, to then dip that patient's urine, to then send it off and package it up. There actually should be someone to do that, and in most clinics, there is, but for us, there's not’ (R9).

3.2.3 교육
3.2.3 Teaching

[모든 경력 단계의 교육자]들은 [전공의를 가르치는 데 필요한 시간, 인내심, 코칭]이 그들 자신의 IPCA 부담을 악화시킨다는 것을 확인했다. 전공의들은 그 일을 맡음으로써 IPCA 직원들의 요구를 완화하고 있다는 것을 인식했지만, 교육자들은 전공의들에게 위임하는 것은 시간, 인내, 유연성이 필요하다고 설명했다. '내가 원하는 방식으로 교육하는 것은 매우 시간이 많이 걸리기 때문에, 내가 해야 할 약간의 투자와 균형을 이루게 된다.' (E2)
Educators of all career stages identified that the time, patience, and coaching required to teach residents exacerbated their own IPCA burden. While residents perceived that they were alleviating the IPCA demands of staff by taking on that work, educators described that delegating to residents required time, patience and flexibility. ‘Teaching, if done in the way that I like to do it, it's very time consuming and so it balances out a bit of the investment that I do to have some tasks taken off my plate.’ (E2).

3.2.4 친숙함(환자, 진료소 및 전문 지식)
3.2.4 Familiarity (patients, clinic and expertise)

[환자와 친숙하지 않은 것]은 [전공의] 뿐만 아니라 [대리의사 직무locum work(다른 사람의 업무를 인계받거나 명단을 구축)로 인해 환자와 친숙하지 않을 수 있는 경력 첫 5년 동안 의사]의 IPCA 업무량을 악화시켰다. 의료진의 의사는 자신이 잘 알고 있는 환자의 경우 스스로 주문한 결과를 검토하는 데 있어 효율성을 설명했습니다. '또한 일단 실습을 하고 나면 환자를 잘 알게 되는 이점이 있기 때문에, 그러한 요소들은 환자를 좀 더 낫게 만드는 데 도움이 됩니다.'(P1)
Not being familiar with a patient exacerbated the workload of IPCAs for residents as well as for physicians in the first 5 years of their career who may not be familiar with patients due to locum work, taking over someone else's practice or building their roster. Staff physicians described the efficiency in reviewing results they ordered themselves, for a patient they were well-familiar with ‘You also have the benefit of knowing your patients well once you're out in practice, so those factors help make it a bit better.’ (P1).

3.3 권장 사항
3.3 Recommendations

참가자들은 IPCA에 대한 전공의 교육 경험을 개선하기 위한 전공의 프로그램에 대한 권고 사항을 제공했습니다. 참가자들은 프로그램이 [IPCA에 대한 전공의 참여를 표준화하고 학습자와 교사 모두에게 지침과 기대를 명확하게 전달할 것]을 권고했다. '교육 목표와 기대는 무엇인가에 대한 유닛의 집단적 메시지가 있다는 것이 중요하다.' (E5) 이는 교육 현장 전반의 IPCA 워크로드에 대한 인식된 불평등을 개선하기 위한 방법으로 간주되었습니다. 전공의들은 또한 프로그램이 학습자에게 IPCA를 완료하기 위한 [전용 시간]을 제공할 것을 권고했다. [전용Dedicate 시간]은 전공의가 직무의 다양한 구성 요소를 학습할 때 담당 의사와 동일한 업무량을 수행하는 데 필요한 추가 시간을 설명하는 데 도움이 될 것이다.
Participants provided recommendations to residency programmes for improving the resident educational experience with IPCAs. Participants recommended that programmes standardise resident involvement in IPCAs and clearly communicate instructions and expectations to both learners and preceptors: ‘It is important that there is a collective message that comes from the unit about … what are the educational goals, [and] what are the expectations.’ (E5) This was seen as a way to ameliorate the perceived inequity in IPCA workload across training sites. Residents also recommended that programmes provide learners with dedicated time to complete IPCAs. Dedicated time would help account for the additional time residents require to do the same workload of a staff physician as they learn the various components of the task.

또한, 참가자들은 IPCA를 처리할 수 있는 능력을 개발하기 위해서는 [점진적인 도입]이 중요하다고 제안했다. 참가자들은 이것이 업무량을 줄이고 IPCA 관련 스트레스를 완화하는데 도움이 될 수 있다고 믿고 있으며, 특히 임상 치료의 다른 측면을 배우면서 레지던트 초기에 더욱 그렇다. '그것은 아무도 모르는 내 동료 레지던트들의 첫 6개월 동안 정말 많은 사람들을 태워버렸다. 그들은 시스템을 몰랐고, 프로그램을 몰랐고, 어떻게 거주자가 되는지도 몰랐으며, 동시에 1,000명의 수신함을 어떻게 하는지도 몰랐다.' (P4) 
Further, participants suggested that a gradual introduction was important to develop capacity to handle IPCAs. Participants believe this may reduce the workload and help relieve IPCA-related stress, especially early in residency as they learn the other aspects of clinical care. ‘It really burnt out a lot of my co-residents in their first six months of residency when they didn't know anybody. They didn't know the system, they didn't know the program, they didn't know how to be a resident, and also how to do an inbox of 1,000 people at the same time.’ (P4). 
또한, 이 접근 방식은 IPCA 자체의 보다 효과적이고 효율적인 학습을 가능하게 할 것으로 여겨졌다. 개업 의사들은 독립적인 개업에서 IPCA의 [예상 업무량 및 필연적 업무량]에 대한 투명성을 높였고, 이는 가정의학 경력의 일부로서 전공의들이 [IPCA의 현실을 이해하고 예측]하는 데 도움이 될 것이라고 추론했다. 가정의학의 중요한 구성 요소로서 IPCA의 현실을 논의하는 것은 이러한 [작업량에 대한 전공의들의 인식]에 도움이 될 수 있으며, IPCA를 완료하는 지속 가능한 방법을 개발하도록 장려한다. "실제로 당신이 그것을 어떻게 제시하느냐에 달려 있다고 생각합니다. 예를 들어, 이것은 당신이 내 일을 하는 것에 대한 것이 아니라, 내가 당신에게 다른 종류의 교육을 제공하는 것에 관한 것입니다. 결국 당신을 좋은 가정의사로 만들 것입니다." (E5)
In addition, it was felt this approach would allow for more effective and efficient learning of IPCAs themselves. Practicing physicians encouraged more transparency about the expected and inevitable workload of IPCAs in independent practice, reasoning that this would help residents understand and anticipate the reality of IPCAs as part of a career in family medicine. Discussing the reality of IPCAs as a significant component in family medicine may help residents' perception of this workload, encouraging them to develop sustainable ways to complete IPCAs: ‘I think it depends on how you actually present it, like, this is not about you doing my work, but this is about me providing you with a different kind of education, that in the end will make you a good family doctor’ (E5).

마지막으로, 모든 그룹의 참가자들은 IPCA에 대한 보다 명확한 교육, 피드백 및 커뮤니케이션, 특히 청구서, 차트 유지보수, 양식 및 사례 보고/검토를 권고했다. 이러한 교육은 전공의들이 보다 많은 지원을 통해 보다 점진적인 방식으로 지식을 쌓을 수 있도록 도울 뿐만 아니라 교육적으로 중요한 내용을 강조하고 열린 소통의 기회를 제공할 것이다. '학습 욕구, 학습 목표, 이러한 학습 기회의 가치, 전공의가 학습에 대해 어떻게 느끼고 관리하는지, 나아가면서 상황을 조정하고 모두가 함께 작업하도록 하는 것이 중요하다고 생각합니다.' (E1)
Finally, participants in all groups recommended more explicit teaching, feedback and communication on IPCAs, especially billing, chart maintenance, forms and case debriefing/reviewing. This teaching would not only help residents build on their knowledge in a more gradual way with more support, but it would also provide an opportunity to highlight educationally important content and provide opportunities for open communication. ‘I think it's important to have ongoing conversation about learning needs, learning goals, the value of these learning opportunities, how the resident is feeling about it and managing it and be tweaking things as you go and really have everybody working together on it.’ (E1).

마지막으로 IPCA는 끝이 없습니다. 그러므로, 개인의 삶, 정신 건강, 건강을 보호하고 탈진을 피하기 위해 [제한을 두는 것]이 중요하다. 참가자들은 환자와의 경계 설정(예: 필요할 때 환자가 추가 예약을 하도록 권장), 자신에 대한 경계 설정(예: 긴급하지 않은 받은 편지함 항목을 다음날로 남겨두는 것) 및 [IPCA 작업을 완료까지의 시간을 제한하는 것]의 중요성을 반복적으로 표현했다. [솔선수범]하는 것은 전공의들이 독립 실무자와 동일한 전략을 구현할 수 있도록 지원했습니다. '나는 매우 효율적인 지도교사가 있었고, 우리는 결코 늦지 않았다. 그리고 그녀는 나에게 받은 편지함의 균형을 맞추는 법을 가르쳐 주었다. 환자를 보고, 가는 동안 차트를 작성하고, 당신과 함께 집에 가는 최소한의 일을 가져갔다. 그리고 오늘날까지 나는 여전히 그렇게 실천하고 있다. 그리고 그것은 임상적 부분과 IPCA 부분의 균형을 맞추는 방법을 배우는 것만으로도 큰 도움이 되었다고 생각합니다.' (P1)
Finally, IPCAs are never-ending; thus, it is important to set limits to protect one's personal life, mental health, wellness and avoid burnout. Participants repeatedly expressed the importance of

• setting boundaries with patients (e.g. encouraging patients to schedule an additional appointment when necessary),
• boundaries for oneself, (e.g. leaving non-urgent inbox items for the next day) and
• blocking off time to complete IPCA tasks.

Leading by example helped residents implement the same strategies as independent practitioners: ‘I had a very efficient preceptor, we never ran late … and she really taught me how to balance inbox, seeing patients, charting as you go, taking minimal work home with you, and to this day I still practice that way. And I think that was very helpful, just learning how to balance the clinical and the IPCA part.’ (P1).

4 토론
4 DISCUSSION

McMaster Family Medicine Residention 프로그램에서 전공의를 위한 간접 환자 치료 활동의 교육적 영향을 조사했습니다. 모든 참가자는 이 작업량이 필요하지만 종종 충족되지 않는다는 것을 인식했습니다. 그러나 이 작업에 대한 임상의의 관점은 이 작업에 대한 인식과 참여에 영향을 미쳤다. 불평등에 대한 모호한 기대와 인식은 학습자가 이러한 과제에 대한 혐오를 악화시켰다. 참가자들은 이 작업의 교육적 가치를 향상시키기 위해 명시적인 교육 및 피드백과 함께 IPCA에 대한 표준화된 단계적 도입에 초점을 맞출 것을 권고했다. 
We explored the educational impact of indirect patient care activities for residents in the McMaster Family Medicine Residency programme. All participants recognised this workload as necessary, though often unfulfilling. However, the clinician's perspective on this work as either a burdensome additional weight or an opportunity to strengthen their management skills impacted their perception and engagement in the work. Ambiguous expectations and perceptions of inequity exacerbated learner dislike for these tasks. The participants recommended a focus on a standardised graduated introduction to IPCAs, with explicit teaching and feedback to improve the educational value of this work.

[빌렛의 직장 학습 이론]은 학습이 효과적이기 위해서는 학습자가 [교육 기회를 식별하고 참여하도록 선택해야 한다]고 설명한다. 이 연구는 IPCA를 [비교육적 초과근무로 인식하는 것]이 학습자의 이러한 과제에서 학습하는 능력을 저해한다는 점을 강조했다. 이것은 임상 작업장에서 배우는 것이 목적인 '학습자'으로서의 직업적 정체성을 가진 전공의들 사이에서 특히 심각할 수 있다. 스스로를 의료 사업에서 실천을 준비하는 '견습생'으로 보는 전공의들은 IPCA 업무를 효과적으로 관리하기 위한 전략을 배울 기회를 더 많이 볼 수 있다. 우리는 [숨겨진 커리큘럼]이 IPCA의 가치를 떨어뜨리는 방식에 주의를 기울여야 한다. 예를 들어, IPCA 과제가 임상의 시간 중 상당한 부분을 차지하지만 지도, 평가 또는 교육적 가중치를 거의 받지 않는 경우, 전공의는 IPCA 과제가 중요하지 않고 가치가 없다고 생각하는 법을 배울 수 있다. 이 작업을 ['행정적' 작업]이 아닌 '간접적 환자 치료'로 지칭하는 것은 이러한 작업의 가치와 중요성을 강조하는 데 도움이 될 수 있어 환자에게 의료 서비스를 제공하는 전공의의 역할에 관심이 쏠린다. 또한 IPCA 작업을 지속 가능하고 효과적으로 관리하기 위한 시스템에 대한 공식적인 교육 및 피드백 제공을 통합하면(예: 신뢰할 수 있는 전문 활동 또는 핵심 역량) 학습자가 이러한 작업의 교육적 가치를 인식하는 데 도움이 될 수 있다. 뉴질랜드, 호주, 영국의 왕립 일반 실무자 대학과 같은 일부 교육 기관들은 [간접 환자 치료 기술]이 독립 실무에 필요한 역량이라고 명시적으로 밝혔습니다.
Billett's workplace learning theory describes that for learning to be effective, learners must both identify and choose to engage with educational opportunities. This study highlighted that the perception of IPCAs as non-educational extra work impedes learners' ability to learn from these tasks. This may be particularly acute amongst residents whose professional identity is as a ‘student’ whose purpose in the clinical workplace is to learn.41, 42 Residents who see themselves as an ‘apprentice’ preparing to practice in the business of medicine may be more likely to see opportunities for learning strategies to effectively manage IPCA work. We must be attentive to the ways in which the hidden curriculum de-values IPCA work.43 For example, when IPCA tasks take up a significant portion of clinician time but are seldom coached, assessed or given much educational weight, residents may learn to think of them as unimportant and not valuable.42 Referring to this work as Indirect Patient Care rather than ‘administrative’ work may help emphasise the value and importance of these tasks, drawing attention to the resident's role in providing health care to the patient. In addition, incorporating formal ways to teach and provide feedback on systems for sustainably and effectively managing IPCA work (e.g. as an entrustable professional activity or core competency) may also be helpful in helping learners recognise the educational value of these tasks. The groundwork has been laid here by some educational bodies, including the Royal College of General Practitioners in New Zealand,44 Australia45 and the United Kingdom,46 each of which have explicitly stated that indirect patient care skills are a required competence for independent practice.

IPCA 작업을 적절하게 수행할 수 있는 것 외에도, 이러한 작업은 추가 교육 가치를 제공합니다. 의료 전문가로서의 기술 외에도, [목적적 IPCA 교육]은 효율성, 우선순위 부여, 적절한 전문적 의사소통 및 협업을 포함한 전문성, 옹호 및 리더십의 이전 가능한 기술을 강조한다. 이러한 기술은 캐나다 면허 대학인 College of Family Physicians of Canada가 제공하는 레지던트 훈련 프로필의 핵심 전문 활동의 최근 출판에서 강조된다. 이 문서에는 [IPCA 관리(EHR 관리, 받은 편지함 관리, 양식 작성 및 처방 관리 포함)]뿐만 아니라 [자가 및 지속 가능한 의료 행위 관리]를 의료의 유능한 관행에 중요한 핵심 전문 활동으로 나열합니다. 적절한 훈련과 적응적 전문지식의 렌즈를 통해 이 프로그램은 학습자가 다양한 리소스로 다양한 임상 맥락에서 IPCA의 가중치를 해결할 수 있도록 준비할 수 있을 것이다.  
Beyond being able to adequately perform IPCA work, these tasks offer additional education value. In addition to skills as a medical expert, purposeful IPCA education highlights transferable skills in professionalism, advocacy and leadership including efficiency, prioritisation, appropriate professional communication and collaboration. These skills are underscored in the recent publication of core professional activities in the residency training profile provided by the College of Family Physicians of Canada, the Canadian licensing college.47 This document lists managing IPCAs (including maintaining the EHR, managing the inbox, completing forms and managing prescriptions) as well as managing self-care and a sustainable practice both as core professional activities critical to the competent practice of medicine. With appropriate training and a lens of adaptive expertise, the programme would be able to prepare learners to tackle the weight of IPCAs in varied clinical contexts with varied resources.48

IPCA는 종종 전공의 수련의 예기치 않은 구성 요소이다. 직원들은 종종 진료 시간 4시간 이내에 IPCA의 상당 부분을 완료하기 때문에 이 업무량은 일반적으로 의대생에게는 보이지 않는다. 이것은 전공의들이 IPCA 관리에 필요한 긴 시간, 특히 더 유연한 시간을 예상하여 가정의학을 선택한 경우에 특히 낙담하는 이유에 대한 잠재적인 설명을 제공한다. 참가자들의 목소리처럼, [IPCA의 예상치 못한, 충족되지 못한, 그리고 때로는 지속 불가능한 업무량]은 가정의학과 졸업생들이 포괄적인 가정의학을 실천하기로 선택하는 감소와 활동 수준과 환자 패널 크기의 감소에 영향을 미치는 많은 요소 중 하나일 수 있다. 졸업생들은 [이러한 예상치 못한 부담스러운 업무량을 보상]하기 위해 [(환자 패널이 크고 포괄적인) 가정의학 진료에서 벗어남]으로써 [지속 가능한 실천을 유지하기 위한 경계]를 설정하고 있을 수 있다.
IPCAs are often an unexpected component of residency. As staff often complete a significant portion of IPCAs outside of clinic hours4 this workload is typically unseen by medical students. This offers a potential explanation for why residents are particularly disheartened by the longer hours needed to manage IPCAs, especially if they selected family medicine in anticipation of more flexible hours.49 As voiced by our participants, the unexpected, unfulfilling, and sometimes unsustainable workload of IPCAs may be one of the many elements impacting a decline in family medicine graduates choosing to practice comprehensive family medicine and the decline of activity level and patient panel size.50, 51 Graduates may be setting boundaries to maintain a sustainable practice by moving away from comprehensive family medicine practice52 with a large patient panel to compensate for this unexpected and onerous workload.

4.1 교육자에게 미치는 영향
4.1 Implications for educators

이 연구는 가정의학 전공의들이 그들의 의료행위를 관리할 수 있도록 준비하기 위한 [새로운 커리큘럼의 필요성]을 강조했고, [전공의들의 교육적 헌신과 시간]에 대한 상충하는 요구를 염두에 두면서 이 중요한 환자 치료 부분을 통합했다. 53 여기에는 IPCA의 존재에 대한 투명성, 예상 작업량, 그리고 지속 가능한 경영을 위한 기대치와 전략이 포함된다. 예를 들어, 스텝이 학습자가 볼 수 있는 방식으로 자체 IPCA 작업을 완료한다면, 이 작업의 효율성을 높이기 위해 이러한 작업 및 역할 모델링 전략을 표준화한다.
This study has highlighted the need for new curricula to prepare Family Medicine residents to manage their practices, integrating this vital piece of patient care while being mindful of competing demands on residents' educational commitments and time.53 This includes transparency around the existence of IPCAs, the anticipated workload, expectations and strategies for sustainable management. For example, when staff complete their own IPCA work in a way that is visible to the learner, they are normalising these tasks and role modelling different strategies to increase efficiency of this work.

연구 참가자들은 IPCA를 단계적이고 점진적인 방식으로 도입할 것을 권고했다. 예를 들어, EHR 수신함에 대한 소개는 관심 있는 문서 또는 특정 문서를 보낸 후 전공의가 수신함의 모든 구성 요소를 관리할 때까지 전공의가 직접 주문한 항목을 보낸 후 특정 범주의 조사(즉, 참조 노트, 처방, 혈액 검사 및 진단 영상)를 수행할 수 있다. 이 접근법은 특정 학습 목표를 허용하기 위해 [양은 줄이면서 더 집중된 교육]을 촉진할 수 있다. Inbox을 언제 어떻게 도입해야 하는지에 대한 지침을 가지고 있으면 전공의들 사이의 투명성과 형평성이 향상될 것이고, 프로그램이 의도된 역량을 명확히 하고 정기적인 피드백을 촉진하도록 장려할 것이다. 이러한 전략은 전공의들에게 명확성과 구조를 만들어 줄 뿐만 아니라 학습자들이 적응적이고 자기 조절적인 학습 전략을 개발할 수 있도록 돕는 학습 환경을 촉진할 것이다. 전공의들이 스스로의 학습을 조절하고 적응할 수 있을 때, 그들은 의학 분야에서 평생의 경력을 지속할 수 있는 능력을 강화하고 있다. 전공의 프로그램은 이러한 적응적이고 자기 통제적인 행동을 촉진하기 위해 의도적으로 그리고 의도적으로 그러한 학습 환경을 계획해야 한다. 
Study participants recommended that IPCAs be introduced in a stepwise, gradual way. For example, introduction to the EHR inbox can begin by sending interesting or specific documents, then items the resident themselves ordered, followed by a particular category of investigations (i.e. consult notes, prescriptions, blood work and diagnostic imaging) until the resident is managing all components of the inbox. This approach may facilitate focused education with reduced quantity to allow for specific learning goals. Having a guideline as to when and how inbox should be introduced will improve the transparency and equity amongst residents, encourage the programme to articulate the intended competency and to promote regular feedback. These strategies will not only create clarity and structure for residents, they also promote a learning environment that helps learners develop adaptive, self-regulated learning strategies.54 When residents are able to regulate and adapt their own learning, they are bolstering their ability to sustain a life-long career in medicine. Residency programmes should intentionally and purposefully plan such learning environments to promote these adaptive, self-regulated behaviours.54

4.2 강점과 한계
4.2 Strengths and limitations

수집된 데이터는 단일 레지던트 프로그램에서 수집되었으며 다른 가정의학 프로그램이나 다른 전문 분야로 이전할 수 없습니다. 상당한 모집 노력에도 불구하고, 참여에 자원한 전공의들은 우리 레지던트 프로그램의 대규모 학술 교육 현장에서 불균형적으로 뽑혔다. 지역사회 기반 현장에서 주민을 모집하는 것이 과제였는데, 이는 다양한 현장에서 IPCA의 교육 경험의 불일치를 시사하는 것일 수 있다. 참가자들이 자신의 경력 단계와 관련된 IPCA에 대해 말하는 방식에 차이가 있었기 때문에 다양한 수준의 전문 경험과 초점을 가진 참가자들의 통합이 강점이다.
The data collected was from a single residency programme and may not be transferable to other family medicine programmes or other specialties. Despite significant recruitment efforts, the residents who volunteered to participate were disproportionately drawn from the large academic teaching sites in our residency programme. It was a challenge to recruit residents from the community-based sites, which may be an indication of a discrepancy in the educational experience of IPCAs in the various sites. The incorporation of participants with varying levels of professional experience and focus is a strength, as there were differences in the way that participants spoke about IPCAs, related to their career stage.

5 결론
5 CONCLUSION

결론적으로, IPCA는 우리 의료 시스템의 필수적이고 증가하는 구성요소이다. 우리 가정의학 전공의들이 이러한 업무를 효과적이고 [지속 가능한 방식]으로 관리하도록 훈련받는 것이 필수적이다. 지속 가능성에 초점을 맞추지 않으면 IPCA는 인구 수요를 충족시키기 위해 충분한 수의 일반 가정의사를 모집하고 유지하는 데 장애가 될 위험이 있다. 이를 달성하기 위해서는 IPCA에 대한 점진적인 도입, 교육 및 피드백, 동료 간의 형평성을 포함할 수 있는 교육 혁신이 필요합니다. 이 교육을 제공하지 못하면, 수련을 마친 전공의가 독립적인 임상 실습으로의 이행하는 것에 대한 위험, 그리고 일부 사람들에게는 포괄적인 진료를 떠나서 더 세부전문과목으로 진입할 위험이 따른다. 그러나 교육 혁신은 충분하지 않다. 상응하는 보수 없이 업무량이 증가했을 때 나타나는 시스템적 영향을 인식하고, family practice의 지속 가능성을 높이는 의료 시스템 변화를 옹호해야 한다.
In conclusion, IPCAs are a necessary and increasing component of our health care system. It is essential to ensure our family residents are trained to manage these tasks in an effective and sustainable manner. Without a focus on sustainability, IPCAs risk becoming a barrier to recruiting and retaining sufficient numbers of generalist family physicians to serve population needs. Achieving this will require educational innovation, which may include a gradual introduction to IPCAs, with teaching and feedback, and equity amongst peers. Failing to provide this education carries the risk of more challenging transitions to independent clinical practice for graduating residents, and for some, attrition out of comprehensive practice and into sub-specialisation. However, educational innovation is not sufficient. We need to recognise the systemic implications of an increased workload without corresponding remuneration and advocate for health system change, which increases the sustainability of family practice.

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.

내과와 외과에서 교수자와 학습자 정체성의 사회적 구성(Med Educ, 2022)
The social construction of teacher and learner identities in medicine and surgery
Peter Cantillon1,2 | Willem De Grave2 | Tim Dornan3

1 소개
1 INTRODUCTION

대학원 의학 교육(PGME)에 역량 기반 교육과정이 널리 채택되면서 임상 교사의 기대와 책임감이 크게 높아졌다. 이에 대응하여, 교수진 개발(FD)의 '지수적' 증가가 있었다.2 임상 교육을 전문화하려는 FD의 노력에도 불구하고, 임상 감독 품질과 학습자의 판단에 우려스러운 불일치가 남아 있다. 더욱이 교육생들에게 의미 있는 실습 참여 기회가 충분히 주어지지 않고 있다는 우려도 커지고 있다. [교사 자격]을 부여하고, [독립적인 교수 기술 워크샵]을 제공하는 것의 교육 효과는 실제로 잘 전달되지 않았고, 지속 가능한 것으로 입증되지 않았음이 분명하다. 이러한 실망스러운 영향은 교사 발전을 저해하는 임상 작업장의 문화적, 조직적 요인 특성으로 인한 것이다. 이러한 문제는 사회적, 문화적 맥락이 교수와 학습의 관행을 어떻게 형성하는지에 대한 경험적 연구의 부족으로 인해 복잡해진다.
The widespread adoption of competency-based curriculums in postgraduate medical education (PGME) has greatly increased the expectations and responsibilities of clinical teachers.1 In response, there has been an ‘exponential’ increase in faculty development (FD).2 Despite FD efforts to professionalise clinical education, there remain worrying inconsistencies in the quality of clinical supervision and the adjudication of learners. Moreover, there are growing concerns that trainees are not being given sufficient opportunities to participate meaningfully in practice.2-4 It is clear that the educational effects of credentialing teachers and providing standalone teaching skills workshops have neither transferred well into practice, nor proved sustainable.5-9 This disappointing impact has been attributed to cultural and organisational factors features of clinical workplaces that undermine teacher development.6, 7 These problems are compounded by a lack of empirical research into how social and cultural contexts shape the practices of teaching and learning.10, 11

[교수, 학습 및 문화적 맥락 사이의 관계]는 FD 학문을 뒷받침하는 인지 모델보다 [사회 문화 이론]과 더 잘 일치한다. 사회문화적 관점에서 임상교육은 병원, 임상팀 등 [기관의 공유된 활동]에 참여하고, 특정한 문화적 맥락 속에서 정체성이 형성된 사람이 되는 과정이다. [정체성 형성, 임상 감독 및 문화적 맥락]의 영향이 서로 어떻게 관련되는지에 대한 연구는 거의 없었다.

• 자기보고 연구는 졸업후 수련생들이 공유 관행, 경험칙, 내재된 이해를 어떻게 숙달하는지 보여주었지만, 그러한 방법론은 문화적 맥락의 암묵적 영향에 크게 둔감해 왔다.
• 관찰 연구는 졸업후 학습자들이 사회적으로 승인된 토큰 행동을 재현함으로써 임상 팀에서 정당성을 추구하는 방법을 보여주었지만, 사회적 문화적 맥락이 교사와 학습자의 역할을 어떻게 형성하는지 보여주지 않았다.

The relationship between teaching, learning and cultural context aligns better with sociocultural theory than the cognitive models that underpin much FD scholarship.12 From a sociocultural perspective, clinical education is a process of participating in the shared activities of institutions such as hospitals and clinical teams, and ‘becoming’13 a person whose identity is forged in particular cultural contexts.14-18 There has been little research into how identity formation, clinical supervision and the influence of cultural context relate to one another.19 

• Self-report studies have shown how postgraduate trainees master shared practices, rules of thumb and embodied understandings,20-24 but such methodologies have been largely insensitive to the implicit effects of cultural context.25, 26 
• Observational studies have shown how graduate learners seek legitimacy in clinical teams by reproducing socially sanctioned token behaviours, but not how social and cultural contexts shape the roles of teachers and learners.27-35

이에 대응하여, 우리는 [임상 교육, 학습 및 사회적 맥락 사이의 관계에 대한 위치적 이해situated understanding]를 개발하기 위한 연구 프로그램을 시작했다. 우리의 목적은 미래의 상황에 민감한 FD 이니셔티브에 정보를 제공하는 이론적 프레임워크를 개발하는 것이었다. 1년(2016~2017년) 동안 두 개의 개별 교육 병원에서 네 개의 병원 팀(내과 2개 및 외과 2개)에 대한 민족지학은 풍부한 데이터 세트를 산출했다. 우리는 [고프만의 연극적 접근 이론]을 사용하여 [선생님과 학습자 정체성, 교육 실습, 그리고 임상 팀에서의 참여를 전형적으로 보여주는 대화와 행동 방식]을 탐구했습니다. 이를 통해 [임상교사]는 팀의 암묵적 커리큘럼인 규범과 기대치를 [명확히 표현하기articulate]보다는 [체화embodied]했음을 알 수 있었다. 교육생들은 능력 있는 팀 참여자로써의 인상을 심어주기 위해 교사들의 구체화된 기준을 재현하는 것으로 응답했다. 그러나 이 방법론은 [교수와 학습에 대한 전공-특이적 문화의 shaping effect에 둔감]하다는 것이 입증되었다. 이 논문의 목적은 [외과와 내과(IM)라는 두 주요 전공의 대조적인 문화]가 [교사와 학습자의 정체성 형성]에 어떤 영향을 미치는지 확인하기 위해 Figured Worlds라는 이론적 틀을 사용하여 관찰 데이터를 재분석하는 것이었다. 연구 질문은 다음과 같았다. 작업, 학습 및 교수와 관련된 실습이 있는 전문 임상 팀의 문화적 세계에서 교사와 학습자의 정체성은 어떻게 상호 작용합니까?
In response, we launched a programme of research to develop a situated understanding of the relationship between clinical teaching, learning and social context. Our purpose was to develop a theoretical framework that would inform future contextually sensitive FD initiatives. An ethnography of four hospital teams (two internal medicine and two surgical) in two separate teaching hospitals over a period of 1 year (2016–2017) yielded a rich dataset.19 We used Goffman's dramaturgical theory, to explore the relationship between teacher and learner identity, educational practice and ways of talking and acting that typify participation in clinical teams. This showed that clinical teachers embodied rather than articulated their teams' implicit curriculum of norms and expectations. Trainees responded by reproducing teachers' embodied standards to create impressions of themselves as capable team participants.19 This methodology proved insensitive, however, to the shaping effect of specialty-specific culture on teaching and learning. The aim of this paper was to reanalyse the observational data using a theoretical framework, Figured Worlds, to identify how the contrasting cultures of two major specialties, surgery and internal medicine (IM), influenced teachers' and learners' identity formation. The research question was as follows: How do the identities of teachers and learners interplay with one another in the cultural worlds of specialty clinical teams where the linked practices of working, learning and teaching are situated?

1.1 이론적 틀
1.1 Theoretical framework

[형상화된 세계]는 [정체성 형성과 문화 사이의 관계]를 조사하기 위한, 개념적이고 분석적인 도구를 제공하는 비판적인 이론이다. 형상화된(또는 문화적) 세계는 특정한 경험, 대화 및 행동 방식, 사회적 가능성을 제공하는 사회 역사적 맥락(예: 임상 팀의 구성원)이다. 형상화된 세계 내에서 정체성은 (개인에게) 소유되지 않는다; 그것은 역동적이고 진화하고, 말과 다른 상징적 행위에 의해 구성되며, 개인과 그들이 살고 일하는 문화 세계 사이의 상호 작용에서 형태를 찾는다. Bakhtin의 [대화주의 이론]을 바탕으로 유도된 이 이론에서, [형상화된 세계]는 [말speech 및 다른 상징적 행위들]이 개인들에게 [문화적 세계]에서 [자기 저자의 정체성]에 대한 [행위자성agency]을 준다고 가정한다. 형상화된 세계에서

• ['형상figure']이라는 용어는, 예를 들어 (전공의들이 배우는) 교수자에 의해 실체화되는 [정체성 가능성]을 가리킨다.
• ['형상화figuring']이라는 용어는 겉으로는 [역할 모델링]을 닮았지만, 역할을 동화시키기보다는, [자신의 정체성을 형성하는데 있어 학습자의 행위자성agency을 더 강조]한다는 점에서 차이가 있다.
• 이러한 차원에서 ['모델링']이라는 용어를 사용할 때, 우리는 [학습자를 위해 기술을 보여주거나 명확한 사고를 하는 상황에서의 교사의 행동]을 구체적으로 언급하고 있다.
• 또한 모델링과 코칭도 구별하는데, ['코칭']이란 [교사가 학습자의 성과를 관찰하고 성장과 발전을 지원하기 위해 피드백을 제공하는 것]을 설명한다.

Figured worlds is a critical theory that provides conceptual and analytical tools to examine relationships between identity formation and culture.36 A figured (or cultural) world is a socio-historical context (e.g. membership of a clinical team) that affords particular experiences, ways of talking and acting and social possibilities.16 Identity, within Figured Worlds, is not possessed; it is dynamic and evolving, constructed by speech and other symbolic acts, finding form in the interactions between individuals and the cultural worlds that they live and work in.37 Drawing on Bakhtin's theory of Dialogism, Figured Worlds assumes that speech and other symbolic acts give individuals agency to self-author identities in cultural worlds.15, 16, 38 In Figured Worlds,

• the term ‘figure’ refers to the identity possibilities that are embodied by, for example, teachers from whom residents learn.36 
• The term ‘figuring’ superficially resembles role modelling but differs in how it places greater emphasis on learners' agency in forging their own identities, rather than assimilating roles.36-38 
• In this account, when we use the term ‘modelling’, we are referring specifically to the actions of teachers in demonstrating skills or articulating thinking for learners.39
• We also differentiate between modelling and coaching where ‘coaching’ describes when teachers' observe learners' performances and provide feedback to support growth and development.40

• [형상화된 세계]는 높은 수준의 제도적, 사회역사적 담론(Gee가 대문자 D 담론Discourse이라고 부르는)이 문화 세계를 구성하고, 사회적 지위를 창출하며, 다른 정체성을 가진 사람들이 이러한 입장을 이용할 수 있게 만든다는 것을 인정한다.
• 중요한 것은, [형상화된 세계]는 또한 학자들이 [일상적 이야기(소문자 D 담론discourse)]의 내용이 사람들에게 [대문자 D (big-D) 담론]의 구조화 효과에 저항할 수 있는 에이전시를 제공한다는 것을 밝힐 수 있게 해준다.

이러한 방식으로 (작은-D) 담론의 일상적인 사용은 (큰-D) 담론을 구성하고 재구성한다. 이 연구에서, 우리는 피규어 세계 이론의 언어 개념을 사용하여 개인이 문화 세계를 탐색할 수 있는 기관을 제공하는 활동 중인 문화 세계(예: 외과와 내과의 문화에 특화된 교육 의식)와 일상 언어(담화)에 대한 우리의 민족학적 관찰을 이해했다.

• Figured worlds acknowledges that high-level institutional and sociohistorical discourses (which Gee terms big-D Discourses) structure cultural worlds, create social positions, and make those positions more or less available to people with different identities.41 
• Importantly, Figured Worlds also allows scholars to reveal how the contents of everyday speech (little-d discourse) give people agency to resist the structuring effect of big-D Discourses.36, 41 

In this way, the everyday use of (small-d) discourse constructs and reconstructs (big-D) Discourses.41 In this study, we used Figured Worlds theory's linguistic concepts to make sense of our ethnographic observations of cultural worlds in action (e.g. the educational rituals particular to the cultures of surgery and IM) and everyday speech (discourse), which give individuals agency to navigate cultural worlds.

2 방법
2 METHODS

2.1 설정 및 시료
2.1 Setting and sample

이 기사는 아일랜드에 있는 두 개의 개별 교육 병원에서 외과 및 내과 임상 팀의 일상적인 작업 및 학습 환경에서 임상 교육이 어떻게 실현되는지 탐구하기 위해 수행된 민족지학에 대한 2차 분석을 보고한다. 병원은 아일랜드에 인접한 두 도시의 도시 인구를 포괄하는 비슷한 규모의 병원이었다. 우리는 외과와 내과가 사회-역사적 기원이 매우 다른 같은 직업 내에서의 관행을 나타내기 때문에 선택했다. 표본추출전략은 연극적 접근 연구를 위해 선택되었으나, 의학교육에서 정체성 형성에 대한 문화적 요인의 영향을 탐구하는 데도 적합하였다.
This article reports a secondary analysis of an ethnography, carried out to explore how clinical education is actualised in the day-to-day working and learning environments of a surgical and an IM clinical team, in each of two separate teaching hospitals in Ireland. The hospitals were of similar size covering largely urban populations in two adjacent Irish cities. We selected surgery and IM because they represent practices within the same profession whose socio-historical origins are very different. Although the sampling strategy was chosen for dramaturgical research, it was well suited also to exploring the influence of cultural factors on identity formation in medical education.

각 병원의 '문지기'가 모든 임상 팀에 연구에 대한 정보를 제공하는 전단지를 배포했다. 그리고 나서 수석 저자(PC)는 대부분의 팀이 참가한 의료 및 외과 그랜드 라운드에서 이 연구에 대해 말했습니다. 그는 참가 제의를 초청했고 그들이 자원한 순서대로 팀들을 포함시켰다. 포함된 이들은 1명 이상의 수석 컨설턴트 전문가, 1~2명의 선임 전문의 등록자(시니어 레지던트) 및 2~4명의 주니어 훈련생(시니어 레지던트)으로 구성되어 있다는 점에서 아일랜드의 전형적인 임상 팀 단위였다.
A ‘gatekeeper’ in each hospital distributed a leaflet giving information about the study amongst all clinical teams. The lead author (PC) then spoke about the study at medical and surgical grand rounds where most teams were represented. He invited offers to participate and included teams in the order they volunteered. Those included were typical of clinical team units in Ireland in that they were composed of one or more lead consultant specialists, one or two senior specialist registrars (senior residents) and two to four junior trainees (junior residents).

2.2 연구윤리 승인 및 참여자 정체성 보호
2.2 Research ethics approval and protection of participant identity

민족지학적 설계 및 관련 데이터 수집 방법은 두 개의 참여 교육 병원의 연구 윤리 위원회에서 승인되었다(참고 자료: C.A. 1150 및 062/16). 모든 참여 팀원들은 결과를 발표하려는 의도를 포함한 연구에 대한 정보 시트를 받았다. 모두 연구에 참여하겠다는 서면 동의를 제공했다. 비디오 또는 이미지 데이터에 우연히 포함된 환자 또는 의료진은 연구자의 연락처 정보가 포함된 정보 시트를 받았고, 데이터 세트에 포함되도록 구두 동의를 하기 전에 이를 읽어보도록 요청받았다. 그러한 동의가 나오지 않으면 관련 데이터 세그먼트를 삭제했습니다.

The ethnographic design and its associated data collection methods were approved by the research ethics committees of the two participating teaching hospitals (references: C.A. 1150 and 062/16). All participating team members received an information sheet about the research including the intention to publish the results. All provided written consent to participate in the research. Any patients or health care staff who were incidentally included in video or image data received an information sheet with researchers' contact details, which they were asked to read before giving verbal consent to be included in the dataset. If such consent was not forthcoming, we deleted the relevant data segments.

2.3 데이터 수집
2.3 Data collection

주요 저자(PC)는 2016-2017년 12주에서 16주 동안 각 팀에 [한계 참가자 관찰자marginal participant observer(즉, 관찰하고 때로는 활동에 참여하기도 함)]로 자신을 포함시켰다. 그는 병동 라운드, 다학제 팀 회의, 수술 극장, 커피 휴식, 그리고 그랜드 라운드와 같은 공식적인 교육 행사를 포함하여 매주 약 2일 동안 각 팀의 활동에 참석했다. 그는 동시 현장 기록, 디지털 이미지, 외래 환자 접견 비디오 녹화, 모든 참가자와의 종료 인터뷰 등 다양한 형식으로 데이터를 수집했다. 매일 관찰이 끝날 때, PC는 그의 동시 필드 노트를 그가 관찰한 것에 대한 풍부한 설명으로 발전시켰다. 비디오에 캡처된 출구(반구조 인터뷰)와 교사-학습자 상호 작용은 전문적으로 기록되고 가명이 붙었다. Akvis Sketch 23.5 소프트웨어를 사용하여 디지털 이미지와 비디오 스틸에 캡처된 개인들의 모습을 위장하고 식별할 수 없게 만들었다. 

The lead author (PC) embedded himself as a marginal participant observer42 (i.e. he observed, and at times partook in activity) in each team for between 12 and 16 weeks in 2016–2017. He attended each team's activities for approximately 2 days each week including ward rounds, multidisciplinary team meetings, surgical theatre, coffee breaks and formal educational events such as grand rounds. He collected data in multiple formats including contemporaneous field notes, digital images, video-recordings of out-patient encounters and exit interviews with all participants. At the end of each day of observation, PC developed his contemporaneous field notes into rich descriptions of what he had observed. Exit (semi-structured interviews) and teacher–learner interactions captured on video were transcribed verbatim and pseudonymised. Likenesses of individuals captured in digital images and video stills were disguised and rendered unidentifiable using Akvis Sketch 23.5 software.43

2.4 데이터 분석
2.4 Data analysis

우리의 지향이 형상화된 세계였기 때문에, [언어 분석]은 [문화적 세계가 어떻게 특정한 말하기와 행동 방식을 특권화하고, 개인이 어떻게 그 세계 내에서 정체성을 형성하는지]에 영향을 미칠 것이라고 가정할 수 있었다. 형상화된 세계에 관한 [두 가지 중요한 개념]은 분석 도구와 설명 능력을 제공했습니다.36

• '포지셔닝'은 [타인의 발언]이 정체성 가능성을 부여하거나 보류하는 방법을 말한다.
• '자기저작'은 어떤 방식으로 개인이 다른 사람의 말을 [자신의 연설 행위에 통합]하여, 입장을 협상하고, 만들거나, 경쟁하는지를 말한다.

Our orientation toward Figured Worlds empowered us to assume that analysing language would show how cultural worlds privileged particular ways of talking and behaving and would influence how individuals could form identities within those worlds. Two important Figured Worlds concepts provided analytical tools with explanatory power.36 

• ‘Positioning’ refers to how other people's speech grants or withholds identity possibilities.16, 18 
• 'Self-authoring’ refers to how individuals incorporate other people's speech into their own speech acts to negotiate, create or contest positions.36

데이터 세트에는 640시간의 관찰에서 얻은 필드 노트, 참여 팀원에 대한 34건의 출구 인터뷰 기록(외과적 16건, IM 18건), 30시간의 외래 환자 비디오 녹화 및 현장 사진 촬영이 제공하는 디지털 이미지가 포함되어 있었다. NVivo 12 소프트웨어(QSR International 2018)는 새로운 해석을 포착하기 위해 메모 기술을 사용하여 원본 데이터와 데이터 표현 사이를 반복적으로 이동했던 분석을 촉진했다. PC가 분석을 주도하고 메모를 작성했다. TD와 WdG는 정기적으로 PC와 만나 해석을 검토했다.

The dataset included field notes from 640 hours of observation, transcripts of 34 exit interviews with participating team members (16 surgical and 18 IM), 30 hours of out-patient video-recordings and digital images provided by in-the-field photography. NVivo 12 software (QSR international 2018) facilitated analysis, which moved iteratively between original data and representations of the data, using memoing techniques to capture emerging interpretations. PC led the analysis and wrote the memos. TD and WdG met regularly with PC to review the interpretation.

외과 데이터 세트와 내과 데이터 세트를 구별되는 두 개의 형상화된 세상으로 취급한 [첫 번째 분석 단계]는 표 1에 열거된 형상화된 세계의 [핵심 구성 요소]를 체계적으로 모색했다. 실제로 이것은 의미 있는 행위, 형상화된 유형(예: 특정 전문 분야의 교사), 문화적으로 중요한 유물 및 기타 장르를 식별하기 위해 현장 노트, 인터뷰 및 비디오 녹취록을 읽고 다시 읽는 것을 의미했다. 우리는 비디오 또는 디지털 이미지에 존재하는 [언어적 증거, 기호 또는 행동]이 [실증적 지원empirical support]을 제공할 때 [해석적 추론이 유효하다]고 간주했다. 우리는 이 증거를 사용하여 참가자들의 [의사소통적 행동]이 어떻게 그들의 [정체성 위치]를 '조정orchestrated'하는지 조사했다.
The first phase of analysis, which treated the surgical and IM datasets as two distinct figured worlds, systematically sought key components of Figured Worlds,36, 41 which we list in Table 1. In practice, this meant reading and rereading field notes, interviews and video transcripts to identify meaningful acts, figured types (e.g. teachers in a particular specialty), culturally significant artefacts and other genres listed in Table 1. We regarded interpretive inferences as valid when linguistic evidence, symbols or behaviours present in video or digital images provided empirical support.41 We used this evidence to examine how participants' communicative actions ‘orchestrated’36 their identity positions.

두 번째 분석 단계에서는 수술과 IM의 다른 세계를 특징짓는 '정체성 작업'(즉, 사회적 맥락에서 신분적 위치의 협상)의 패턴을 확인했다. 우리는 수술과 IM의 문화적 세계에 대한 서술적 요약을 합성하기 위해 필드 노트 관찰, 음성 언어의 발췌 및 비디오 녹취록을 사용했다.
The second phase of analysis identified patterns of ‘identity work’ (i.e. the negotiation of identity positions in social contexts) that characterised the different worlds of surgery and IM. We used field note observations, excerpts of spoken language and video transcripts to synthesise a narrative summary of the cultural worlds of surgery and IM.

2.5 엄격함과 반사성
2.5 Rigour and reflexivity

Figured Worlds에 의해 민감해진 우리는 [원시 데이터]에서 [해석]으로 이동하기 위해 [풍부한 설명, 결정화 및 다중 음성성]을 사용했다. 우리는 독립적으로 자료를 읽은 두 사람 사이의 해석에 동의했다. 우리는 둘 이상의 출처로부터 증거를 구함으로써 해석의 신뢰성을 강화했다. 예를 들어, 필드 노트와 인터뷰 데이터는 시간이 지남에 따라 반복됩니다. 우리는 동일한 분야의 다른 개별 참가자와 다른 팀 간의 유사성과 차이를 추구함으로써, [다중 음성성]의 피규어 월드 개념을 적용했다.36 우리는 다음의 두 가지 방법으로 해석의 타당성에 대한 참가자들의 의견을 구하였다. 첫째, 전문분야별 참가자 그룹과 해석에 동의하고, 둘째, 개별 참가자에게 원본 데이터의 샘플과 그들에 대한 우리의 해석을 보여줌으로써 해석한다. 이러한 타당성 협상은 우리의 해석과 결론을 다듬었다.
Sensitised by Figured Worlds, we used rich description, crystallisation and multi-vocality44, 45 to move from raw data to interpretation. We agreed interpretations between two people who had independently read the data.44 We strengthened the trustworthiness of our interpretation by seeking evidence from more than one source: for example, field note and interview data repeated over time.45 We applied the Figured Worlds concept of multi-vocality by seeking similarities and differences between different individual participants and different teams in the same discipline.36 We sought participants' opinions about the validity of our interpretation in two ways: first by agreeing interpretations with specialty-specific groups of participants and second by showing individual participants samples of original data and our interpretations of them. These validity negotiations refined our interpretations and conclusions.

최선의 민족지학적 연구 관행에 따라, 우리는 언어와 실천의 다른 당연시되는 측면을 면밀히 조사하기 위해 내부자(PC: 일반의사; TD: 병원 전문가)와 외부자(WdG: 교육심리학자)의 관점을 사용했다. PC는 개인적인 관점, 관찰 및 해석 사이의 관계를 면밀히 조사하기 위해 반사적인 일지를 작성했습니다.
In keeping with best ethnographic research practice,42 we used our insider (PC: general practitioner; TD: hospital specialist) and outsider (WdG: educational psychologist) perspectives to scrutinise otherwise taken-for-granted aspects of language and practice. PC kept a reflexive diary to ensure that the relationship between personal perspectives, observations and interpretations was available for scrutiny.

3 결과
3 RESULTS

외과 의사나 의사가 되는 것은 수술과 IM의 문화적 세계에 특유한 지식과 행동의 문화적인 가치 있는 방법에 의해 형성되었으며 그들의 전문적 관행과 불가분의 관계에 있었다.
Becoming a surgeon or a physician was shaped by culturally valued ways of knowing and acting peculiar to the cultural worlds of surgery and IM and was inextricably linked to their specialty-specific practices.

3.1 외과에 대한 핵심 아티팩트 및 관행
3.1 Core artefacts and practices in surgery

3.2 내과의 핵심 자료 및 관행
3.2 Core artefacts and practices in IM

IM에서 가장 중요한 [문화적 유물]은 환자의 임상 기록과 팀 구성원 간에 소통하고 협상하는 프레젠테이션의 인지적 표현이었다. 여기서, [핵심 행위]은 환자들이 어떻게 표현했는지에 대한 그럴듯한 추상적인 표현을 만들고 조작하는 것이었다. 이러한 표현은 [교사-학습자 관계]를 알려줬는데, 이는 수술에서의 관계보다 더 먼 관계였다. 내과적 행위가 대체로 불투명하고 인지적이라는 특성을 고려할 때, 교사들은 [교육]을 [피교육자가 인식하고 재현할 수 있는 방식으로 사고와 행동을 언어화하는 것]으로 프레임하였다. 예를 들어, 한 컨설턴트는 사례 발표 중에 연습생들이 환자의 사회 및 과거 이력을 탐색했는지 반복적으로 확인하는 그의 습관에 대해 이야기하면서 '내가 전하고 싶은 것은 당신이 질문해야 할 중요한 질문들이다'(H1T1 IM 컨설턴트 1 인터뷰)라고 설명했다. 내과 의사들은 [학습자들이 자기 주도적이고 독립적일 필요가 있다는 것]을 강조했다. 예를 들어, 컨설턴트는 병동에 대한 대학원 임상 교육을 다음과 같이 개념화했다. '그들[연수생]은 책임을 져야 한다. 스스로 배우게 해야 한다… 스스로 배우고 보여줘야 한다'(H1 T1 IM 컨설턴트 2 인터뷰). 내과에서 [사고의 모델링]를 강조하고, 훈련생들이 [자기주도적으로 학습]하도록 장려하는 것은, [외과적 교육]을 특징짓는 훈련생들의 [행위에 대한 집중적인 관찰과 코칭]과 강한 대조를 보였다.
In IM, the most important cultural artefacts were patients' clinical records and cognitive representations of their presentations as communicated and negotiated between team members. Here, the core practice was creating and manipulating plausible abstract representations of how patients had presented. These representations informed teacher–learner relationships, which were more distal than relationships in surgery. Given the largely opaque, cognitive nature of IM practice, teachers framed teaching as verbalising their thinking and acting in ways that trainees could recognise and reproduce. When talking about his habit of repeatedly checking during case presentations whether trainees had explored their patients' social and past histories, for example, one consultant explained: ‘What I'm hoping to transmit is that these are the important questions you need to ask’ (H1 T1 IM consultant 1 interview). IM physicians' talk emphasised the need for learners to be self-directed and independent. For example, a consultant conceptualised postgraduate clinical education on the wards as follows: ‘they [the trainees] need to be taking responsibility. You have to let them learn by themselves … They need to learn and show learning themselves’ (H1 T1 IM consultant 2 interview). The emphasis in IM on modelling thinking and encouraging trainees to learn self-directedly contrasted strongly with the intense observation and coaching of trainees' practice, which characterised surgical education.

3.3 외과팀과 IM팀의 문화적 세계 비교
3.3 Comparing the cultural worlds of surgical and IM teams

표 2는 수술과 IM의 문화적 세계에서 특히 중시되었던 알고, 보고, 말하고, 존재하는 방법을 보여줍니다. 주요 임상의는 표 2에 표시된 배치와 능력을 파악하고 명확하게 설명했으며, 훈련생은 이를 각자의 전문 분야에서 유능한 참여자로 자리매김하기 위해 사용했다.

Table 2 illustrates ways of knowing, seeing, talking and being that were particularly valued in the cultural worlds of surgery and IM. Lead clinicians figured and articulated the dispositions and capabilities shown in Table 2, which trainees used to position themselves as capable participants in their respective specialties.

3.4 공식 교육 이벤트에서의 정체성 작업
3.4 Identity work in formal educational events

3.4.1 외과 그랜드 라운드
3.4.1 Surgical grand rounds

[외과 그랜드 라운드]는 매주 미리 선정된 수술팀이 지난 달부터 흥미롭고 도전적인 사례를 동료 외과 의사들과 훈련생들의 비판적인 청중에게 들려주는 교육 행사였다. [외과 그랜드 라운드]라는 '게임'에서, 레지던트는 치열한 회의 환경에서 자신 있게 사례를 제시해 자신의 수술팀을 능력 있는 사람으로 파악해야 했다. 발표 팀의 구성원들은 수술 사례 발표 동안 청중들로부터 [날카롭고 때로는 공격적인 질문]을 받았다. 질문은 질문자들을 능력 있는 사람으로 포지셔닝하는 방식으로 표현되었고, 발표 팀은 방어적인 자세를 취했다: '전립선암에 사용하는 스테이징 기준은 우리가 유방암에서 사용하는 것과 비교하여 매우 구식이며 왜 당신은 여전히 그러한 "분변 횡단" 생체 검사를 하고 있습니까? 그들은 심각한 감염률을 가지고 있습니까?' (H1 T2 필드 노트)
Surgical grand rounds were educational events in which, each week a pre-selected surgical team narrated interesting or challenging cases from the previous month to a critical audience of fellow surgeons and trainees. The surgical grand rounds ‘game’ required a resident to figure his or her surgical team as capable by confidently presenting cases in an intense conference environment. Members of the presenting team were subjected to pointed and at times aggressive questions from members of the audience during surgical case presentations. Questions were expressed in ways that positioned questioners as capable, while putting the presenting team on the defensive: ‘The staging criteria you use for prostatic cancer are very outdated compared to those we use in breast cancer and why are you still doing those “trans-faecal” biopsies? They have a serious infection rate?’ (H1 T2 Field notes).

외과의사들은 청중들에게 종종 [상당한 평판 훼손의 위험]을 수반하는 빠르고 도전적인 질문 전략을 시행했다: '여기 무슨 일이 일어나고 있는 거지? 자, 여러분, 뻔한 일이에요. 누구 해보실 분 있나요?' (H2T2 필드 노트) 외과의사들은 미래의 외과의들이 그들이 자기스스로 생각할 수 있도록 준비하기 위한 적절한 방법으로 수술 그랜드 라운드의 특징인 [투쟁적이고 도전적인 행동]을 작성author했다.
Surgeons subjected audience members to rapid and challenging question strategies that often carried considerable risk of reputational damage: ‘Okay what's going on here? Come on everyone it's obvious. Is anyone going to have a go?’ (H2 T2 Field notes). Surgeons authored the combative and challenging behaviours characteristic of surgical grand rounds as an appropriate way of preparing future surgeons to think on their feet.

3.4.2 내과 사례 회의
3.4.2 Internal medicine case conference

[내과 케이스 컨퍼런스]는 담당중'on'인 내과 팀이 전공의을 지명해 지난 몇 달 동안 관리했던 ['재미있는 사례']를 발표하는 주간 교육 행사였다. 이 회의들의 풍토는 외과적 대회보다 [더 공식적이고 대화적formulaic and discursive]이었다. 예를 들어, 주니어 레지던트는 항상 [표준화된 구조]를 사용하여 사례를 제시했습니다. 그녀는 아스페르길루스증을 가진 57세 환자를 제시했다. 그녀는 발표 불만 사항, 과거 이력, 의료 및 수술 이력, 시스템 검토 및 의약품 목록'(H2T1 필드 노트)을 개략적으로 설명했습니다. 외과적 그랜드 라운드와 달리, 수석 의사 소집자가 질문이나 의견을 초대할 때까지 프레젠테이션은 청중 중 누구도 방해하지 않았다. 회의 환경은 외과 그랜드 라운드보다 훨씬 덜 압박되었지만, 감독관의 질문은 여전히 전공의의 평판에 위협이 되는 것으로 인식될 수 있었다. 전공의들은 유능한 임상의가 아닌 학습자로 자리매김함으로써 질문에 자주 응답했다.
Medical case conferences were a weekly educational event in which the ‘on’ IM team, nominated a resident to present ‘interesting cases’ they had managed in the previous few months. The climate of these conferences was more formulaic and discursive than in surgical grand rounds. For example, junior residents always presented cases using a standardised structure. ‘She presented a 57-year-old patient with aspergillosis. She outlined the presenting complaint, the past history, the medical and surgical histories, the systems review and the medication list’ (H2T1 Fieldnotes). Unlike surgical grand rounds, the presentation was not interrupted by anyone in the audience until the senior physician convenor invited questions or comments. Whereas the conference environment was considerably less pressurised than surgical grand rounds, questions from supervisors could still be perceived as posing a threat to residents' reputations. Residents frequently responded to questions by positioning themselves as learners rather than capable clinicians:

시니어 의사들은 우리가 두 병원에서 관찰한 의료 관행의 지저분함과 복잡성을 경시하는 것처럼 보이는 언어를 사용하며,  [스스로를 유식하고 선견지명이 있는 증거 사용자]라고 포지셔닝했다.
Senior clinicians positioned themselves as knowledgeable and clear sighted users of evidence, employing language that appeared to marginalise the messiness and complexity of the medical practice that we had observed in both hospitals.

3.5 교사-학습자 상호 작용에서의 비공식 정체성 작업
3.5 Informal identity work in teacher–learner interactions

학습자와 감독자는 ['세트피스' 퍼포먼스]를 통해 자신의 행위를 파악하고, 자신의 정체성을 작성했습니다. [외과적 세트 피스]는 [수술장에서의 수술 공예의 공연]이었지만, [내과의 전형적 '세트 피스' 퍼포먼스]는 [케이스 발표]였다.
Learners and supervisors used ‘set piece’ performances to figure their practices and author their identities. Surgical set pieces were performances of surgical craft in theatre whereas in IM, the typical ‘set piece’ performance was a case presentation.

3.5.1 수술장에서의 학습
3.5.1 Learning in theatre

수련자들은 그들의 [기술을 연마]하기 위해, 감독관의 시선에서 외과적으로 능력이 있는 자신을 보여줄 필요가 있었다.
To practise their craft, trainees needed to present themselves as surgically capable under the gaze of the supervisor.

언어적이고 신체적인 지도를 제공하는 것 외에도, 외과의사들은 계속 발전해나가기 위한 [문화적 필수 사항]을 저술했다. 이것은 외과 수련자들이 상당한 시간적 압박 속에서 그들의 기술을 연습해야 한다는 것을 의미했다. '자, 컷 컷 컷, 시작하자'(H1 T2 필드 노트). 
In addition to providing verbal and physical guidance, surgeons authored a cultural imperative to keep moving on. This meant that surgical trainees had to practise their skills under considerable time pressure. ‘Come on, cut cut cut, let's get on with it’ (H1 T2 Field note). 

내과 의사들과는 달리, 외과의사들은 정기적으로 피드백을 해주었다. 수술 과정 동안, 이 피드백은 종종 직접적이었으며, 모호하지 않았다. '그는 비판에 매우 엄격하지만, 당신이 수술하는 동안, 그 비판은 모두 건설적입니다'(H2T2 레지던트 인터뷰). 외과 선생님들은 또한 예를 들어 레지던트로부터 시술 제어를 넘겨받는 등 [암묵적인 피드백]을 전달하였다.
Unlike internists, surgeons gave regular feedback. During surgical procedures, this feedback was often direct and unambiguous. ‘He is very hard on the criticism, but it is all constructive while you are operating’ (H2 T2 Resident interview). Surgical teachers also communicated implicit feedback by, for example, taking over control of a procedure from a resident.

3.5.2 내과에서의 사례 제시
3.5.2 Case presentation in internal medicine

따라서, 내과에서의 케이스 프레젠테이션은 [중요한 세부 사항을 식별]하고, 청취자의 마음에서 [질문을 예측]하고, [결론이나 행동의 근거를 명확히] 하는, 환자 프레젠테이션의 [일관성 있는 추상적 표현을 구성]할 수 있는 능력을 갖춘 사람으로서 self-authoring에 관한 것이었다.
Thus, case presentation in IM was about self-authoring as capable of identifying salient detail, anticipating questions in listeners' minds and assembling a coherent abstract representation of the patient's presentation which made clear the rationale for conclusions or actions.

내과 감독관들은 전공의의 사례발표를 [학습자의 사고]보다는, [자신의 사고와 습관]에 맞게 상호작용적으로 맞추려고 하는 경우가 많았다.
Rather than coach learners' thinking, internal medicine supervisors often sought to interactively align residents' case presentation to their own thinking and habits.

4 토론
4 DISCUSSION

우리의 주된 발견은 [외과와 내과의 전공 특이적 행위]가 [무엇을 가르치고, 어떻게 배우고, 무엇을 배우는지 결정한다]는 것이었습니다. 임상 교사와 학습자의 역할은 각 전문 분야에 특화되어 있고 문화적으로 고정되어 있다. 교사와 학습자는 전문적으로 알고, 말하고, 존재하는 방식으로 특징지어지는 문화 세계 내에서 자신의 정체성을 협상했다.

Our principal finding was that the specialty-specific practices of surgery and IM determined what was taught, how it was taught and what was learned. The roles of clinical teacher and learner were particular to each specialty and culturally anchored.31 Teachers and learners negotiated their identities within cultural worlds characterised by specialty-specific ways of knowing, talking and being.

이러한 관찰은 [정체성 형성]을 학습자의 [직무현장의 어포던스에 대한 참여]와 [직무현장의 요구] 사이의 협상으로 특징짓는 [직장 학습에 대한 현재의 설명]과 강하게 일치한다. 우리의 연구는 임상 팀이 [전공 자체의 전문성]뿐만 아니라 [팀 자체의 사회역사적 규범과 기대]와 관련하여, [행위자성agency]은 변증법적dialectically으로 협상되는 문화적 세계]로 개념화되어야 한다고 제안한다. [전공-특이적 문화적 세계] 속에서 배우는 것은 [학습자의 행위자성을 제한]할 뿐만 아니라, [문화적으로 승인되는 행위과 기질의 재생산]을 촉진한다. 그러므로 외과의사나 내과의사가 되는 것은 [직장 환경의 요구], [전공과목의 문화], 그리고 [개별 학습자의 적성과 열망] 사이의 [경쟁적인 공간]에 위치한다. [학습자 중심성]에 대한 [맥락적 위협]과 [문화적으로 대본화된 지배적인 교육 관행 및 정체성의 영속화]는 임상 교육의 결함을 해결하고자 하는 교수 개발자에게 중요한 과제를 나타낸다. 예를 들어, 작업 또는 학습 환경에서 사용 가능한 대화와 연습을 활용하기 위해 에이전시를 실행할 수 있는 학습자가 학습 경험을 크게 향상시킬 수 있다는 좋은 증거가 있다. 우리의 연구는 임상 교육의 알려진 문제에 대한 해결책이 전공과목-특이적 문화 세계에 적용되는 특정 담론의 잘 알려진 구성에 기초할 필요가 있음을 제안한다.
These observations align strongly with current descriptions of workplace learning where identity formation is characterised as a negotiation between learners' engagement with the affordances of the workplace, and its demands of them.46-48 Our work suggests that clinical teams should be conceptualised as cultural worlds in which agency is negotiated dialectically in relation to the socio-historic norms and expectations of the team as well as the parent specialties.49 Learning in specialty-specific cultural worlds not only limits learners' agency but promotes the reproduction of culturally sanctioned practices and dispositions.13, 50 Becoming a surgeon or an internist is therefore situated in a contested space between the demands of workplace contexts, specialty cultures and the aptitudes and aspirations of individual learners.48 Contextual threats to learner centredness and the perpetuation of dominant culturally scripted teaching practices and identities represent important challenges for faculty developers who wish to address the deficiencies of clinical education. There is good evidence, for example, that learners who can exercise agency to harness the available dialogue and practices in working or learning contexts can greatly enhance their learning experiences.51 Our work suggests that the solutions to the acknowledged problems of clinical education need to be founded on well informed constructions of the particular discourses that apply in specialty-specific cultural worlds.

[전문가가 되는 것]이란, [임상 팀 속에의 참여]와 [특정 분야의 역사적 가치, 관행 및 전통과 자신의 일치]를 통해서 형성되는 [정체성 작업]의 한 형태를 나타낸다. [정체성 작업]은 개인이 사회적 맥락에서 다른 사람들과 관련하여 [사회적 및 역할 정체성을 어떻게 생성, 주장, 폐기 및 협상]하는지를 설명한다. 이 연구에서, 우리는 [공식 및 비공식 임상 학습 맥락]에서, 학습자들이 외과의사 및 내과의사로서의 [정체성 주장]을 담론적으로 하기 위해, [서술적 포지셔닝과 자기 저술의 전략]을 사용한다는 것을 발견했다. 그들은 내과 의사와 외과의사의 일상적인 업무 관행에 내재된 [가치 있게 여겨지는 앎의 방식이나 말하는 방식] 등에 관한 [구체적인 학문분야 특이적 문화적 배경]과 관련하여 그렇게 했다. 
Becoming a specialist represents a form of identity work shaped by participation in clinical teams and the alignment of self with the historical values, practices and traditions of a particular discipline.32, 34 Identity work describes how individuals create, claim, discard and negotiate social and role identities in relation to others in social contexts.52 In this study, we found that learners in formal and informal clinical learning contexts used strategies of narrative positioning and self-authoring to discursively make identity claims as surgeons and IM physicians. They did so in relation to discipline specific cultural backdrops of valued ways of knowing, talking and so forth that were embedded in the everyday working practices of internal medicine physicians and surgeons.

임상 교육의 탐색하면서, 우리는 [작업 중심성]을 PGME에서 임상 교육의 커리큘럼을 정의하는 것으로 강조했다. [작업work]는 '무엇이 학습되고 어떻게 학습되는지'를 정의하기 때문에, Morris와 Swanwick은 임상 감독관이 다음과 같이 해야 한다고 제안합니다.

• 교육생을 위한 의미 있는 작업 기회의 선택 및 구조화한다.
  
• 작업장의 숨겨진 커리큘럼의 주요 특징을 명확히 한다. 
  
• 소속을 가능하게 하는 작업 및 학습 환경을 제공한다. 

이 연구와 우리의 이전 연구는 이러한 임상 감독자의 역할이 대부분 우리가 관찰한 서비스 중심 임상 작업장에서 실현되지 않았음을 시사한다. 이러한 결함은 교수 개발을 통해 해결할 수 있지만, 교수 개발자가 다양한 전문 분야에서 임상 교육이 제정되는 방법의 문화적 특수성과 교수, 학습 및 작업이 발생하는 문화 세계의 특수성을 인정할 준비가 되어 있는 경우에만 해결할 수 있다.

Explorations of clinical education have highlighted the centrality of work in defining the curriculum of clinical education in PGME.2, 53 Given that it is work that defines what is learned and how it is learned, Morris and Swanwick2 suggest that clinical supervisors should

• select and structure meaningful work opportunities for trainees,
• articulate key features of the workplace hidden curriculum and
• provide working and learning environments that enable belonging.2, 53 

This study and our previous work19 suggest that these clinical supervisor roles were for the most part not actualised in the service driven clinical workplaces we observed. These deficiencies could be addressed through faculty development, but only if faculty developers are prepared to acknowledge the cultural specificity of how clinical education is enacted in different specialties and the particularities of the cultural worlds where teaching, learning and working occur.

4.1 교수개발 대한 권고 사항
4.1 Recommendations for faculty development

직장workplace 교육과정의 [극도로 상황화된 성격situated nature]과 전공과목 분야마다의 [다양한 교수 학습의 특수성]을 고려할 때, 교수개발자는 [정통적 교육]에서 파생된 솔루션을 사용하여 임상 교육을 '개선'하려는 시도를 벗어나, [맥락적 이해에 기반한 변화를 촉진하는 시도]로 초점을 전환함으로써 효과를 크게 향상시킬 수 있다. 이를 달성하기 위해, 교수 개발자는 (예를 들어 행동 연구 접근 방식을 사용하여) 임상 교사와 협력하여 [변화시키고자 하는 작업장 환경과 교육 관행을 관찰하고 이해]해야 한다. 교수진 개발자는 임상의와 협력하여 [임상의가 일하는 곳의 정치와 현실에 맞는 상황별 커리큘럼을 개발]해야 한다. 비디오 반사 민족학(VRE)은 임상의가 맥락과 실천의 당연한 측면으로 여겨지는 문화를 감상하는 데 매우 효과적인 접근 방식인 것으로 나타났다. VRE와 같은 기술은 임상의가 작업 환경 및 이에 관련된 교육 문제에 대한 이해를 구축하는 데 직접 협력하는 참여적 행동 연구 설계의 자원에 사용될 수 있다.
Given the profoundly situated nature of the curriculum of the workplace, and the particularities of teaching and learning in different specialties, faculty developers could greatly enhance their effectiveness by shifting emphasis from attempts to ‘improve’ clinical education using solutions derived from educational orthodoxy, toward facilitating change founded on contextual understandings. To achieve this, faculty developers need to work with clinical teachers, (using action research approaches for example), to observe and make sense of the workplace settings and teaching practices that they hope to change. Faculty developers should collaborate with clinicians to develop contextual curriculums that are customised for the politics and realities of the places where clinicians work.54 Video reflexive ethnography, (VRE) has been shown to be a very effective approach in helping clinicians to appreciate cultural, taken for granted aspects of context and practice.55 Technologies such as VRE could be used to resource participatory action research designs whereby clinicians collaborate directly in building understanding of workplace contexts and therefore solutions to the educational problems that pertain there.

4.2 제한 사항
4.2 Limitations

이러한 연구 결과는 직장 교육의 실제 정치에 더 적합한 교수 개발 프로그램을 설계하는 데 도움이 될 수 있지만, 적용 가능성에는 몇 가지 한계가 있다. 이 연구는 두 개의 분리된 교육병원에서 각각 두 개의 임상팀으로부터 데이터를 수집함으로써 강화되었지만, 팀 구조, 계층 구조 및 훈련 커리큘럼과 같은 특징은 한 국가에 특유했다. 연구 결과의 [전이가능성transferability]을 높이기 위해, 우리는 Figured Worlds를 강력한 분석 프레임워크로 사용했고, 연구를 수행한 사이트와 수술 및 IM의 특수성을 임상 작업장 학습의 사례로 다루었다. 또한, 연구팀의 구성에 의해 전이가능성이 보장되었다. 저자는 네덜란드, 아일랜드, 영국 등 세 나라 출신이다. 그들은 모두 국제 의료 교육에 경험이 있다. 그리고 그 팀은 임상 의사, 심리학자, 그리고 일반 실무자를 포함하고 있는데, 그의 전문 교육은 수술이나 임상과는 매우 달랐습니다. 그럼에도 불구하고, 임상 교육을 형성하는 업무, 작업 공간 및 맥락 커리큘럼에 대한 이해의 중요성을 고려할 때, 우리는 다른 국가 및 다른 전문 분야에서 추가 연구를 권고한다. 사회인류학의 전통에 따라, 한 명의 관찰자가 이 연구에서 현장 연구를 수행했다. 편견을 최소화하기 위해 반사 일지를 작성하고 각 관찰 기간이 끝날 때 참가자들과의 비공식 인터뷰와 공식 출구 인터뷰를 사용하여 자신의 관찰을 입증했다. 단일 관찰자 효과는 세 연구자의 다른 관점에 의해 풍부해진 긴밀한 협력에 의해 더욱 완화되었다.


Although these findings could help design faculty development programs that are better suited to the realpolitik of workplace education, there are some limitations to their applicability. Whereas this study was strengthened by gathering data from two clinical teams in each of two separate teaching hospitals, features such as team structure, hierarchy and training curriculums were particular to one country. To increase the transferability of the findings, we used Figured Worlds as a strong analytical framework and treated the sites where we conducted the research and the specialties of surgery and IM as instances of clinical workplace learning. Transferability was assured, further, by the composition of the research team. The authors come from three different countries, the Netherlands, Ireland and the United Kingdom; they are all experienced in international medical education; and the team includes an IM physician, a psychologist and a general practitioner, whose specialty training was very different from either surgery or IM. Nonetheless, given the importance of understanding the work, workplaces and the contextual curriculums that shape clinical education, we recommend further research in other countries and different specialties. In keeping with the traditions of social anthropology, a single observer undertook the field work in this study. To minimise bias he kept a reflexive diary and corroborated his observations using ‘on the hoof’ informal interviews with participants and formal exit interviews at the end of each observation period. The single observer effect was further mitigated by close cooperation, enriched by the different perspectives of the three researchers.

5 결론
5 CONCLUSIONS

임상 교육에서 교사와 학습자의 정체성, 교수와 학습의 관련 관행은 모두 임상 학습이 위치한 사회 문화적 맥락에 의해 형성되고 그에 따라 결정된다. 전문분야별 임상팀과 같은 사회구조에 참여하면 학습된 내용뿐만 아니라 학습 방법도 알려준다. 임상 교육은 때때로 묘사되듯이 지식을 습득하는 [선형 과정]이 아니라, [상황적으로 특정한 직장 커리큘럼]에 [상호 참여함]으로써 되는 복잡한 과정이다. 우리의 연구는 교수 개발이 임상 교육을 '수정'하기 위해서는, 지금과 같은 [전문가 주도의 자격 증명 접근법]에서 벗어나는 대신, [그곳에서 일하는 사람들, 즉 임상의와 직장 커리큘럼에 대한 공유된 이해]를 구축하는 데 기반을 두어, 보다 [촉진적facilitative 접근 방식]을 고려해야 한다고 제안한다.
In clinical education, teacher and learner identity and the associated practices of teaching and learning are all shaped by, and contingent on, the sociocultural contexts in which clinical learning is situated. Participation in social structures such as specialty-specific clinical teams, informs not only what is learned, but how it is learned. Clinical education is not, as it is sometime portrayed, a linear process of acquiring knowledge, but is instead a complex process of becoming, through mutual engagement in situationally specific curriculums of the workplace.53 Our work suggests that faculty development should move away from its current focus on expert led credentialing approaches to ‘fix’ clinical education and consider instead a more facilitative approach, founded on constructing shared understandings of workplace curriculums with the people who work there, the clinicians.

The social construction of teacher and learner identities in medicine and surgery

PMID: 34993973

PMCID: PMC9305233

DOI: 10.1111/medu.14727

Free PMC article

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

성격이 중요한가? 일반외과의사로서 내향성과 외향성의 경험과 인식(Teach Learn Med. 2022)
Does Personality Matter? Perceptions and Experiences of Introverts and Extraverts as General Surgeons
Victoria Luonga , Chris Shieldsb, Allison Petriec, and Katerina Neumannd

방법
Method

우리는 구성주의 근거 이론(CGT)의 원리와 방법을 사용하여 데이터를 수집하고 분석했습니다. 이 방법을 통해 수술 분야를 [사회적 공간]으로 개념화하고, 수술에 거주하는 사람들의 [복잡한 주관적 경험]에서 오는 의미를 탐색할 수 있었다. 본 연구의 궁극적인 목표는 [새로운 설명 이론을 밝히기elucidate]보다는 데이터 분석을 위한 체계적인 방법을 사용하여 [외과 전문의의 인식과 경험에 대한 이해를 높이는 것]이었다.
We collected and analyzed data using principles and methods of constructivist grounded theory (CGT). This method allowed us to conceptualize the field of surgery as a social space and to explore the meaning that comes from the complex subjective experiences of those who inhabit it.33,34 The ultimate goal of our study was to enhance understanding of the perceptions and experiences of surgical professionals using systematic methods for data analysis rather than to elucidate a novel explanatory theory.

우리는 [리틀의 인간 발달에 대한 사회적 생태학적 모델]을 우리의 분석적 통찰력을 알리는 데 도움이 되는 민감화sensitizing 프레임워크로 사용했다. 리틀은 사람들이 종종 [개인적인 목표]를 달성하기 위해 [타고난 성향과 불일치하는 행동을 한다]고 주장했다. 예를 들어, 조용하고 보통 고독한 내성적인 대학교수는 그들의 학생들과 열정과 참여를 표현하기 위해 수업을 가르칠 때 더 큰 소리로, 더 활기차게, 그리고 더 제스처적으로 표현될 수 있다. 따라서 사람들은 시간이 지나도 안정적인 [성격 특성]과 [성격 상태]를 모두 보여주는데, [성격 상태]는 사람이 (때로는 다른) 성격 특성의 정서적, 행동적, 인지적 측면을 반영하는 방식으로 행동함에 따라 변동할 수 있다. 게다가, 리틀의 모델은 [성격과 다르게 행동하려는 동기]가 한 개인의 [핵심 가치]와 [개인적 신념]과 밀접하게 연관되어 있다고 제안했다. 따라서 개인의 행동이 변화하는 정도(가소성이라고 함)는 각 개인에 따라 다르다. 앞의 예에서, 내성적인 교수는 그렇게 하는 것이 학생들에게 이익이 될 것이라고 진정으로 믿는 경우에만 "외향적으로 행동"할 것이다.
We used Little’s social ecological model of human development as a sensitizing framework to help inform our analytical insights.35,36 Little asserted that people often behave in discordance with their natural dispositions in order to accomplish personal goals. For instance, a quiet, usually solitary introverted university professor may speak more loudly, more energetically, and be more gesturally expressive (i.e., they can act extraverted) when teaching a class in order to portray enthusiasm and engagement with their students. People thus exhibit both personality traits, which are stable over time, and personality states, which may fluctuate as a person acts in a way that mirrors the affective, behavioral, and cognitive aspects of a (sometimes different) personality trait.37 Furthermore, Little’s model proposed that motivation to act out of character is closely linked to one’s core values and personal beliefs; the degree to which a person’s behavior varies (called plasticity38) is therefore specific to each individual. In the earlier example, the introverted professor would only “act extraverted” if they truly believed that doing so would benefit their students.

참가자
Participants

2017년 9월부터 11월까지 도시 3차 요양병원의 모든 교직원 일반외과 의사들과 일반외과 레지던트들을 연구에 참여하도록 초청하였다. 훈련생과 외과의 모두를 모집함으로써 우리는 훈련을 탐색하는 사람들과 훈련을 지도하고 평가해야 하는 사람들 모두의 관점을 얻을 수 있었다. 외과의사보다 레지던트 수와 응답률이 높아 제2차 3차 요양병원 소속 외과의사 2명도 모집했다. 우리는 두 사람의 경험을 탐색하고 비교하기 위해 외향적인 사람과 내향적인 사람을 모집했다. 외과 의사(n = 6), 레지던트(n = 10), 내성적(n = 8), 외향적(n = 6), 양향적(n = 2; 한 범주 또는 다른 범주에 깨끗하게 들어맞지 않는 것으로 정의)의 표본(N = 16)과 남성(n = 9) 및 여성(n = 7)의 개별 인터뷰를 완료했다. 레지던트 1~4세들은 연구에 참여했고, 외과의사들 사이에서는 10~31년의 경험이 있었다.
All faculty member general surgeons and general surgery residents at an urban tertiary care hospital were invited to participate in the study between September and November 2017. Recruiting both trainees and surgeons allowed us to gain the perspective of both those navigating their training and those who must guide and evaluate that training. Two surgeons from a second tertiary care hospital were also recruited due to the higher number and response rate of residents compared to surgeons. We recruited extraverts and introverts in order to explore and compare the experiences of both. A sample (N = 16) of surgeons (n = 6) and residents (n = 10); introverts (n = 8), extraverts (n = 6), and ambiverts (n = 2; which we defined as those who did not fit cleanly into one category or the other); as well as men (n = 9) and women (n = 7) completed individual interviews. Residents years 1–4 participated in the study, and years of experience ranged from 10 to 31 among surgeons.

설문지
Questionnaire

참가자들은 관련 배경 정보(예: 나이, 경험 연수)와 성격 척도(Ten-Item Personality Inventory 또는 TIPI)를 포함하는 간단한 설문지를 작성했다. 본 연구에서 성격 유형 지정은 성격이 외과적 훈련에 어떤 영향을 미칠 수 있는지에 대한 관점에 대해 다양한 성격(내향적, 외향적)을 [적절하게 샘플링했는지 확인]하는 데만 사용되었다. 우리의 목표는 내성적인 사람과 외향적인 사람 사이의 차이에 대한 결론을 도출하는 것이 아니었다. 따라서, 우리는 빠르게 완성될 수 있지만 연구의 필요성에 충분히 부합하는 성격의 척도를 선택했다. TIPI의 정신측정학적 특성은 다른 곳에서 설명되었다. 

Participants completed a brief questionnaire that included pertinent background information (e.g., age, years of experience) and a measure of personality (the Ten-Item Personality Inventory or TIPI).39 Designation of personality type in our study was used only to ensure we had adequately sampled a range of personalities (introverted, extraverted) on their perspectives of how personality may affect surgical training; our goal was not to draw conclusions about the differences between introverts and extraverts. Thus, we chose a measure of personality that could be completed rapidly but that was sufficiently valid for the needs of the study. The psychometric properties of the TIPI have been described elsewhere.39–41

연구 참가자들은 또한 인터뷰 동안 내성적, 외향적, 또는 양향적임을 스스로 확인하고 인터뷰 진행자와 이러한 개념에 대한 자신의 정의에 대해 논의했습니다. 이러한 자체 식별은 TIPI의 결과와 비교되었으며 15/16 참가자와 일치했다.
The research participants also self-identified as introverted, extraverted, or ambiverted during their interviews and discussed their own definitions of these concepts with the interviewer. These self-identifications were compared to their results on the TIPI, and matched for 15/16 participants.

인터뷰
Interviews

PI(VL)는 20-60분 동안 반구조적인 인터뷰를 직접 진행하여 디지털 방식으로 녹음하고 기록했습니다. 그녀는 참가자들에게 [내향성과 외향성을 어떻게 정의하는지 설명]하도록 하는 것으로 각 인터뷰를 시작했고, 참가자들에게 [연구자들의 정의]를 설명하면서 구체적으로 다음과 같이 말했다.

• "저는 내성적인 사람을 고독한 활동으로 활력을 얻고 과도한 사회적 자극을 피하는 조용하고 차분하며 성찰적이고 수동적인 유형으로 정의합니다. 외향적인 사람들은 다른 사람들과 함께함으로써 에너지를 얻고 과도한 시간을 혼자 보내는 것을 피하는 수다스럽고, 겉으로는 열정적이고, 충동적이고, 지배적인 유형으로 정의된다. 이 정의는 귀사와 어떻게 비교됩니까?" 

그 후, 참가자들에게는 자신의 성격과 성격과 외과적 훈련에서의 경험 사이의 관계에 대한 인식을 탐구하는 개방형 질문이 주로 주어졌다(표 1 참조).

The PI (VL) conducted the 20–60 minute semi-structured interviews in person, digitally-recording and transcribing verbatim. She began each interview by asking the participants to describe how they define introversion and extraversion, and then explained the researchers’ definitions to participants, specifically stating:

• “I define introverts as silent, calm, reflective, passive types who are energized by solitary activities and avoid excessive social stimulation. Extraverts are defined as talkative, outwardly enthusiastic, impulsive, dominant types who are energized by being with other people and avoid spending excessive amounts of time alone. How does this definition compare with yours?”

Following this, participants were asked primarily open-ended questions exploring their own personalities and their perceptions of the relationship between personality and their experiences in surgical training (see Table 1).

CGT 연구의 전형적인 사례처럼, 이러한 질문들은 [개발되는 테마developing theme]를 탐구하기 위해 각 인터뷰 후에 다듬어졌다. 예를 들어, 초기 참가자들이 외과의사에게 필수적인 기술로서 팀워크와 리더십을 강조했을 때, 우리는 이러한 주제에 특별히 초점을 맞춘 인터뷰 가이드에 질문을 추가했다. 또한, 리틀의 사회 생태학적 모델에 의해, 참가자들이 자신의 행동을 수술 현장에 어떻게 적응시켰는지를 설명할 때, 우리는 참가자들이 이것을 가능한 한 자세히 설명하도록 장려하는 탐색 질문을 사용했다. 참가자들은 다른 사람들에 대한 관찰뿐만 아니라 개인적인 경험을 공유하도록 격려 받았다. 모든 식별 정보는 데이터 분석 전에 제거되었고 각 참가자는 라벨(p1–p16)을 받았다.

As is typical of CGT research, these questions were refined after each interview to explore developing themes.33 For instance, when the initial participants emphasized teamwork and leadership as essential skills for a surgeon, we added questions to the interview guide that focused specifically on these themes. Furthermore, informed by Little’s social ecological model, when participants described how they adapted their behavior to the surgical workplace, we used probing questions that encouraged participants to describe this in as much detail as possible. Participants were encouraged to share their personal experiences as well as their observations of other people. All identifying information was removed prior to data analysis and each participant received a label (p1–p16).

데이터 분석
Data analysis

데이터 수집 및 분석이 반복적으로 수행되었습니다. 주임조사관(VL)은 먼저 이 분야에서 잘 알려졌으며, 다른 논문에서 잘 설명된 [개방형, 선택적, 이론적 코딩 과정]을 이용하여 인터뷰 데이터를 분석하였다. 33,34 이러한 코딩 방식은 연구 기간 동안 2명의 추가 연구원(AP, CS)에 의해 4차례 검토되고 그룹 내에서 논의되어 개발 중인 테마를 더욱 정교하게 다듬을 수 있었다. 두 번째 연구자(KN)는 두 개의 인터뷰를 독립적으로 코딩했다. 그룹(VL, KN, AP)은 두 코딩 체계를 검토하고 비교하여 새로운 해석을 비교하고 다듬었다. 그 과정은 우리가 각 주제에 대해 충분히 풍부하고 포괄적인 탐구를 개발했을 때 끝났다.
Data collection and analysis occurred iteratively. The principal investigator (VL) first analyzed the interview data using an open, selective, and theoretical coding process well-recognized in the field and described in more detail elsewhere.33,34 These coding schemes were reviewed four times by two additional researchers (AP, CS) throughout the study period and discussed within the group, leading to further refinement of developing themes. A second researcher (KN) independently coded two interviews; the group (VL, KN, AP) then reviewed and compared both coding schemes to compare and refine emerging interpretations. The process ended when we had developed a sufficiently rich and comprehensive exploration of each theme.

우리의 [구성주의적 접근 방식]은 참여자와 연구자 사이의 [적극적인 지식의 공동 구성]을 인식하도록 강요한다. 연구과정에서, 우리는 연구자들의 배경이 데이터 해석에 어떻게 기여했는지를 인식했다. 최근 건강전문교육 석사과정을 수료한 의대 졸업생이자 내성적이라고 자처하는 PI(VL)는 저널링, 메모 작성, 연구팀과 공개적이고 비판적인 대화를 정기적으로 하는 등 연구에 기여한 점을 지속적으로 반성했다. 의료 문화와 훈련의 사회적 과정에 초점을 맞춘 그녀의 연구 배경은 CGT 접근법과 일치한다. 연구팀은 질적 방법(AP)에 대한 배경을 가진 교육학 연구원과 만성질환(CS)에 대한 운동학적 측면과 환자진료에 대한 전문지식을 갖춘 연구원 등 2명으로 구성됐다. 추가 멤버는 연구 환경에 "내부" 렌즈를 제공했는데, 이는 외과 수련자(KN)를 가르친 경험이 풍부한 일반 외과 의사이다.
Our constructivist approach compels us to recognize the active co-construction of knowledge between participants and researchers.33 Throughout the study, we recognized how the backgrounds of our researchers may have contributed to interpretations of the data: the PI (VL), a medical graduate who recently completed a Master’s in Health Professions Education and who self-identifies as introverted, continuously reflected on her contribution to the research through journaling, writing memos, and regularly engaging in open and critical conversations with the research team. Her research background, focusing on medical culture and the social processes of training, are aligned with the CGT approach. The team was composed of two members who provided “outsider” (non-physician) lenses to the research setting: a researcher in Education with a background in qualitative methods (AP) and a researcher with expertise in the psychological aspects of Kinesiology and patient care in chronic disease (CS). An additional member provided an “insider” lens to the research setting: a general surgeon who has extensive experience teaching surgical trainees (KN).

다른 학생과의 실습 겹침: 의과대학생 학습 경험에 미치는 영향(Teach Learn Med. 2022)
Placement Overlap with Other Students; Effects on Medical Student Learning Experience
Garrett Hessa, Susan Milesb and Lesley K Bowkera,b

결과
Results

846명의 학생 중 840명이 올해 첫 번째 평가 양식을 완성했다. 844명 중 839명이 올해 2차 평가서를 작성했다(NB는 건강이나 학업상의 이유로 중간고사하는 학생에 따라 출석 인원이 다소 달라질 수 있다). 총 844명의 학생들이 한 가지 또는 두 가지 평가 양식의 임상 배치 섹션을 완료했습니다. 인구통계학적 정보가 일부 평가 양식에서 수집되지 않았기 때문에 인구통계학적 세부 정보를 사용할 수 없습니다.
Eight hundred and forty of 846 students completed the first evaluation form of the year. Eight hundred and thirty-nine of 844 students completed the second evaluation form of the year (NB the number of students present at different times during the academic year can vary slightly due to students intercalating for health or academic reasons). In total, 844 students completed the clinical placement section of one or both evaluation forms. Demographic information was not collected in all evaluation forms; so, no demographic details are available.

익명의 피드백이 추가 목적에 사용되는 것에 동의하지 않았던 학생들의 응답은 삭제되어 844명 중 786명(93%)의 표본이 남게 되었다. 연도 그룹별 내역은 다음과 같습니다. 
1년차 = 174, 2년차 = 158, 3년차 = 140, 4년차 = 163, 5년차 = 151입니다.
Responses from students who had not consented for their anonymous feedback to be used for additional purposes were removed, leaving a sample of 786 of 844 students (93%). The breakdown by year group is as follows: year 1 = 174, year 2 = 158, year 3 = 140, year 4 = 163, year 5 = 151.

마주친 다른 학생들의 유형 - 부정적인 경험
Type of other students encountered - Negative experiences

36%의 학생들이 그 해의 첫 중등 돌봄을 받는 동안 다른 학생들과의 만남을 통해 학습 기회에 부정적인 영향을 "간혹" 또는 "자주" 느낀 적이 있었다. 1년차(22%)가 가장 낮았고 5년차(59%)가 가장 높았다(그림 1).
Thirty-six percent of students had “occasionally” or “often” perceived a negative impact on their learning opportunities through encounters with other students while on their first secondary care placement of the year. Instances were lowest in year 1 (22%) and highest in year 5 (59%) (Figure 1).

마주친 다른 학생의 유형은 연도 그룹에 따라 달랐다(부록 표 A 참조). 1~4학년 학생들은 일반적으로 자신과 같은 모듈(따라서 같은 해)에서 학생들과 부정적인 만남을 가졌다. 1학년 학생들은 다른 해의 UEA 의과 학생들과 부정적인 만남을 추가로 경험했다. 이는 놀라운 일이 아니다. 1학년 첫 번째 2차 진료 배치는 병원 업무에 대한 일반적인 소개이고, 학생들은 다른 해의 학생들이 전문 배치를 맡을 수 있는 나중의 모듈에서 공부할 다양한 전문 분야에 할당되기 때문이다. 5학년 학생들은 의사 동료 학생들과 가장 부정적인 만남을 경험했다. 그들은 또한 다른 5학년 학생들과 부정적인 경험을 했다. [자신과 같은 모듈에 있는 학생들]과 [동시에 배치되었던 다른 5학년 모듈을 공부하는 학생들] 둘 다에 대해서 그랬다. 약학, 구급대원, 조산사 학생뿐만 아니라 재단 의사(2년제 대학원 연수 프로그램에 종사하는 자격 있는 의사)를 포함한 "기타, 명시해 주세요" 옵션에 대해 소수의 다른 유형의 학생들이 언급되었다. 
The type of other student encountered was different according to the year group (see Appendix Table A). Students in years 1 to 4 generally had their negative encounters with students on the same module (and thus also the same year) as themselves. Year 1 students additionally experienced negative encounters with UEA medical students from a different year. This is unsurprising, as the first secondary care placement of year 1 is a general introduction to hospital working and the students are allocated to a variety of different specialties which they will study in later modules where there may be students from other years undertaking their specialty placement. Year 5 students experienced most negative encounters with physician associate students. They also had negative experiences with other year 5 students; both students on the same module as themselves and students studying the other year 5 module who were on placement at the same time. A small number of other types of students were mentioned in response to the “Other, please specify” option including pharmacy, paramedic, and midwifery students as well as Foundation doctors (qualified doctors working on a two-year postgraduate training program).

접한 다른 학생들의 유형 - 긍정적인 경험
Type of other students encountered - Positive experiences

45%의 학생이 1년 중등보육을 처음 하는 동안 다른 학생과의 만남을 통해 학습 기회에 "간혹" 또는 "자주" 긍정적인 영향을 느낀 적이 있었으며, 1학년(59%)이 가장 높았고 5학년(34%)이 가장 낮았다(그림 1).
Forty-five percent of students had “occasionally” or “often” perceived a positive impact on their learning opportunities through encounters with other students while on their first secondary care placement of the year; with the highest instances in year 1 (59%) and the lowest in year 5 (34%) (Figure 1).

1학년 학생들 중 68명은 다른 해 그룹의 다른 UEA 학생들과 긍정적인 만남을 경험했다. 2년차에는 다른 연도 그룹의 UEA 학생들도 긍정적인 만남을 위해 가장 많이 선택된 학생 유형이었으며, 3년차에는 두 번째로 많이 선택된 학생이었다. [3, 4, 5학년에서 가장 많이 선택된 학생 유형]과 [1, 2학년에서 두 번째로 많이 선택된 학생 유형]은 동일한 모듈을 공부하는 다른 UEA 학생이었다(부록 표 A 참조). 부정적인 만남과 마찬가지로 약국, 구급대원, 조산사 학생, 재단 의사들도 긍정적인 만남에 대해 소수의 학생들에 의해 언급되었다. 게다가, 몇 명의 1학년 학생들은 방사선학과/방사선사 학생들에 대한 긍정적인 경험을 언급했다.
Sixty-eight of the year 1 students had experienced positive encounters with other UEA students in a different year group. In year 2, UEA students in other year groups were also the most selected type of student for a positive encounter, and it was the second most selected in year 3. The most selected student type in years 3, 4 and 5, and the second most selected in years 1 and 2, was other UEA students studying the same module (see Appendix Table A). As with negative encounters, pharmacy, paramedic and midwifery students, and Foundation doctors were mentioned by a small number of students for positive encounters. Additionally, a few year 1 students mentioned positive experiences with radiology/radiography students.

다른 학생과의 경험 유형
Type of experiences with other students

학생들이 다른 학생들과 함께 경험했을 수 있는 유형의 구체적인 예를 제공받았을 때, 1~5학년 동안 평균 75%의 학생들이 긍정적인 영향과 부정적인 영향을 모두 경험한 것으로 나타났다(1학년 = 85%, 2학년 = 78%, 3학년 = 71%, 4학년 = 61%, 5학년 = 80%) 두 번째 2차 진료에 종사하는 동안, 단 8% 이하만이 경험하지 못했다(1년 = 5%, 2년 = 3%, 3년 = 4%, 4년 = 8%, 5년 = 2%).
When the students were provided with specific examples of types of experiences they may have had with other students it was found that across years 1 to 5 an average of 75% of students had experienced both positive and negative impacts (year 1 = 85%, year 2 = 78%, year 3 = 71%, year 4 = 61%, year 5 = 80%) while on their second secondary care placement; with only 8% or less experiencing neither (year 1 = 5%, year 2 = 3%, year 3 = 4%, year 4 = 8%, year 5 = 2%).

자신의 학습 경험이 다른 학생에 의해 개선되었다고 보고한 사례 중 가장 많이 선택된 긍정적인 영향은 다른 학생을 관찰하거나 함께 일하는 것을 통한 학습(79%)이었다(부록 표 B 참조). 70% 이상의 학생들은 또한 다른 학생이 그들에게 이론적인 지식을 가르쳤거나, 그들의 질문에 대답하거나, 모듈에 대한 조언이나 팁을 주거나, 다른 학생을 가르쳤으며, 이것이 유용하다는 것을 알았다고 말했다. 모든 해에 걸쳐 [가장 일반적으로 선택되지 않은 경험(40%)]은 이러한 직업의 학생들과 함께 있는 것을 통해 [다른 건강 관리 직업이 무엇을 하는지 배우는 것]이었고, 그 다음으로는 [다른 학생이 환자와 함께 그들을 관찰하고 피드백을 주는 것]이었습니다(48%). 또한 4학년과 5학년에서는 상대적으로 덜 빈번하게 임상 기술을 가르치는 또 다른 학생이었습니다.
Of those who reported instances where their learning experience had been improved by other students, the most frequently selected positive impact was learning through watching or working with other students (79%) (see Appendix Table B). Seventy percent or more students also indicated that another student had taught them theoretical knowledge, answered their questions or explained things, given them advice or tips on the module, or that they had taught another student and found this to be useful. The least commonly selected experience across all years (40%) was learning about what other healthcare professions do through being with students from these professions, followed by another student watching them with a patient and giving feedback (48%). Also, relatively less frequent in years 4 and 5 was another student teaching them clinical skills.

다른 학생들의 존재가 그들의 학습에 해로운 사례에 대한 질문을 받았을 때, 약 절반의 학생들(49-58%)은 [방이 너무 붐벼서 편안함을 느낄 수 없고, 환자 주변에 너무 많은 학생들이 있고, 너무 많은 학생들이 있기 때문에 직원들로부터 환영받지 못한다]고 느꼈다. 1학년(54%)과 2학년(49%)에는 다른 학생들의 존재로 인해 공부할 수 있는 자원 부족도 약 절반의 학생들에게 문제가 되었다. 5학년 때, 40-52%의 학생들은 다른 학생들이 사용 가능한 기회를 잡았기 때문에 과제나 절차를 수행하지 못하는 문제를 경험했고, 다른 학생들이 사용 가능한 모든 학습 기회를 잡았기 때문에 할 일이 없었고, 너무 많은 학생들로부터 부정적인 영향을 받은 학습 경험을 경험했다. 다소 안심이 되는 것은 5분의 1 이하(9~20%) 학생들만이 다른 수준이나 다른 교육과정을 공부하는 다른 학생들로 인해 무엇을 배우기를 기대하는지 혼란스러워했다는 것이다.
When asked about instances where the presence of other students was detrimental to their learning (see Appendix Table C), around half of the students (49-58%) had found the room to be too crowded for comfort, there to be too many students around patients and been made to feel unwelcome by staff due to too many students being present. In years 1 (54%) and 2 (49%) a lack of resources to study due to the presence of other students was also an issue for about half of the students. In year 5, 40-52% of the students had experienced problems with missing out on performing tasks or procedures because others took the available opportunities, having nothing to do because other students had taken all of the available learning opportunities, and learning experience being negatively affected by too many students on a ward round. Somewhat reassuringly, only a fifth or less of the students (9-20%) had been confused about what they were expected to learn due to other students who were studying at a different level or a different curriculum.

다른 학생과의 경험 및 배치에 대한 만족도
Experiences with other students and satisfaction with placement

다른 학생들과의 경험이 어떤 영향을 미치는지 알아보기 위해 추가 분석이 수행되었다.

• (i) 배치 구성에 대한 만족도 
  
• (ii) 전반적인 2차 진료 학습 경험에 대한 만족도.

Further analysis was conducted to look at how experiences with other students might affect

• (i) satisfaction with organization of the placement; and
• (ii) satisfaction with secondary care learning experience overall.

분석은 [두 번째 placement의 데이터]에 초점을 맞췄다. 결과에 따르면, 만남의 가능한 긍정적 및 부정적 영향에 대한 구체적인 예를 제공했을 때, 더 많은 학생들이 그러한 경험을 했다고 보고했기 때문이다. 경험 후 며칠 또는 몇 주 후에 학생들에게 피드백을 요청했다는 점을 고려할 때, [두 번째 배치 블록에 대한 질문]에 답하기 위해 필요했던 단서 인식cued recognition은 [첫 번째 배치 블록에 대한 질문]에 대해 요구되는 개방형 리콜open recall보다 더 신뢰할 수 있다.
Analysis focused on data from the second placement because the results indicated that when provided with specific examples of possible positive and negative impacts of encounters, more students reported having such experiences. Given that students were asked for feedback some days or weeks after the experience, the cued recognition required to answer the questions about the second placement block might be more dependable than the open recall required for the first placement block’s questions.

배치 조직에 대한 종속 변수 만족도에 대한 Kruskal-Wallis 검정은 적어도 한 쌍의 그룹의 평균 순위 간의 차이를 나타냈다(χ2(3) = 21.42, p <.001). 후속 Dunn의 쌍별 테스트는 유일한 긍정적인 경험 그룹 사이의 차이를 보여주었다. 

• i) 부정적 경험만 한 그룹(p <.001);
  
• ii) 긍정적 및 부정적 경험을 모두 경험한 그룹(p <.001) (표 1)

The Kruskal-Wallis test for the dependent variable satisfaction with organization of the placement indicated a difference between the mean ranks of at least one pair of groups (χ2(3) = 21.42, p <.001). Subsequent Dunn’s pairwise tests showed a difference between the only positive experiences group and

• i) the only negative experiences group (p <.001); and
• ii) the group who had had both positive and negative experiences (p <.001) (Table 1).

마찬가지로, 배치에 대한 학습 경험에 대한 종속 변수 만족도에 대한 Kruskal-Wallis 테스트는 적어도 한 쌍의 그룹의 평균 순위 간의 차이를 나타냈다(χ2(3) = 20.80, p <.001). Dunn의 쌍방향 테스트는 긍정적인 경험만을 가진 그룹 사이의 차이를 다시 한번 보여주었다. 

• i) 부정적인 경험만 한 그룹(p <.001) 
  
• ii) 긍정적 및 부정적 경험을 모두 경험한 그룹(p <.001) (표 1)

Similarly, the Kruskal-Wallis test for the dependent variable satisfaction with learning experience on the placement overall indicated a difference between the mean ranks of at least one pair of groups (χ2(3) = 20.80, p <.001). Dunn’s pairwise tests once again showed a difference between the group who had only positive experiences and

• i) the group who had only negative experiences (p <.001); and
• ii) the group who had had both positive and negative experiences (p <.001) (Table 1).

따라서 [긍정적인 경험만]을 가진 학생들은 [배치의 조직]과 [배치에 대한 전반적인 학습 경험]에 더 만족했다는 증거가 있다. 이러한 연구결과는 다른 학생들의 존재로 인한 [배치에 대한 부정적인 경험]이 [일부 긍정적인 경험]을 했더라도 배치 전체를 바라보는 학생들의 시각에 부정적인 영향을 미친다는 것을 시사한다.
Thus, there is evidence that those students who had only positive experiences were more satisfied with the organization of their placement and their overall learning experience on placement than students who had any kind of negative experiences - whether that was just negative experiences or both negative and positive. These findings suggest that negative experiences on placement due to the presence of other students have a detrimental effect on students’ view of the whole placement, even if they also had some positive experiences.

인공지능과 임상적 의사결정: 의학적 불확실성의 새로운 본성(Acad Med, 2021)
Artificial Intelligence and Clinical Decision Making: The New Nature of Medical Uncertainty
Vinyas Harish, Felipe Morgado, Ariel D. Stern, PhD, and Sunit Das, MD, PhD

의료 진단의 목표는 다음과 같습니다. 질병 또는 질병을 정확하게 식별하기 위해 환자의 질병을 구분하는 일련의 주관적이고 객관적인 발견(증거 및 징후)을 식별한다. 비록 정확한 진단 효과적인 환자 진료를 위한 핵심이기 때문에, 임상 의사 자주 이 과정에서 실패한다. 사실 의료 제공자들과 환자 불만의 진단을 받지 못한다면 중요한 원인. 불확실성 완화 환자들의 임상 필요성과 그들의 조건에 그들의 걱정을 해결하는 데 필수적이다. 따라서 의료적 의사 결정에서 [불확실성의 본성]을 고려하는 것은 진단을 개선하고자 노력에서 가치가 있다.

Medical diagnosis has a singular goal: to identify the set of subjective and objective findings (symptoms and signs) that demarcate a patient’s illness to correctly identify a disease or diseases. Although accurate diagnosis is central to effective patient care, clinicians often fail in this process. In fact, not receiving a diagnosis is a significant cause of patient dissatisfaction with medical providers.1,2 Mitigating uncertainty is integral to addressing both the clinical needs of patients and their anxieties over their condition. Thus, considering the nature of uncertainty in medical decision making can be valuable in attempting to improve diagnoses.

진단은 논리적 추론과 패턴 인식을 수반하는 복잡한 인지 작업이다. Richardson과 Wilson은 진단 과정에 두 가지 필수적인 단계가 포함된다고 설명합니다.

• 첫째, 임상의는 진단 가능성을 열거하고 상대적 가능성을 추정합니다.
  
• 둘째, 임상의는 상대적인 확률을 업데이트하기 위해 새로운 정보를 통합하고, 특정 가능성을 배제하고, 궁극적으로 가장 가능성이 높은 진단을 선택한다. 

따라서 새로운 발견이 있을 때마다 임상의는 한 확률(검사 전 확률)에서 다른 확률(검사 후 확률)로 이동하여 진단에 도달합니다.

Diagnosis is a complex cognitive task that involves logical reasoning and pattern recognition.3,4 Richardson and Wilson describe the process of diagnosis as involving 2 essential steps.5 

• First, the clinician enumerates the diagnostic possibilities and estimates their relative likelihood.
• Second, the clinician incorporates new information to update the relative probabilities, rules out certain possibilities, and, ultimately, chooses the most likely diagnosis.

Thus, with each new finding, the clinician moves from one probability (the pretest probability) to another probability (the posttest probability) to arrive at a diagnosis.

불확실성은 또한 [진단 과정의 하류downstream]에 영향을 미친다. 후속 치료 제공은 환자의 현재 상태(예후)를 고려하여 미래에 환자에게 어떤 일이 일어날지, 치료나 예방이 질병의 자연적인 진행을 어떻게 변화시킬 수 있는지에 대한 교육을 받은 예측을 포함한다. 풀러(Fuller)와 플로레스(Flores)는 이 과정을 다음과 같은 두 가지 추론을 포함한다고 기술했다. 

• 연구 모집단에서 관심 대상 환자 모집단으로 위험을 일반화하고, 
• 특정 개인이 대상 모집단에 속할 확률을 환자별로 추정한다.

Uncertainty also has implications downstream from the process of diagnosis. The subsequent delivery of care involves an educated prediction of what will happen to the patient in the future given his or her present condition (i.e., the prognosis), and how treatment or prevention might alter the natural progression of the disease. Fuller and Flores have described this process as involving 2 distinct inferences:

• generalizing risk from a study population to the target-patient population of interest,
• followed by a patient-specific estimation of the probability that a given individual falls within the target population.6

우리가 보기에 임상의사가 임상 의사 결정 프레임워크의 필수적인 부분으로 인공지능(AI)의 힘을 성공적으로 활용하려면, [불확실성]을 [최소화해야 하는 절대값]이 아닌 [상대적인 척도]로 보는 법을 배워야 한다. 이러한 주장을 뒷받침하기 위해, 우리는 인기 있는 AI 방법(딥 러닝)이 IBM의 Watson의 사례 연구를 통해 복잡한 의사 결정 작업을 처리하는 방법과 이러한 방법을 의료 의사 결정으로 변환하는 것이 불확실성에 대한 중요한 고려 사항을 어떻게 노출했는지 조사한다.
In our view, for clinicians to successfully harness the power of artificial intelligence (AI) as an integral part of the clinical decision-making framework, they should learn to see uncertainty as a relative measure rather than an absolute value that must be minimized. To support this claim, we examine how a popular class of AI methods (deep learning) process complex decision-making tasks through a case study of IBM’s Watson and how the translation of these methods to medical decision making has exposed significant considerations around uncertainty.

인공지능의 약속
The Promise of AI

핵심을 보면, AI는 [패턴 인식을 사용하여 예측을 하는 도구]이다. 따라서, AI는 특정 관리 및 일정 의료 분야에서 활용되어 왔다. 예를 들어, 환자에게 처방전을 다시 채우도록 자동 알림은 약물 준수를 촉진할 수 있다. 딥 러닝과 같은 특정 접근 방식은 점점 복잡해지는 데이터 세트에서 AI의 예측 성능을 향상시켰다. 이 능력은 진단 및 치료와 같이 전통적으로 인간 전문가에 국한된 의료 분야에서 AI의 사용을 가능하게 했다.

At its core, AI is a tool for using pattern recognition to make predictions. Thus, AI has been leveraged in certain administrative and scheduling domains of medicine; for instance, automated reminders for patients to refill their prescriptions can promote medication adherence.7 Certain approaches such as deep learning have improved AI’s predictive performance on increasingly complex datasets. This ability has enabled the use of AI in domains of medicine traditionally limited to human experts, such as diagnosis and treatment.8

AI 지지자들은 인간의 분석 능력이 진단을 방해한다고 믿고 있으며, AI가 분석 과정을 세분화할 것으로 기대하고 있다. 이러한 [초기의 낙관주의]는 아마도 이미지가 지배하는 의학 분야에서 가장 크게 실현되었을 것이다.

• 2017년 네이처지에 실린 기사에서, 스탠퍼드 대학교의 한 다학제 그룹은 암을 양성 지루성 각성제 및 신경증과 구별하기 위해 설계된 인식 작업에서 21명의 이사회 인증 피부과 의사와 비슷한 성능을 발휘하는 컨볼루션 신경망을 개발했다. 이후 악성 흑색종을 식별하고 이러한 암을 양성 병변으로부터 적절히 분리하는 데 있어 58명의 피부과 의사보다 우수한 결과를 낼 수 있는 유사한 알고리즘이 개발되었다.
• 신경학에서 싯다르타 무케르지(Siddharta Mukherjee)는 컴퓨터 단층 촬영 스캔에서 뇌졸중의 초기 징후를 식별하는 AI의 능력에 대해 썼는데, 이는 초기 개입과 결과적으로 환자 결과를 개선하는 데 깊은 영향을 미칠 수 있다.
• 마지막으로, 중국의 최근 연구는 여러 장기 시스템에 걸쳐 광범위한 소아 질환을 진단하기 위해 130만 개의 소아 전자 건강 기록의 다면적인 임상 데이터를 통합한 자연어 처리 시스템(즉, 장기 단기 기억 네트워크, 딥 러닝 접근 방식)을 설명했습니다. 이 시스템은 경험이 많은 의사들의 시스템과 비슷했다.

AI proponents believe that diagnosis is hindered by humans’ analytic capabilities and expect AI to refine the analytic process.9 This early optimism has perhaps been most significantly realized in areas of medicine dominated by imaging. In a 2017 article in the journal Nature, a multidisciplinary group from Stanford University developed a convolutional neural network that performed comparably to 21 board-certified dermatologists on a recognition task designed to differentiate cancers from benign seborrheic keratoses and nevi.10 A similar algorithm has since been developed that was able to outperform 58 dermatologists in identifying malignant melanomas and properly segregating these cancers from benign lesions.11 In neurology, Siddhartha Mukherjee has written about the ability of AI to identify early signs of stroke on computed tomography scans, which could have profound implications for early intervention and consequently improving patient outcomes.12 Finally, a recent study from China described a natural language processing system (i.e., a long short-term memory network, a type of deep learning approach) that integrated multifaceted clinical data from 1.3 million pediatric electronic health records to diagnose a wide range of childhood diseases across multiple organ systems; the performance of this system was comparable to that of experienced physicians.13

위의 첫 번째 두 가지 예는 시각적 패턴 인식 및 이미지 분석을 나타낸다. 두 응용 분야에서 AI를 적용하는 목표는 인간의 임상 지식을 기반으로 할 뿐만 아니라, [인간이 볼 수 없는 패턴과 특징을 식별하는 알고리즘]을 개발하는 것이었다. 그러나 두 경우 모두 주관적 증거(예: 환자의 질병 경험)가 객관적 데이터(예: 임상 검사 소견, 실험실 시험, 영상)에 대한 임상 의사의 이해, 수집 및 해석을 알려주는 대부분의 다른 임상 상황의 전형적인 진단 프로세스와는 다르다. 세 번째 예는 진단 프로세스의 많은 부분을 캡슐화하기 때문에 주목할 만하다.

The first 2 examples above represent visual pattern recognition and image analysis. In both applications, the goal of applying AI has been to develop an algorithm that not only builds on human clinical knowledge but also identifies patterns and features invisible to humans. Yet both cases diverge from the diagnostic process typical of most other clinical situations in which subjective evidence (e.g., the patient’s experience of illness) informs a clinician’s understanding, gathering, and interpretation of objective data (i.e., clinical exam findings, lab tests, imaging). The third example is notable because it encapsulates much of the diagnostic process.

일상 업무에서 임상의는 종종 결정적이지 않은 증거에도 불구하고(증거 때문에가 아니라) 결정을 내려야 한다. Redelmeier와 Shafir가 제시한 의료 의사결정에 대한 또 다른 도전은 주어진 상황에서 여러 대안을 저울질하는 어려움, 즉 인지 편향이라고 부르는 것이다. 그들은 한 가지 이상의 약을 처방받은 가정의사들이 어떤 약도 처방할 가능성이 낮다는 것을 발견했다. 예비 진단preliminary diagnosis이 모호한 상태로 남겨진 어려운 임상적 만남도 흔하다. 1989년 한 연구에서 미국에서 외래환자의 거의 90%가 환자의 증상을 설명하는 유기적 진단에 도달하지 못했다고 보고되었다. 보다 최근의 검토(2017)는 설명되지 않은 증상unexplained symptoms이 전체 일반 진료 상담의 10%에서 15%를 차지하는 것을 시사한다. 이러한 비율은 설명할 수 없는 증상의 좌절과 혼란을 겪고 있는 많은 수의 절대적인 환자들과 같다. 진단 불확실성의 부담은 입원 환자 환경에서 덜 잘 연구되지만, 한 연구에 따르면 폐렴 환자의 22%가 충분한 진단 불확실성을 제시하여 이러한 사례를 검토하는 외부 임상의가 항생제 치료를 지연시킬 것이라고 말한 후 이러한 사례를 검토하는 것으로 나타났다. 
In daily practice, clinicians often need to make decisions in spite of, rather than because of, inconclusive evidence. Another challenge to medical decision making brought forward by Redelmeier and Shafir is the difficulty of weighing multiple alternatives in a given situation, what they call a cognitive bias.14 They found that family physicians who were presented with more than 1 choice of medication were less likely to prescribe any medication. Clinical encounters in which a preliminary diagnosis remains elusive are common. It was reported in a 1989 study that in nearly 90% of outpatient patient encounters in the United States, physicians were unable to reach an organic diagnosis that accounted for their patient’s symptoms.15 A more recent review (2017) suggests that unexplained symptoms account for 10% to 15% of all general practice consultations.16 These percentages equate to a large absolute number of patients living with the frustration and confusion of unexplained symptoms. The burden of diagnostic uncertainty is less well studied in the inpatient setting; however, one study found that 22% of patients with pneumonia presented with enough diagnostic uncertainty that the external clinicians reviewing these cases after the fact said they would have delayed antibiotic treatment.17

기술 옹호론자들은 임상 진단의 실패는 인간 인지의 한계로 인한 결과이며, 그만큼 AI와 같은 도구의 도입을 통해 의료를 강화할 수 있는 기회라고 주장해왔다. 환자의 전체 의료 기록에서 여러 가능성을 고심하는 의사에게 상세한 정보를 통합하는 임상 의사 결정 지원을 위한 도구를 제공하는 것은 현재 존재하는 인식 편향을 해결하는 데 큰 도움이 될 수 있다. 그러나 이러한 접근 방식의 지지자들은 [AI 진단 전문가]가 [이산적인 대답]이 아닌 [확률적 대답]을 생성한다는 것을 알게 되면 실망할 수 있다.
Technology advocates have argued that failures of clinical diagnostics are the result of the limits of human cognition, and, as such, are an opportunity to enhance medical care through the introduction of tools such as AI.18,19 Providing tools for clinical decision support that incorporate detailed information from a patient’s entire medical record to a physician grappling with multiple possibilities could go a long way to resolving the cognitive bias Redelmeier and Shafir present. However, proponents of such an approach might be disappointed to learn that an AI diagnostician generates probabilities rather than discrete answers.

인공지능의 사용은 근본적으로 우리가 의료 의사 결정의 불확실성을 용인하는 정도에 의문을 제기한다. 일부에서는 [불확실성]을 바람직하지 않은 것으로 보고, 최적의 의사결정은 [불확실성의 최소화]에 기반한다고 주장한다. 그러나 의학적 의사결정은 매우 복잡하다; 한 연구는 45개의 요인이 진단 과정에 영향을 미칠 수 있다고 제안했다. 임상의가 다양한 진단의 가능성(및 다양한 치료의 유용성)을 서로 비교 평가할 수 있도록 돕는 [AI를 사용하더라도 진단 불확실성을 0으로 줄이는 것은 불가능하다]. 우리는 임상 의사 결정 프레임워크에 AI를 성공적으로 통합하려면 임상의가 불확실성을 최소화하기 위한 [절대값]이 아닌 [상대적 척도]로 처리해야 한다고 믿는다. 우리의 주장을 탐구하기 위해, 우리는 IBM의 Watson의 사례 연구를 사용하여 그러한 시스템이 복잡한 의사 결정 작업을 처리하는 방법을 조사한다. 우리는 또한 이러한 작업을 의료 의사 결정으로 변환하는 것이 불확실성에 대한 중요한 고려 사항을 어떻게 노출했는지 살펴본다.
The use of AI fundamentally calls into question the extent to which we tolerate uncertainty in medical decision making. Some view uncertainty as undesirable and argue that optimal decision making is based on the minimization of uncertainty. Yet medical decision making is extraordinarily complex; one study suggested that 45 factors can influence the diagnostic process.20 Even with AI to help clinicians weigh the likelihood of various diagnoses (and the usefulness of various treatments) against one another, it is not possible to reduce diagnostic uncertainty to zero. We believe that successful integration of AI into the clinical decision-making framework requires clinicians to handle uncertainty as a relative measure rather than an absolute value to minimize. To explore our claim, we use a case study of IBM’s Watson to examine how such systems process complex decision-making tasks. We also look at how translating these tasks to medical decision making has exposed significant considerations around uncertainty.

왓슨과 제퍼디
Watson and Jeopardy

2011년 1월, Jeopardy라는 텔레비전 프로그램에서 3일간의 특별 이벤트에서 IBM의 AI 시스템인 Watson은 2명의 이전 쇼 챔피언과 경쟁했다. 왓슨 팀의 목표는 질문에 답하기 위해 자연어를 처리할 수 있는 정교한 질의 기계를 개발하는 것이었다. 대부분의 인간 질문은 컴퓨터 운영 체제의 이산 논리에 대해 깔끔하게 정의되지 않았기 때문에, 왓슨은 

• 인간(Jeopardy 호스트)이 표현한 질문을 일련의 검색 목표로 처리하고
  
• 질의와 관련된 정보를 포함하는 지식(예: 위키백과 페이지, 신문 기사, 학술 논문, 특허 파일)을 찾고
  
• 관련 정보를 확인하고
  
• 가장 가능성이 높고 인간이 이해할 수 있는 답변을 종합해야 한다.

In January 2011, during a 3-day special event on the television program Jeopardy, IBM’s AI system, Watson, competed against 2 former show champions. The Watson team’s aim was to develop a sophisticated query machine that could process natural language to answer questions.21,22 Because most human questions are not neatly defined for the discrete logic of a computer operating system, Watson had to

• process the human-phrased question the Jeopardy host asked into a set of search aims,
• find bodies of knowledge that contained information relevant to the query (e.g., Wikipedia pages, newspaper articles, academic papers, patent files),
• identify relevant information, and
• synthesize an answer that most likely satisfied the query and that humans could understand.

왓슨 시스템은 DeepQA라고 불리는 접근법을 따랐다. DeepQA에는 4가지 기본 단계가 있습니다. 컴퓨터 

• (1) 질문을 분석하여 서로 다른 해석이 존재하는지 여부를 확인합니다. 
  
• (2) 여러 데이터베이스를 검색하고 수천 개의 가능한 답변을 생성합니다. 
  
• (3) 알고리즘 모음을 사용하여 단어와 구 사이의 학습된 관계를 기반으로 가능한 답을 채점한다. 
  
• (4) 가중치를 부여하고 순위를 매기고 신뢰도가 높은 순서대로 답을 제시합니다. 

왓슨의 가장 높은 순위의 대답이 신뢰의 문턱을 넘는다면, 그것은 진행자의 질문에 답하려고 시도할 것이다.

The Watson system followed an approach called DeepQA.21 DeepQA has 4 basic steps: The computer

• (1) analyzes the question to determine whether different interpretations exist;
• (2) searches multiple databases and generates thousands of possible answers;
• (3) scores possible answers on the basis of learned relationships between words and phrases using a collection of algorithms; and
• (4) weights, ranks, and presents the answers in order of decreasing confidence.

If Watson’s highest-ranking answer surpassed a confidence threshold, it would attempt to answer the host’s question.

특히, 왓슨의 "생각하는" 과정은 인간 제퍼디 참가자가 질문을 처리하는 방식을 반영하지 않았다. 인간과 왓슨 모두 신뢰 기반 접근 방식을 채택하지만, 왓슨만이 신뢰를 정량화할 수 있고 객관적인 지표로 명시적으로 통합했다. 왓슨은 인간과 달리 원시 데이터에서 발생할 수 있는 모든 개념과 각각의 질문을 연관시키기 때문에 이러한 방식으로 진행해야 했다. 반면에 인간은 정답을 알고 있는지 아닌지에 대한 즉각적인 본능을 가지고 있다. 이러한 직관적인 자신감은 참가자들에게는 주관적인 경험이다. 따라서 DeepQA 과 같은 AI 접근법은 인간의 지능과는 근본적으로 다른 방식으로 기능한다. 대중 문화에서, 인간과 비인간적인 추리 사이의 마찰은 종종 희극적인 안도감을 주기 위해 강조된다. 스타트렉의 데이터, 스타워즈의 C-3PO와 같은 인공지능을 이용한 캐릭터들은 상황의 감정적 심각성을 회피하기 때문에 결코 잘 착륙하지 않는 논리적 조언을 제공함으로써 인간 상대방을 당황하게 만든다. AI가 공상 과학 소설에서 과학적 사실 및 의료 실천으로 이동함에 따라, 우리는 추론 접근에서 이러한 차이를 조정해야 한다.

Notably, Watson’s “thinking” process did not mirror how a human Jeopardy contestant processes questions. While both humans and Watson take confidence-driven approaches, only Watson explicitly incorporated confidence as a quantifiable and objective metric. Watson had to proceed in this manner because, unlike humans, it associates all potentially related concepts from raw data with each question. Humans, on the other hand, have an immediate instinct for whether they know the correct answer. This intuitive confidence is a subjective experience for a human contestant. AI approaches such as DeepQA therefore function in a way that is fundamentally different from human intelligence.23,24 In pop culture, the friction between human and nonhuman reasoning is often highlighted to provide comedic relief. AI-powered characters such as Data in Star Trek and C-3PO in Star Wars baffle their human counterparts by offering logical advice that never lands well because it sidesteps the emotional gravity of a situation. As AI moves from science fiction into scientific fact and medical practice, we must reconcile these differences in reasoning approaches.

그것의 3개의 경기 Jeopardy의 실행의 끝에 왓슨은 상당한 차이로 그것의 인간 경쟁자들을 물리쳤다. 이 결과는 인상적이었지만, 왓슨의 가장 기억에 남는 순간은 마지막 라운드에서 미국 도시에 대한 질문에 "토론토"라고 대답한 것이다. 이 경우, 왓슨의 확률론적 답변 설계는 완전한 확신을 가진 해결책을 배제하는 것을 막았고, 청중이 분명히 잘못 알고 있다는 잘못된 (비록 낮은 신뢰도) 결론을 이끌어냈다.
By the end of its 3-game Jeopardy run, Watson had defeated its human competitors by a considerable margin.25 While this result was impressive, Watson’s most memorable moment for some came during the final round when it responded “Toronto” to a question about American cities. In this instance, Watson’s probabilistic answering design prevented it from excluding any solutions with total certainty, leading to an incorrect (albeit low-confidence) conclusion that the audience knew was obviously incorrect.

이 일화는 대중이 불확실성 하에서 작동하는 AI 시스템에 대해 불편해할 수 있는 이유를 예시한다. 시스템이 의사결정력을 발휘하려면 AI 시스템이 결국 잘못된 추론을 이끌어내고 직관을 사용하는 인간은 이러한 잘못된 추론을 노골적으로 명백하게 볼 것이라는 점을 받아들여야 한다.
This anecdote exemplifies why the public may be uncomfortable with an AI system functioning under uncertainty. For a system to wield decision-making power, one must accept that the AI system will eventually draw incorrect inferences and that humans using intuition will see these incorrect inferences as blatantly obvious.

종양학을 위한 왓슨
Watson for Oncology

제퍼디(Jeopardy)에 대한 왓슨의 잘못된 추론은 의학에서 AI의 사용에 대한 지나치게 열성적인 약속에 [탄광의 카나리아 ]역할을 할 수 있다. DeepQA가 게임 쇼의 맥락에서 예외적으로 우수한 성능을 보였지만, 여전히 불확실성 하에서 중요한 시스템에서 사용할 준비가 되어 있는지 의문을 제기하는 행동을 보여주었다. 이러한 예감에도 불구하고 IBM은 의학, 특히 종양학을 왓슨의 초기 시장 기회로 파악했습니다.
Watson’s mistaken inference on Jeopardy may serve as a canary in the coal mine for overzealous promises about the use of AI in medicine. While DeepQA performed exceptionally well in the context of a game show, it still demonstrated behavior under uncertainty that called into question its readiness for use in critical systems.26 Despite this foreshadowing, IBM identified medicine, and oncology in particular, as an early market opportunity for Watson.

왓슨 포 온콜로지(Watson for Oncology)는 암 환자의 치료 방법을 제안하기 위해 방대한 양의 의학 문헌과 환자 정보를 소화하는 추천 엔진이다. 이 시스템은 의사들의 시간을 절약하고 그들이 환자들을 위해 더 나은 결과를 얻을 수 있도록 하기 위해 고안되었다. 개발 기간 동안 왓슨의 성장 능력은 훈련의 다른 단계에 있는 의료 전문가들의 능력에 비유되었다. 
2011년, 메릴랜드 대학교와 컬럼비아 대학교의 연구원들은 왓슨을 메들린, 펍메드, 의학 교과서에 대해 훈련시킨 후, 미국 의학 면허 시험(USMLE)과 뉴잉글랜드 의학 저널의 임상 병리학적 퍼즐러에서 왓슨을 테스트했다. 한 연구원은 그 시점에서 왓슨이 "가장 똑똑한 의대 2학년 학생 못지않다"고 선언했다.  2012년 왓슨은 케이스 웨스턴 리저브 대학의 클리블랜드 클리닉 러너 의과대학에서 더 많은 훈련을 받은 후 USMLE를 통과하였다. 왓슨은 2012년 말에 Memorial Sloan Kettering Cancer Center(MSKCC)에서 종양학을 전공하여 폐암, 전립선암, 유방암을 치료하는 모범 사례에 대해 배웠습니다. 마침내 2013년 10월, 왓슨은 MD Anderson Cancer Center의 광범위한 백혈병 데이터베이스에 대한 교육을 받았습니다. 
—최고의 학술 암 센터의 임상 연구원과 매우 유사합니다. 
Watson for Oncology is a recommendation engine that digests massive amounts of medical literature and patient information to suggest treatment approaches for cancer patients. The system was envisioned to save doctors time and empower them to achieve better outcomes for their patients. During its development, Watson’s growing abilities were likened to those of medical professionals at different stages of their training. In 2011, researchers at the University of Maryland and Columbia University trained Watson on Medline, PubMed, and medical textbooks, then tested Watson with questions from the United States Medical Licensing Exam (USMLE) and the New England Journal of Medicine’s clinicopathological puzzlers. One researcher proclaimed that Watson was at that point “as good as the smartest second-year medical student.”27 In 2012, Watson passed the USMLE after more training at the Cleveland Clinic Lerner College of Medicine of Case Western Reserve University.28 Watson then did its “residency” in oncology at Memorial Sloan Kettering Cancer Center (MSKCC) in late 2012, learning about best practices for treating lung, prostate, and breast cancers.29 Finally, in October 2013, Watson was trained on MD Anderson Cancer Center’s extensive leukemia database—subspecializing much like a clinical fellow at a top academic cancer center.30

2017년 6월, IBM의 CEO인 지니 로메티는 왓슨이 "세계 암의 80%를 유발하는 것"을 진단하고 치료할 수 있을 것이라고 발표했다. MD Anderson Cancer Center가 Watson과의 파트너십을 불과 몇 달 전에 끝냈다는 점을 감안할 때, 이 대담한 진술은 의학 저널리스트들 사이에서 눈살을 찌푸리게 했다.32 그 후 몇 달 동안, 여러 뉴스 매체들은 Watson for Oncology에 대한 그들의 사후 검시를 발표했다. 기자들이 의사, AI 전문가, 회사 임원들을 인터뷰한 후, 그들은 IBM이 암 치료의 복잡성과 뉘앙스를 인정하지 않고 "마케팅 엔진을 느슨하게 했다"고 비난했다. —또한 회사 제품의 한계도 고려해야 합니다.

In June 2017, IBM’s CEO Ginni Rometty announced that Watson would be able to diagnose and treat “what causes 80% of the cancer in the world.”31 This bold statement led to raised eyebrows among medical journalists given that the MD Anderson Cancer Center had ended its partnership with Watson just a few months earlier.32 In the months that followed, multiple news outlets released their postmortems on Watson for Oncology.33–35 After journalists conducted interviews with physicians, AI experts, and company executives, they blasted IBM for “[turning] the marketing engine loose” without acknowledging the complexity and nuance of cancer treatment—and, by extension, the limitations of the company’s product.

한 가지 분명한 우려는 왓슨의 권고사항의 [외적 타당성] 또는 [일반화 가능성]이었다. IBM은 MSKCC에서의 경험을 세일즈 포인트로 사용했지만, Watson이 뉴욕시의 한 기관과 그곳의 환자들로부터 대부분의 교육을 받도록 하는 이 접근 방식은 법률학자들이 "상황 편향Contextual bias"이라고 부르는 편향의 유형을 도입했습니다. 세계의 다른 지역의 의사들은 [그들이 추천한 치료법]과 [왓슨의 치료법] 사이의 일치도가 진단에 대해 [미국 의사들]과 [왓슨] 사이에서 보고된 일치도보다 낮다고 보고했다. 그들은 왓슨이 MSKCC 종양학자들로부터 배운 권고안이 그들의 환자들에게 적절하거나 적절하지 않을 수 있다고 주장했다. (예를 들어, MSKCC가 서비스하는 일반적으로 부유한 뉴욕 시민과는 크게 다를 수 있습니다.) 
또한, 국제 문헌을 조사할 때 [미국 연구에 불균형적으로 더 많은 비중을 두는 권고안]은 다른 나라의 의사들에게는 관련성이 낮을 수 있으며, 일종의 [의학적 민족주의]를 전파할 위험이 있다. 왓슨이 관련 결과를 반환한 것으로 밝혀진 사례에서도 왓슨의 입력은 전 세계 사례의 2%~10%(환자 1,680~8,400명 사이)에서만 진료 과정을 바꾼 것으로 추정됐다. 마지막으로, Watson for Oncology가 "치료"한 환자의 생존을 개선했는지에 대한 발표된 연구는 없습니다. AI 시스템의 권장 사항은 환자 치료에 따르기 전에 현지 요구 사항, 리소스 및 전문 지식을 통해 전달되고 조사되어야 할 것이 분명하다. 
One clear concern was the external validity, or generalizability, of Watson’s recommendations. While IBM used its experience at MSKCC as a selling point, this approach—having Watson get the majority of its training from one institution in New York City and the patients there—introduced a type of bias that legal scholars have termed “contextual bias.”36 Doctors in other parts of the world reported lower concordance between the treatments they recommended and Watson’s than the concordance reported for the diagnoses of U.S. doctors and Watson. They claimed that the recommendations Watson had learned from MSKCC oncologists may not be appropriate or relevant for their patients (who may, for example, be drastically different from the generally affluent New Yorkers served by MSKCC). Further, recommendations that disproportionately place more weight on American studies when surveying international literature may be less relevant for international practitioners and at risk of propagating a sort of medical ethnocentrism. Even in cases where Watson was found to return relevant results, Watson’s input was estimated to have changed the course of care in only 2% to 10% of cases globally (between 1,680 and 8,400 patients).37 Finally, there is no published research on whether Watson for Oncology improved survival for the patients it has “treated.”37 It is clear that recommendations from AI systems will need to be channeled through and vetted by local requirements, resources, and expertise before they are followed in patient care.

확신의 한계
The Limits of Certainty

Watson for Oncology와 같은 딥 러닝 기반 의사 결정 지원 시스템(DL-DSS)을 채택해야 한다는 압력은 진단 및 치료에 더욱 확산될 것입니다. 이러한 진화는 임상의, 규제 기관 및 정책 입안자들이 불확실성이 이러한 시스템에 내재하는 이유를 이해하도록 해야 한다. 미국 FDA는 [21세기 치료법]의 [소프트웨어 조항]에 어떤 유형의 임상 의사 결정 지원 소프트웨어가 더 이상 관할하지 않는지에 대한 명확성을 추가했다. 그러나 2020년 4월 현재 인간이 사용하고 관리하도록 설계된 DL-DSS에서 불확실성이 갖는 역할에 대한 정책 논의는 이루어지지 않고 있다. 또한, 법률 학자들은 이미 개발자가 "알고리즘의 기초가 되는 정보를 공개"해야 하는 보다 적응적인 규제 접근 방식을 주장하기 시작했다. 
Pressure to adopt deep learning–based decision support systems (DL-DSS) like Watson for Oncology will become more pervasive in diagnostics and treatment. This evolution should compel clinicians, regulators, and policymakers to seek to understand why uncertainty is intrinsic to these systems. The U.S. Food and Drug Administration has added clarity to the software provision in the 21st Century Cures Act as to which types of clinical decision support software are no longer under its jurisdiction. However, as of April 2020, no policy discussions have taken place around the role uncertainty has in DL-DSS designed to be used and administered by humans.38–41 Further, legal scholars have already begun to argue for more adaptive regulatory approaches that would require developers to “disclose information underlying their algorithms.”42

아마도 더 중요한 것은 AI의 임상 채택이 의학에 얼마나 본질적인 불확실성이 있는지를 반영하는 것일 수 있다. 윌리엄 오슬러 경이 언젠가 말했듯이, "의학은 불확실성의 과학이며 확률의 예술이다." "불확실성의 과학"은 IBM의 Watson for Oncology와 같은 DL-DSS에 대한 관심을 불러일으켰고, 그러한 시스템을 의학에 적용하는 것을 매우 매력적으로 만드는 것입니다. 임상의는 진단이 확실치 않다는 사실을 감안하고 궁극적으로 받아들여야 하며, 이것이 그들이 감별 진단을 합성하는 이유이다. DL-DSS의 계산된 확률은 실제로 권장 사항이 나타나는 방법의 차이를 이해하려면 전문 임상의의 직관과 일치해야 한다. 환자가 골수이형성증후군을 가지고 있다고 [76% 확신한다]는 것은 무엇을 의미하는가? 우리는 다년간의 경험을 통해 습득한 전문 임상의의 직관이 그러한 정확한 신뢰 측정을 생성할 수 있다고 가정하지 않는다.
Perhaps more importantly, the clinical adoption of AI may be a reflection of how intrinsic uncertainty is to medicine. As Sir William Osler once said, “Medicine is the science of uncertainty and the art of probability.”43 The “science of uncertainty” is what has driven interest in DL-DSS, such as IBM’s Watson for Oncology, and is what makes the application of such systems to medicine so appealing. Clinicians must reckon with and ultimately accept the fact that no diagnosis is certain, which is why they synthesize differential diagnoses. The calculated probabilities of DL-DSS must, in practice, be reconciled with the intuition of expert clinicians if we are to understand differences in how recommendations emerge. What does it mean to be 76% confident that a patient has myelodysplastic syndrome? We do not assume the intuition of expert clinicians, acquired over many years of experience, could generate such precise measurements of confidence.

설상가상으로, 치료 계획을 수립하는 데 내재된 복잡성은 진단에 도달하는 것보다 훨씬 더 클 수 있습니다. [진단의사결정] 지원시스템은 정확성을 위해 [Gold standard로 검증]할 수 있지만, [치료계획]에는 [Gold standard]가 없을 수 있다. 치료 결정은 진단뿐만 아니라 환자의 다른 생물의학적 동반성, 생체의학적 사회적 요인, 환자 선호도 및 제공할 수 있는 치료법에 대한 시스템 수준 제약에 의해 주도된다. 특히 정답이 둘 이상 있는 것처럼 보일 때에는, 경험적 접근이 지배적이다.  즉, 각각의 전문가들은 [효과는 유사하지만 현저하게 다른 치료 계획]을 생성할 수 있다. 종양학과 같은 특정 의료 분야에서는 전문가 간의 의견 불일치를 활용하여 모범 사례를 육성할 수 있다. 학술 암 센터에서는 다양한 분야(예: 의료 종양학, 외과 종양학, 방사선학, 방사선 종양학 및 병리학)의 전문가들로 구성된 "종양 보드tumor board"가 만나 가장 어려운 사례를 논의한다. 한 연구는 다학제 종양 위원회에 대한 회부가 연구된 유방암 환자의 52%에서 외과적 관리에 대한 권고사항의 변화로 이어진다는 것을 발견했다. 그러나 여러 치료 옵션이 유사하게 효과적일 때, DL-DSS는 어떻게 최선의 치료 과정이 무엇인지 평가할 수 있을까? 이러한 시스템은 다학제 전문가 위원회의 비인간적인 구성원으로 간주되어야 하는가? 이 분야와 다른 분야에서, AI는 새로운 기회를 창출하고 새로운 윤리적, 실질적인 도전을 제기할 것이다.

To make matters more challenging, the complexity inherent in creating a treatment plan can be even greater than that of arriving at a diagnosis. While diagnostic decision support systems can be verified with gold standards for accuracy, there may not be a gold standard for a therapeutic plan.38 Treatment decisions are driven not only by a diagnosis but also by a patient’s other biomedical comorbidities, biopsychosocial factors, patient preferences, and systems-level constraints about what therapies can be offered. Empirical approaches dominate, especially when there appears to be more than one right answer.44 Thus, experts may independently generate similarly effective but markedly different treatment plans. In certain areas of medicine, such as oncology, a disagreement between experts may be leveraged to foster best practices. In academic cancer centers, a “tumor board,” composed of a range of experts in various disciplines (e.g., medical oncology, surgical oncology, radiology, radiation oncology, and pathology), meets to discuss their most challenging cases. One study found that a referral to a multidisciplinary tumor board led to changes in recommendations for surgical management in 52% of breast cancer patients studied.45 But when multiple treatment options are similarly effective, how can a DL-DSS evaluate what the best course of therapy is? Should these systems be considered a nonhuman member of a multidisciplinary board of experts? In this area, and others, AI will create new opportunities and raise new ethical and practical challenges.

임상의가 DL-DSS와 함께 의술을 시행하려면 불확실성에 대한 어려운 인식론적 질문을 던져야 하며, 기술이 발전함에 따라 계속 그렇게 해야 한다. 또한 이러한 기술(장점과 한계를 포함)에 대한 도입은 향후 의료 훈련과 지속적인 의료 교육의 우선적인 초점이 되어야 한다. 이러한 [주제들의 많은 측면들]이 다루어져야 한다.

• 훈련생들은 '현명한 선택Choosing Wisely'과 같은 캠페인이 전달하고자 했던 교훈인 [과도한 진단 테스트의 어리석음과 위험]에 대해 배울 수 있었다.
• 훈련생은 AI 알고리듬에서 일반적으로 사용되는 베이지안 통계에 대한 더 깊은 이해를 얻는 것으로도 이익을 얻을 수 있다. 베이지안 접근 방식은 빈도주의 통계(역사적으로 의과대학에서 가르쳐온 방식으로서, 발견을 통계적으로 유의하거나 그렇지 않은 것으로 보는 방법)의 사용에서 벗어나 정보가 축적됨에 따라 업데이트될 수 있는 확률 분포로 결론을 전환한다.
  
  

If clinicians are to practice medicine alongside a DL-DSS, we must ask difficult epistemological questions about uncertainty—and continuously do so as technology evolves. Further, introduction to these technologies—including their benefits and limitations—should be a prioritized focus of future medical training and continuing medical education. A number of aspects of these topics should be tackled.

• Trainees could be taught about the folly and dangers of excessive diagnostic testing, a lesson which campaigns such as Choosing Wisely have sought to communicate.46 
• Trainees may also benefit from acquiring a deeper understanding of Bayesian statistics, which are commonly used in AI algorithms. Bayesian approaches shift conclusions away from the use of frequentist statistics—methods that have historically been taught in medical schools and which view findings as either statistically significant or not—and toward probability distributions, which can be updated as information accrues.

훈련생은 의학 문헌에서 [관찰 및 실험 연구를 비판]하는 것처럼 [AI 시스템에 대한 편견을 비판]할 수 있어야 한다. 알고리즘이 수백만 명의 환자의 치료에 영향을 미칠 수 있기 때문에 이러한 비판적 입장은 특히 중요하다. 이러한 편향은 복잡한 요구를 가진 환자를 식별하기 위해 널리 사용되는 상업적 알고리듬이 의료 비용을 필요의 대용물로 사용하여 흑인 환자에 대해 편향된 것으로 밝혀진 최근 연구에서 특히 입증되었다. 불확실성과 관련된 임상 추론의 역량도 평가에 통합되어야 한다. Cooke와 Le가 지적할 수 있듯이, 불확실성을 의료 훈련생의 임상 추론 평가에 통합하는 것은 아직 초기 단계에 있다. 그들은 불확실성을 수용하고 하나 이상의 정답이 존재한다는 것을 인정하는 것이 함께 진행되며 훈련생 평가에 이러한 역량을 포함할 것을 권고한다고 결론짓는다. 그것이 어떻게 행해지든, 만약 임상의가 진단과 치료 선택에 도움을 주기 위해 AI를 사용한다면, 임상의와 보건 정책 입안자들은 인간과 알고리즘의 불확실성을 의학의 초석으로 받아들이는 것이 무엇을 의미하는지 받아들여야 한다.

Trainees must be able to critique AI systems for bias, much like they critique observational and experimental studies in the medical literature.47 This critical stance is especially important because algorithms can affect the care of millions of patients. This bias was notably demonstrated in recent work where a widely used commercial algorithm to identify patients with complex needs was found to use health costs as a proxy for needs, biasing against Black patients.48 Competencies in clinical reasoning relevant to uncertainty must also be incorporated into assessments. As Cooke and Lemay point out, integrating uncertainty into the evaluation of clinical reasoning for medical trainees is still in its infancy.44 They conclude that embracing uncertainty and acknowledging the presence of more than one right answer go hand in hand and recommend including these competencies in trainee assessments. Regardless of how it is done, if clinicians are to use AI to aid in diagnosis and therapeutic selection, clinicians and health policymakers must come to terms with what it means to accept human and algorithmic uncertainty as a cornerstone of medicine.

IBM의 왓슨 포 온콜로지(Watson for Oncology)의 약속과 가치를 믿든 믿지 않든, 이 시스템에 대한 경험은 진단 또는 치료 보조 장치로서의 AI의 역할이 다양한 맥락에서 면밀히 조사되고 평가될 필요가 있음을 가슴 아프게 상기시켜준다. 다른 많은 임상 의사 결정 지원 도구와 마찬가지로, AI는 통계와 확률의 발판 위에 구축된다. 최근의 한 연구는 설문 조사에 참여한 의사들 중 2/3가 검사와 확률에 대한 이해에 자신이 없다고 스스로 보고했다고 밝혔다. 통계에 대한 AI 시스템의 의존도를 복잡하게 만드는 것은 많은 현대 딥 러닝 기술이 블랙박스라는 AI 전문가들의 경고다. 이러한 알고리즘을 만든 사람조차도 자신의 행동을 완전히 설명할 수 없다. 임상 의사, 환자, 지급인 및 규제 기관은 AI 프로세스를 완전히 이해하지 못하는 것에 대해 당연히 우려할 수 있다.  만약 AI의 권고가 인간 전문가들이 이해할 수 없다면 진단 및 치료 과정에서 어떤 윤리적 역할을 할 수 있을까?

Whether or not one believes in the promise and value of IBM’s Watson for Oncology, experiences with this system serve as a poignant reminder that AI’s role as a diagnostic or therapeutic aid needs to be scrutinized and evaluated in a multitude of contexts. Like many other clinical decision support tools, AI is built on a scaffolding of statistics and probability. A recent study revealed that two-thirds of doctors surveyed self-reported as not being confident in their understanding of tests and probability.49,50 Complicating the reliance of AI systems on statistics is a caution from AI experts that many modern deep learning techniques are black boxes: Even the creators of these algorithms cannot fully explain their behavior.19 Clinicians, patients, payers, and regulators may be understandably concerned by an inability to fully understand AI processes: What ethical role can AI have in diagnostic and therapeutic processes if its recommendations are inscrutable to human experts?

궁극적으로, Watson for Oncology는 의료 애플리케이션에 AI를 적용하는 데 관심이 있는 사람들이 진단 및 치료 불확실성으로 인해 기대를 완화하도록 돕는 의미 있는 사례 연구 역할을 한다. 인간은 AI 알고리즘의 내부 작동을 완전히 이해할 수 없을 수 있으며, 이러한 알고리즘이 불완전성과 편견에 물들 수 있는 방법은 셀 수 없이 많다. 따라서 책임 있는 임상의는 이러한 편견을 인정하도록 노력해야 한다. 규제 기관, 동료 및 환자와 함께 공개적으로 논의해야 한다. 그리고 전문가와 마케팅 기관의 메시지가 그들의 실천에 기초하는 히포크라테스 원칙을 훼손하지 않도록 보장한다.

Ultimately, Watson for Oncology serves as a meaningful case study to help those interested in applying AI to medical applications temper their expectations because of diagnostic and therapeutic uncertainty. Humans may not be able to fully comprehend the inner workings of AI algorithms, and there are countless ways in which these algorithms can be imbued with imperfections and biases. Responsible clinicians must therefore endeavor to acknowledge these biases; openly discuss them with regulators, colleagues, and patients alike; and ensure that the messages of pundits and marketing agencies do not compromise the Hippocratic principles underlying their practice.

Copyright © 2020 by the Association of American Medical Colleges.

When I say . . . 상황인식(Med Educ, 2017)
When I say . . . situation awareness
Christopher Patterson,1,2 Nicholas Procter2 & Luisa Toffoli2

[상황 인식]의 개념은 건강에 대한 논의와 연구의 초점이 되고 있다. 하지만 만약 있다면, 그것이 의료 종사자들의 교육과 무슨 관련이 있을까요? 음, 정말 많이요. 우리가 다양한 비보건 분야에서 보아온 것처럼 상황 인식의 맥락화와 특정 보건 관행에 대한 적용은 해당 분야의 교육에 크게 기여할 수 있다.
The concept of situation awareness is increasingly a focus of discussion and research in health. Yet what relevance, if any, does it have for the education of health practitioners? Well, a lot really. Just as we have seen in a range of non-health disciplines,1 the contextualisation and application of situation awareness to specific health practices can contribute significantly to education in the sector.

[상황 인식]은 조종사가 자신의 실천 환경과 역동적 의사 결정의 맥락에서 정보를 수집, 분류 및 처리하는 인지 능력을 설명하기 위해 확립된 개념이다. 상황 인식은 '시간과 공간의 볼륨 속에서 환경 내 요소에 대한 인식, 의미 이해 및 가까운 미래의 상태 예측'으로 정의되며, 다음과 같은 단서의 인지 처리의 세 단계를 통해 발생한 시나리오에 대한 실무자의 전체 지식을 나타낸다.

• (i) 단서의 인식(레벨 1); 
  
• (ii) 이러한 단서의 이해(레벨 2) 및 
  
• (iii) 이러한 단서가 미래에 무엇을 의미하는지 투영한다(레벨 3)

Situation awareness is a concept established to explain a pilot's cognitive ability to gather, sort and process information from his or her practice environments and in the context of dynamic decision making.2 Defined as a practitioner's ‘perception of the elements in the environment in a volume of time and space, the comprehension of their meaning and the projection of their status in the near future’,2 situation awareness represents a practitioner's total knowledge of a scenario accrued through three stages of the cognitive processing of cues:

• (i) the perception of cues (level 1);
• (ii) comprehension of these cues (level 2), and
• (iii) projection of what these cues mean for the future (level 3).2

실천가에게 상황에 대한 '정신적 그림'을 제공하는 것은 이 세 단계의 총합이다.3 그런 다음 이 정신적 그림은 시술자의 후속 결정을 알려준다. 이걸 리버스 엔지니어링하면 어떨까요? 의사결정에 앞서 발생하는 구성 요소를 분석하면 어떻게 됩니까? 상황 인식은 그들이 결정을 내릴 때 어떤 단서들을 사용하고 왜 사용하는지를 발견하기 위해 전문 의료 종사자들의 상황의 정신적 그림을 이해하기 위한 프레임워크로 사용될 수 있다. 궁극적으로, 우리는 이 정보를 교육 환경에서 학생이나 초보 건강 전문가에게 전달할 수 있다. 보건 관행과 관련된 복잡한 환경 및 역동적인 의사 결정 시나리오를 고려할 때 이러한 교육이 필요하다.
It is the total of these three stages that provides the practitioner with the ‘mental picture’ of a situation.3 This mental picture then informs the practitioner's subsequent decision. So what if we reverse-engineer this? What if we analyse the components that occur prior to and lead to decisions? Situation awareness may be used as a framework to make sense of expert health practitioners’ mental pictures of situations in order to discover what cues they use to make decisions and why. Ultimately, we can then pass this information on to students or novice health practitioners in training settings. Such education is necessary, given the complex environments and dynamic decision-making scenarios associated with health practice.

정신 건강 관리의 맥락에서 비자발적 입원처럼 자주 발생하고 잠재적인 인권 결과를 가지고 있지만 아직 완전히 이해되지 않은 [복잡한 건강 관행complex health practice]을 생각해보자.

• 당신은 급성 정신 건강 커뮤니티 팀에서 일하는 지역 사회 기반 정신 건강 전문가입니다. 오늘 귀하는 비자발적 입원이나 치료 이력이 없는 지역사회 서비스에 알려진 고객을 방문하고 있습니다. 고객은 합의된 건강플랜에 대한 좋은 계약 이력이 있고 당신은 먼저 그녀에게 전화를 걸어 당신이 올 것이라고 알려준다.
  Consider a complex health practice that occurs often, has potential human rights consequences, but is not yet fully understood, such as involuntary in-patient admission in the context of mental health care. You are a community-based mental health practitioner working in an acute mental health community team. Today, you are visiting a client known to community services who has no history of involuntary in-patient admission or treatment. The client has a good history of engagement with an agreed-upon health plan and you call her first to let her know you're coming.
• 그 사람은 그녀의 전화를 받지 않는다. 당신은 고객의 거주지에 도착하여 무엇인가가 변했다고 생각하게 하는 다른 단서를 재빨리 파악합니다. 고객이 문을 여는 데 몇 분이 걸립니다. 그녀는 헝클어진 머리를 하고, 오후에 찢어진 잠옷을 입고, 당신을 안으로 들여보내는 것을 불안해한다. 그녀의 감정은 유연하고, 울음소리와 함께 높은 짜증과 강렬한 낮은 기분 사이에서 오락가락한다. 그녀의 연설의 어조와 운율은 변화무쌍하며, 그것을 통해 절망이라는 미묘한 주제가 흐르고 있다. 테이블 위에 수일 동안 사용하지 않은 물집 모양의 약물이 쌓여 있는 것을 볼 수 있지만, 고객에게 질문을 하면 그녀는 처방대로 약을 복용하고 있다고 말합니다. 당신은 고객에게 자살에 대한 생각을 물었고, 그녀는 '모든 것을 끝낼' 생각을 가지고 있다고 언급했습니다.
  The person does not answer her phone. You arrive at the client's residence and quickly identify other cues that lead you to consider something has changed. The client takes a few minutes to answer the door. She presents with dishevelled hair, is wearing torn pyjamas in the afternoon and is uneasy about letting you inside. Her emotions are labile, fluctuating between high irritability and intense low mood with crying. The tone and cadence of her speech are changeable, and through it runs a subtle theme of hopelessness. You then see a blisterpack of medication on the table that has not been used for a number of days, but when you question the client, she tells you she has been taking medication as prescribed. You ask the client about thoughts of suicide and she mentions having thoughts of ‘ending it all’.

여러분이 식별한 모든 단서들을, 그 단서들이 무엇을 의미하는지 그리고 그것들이 미래 사건에 무엇을 의미하는지 이해와 결합해서, 여러분은 결정을 내린다. 자발적인 입원 입원이 필요하다고 생각한다고 고객에게 알립니다. 고객은 거부합니다. 이제 그녀는 자살 생각을 부인합니다. 그녀와 당신과의 약속이 갑자기 바뀌어서 고객은 당신에게 즉시 떠나라고 요청해요. 고객의 반응과 다른 단서들의 축적을 고려하여, 당신은 또 다른 결정을 내린다. 당신은 추가 평가를 위해 비자발적 입학을 요구할 것이다. 이 결정은 고객이 그녀의 의사에 반하여 병원으로 이송될 것이라는 것을 의미하지만, 악행금지non-maleficence의 개념을 고려한다면, 당신은 이것이 이 고객에게 가장 유익한 결과라고 생각합니다.
Given all the cues you have identified, combined with your understanding of what the cues mean and of what they mean for future events, you make a decision. You inform the client that you think voluntary in-patient admission is required. The client refuses – she now denies suicidal thoughts. Her engagement with you changes abruptly and the client asks you to leave immediately. In view of the client's response, and the accumulation of other cues, you make another decision. You will seek involuntary admission for further assessment. This decision means the client will be transported to hospital against her will, but with your consideration of the concept of non-maleficence, you deem this to be the most beneficial outcome for this client.

어떻게 이토론 복잡하고 얽혀있는 practice을 가르칠 수 있을까요? 모든 health practice에서 상황 인식을 이해하고 정의하면, 여기에 설명된 것과 같이 이미 발생하는 복잡한 건강 관행에 대한 더 큰 통찰력을 제공할 수 있습니다. 그것은 의사 결정을 위한 의료 종사자들의 더 나은 교육을 허용할 것이다. 의료, 간호 및 관련 의료 교육 외에서는 실습 시뮬레이션 및 가상 현실과 같은 방법을 통해 상황 인식을 가르치고 평가합니다. 교육학적 방법으로서의 연습 시뮬레이션은 의료 전문가 교육에 널리 사용되지만, 가상 현실은 성장 영역area of growth이다. 두 방법 모두 학습자에게 학생과 고객 모두에게 안전한 방식으로 복잡하고 중요한 시나리오의 맥락에서 상황 인식을 가르칠 수 있는 안전하고 통제된 진정한 학습 환경을 제공한다.

How do we teach such a complex and intricate practice? Understanding and defining situation awareness in any health practice will provide greater insight into the complex health practices that already occur, such as the one described here. It will allow for the better education of health practitioners for decision making. Outside medical, nursing and allied health care education, situation awareness is taught, and assessed, through methods such as practice simulation and virtual reality. Practice simulation as a pedagogical method is widely used in educating health care professionals, whereas virtual reality is an area of growth.4 Both methods provide learners with safe, controlled and authentic learning environments that allow the teaching of situation awareness in the context of complex and vital scenarios in a way that is safe for both the student and client.

상황 인식은 의사 결정 프로세스를 역설계reverse-engineer하고 의사 결정 정보를 제공하는 것과 그 이유에 대한 구체적인 세부 사항을 강조하기 위한 프레임워크를 제공한다. 이를 통해 우리는 각 단계와 관련이 있는 것으로 학습한 중요한 특징을 계속 가르치고 환경 단서, 잠재적 의미 및 관련 후속 의사 결정을 식별하는 실무자를 교육할 수 있다. 이러한 방식으로, 실무자들은 상황에 맞게 교육받을 수 있다.

Situation awareness provides a framework with which to reverse-engineer the decision-making process and to highlight the specific details of what informs decisions and why. This allows us to go on to teach important features we have learned are related to each stage and to educate practitioners in the identification of environmental cues, their potential meaning and related, subsequent decisions. In this way, practitioners can be educated to be situationally aware.

When I say … situation awareness

PMID: 28139020

DOI: 10.1111/medu.13226

의학교육에서 인공지능 (AMEE Guide No. 126) (Med Teach)
Artificial intelligence in medical education
Ken Masters