일반의 진료와 의사면허시험 (British Journal of General Practice 2022)
General practice and the Medical Licensing Assessment

General practice and the Medical Licensing Assessment

혁신 - 의학교육원고의 핵심 특징 정의하기 (J Grad Med Educ. 2022)
Innovation—Defining Key Features for Medical Education Manuscripts
Arianne ‘‘Cuff’’ Baker, MD (@CuffBaker)
Halah Ibrahim, MD, MEHP (@HalahIbrahimMD)
Deborah Simpson, PhD (@debsimpson3)

이 개요의 출판에 앞서, 우리는 의학 교육에 관한 원고를 게재하는 50개 이상의 저널에 대한 저자 지침을 분석하였다.  범주 제목이나 저자 지침에서 새로운, 참신함, 혁신성, 혁신성 또는 첨단성과 같은 용어를 사용한 언어를 찾았습니다. 우리 결과요? 많은 저널이 저자 지침에서 혁신적이거나 참신한 용어를 사용했지만, 절반 미만이 혁신을 위한 특정 범주를 포함했으며 단어 한계, 구조 및 지침(표)에서 상당한 가변성을 보였다.
Prior to the publication of this overview, we analyzed the author instructions for more than 50 journals that publish manuscripts on medical education.4  We looked for any language in the category title or author instructions that used terms such as new, novel, innovation, innovative, or leading/cutting-edge. Our results? Although many journals used the terms innovative or novel in the author instructions, fewer than half included specific categories for innovation, with substantial variability in word limits, structure, and guidelines (Table).

의료 교육의 혁신 정의
Defining Innovation in Medical Education

모든 저널에서 일관되게 사용되는 혁신에 대한 공유된 이해를 갖는 것은 저자와 검토자가 원고를 평가할 때 지침을 줄 것이다. JGME(Journal of Graduate Medical Education)의 경우, [혁신]은 [실현 가능성] 및 [지속 가능성]을 포함하여 [성공 및 일반화 가능성]에 대한 데이터와 함께, 다른 [사람들이 관심]을 가질 수 있는, 대학원 의학 교육의 [기존 문제에 대한 새로운 해결책]을 제시한다. 새로운 아이디어는 화려함 그 이상이다. 그들은 다른 사람들이 현실적으로 채택할 수 있는 방법으로 실제 문제를 해결할 수 있는 잠재력을 가지고 있어야 한다.
Having a shared understanding of innovation, one that is consistently used across all journals, would guide authors and reviewers in their assessments of manuscripts. For the Journal of Graduate Medical Education (JGME), innovations present a new solution to an existing problem in graduate medical education, of interest to others, with data on success and generalizability, including feasibility and sustainability. New ideas are more than something flashy; they should have the potential to solve real problems in ways that others might realistically be able to adopt.

혁신은 새로운 인구 또는 환경에서 [기존 작업의 수정]만이 아니라, [문제 해결에 대한 새로운 아이디어 또는 접근 방식]을 입증해야 한다. 예를 들어, 새로운 의사소통 모델을 설명하는 피드백 기술은 참신할 수 있다. 동일한 기법에 대한 약간의 개선 또는 다른 훈련생 그룹(예: 레지던트 대 펠로우, 수술 대 내과 레지던트)과 함께 사용하는 것은 중요한 복제 연구일 수 있지만 더 이상 혁신이 아니다. 새로운 기술은 흥미로울 수 있지만, 프로젝트에서 그 역할이 단순히 이전의 논문 기반 작업을 복제하는 것이라면, 그것은 아마도 새로운 해결책을 나타내지 않을 것이다.

Innovations must demonstrate new ideas or approaches to solving a problem, not just modifications of previous work in a new population or environment. For example, a feedback technique that describes a new communication model may be novel. Slight improvements to the same technique, or using it with a different group of trainees (eg, residents vs fellows; surgery vs internal medicine residents), may be an important replication study, but it is no longer an innovation. A new technology may be exciting, but if its role in a project simply duplicates prior paper-based work, it probably does not represent a novel solution.

고품질 혁신 원고의 특징은 전형적인 연구 논문의 특징과 겹친다. 그들은 원래의 연구 논문들이 보통 큰 표본 크기, 엄격한 방법론, 표준 측정 기구, 그리고 통계 분석을 필요로 한다는 점에서 다르다. 교육 혁신은 더 작은 표본 크기, 단일 사이트 또는 특수 설정 또는 더 짧은 연구 시간으로 더 제한적인 결과를 가질 수 있다. 혁신 원고는 혁신이 어떻게 새로운 방식으로 문제를 해결하고, 이해관계자들에게 가치와 수용성을 보여주며, 실현 가능하고 지속 가능하며 다른 사람들과 관련이 있는지를 강조해야 한다.
The characteristics of high-quality innovation manuscripts overlap with those of typical research articles. They differ in that original research papers usually require large sample sizes, rigorous methodology, standard measurement instruments, and statistical analysis. Education innovations may have more limited outcomes with smaller sample sizes, single site or specialty settings, or shorter time of study. Innovation manuscripts should emphasize how the innovation solves a problem in a new way, shows value and acceptability to stakeholders, and is feasible, sustainable, and relevant to others.

우리의 분석에 기초하여, 우리는 의료 교육 관련 혁신 원고의 작성과 검토에서 고려해야 할 6가지 공통 특징을 제안한다(그림 참조).
Based on our analysis, we propose 6 common features to be considered in the writing and reviewing of any medical education–related innovation manuscript (see the Figure).

혁신원고 작성 및 검토에 관한 연구
An Approach to Writing and Reviewing Innovation Manuscripts

J Grad Med Educ. 2022 Apr;14(2):133-135. doi: 10.4300/JGME-D-22-00071.1. Epub 2022 Apr 14.

Innovation-Defining Key Features for Medical Education Manuscripts

PMID: 35463170

PMCID: PMC9017250 (available on 2023-04-01)

DOI: 10.4300/JGME-D-22-00071.1

의학교육연구자의 연구 패러다임 선택 가이드: 더 나은 연구를 위한 기반 만들기(Med Sci Educ. 2019)
A Medical Science Educator’s Guide to Selecting a Research Paradigm: Building a Basis for Better Research 
Megan E.L. Brown1 & Angelique N. Dueñas1

서론
Introduction

최근 의학 교육 내에서 방법론적 엄격성을 높이는 움직임이 있었다[1, 2]. 많은 학자들은 "학문적 정당성"을 달성하기 위해서는 [3] 강력한 이론적 틀[4,5]이 작품 내에서 지식의 본질에 관한 논의에 참여하는 것이 필요하다고 주장한다[6]. 간단히 말해서, 명확한 연구 원칙은 다른 사람들이 당신의 연구를 이해하는 데 도움이 됩니다.
There has been a recent movement within medical education towards greater methodological rigor [1, 2]. Many scholars argue that in order to achieve “academic legitimacy” [3] strong theoretical frameworks [4, 5] engaging in discussion concerning the nature of knowledge within a piece of work are required [6]. Put simply, clear research principles assist others in understanding your research.

연구 프로젝트의 패러다임 내에서 작품 내 지식의 본질을 상세히 설명하고 탐구한다. [연구 패러다임]은 "문제를 어떻게 이해하고 다루어야 하는지에 대해 과학자들 간에 공유되는 공통의 믿음과 합의의 집합"으로 정의될 수 있다[7]. 패러다임은 사물이 어떻게 작동하는지에 대한 가정이며, 때때로 "현실에 대한 공유된 이해"를 포함하는 "세계관"으로 설명된다[8, 9]. 패러다임은 "문제 해결 방법을 안내"하고, 작가의 방법 선택에 직접적인 영향을 미치기 때문에 자신의 연구 패러다임을 상세히 설명하는 것이 필수적이다[10]. 모든 연구자들은 연구를 시작하기 전에 [세계의 상태에 대한 가정]을 한다. 그 연구가 양적인지 질적인지에 관계없이, 이러한 가정은 연구 결과의 해석에 영향을 미치기 때문에 중요하다. 미트로프와 보노마는 이러한 입장을 요약하고 "실험의 힘은 그 기초가 되는 기본 가정의 명확성만큼만 강력하다. 이러한 가정은 실험실 실험뿐만 아니라 사회적 연구에도 기초를 두고 있습니다."라고 말했다 [11]. 패러다임은 또한 현상을 관찰할 때 이론의 적용을 위한 [기본 규칙ground rules을 설정]하는 데 도움이 된다. 이러한 기본 규칙은 연구를 위한 "상황을 설정set the scene"하여 새로운 개념을 가장 잘 평가하는 방법에 대한 정보를 제공한다[7].
The nature of knowledge within a piece of work is detailed and explored within a research project’s paradigm. A research paradigm may be defined as “the set of common beliefs and agreements shared between scientists about how problems should be understood and addressed” [7]. A paradigm is an assumption about how things work, sometimes illustrated as a “worldview” involving “shared understandings of reality” [8, 9]. Detailing one’s research paradigm is essential, as paradigms “guide how problems are solved” [10], and directly influence an author’s choice of methods. All researchers make assumptions about the state of the world before undertaking research. Regardless of whether that research is quantitative or qualitative, these assumptions are important as they impact upon the interpretation of a study’s results. Mitroff and Bonoma summarize this position and put forth “the power of an experiment is only as strong as the clarity of the basic assumptions which underlie it. Such assumptions not only underlie laboratory experimentation but social… research as well” [11]. Paradigms also assist in setting ground rules for the application of theory when observing phenomena. Such ground rules “set the scene” for research, providing information as to how best evaluate new concepts [7].

그 결과, 의학 및 보건 전문직 교육은 전통적으로 실증주의 또는 포스트 실증주의 패러다임에서 수행되어 왔으며, 이 두 패러다임 모두 [보편적인 진리가 존재함]을 유지하며, "의학에서는 신체 부위, 상태 및 치료에 대한 강조하는 것은, 보편적으로 일정하게 복제 가능한 팩트가 있음을 가정한다." [12] 이러한 신념이 지배적이라는 점을 감안할 때, 의학 교육 내에서는 패러다임적 가정을 명시적으로 상술하는 문학이 상대적으로 부족했다. 이것은 연구 및 강의실 모두에서 결과 해석과 기본 규칙 설정에 있어 가정이 수행하는 중요한 역할을 점점 더 널리 인식하면서 변화하고 있다[13, 14]. 이처럼 자신의 패러다임을 명시적으로 인정하는 것이 의료과학교육 연구의 기대 요소가 되고 있다.
Medicine and, as a consequence, health professions education, has traditionally been conducted from a positivist or post-positivist paradigm, detailed later in this paper, both of which maintain a universal truth exists, as, “in medicine, the emphasis on… body parts, conditions and treatments assumes that these are universally constant replicable facts” [12]. Given the dominance of this belief, there has been a relative dearth of literature within medical sciences education explicitly detailing paradigmatic assumptions. This is changing, with an increasingly widespread recognition of the important role assumptions play in result interpretation and in setting ground rules, both in research and in classrooms [13, 14]. As such, explicitly acknowledging one’s paradigm is becoming an expected element of medical science education research.

연구의 패러다임을 자세히 설명하기 위해서는 패러다임이 무엇으로 구성되어 있는지를 고려하는 것이 중요하다. 작품의 패러다임은 그림 1에 자세히 나와 있는 여러 개의 "구성 요소"로 구성되어 있다. 이러한 구성 요소들의 첫 번째 집합(축론, 존재론, 인식론, 방법론)은 자신의 방법을 선택하는 것과 같은 "직접적인 사고와 행동"이라는 철학적 가정으로 구성된다[16].
In order to detail your work’s paradigm, it is important to consider what a paradigm consists of. The paradigm of a piece of work is constructed of several “building blocks,” detailed in Fig. 1. The first set of these building blocks (axiology, ontology, epistemology, methodology) are composed of philosophical assumptions that “direct thinking and action” such as selecting one’s methods [16].

프로젝트 패러다임 구축의 첫 번째 "벽돌"인 가치론Axiology는 가치와 윤리에 대한 연구를 포함합니다 [17]. 연구할 가치가 있는 영역이 확인되고 연구 윤리가 고려되면 "현실의 본질"에 대한 질문인 존재론Ontology가 고려되어야 한다[3]. 일단 당신이 당신의 연구 영역의 현실에 대한 확고한 철학적 이해를 가지고 있다면, [그 현실 안에 있는 지식의 본질]은 결정할 필요가 있다. —이것은 인식론epistemology이라고 알려져 있다.
Axiology, the first “brick” in the construction of a project’s paradigm involves the study of value and ethics [17]. Once an area of value to study has been identified, and research ethics considered, ontology, which questions “the nature of reality” [3] must be contemplated. Once you possess a firm philosophical understanding of your study area’s reality, the nature of knowledge within that reality needs determining—this is known as the epistemology of a piece of work.

작품의 존재론와 인식론에 대한 솔직한 논의를 통해 적절한 방법론Methodology적 접근법을 선택할 수 있고 결과 해석을 둘러싼 모호성을 줄일 수 있다[18]. 그러한 규정regulation이 없으면 "가정의 기본 맥락"이 불분명하기 때문에 "세심하게 수집된 결과도 오해를 일으킬 수 있다" [19]. 이 모노그래프는 의학 교육 연구에 적합한 패러다임을 선택하기 위한 방법 가이드를 구성하는 일련의 고려 사항을 자세히 설명합니다.
Frank discussion of a work’s ontology and epistemology allows an appropriate methodological approach to be selected and reduces the ambiguity surrounding result interpretation [18]. Without such regulation “even carefully collected results can be misleading” as the “underlying context of assumptions” is unclear [19]. This monograph will detail a series of considerations, forming a how-to guide, for selecting an appropriate paradigm for your medical sciences education research.

연구를 수행하는 이유에 대해 생각해 보세요.
Think About your Reason for Carrying Out the Research

이는 너무나도 당연한 고려사항으로 보일 수 있지만, 의학교육 연구 내에서 의식적으로 반영되지 않는 경우가 많은 분야이다. 이 주제를 공부하게 된 동기가 무엇입니까? 당신은 실질적으로, 학문적으로, 또는 정치적으로 동기부여를 받은 적이 있습니까? 다시 말해,

• 여러분이 일상 업무에서 깨달은 것이 더 많은 공부가 필요한 것일까요? 
• 당신은 단순히 더 많은 것을 알고 싶은 걸까요?
• 당신이나 다른 사람들이 관심이 있는 정치적인 "핫 토픽"이 있는가?

This may seem like an obvious consideration, but it is an area that is often not consciously reflected upon within medical science education research. What is your motivation to study this topic? Have you been practically, academically, or politically motivated? In other words,

• is it something you have noticed in your day to day work that requires further study;
• are you simply passionate to know more; or
• is there a political “hot topic” you or others are interested in researching?

여러분의 동기에 대한 여러분의 초기 생각을 바탕으로, 여러분이 정말로 성취하려고 하는 것에 대해 더 깊이 반성하도록 노력하세요. Chilisa는 표 1 [23]에서 볼 수 있듯이 연구를 수행하는 다양한 패러다임적 이유를 비교합니다. 연구를 하는 당신 자신의 이유를 생각하고 이것을 칠리사의 이유와 비교하는 것은 어떤 패러다임이 당신의 연구에 적합한 선택일 수 있는지를 비추기 위한 시작이 되어야 한다.
Building upon your initial thoughts regarding your motivation, try to reflect more deeply regarding what you are really trying to achieve. Chilisa compares different paradigmatic reasons for doing research, as can be seen in Table 1 [23]. Thinking of your own reason for doing research and comparing this with Chilisa’s reasons should begin to cast light on which paradigm may be an appropriate choice for your research.

온톨로지적 가정 반영
Reflect upon your Ontological Assumptions

비록 우리가 그것들을 명시적으로 고려하거나 자세히 설명하지 않더라도, 우리는 모두 [존재론적 가정]을 가지고 있다. 그것들을 되돌아보면 [현실의 본질에 대한 자신의 신념]에 따라 패러다임을 선택할 수 있다[3]. 현실은 당신이 연구를 수행하기를 원하는 사회 세계를 의미합니다 [22].
We all hold ontological assumptions, even if we do not explicitly consider or detail them. Reflecting upon them allows you to choose a paradigm in keeping with your beliefs regarding the nature of reality [3]. Reality refers to the social world in which you wish to conduct your research [22].

다른 패러다임은 현실의 본질을 정의하기 위해 다른 접근 방식을 채택한다. 일부 학자들은 최근 몇 년 동안 사회과학 내에서 새로운 패러다임을 정의하려고 시도하기도 한다[30]. 이를 감안할 때, 사용 가능한 모든 패러다임의 온톨로지를 자세히 설명하는 것은 이 기사의 범위를 벗어난다. 그 대신 일반적으로 의학 교육[3]에서 가장 일반적으로 사용되는 네 가지 패러다임, 즉 실증주의, 후기 실증주의, 구성주의/해석주의, 비판론에 초점을 맞추겠다.
Different paradigms adopt different approaches to defining the nature of reality. There are many paradigms research may operate within, with some scholars even attempting to define new, albeit contested, paradigms within the social sciences in recent years [30]. Given this, detailing the ontology of every available paradigm is beyond the scope of this article. Instead, we will focus upon the four paradigms most commonly used within general medical education [3]: positivism, post-positivism, constructivism/interpretivism, and critical theory.

존재론적 가정을 평가하기 위해 스스로에게 질문하세요: 당신은 "확인할 수 있는 하나의 현실"이 있다고 믿습니까, 아니면 "여러 사회적으로 구성된 현실"이 존재한다고 믿습니까? [21, 31] 

• 전자의 입장은 "현실주의" 온톨로지적 입장으로 불리며, 
• 후자의 입장은 "반현실주의" 또는 "상대주의"로 알려져 있다[32]. 

넓게 보면, 의학 교육에서 가장 일반적으로 사용되는 네 가지 패러다임은 이 두 가지 범주 중 하나에 속하지만, 표 2에 자세히 설명된 바와 같이, 그들의 입장을 구성하는 방법에는 차이가 있다.
To assess your ontological assumptions, ask yourself this: do you believe there is “one verifiable reality,” or that “multiple socially constructed realities” exist? [21, 31]

• The former stance is sometimes referred to as a “realist” ontological position,
• with the latter stance known as “anti-realism” or “relativism” [32].

Broadly speaking, the four paradigms most commonly used within medical education fall into either of these two categories, but there are differences in how they frame their position, detailed in Table 2.

당신의 인식론적 가정을 반성하라.
Reflect upon your Epistemological Assumptions

일단 당신이 [현실의 본질에 대한 당신의 가정]을 인식한다면, [지식의 본질에 대한 당신의 인식론적 가정]을 성찰하는 것은 필요하다. 당신의 연구 인식론을 고려할 때, "세상 내에서 지식으로 간주되는 것"에 대해 숙고하는 것이 유용할 수 있다[40]. 인식론은 두 가지 질문에 답하고자 합니다.

• 첫째, 지식이란 무엇인가,
• 둘째, 지식은 어떻게 획득되는가? [41].

Once you are aware of your assumptions regarding the nature of reality, reflecting upon your epistemological assumptions regarding the nature of knowledge is necessary. When considering your research epistemology, it may be useful to reflect upon “what counts as knowledge within the world” [40]. Epistemology seeks to answer two questions—

• one, what is knowledge, and
• two, how is knowledge acquired? [41].

실증주의, 후기 실증주의, 구성주의, 비판론의 인식론적 접근은 다르다. 이러한 내용은 표 3에 요약되어 있습니다.
Again, the epistemological approaches of positivism, post-positivism, constructivism, and critical theory differ. These are outlined within Table 3.

적절한 데이터 수집 방법을 선택하려면 방법론을 검토하십시오.
Examine your Methodology in Order to Select an Appropriate Data Gathering Technique

[방법론]과 [방법]은 별개의 개념으로 간주되어야 할 때 초보 연구자에 의해 상호 교환적으로 사용되는 경우가 너무 많다[47].

• [방법론]은 지식을 습득하기 위한 전략 또는 전체 계획이며,
• [방법]은 데이터를 수집하고 분석하는 데 사용되는 실제 기법이다[33].

Too often, methodology and methods are used interchangeably by novice researchers, when they should be regarded as distinct concepts [47].

• Methodology is the strategy or overall plan to acquire knowledge, and
• methods are the actual techniques used to gather and analyze data [33].

예를 들어, 의료 환경에서 전문성 간 조사에 관심이 있는 연구팀은 [현실은 개인에 의해 주관적으로 구성된다]고 믿는 [구성주의 패러다임]과 가장 일치할 수 있다.

• 이 팀은 적절한 [방법론]은 [민족지학]이라고 생각할 수 있다.
• 그러나 실제 연구 [방법]은 [현장 기록, 오디오 또는 비디오 녹화 또는 정성적 인터뷰]를 통한 다양한 관찰일 수 있다[48].

이러한 방법은 방법론과 일치하지만, 방법의 최종 선택은 패러다임 고려 사항 외에도 그러한 [기술의 실용성]과도 크게 연관될 수 있다.
For example, a research team interested in examining interprofessionalism in a healthcare setting may identify most with a constructivist paradigm, believing reality is subjectively constructed by individuals.

• Such a team might consider ethnography to be an appropriate methodology.
• But the actual research methods they undertake might be a variety of observations with field notes, audio or video recordings, or qualitative interviews [48].

These methods align with the methodology, although eventual selection of methods may also be highly associated with the practicality of such techniques, in addition to paradigm considerations.

위의 섹션에서는 연구 프로젝트 패러다임의 "구성 요소"에 대한 개요를 제공했습니다. 참조의 용이성을 위해, 이러한 구성 요소는 의학 교육에서 사용되는 4가지 주요 패러다임에 대해 그림 2에 요약되어 있습니다 [30, 36, 49, 50].
The above sections have provided an overview of the “building blocks” of a research project’s paradigm. For ease of reference, these building blocks are summarized for the four main paradigms used within medical science education, in Fig. 2 [30, 36, 49, 50].

철학에서 실용으로 전환
Move from Philosophy to Practicality

의료 교육의 일상적인 측면에 관련된 사람들에게, 연구의 철학적 토대를 둘러싸고 생각나는 첫 번째 질문 중 하나는 [이것이 어떻게 제 일에 실질적으로 적용될 수 있는가]하는 것입니다. 철저하게 논의된 바와 같이 엄격성과 이해도를 향상시키는 것 외에도 [연구의 실용적인 측면에 접근하는 두 가지 핵심 방법]이 있다. : 전 그리고 후
For those involved in the day-to-day aspects of healthcare teaching, many times one of the first questions that comes to mind around the philosophical underpinnings of research is: how can this be practically applied to my work? Beyond improving rigor and understanding, as thoroughly discussed, there are two key ways to approach the practical side of research: from the before and the after.

의학 교육자로서 직면하는 실제적인 문제와 질문을 고려한다면, 다른 방식으로 문제에 접근하기 위해 어떻게 다른 패러다임이 사용될 수 있는지를 고려하는 것은 패러다임을 고려하는 실용적인 "전before" 방법이다. 실제 문제가 패러다임 정보에 입각한 관점에서 접근될 수 있는 방법을 설명하기 위해 그림 3에 몇 가지 예를 포함시켰다. 일부 다양한 실제 사례의 경우, 다른 교육 수준에서, 우리는 자연스럽게 다른 패러다임과 일치할 수 있는 연구 접근법의 몇 가지 다른 예를 제공했습니다.
Considering the practical problems and questions you face as a medical sciences educator, then considering how different paradigms could be used to approach problems in different ways, is a practical “before” way to consider paradigms. To elucidate the ways in which real-world problems can be approached from a paradigm-informed perspective, we’ve included some examples in Fig. 3. For somevarious real-world examples, at different educational levels, we have provided some different examples of research approaches, that would naturally align with different paradigms.

["After" 연구 관점]에서, 프락세오로지(praxoology)는 당신이 성찰해야 하는 마지막 '-론 (-ology)'이다. 연구로부터 종종 발생하는 보다 실용적인 권고사항과 관련하여, 프랙세오로지(praxoology)는 [인간의 행동을 이해하는 것]뿐만 아니라, [의미 있는 방식으로 해석하는 것]에 관심이 있다[45]. 만약 당신의 연구가 "지식"에 기여했다면, 이것은 [의학 교육자로서 당신의 일상적인 역할]에 무엇을 의미합니까? 이렇게 하면 연구 과정 이후에 실용성도 중요해질 수 있다. 그림 2의 중간 수준의 예를 이용하여, 구성주의 접근법에서 연구를 완료했다면, [가상 조직학 실험실]의 [셀프-가이드 방법]이 유익한 학습 환경으로 이어지지 않는다는 것을 발견했을 수 있다. 이로 인해 가상 조직학 리소스와 함께 사용할 [비디오 가이드]를 만들기로 결정하게 될 수 있습니다. 따라서 학생들은 처음에 학습을 안내하는 강사 주도 예제를 사용할 수 있습니다.
From the “after” research perspective, praxeology is the last -ology you may wish to reflect upon. Concerned with the more practical recommendations that often arise from research, praxeology is concerned with not just understanding human actions, but interpreting them in meaningful ways [45]. If your research has contributed to “knowledge,” what does this mean for your day-to-day role as a medical sciences educator? In this way, practicality can be also important after the research process. Using the mid-level example from Fig. 2, if you completed research from a constructivist approach, you may have discovered that self-guided methods in virtual histology labs was not leading to a conducive learning environment. This may lead to your decision to create video guides to accompany virtual histology resources, so students have instructor-led examples to initially guide their learning.

패러다임에 실질적으로 접근하는 위의 방법들 외에도, 연구자들은 [실용주의pragmatism]의 실용적인 패러다임을 고려하기를 원할 수 있다. [실용주의]는 연구 결과에 초점을 맞추고, 따라서 인식론이나 존재론을 고려하는 데 가치를 두지 않는다. 대신, 실용주의는 문제를 이해하고 해결하는 데 가장 효과적인 것에 초점을 맞추려고 노력한다[57]. 실용주의자들은 특정 연구 질문에 답하기 위해 [실제로 가장 잘 작동하는 방법]에 의존하며, 단순히 패러다임 정렬이 아닌 [선택된 접근 방식의 실용성]에 가장 중점을 둔다[58]. 그러나 실용주의는 ["진정한" 패러다임]이라기보다는 [접근법]에 가깝다는 견해가 있다. 결과적으로, 본 연구는 다른 공통 패러다임을 가지고 있기 때문에 실용주의를 자세히 탐구하지 않았다[30].
In addition to the above ways of practically approaching paradigms, researchers may also wish to contemplate the practical paradigm of pragmatism. Pragmatism focuses on research outcomes and, as such, does not place value on considering either epistemology or ontology. Instead, pragmatism strives to focus on what works best for understanding and solving problems [57]. Pragmatists rely on the methods that work best in practice to answer specific research questions, focusing most heavily on the practicalities of the chosen approach, not just paradigmatic alignment [58]. However, it is the view of some that pragmatism should be viewed as more of an approach, rather than a “true” paradigm. Consequently, the present work has not explored pragmatism in detail as it has other common paradigms [30].

A Medical Science Educator's Guide to Selecting a Research Paradigm: Building a Basis for Better Research

PMID: 34457699

PMCID: PMC8368685

DOI: 10.1007/s40670-019-00898-9

Free PMC article

© The Author(s) 2019.

신뢰와 위험: 의학교육을 위한 모델 (Med Educ, 2017)
Trust and risk: a model for medical education
Arvin Damodaran,1 Boaz Shulruf2 & Philip Jones3

서론
Introduction

의료, 위험 및 신뢰
Health care, risk and trust

의료는 본질적으로 복잡하고 위험한 사업이며, 임상의가 지속적으로 위험을 관리해야 한다. 임상 교사들도 마찬가지로 학생이나 후배 의사에게 임상 업무를 위임할 때마다 잠재적인 문제가 있다는 것을 이해한다. 기존의 역량 평가는 이러한 미묘한 결정을 내리기에 충분한 정보를 제공하지 못할 수 있지만, 특정 훈련생을 불신하거나 신뢰할 수 있는 결정을 내려야 한다. 신뢰는 임상의에게 생소한 어휘가 아니다. 비공식적으로, 의사들은 그들의 후배들과 또래들을 다음과 같은 간단한 질문으로 평가한다. '당신은 그들이 당신의 어머니를 돌볼 것이라고 믿겠습니까?' 이는 작업 공간 기반 평가를 재구성하는 방법을 나타내는 신뢰할 수 있는 전문 활동(EPA)의 직관성과 새로운 인기를 부분적으로 설명할 수 있다.
Health care is an inherently complex and dangerous business, in which clinicians are continually required to manage risk. Clinical teachers likewise understand there are potential problems each time they delegate a clinical task to a student or junior doctor. Conventional assessments of competency may not provide enough information to make these nuanced decisions,2 yet the decision to either distrust or trust a particular trainee to undertake a task must be made. Trust is not an unfamiliar vocabulary to clinicians. Unofficially, doctors rate their juniors and peers with the simple question: ‘Would you trust them to look after your mother?’ This may in part explain the intuitiveness and new popularity of entrustable professional activities (EPAs) as representing a way to restructure workplace-based assessments.3

의학 교육에서 '위임'이라는 단어의 바로 그 사용은 신뢰라는 개념에 새로운 초점을 가져왔다. 그러나 일단 이 개념을 도입하면 다음과 같은 많은 질문이 발생합니다.

• 신뢰의 정의는 무엇입니까?
• 우리는 어떻게 신뢰하거나 불신하는 결정을 내릴 수 있을까?
• 신뢰에 대해 이야기하는 것이 평가와 역량의 전통적인 의학 교육 어휘보다 더 진실하고 의미 있는 대화인가?
• 신뢰는 개인과 조직을 어떻게 상호 연결합니까?
• 신뢰의 개념을 의료 커리큘럼에서 더 폭넓게 사용할 수 있는가, 아니면 그래야 하는가?

In medical education, the very use of the word ‘entrustment’ has brought new focus to the idea of trust. However, once we engage with the concept, many questions arise:

• What definition of trust should we be using?
• How do we come to a decision to trust or distrust?
• Is talking about trust a more authentic and meaningful conversation than the conventional medical education vocabulary of assessment and competency?
• How does trust interconnect individuals and organisations?
• Can, or should, we use the concept of trust more widely in medical curricula?4, 5

목적 및 방법
Aims and method

우리의 목표는 임상 교사 및 보건 교육 학자들에게 신뢰에 대한 문헌에 대한 광범위한 개요를 제공하고 신뢰, 위험 및 통제의 언어가 의학 교육의 현재 사고와 어떻게 교차할 수 있는지 탐구하며 잠재적인 질문 방향에 대한 제안을 하는 것이었다. 이는 체계적인 비판적 검토가 아닌 문헌의 서술적 개요로 제시된다.6, 7 다양한 데이터베이스(MEDLINE, ERIC [교육 자원 정보 센터], CINAHL [간호 및 제휴 건강 문헌에 대한 누적 지수], EMBASE, Proquest Central, Business Source Central 및 Google Scholar)를 사용하여 질문했다. 키워드 및 주제 검색에서 '신뢰', '의료', '건강', '교육'의 조합과 관련 참고문헌 및 인용문구가 손으로 작성되었습니다. 경영, 고등교육, 의학, 의료 교육 분야에서 신뢰trust 문헌에 대한 우수한 리뷰가 출판되었다. 이 논문의 목적은 이 연구를 강조하고 의학 교육 및 임상 커뮤니티를 위해 맥락화하는 것이었다. 우리는 환자-의사 또는 훈련생-감독자 관계와 같은 단일 관계로 초점을 제한하지 않고 여러 수준에서 관계를 포괄함으로써 폭을 위한 깊이를 희생했다. 
Our aim was to provide clinician-teachers and health education scholars with a broad overview of the literature on trust, exploring how the language of trust, risk and control might intersect with current thinking in medical education, and to make suggestions for potential directions of enquiry. This is presented as a narrative overview of the literature rather than a systematic critical review.6, 7 A variety of databases (MEDLINE, ERIC [Educational Resources Information Centre], CINAHL [Cumulative Index to Nursing and Allied Health Literature], EMBASE, Proquest Central, Business Source Central and Google Scholar) were interrogated using combinations of ‘trust’, ‘medical’, ‘health’ and ‘education’ in keyword and subject searches, and relevant references and citations were hand-searched. Excellent reviews of the trust literature have been published in the fields of management,8, 9 higher education,10 medicine11 and medical education.3, 12 The purpose of this article was to highlight this research and to contextualise it for the medical education and clinical community.13 We have sacrificed depth for breadth by encompassing relationships at multiple levels, rather than restricting the focus to a single relationship such as the patient–doctor or trainee–supervisor relationship.

우리는 의료 교육 및 의료에 대한 신뢰의 중요성을 설명하는 것으로 시작하여 외부의 의료로부터 신뢰 테마와 연구를 탐구한 후, 다시 돌아와 의료 교육 관계를 해체하는 데 관리 문헌의 모델이 어떻게 사용될 수 있는지 검토한다. 마지막으로, 우리는 신뢰가 더 광범위한 위험 관리 의제에 어떻게 부합할 수 있는지 살펴본다. 그러나 첫 번째 과제는 신뢰를 정의하는 것이다.
We begin on familiar ground by describing the importance of trust to medical education and health care, and then explore trust themes and research from outside health care, before returning to examine how a model from the management literature may be used to break down medical education relationships. Finally, we look at how trust may fit into the wider risk management agenda. The first task, however, is to define trust.

신뢰의 정의
Defining Trust

신뢰를 정의하는 특징은 [신뢰자가 위험을 인식하고 관계의 취약성을 받아들이는 것]이다. 신뢰는 [위험을 감수하기 위한 의식적인 결정]을 내리는 것을 포함하며, 이는 훈련생에게 직접적인 감독 여부가 있거나 없는 상황에서 임상 활동을 수행하도록 하는 과정에서 감독관이 해야 하는 일이다. 이 조치를 취함에 있어서, 감독자는 그녀의 환자뿐만 아니라 그녀의 명성도 위험에 처하게 한다. 담당 임상의의 이름은 환자의 침대 머리 위에 있습니다. 수술이 실패하거나 진단이 누락될 경우, 그녀는 개인적이고 잠재적으로 의학적인 법적 결과에 직면할 것이다. 이러한 [위험 평가]와 [취약성에 대한 자발적인 노출]은 [신뢰]와 [공정한 역량 인증]을 구별하는 것으로서, 특히 위험한 작업장에 적합할 수 있습니다. 사실, 기존의 학술 평가는 감독자가 임상 업무를 위임하기로 결정할 때 참조되지 않는 경향이 있다. 

The defining feature of trust is the trustor's appreciation of risk and acceptance of vulnerability in the relationship.14, 15 Trust involves making a conscious decision to take on risk, as a supervisor must do when letting a trainee carry out a clinical activity with or without direct supervision. In taking this action, the supervisor subjects her patient, as well as her own reputation, to risk. The supervising clinician's name is on the patient's bedhead. Should a procedure fail, or there be a missed diagnosis, she will face personal, potentially medico-legal consequence. This risk assessment and willing exposure to vulnerability differentiates trust from an impartial certification of competence, and may be particularly suited to the risky workplace. In fact, conventional academic assessments tend not to be referenced by supervisors when they decide to delegate clinical tasks.16

신뢰의 정의는 준비 상태로 볼 때 다음과 같이 표현된다. '신뢰는 다른 사람의 의도나 행동에 대한 긍정적인 기대를 바탕으로 취약성을 받아들이려는 의도를 포함하는 심리적 상태이다.' 이 정의는 상황별 및 작업별 특성을 생략하지만, 취약성의 정의 특성과 함께 신뢰자와 수탁자 간의 상호 의존성을 강조한다. 그러나 신뢰는, 특히 직장 관계에서, 직무 특이적이고 맥락에 따라 다르다. 특정 작업에서 '무엇을 할 것인가?'라는 질문을 추가하면, 공식은 'A는 B가 X하는 것을 신뢰한다'가 된다. Trustor(갑)는 Trustee(을)가 업무를 수행할 동기와 역량이 있다고 판단해야 한다.
A definition of trust when viewed as a state of readiness has been expressed as: ‘Trust is a psychological state comprising the intention to accept vulnerability based upon positive expectations of the intentions or behaviour of another.’17 Although this definition omits context- and task-specificity, it highlights interdependence between trustor and trustee, along with the defining characteristic of vulnerability. Trust, however, is task-specific and contextual, particularly in workplace relationships. If we add, in a specific task, the ‘to do what?’ question, the formulation becomes ‘A trusts B to do X’.18, 19 The trustor (A) must judge that the trustee (B) has the motivation and competence to get the job (X) done.

위의 모든 것을 고려한다면, 정의는 다음과 같이 확장될 수 있다: 신뢰는 신탁업자가 취약성 및 위험의 수용을 요구하는 판단이며, 수탁자(개인 또는 조직)가 특정 조건에서 특정 작업을 수행할 수 있는 역량, 의지, 무결성 및 역량(즉, 신뢰도)을 가지고 있다는 것이다. 이 문서의 나머지 부분에 사용할 정의입니다.
Factoring in all of the above, the definition might be expanded to:

• trust is a judgement by the trustor,
  
• requiring the acceptance of resultant vulnerability and risk,
  
• that the trustee (individual or organisation) has the competence, willingness, integrity and capacity (i.e. trustworthiness)
  
• to perform a specified task
  
• under particular conditions.

This is the definition we will use for the remainder of this article.

의료 교육 및 의료에 대한 신뢰
Trust in medical education and health care

교육생에 대한 감독자의 신뢰
Supervisors’ trust in trainees

신뢰는 교사-학생 관계의 핵심으로 여겨진다. 임상 훈련에서도 다른 공예와 마찬가지로 '점진적 독립'의 도제직이나 전통이 있다. 즉, 교육생들에게 감독관들이 점차 신뢰를 넓혀가면서 실제 업무 수행에 대한 자율성을 높일 수 있게 된다. 숙련된 상사는 위험을 허용 가능한 수준으로 유지하면서 훈련생의 역량과 자신감을 키워줍니다. 이상적으로, 훈련자의 학습 요구는 Vygotsky가 '근위 발달 영역'이라고 지칭한 도전에 의해 최적으로 충족된다. 각각의 신뢰 결정은 개별화되고 반복적이기 때문에, 정적 커리큘럼은 제한된 가치를 가진다. 이것은 직장에서의 학습 경험을 묘사하는 위치 학습과 숨겨진 커리큘럼과 같은 현대 이론과 일치한다. [교육병원에서의 학습]은 [실제 작업이 진행 중인 환경]에서 [실천 커뮤니티에 위치]하여 [경험적]이다. 학생은 합법적인 주변적 참여에서 시작하여 점차 이해와 참여도를 높이고 시간이 지남에 따라 의사 결정 과정의 중심이 됩니다. 이러한 이론과 완전히 일치하지만, 임상 과제를 위임하기 위한 복잡하고 다요인 결정을 이해하려면 [학습자의 머릿속]에서 벗어나 [(학습자의 요구는 보조적인 우선순위가 되는) 감독자의 머릿속]으로 들어가야 한다. 결국, 감독관은 신뢰자이다.
Trust is considered central to the teacher–student relationship.20, 21 In clinical training, as in other crafts, there is an apprenticeship or tradition of ‘progressive independence’.22 In other words, supervisors gradually extend trust to their trainees, allowing them increasing autonomy to perform real tasks in the workplace. A skilful supervisor encourages the trainee's developing competence and confidence, while keeping risks to an acceptable level. Ideally, the trainee's learning needs are optimally met by challenge in what Vygotsky referred to as the ‘zone of proximal development’.23, 24 As each trust decision is individualised and iterative, static curricula are of limited value. This is consistent with contemporary theories such as those of situated learning and the hidden curriculum, which describe the trainee experience of learning in the workplace.25 In teaching hospitals learning is experiential, situated in communities of practice in an environment in which real work is ongoing. The student starts off in legitimate peripheral participation,26 gradually increasing his understanding and engagement, and over time becomes increasingly central to the decision-making processes. Although it is entirely consistent with these theories, attempting to understand the complex and multifactorial decision to delegate clinical tasks takes us out of the learner's head and into the supervisor's, in which the learner's needs may well be a subsidiary priority. After all, the supervisor is the trustor.

[신뢰할 수 있는 전문 활동]은 [충분한 증거를 수집하고 평가]한 후 [훈련생에게 '위탁'할 수 있는 관찰 가능한 전문 작업을 선별하여 기술함]으로써 이러한 개념을 활용하는 새로운 접근법을 나타낸다. [EPA의 사용]은 임상의의 판단에 타당성을 추가하고 현재 작업장 평가에서 [원자성atomistic 체크박스]를 사용하는 것에 대한 우려를 해결한다.3 이러한 매력에도 불구하고 EPA를 개발하고 구현하는 최적의 방법은 아직 결정되지 않았다. 
Entrustable professional activities represent a novel approach that utilises these concepts by describing selected observable pieces of professional work that can be ‘entrusted’ to the trainee once sufficient evidence has been collected and assessed. The use of EPAs adds validity to the clinician's judgements and addresses concerns about current use of atomistic tick-boxes in workplace assessment.3 Despite these attractions, the optimal means of developing and implementing EPAs remain to be determined.27

EPA에서 '위임'이라는 단어의 의도적 사용은 어느 정도 탐구할 가치가 있다: 위임은 수탁자가 향후 활동을 수행할 수 있도록 하는 신탁 결정trust decision이 내려졌음을 의미한다. 한 사람이 다른 사람에게 특정한 일을 Entrusts한다. '위임'은 업무에 특화되어 있고 계약적이며, '신뢰'보다 개인적인 함축가 적다. 따라서 '위탁'이라는 단어를 사용하는 것이 교육생을 다룰 때, 특히 특정 업무와 행동에 대한 건설적인 피드백을 제공할 때 '신뢰'를 사용하는 것보다 더 나을 수 있습니다. 이러한 뉘앙스를 떠나 신뢰와 위탁의 구조는 불가분의 관계에 있다.
The purposeful use of the word ‘entrustment’ in EPAs deserves some exploration: entrustment implies that a trust decision has been made that will allow the trustee to undertake a future activity.18 One entrusts another to undertake a specific task. ‘Entrustment’ is task-specific and contractual, and has less personal overtones than ‘trust’. Using the word ‘entrustment’ may therefore be preferable to using ‘trust’ when dealing with trainees, particularly when giving constructive feedback around specific tasks and behaviours. Aside from these nuances, the constructs of trust and entrustment are inextricably linked.

우리는 감독 관계와 EPA를 신뢰에 대한 보다 일반적인 논의를 위한 친숙한 디딤돌로 사용해 왔다. 신뢰와 직업을 고려하고 더 광범위한 신뢰 문헌이 어떻게 유익할 수 있는지 살펴본 후에 우리는 훈련생-감독자 관계로 돌아갈 것이다.
We have used the supervisory relationship and EPAs as familiar stepping stones into a more general discussion of trust. We will return to the trainee–supervisor relationship after we have considered trust and the profession, and seen how the broader trust literature may be instructive.

환자가 의사를 신뢰하는 것
The patient's trust in the doctor

[환자-의사 신뢰 관계]는 치료 관계에 필수적인 것으로 간주되어 상당한 관심을 받아 마땅하다. 주치의에 대한 신뢰는 환자의 진료의욕, 민감한 정보공개, 조사나 관리의 취약성 수용에 영향을 미치며, 궁극적으로는 진료만족도에 영향을 미친다. 반대로, 일단 관계에 대한 신뢰가 깨지면, 환자들은 용서하거나, 다른 곳으로 가거나, 불평하거나, 의료-법적 절차를 시작하는 것을 선택할 수 있다. 의사들에 대한 신뢰를 높일 수 있는 개입에 대한 Cochrane 메타 분석은 주제에 대한 관심이 있지만, 어떤 접근법에서든 일관된 이익을 얻을 수 있는 증거가 아직 충분하지 않다는 것을 보여준다. 결국, 의사와 학생들이 항상 진실을 말하지 않기 때문에 불신은 정당화될 수 있다. 
The patient–doctor trust relationship, regarded as integral to the therapeutic relationship, has deservedly received significant attention. Trust in one's doctor impacts on the patient's willingness to seek care, disclose sensitive information and accept the vulnerability of investigations or management, and ultimately affects satisfaction with care.28, 29 Conversely, once there has been a breach of trust in the relationship, patients may choose to forgive, to go elsewhere, to complain or to initiate medico-legal proceedings.30, 31 A Cochrane meta-analysis of interventions that may increase trust in doctors demonstrates that although there is interest in the subject, there is as yet insufficient evidence for consistent benefit from any one approach.32 After all, distrust may be warranted as doctors and students do not tell the truth all the time.33, 34

의료계에 대한 환자의 신뢰
The patient's trust in the medical profession

[자신의 의사(일반적으로 매우 높은 것으로 평가됨)에 대한 신뢰]는 [의료 전문직이나 의료 시스템에 대한 신뢰(일반적으로 덜 높은 것으로 평가됨)]와 경험적으로 다르다. 의사나 의료 서비스에 의한 환자 신뢰의 우울할 정도로 정기적인 위반에 의해 공급되고 법적 수단이 요구되는 프로세스에서 직업과 기관에 대한 신뢰는 점점 더 도전받고 있다. 특히 미국의 [관리형 의료의 출현]과 [영국 국립 보건 서비스 의료 시스템]에 대한 신뢰의 침해와 관련하여, 우리의 [의료 시스템]과 [그 시스템에 공급하는 교육 기관]에 대한 사회적 신뢰가 하락하고 있다는 일반적 인식이 있다. 정부 정책을 알리기 위해 의료에 대한 국민의 신뢰에 대한 조사 기반 척도가 사용되어 왔다.
Trust in one's own physician (generally rated as very high) differs empirically from trust in the medical profession or health care systems (which is generally less high).29, 35 Trust in the professions and institutions is increasingly challenged in a process that is fed by depressingly regular breaches in patient trust by practitioners or health services and in which legal recourse is required.36 There is a perception of general decline in societal trust in our systems of health care and the educational institutions that feed into them, notably related to the advent of managed health care in the USA and perceived breaches of trust in the UK National Health Service health care systems.37-39 Survey-based measures of public trust in health care have been used to inform government policy.22

제약업계의 영향과 의사-연구자의 이해충돌로 의료업의 근간인 [과학·의학 연구에 대한 불신]도 커지고 있다. 환자가 반드시 의사의 제약 회사 계약이나 환자를 자금 지원 시험에 등록하기 위한 재정적 인센티브를 알 필요는 없다. 학술적 위법행위의 빈번한 사례가 저널 논문 철회를 증가시키고 있다. 하지만 이미 자신을 둘러싼 환경에서 다수의 학문적 경범죄를 인지하는 의대생들에게는 주목을 받지 못한다. 
Distrust is also increasingly expressed towards scientific and medical research, the foundation of the medical profession, because of the influence of pharmaceutical industry and physician-researcher conflicts of interest.40, 41 Patients are not necessarily made aware of doctor's pharmaceutical company engagements or financial incentives to enrol patients into funded trials.42 Frequent high-profile cases of academic misconduct drive an increasing number of journal article retractions.43 This is not lost on medical students, who perceive a multitude of academic misdemeanours in their own environments.44

신뢰 수준
Levels of trust

앞 단락에서 우리는 더 넓은 직업뿐만 아니라 개인으로서 의사들을 신뢰하는 몇 가지 위협에 대해 설명했습니다. 신뢰를 분석하려고 할 때, 사회적 또는 조직적 요인에서 대인관계 요인을 분리해내는 것이 분명히 중요하다. 어떤 하나의 신뢰 결정에서도 [대인관계와 조직적 결정 요인] 사이에 상호작용이 있을 가능성이 높다. 이를 위해, 문헌은 [대인관계, 조직 및 제도적 수준]을 참조하여 '신뢰 수준'의 개념을 도입한다.10 예를 들어,

• 대인적 신뢰는 친구나 동료의 신뢰를 의미할 수 있다;
• 조직적 신뢰는 임상 서비스, 의과대학 또는 대학에서의 신뢰를 의미할 수 있다.
• 제도적 신뢰는 국가 차원에서 보건 또는 교육 시스템과 같은 시스템의 신뢰를 지칭할 수 있다.

In the preceding paragraphs we described some of the threats to trust in doctors as individuals, as well as in the wider profession. In attempting to analyse trust, it is clearly important to tease out interpersonal factors from social or organisational factors.31 In any one trust decision, there is likely to be an interplay between interpersonal and organisational determinants.45 To this end, the literature brings in the concept of ‘levels of trust’ with reference to interpersonal, organisational and institutional levels.10 For example,

• interpersonal trust may refer to trust of friends or colleagues;
• organisational trust may refer to trusts in a clinical service, medical school or college, and
• institutional trust may refer to trust of systems such as health or education systems at a national level.

신뢰 연구자는 [신뢰 분석 수준]을 수준 간 또는 수준 간(예: 조직을 신뢰하는 개인)으로 구분합니다. [신뢰의 방향]도 변수다. 신뢰는 어느 방향으로든 확장될 수 있으며, 상호주의의 개념을 가져올 수 있다. [직접적인 상호주의]는 대인 신뢰의 기초가 될 수 있다. ['간접적 상호주의']라고 불리는 신뢰와 협력의 사슬은 조직의 신뢰를 이해하는 데 도움이 될 수 있다. [관계 초기]에는 [간접적 조직적 결정요인]이 지배적이며, 나중에는 개인적 접촉과 피드백이 증가함에 따라 [대인관계적 측면]이 신뢰관계를 지배하기 시작할 수 있다. 
Trust researchers distinguish levels of trust analysis8 as inter-level or cross-level (e.g. an individual trusting an organisation). The direction of trust is another variable. Trust can extend in either direction, bringing in the concept of reciprocity.8 Direct reciprocity may be the basis of interpersonal trust. Chains of trust and cooperation, referred to as ‘indirect reciprocity’, may be helpful in understanding organisational trust.46 It may be that early in relationships, indirect organisational determinates predominate, and that later, with increasing personal contact and feedback, interpersonal aspects begin to dominate trust relationships.

그림 1은 조직 수준으로 정렬된 의료 교육에 관련된 일부 실체를 고려한다. 신뢰는 각 실체, 각 상자 또는 상자 사이의 상호 작용에서 발생하는 역동적인 사회적 구조로 볼 수 있다.
Figure 1 takes into account some of the entities involved in medical education, arranged into organisational levels.8, 47 Trust may be viewed as a dynamic social construct arising from the interactions within each set of entities, within each box or between boxes, with either of the pair in the role of the trustor.

비록 단순하지만, 이 관계 지도는 이러한 팔의 어느 쪽이든, 관심을 덜 받은 팔들을 포함하여, 어느 방향으로든 탐험을 유도한다. 우리가 설명한 바와 같이, 의료 교육에 대한 최근의 관심은 [person box]에 있는데, 특히 [감독관이 교육생에 대한 신뢰를 어떻게 발전시키고 이것이 직장 평가로 어떻게 운영될 수 있는지]에 대해 향하고 있다. 그러나 신뢰는 다른 많은 의학교육 결정에 분명히 내포되어 있다. [평가, 진행, 학업 부정행위, 양호한 감독, 프로그램 평가, 성과 관리 및 승진 메커니즘]은 각각 관계 지도에서 제 역할을 합니다(그림 1). [상자 내부]와 [상자 사이]에서, 어느 방향으로든 화살표를 추가로 조사하면 연구를 위한 새로운 방법을 제시할 수 있습니다. 예를 들어 임상 서비스 또는 대학 의료 프로그램에 대한 임상 교사의 신뢰, 학생에 대한 환자의 신뢰, 임상 교사 또는 훈련 프로그램 또는 학생 또는 임상 교사에게 의료 시스템이 제공하는 신뢰에 초점을 맞출 수 있다.
Although simplistic, this relationship map does invite an exploration of any of these arms, in either direction, including those that have received less attention. As we have described, recent attention in medical education has been directed within the person box, particularly at how a supervisor develops trust in trainees12, 23 and how this may be operationalised as workplace assessment.48-50 However, trust is clearly implicit in many other medical education decisions. Assessment, progression, academic misconduct, good supervision, programme evaluation, performance management and promotion mechanisms each have their place in the relationship map (Fig. 1). Further examination of these arms in either direction, within and between boxes, may suggest novel avenues for research. For instance, focus could be brought to bear on the clinical teacher's trust in clinical services or university medical programmes, the patient's trust in students, clinical teachers or the training programme, or the trust afforded by health care systems in students or clinical teachers.

우리는 이제 신뢰를 정의하고 의학 교육을 제공하는 데 관련된 다양한 주체가 어떻게 이산적인 신뢰 관계를 가지고 있는지를 표현했다. 다음 섹션에서는 의료 교육에서의 적용으로 돌아가기 전에 더 광범위한 신뢰 문헌을 소개한다.
We have now defined trust and expressed how the various entities involved in delivering medical education have discrete trust relationships. In the next section, we introduce some of the wider trust literature, before returning to its application in medical education.

더 넓은 문헌에 대한 신뢰
Trust in the broader literature

신뢰 연구의 짧은 역사
A short history of trust research

의학교육은 신뢰에 대한 관심에서 고립되지 않는다. 잘 확립된 개념적이고 경험적인 작업이 많이 존재하며, 처음에는 사회과학에 의해 주도되고 나중에는 비즈니스와 경영에 의해 주도된다. 
Medical education is not isolated in its interest in trust. A great deal of well-established conceptual and empirical work exists, initially driven by the social sciences and later picked up by business and management.

갈등 해결의 선구자인 Morton Deutsch는 1950년대 [신뢰]와 [취약성을 감당하려는 의지] 사이의 연관성에 대해 언급하면서, [충족되지 않은 신뢰]는 결국 신뢰자trustor를 '불쾌한 결과로 인한 고통'으로 이끈다고 언급했다. 쿠바 미사일 위기의 아슬아슬한 미스를 정점으로 한 냉전은 극심한 불신을 배경으로 갈등 해결에 대한 관심을 자극했다. 당시 연구자들은 신뢰 연구가 신뢰를 얻은 것은 이 시기 이후라고 언급했다. 
Morton Deutsch, a pioneer in conflict resolution, commented on the link between trust and a willingness to take on vulnerability in the 1950s, noting that unfulfilled trust necessarily leads the trustor to ‘suffer an unpleasant consequence’.51 The Cold War, culminating in the near miss of the Cuban missile crisis, set a backdrop of intense distrust and stimulated interest in conflict resolution. Researchers of the time noted that it was after this period that trust research gained credibility.52, 53

도이치는 신뢰에 대한 사회심리학적 접근을 특징짓는 협동적 행동에 대한 실험적인 게임 모델인 잘 연구된 '죄수의 딜레마'의 초기 조사자였다. 그 죄수의 딜레마에 대한 변화는 여러 세대의 대학생들에게 가해져 왔다. 이 게임의 컴퓨터 시뮬레이션, 반복적인 형태는 이혼, 지정학 및 종의 진화만큼이나 다양한 관계에 대한 함의를 가진 협력 전략을 모델링하는 데 사용된다.
Deutsch was an early investigator of the well-studied ‘prisoner's dilemma’, an experimental game model for cooperative behaviour that characterises the social psychology approach to trust. Variations on the prisoner's dilemma have been inflicted on generations of college students. Computer-simulated, iterative forms of the game are used to model cooperation strategies54 with implications for relationships as diverse as those in divorce, geopolitics and the evolution of species.

20세기 후반부터 비즈니스, 경영, 마케팅 문헌은 '소비자 신뢰'와 '브랜드 충성도'과 같은 용어를 대중화하면서 그 자체로 연구 분야로서의 신뢰에 대한 관심이 높아지기 시작했다. 2008년 글로벌 금융위기의 조직적 실패는 '신뢰 회복'과 같은 새로운 연구 분야를 장려했다. 연구 간행물 원량의 증가는 신뢰가 자체 저널을 획득하는 결과를 낳았다. 
In the late 20th century, the business, management and marketing literature began to place increasing attention on trust as a research field in its own right, popularising terms such as ‘consumer trust’ and ‘brand loyalty’. The organisational failures of the 2008 global financial crisis encouraged new areas of study such as that of ‘trust repair’.9, 55 An increase in the raw volume of research publications has resulted in trust acquiring its own journal.56

세계화와 인터넷은 비즈니스 관계를 변화시켰습니다. 성공적인 기업은 기술 기반 신뢰 대리인을 고용하고 있으며, 그 선구적인 예로 [이베이의 구매자 및 판매자 신뢰 등급]을 들 수 있습니다. 상업 등급 웹 사이트의 의사 및 보건 서비스에도 유사한 등급이 점점 더 많이 적용되고 있습니다. 병원의 경우, 소비자 등급이 기존의 환자 경험 및 결과 측정과 잘 상관관계가 있다는 증거가 있다. 
Globalisation and the Internet have altered relationships in business: successful enterprises employ technology-based trust surrogates, a pioneering example of which is eBay's buyer and seller trust ratings.57, 58 Similar ratings are increasingly applied to doctors and health services on commercial ratings websites.59 In the case of hospitals, there is evidence that consumer ratings correlate well with conventional patient experience and outcomes measures.60

신뢰에 적용되는 연구 방법
Research methods applied to trust

신뢰에 대한 연구는 대부분 게임 실험('죄수의 딜레마'로 특징지어짐)과 설문조사의 범주에 속한다. [게임 실험]은 주로 [대인관계 신뢰]를 탐구하기 위해 고안된 반면, [조직에 대한 신뢰]는 [설문 조사]를 통해 가장 일반적으로 연구되었다. 기업, 정부, 학교 등 기관에 대한 신뢰를 조사하기 위해 다양한 조사도구가 활용되고 있다. 이러한 방법들 각각은 비판(일반성이 부족하다는 게임 실험과 너무 피상적이라는 조사)에 열려 있지만, 세 번째 옵션은 이해 계층을 추가할 수 있는 잠재력을 가지고 있다. 신뢰가 [창발적 사회적 구조]로 묘사될 수 있다면, 그것은 질적 방법을 선호하는 [구성주의 연구 프레임워크]에 잘 맞을 수 있다. 우리가 더 논의할 것처럼, 의료 교육에서 질적 방법은 Govaerts와 Van der Vleuten에 의해 제안되었고, 예를 들어 Hauer et al과 Kennedy et al의 연구에서 감독-훈련자 관계를 이해하기 위해 사용되었다. 
Research on trust has for the most part fallen into the categories of game experiments (characterised by the ‘prisoner's dilemma’) and surveys. Game experiments have largely been designed to explore interpersonal trust, whereas trust in organisations has been most commonly studied using surveys. A variety of survey instruments have been employed to examine trust in institutions such as businesses, government and schools. Although each of these methods is open to criticism (game experiments for their lack of generalisability and surveys for being too superficial19), a third option has the potential to add a layer of understanding. If trust can be described as an emergent social construct, it may be well suited to a constructivist research framework47, 61 favouring qualitative methods.62 As we will discuss further, in medical education qualitative methods have been suggested by Govaerts and van der Vleuten50 and used, for example, in the work of Hauer et al.23 and Kennedy et al.63 to understand the supervisor–trainee relationship.

이제 우리는 경영 문헌에서 나온 신뢰 모델로 눈을 돌리고 감독-연수생 관계에 대한 성찰을 사용하여 그 관련성을 설명한다.
We now turn to a model of trust sourced from the management literature and use reflections on the supervisor–trainee relationship to illustrate its relevance.

임상 감독에 신뢰 모델 적용
Applying a model of trust to clinical supervision

1995년 연구에서 메이어 등은 이전에 나왔던 개념적, 경험적 연구를 바탕으로 [신뢰에 대한 통합 모델]을 제안하였다. 신뢰의 다른 개념화도 있지만, 메이어 외 모델은 특히 강력하다는 것이 입증되었다. 원본 기사는 집필 당시 5300개 이상의 스코푸스 인용을 끌어모았다.
In their 1995 work, Mayer et al.15 proposed an integrative model for trust based on the conceptual and empirical research that had come before. Although there are other conceptualisations of trust,64 the Mayer et al.15 model has proved particularly robust. The original article15 has attracted more than 5300 Scopus citations at the time of writing.

이 모델은 그림 2에 재현되어 있습니다.
The model is reproduced in Fig. 2.

이 모델에서, 기본은 'A는 B가 X를 하는 것을 신뢰한다' 구조이다. 피드백 루프가 추가되어 정교하게 제작되었습니다. 이 모델은 구별되지 않은 신뢰의 관점을 세 가지 측면으로 분해한다: 

• [일반적인 믿음 또는 성향]으로서의 신뢰. 
  
• [취약성을 받아들이기 위한 결정]으로서의 신뢰
• [관계에서 위험을 감수하는 행위]로서의 신뢰

시간이 지남에 따라 관계가 발전함에 따라, 미래의 신뢰 결정에 대한 피드백이 있습니다.

In this model, the basic ‘A trusts B to do X’18 structure of trust is elaborated, with the addition of a feedback loop. The model breaks down an undifferentiated view of trust into three aspects:

• trust as a general belief or propensity;
• trust as a decision to take on vulnerability, and
• trust as the act of risk taking in a relationship.

As the relationship develops over time, there is feedback into future trust decisions.

모델을 탐구하기 위해, 우리는 [경험을 쌓을수록 더 위험하고 더 높은 위험의 임상 작업을 수행하도록 요청받는 trainee]라는 익숙한 예시로 돌아간다. 이 모델은 trainee에 대한 감독자의 신뢰개발에 대한 질적 연구에서 발견된 요인을 예측한다. 이러한 결정요인은 각각 다음과 관련된 몇 가지 범주로 분류된다. 

• 수련생 (인식된 신뢰성의 다양한 trustee 요인) 
  
• 감독자 (신탁자의 성향 및 신뢰의사), 
  
• 상황 및 과제 (결과와 함께 위험을 감수하는 행위) 및 
  
• 이전의 신뢰 에피소드에 영향을 받는 역동적 관계 (신탁자에게 과거 사건이 피드백함)

모든 것이 잘 되면 피드백 루프는 더 큰 신뢰로 이어져야 하고, 위험 업무를 독립적으로 처리할 수 있는 더 많은 책임을 수탁자에게 위임해야 한다.
To explore the model, we return to the familiar example of the trainee who is asked to perform riskier, higher-stakes clinical tasks with less supervision as he gains in experience. The model predicts the factors found in qualitative research on supervisors’ development of trust in trainees. These determinants fall into several categories pertaining to, respectively,

• the trainee (trustee factors of perceived trustworthiness),
• the supervisor (the trustor's propensity and willingness to trust),
• the context and task (perceived risk and the action of risk taking with resultant outcomes) and, lastly,
• their dynamic relationship influenced by previous trust episodes (outcomes feeding back to the trustor).12, 65 

If everything goes well, the feedback loop should lead to greater trust and to the delegation of more responsibility to the trustee to handle risky tasks independently.

우리는 A, B, X 요인에 대한 논의로 넘어간다.
We move on to a discussion of the A, B and X factors.

신뢰도
Trustworthiness

훈련을 진전시키고 점점 더 복잡한 임상 업무를 위임받기 위해서는 훈련자가 스스로를 '신뢰할만한trustworthy' 사람으로 투영해야 하며, 역량만으로는 충분하지 않다는 것이 명백하다. Trust(신탁자trustor가 위험을 감수하기 위한 판단)와 Trustworthiness(신뢰를 발생시키는 수탁자trustee의 인식된 특성)는 중복되는 특성에도 불구하고, 경험적으로 구별되는 구조이다. 실제로 일부 학자들은 우리가 'trust'보다는 'trustworthiness'에 관심을 가져야 한다고 주장한다. [신탁자의 선입견preconceived notion을 조작]하려 하기보다는, [자신의 신뢰도trustworthiness를 높이는 것]이 더 달성 가능한 목표이다.
To progress in training and to be delegated increasingly complex clinical tasks, we see that trainees must project themselves as ‘trustworthy’ and it is apparent that competence alone is not enough. Trust (a judgement to take on risk by the trustor) and trustworthiness (perceived qualities of the trustee that engender trust) are empirically distinct constructs despite their overlapping qualities.66 In fact, some scholars argue that we should be less concerned with ‘trust’ than with ‘trustworthiness’.19 Rather than manipulating the trustor's preconceived notions, increasing one's own trustworthiness is a more achievable goal.

여러 연구에서 [신뢰성의 결정 요인determinants of trustworthiness]을 조사했습니다. 이것들을 검토하면서, 메이어 등은 그 요소들이 [능력, 자비, 청렴]의 세 가지 원칙 범주로 합쳐질 수 있으며, 세 번째 범주 없이는 이 중 두 가지 범주로는 충분하지 않다고 제안했다. 이것은 건강 관리에 대한 연구와 일치한다. 환자의 의사 신뢰에 영향을 미치는 요인에 대한 정성적 탐구는 [의사 속성]을 [기술적 역량(능력), 대인관계(선행성과 무결성) 및 구조/직원(능력) 요인]으로 설명하는 세 가지 범주로 분류했다. 신뢰도 결정 요인을 분류하는 방법은 여러 가지가 있겠지만, 의료에서 유용한 공식은 [역량, 의지, 무결성 및 역량]일 수 있다.
Multiple studies have examined the determinants of trustworthiness. In reviewing these, Mayer et al. proposed that the factors could be coalesced into three principle categories of ability, benevolence and integrity,15 and that no two of these is enough without the third. This fits with the research in health care. A qualitative exploration of factors influencing patients’ trust in their physicians grouped physician attributes into three broad categories described as

• technical competence (ability),
• interpersonal (benevolence and integrity) and
• structural/staffing (ability) factors.67 

Although there will be any number of ways to categorise trustworthiness determinants, in health care a useful formulation may be competence, willingness, integrity and capacity.

여기서의 근거는 다음과 같다. 

• 규제 기관 및 교육자는 직무별 지식과 기술을 통합한 역량 개념에 익숙하다.
  
• 의지는 위탁자에 대한 자선benevolence 의 구조와 유사하며 인식된 대인관계 기술을 포착한다(의학에서 자애benevolence 는 특별한 윤리적 의미를 갖는다).
  
• 성실성은 전문성과 유사한 중요한 독립적 요소이며, 마지막으로,
  
• 카파시티를 분리하는 것은 임상의가 최선의 의도로도 직면하는 시간과 자원의 압박을 더욱 분명하게 만든다.

The rationale here is:

• regulatory bodies and educators are familiar with the concept of competence which incorporates task-specific knowledge and skills;
• willingness is similar to the construct of benevolence towards the trustor and captures perceived interpersonal skills (whereas benevolence has a particular ethical meaning in medicine);
• integrity is an important stand-alone factor with analogies to professionalism, and, lastly,
• separating out capacity makes more explicit the time and resource pressures clinicians face even with the best of intentions.

임상의가 효과적으로 행동할 수 있는 역량은 조직적인 결정요인을 가지고 있다. 유능한 의사나 병원 서비스는 대기자 명단이 이미 서비스 불가능하기 때문에 새로운 환자를 볼 능력이 없을 수 있다. 임상의는 비슷한 배경을 가진 졸업생들과 혼합된 경험 때문에 자신을 증명할 기회가 있을 때까지 새로운 훈련생에게 일을 맡기는 것을 꺼릴 수 있다. 따라서 위험 계산에서 여러 신뢰 수준(즉, 대인 관계 및 조직 결정 요인)이 고려된다.
A clinician's capacity to act effectively has organisational determinants. A competent and willing surgeon or hospital service may not have capacity to see new patients as the waiting list is already unserviceable. A clinician may be disinclined to delegate a task to a new trainee until he's had a chance to prove himself because of mixed experience with graduates of a similar background. Multiple levels of trust (i.e. interpersonal and organisational determinants) therefore figure in any risk calculation.

조직은 그에 상응하는 신뢰도 결정요인을 가지고 있다고 볼 수 있다. Caldwell과 Clapham은 조직의

• '능력'은 역량, 재정적 균형 및 질 보증에 의해 판단될 수 있으며,
• '자애'는 정보에 대한 상호적 예의와 책임에 의해 판단될 수 있으며,
• '성실성'은 모두 임상 서비스 관리자에게 친숙할 것이라고 주장한다.

Organisations may be viewed as having corresponding trustworthiness determinants. Caldwell and Clapham14 argue that

• ‘ability’ in an organisation might be judged by competence, financial balance and quality assurance,
• ‘benevolence’ by interactional courtesy and responsibility to inform, and
• ‘integrity’ by legal compliance and procedural fairness, all of which will be familiar to clinical service managers.

신뢰 성향
Propensity to trust

[신뢰성Trustworthiness]은 [수탁자Trustee]의 특성을 나타내지만, 보다 완전한 신뢰 방정식은 [신탁자Trustor]의 성향과 위험성에 대한 이해가 필요하다. 기존의 의료 평가에서는 편향을 최소화하고 신뢰성을 높이기 위해 표준화 및 보정을 위해 모든 노력을 기울인다. 따라서 대부분의 평가는 신뢰와 위험에 대한 개별 임상 교사의 내재된 지향점을 경시하거나 무시하도록 설계되었다. 대조적으로, 메이어 외 모델은 우리에게 Trustor를 식별하고, 그의 독특한 의사 결정 과정을 이해하려고 시도할 것을 명시적으로 요청한다. 모든 Trustor는 신뢰에 대한 결정과 관련된 위험과 취약성에 자신을 노출시키는 데 있어 편안함이나 불안의 정도가 다르다. 이를 Trustor의 '신뢰 성향' 또는 수탁자의 '중개 렌즈'라고 표현하였다. [낮은 신뢰자]는 위협 메시지를 보고, [높은 신뢰자]는 지정된 시나리오에서 협력 메시지를 봅니다. 신뢰자의 성별, 나이 및 인종은 신뢰도에 대한 결정요인을 평가하는 방법에 차이를 만듭니다. 예를 들어, 젊은 응답자들은 '정직한 의사소통'의 가치를 더 높게 평가한다. 임상 감독자가 되는 것을 고려하고 있는 임상의가 선천적인 신뢰 성향에 따라 스스로 선택한다는 이론이 있을 수 있다.
Trustworthiness describes the characteristics of the trustee, but the more complete trust equation requires an understanding of the trustor's disposition and the risks. In conventional medical assessment, all effort is made to standardise and calibrate in order to minimise bias and increase reliability. Most assessments are therefore designed to downplay or disregard an individual clinical teacher's in-built orientation to trust and risk. By contrast, the Mayer et al. model15 explicitly asks us to identify the trustor and to attempt to understand his unique decision-making process. All trustors differ in their degree of comfort or anxiety in exposing themselves to the risk and vulnerability associated with making a decision to trust. This has been described as the trustor's ‘propensity to trust’15 or the trustor's ‘mediating lens’.68 Low trustors see the threat message and high trustors see the cooperative message in any given scenario.69 The gender, age and race of the trustor make a difference in how he or she weights determinants of trustworthiness.68 For example, younger responders rate the value of ‘honest communications’ more highly. One might theorise that clinicians considering becoming clinical supervisors will self-select based on their innate propensity to trust.

작업 및 컨텍스트
Task and context

[위험]은 메이어 외 모델의 핵심이다. 리스크는, 그리고 그에 따라 신뢰 또한 상황에 따라 다르며 작업별로 다릅니다. 우리는 글로벌하게 신뢰를 제공하지 않습니다. 대신 다음과 같이 질문합니다. '어떤 작업을 위해, 어떤 상황에서?' '그들이 실패하면 어떤 결과가 초래됩니까?' 죄수의 딜레마에서 보듯 '블라인드 트러스트'는 악용될 가능성이 높다. Trustworthiness 만으로는 충분하지 않고, 위험 및 상황 결정 요인을 고려해야 합니다. 과업 특이성에 대한 명백한 예는 위장병 전문의는 대장 내시경 검사를 수행하지만, 방광 내시경 검사를 수행하지는 않는다는 것이다. 임상 작업장은 이보다 훨씬 더 미묘한 결정으로 가득 차 있다. [위험평가]는 [주니어 의사]에게 [임상적 판단능력의 학술적 평가에서 패스를 주는 (다음 교대로 넘어갈 수 있도록) 감독자의 행위]와 [팀의 아픈 환자를 평가하고 관리하기 위해 같은 레지던트를 혼자 두지 않도록 하는 행위 ]사이의 차이에서 볼 수 있다. 첫 번째 시나리오에서는 실제로 전공의를 이동시킴으로써 임상 위험이 감소합니다. 후자의 경우, 오진 및 잘못된 관리로 인해 환자에게 용납할 수 없는 위험이 있으며, 의료-법률적 결과를 초래할 수 있는 감독자에게 개인 위험이 있다. 특정 임상적 맥락에서 이러한 [위험 평가]를 기반으로 신뢰가 확장되거나 거부되는 것을 볼 수 있습니다.
Risk is key to the Mayer et al. model.15 Risk, and therefore trust, are context- and task-specific.14, 15 We do not globally proffer trust; instead, we ask: ‘For what task and under what circumstances?’ and ‘What are the consequences of them failing?’ ‘Blind trust’, as seen in the prisoner's dilemma, is likely to be taken advantage of. Trustworthiness is not enough: risk and situational determinants must be taken into consideration. An obvious illustration of task-specificity is trusting a gastroenterologist to perform a colonoscopy, but not trusting him to perform a cystoscopy. Clinical workplaces are filled with far more nuanced decisions than this. Risk assessment can be seen in the difference between a supervisor's act of giving a junior doctor a bare pass on an academic assessment of clinical judgement (so that he is moved on to the next rotation) and the act of ensuring that the same resident is not left alone to assess and manage the team's sick patients. In the first scenario, clinical risk is actually reduced by moving the resident along. In the latter circumstance, there is unacceptable risk to the patient of misdiagnosis and mismanagement, and there is personal risk to the supervisor with potential medico-legal consequence. We see that trust is extended or denied based on this risk assessment in a particular clinical context.

신뢰 문헌의 흥미로운 갈림길은 [신뢰]와 [불신]이 [동일한 연속체의 반대극]인지, 즉 본 논문에서 취한 입장인지, 아니면 높은 신뢰와 높은 불신이 공존할 수 있는 복잡한 관계를 허용하기 위해 [불신]과 [신뢰]가 [별도의 구조]로 존재할 수 있는지에 대한 의문을 제기해 왔다. 한 가지 예는 서로 경쟁하는 기업들이 (잠재적인 불신으로 인해) 지적 재산을 신중하게 보호하면서 특정 프로젝트(신뢰가 필요한)에 협력할 수 있는 시나리오이다. [복잡한 관계]는 의학에 아주 많으며, 예를 들어, 우리는 [서로 경쟁하는 의료 서비스 제공자나 연구자]들 사이에서 비슷하게 conflicted되는 관계를 볼 수 있다. 그러나 관계의 범위 내에서 특정 업무와 맥락에 초점을 맞춘 결정으로 신뢰를 모델링하면 [별도의 축으로 신뢰와 불신을 고려할 필요성]이 해소되는 경향이 있다.
An interesting fork in the trust literature has concerned the question of whether trust and distrust are opposite poles of the same continuum, which is the position taken in this paper, or whether distrust and trust may exist as separate constructs to allow for complex relationships in which high trust and high distrust may coexist.64, 70 One example is the scenario in which competitive corporations may collaborate on specific projects (which requires trust) while continuing to carefully guard their intellectual property (due to a measure of potential distrust). Complex relationships are abundant in medicine and we may see similarly conflicted relationships between competing health service providers or researchers, for example. However, the need to consider trust and distrust on separate axes tends to resolve if we model trust as a decision centred on a specific task and context within the span of the relationship.8

[Trustor를 식별]하면 우리는 그 또는 그녀의 개인적 위험을 이해할 수 있다. Kennedy 등은 훈련생들이 임상 감독관에게 도움을 요청하지 못한 중요한 안전 문제를 조사했습니다. 감독관이 교육생에 대한 신뢰를 어떻게 발전시키는지 이해하고자 했던 Hauer 등의 연구처럼, 이는 교육생-감독자 관계에 초점을 맞춘 훌륭한 기초 연구였다. 다시 말해, 훈련생의 결정에 영향을 미치는 요소들은 훈련생, 감독자 및 임상 상황과 관련된 요소들로 분류될 수 있다. 그러나 우려는 달랐다. 예를 들어, Kennedy 등의 연구에서, 주요 발견은 훈련생들이 너무 많은 질문을 하면 그들의 직업적인 신뢰도에 대해 걱정한다는 것이었다. 차이점은 관점에 있다. 하우어 등은 감독관을 위탁자로 배치하고, 그녀의 훈련생에게 임상 업무를 위임하기로 결정했다. Kennedy 등은 훈련생을 신뢰자로 배치하는데, 이 신뢰자는 자신을 판단하지 않고 감독관이 임상 조언을 해줄 것을 신뢰해야 한다. 훈련자가 인지하는 위험에는 환자에게 미치는 위험뿐만 아니라 자신의 전문적 신뢰의 상실이 포함된다.
Identifying the trustor enables us to understand his or her personal risks. Kennedy et al.63 investigated the important safety issue of trainees’ failure to ask their clinical supervisors for help. Like the work of Hauer et al.,23 which sought to understand how supervisors develop trust in their trainees, this was an excellent grounded study centred on the trainee–supervisor relationship. Again, the factors influencing the trainee's decision could be grouped into those related to, respectively, the trainee, the supervisor and the clinical circumstance. However, the concerns were different. For instance, in Kennedy et al.'s work,63 a principle finding was that trainees worry about their professional credibility if they ask too many questions. The difference is in the perspective. Hauer et al.23 place the supervisor as the trustor, deciding to delegate clinical tasks to her trainee. Kennedy et al.63 position the trainee as the trustor, who must trust the supervisor to give him clinical advice without judging him. The trainee's perceived risks include the loss of his own professional credibility, as well as the risk to the patient.

이 모든 것이 개인이 신뢰 결정이 필요할 때마다 신중한 스프레드시트를 배치한다는 것을 말하는 것은 아니다. 의사 결정의 측면들은 [숙고적인 것]이기보다, [감정적이거나 본능적]일 수 있다. 실제로 수십 년의 심리학 연구는 결정이 [느리고, 노력하고, 분석적인 사고][보다는 빠르고, 감정적이며, 본능적이지만 편향되기 쉬운 우리의 마음]에 의해 최소한의 노력으로 이루어지는 것을 선호한다고 말한다. 이들은 신뢰를 결정하는 데 있어 '정서적'과 '인지적' 요소로 설명되었다. 신뢰 연구의 또 다른 잠재적 방향은 신뢰자가 환자, 학생 또는 임상의인지에 관계없이 의사 결정의 정서적 요소를 이해하려는 노력을 포함할 수 있다.

All of this is not to say that an individual will lay out a careful spreadsheet each time a trust decision needs to be made. Aspects of the decision making may be more emotive or instinctive than deliberate. Indeed, decades of psychology research tell us that decisions are preferentially made with least effort by our fast, emotional, instinctive but bias-prone mind, rather than by slow, effortful, analytical thinking.71 These have been described as ‘affective’ and ‘cognitive’ components to determining trust.14 Another potential direction for trust research may involve trying to understand the affective component of decision making,8 whether the trustor is the patient, student or clinician.

리스크, 신뢰 및 제어 메커니즘
Risk, trust and control mechanisms

서론에서 지적했듯이, 공공, 임상의, 교육 기관 및 보건 시스템은 모두 위험에 대처해야 하지만 [신뢰]만이 유일한 선택은 아닙니다. 규제, 정책 및 치안 유지policing은 [대인 신뢰가 제한된 상황]에서 통제력을 제공할 수 있다. 이것은 마침내 위험을 다루기 위한 수단으로서 신뢰와 통제 메커니즘 사이의 상호 작용에 이르게 한다.
As we indicated in the introduction, the public, clinicians, educational organisations and health systems all need to deal with risk, but trust is not their only option. Regulation, policy and policing may offer control in contexts in which interpersonal trust is limited.72 This brings us finally to the interplay between trust and control mechanisms as means to deal with risk.

[시뮬레이션 이전 시대의 교육의 사례]는 [간호학]과 [의학]이 캐뉴레이션이나 비위관 배치와 같은 간단한 절차를 가르치는 경향이 있었던 방식의 차이를 의미한다.

• [간호사]들은 공식적인 훈련, 역량 승인 및 재인증을 통해 보다 프로토콜 중심적인 과정을 따르는 반면,
• [의사]들은 역사적으로 '하나를 보고, 하나 하고, 하나를 가르치는' 접근법이라고 일컬어지는 것에 대해 최소한의 지시만을 받았다.

틀림없이 이것은 [신뢰 대 통제 접근 방식]을 보여주며, 각각의 접근 방식에는 장단점이 있다. 둘 다 조직이나 단체가 위험을 다루기로 선택할 수 있는 방법이다.
An education example from the pre-simulation era refers to the difference in the ways in which nursing and medicine have tended to teach simple procedures such as cannulation or nasogastric tube placement.

• Doctors were historically given minimal direction in what has been referred to as a ‘see one, do one, teach one’ approach,73 whereas
• nurses often follow a more protocol-driven process with formal training, competency sign off and reaccreditation.

Arguably this illustrates trust versus control approaches, and there are pros and cons to each. Both are ways in which an organisation or group may choose to deal with risk.

조직 수준에서 [투명성과 책임성]은 우리의 기관 및 직업에서 점점 더 중요하게 인식되는 비즈니스 및 정부 원칙입니다. 고등교육 분야는 [제도적 규제 및 정부 차원]에서 [신뢰 대 통제 메커니즘]의 훌륭한 예를 제시한다. 시간이 지남에 따라, [외부 관리주의의 문화의 부상]과 [내부 통제의 상실]은 교육과 교육 분야에 종사하는 학자들 사이에서 증가하는 불만의 원천으로 언급되어 왔다. [외부 감사 및 핵심 성과 지표]와 같은 모니터링 시스템은 [신뢰와 자율성 상실]이라는 상응하는 [댓가를 치르면서 그 자체가 목적]이 될 수 있다. 이 현상은 영국과 호주에서 설명되지만, 다른 곳에서는 덜 명백할 수 있다. 다른 극단에서 핀란드의 교사들에 대한 신뢰 수준은 너무 높아서 정기적인 외부 검토가 필요하지 않다고 여겨진다. 
At an organisational level, transparency and accountability are business and government principles that are increasingly perceived as important in our institutions and professions. The higher education sector presents an excellent illustration of trust versus control mechanisms at the level of institutional regulation and government.10 Over time, a rise in the culture of external managerialism and the loss of internal control have been cited as sources of increasing dissatisfaction amongst academics engaged in education and in the education sector.74 Monitoring systems, such as external audit and key performance indicators, can become ends in themselves with a corresponding cost in loss of trust and autonomy. This phenomenon is described in the UK75 and in Australia,76 but may be less apparent elsewhere. Levels of trust in teachers in Finland, at the other extreme, are so high that routine external review is not deemed necessary.10

또한 [통제시스템은 의료 분야에서 점점 더 표준화]되고 있으며, 의료 전문가에 대한 이전 시대의 '존중과 맹목적인 신뢰'를 대체했다. 병원 기반 임상의는 이제 지속적인 전문 개발 및 전문적 재검증, 사고 보고, 근본 원인 분석 및 감사와 같은 [수많은 위험 관리 도구]에 익숙합니다. 의도는 일반적으로 양성으로 간주되고 데이터는 시스템 최적화를 주도하는 것으로 간주되지만, 그 결과는 [직업적 자율성과 신뢰의 침식]일 수 있다. [성숙한 시스템]은 [마땅할 때 신뢰]하고 [필요할 때 통제]하는 메커니즘을 모두 통합할 수 있지만, 동시에 똑같은 넓은 붓을 가지고 모든 사람을 색칠하고자 하며, 이는 분노를 일으킬 수 있습니다. 의료에 대해서 [신뢰를 갖는 통제 시스템]과 [자율성]의 최적의 상호 작용에 대한 검토가 필요하다. 신뢰, 통제 및 위험의 어휘는 이를 수행하기 위한 도구 중 일부를 제공할 수 있습니다. 
Control systems are also increasingly the norm in health care and have replaced a previous era's ‘deference and blind trust’ in health care professionals.77 Hospital-based clinicians are now familiar with a plethora of risk management tools, such as mandatory continuing professional development and professional revalidation, incident reporting, root cause analysis and audit. Although the intent is generally regarded as benign and the data as driving system optimisation, a consequence may be the perception of eroded professional autonomy and trust. A mature system may be able to incorporate both trust when it is deserved and control mechanisms when they are required, but at the moment the same broad brush is used to paint all comers, which has the potential to breed resentment. An examination of the optimal interplay of control systems with trust and autonomy in health care is required. The vocabulary of trust, control and risk may provide some of the tools with which to carry this out.

결론
Conclusions

위험 관리는 의심할 여지 없이 의료 제공과 의료 교육의 관계를 특징짓는다. [외부 감사 및 인증]과 같은 [선의의 통제 메커니즘]은 임상 환경에서 위험을 관리하도록 설계된 침해적인encroaching 존재이지만, 다른 접근 방식은 '신뢰'이다. EPA의 사용은 직장 기반 평가에서 신뢰를 탐구하는 한 가지 방법이다. 신뢰와 위험 또는 취약성 사이의 연관성은 사회과학 및 관리 문헌에서 분명하며, 환자-의사 관계에서 잘 기술되어 있지만 의학 교육 문헌에서는 이러한 연관성이 과소평가될 수 있다. 시뮬레이션에도 불구하고, 학생이나 훈련생이 수행하는 모든 임상 활동은 환자와 임상의에게 [어느 정도의 위험을 수반]한다. 그러므로 직장 학습과 평가에서 '신뢰'는 '역량'보다 더 진실하고 실용적인 어휘를 제공할 수 있다. 왜냐하면 위험은 명백한 고려사항이기 때문이다.
Management of risk undoubtedly characterises relationships in health care delivery and therefore medical education. Although well-intended control mechanisms, such as external audit and accreditation, are an encroaching presence designed to manage risk in clinical settings, another approach is ‘trust’. The use of EPAs is one way in which trust is being explored within workplace-based assessment. The link between trust and risk or vulnerability is clear in the social sciences and management literature, and although it is well-described in patient–doctor relationships, this association may be underappreciated in the medical education literature. Simulation notwithstanding, every clinical activity undertaken by students or trainees carries some risks for patients and clinicians. In workplace learning and assessment, ‘trust’ may therefore offer a more authentic and practical vocabulary than ‘competency’ because risk is an explicit consideration.

경영 문헌에서 나온 마이어 등의 강력한 신뢰 모델은 교육생에 대한 감독자의 신뢰 개발 보고와 일치한다. 예를 들어, 훈련생은 자신의 질문을 비판단적으로 처리할 수 있는 감독자에 대한 신뢰, 특정 임상 과제를 수행할 수 있는 환자의 신뢰, 적절한 졸업생을 제공할 수 있는 대학 프로그램에 대한 임상의사의 신뢰 등으로 표현되는 많은 다른 신뢰 관계가 있다. 가장 기본적인 수준에서 누가 신탁자인지, 누가 수탁자인지, 어떤 업무를 하는지 명확하게 기술하는 것이 도움이 된다. 각각의 관계는 대인관계와 조직적인 요소를 가지고 있다. 의료 및 의료 교육에서 [신뢰와 통제 메커니즘]을 이해하고 고려하는 것은 신뢰와 임파워먼트를 적극적으로 장려하면서, 위험을 성숙한 방식으로 관리하는 시스템의 개발로 이어질 수 있다.
Mayer et al.'s robust model of trust15 from the management literature is consistent with the reporting of supervisors’ development of trust in trainees. There are many other trust relationships in health care and medical education manifested by, for example, a trainee's trust in a supervisor to handle his questions non-judgementally, a patient's trust in her doctor to undertake a specific clinical task, or a clinician's trust in a university programme to deliver suitable graduates. At the most basic level, it is helpful to clearly delineate who is the trustor, who is the trustee, and for what task. Each relationship has interpersonal and organisational elements. Understanding and considered utilisation of trust and control mechanisms in health care and medical education may lead to the development of systems that maturely manage risk while actively encouraging trust and empowerment.

© 2017 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

EPA 프레임워크의 논리와의 고군분투 (Med Educ, 2022)
Struggling with the logic of EPA frameworks
Matt Sibbald1 | Glenn Regehr2

[신뢰할 수 있는 전문 활동(EPA) 프레임워크의 논리]를 둘러싼 [현실에서 일어나는 투쟁]을 알고 싶다면 역량 위원회에 참여하면 그에 대한 이야기를 듣게 될 것입니다. 역량 위원회(CC)는 EPA 데이터를 EPA 프레임워크의 깔끔한 행과 열로 신중하게 집계하여 진행 상황을 신중하게 정리tabulate, 요약, 판단한다. 그러나 EPA 프레임워크가 연습생 진행 상황을 불완전하게 포착할 때, CC는 종종 프레임워크 자체에 대해 논의한다. 헤누스 등은 42개 연구의 범위 검토를 수행함으로써 CC에게 EPA 프레임워크의 기본 논리에 대한 통찰력을 주었다. 그들은 로직의 세 가지 주요 흐름, 즉 서비스, 절차, 질병 또는 환자 범주를 확인했다. 그들의 작업은 이러한 EPA 프레임워크를 논의하기 위한 분류법을 제공하여 대화를 진전시키고, 그들의 강점과 격차를 식별한다. 실제로 EPA는 8개 중 1 하나 꼴로 세 가지 논리 중 어느 하나에도 맞지 않았고 위탁 등급에 쉽게 의존하지 않는 것으로 느껴졌다. 저자들은 이를 비EPA로 분류하여 모든 역량 기반 시스템을 EPA에 짜넣고 CC가 직면한 도전에 대한 통찰력을 제공하는 과제를 나타낸다. 
If you are looking for practical struggles around the logic of entrustable professional activity (EPA) frameworks, sit in on a competency committee, and you are bound to hear about them. Competency committees (CCs) carefully tabulate, summarise and judge progress, often by carefully aggregating EPA data into neat rows and columns of an EPA framework. But when the EPA framework incompletely captures trainee progress, CCs often debate the framework itself. Hennus and others have given CCs insight into the underlying logic behind EPA frameworks by conducting a scoping review of 42 studies.1 They identified 3 dominant lines of logic: service, procedures, and disease or patient categories. Their work moves the conversation forward by providing a taxonomy to discuss these EPA frameworks, identifying their strengths and also their gaps. In fact, one in eight EPAs did not fit into any one of the three logics and was felt not to lend itself easily to entrustment ratings. The authors labelled these as non-EPAs, signalling the challenge of squeezing all of a competency based system into EPAs and providing insight into the challenges CCs face.

예를 들면 이 문제를 더 잘 설명할 수 있을 것이다. 같은 교육 프로그램에 속해 있지만 EPA 포트폴리오를 완성하는 다른 단계에 있는 두 명의 수련생를 상상해 보십시오. 샤마라는 그녀의 또래들보다 거의 1년 앞서 있다. 그녀는 어텐딩에게 완료해야 하는 EPA를 강조함으로써 각 교대조 또는 입원 단위 주간을 시작하면서 EPA와 관련된 경험을 전략적으로 찾는다. 대조적으로, 루빈은 그의 동료들보다 거의 6개월 뒤쳐지고 있다. 역량 위원회는 루빈이 자신의 훈련 환경에 완전히 참여하고 있으며, 항상 환자 관리 책임을 따르고 항상 다음 필요한 작업을 자발적으로 수행한다고 들었습니다. 그러나 루빈은 샤마라와 같이 사전 예방적 접근법을 하기보다는, 사후에 EPA 관련 경험을 식별하는 데 의존한다. CC는 샤마라의 발전을 칭찬하고 동료들을 따라잡기 위한 전략을 루빈에게 제안합니다. 
Perhaps an example would further illuminate this issue. Imagine two trainees—peers in the same training programme—but at different stages of completing their EPA portfolios. Shamara is nearly 1 year ahead of her peers. She strategically seeks out experiences relevant to EPAs, starting each shift or inpatient unit week by highlighting EPAs that she needs to complete to her attendings. In contrast, Rubin is lagging nearly 6 months behind his peers. The competency committee hears that Rubin is fully engaged in his training environment, always following up on patient care responsibilities and always volunteering to do the next required task. However, he relies on identifying EPA relevant experiences after the fact, lacking Shamara's proactive approach. The competency committee commends Shamara on her progress and suggests strategies to Rubin to catch up to peers.

그러나 토론에서는 긴장감이 감돌고 있습니다. 루빈은 훌륭한 거주자이며, 최고 중 한 명입니다. 그는 신뢰할 수 있고 임상적으로 빈틈이 없으며, 교수진들은 그가 전체 서비스를 독립적으로 운영할 수 있도록 하는 데 완전히 편안함을 느낀다. 대조적으로, 샤마라는 견고한 거주자이지만, 교수진은 그녀가 환자 관리의 복잡성과 씨름하는 데 완전히 관여한다고 느끼지 않습니다. 그녀는 자신을 통해 추론하거나 임상 의사 결정의 복잡성과 씨름하지 않고 교수진 관리 제안을 빠르게 수용하고 이행합니다.
Yet there is tension in the discussion—Rubin is a great resident—one of the best. He is dependable and clinically astute with faculty feeling completely comfortable letting him run the entire service independently. In contrast, Shamara is a solid resident, but faculty does not feel that she fully engages in wrestling with the complexities of patient care. She is quick to accept and implement faculty management suggestions without reasoning them through herself or grappling with the complexity of clinical decision making.

역량 위원회는 EPA 프레임워크의 논리에 대해 토론하고 있다. 결국, EPA 프레임워크는 커리큘럼과 평가를 알려주는 훈련 프로그램의 구조를 제공하기 위한 것이다. 그럼에도 불구하고 [샤마라와 루빈의 이야기]는 EPA 포트폴리오 진행과 훈련생들의 직업 실습 참여 사이의 차이를 강조한다. 그것은 [의사가 되기 위해 공동체의 실천에 의미 있게 참여하는 것]과는 대조적으로 [전문직업적 실천 단위에 대한 신뢰도를 달성하는 것]의 차이를 강조한다. 전자는 이러한 경험으로부터 [의미를 구축]하고 [전문직과 정렬된 정체성을 개발]하기 위해 [전문직의 사회적 역학] 내에서 [경험에 참여하는 근본적인 역할]을 인식한다. 실천 공동체 내에서, 이것은 단지 [전문적 실천의 단위]를 수행하는 것이 아니라, (전문적 정체성의 획득을 가장 많이 지원하는) [전문직의 실천]에 참여하는 것이다.
The competency committee finds itself debating the logic of the EPA framework. After all, an EPA framework is meant to provide structure for a training programme, informing the curriculum and assessment. And yet the story of Shamara and Rubin highlights differences between EPA portfolio progress and the engagement of trainees with the practices of a profession. It highlights the difference between achieving entrustability on units of professional practice in contrast to engaging meaningfully in the practices of the community in order to become a physician. The latter recognises the fundamental role of engagement in experiences within the social dynamic of the profession in order to build meaning from these experiences and develop an identity aligned with the profession.2 Within a community of practice, it is engaging in the practices of a profession rather than just units of professional practice that most supports the acquisition of a professional identity.

실제로, [다양한 EPA 프레임워크의 논리적 차이]를 식별함에 있어 헤누스 등은 서비스, 절차, 질병 및 환자 범주가 모두 [의사의 진료에 대한 공통된 관점]을 공유한다는 동일성을 식별한다. 이는 이러한 EPA 프레임워크가 생성되는 방법을 고려할 때 이해할 수 있다. Lepre 등은 EPA 프레임워크를 생성할 때 이해관계자 협의 프로세스의 동일성sameness을 확인했다. 상담 대상자는 실무자와 학자로, 서비스 사용자, 정책 입안자, 다른 직종의 실무자 및 학생 등 [다른 전문직의 관점을 가진 사람]은 5명 중 1명 미만이었다. 마찬가지로, 프레임워크 개발에 사용되는 주요 방법 및 전략에는 문헌 검토, 그룹 기술 및 이해관계자 숙고가 포함되며, 포커스 그룹을 통한 작업장 과제에 대한 일차 데이터 수집, 인터뷰 및 실무 분석은 거의 사용되지 않는다.4 따라서 [EPA의 주요 논리]가 [서비스, 프로시져, 질병 및 환자 범주]가 정확하게 들어맞는 [거래적 일화적 보건의료 만남]의 지배적인 프레임과 함께, [의견을 제공한 이해 관계자의 지배적인 렌즈]를 나타낸다는 것은 놀랄 일이 아니다. 또한 이러한 관점이 [팀 기반 돌봄, 지역사회 업무, 옹호 업무 및 제도 업무와 관련된 직장 관행]을 어떻게 강조하는지 쉽게 상상할 수 있습니다. 역량 위원회의 루빈에 대한 호의적인 인상은 이러한 non-EPA-able areas에 대한 참여engagement에서 비롯되었을 가능성이 크다.
In fact, in identifying the logic differences of various EPA frameworks, Hennus et al.1 also identify their sameness—that service, procedures, disease and patient categories all share a common perspective of the practice of physicians. This is understandable when considering how these EPA frameworks are generated. Lepre et al.3 identified a sameness to the stakeholder consultation processes in generating EPA frameworks. Most consulted were practitioners and academics, with less than one in five involving those with other workplace perspectives such as service users, policy makers, practitioners from another profession and students. Similarly, the predominant methods and strategies used to develop frameworks include literature review, group techniques and stakeholder deliberation, with primary data collection about workplace tasks through focus groups, interviews and practice analysis being used rarely if at all.4 It should come as no surprise, therefore, that the predominant logics represent the predominant lens of the stakeholders being consulted, with a predominant frame of transactional episodic healthcare encounters within which service, procedures, disease and patient categories squarely fit. It is also easy to imagine how this perspective would de-emphasise workplace practices involving team based care, community work, advocacy work and institutional work.5 The competency committee's favourable impression of Rubin quite likely stems from engagement in these non-EPA-able areas.

이 때 수반되는 위험은 [EPA 기회 탐색]을 과도하게 우선적으로 추구함으로써, [전문직 공동체의 일상적인 실천에 참여하는 대가로 게임화되는 것]이다. Billet은 직장 학습에서 후자의 접근 방식의 중요성을 강조하며, [덜 구조화된 환경에서 깊이 내재된 페다고지]를 활용하여 [트레이닝을 직무 환경에서의 어포던스로 감싼다]. 이러한 관점에서, [기회]는 [커리큘럼 프레임워크]에 의해 규정되는 것이 아니라 [참여]를 통해 얻어진다. 위의 예에서, 루빈의 접근 방식은 견습생으로서, 직장 환경에서 요구되는 전문 그룹의 연습에 관여한다. 그의 보상은 임상팀에의 수락과 후광적인 신뢰감이다. 샤마라는 전략적이고 EPA 시스템을 훈련 기회로 활용한다. 샤마라와 같은 접근 방식은, 일반적으로 [임상 팀의 신뢰와 수용을 얻는 시스템 작업]에 대한 [다양한 유형의 참여]를 우회함에도 불구하고 empowering한다. 그러나 이는 평가자들이 시스템에 결함이 있는 것처럼 느끼게 하고, 직장 훈련의 핵심 구성 요소를 놓치게 합니다. 즉, [직무 수행에의 참여]와 [직무 수행 단위]를 잘못 동일시하는 것입니다.
What this risks is prioritising EPA opportunity seeking so much that they become gamified at the expense of engaging in the day to day practices of a professional community.6, 7 Billet8 highlights the importance of the latter approach in workplace learning, describing the central importance of participatory practice, taking advantage of deeply embedded pedagogies in a less structured setting to fold training into the affordance of the workplace environment. Within this lens, opportunities are earned through engagement rather than prescribed by curricular framework. In the example above, Rubin's approach is that of an apprentice, engaging in practices of the professional group as required by the workplace environment. His reward is acceptance into the clinical team and halo sense of trust. Shamara is strategic and levers the EPA system into training opportunities. This approach is empowering, even if it bypasses the type of engagement in system work that usually earns the trust and acceptance of the clinical team. However, it leaves assessors feeling as if the system is flawed, missing a core component of workplace training—mistakenly equating engagement in practices of a profession with units of practice.

따라서 우리가 다양한 EPA 프레임워크의 논리와 씨름하는 동시에, [프레임워크에 스며있는 논리]와 씨름하는 것도 중요할 것입니다. 커뮤니티 또는 실습 환경 내에서 덜 구조화된 직장 학습에 대한 훈련생 참여와 EPA 논리의 이점을 균형 있게 조정하는 것은 역량 위원회가 루빈과 샤마라 같은 훈련생들의 진행 상황에 대해 심의할 때 직면하는 긴장을 해결하기 위해 필요할 수 있다.
So even as we struggle with the logics of various EPA frameworks, it will be important to struggle, too, with the logic that pervades all these frameworks. Balancing the advantages of EPA logic with trainee engagement in less structured workplace learning within a community2 or landscape of practice9 may be required to address the tensions faced by competency committees as they deliberate about the progress of trainees like Rubin and Shamara.

Struggling with the logic of EPA frameworks

PMID: 35619052

DOI: 10.1111/medu.14846

EPA 프레임워크의 논리: 스코핑 리뷰 (Med Educ, 2022)
The logic behind entrustable professional activity frameworks: A scoping review of the literature
Marije P. Hennus1 | Marjel van Dam2 | Stephen Gauthier3 | David R. Taylor3 | Olle ten Cate4

1 소개
1 INTRODUCTION

신뢰할 수 있는 전문 활동(EPA)은 역량 적용을 위한 명확한 목적을 제공하는 보건 전문가 교육에서 빠르게 진화하는 개념을 나타낸다.

• [역량]은 교육자가 임상 실습에 제공하는 능력을 반영하는 반면,
• EPA는 이러한 역량이 필요한 의료의 과제이다.

EPA는 개별적인 직업별 작업(또는 작업 묶음)으로, 일반적으로 식별 가능한 환자 치료 행위이며, 여기에는 여러 역량(중요한 지식, 적절한 기술 및 태도 포함)의 통합이 필요하다. 학습자는 기본적으로 이러한 작업을 수행함으로써 EPA를 위해 훈련되고 있으며, 처음에는 엄격한 감독 하에 점차 자율적으로 훈련되고 있다. EPA에서 유능해지기 위한 진행은 소위 [위탁-감독 척도]를 따른 학습자의 여정을 반영한다. 이러한 척도는 학습자가 안전한 환자 치료를 보장하기 위해 필요한 감독 수준을 포착하는 것을 목표로 한다. 역량이 증가함에 따라 감독 강도를 시간이 지남에 따라 신중하게 낮춰야 한다. 전체적으로 본다면, 일련의 EPA는 전문 교육을 위한 커리큘럼의 틀을 정의하고 알리기 위해 사용될 수 있으며, 실제로 전문직의 핵심 활동을 반영한다. 이와 같이 EPA 기반 커리큘럼은 임상 훈련과 평가를 임상의가 일상 업무에서 실제로 수행하는 작업과 연결할 수 있는 잠재력을 가지고 있다. 결과적으로, 점점 더 많은 수의 대학원 의학 훈련 프로그램이 커리큘럼을 재설계하기 위해 그것들을 사용하기 시작했다. 

Entrustable professional activities (EPAs) represent a rapidly evolving concept in health professionals' education that offers clear purpose for the application of competencies. Whereas

• competencies reflect the capabilities trainees bring to clinical practice,1 
• EPAs are the tasks of health care for which these competencies are needed.

An EPA is a discrete profession-specific task (or bundle of tasks), typically an identifiable act of patient care, which requires the integration of multiple competencies (including vital knowledge, appropriate skills and attitudes).2, 3 Learners are essentially being groomed for EPAs by performing these tasks, initially under strict supervision and gradually more autonomously. Progression towards becoming competent in an EPA reflects a learner's journey along so-called entrustment-supervision scales. These scales aim to capture the level of supervision a learner requires to ensure safe patient care; with increasing competence, the intensity of supervision should be carefully lowered over time.4, 5 Taken collectively, a set of EPAs can be used to define and inform the framework of a curriculum for specialty training and, in fact, reflects the profession in its core activities. As such, an EPA-based curriculum has the potential to link clinical training and assessment to the work that clinicians actually do in daily practice.6 Consequently, an increasing number of postgraduate medical training programmes have begun using them to redesign their curricula.7, 8

EPA는 이해관계자 간에 내용 타당성과 수용성을 모두 제공할 수 있는 신중하게 구성된 접근방식을 요구한다. EPA의 개발 과정을 안내하는 데 도움이 되는 지침이 존재하지만, [예비 프레임워크 초안을 작성하기 위해 사용할 논리]를 결정하는 것은 중요하고 종종 어려운 첫 번째 단계를 제시한다. EPA 프레임워크의 논리는 개발자가 직업의 관행을 전문 작업 단위로 분해하기 위해 사용하는 관점으로 정의할 수 있다. 현존하는 문헌에서 발견된 보고된 접근법에는 다음이 포함된다. 

• 역할 ('다른 분야의 컨설턴트 전문가 역할'), 
  
• 절차 ('일반적인 폐 및 중환자 치료 절차를 안전하고 효율적으로 수행') 
  
• 질병 관리 ('패혈증 환자 관리') 
  
• 환자 범주 ('청소년 의료') 및 
  
• 기능 ('외래 환자 클리닉 실행') 

EPAs require a carefully constructed approach that can deliver both content validity and acceptance among stakeholders.9 Although guidelines exist to help guide the developmental process of EPAs,3, 10 deciding what logic to use to draft a preliminary framework poses a crucial and often difficult first step. The logic of an EPA framework can be defined as the perspective used by the developers to break down the practice of a profession into units of professional work.11 Reported approaches found in extant literature include

• roles (‘Act as the consultant specialist for other disciplines’),
• procedures (‘Safely and efficiently perform common pulmonary and critical care procedures’),
• disease management (‘Management of a patient with sepsis’),
• patient categories (‘Adolescent healthcare’) and
• functions (‘Running the outpatient clinic’).7, 8 

유사한 분야에서도 서로 다른 접근법이 사용되어 왔다. 예를 들어 폐 및 중환자 의료에 대한 [미국] 펠로우십 교육을 위한 '기능' 및 '역할 기반' EPA를 [네덜란드] EPA의 보다 '질병 관리' 지향 EPA 프레임워크와 비교한다. '모든 사람에게 맞는 하나의 크기'라는 격언은 EPA 프레임워크의 개발에 분명히 적용되지 않는다. 설정, 목적, 교육 프로그램에 기반한 맞춤화가 불가피해 보인다.
Even within similar disciplines, different approaches have been used. Compare for instance the predominantly ‘function-’ and ‘role-based’ EPAs for American Fellowship Training in Pulmonary and Critical Care Medicine12 with the more ‘disease management’ orientated EPA-framework of their Dutch counterparts.13 The ‘one size fits all’ adage clearly does not hold true for the development of EPA frameworks; customisation based on setting, purpose and/or training programme seems inevitable.

이 범위 문헌 검토는 대학원 의학 교육 및 펠로우십 프로그램에 걸쳐 EPA 프레임워크 개발에 사용된 지배적인 논리와 추가 연구를 위한 영역을 강조할 뿐만 아니라 EPA 개발을 위한 모범 사례 지침을 잠재적으로 알리기 위한 그들의 합리성을 매핑하는 것을 목표로 했다.
This scoping literature review aimed to map the dominant logics used in the development of EPA frameworks across postgraduate medical education and fellowship programmes and their rationales to potentially inform best practice guidelines for EPA development in addition to highlighting areas for further research.

2 방법
2 METHODS

2.1 설계
2.1 Design

주제에 대한 기존 연구 결과를 수집, 평가 및 제시하는 반복적이고 유연한 방법인 범위 검토가 수행되었다. 우리는 철저한 검토를 추구하지 않고 지배적인 EPA 논리를 식별하고 매핑하기 위해 시작했기 때문에 체계적인 검토 대신 범위를 사용했다. 이는 체계적 검토 및 메타 분석을 위한 선호 보고 항목(PRISMA)의 범위 검토 확장에 따라 보고되었다. 
A scoping review, an iterative and flexible method to collect, evaluate and present findings from existing research on a topic,14 was performed. We used a scoping, instead of a systematic review, as we did not seek to be exhaustive but set out to identify and map dominant EPA logics.15 This was reported in accordance with the Preferred Reporting Items for Systematic Review and Meta-analysis (PRISMA)'s extension for Scoping Reviews.16

2.2 검색 전략
2.2 Search strategy

문헌 본문의 범위를 평가하기 위해, 우리는 Khalil 등으로부터 채택된 스코핑 리뷰에 대한 증거 기반 다단계 접근법을 사용했다. 2005년 1월부터 2020년 12월까지의 연구는 타당성과 폭 및 포괄성의 균형을 맞추기 위해 3단계 문헌 검색을 사용하여 확인되었다.

• 1단계는 제목과 초록에 포함된 텍스트 단어(위탁가능 프로페셔널 활동*)를 2명의 저자(MH, MD)가 독립적으로 선별하여 MEDLINE과 Embase에 대한 제한된 검색으로 구성되었다.
• 두 번째 단계는 이 텍스트 단어들을 포함된 모든 데이터베이스(구글 스콜라, 스코푸스, 웹 오브 사이언스 추가)에서 검색어로 사용했다. 이러한 데이터베이스는 EPA에 대한 문헌을 포괄하고 함께 고려할 때 가능한 포괄적으로 선택되었다. 이 검토에서 사용된 검색 구문에 대한 자세한 내용은 지원 정보(부록 1)에서 확인할 수 있습니다.
• 세 번째 단계에는 확인된 모든 보고서 및 추가 연구를 위한 논문의 참조 목록 분석이 포함되었다.

To assess the extent of the body of literature, we used an evidence-based multistage approach to scoping reviews adapted from Khalil et al.17 Studies from January 2005 until December 2020 were identified using a three-step literature search in order to balance feasibility with breadth and comprehensiveness.

• The first stage consisted of a limited search of MEDLINE and Embase by screening of text words (Entrustable Professional Activit*) contained in the title and abstract by two authors (MH, MD) independently.
• The second stage used these text words as search terms across all included databases (adding Google Scholar, Scopus and Web of Science). These databases were chosen to span literature on EPAs and to be as comprehensive as possible when considered together. The full details of the search syntaxes used in this review can be found in the Supporting Information (Appendix 1).
• The third stage included analysis of the reference lists of all identified reports and articles for additional studies.

2.3 연구 선정
2.3 Study selection

2.3.1 포함 기준
2.3.1 Inclusion criteria

포함시킬 수 있는 연구들은 다음과 같은 연구였다.

• (i) 개발된 EPA 프레임워크의 논리를 설명하거나 최소한 EPA 제목을 제공한다. 
  
• (ii) 대학원 의학 교육 또는 펠로우십 프로그램 및 
  
• (iii) 영어로 쓰여졌다.

포함된 연구는 대조, 요약 및 결과 보고가 가능하도록 표와 서술 형식으로 차트화되었습니다.

Eligible for inclusion were studies that

• (i) either described the logic of developed EPA frameworks and/or provided at least the titles of EPAs for
• (ii) a postgraduate medical education or a fellowship programme and
• (iii) were written in English.

Included studies were charted in a tabular and narrative format allowing for collation, summarising and reporting of results.

2.3.2 배제 기준
2.3.2 Exclusion criteria

다음과 같은 문헌은 제외되었다.

• (i) 주 원고, 보충 데이터 및 온라인 보충 데이터에 EPA 프레임워크를 제공하지 않아 기본 논리를 분석할 수 없었다. 
  
• (ii) EPA의 규모와 복잡성의 결정에 영향을 미칠 수 있으므로 (하위) 전문 교육 프로그램의 단일 EPA 또는 일부 EPA에 대해서만 설명한다. 
  
• (iii) 학부생, 대학원 의학 교육(GME)에 입학하는 신규 졸업생의 평가 및 기타 보건 전문직(예: 간호사, 수의사, 약사)을 위한 EPA 프레임워크를 제공했다.

Papers were excluded if they

• (i) did not provide an EPA framework in either the main manuscript, supplemental data and/or online supplemental data, making it impossible to analyse the underlying logic;
• (ii) described only a single EPA and/or EPAs for a part of a (sub)specialty training programme as this may have impacted decisions of size and complexity of the EPAs; and/or
• (iii) offered an EPA framework for undergraduates, for the evaluation of newly graduated students entering graduate medical education (GME) and/or for other health professions (e.g., nurses, veterinarians and pharmacists).

2.4 선별과정
2.4 Screening process

두 명의 저자(MH, MD)는 검색 과정에서 반환된 모든 제목과 초록을 독립적으로 선별하여 포함 기준을 충족하지 않는 논문을 거부하였다. 논문을 포함하거나 제외하는 결정을 제목 및/또는 요약에 기초하여 내릴 수 없는 경우, 그 결정을 알리기 위해 전문에 접근했다. 현시점에서 불확실성이 여전했다면 제3의 저자(SG)가 심판 역할을 해 합의를 이끌어냈다. 
Two authors (MH, MD) independently screened all titles and abstracts returned during the search process, rejecting papers that did not meet the inclusion criteria. If a decision to either include or exclude a paper could not be made based on title and/or abstract, the full text was accessed to inform the decision. If uncertainties still remained at this point, a third author (SG) served as referee to help reach consensus.

2.5 논리의 분류
2.5 Categorisation of logic

심사 과정 동안 데이터의 반복 분석(종종 근거 분석이라고 함)을 이용한 귀납적 코딩 스타일을 두 명의 저자(MH, MD)가 독립적으로 사용하여 코드 초안을 작성했다. 이후 팀 미팅(MH, MD, SG, DT, OtC)을 개최하여 10편의 논문의 파일럿 코딩에 대해 논의하고, 이후 데이터 코딩과 추출을 MH와 MD가 수행하는 코딩 절차를 미세 조정하였으며, 두 저자는 제3저자(SG)와 함께 논문 내 포함된 모든 논문과 코딩된 EPA 로직을 독립적으로 읽고 재독하였으며, 사용된 논리에 대한 합의가 즉시 이루어지지 않았을 때 심판 역할을 맡았습니다. 
During the screening process, an inductive coding style using iterative analysis of the data (often referred to as Grounded Analysis) was be used by two authors (MH, MD) independently resulting in draft codes.18 Hereafter, a team meeting (MH, MD, SG, DT and OtC) was held to discuss a pilot coding of 10 papers and to fine-tune the coding procedure, following which data coding and extraction were performed by MH and MD. Both authors independently read and re-read all of the included papers and coded EPA logics within the papers with the third author (SG) serving as referee for papers when consensus on the logic used was not immediately reached.

3 결과
3 RESULTS

검색전략은 총 2607개의 인용을 확인하였으며, 중복제외 후 681개의 인용을 도출하였다. 이 중 42편의 논문이 이 검토에 포함되도록 선택되었다(PRISMA 다이어그램의 경우 그림 1 참조). 
In total, the search strategy identified 2607 citations, resulting in 681 citations after de-duplication. Of these, 42 papers were selected for inclusion in this review (for a PRISMA diagram see Figure 1).

3.1 EPA 프레임워크의 논리를 설명하는 논문의 일반적인 특성
3.1 General characteristics of papers describing the logic of EPA frameworks

Microsoft Excel 버전 16.54(표 1)를 사용하여 관련 연구 데이터(예: 출판 연도, 국가, 전문성 및 교육 수준)를 추출하고 표로 작성했습니다. 포함된 논문의 주요 특성은 표 2에 요약되어 있습니다. 대학원 또는 펠로우십 프로그램에 대한 EPA 프레임워크의 논리를 설명하는 대부분의 연구는 미국(n = 22; 52%), 캐나다(n = 6; 14%), 네덜란드(n = 4; 10%)(표 2)에서 수행되었다. 보고된 전공의 범위 전체에서 가정의학과(n=4;10%), 내과학과(n=4;10%), 소아과(n=3;7%), 정신과(n=3;7%)가 가장 많았다. 또한 프레임워크의 69%는 전공의용(n = 29), 31%는 전임의용(n = 13)으로 개발되었다. 
Relevant study data (e.g., publication year, country, specialty and level of training) were extracted and tabulated using Microsoft Excel Version 16.54 (Table 1). Key characteristics of included papers are summarised in Table 2. Most studies describing the logic of EPA frameworks for postgraduate or fellowship programmes were conducted in the United States (n = 22; 52%), Canada (n = 6; 14%) and the Netherlands (n = 4; 10%) (Table 2). Across the reported range of specialties, family medicine (n = 4; 10%), internal medicine (n = 4; 10%), paediatrics (n = 3; 7%) and psychiatry (n = 3; 7%) were the most common. Furthermore, 69% of the frameworks had been developed for residency (n = 29), 31% for fellowships (n = 13).

3.2 다양한 EPA 프레임워크 로직
3.2 Variety of EPA-framework logics

총 862개의 EPA가 EPA 프레임워크(범위 3-79)당 14개의 EPA의 중위수로 42개 조항에 설명되었다(표 1). 데이터의 반복 분석을 사용한 귀납적 코딩 스타일을 기반으로 다음 논리가 확인되었습니다(예시).

• 1) 임상 서비스를 포함한 서비스 제공: 직접('중상환 신생아의 영양 요구 관리') 및 간접 환자 치료('가족 회의 촉진') 및 
  비임상 의료 서비스('혈액 성분 수혈과 관련된 부작용 평가 및 보고') 
  
• 2) 프로시져 ('삽관, 기관지경, 흉부천자, 중심 정맥 카테터 배치 및 초음파를 포함한 일반적인 중환자 치료 절차 수행' 및 
  
• 3) 질병 또는 환자 그룹('비감염성 질염성 질염 환자 식별 및 관리') (표 1) 

A total of 862 EPAs were described in the 42 articles with a median of 14 EPAs per EPA framework (range 3–79) (Table 1). Based on an inductive coding style using iterative analysis of the data, the following logics were identified (with examples):

• 1) service provision including clinical services for direct (‘Managing nutritional needs of critically ill newborns’) and indirect patient care (‘Facilitating family meetings’) as well as non-clinical health care services (‘Evaluating and reporting adverse events involving the transfusion of blood components’);
• 2) procedures (‘Performing common critical care procedures, including intubation, bronchoscopy, thoracentesis, central venous catheter placement, and ultrasound’; and
• 3) disease or patient groups (‘Identifying and managing patients with noninfectious GI luminal disease’) (Table 1). 

눈에 띄는 것은, 보고된 모든 EPA의 13%(n = 109)가 의사가 서비스하는 사람들의 의료 요구를 효과적으로 충족시키기 위해 필요한 능력을 기술했다. (예: '평생 학습 참여', '전문적 행동 시연'). 이러한 EPA는 종합적인 위탁 결정에 적합하지 않기 때문에, 이 그룹은 4) 비 EPA로 분류되었다.
Notably, 13% (n = 109) of all reported EPAs described abilities physicians require to effectively meet the health care needs of the people they serve (e.g. ‘Engaging in life-long learning’, ‘Demonstrating professional behavior’). As these EPAs are not suitable for summative entrustment decisions, this group was categorised as 4) non-EPAs.

대부분의 논문(n = 37; 88%)은 EPA 프레임워크 개발에 2개 이상의 논리를 사용했다(표준 = 3, 범위 = 1~4). 질병 또는 환자 그룹과 서비스 제공이 가장 많이 사용된 논리(각각 39%와 37%)였다(표 1).
The majority of papers (n = 37; 88%) used two or more logics in the development of EPA frameworks (median = 3, range = 1–4). Disease or patient groups and service provision were the most common logics used (39% and 37%, respectively) (Table 1).

4 토론
4 DISCUSSION

이 검토에서, 우리는 대부분의 프로그램이 EPA의 프레임워크를 확립하기 위해 [논리의 조합을 사용한다]는 것을 발견했다. 그러한 프로그램의 개발자들이 의도적으로 이러한 분류를 선택했을 수도 있고 아닐 수도 있지만, 많은 사람들은 단지 하나의 논리적 분류를 찾지 않고 최선의 접근법이 무엇인지 알아내는 데 시간을 보냈을 것이다. 지금까지 '최선의' 접근법에 대한 권고안이 제시되지 않았으며, 의료 전문 분야와 다른 보건 전문 교육 프로그램 간의 차이는 방어 가능한 것으로 보인다. 빠르게 확장되는 문헌에 비추어, 우리는 실제로 사용되어 온 지배적인 논리를 탐색하고 EPA 프레임워크를 만들기 위한 새로운 이니셔티브에 유용할 수 있는 권장 사항을 증류하고자 했다. 
In this review, we found that most programmes use a mix of logics to establish a framework of EPAs. Whereas the developers of those programmes may, or may not, have deliberately chosen these categorizations, many will have likely spent time to figure what the best approach would be, without finding just one logical categorisation. So far, no recommendations for a ‘best’ approach20 have been offered, and differences between medical specialties, and among other health professions educational programmes, seem defensible. In light of the quickly expanding literature, we sought to explore the dominant logics that have been used in practice and to distil recommendations that may be useful for new initiatives to create EPA frameworks.

4.1 EPA의 광범위한 서비스 범위
4.1 The broad service range of EPAs

EPA를 정의할 때 [EPA의 목적]을 염두에 두는 것이 유용하다. 여러 출판물들은 그것의 정의와 EPA가 역량과 어떻게 다른지 상세히 설명하였다. '전문 실무 단위'로서 EPA는 전문 업무를 개념화하기 때문에 반드시 교육 모델이 될 필요는 없다. 그들은 주로 전문 교육을 위한 커리큘럼을 개발하고 직장 평가 절차를 만드는 데 사용되었다. 그러나 [필수 작업essential tasks]을 정의하는 것이 항상 명확한 것은 아닙니다. 또한, EPA는 고유한 우선 순위, 의무 및 목적을 가진 국가 또는 심지어 [국제 기구]에 의해 점점 더 공식화되고 있다. 이는 지역적으로 EPA를 선택하거나 식별하는 자유를 제한하며 프로그램, 기관 또는 국가를 넘어서는 [총괄적 위임 결정]을 인정하는 역할을 한다. 가까운 장래에 EPA는 예를 들어 관련된 교육생과의 부작용 발생 시 책임에 대한 분쟁이 발생하거나 [의료행위 범위의 정당성]이 위태로울 때 사법기관에 의해 인정될 수 있다. 그것은 자격 증명으로 인정되고, 위탁되고, 인증될 수 있는 전문 실무 단위의 건전한 공식화의 필요성을 강조한다. 
In defining EPAs, it is useful to keep their purpose in mind. Multiple publications have elaborated on its definition and how EPAs differ from competencies.3, 10, 21 EPAs, as ‘units of professional practice’, are not necessarily an educational model as they just conceptualise professional tasks.10 They have primarily been used to develop curricula and create workplace assessment procedures for specialty training; however, defining the essential tasks is not always clear-cut. Furthermore, EPAs are increasingly formulated by national or even international bodies with unique priorities, mandates and purposes.22-26 This limits the freedom to choose or identify EPAs locally and serves to acknowledge summative entrustment decisions beyond a programme, institution or country. In a foreseeable future, EPAs may be acknowledged by legal bodies, for example, when disputes arise about accountability in case of adverse events with trainees involved27 or when the legitimacy of a scope of practice is at stake. That stresses the need for a sound formulation of the units of professional practice that can be acknowledged, entrusted and certified as a credential.

최근 몇 년 동안 교육 후 EPA의 잠재적 역할이 더 많은 관심을 받고 있다. 3개의 네덜란드 UMC의 상주 코디네이터는 최근 EPA에게 재인증의 핵심 지위를 줄 것을 간청했다. 또한, EPA의 사용은 어떤 직원이 어떤 의료 특권을 가지고 어떤 훈련을 어떤 수준에서 수행할지 명시하도록 요청하는 'Joint Commission'가 수행하는 것과 같은 [병원 자격 증명 요건]과 자연스럽게 일치fit한다. 이는 EPA의 추가 목적 역할을 한다.
In recent years, the potential role of EPAs after training has received more attention.28, 29 Residency coordinators of three Dutch UMCs recently pleaded to give EPAs a core status in recertification.30 In addition, the use of EPAs naturally fits with requirements of hospital credentialling, such as done by the ‘Joint Commission’,31 which ask to specify which employees have which health care privileges and which tasks are to be performed by which trainees under which level of supervision. This serves as an additional purpose of EPAs.

4.2 주요 논리의 장단점
4.2 Pros and cons of the main logics

EPA 프레임워크 개발을 위한 논리를 선택하는 것은 어려울 수 있다. 각 접근방식은 아래에 논의된 바와 같이 장점과 단점이 있기 때문이다.
The choice of a logic for developing an EPA framework may be difficult, as each approach comes with benefits and drawbacks as discussed below.

4.2.1 서비스 제공
4.2.1 Service provision

[서비스 제공 EPA]는 [일반적으로 임상의의 스케쥴에 포함된 활동]을 반영하므로, 장점은 손쉽게 인식, '지정assigned', 금지prohibited된다. 그것들은 [광범위하고 일반적]이며, 위임 결정은 이러한 서비스 중에 발생할 수 있는 프로시져와 질병에 대한 [적절한 경험]을 전제로 한다. 이로 인해 EPA가 주니어 학습자들에게 덜 적합하게less suitable 된다. EPA '표준 외래 환자 상담'을 예로 들 수 있는데, 이는 보다 상급 의료 교육생에게 논리적이고 적합한 활동이다. 이 EPA에는 의대생에게 적합한 독립적 EPA로서 기능할 수 있는 '의학 이력서 작성' 및 '전체 표준 신체검사 수행'과 같은 활동이 포함될 것으로 추정된다. 또한, [서비스 제공 EPA]는 사례 특이성이 부족할 수 있으며, 결과적으로 감독 임상의가 적용apply하기 어려울 수 있다. 평가 시 표본 추출에 주의하지 않는 한, 이 접근 방식은 또한 특정 EPA에 대한 평가가 포함된 환자의 프레젠테이션 전반에 걸쳐 일반화될 수 있다고 가정한다.
These EPAs reflect activities as they are usually scheduled for clinicians and are therefore easily recognised, ‘assigned’ and/or prohibited. They are broad and general, and entrustment decisions assume adequate experience with procedures and diseases that may be encountered during these services. This makes them less suitable for junior learners.3 Take for example the EPA ‘standard outpatient consultation’, a logical and suitable activity for more advanced medical trainees. This EPA will presumably include activities like ‘taking a medical history’ and ‘performing a full standard physical examination’, activities that in itself may serve as suitable standalone EPAs for medical students. Furthermore, service provision EPAs may lack case specificity and as a result can be challenging for supervising clinicians to apply.6 Unless there is careful attention to sampling in assessment, this approach also presumes assessments for a given EPA can be generalised across included patients' presentation.

4.2.2 프로시져
4.2.2 Procedures

일부 전공 분야의 경우 프로시져(또는 프로시져의 클러스터)가 선호 EPA(예: 내시경 및 수술)가 될 수 있다. 일반적으로 잘 훈련될 수 있는 명확하고 잘 표시된 작업이다. 프로시져를 EPA로 채택하는 위험은 [개별적으로 고려할 때 매우 작거나 좁은 범위의 기술에 초점]을 맞춘다는 것이다. 작고 따라서 많은 절차적 EPA가 본질적으로 문제가 되는 것은 아니지만, 학습자에게 이러한 자격을 부여하기 위한 심각한 [총괄적 위임 결정]의 절차는 까다로운 일이 될 수밖에 없다. 또한, 이러한 소규모 EPA는 신뢰에 대한 여러 조건을 포함하기보다는 [정신운동 능력에만 초점을 좁힐 위험]도 수반한다.
For some specialties, procedures (or clusters of procedures) can be preferred EPAs (e.g. endoscopies and surgeries); they are clear and well-demarcated tasks that generally can be trained well. The risk of adopting procedures as EPAs is that they may be very small when considered individually and that the focus is on a narrow range of skills.3, 6 Small and thus many procedural EPAs are not inherently problematic, but serious summative entrustment decisions to qualify learners for these are bound to lead to cumbersome procedures.3, 6 Furthermore, these small EPAs incorporate the risk that the focus will narrow to psychomotor skills only, rather than including multiple conditions for trust.

4.2.3 질병 또는 환자군
4.2.3 Disease or patient group

[비시술적 전문분야]의 경우 [질병]이 빨리 떠오른다; [질병 X를 가진 환자를 관리하는 것]은 분명한 임무처럼 들린다. 질병이 논리로 나타나는 단점은 [감별 진단이 첫 번째 과제임을 무시하는 것]이다. 또한 질병은 학습자가 취급할 수 있는 공식적인 자격을 얻기보다는 '만난 것'의 체크박스 항목이 될 위험이 있는 [길고 상세한 목록]을 초래할 수 있다. [프로시져 EPA]와 유사하게, 질병에 대한 의료 전문지식을 중심으로 한 [좁은 범위의 역량에 초점]을 맞출 수 있다. 질병을 EPA의 논리로만 사용하는 것은 유용하고 실용적이지 않을 수 있다. 예를 들어 [진단 및 리퍼referral 후 치료가 일반적인 경우]에는 [질병 또는 질병 그룹]이 유용한 논리가 될 수 있다.
For non-procedural specialties, diseases come to mind quickly; managing patients with disease X sounds like a clear task. A draw-back of diseases as a logic is the disregard of differential diagnosis as a first task. Further, diseases may result in long and detailed lists with the risk of becoming checkbox items of what the learner ‘has encountered’ rather than having received a formal qualification to handle.3, 6 Analogously to the procedural EPA, it can focus on a narrow range of competencies centred on medical expertise for a disease. Using diseases only as the logic for EPAs may not be useful and practical. In some cases, diseases or disease groups can be a useful logic, for example, when treatment after diagnosis and referral is common practice.

4.2.4 비EPA
4.2.4 Non-EPAs

우리는 발표된 모든 'EPA'가 종합위탁 결정에 적합한 것은 아니며, 어떤 것은 EPA로서 유용성이 떨어진다고 판단했다. 우리는 모든 EPA의 13%(표 1)를 비 EPA로 분류했으며, 종종 의사가 서비스하는 사람들의 의료 요구를 효과적으로 충족시키는 데 필요한 능력을 설명한다. '평생 학습 참여', '전문적 행동 시연', '환자 안전 강화', '환자 개개인에 대한 옹호' 등이 대표적이다. 이러한 활동을 수행하는 것을 금지하는 것에서 직간접적인 감독 하에 허가하는 것으로의 전환을 상상하는 것은 어렵다. 우리는 훈련에 대한 이러한 목표의 중요성에 이의를 제기하지 않지만, 그것들은 독립적 EPA와는 다른 방식으로 훈련에 통합되어야 한다. EPA로 유용하게 개념화되지 않은 훈련 목표를 다루는 몇 가지 방법이 최근 텐 카테와 슈마허에 의해 제공되었다. 
We deemed not all published ‘EPAs’ as suitable for summative entrustment decisions and hence are less useful as EPAs. We qualified 13% (Table 1) of all EPAs as non-EPAs, often describing the abilities physicians require to effectively meet the health care needs of the people they serve. Examples include ‘Engaging in life-long learning’, ‘Demonstrating professional behavior’, ‘Enhancing patient safety’ and ‘Advocating for individual patients’. It is difficult envision the transition from a prohibition to perform these activities to permission to do so with direct or indirect supervision. We do not dispute the importance of these objectives for training, but they should be incorporated in training in a different way than stand-alone EPAs. Several ways to deal with objectives of training that are not usefully conceptualised as EPAs were recently provided by ten Cate and Schumacher.32

이 연구의 몇 가지 한계를 고려해야 한다. 첫째, 의학 대학원 및/또는 동료 훈련 프로그램의 발표된 EPA 프레임워크만 포함되었기 때문에 선택과 출판 편향의 문제가 있다. 네덜란드의 모든 전문 교육 프로그램에서 사용되는 EPA 유형의 요약을 포함하는 최근 논문은 유사한 논리를 발견했으며 부분적인 '회색 문학' 확인으로 볼 수 있다. 우리의 검토에서, 주요 이해관계자 그룹과 관련된 초기 EPA 프레임워크에 대한 근거는 일반적으로 설명되지 않았다. 개발자는 처음부터 시작했거나 통치 기관이나 국가 기관이 부과한 지침과 요구사항을 따랐을 수 있다. 다음으로, 적격 기사들은 외과 전문분야의 거의(n = 2)를 포함하였고, 이는 잠재적으로 논리로서 '구조'를 과소평가하게 만들었다. 그러나 이러한 유형의 논리의 중요성은 네덜란드에서 더 높은 발생률로 뒷받침된다. 보고된 일부 EPA는 둘 이상의 논리 범주로 분류될 수 있다. EPA 세트에 따라 EPA는 한 세트에서는 환자 범주이고 다른 세트에서는 서비스 범주일 수 있다. 

Several limitations of this study must be considered. First, there is the issue of selection and publication bias as only published EPA frameworks of medical postgraduate and/or fellow training programmes were included. A recent paper that includes a summary of the types of EPAs used by all specialty training programmes in the Netherlands found similar logics and can be seen as a partial ‘grey literature’ confirmation.26 In our review, the rationales for the initial EPA frameworks as relates to key stakeholder groups were usually not described. Developers may have started from scratch or have followed guidelines and requirements imposed by governing institutions or national bodies. Next, eligible articles included few (n = 2) from surgical specialties, potentially leading to an underestimation of ‘procedures’ as a logic. The importance of this type of logic, however, is supported by its higher occurrence in the Netherlands.26 Some reported EPAs could be categorised in more than one logic category; depending on the set of EPAs, an EPA may be a patient category in the one set and a service in the other.

수용된 권장 사항을 따름으로써 [개선할 수 있는 많은 EPA 제목]을 접했는데, 이는 논리 범주에 대한 의구심을 해소했다. 예를 들어, '검사 결과 전달'은 전문 실무의 독립적 단위로 간주할 가치가 거의 없기 때문에 확실히 더 성숙한 EPA에 내포될 수 있는 조기 교육 EPA일 수 있으며 부정사infinitive로 더 잘 공식화될 수 있다('진단 시험 결과의 소통'). 우리가 했던 [범주화의 한계]는 [full EPA description]에 대한 통찰력을 거의 갖지 못했다는 것이다. 예를 들어, 우리는 '예방'을 비 EPA로 인정했지만, 규격에는 EPA가 서비스 제공 논리에 속하는 것으로 간주하도록 만들 수 있는 매우 구체적인 하위 활동의 번들 또는 목록이 포함되어 있었을 수 있다. 단지 '예방'을 위해 임상의사를 인증하는 것은 종합적인 위탁 결정에 필요한 명확성이 부족하다. 마지막으로, EPA의 효과나 유효성을 설명하는 제한된 연구가 존재하며, 현재까지 우리는 어떤 논리 범주의 우월성을 지지할 이유가 없다. 향후 연구는 일반적인 EPA 사용에 대한 타당성 증거를 제공하는 것뿐만 아니라 설명된 논리의 사용(또는 우월성)을 뒷받침하는 데 초점을 맞춰야 한다.
We encountered many EPA titles that could be improved, if accepted recommendations10 were followed, which we gave the benefit of the doubt for a logic category. For example, ‘Communicates results of exams’ might be an early training EPA that would definitely be nested in a more mature EPA, as it is hardly worth considering it a stand-alone unit of professional practice, and it might be better formulated with an infinitive (‘Communicating diagnostic exam results’). A limitation of our categorisation is that we rarely had insight into the full EPA description. For example, we qualified ‘Prevention’ as a non-EPA, but the specifications might have included a bundle or list of very concrete sub-activities that could have made us consider the EPA as belonging to the service provision logic. Certifying clinicians just for ‘prevention’ lacks the necessary clarity for a summative entrustment decision. Finally, limited studies exist describing the effectiveness or validity of EPAs, and to date, we have no reason to support superiority of any one logic category. Future research should be directed at providing validity evidence for not only the use of EPAs in general but also to support the use (or superiority) of the described logics.

5 결론
5 CONCLUSION

이 연구는 대학원 의학 교육 및 펠로우십 프로그램에 걸쳐 EPA 프레임워크 개발에 사용되는 논리를 매핑하기 시작했다. '서비스 제공', '절차' 및/또는 '질병 또는 환자 그룹'이라는 세 가지 주요 논리가 식별될 수 있다. 각 논리에 대해 명확한 정의는 예, 이점 및 한계와 함께 제공됩니다. EPA에서 직업의 필수 업무를 포착하려고 할 때, 발견된 논리 유형 중 두세 가지를 조합하여 사용하는 것이 가장 적합해 보인다. 이러한 결과는 향후 EPA 프레임워크 개발자에게 유용한 발판을 제공할 수 있다.
This study set out to map the logics used in development of EPA frameworks across postgraduate medical education and fellowship programmes. Three dominant logics could be identified, namely, ‘service provision’, ‘procedures’ and/or ‘disease or patient groups’. For each logic, a clear definition is provided together with examples, benefits and limitations. When trying to capture the essential tasks of a profession in EPAs, the use of a combination of two or three of the types of logic found seems most suitable. These findings may provide helpful scaffolding for future EPA-framework developers.

The logic behind entrustable professional activity frameworks: A scoping review of the literature

PMID: 35388517

PMCID: PMC9542438

DOI: 10.1111/medu.14806

Free PMC article

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

간접 환자돌봄의 교육적 가치 최적화하기 (Med Educ, 2022)
Optimising the educational value of indirect patient care
Danielle O'Toole1 | Marina Sadik1 | Gabrielle Inglis1 | Justin Weresch1 | Meredith Vanstone1,2

1 소개
1 INTRODUCTION

환자 치료의 활동은 환자와 직접 상호작용하는 시간에 국한되지 않는다. 일반적인 의사는 50% 이상의 시간을 간접 환자 치료 활동(IPCA) 또는 대면상호작용이 필요하지 않은 치료 작업에 소비합니다. IPCA는 비동기 업무, 사무실 외부 방문 및 데스크톱 의료라고도 할 수 있다. 표 1은 전자건강기록(EHR)의 '수신함' 관리 등 IPCA의 여러 가지 범주의 예를 제공한다. 여기에는 영상 및 실험실 결과 검토 및 관리, 상담 노트, 양식 작성 및 처방된 의약품의 보충이 포함된다.
The activities of patient care are not confined to time spent directly interacting with a patient. A typical physician spends more than 50% of their time on indirect patient care activities (IPCA), or care tasks that do not require a face-to-face interaction.1-3 IPCA may also be called asynchronous tasks, activities outside of office visits and desktop medicine.4-7 Table 1 provides examples of several different categories of IPCAs, such as managing the ‘inbox’ of the electronic health record (EHR), which includes reviewing and managing imaging and laboratory results, consult notes, completing forms and refilling prescribed medications.

EHR의 채택과 관련하여 IPCA에 들어가는 시간도 증가했다. EHR은 의료 전, 치료 중 및 치료 후 의료 정보에 대한 신속한 액세스를 제공하기 때문에 2008년과 2012년 사이에 임상 실습에 널리 채택되었다. EHR의 잠재적 이점에도 불구하고, 기술의 통합은 과제를 가져왔다. 

• 환자-의사 상호 작용의 변화,
• 치료의 의미 있는 측면에서의 주의 산만,
• 의료진에게 사무 업무를 재배포하고 새로운 업무를 창출(예: 의약품 조정, 데이터 입력 및 전자 처방).

일부 활동 유형의 작업량을 줄였습니다. (예: 처방 및 일부 실험실 관련 작업) 
어떤 활동의 작업량은 늘어났다. (예: 예방 관리 작업 및 다른 받은 편지함 항목 검토)

이에 따라, EHR은 의료 행위를 재구성하여 IPCA에 소요되는 시간을 전반적으로 증가시켰다.
The time requirements of IPCAs have increased in relation to the adoption of EHRs.1, 8-11 The EHR was widely adopted into clinical practice between 2008 and 2012,7 because it provides rapid access to medical information before, during and after care with aims of improving quality care and safety.12-14 Despite the potential benefits of the EHR, the integration of technology has brought about challenges, including

• altering patient–physician interaction,
• distracting from meaningful aspects of care,
• redistributing clerical tasks to the clinician and creating new tasks (e.g. medication reconciliation, data entry and electronic prescribing).4, 12, 15-18 

It has reduced the workload of some types of activities (e.g. prescribing and some lab-related tasks), while increasing others (e.g. preventative care tasks and reviewing other inbox items).3, 7, 19, 20 Accordingly, this technology has re-shaped medical practice, resulting in an overall increase in the time spent on IPCAs.1, 8-11

IPCA는 많은 전문분야와 관련이 있다. 예를 들어, 심장내과, 내과, 정형외과 전문의들도 마찬가지로 시간의 50%를 간접적인 환자 활동에 사용한다. 정신과, 집중치료, 응급의학에서도 같은 경향이 보고되고 있다. 이러한 결과는 호주, 독일 및 영국을 포함하여 EHR 사용이 일반적인 고소득 국가에서 일관된다. IPCA는 특히 가정의에게 부담이 될 수 있다. 가정의학과 의사는 환자의 '메디컬 홈'인 만큼 다른 의사가 지시한 조사와 치료를 검토하고 관리하는 경우가 많아 자주 호출된다. 일반 가정의의의 경우, EHR의 출현은 환자와 함께 보내는 매 시간마다 컴퓨터에서 1~2시간씩, 진료 시간 외(오전 8시~오후 6시)에 소요되는 평균 1.5시간의 추가 EHR 시간을 의미했다.
IPCAs are relevant to many specialties. For example, cardiology, internal medicine and orthopaedic specialists similarly spend 50% of their time on indirect patient activities.3 The same trend has been reported in psychiatry,21 intensive care22 and emergency medicine.23, 24 These findings are consistent across high income countries where EHR use is common, including Australia,25 Germany26 and the United Kingdom.23 IPCAs may be especially taxing for family physicians. As the patient's ‘medical home’, family physicians who are often called to review and sometimes manage the investigations and treatments ordered by other physicians. For the average family physician, the advent of EHRs has meant 1–2 hours on the computer for every hour spent with patients, and an average of 1.5 hours of additional EHR time spent outside of clinic hours (8 AM–6 PM).4, 27

IPCA의 증가하는 부담은 의사의 일과 삶의 균형이라는 지속적인 도전을 악화시켜 직무 만족에 영향을 미치고 번아웃을 증가시킨다. 의학 교육자들은 학습자들이 그들의 경력 전반에 걸쳐 지속 가능한 방식으로 IPCA를 처리할 수 있도록 준비해야 하는 해당 과제에 직면해 있다. 학습자가 이러한 작업을 관리하는 방법을 배우는 것의 중요성을 인식하지 못할 수 있다는 증거가 있으며, 한 연구에서 전공의는 임상 문서 요구 사항이 과도하며, 그로 인해 환자 치료에 직접 참여할 수 있는 시간을 단축하고 더 가치 있다고 인식되는 교육 활동에 참여할 수 있는 기회가 줄었다고 보고했다. [직무 만족도와 일과 삶의 균형을 모두 유지하면서, 고품질의 환자 치료의 균형을 유지하는 방식으로 IPCA를 관리하는 방법]을 배우는 것이 중요함에도 불구하고, 이 분야의 교육자들을 지도하기 위한 교육 연구는 거의 수행되지 않았다. 훈련에서 이러한 IPCA의 영향과 이 중요한 교육을 가장 잘 제공하는 방법을 이해하는 것은 주민들이 이 중요한 역량을 획득하도록 돕는 중요한 부분이다.
The growing burden of IPCAs exacerbates the perennial challenge of work-life balance for physicians, affecting job satisfaction, and increasing burnout.28-35 Medical educators face the corresponding task of preparing learners to handle IPCAs in a sustainable way throughout their career. There is evidence that learners may not appreciate the importance of learning how to manage these tasks, with residents in one study reporting that clinical documentation requirements are excessive, compromising time to participate in direct patient care and decreasing opportunities to participate in educational activities perceived as more valuable.36 Despite the importance of learning how to manage IPCAs in a manner that balances high quality patient care while maintaining both job satisfaction and a work–life balance, little educational research has been conducted to guide educators in this area. Understanding the impact of these IPCAs in training and how best to deliver this vital education is an important part of helping residents obtain this critical competency.

교육 프로그램이 IPCA의 교수와 위임을 어떻게 최적화할 수 있는지 더 잘 이해하기 위해, 우리는 가정의학과에 위치한 질적 연구를 수행하여 미래의 실습을 위해 가족 의사를 적절하게 준비시켰다. '가족의학 거주자, 최근 졸업생 및 임상 감독관은 [간접 환자 치료 활동의 교육적 영향과 중요성]을 [어떻게 인식]하고 있는가?'
To better understand how education programmes may optimise the teaching and entrustment of IPCAs, we conducted a qualitative study located in the discipline of Family Medicine to adequately prepare family physicians for future practice, asking ‘How do family medicine residents, recent graduates and clinical supervisors perceive the educational impact and importance of indirect patient care activities’?

2 방법
2 METHODS

2.1 설계 연구
2.1 Study design

이것은 임상 교육 요구 사항 탐색과 같은 사회적 과정 연구에 적합한 방법론인 [구성주의 근거이론 연구]입니다. 이 방법론의 구성주의적 기반은 [학습자가 자신의 일의 맥락을 이해할 수 있는 다양한 방법을 강조]하며, 다음과 같은 힘에 의해 형성된다

• 교육 정책(예: 인증 요건 및 시험),
• 직업 및 작업 환경의 암묵적이고 명시적인 규범,
• 가정의가 된다는 것은 무엇을 의미하며, 가정의가 어떤 유형의 일을 해야하는지에 대한 사회적 기대

근거 이론이 요구하는 데이터 수집과 분석 사이의 반복을 통해 우리는 한 그룹의 예비 통찰력을 바탕으로 다음 라운드에서 데이터 수집을 구축하고 형성하여 우리의 조사에 응답하고 심화시킬 수 있었다.

This is a constructivist grounded theory study,37 a methodology appropriate for the study of a social process such as navigating a clinical education requirement. The constructivist underpinnings of this methodology highlighted the different ways that learners may understand the context of their work, shaped by forces such as

• education policy (e.g. accreditation requirements and exams);
• implicit and explicit norms of the profession and work environment;
• social expectations about what it means to be a family physician and what kind of work family physicians should do.

The iteration between data collection and analysis required by grounded theory allowed us to build on preliminary insights from one group, building and shaping data collection in the next round to respond to and deepen our inquiry.

2.2 연구 상황
2.2 Study context

이 연구는 캐나다 도시에 위치한 단일 가정의학 레지던트 프로그램의 맥락에서 수행되었다. 의료 거주자는 가정의학과 의사가 되기 위해 2년간의 일반 전문의 교육 프로그램을 이수하며, 일부에서는 3년차 고급 기술 교육을 선택적으로 받을 수 있습니다. 이 대규모 레지던트 프로그램은 의학-박사 대학과 연계되어 있으며, 매년 3개의 훈련장에서 200명의 레지던트들을 수용한다. 2개의 교육장은 학계 가정의학 실습과 연계되어 있으며, 1곳은 지역사회에 기반을 둔 여러 가정의학 실습이 있다.

• Academic practices는 의료 전문가의 교육과 가르침이 교수진의 역할의 큰 부분을 차지하는 의과대학과 관련된 것이다. 이러한 practice에서, 교수진 의사는 일반적으로 매일 2~3명의 학습자를 감독한다.
• 지역 사회 practice는 지역 사회 내의 일반적인 가정의학 관행이며 의사는 일반적으로 한 번에 한 명의 학습자를 감독한다.

This study was conducted in the context of a single Family Medicine residency programme located in urban Canada. Medical residents complete a 2-year generalist training programme to become Family Physicians, with an optional third year of enhanced skill training available to some. This large residency programme is affiliated with a medical-doctoral university, admitting 200 residents each year across three training sites. Two training sites are affiliated with academic family medicine practices, and one with multiple community-based family medicine practices.

• Academic practices are those associated with a medical school, where education and teaching of health care professionals are a large part of the role of faculty physicians. In these practices, faculty physicians typically supervise two to three learners each day.
• Community practices are general family medicine practices within the community and physicians typically supervise one learner at a time.

2.3 이론 렌즈
2.3 Theoretical lens

본 연구에서는 [Billett의 직장 학습 이론]을 민감 개념으로 사용하였다. [민감 개념]은 연구 중인 현상에 대한 연구자들의 생각에 INFORM하는 배경 아이디어입니다. 직장 학습 이론은 연구를 시작할 때 선임 연구원(MV)에게 알려졌고, 이는 작업의 개념화와 설계 방식에 영향을 미쳤다. 이 이론은 [작업장이 교육 기회를 제공]하는데, 이 [교육기회는 학습자가 효과적으로 학습하기 위해 확인하고 참여하도록 선택해야 하는 것]이라는 우리의 가정을 형성했다. [학습 기회의 식별]은 교육 및 조직 구조의 지도와 직장에 존재하는 다른 사람들의 입력에 의해 형성된다.

• 이 이론적 렌즈는 IPCA를 학습자와 그들의 임상 교사들에게 [인식될 수도 있고 그렇지 않을 수도 있는 교육적 어포던스]로 생각하는 우리의 생각에 영향을 미쳤다.
• [인터뷰 가이드의 구축과 개선 과정]에서, 이 이론은 학습자가 학습 기회에 대해 인식하고 결정하는 방법, 그리고 직장에서 어떤 선호도가 식별을 장려하거나 바람직한 특정 학습 기회를 만드는지에 대해 조사하기로 한 우리의 결정에 영향을 미쳤다.
• 우리는 분석 중에 이 이론이 직장 학습에 대해 제공한 배경 문맥을 넘어 이 이론에 명시적으로 관여하지 않았다.

We used Billett's workplace learning theory as a sensitising concept in this work.38 Sensitising concepts are background ideas, which inform the researchers' thinking about the phenomenon under study.39 Workplace learning theory was known to the senior researcher (MV) at the onset of the study, influencing the way the work was conceptualised and designed. This theory shaped our assumptions that workplaces offer educational opportunities that learners must both identify and choose to engage with to learn effectively.38 The identification of learning opportunities is formed by the guidance of educational and organisational structures and the input of others present in the workplace.38 

• This theoretical lens influenced our thinking of IPCA as an educational affordance that may or may not be recognised by learners and their clinical teachers.
• During the construction and refinement of the interview guide, this theory influenced our decision to probe about the way that learners recognise and make decisions about learning opportunities, and what affordances in the workplace encourage the identification or make desirable particular learning opportunities.
• We did not engage explicitly with this theory during analysis, beyond the background context it provided about workplace learning.

2.4 참가자
2.4 Participants

직장 학습의 맥락적 특성으로 인해 본 연구는 단일 가정의학 레지던트 프로그램을 중심으로 진행되었으며, 현재 학습자, 현 교육자 및 지난 5년 이내에 졸업한 동문들을 모집합니다. 대상자는 현재 가정의학과 전공의('거주자')와 이 프로그램에서 지도자 역할을 하는 임상의-교육자('교육자') 및 지난 5년 이내에 이 프로그램을 졸업한 가정의사('초기 직업의사')이다.
Due to the contextual nature of workplace learning, we conducted this study around a single family medicine residency programme, recruiting current learners, current educators and alumni who have graduated within the past 5 years. Eligible participants were

• current family medicine residents (‘residents’),
• clinician-educators who have a preceptor role within this programme (‘educators’), and
• family physicians who graduated from this programme within the past 5 years (‘early career physicians’).

2.5 샘플링 및 모집
2.5 Sampling and recruitment

우리는 세 참가자 그룹 각각에 대해 서로 다른 샘플링 전략을 사용했다. 프로그램 사무소에서 발송된 이메일, 프로그램 리드 전공의, 임상 공간의 포스터, 공동 저자 팀의 그룹 학습 세션 시작 시 이루어진 연구에 대한 발표를 통해 전공의를 모집했다. 잠재적 거주 참가자는 연구 보조자나 선임 저자(MV)에게 연락하도록 요청하여 그들의 신원이 의사 공동 저자에게 알려지지 않도록 했다. 처음 5년간 의사는 프로그램 동문들을 위한 온라인 페이스북 그룹들과 연구팀의 전문 네트워크를 통해 이메일을 통해 모집되었다. 교육자들은 연구팀이 보낸 이메일을 통해 모집되었다. 
We used different sampling strategies for each of the three participant groups. Residents were recruited through e-mails sent from the programme office and lead residents of the programme, posters in clinical spaces and announcements about the study made at the beginning of group learning sessions by the co-author team. Potential resident participants were asked to contact the study research assistant or senior author (MV) so their identities were not known to physician co-authors, who may have held a position of authority over them. Physicians in the first 5 years were recruited through online Facebook groups for programme alumni and by e-mail through the professional networks of the research team. Educators were recruited through e-mails sent by the research team.

우리는 [편의 샘플]로 시작했고, 예비 데이터 수집을 이론적으로 관련된 초기 데이터 분석에서 식별되어감에 따라서 참여자 임상 경험(위치, 임상 실습 및 기간)의 다양성을 보장하기 위해 [목적적이고 이론적으로 정보에 입각한 접근 방식]으로 이동했다. 
We started with a convenience sample and after preliminary data collection moved to a purposeful, theoretically informed approach to ensure diversity in participant clinical experience (location, clinical practice and duration), as these aspects were identified in initial data analysis as theoretically relevant.

이것은 [근거 이론 연구]였기 때문에, 우리는 데이터 충분성에 대한 판단을 안내하기 위해 [이론적 포화] 개념을 사용했다. 우리는 [이론에 기여하는 범주의 완전성]과 [이론적으로 지시된 유형의 샘플링 완료]와 관련해서 [이론적 포화]를 이해한다. 포화 식별은 데이터 분석 전반에 걸쳐 발생하는 프로세스로, 여러 분석가와의 논의를 통해 운영됩니다. 각 범주가 잘 개념화되어 있고, 식별된 이론이 모든 관련 데이터를 설명할 수 있다는 것을 확인한 후, 분석 그룹은 [전반적으로 보면, 이론에 아무것도 추가되지 않을 것]이기 때문에 [새로운 데이터 수집의 return이 감소한다]는 데 동의했다. 이 시점에서 우리는 코호트 및 수련 장소와 관련해서 [이론적으로 관련된 일부 관점]이 샘플에 강하게 존재하지 않는다는 점에 주목했다. 이러한 관점을 포함하기 위해 추가 자료를 찾았지만, 참여자의 다양성을 확대하기 위해 완료된 새로운 인터뷰는 새로운 분석 방향을 제시하지 못했다. 
As this was a grounded theory study, we used the concept of theoretical saturation to guide our judgements of data sufficiency.37, 40 We understand theoretical saturation to relate to the completeness of categories that contribute to a theory, and the completion of theoretically-indicated types of sampling. The identification of saturation is a process occurring throughout data analysis, operationalised through discussion with multiple analysts. After identifying that each category was well conceptualised, and the identified theory could account for all relevant data, the analytic group agreed that new data collection had diminishing returns, as it would not necessarily add anything to the overall theory.40 At this point we noted that some theoretically-relevant perspectives, related to cohort and training site, were not strongly present in the sample. We sought additional data to include these perspectives, but new interviews completed to expand the diversity of participants did not suggest new analytic directions.

2.6 데이터 수집
2.6 Data collection

데이터는 포커스 그룹과 개별 인터뷰를 통해 수집되었다. 포커스 그룹은 경력 단계별로 동질적이었다. 인터뷰와 포커스 그룹은 MV, MS, 그리고 연구 조수에 의해 촉진되었다. 이 개인들은 모두 질적 연구에 대해 훈련된 비-의사이며, 참가자들에게 알려지지 않은 여성들이다. 개별 인터뷰는 스케줄링이 참가자의 포커스 그룹 가입을 허용하지 않거나 참가자가 인터뷰에 대한 선호도를 표시한 경우에 수행되었다. 각 참가자 그룹에 대해 별도의 인터뷰 가이드(보충자료로 포함)를 개발하고 데이터 수집이 진행됨에 따라 다듬었다. 인터뷰 가이드는 문헌, 가정의학과 교사 및 학습자로서의 실제 경험, 연구 중인 문제에 대해 레지던시 프로그램에 제출한 피드백을 바탕으로 다학제 팀에 의해 개발되었습니다. 예비 포커스 그룹의 통찰력을 사용하여 미래 참가자의 모집 및 데이터 수집을 구체화하면서 한 번에 한 참가자 그룹에 초점을 맞추기 위해 데이터 수집을 단계화했다. 인터뷰 가이드는 초기 분석 통찰력을 반영하고, 이론적으로 관련된 문제에 대해 프로빙하고, 조사 범위를 세분화하기 위해 수정되었다. 전공의들은 우리의 처음이자 마지막 그룹이었기 때문에 우리는 프로젝트 진행 중에 발전한 새로운 분석 통찰력을 확인할 수 있었다.
Data were collected via focus groups and individual interviews. Focus groups were homogeneous by career stage. The interviews and focus groups were facilitated by MV, MS and a research assistant. These individuals are all women trained in qualitative research, non-physicians and unknown to the participants. Interviews were conducted when scheduling did not permit participants to join a focus group, or where the participant indicated a preference for an interview. Separate interview guides (included as supplementary material) were developed for each participant group and refined as data collection progressed. Interview guides were developed by our multi-disciplinary team based on literature, practical experience as family medicine teachers and learners, and feedback submitted to the residency programme about the issue under study. We staged our data collection to focus on one participant group at a time, using insight from preliminary focus groups to shape recruitment and data collection of future participants. Interview guides were amended to reflect initial analytic insights, to probe about theoretically relevant issues, and to refine the scope of inquiry. Residents were our first and our last group, so we could affirm emerging analytic insights that developed over the course of the project.

2.7 데이터 분석
2.7 Data analysis

데이터 분석은 구성주의 근거 이론을 상징하는 단계적 프로세스로 진행되었습니다. 이는 초기 데이터가 수집되는 즉시 시작하여 예비 통찰력을 향후 데이터 수집에 inform하는 것이다. 여러 분석가가 개방형 귀납적 코딩에 참여하여 팀 전체와 만나 잠재적인 집중 코딩에 대한 아이디어를 논의했습니다. 이 미팅을 통해 식별된 범주는 추가 코딩 라운드에서 운영되었으며, 이를 통해 우리는 집중적인 코딩 스키마를 생성하도록 조정, 확장 및 정교해졌다. 이 코딩 스키마의 적용은 연역적(귀납적 코딩을 통해 개발된 스키마를 적용)과 귀납적(확장, 정제, 정교화) 사이에서 다양한 코딩 과정을 통해 이루어졌다. [귀납적]에서 [연역 – 귀납적]으로의 이러한 움직임은, 우리의 분석이 데이터에 기반을 두도록 보장했다. 이러한 과정을 통해 테마를 귀납적으로 파악하였다. 우리는 연구 질문에 직접적으로 반응하는 주제를 개발하여 [교사 및 학습자의 경험을 설명]하는 것과 관련된 주제와 [가정의학의 교수 및 학습 개선을 위한 제안] 사이의 균형을 이루기 위해 노력했다. 
Data analysis proceeded in a staged process emblematic of constructivist grounded theory, beginning as soon as initial data were collected so preliminary insights informed future data collection. Multiple analysts engaged in open inductive coding, meeting with the whole team to discuss ideas for potential focused coding. The categories identified through this meeting were operationalised in an additional round of coding, through which we refined, expanded and elaborated to produce a focused coding schema. Application of this coding schema was accomplished through multiple rounds of coding that varied between deductive (applying the schema developed through inductive coding) to inductive (expanding, refining and elaborating schema). This movement from inductive to deductive–inductive ensured that our analysis remained grounded in the data. Through this process, themes were inductively identified. We developed themes, which were directly responsive to the research question, striving to achieve a balance between those relevant to describing the experiences of teachers and learners and those relevant to suggestions for improving teaching and learning in family medicine.

2.8 윤리
2.8 Ethics

이 연구는 해밀턴 통합연구윤리위원회(11547)의 승인을 받았으며, 모든 참여자는 각 데이터 수집 세션 시작 시 전자적으로 그리고 구두로 사전 동의를 제공하였다. 우리는 연구팀의 의사 교육자와 거주자 참여자 사이의 권력 불균형을 잠재적 윤리적 문제로 식별했다. 상주 참가자를 보호하기 위해, 우리는 의사 연구 팀원들이 원본 오디오 파일이나 확인된 녹취록을 포함하여 상주 참가자를 식별할 수 있는 정보에 접근하지 못하도록 보장했다.
This study was approved by the Hamilton Integrated Research Ethics Board (11547), and all participants provided informed consent electronically and again verbally at the beginning of each data collection session. We identified the power imbalance between the physician educators on the research team and the resident participants as a potential ethical issue. To protect resident participants, we ensured that physician research team members did not have access to any information which would identify resident participants, including original audio files or identified transcripts.

3 결과
3 RESULTS

우리는 19명의 거주자(R), 16명의 의사(P), 7명의 경험 있는 의사 교육자(E)로부터 인터뷰 및 포커스 그룹 데이터를 수집했다. 각 포커스 그룹에 3~6명의 참가자가 참여한 가운데 6개의 개별 인터뷰와 11개의 포커스 그룹을 실시하였다. 가정의학 실천 유형의 광범위한 다양성으로 인해, 우리는 표 2-4에 practice 유형을 학문적, 공동체적, 비전통적인 것으로 요약했다. '비전통적 행위'은 예를 들어 병원 의사, 입원 환자 정신 건강 기관, 사망 의료 지원, 완화 치료 및 교도소 보건/교정 시설과 같은 집중적인(제너럴리스트가 아닌) 행위을 의미한다. 참여자 인구통계 정보는 표 2-4에서 확인할 수 있다.
We collected interview and focus group data from 19 residents (R), 16 physicians in the first 5 years of practice (P) and 7 experienced physician educators (E). We conducted 6 individual interviews and 11 focus groups with three to six participants in each focus group. Due to the broad variability of family medicine practice types, we have summarised practice types in Tables 2–4 as academic, community and non-traditional. ‘Non-traditional practices’ refer to focused (rather than generalist) practices, for, for example, hospitalist, in-patient mental health unit, Medical Assistance in Dying, Palliative care and prison health/correctional facilities. Participant demographic information can be found in Tables 2–4.

우리는 먼저 모든 그룹의 참가자들이 [IPCA가 가정의사로서의 경력 기간 동안 반드시 지녀야 하는 무게로 작용한다]는 분석 결과에 대해 논의한다. 다음으로, 우리는 그들의 경력 초기에 그 무게를 부담으로 보았고, 더 많은 경험 있는 그룹들이 그 무게는 가정의학에서 지속 가능한 경력을 쌓는 데 필요한 힘을 기를 수 있는 기회라고 어떻게 이해했는지 설명한다. IPCA 작업을 부담 또는 강도 훈련으로 느끼게 하는 이유에 대한 이러한 논의에서 참가자들은 몇 가지 악화 및 완화 요인(모호한 기대, 작업량 불평등에 대한 인식, 환자 및 작업에 대한 교수 및 친숙함)을 식별했으며, 이는 차례로 논의된다. 우리는 표준화, 점진적 도입, 작업량에 대한 투명성, 명시적 교육 및 피드백과 경계 설정 등 IPCA의 교육 가치를 최적화하는 방법에 대한 거주 프로그램에 대한 참가자 권고를 설명함으로써 이 섹션을 마무리한다.

We first discuss the analytic finding that participants in all groups identified IPCA work as a weight they must carry for the duration of their career as family physicians. Next, we describe how those earlier in their career viewed that weight as a burden, and more experienced groups understood that weight to be a chance to develop the strength needed for a sustainable career in family medicine. In these discussions of what made IPCA work feel more like a burden or strength training, participants identified several exacerbating and alleviating factors (ambiguous expectations, perceptions of workload inequity, teaching and familiarity with patients and tasks), which are discussed in turn. We conclude this section by describing participant recommendations to residency programmes about how to optimise the educational value of IPCAs: standardisation, gradual introduction, transparency about workload, explicit teaching and feedback and boundary setting.

3.1 IPCA의 무게: 부담 또는 근력 훈련?
3.1 The weight of IPCAs: Burden or strength training?

모든 참가자들은 그들의 실천 단계에 관계없이 IPCA가 가정의학의 필요하지만 불쾌한 부분이라는 인식을 공유했다. 그들은 IPCA가 환자 치료를 위해 필요하다는 것을 인식했지만, 끝이 없어 보이는 서류작업의 '과중한 책임'(P6)도 설명했다. 참가자 그룹이 분화된 곳은 이 무게를 짊어지는 것의 성격과 영향을 [부담]으로 보았는지, 그들의 경력 동안 [이 무게를 짊어지는 데 필요한 힘이나 힘을 기를 수 있는 기회]로 보았는지에 대한 것이다.
All participants, no matter their stage of practice, shared the perception that IPCAs are a necessary but unpleasant part of family medicine. They recognised that IPCAs are required for patient care, but also described the ‘crushing responsibility’ (P6) of the seemingly never-ending stream of paperwork. Where participant groups diverged was how they framed the nature and impact of carrying this weight, as either a burden or an opportunity to develop the strength needed to carry this weight throughout their career.

[전공의들과 초기 직업 의사들]은 IPCA의 중요성을 교육 기회보다는 부담으로 강조했다. '그것은 나에게 어떤 교육적 가치보다 훨씬 더 많은 스트레스를 주었다.' (R12) 그들은 이러한 활동에 소비하는 시간이 학습, 일과 삶의 균형, 웰빙, 그리고 다른 교육 목표를 달성하는 능력을 저해하는 방법을 기술했다. '나는 확실히 그것이 압도적이라고 느낀다. 나는 그것이 지속가능하다고 느끼지 않는다'(P7). 그들이 이 무게를 견디기 위해 개발한 전략에는 늦게까지 머무르거나 휴가 기간을 사용하여 이러한 작업을 수행하는 것이 포함되어 있었다. '휴가시간을 이용해 매주 하루씩 전일제 가정의학과를 쉬었습니다'(R9)
Residents and early career physicians emphasised the weight of IPCAs as a burden rather than an educational opportunity: ‘it provided me way more stress than any educational value’ (R12) They described the ways that time spent on these activities impeded their learning, work–life balance and wellness, and ability to achieve other educational goals: ‘I definitely feel like it's overwhelming. I don't feel like it's sustainable’ (P7). The strategies they developed to carry this weight included staying late or using vacation time to accomplish these work tasks: ‘I've used my vacation time to take one day off every week of full-time family medicine’ (R9).

[독립의료를 하는 참가자]들은 IPCA의 무게에 대해 전공의들과 다르게 말했다. 그들은 이러한 업무가 환자 치료와 가족 의사의 업무 일부를 위해 필요하다는 것을 더 잘 인식했다. '당신이 이 양식을 완성할 때 당신은 당신의 환자에게 자금이나 자원 같은 것에 대한 접근권을 주는 것이고, 당신은 당신이 그들과 마주 앉아 있을 때보다 모든 면에서 혹은 그 이상으로 당신의 환자를 돕고 있는 것이다.'(E4)
Participants who were in independent practice spoke differently about the weight of IPCAs than residents. They were more apt to recognise that these tasks are necessary for patient care and part of the work of a family physician: ‘when you complete this form you are giving your patient access to funding or resources or whatever, you're helping your patient every bit as much or maybe more than when you're sitting face-to-face with them’ (E4).

[의사 경력 첫 5년 동안 의사]들은 레지던트 시절 IPCA 작업의 이점을 현재 진료에 반영했습니다. 'ODSP [Ontario Disability Support Program] 양식에는 분명히 재간finesse이 있습니다. 바보같이 들리지만, 그것들을 작성하면서 전공의로서 배우는 art가 있습니다. … 레지던트로서 그런 걸 알아내서 엉덩이를 박살내면서 시간을 보내서 다행이다, 그래, 스태프가 되면서 부담이 줄었다(P5).' 이 학습의 일부는 IPCA의 업무 스타일 변경을 포함하여, IPCA의 부담을 다루기 위한 전략을 개발하는 것이었다. 
Physicians in the first 5 years of their career recognised the benefits of the IPCA work they did in residency to their current practice: ‘There's obviously a finesse to ODSP [Ontario Disability Support Program] forms, it sounds silly to say but there is an art to filling them out and learning those things as a resident is helpful. … I'm glad that I spent time as a resident figuring that stuff out and busting my butt, then yeah, it reduced the burden when I became staff’ (P5). Part of this learning was developing strategies to deal with the burden of IPCAs, including changing their practice style:

대부분 이러한 전략과 교훈은 실용적인 방법으로 학습되었으며, 많은 의사들은 [IPCA를 지속 가능한 방식으로 관리하는 방법을 배우는 것]이 전공의의 중심 학습 목표라고 설명했다. '나는 그들을 설득하려고 노력하며, 지금 일을 잘 하면, 앞으로 보상이 있을 것이다.(P7)' 여기서, 우리는 모든 직업 단계의 교육자들이 [전공의 수련에서 IPCA의 무게]를 [부담으로 인식할 뿐만 아니라, 오랜 경력을 위해 자신을 훈련할 수 있는 기회로 인식]하고 있음을 확인했다. '그것보다 더 중요한 것은 우리 모두가 마라톤을 할 수 있는지 확인하고 그 과정에서 우리의 건강과 건강을 해치지 않도록 하는 것이다.'(E1)
Mostly, these strategies and lessons were learned in a practical way, and many physicians described that learning how to manage IPCAs in a sustainable way is a central learning objective for residents: ‘I do try to convince them, put the work in now and it will pay dividends moving forward’ (P7). Here, we identified that educators of all career stages perceive the weight of IPCAs in residency not solely as a burden, but also as an opportunity to train oneself for a long career: ‘more important than that is making sure we can all do the marathon and that we don't burn out and compromise our health and wellness in the process’ (E1).

3.2 악화 및 완화 요인 
3.2 Exacerbating and alleviating factors

참가자들은 IPCA가 부담스럽다는 데 일관되게 동의했지만, 그러한 부담을 악화시키거나 완화하는 조건도 설명했다.
While participants consistently agreed that IPCAs are burdensome, they also described conditions that exacerbate or alleviate that burden.

3.2.1 모호한 기대치
3.2.1 Ambiguous expectations

전공의와 최근 졸업한 직원들은 [모호한 기대]를 요인으로 식별하여 IPCA의 부담을 가중시켰다. 실천에서 독립하기 전에, 전공의들은 그들의 지도자들의 목표, 우선순위, 과정을 따라야 한다. 이 영역에 대한 명확하고 일관된 지침이 없으면 IPCA 부담이 증가합니다. '당신은 또한 특정 시간대에 그것을 끝내야 한다는 압박감을 느끼지만, 만약 그것이 당신의 물건이라면 당신은 "나는 이것을 내일 볼 것이다"와 같을 수 있다.(P5)
Residents and recently graduated staff identified ambiguous expectations as a factor, which exacerbated the burden of their IPCAs. Before becoming independent in their practice, residents must follow the goals, priorities and processes of their preceptors. Without clear and consistent instructions in this area, IPCA burdens are increased: ‘You also feel the pressure to get it done on a certain timeline, whereas if it was your own stuff you could be like “I'll look at this tomorrow”’ (P5).

3.2.2 작업량 형평성에 대한 거주자의 인식
3.2.2 Resident perceptions of workload equity

전공의 집단 특유의 또 다른 악화 요인은 할당된 작업의 양이나 강도에서 [전공의 간의 불평등한 차이]에 대한 인식이었다. 예를 들어, 농촌 실무에서 일하는 거주자들은 그들의 IPCA 부하가 학계 가족 보건 팀 내에서 일하는 거주자들보다 훨씬 적다고 보고했다. 일부 참가자들은 이를 [지도교사preceptor]의 선택 때문이라고 보았다. '운이 좋게도 어떤 지도교사를 얻었는지에 따라 얼마나 많은 사람들이 받은 편지함을 관리해야 하는지에는 큰 차이가 있었습니다. 우리는 같은 사이트에 있었고 같은 수의 환자를 보았지만 일부 사람들은 다른 사람들보다 받은 편지함과 바쁜 업무에 훨씬 더 많은 시간을 보냈다.'(P1)
Another exacerbating factor unique to the resident group was perceptions of inequitable differences between residents in the volume or intensity of assigned work. For example, residents working in rural practices reported that their IPCA load was much less than those working within academic family health teams. Some participants attributed this to preceptor choice: ‘there were huge discrepancies in how much people had to manage the inbox based on what preceptor they got lucky enough to get. We were at the same site and seeing the same population of patients yet some people spent significantly more time on their inbox and busy work than others did’ (P1).

[작업을 관리하는 데 사용할 수 있는 리소스]에서도 비슷한 불평등이 발견되었습니다. 일부 관행은 전공의가 IPCA 업무를 다른 사람에게 위임할 수 있도록 허용한 반면, 다른 관행에서는 전공의가 직접 이 작업을 하도록 했다. 전공의들은 지도교사가 할 수 있는 방식으로 업무를 위임하는 것이 허용되지 않아 업무량이 증가하고 만족도가 감소했다고 보고했다. 
'라벨을 인쇄하기 위해 프린터를 찾고 환자의 소변을 적신 다음 그것을 보내고 포장하기 위해 뛰어다니는 것은 거주 시간을 잘 사용하지 않습니다. 실제로 그럴 사람이 있어야 하고, 대부분의 클리닉에는 있지만, 우리에게는 없습니다.'

A similar inequity was seen in the resources available to manage this work. Some practices permitted residents to delegate IPCA tasks to others, while in other practices residents were required to do this work themselves. Residents reported that not being allowed to delegate work in the way their preceptors were able to do increased their workload and decreased their satisfaction: ‘It's not a good use of resident time to be running around trying to find a printer to print off labels, to then dip that patient's urine, to then send it off and package it up. There actually should be someone to do that, and in most clinics, there is, but for us, there's not’ (R9).

3.2.3 교육
3.2.3 Teaching

[모든 경력 단계의 교육자]들은 [전공의를 가르치는 데 필요한 시간, 인내심, 코칭]이 그들 자신의 IPCA 부담을 악화시킨다는 것을 확인했다. 전공의들은 그 일을 맡음으로써 IPCA 직원들의 요구를 완화하고 있다는 것을 인식했지만, 교육자들은 전공의들에게 위임하는 것은 시간, 인내, 유연성이 필요하다고 설명했다. '내가 원하는 방식으로 교육하는 것은 매우 시간이 많이 걸리기 때문에, 내가 해야 할 약간의 투자와 균형을 이루게 된다.' (E2)
Educators of all career stages identified that the time, patience, and coaching required to teach residents exacerbated their own IPCA burden. While residents perceived that they were alleviating the IPCA demands of staff by taking on that work, educators described that delegating to residents required time, patience and flexibility. ‘Teaching, if done in the way that I like to do it, it's very time consuming and so it balances out a bit of the investment that I do to have some tasks taken off my plate.’ (E2).

3.2.4 친숙함(환자, 진료소 및 전문 지식)
3.2.4 Familiarity (patients, clinic and expertise)

[환자와 친숙하지 않은 것]은 [전공의] 뿐만 아니라 [대리의사 직무locum work(다른 사람의 업무를 인계받거나 명단을 구축)로 인해 환자와 친숙하지 않을 수 있는 경력 첫 5년 동안 의사]의 IPCA 업무량을 악화시켰다. 의료진의 의사는 자신이 잘 알고 있는 환자의 경우 스스로 주문한 결과를 검토하는 데 있어 효율성을 설명했습니다. '또한 일단 실습을 하고 나면 환자를 잘 알게 되는 이점이 있기 때문에, 그러한 요소들은 환자를 좀 더 낫게 만드는 데 도움이 됩니다.'(P1)
Not being familiar with a patient exacerbated the workload of IPCAs for residents as well as for physicians in the first 5 years of their career who may not be familiar with patients due to locum work, taking over someone else's practice or building their roster. Staff physicians described the efficiency in reviewing results they ordered themselves, for a patient they were well-familiar with ‘You also have the benefit of knowing your patients well once you're out in practice, so those factors help make it a bit better.’ (P1).

3.3 권장 사항
3.3 Recommendations

참가자들은 IPCA에 대한 전공의 교육 경험을 개선하기 위한 전공의 프로그램에 대한 권고 사항을 제공했습니다. 참가자들은 프로그램이 [IPCA에 대한 전공의 참여를 표준화하고 학습자와 교사 모두에게 지침과 기대를 명확하게 전달할 것]을 권고했다. '교육 목표와 기대는 무엇인가에 대한 유닛의 집단적 메시지가 있다는 것이 중요하다.' (E5) 이는 교육 현장 전반의 IPCA 워크로드에 대한 인식된 불평등을 개선하기 위한 방법으로 간주되었습니다. 전공의들은 또한 프로그램이 학습자에게 IPCA를 완료하기 위한 [전용 시간]을 제공할 것을 권고했다. [전용Dedicate 시간]은 전공의가 직무의 다양한 구성 요소를 학습할 때 담당 의사와 동일한 업무량을 수행하는 데 필요한 추가 시간을 설명하는 데 도움이 될 것이다.
Participants provided recommendations to residency programmes for improving the resident educational experience with IPCAs. Participants recommended that programmes standardise resident involvement in IPCAs and clearly communicate instructions and expectations to both learners and preceptors: ‘It is important that there is a collective message that comes from the unit about … what are the educational goals, [and] what are the expectations.’ (E5) This was seen as a way to ameliorate the perceived inequity in IPCA workload across training sites. Residents also recommended that programmes provide learners with dedicated time to complete IPCAs. Dedicated time would help account for the additional time residents require to do the same workload of a staff physician as they learn the various components of the task.

또한, 참가자들은 IPCA를 처리할 수 있는 능력을 개발하기 위해서는 [점진적인 도입]이 중요하다고 제안했다. 참가자들은 이것이 업무량을 줄이고 IPCA 관련 스트레스를 완화하는데 도움이 될 수 있다고 믿고 있으며, 특히 임상 치료의 다른 측면을 배우면서 레지던트 초기에 더욱 그렇다. '그것은 아무도 모르는 내 동료 레지던트들의 첫 6개월 동안 정말 많은 사람들을 태워버렸다. 그들은 시스템을 몰랐고, 프로그램을 몰랐고, 어떻게 거주자가 되는지도 몰랐으며, 동시에 1,000명의 수신함을 어떻게 하는지도 몰랐다.' (P4) 
Further, participants suggested that a gradual introduction was important to develop capacity to handle IPCAs. Participants believe this may reduce the workload and help relieve IPCA-related stress, especially early in residency as they learn the other aspects of clinical care. ‘It really burnt out a lot of my co-residents in their first six months of residency when they didn't know anybody. They didn't know the system, they didn't know the program, they didn't know how to be a resident, and also how to do an inbox of 1,000 people at the same time.’ (P4). 
또한, 이 접근 방식은 IPCA 자체의 보다 효과적이고 효율적인 학습을 가능하게 할 것으로 여겨졌다. 개업 의사들은 독립적인 개업에서 IPCA의 [예상 업무량 및 필연적 업무량]에 대한 투명성을 높였고, 이는 가정의학 경력의 일부로서 전공의들이 [IPCA의 현실을 이해하고 예측]하는 데 도움이 될 것이라고 추론했다. 가정의학의 중요한 구성 요소로서 IPCA의 현실을 논의하는 것은 이러한 [작업량에 대한 전공의들의 인식]에 도움이 될 수 있으며, IPCA를 완료하는 지속 가능한 방법을 개발하도록 장려한다. "실제로 당신이 그것을 어떻게 제시하느냐에 달려 있다고 생각합니다. 예를 들어, 이것은 당신이 내 일을 하는 것에 대한 것이 아니라, 내가 당신에게 다른 종류의 교육을 제공하는 것에 관한 것입니다. 결국 당신을 좋은 가정의사로 만들 것입니다." (E5)
In addition, it was felt this approach would allow for more effective and efficient learning of IPCAs themselves. Practicing physicians encouraged more transparency about the expected and inevitable workload of IPCAs in independent practice, reasoning that this would help residents understand and anticipate the reality of IPCAs as part of a career in family medicine. Discussing the reality of IPCAs as a significant component in family medicine may help residents' perception of this workload, encouraging them to develop sustainable ways to complete IPCAs: ‘I think it depends on how you actually present it, like, this is not about you doing my work, but this is about me providing you with a different kind of education, that in the end will make you a good family doctor’ (E5).

마지막으로, 모든 그룹의 참가자들은 IPCA에 대한 보다 명확한 교육, 피드백 및 커뮤니케이션, 특히 청구서, 차트 유지보수, 양식 및 사례 보고/검토를 권고했다. 이러한 교육은 전공의들이 보다 많은 지원을 통해 보다 점진적인 방식으로 지식을 쌓을 수 있도록 도울 뿐만 아니라 교육적으로 중요한 내용을 강조하고 열린 소통의 기회를 제공할 것이다. '학습 욕구, 학습 목표, 이러한 학습 기회의 가치, 전공의가 학습에 대해 어떻게 느끼고 관리하는지, 나아가면서 상황을 조정하고 모두가 함께 작업하도록 하는 것이 중요하다고 생각합니다.' (E1)
Finally, participants in all groups recommended more explicit teaching, feedback and communication on IPCAs, especially billing, chart maintenance, forms and case debriefing/reviewing. This teaching would not only help residents build on their knowledge in a more gradual way with more support, but it would also provide an opportunity to highlight educationally important content and provide opportunities for open communication. ‘I think it's important to have ongoing conversation about learning needs, learning goals, the value of these learning opportunities, how the resident is feeling about it and managing it and be tweaking things as you go and really have everybody working together on it.’ (E1).

마지막으로 IPCA는 끝이 없습니다. 그러므로, 개인의 삶, 정신 건강, 건강을 보호하고 탈진을 피하기 위해 [제한을 두는 것]이 중요하다. 참가자들은 환자와의 경계 설정(예: 필요할 때 환자가 추가 예약을 하도록 권장), 자신에 대한 경계 설정(예: 긴급하지 않은 받은 편지함 항목을 다음날로 남겨두는 것) 및 [IPCA 작업을 완료까지의 시간을 제한하는 것]의 중요성을 반복적으로 표현했다. [솔선수범]하는 것은 전공의들이 독립 실무자와 동일한 전략을 구현할 수 있도록 지원했습니다. '나는 매우 효율적인 지도교사가 있었고, 우리는 결코 늦지 않았다. 그리고 그녀는 나에게 받은 편지함의 균형을 맞추는 법을 가르쳐 주었다. 환자를 보고, 가는 동안 차트를 작성하고, 당신과 함께 집에 가는 최소한의 일을 가져갔다. 그리고 오늘날까지 나는 여전히 그렇게 실천하고 있다. 그리고 그것은 임상적 부분과 IPCA 부분의 균형을 맞추는 방법을 배우는 것만으로도 큰 도움이 되었다고 생각합니다.' (P1)
Finally, IPCAs are never-ending; thus, it is important to set limits to protect one's personal life, mental health, wellness and avoid burnout. Participants repeatedly expressed the importance of

• setting boundaries with patients (e.g. encouraging patients to schedule an additional appointment when necessary),
• boundaries for oneself, (e.g. leaving non-urgent inbox items for the next day) and
• blocking off time to complete IPCA tasks.

Leading by example helped residents implement the same strategies as independent practitioners: ‘I had a very efficient preceptor, we never ran late … and she really taught me how to balance inbox, seeing patients, charting as you go, taking minimal work home with you, and to this day I still practice that way. And I think that was very helpful, just learning how to balance the clinical and the IPCA part.’ (P1).

4 토론
4 DISCUSSION

McMaster Family Medicine Residention 프로그램에서 전공의를 위한 간접 환자 치료 활동의 교육적 영향을 조사했습니다. 모든 참가자는 이 작업량이 필요하지만 종종 충족되지 않는다는 것을 인식했습니다. 그러나 이 작업에 대한 임상의의 관점은 이 작업에 대한 인식과 참여에 영향을 미쳤다. 불평등에 대한 모호한 기대와 인식은 학습자가 이러한 과제에 대한 혐오를 악화시켰다. 참가자들은 이 작업의 교육적 가치를 향상시키기 위해 명시적인 교육 및 피드백과 함께 IPCA에 대한 표준화된 단계적 도입에 초점을 맞출 것을 권고했다. 
We explored the educational impact of indirect patient care activities for residents in the McMaster Family Medicine Residency programme. All participants recognised this workload as necessary, though often unfulfilling. However, the clinician's perspective on this work as either a burdensome additional weight or an opportunity to strengthen their management skills impacted their perception and engagement in the work. Ambiguous expectations and perceptions of inequity exacerbated learner dislike for these tasks. The participants recommended a focus on a standardised graduated introduction to IPCAs, with explicit teaching and feedback to improve the educational value of this work.

[빌렛의 직장 학습 이론]은 학습이 효과적이기 위해서는 학습자가 [교육 기회를 식별하고 참여하도록 선택해야 한다]고 설명한다. 이 연구는 IPCA를 [비교육적 초과근무로 인식하는 것]이 학습자의 이러한 과제에서 학습하는 능력을 저해한다는 점을 강조했다. 이것은 임상 작업장에서 배우는 것이 목적인 '학습자'으로서의 직업적 정체성을 가진 전공의들 사이에서 특히 심각할 수 있다. 스스로를 의료 사업에서 실천을 준비하는 '견습생'으로 보는 전공의들은 IPCA 업무를 효과적으로 관리하기 위한 전략을 배울 기회를 더 많이 볼 수 있다. 우리는 [숨겨진 커리큘럼]이 IPCA의 가치를 떨어뜨리는 방식에 주의를 기울여야 한다. 예를 들어, IPCA 과제가 임상의 시간 중 상당한 부분을 차지하지만 지도, 평가 또는 교육적 가중치를 거의 받지 않는 경우, 전공의는 IPCA 과제가 중요하지 않고 가치가 없다고 생각하는 법을 배울 수 있다. 이 작업을 ['행정적' 작업]이 아닌 '간접적 환자 치료'로 지칭하는 것은 이러한 작업의 가치와 중요성을 강조하는 데 도움이 될 수 있어 환자에게 의료 서비스를 제공하는 전공의의 역할에 관심이 쏠린다. 또한 IPCA 작업을 지속 가능하고 효과적으로 관리하기 위한 시스템에 대한 공식적인 교육 및 피드백 제공을 통합하면(예: 신뢰할 수 있는 전문 활동 또는 핵심 역량) 학습자가 이러한 작업의 교육적 가치를 인식하는 데 도움이 될 수 있다. 뉴질랜드, 호주, 영국의 왕립 일반 실무자 대학과 같은 일부 교육 기관들은 [간접 환자 치료 기술]이 독립 실무에 필요한 역량이라고 명시적으로 밝혔습니다.
Billett's workplace learning theory describes that for learning to be effective, learners must both identify and choose to engage with educational opportunities. This study highlighted that the perception of IPCAs as non-educational extra work impedes learners' ability to learn from these tasks. This may be particularly acute amongst residents whose professional identity is as a ‘student’ whose purpose in the clinical workplace is to learn.41, 42 Residents who see themselves as an ‘apprentice’ preparing to practice in the business of medicine may be more likely to see opportunities for learning strategies to effectively manage IPCA work. We must be attentive to the ways in which the hidden curriculum de-values IPCA work.43 For example, when IPCA tasks take up a significant portion of clinician time but are seldom coached, assessed or given much educational weight, residents may learn to think of them as unimportant and not valuable.42 Referring to this work as Indirect Patient Care rather than ‘administrative’ work may help emphasise the value and importance of these tasks, drawing attention to the resident's role in providing health care to the patient. In addition, incorporating formal ways to teach and provide feedback on systems for sustainably and effectively managing IPCA work (e.g. as an entrustable professional activity or core competency) may also be helpful in helping learners recognise the educational value of these tasks. The groundwork has been laid here by some educational bodies, including the Royal College of General Practitioners in New Zealand,44 Australia45 and the United Kingdom,46 each of which have explicitly stated that indirect patient care skills are a required competence for independent practice.

IPCA 작업을 적절하게 수행할 수 있는 것 외에도, 이러한 작업은 추가 교육 가치를 제공합니다. 의료 전문가로서의 기술 외에도, [목적적 IPCA 교육]은 효율성, 우선순위 부여, 적절한 전문적 의사소통 및 협업을 포함한 전문성, 옹호 및 리더십의 이전 가능한 기술을 강조한다. 이러한 기술은 캐나다 면허 대학인 College of Family Physicians of Canada가 제공하는 레지던트 훈련 프로필의 핵심 전문 활동의 최근 출판에서 강조된다. 이 문서에는 [IPCA 관리(EHR 관리, 받은 편지함 관리, 양식 작성 및 처방 관리 포함)]뿐만 아니라 [자가 및 지속 가능한 의료 행위 관리]를 의료의 유능한 관행에 중요한 핵심 전문 활동으로 나열합니다. 적절한 훈련과 적응적 전문지식의 렌즈를 통해 이 프로그램은 학습자가 다양한 리소스로 다양한 임상 맥락에서 IPCA의 가중치를 해결할 수 있도록 준비할 수 있을 것이다.  
Beyond being able to adequately perform IPCA work, these tasks offer additional education value. In addition to skills as a medical expert, purposeful IPCA education highlights transferable skills in professionalism, advocacy and leadership including efficiency, prioritisation, appropriate professional communication and collaboration. These skills are underscored in the recent publication of core professional activities in the residency training profile provided by the College of Family Physicians of Canada, the Canadian licensing college.47 This document lists managing IPCAs (including maintaining the EHR, managing the inbox, completing forms and managing prescriptions) as well as managing self-care and a sustainable practice both as core professional activities critical to the competent practice of medicine. With appropriate training and a lens of adaptive expertise, the programme would be able to prepare learners to tackle the weight of IPCAs in varied clinical contexts with varied resources.48

IPCA는 종종 전공의 수련의 예기치 않은 구성 요소이다. 직원들은 종종 진료 시간 4시간 이내에 IPCA의 상당 부분을 완료하기 때문에 이 업무량은 일반적으로 의대생에게는 보이지 않는다. 이것은 전공의들이 IPCA 관리에 필요한 긴 시간, 특히 더 유연한 시간을 예상하여 가정의학을 선택한 경우에 특히 낙담하는 이유에 대한 잠재적인 설명을 제공한다. 참가자들의 목소리처럼, [IPCA의 예상치 못한, 충족되지 못한, 그리고 때로는 지속 불가능한 업무량]은 가정의학과 졸업생들이 포괄적인 가정의학을 실천하기로 선택하는 감소와 활동 수준과 환자 패널 크기의 감소에 영향을 미치는 많은 요소 중 하나일 수 있다. 졸업생들은 [이러한 예상치 못한 부담스러운 업무량을 보상]하기 위해 [(환자 패널이 크고 포괄적인) 가정의학 진료에서 벗어남]으로써 [지속 가능한 실천을 유지하기 위한 경계]를 설정하고 있을 수 있다.
IPCAs are often an unexpected component of residency. As staff often complete a significant portion of IPCAs outside of clinic hours4 this workload is typically unseen by medical students. This offers a potential explanation for why residents are particularly disheartened by the longer hours needed to manage IPCAs, especially if they selected family medicine in anticipation of more flexible hours.49 As voiced by our participants, the unexpected, unfulfilling, and sometimes unsustainable workload of IPCAs may be one of the many elements impacting a decline in family medicine graduates choosing to practice comprehensive family medicine and the decline of activity level and patient panel size.50, 51 Graduates may be setting boundaries to maintain a sustainable practice by moving away from comprehensive family medicine practice52 with a large patient panel to compensate for this unexpected and onerous workload.

4.1 교육자에게 미치는 영향
4.1 Implications for educators

이 연구는 가정의학 전공의들이 그들의 의료행위를 관리할 수 있도록 준비하기 위한 [새로운 커리큘럼의 필요성]을 강조했고, [전공의들의 교육적 헌신과 시간]에 대한 상충하는 요구를 염두에 두면서 이 중요한 환자 치료 부분을 통합했다. 53 여기에는 IPCA의 존재에 대한 투명성, 예상 작업량, 그리고 지속 가능한 경영을 위한 기대치와 전략이 포함된다. 예를 들어, 스텝이 학습자가 볼 수 있는 방식으로 자체 IPCA 작업을 완료한다면, 이 작업의 효율성을 높이기 위해 이러한 작업 및 역할 모델링 전략을 표준화한다.
This study has highlighted the need for new curricula to prepare Family Medicine residents to manage their practices, integrating this vital piece of patient care while being mindful of competing demands on residents' educational commitments and time.53 This includes transparency around the existence of IPCAs, the anticipated workload, expectations and strategies for sustainable management. For example, when staff complete their own IPCA work in a way that is visible to the learner, they are normalising these tasks and role modelling different strategies to increase efficiency of this work.

연구 참가자들은 IPCA를 단계적이고 점진적인 방식으로 도입할 것을 권고했다. 예를 들어, EHR 수신함에 대한 소개는 관심 있는 문서 또는 특정 문서를 보낸 후 전공의가 수신함의 모든 구성 요소를 관리할 때까지 전공의가 직접 주문한 항목을 보낸 후 특정 범주의 조사(즉, 참조 노트, 처방, 혈액 검사 및 진단 영상)를 수행할 수 있다. 이 접근법은 특정 학습 목표를 허용하기 위해 [양은 줄이면서 더 집중된 교육]을 촉진할 수 있다. Inbox을 언제 어떻게 도입해야 하는지에 대한 지침을 가지고 있으면 전공의들 사이의 투명성과 형평성이 향상될 것이고, 프로그램이 의도된 역량을 명확히 하고 정기적인 피드백을 촉진하도록 장려할 것이다. 이러한 전략은 전공의들에게 명확성과 구조를 만들어 줄 뿐만 아니라 학습자들이 적응적이고 자기 조절적인 학습 전략을 개발할 수 있도록 돕는 학습 환경을 촉진할 것이다. 전공의들이 스스로의 학습을 조절하고 적응할 수 있을 때, 그들은 의학 분야에서 평생의 경력을 지속할 수 있는 능력을 강화하고 있다. 전공의 프로그램은 이러한 적응적이고 자기 통제적인 행동을 촉진하기 위해 의도적으로 그리고 의도적으로 그러한 학습 환경을 계획해야 한다. 
Study participants recommended that IPCAs be introduced in a stepwise, gradual way. For example, introduction to the EHR inbox can begin by sending interesting or specific documents, then items the resident themselves ordered, followed by a particular category of investigations (i.e. consult notes, prescriptions, blood work and diagnostic imaging) until the resident is managing all components of the inbox. This approach may facilitate focused education with reduced quantity to allow for specific learning goals. Having a guideline as to when and how inbox should be introduced will improve the transparency and equity amongst residents, encourage the programme to articulate the intended competency and to promote regular feedback. These strategies will not only create clarity and structure for residents, they also promote a learning environment that helps learners develop adaptive, self-regulated learning strategies.54 When residents are able to regulate and adapt their own learning, they are bolstering their ability to sustain a life-long career in medicine. Residency programmes should intentionally and purposefully plan such learning environments to promote these adaptive, self-regulated behaviours.54

4.2 강점과 한계
4.2 Strengths and limitations

수집된 데이터는 단일 레지던트 프로그램에서 수집되었으며 다른 가정의학 프로그램이나 다른 전문 분야로 이전할 수 없습니다. 상당한 모집 노력에도 불구하고, 참여에 자원한 전공의들은 우리 레지던트 프로그램의 대규모 학술 교육 현장에서 불균형적으로 뽑혔다. 지역사회 기반 현장에서 주민을 모집하는 것이 과제였는데, 이는 다양한 현장에서 IPCA의 교육 경험의 불일치를 시사하는 것일 수 있다. 참가자들이 자신의 경력 단계와 관련된 IPCA에 대해 말하는 방식에 차이가 있었기 때문에 다양한 수준의 전문 경험과 초점을 가진 참가자들의 통합이 강점이다.
The data collected was from a single residency programme and may not be transferable to other family medicine programmes or other specialties. Despite significant recruitment efforts, the residents who volunteered to participate were disproportionately drawn from the large academic teaching sites in our residency programme. It was a challenge to recruit residents from the community-based sites, which may be an indication of a discrepancy in the educational experience of IPCAs in the various sites. The incorporation of participants with varying levels of professional experience and focus is a strength, as there were differences in the way that participants spoke about IPCAs, related to their career stage.

5 결론
5 CONCLUSION

결론적으로, IPCA는 우리 의료 시스템의 필수적이고 증가하는 구성요소이다. 우리 가정의학 전공의들이 이러한 업무를 효과적이고 [지속 가능한 방식]으로 관리하도록 훈련받는 것이 필수적이다. 지속 가능성에 초점을 맞추지 않으면 IPCA는 인구 수요를 충족시키기 위해 충분한 수의 일반 가정의사를 모집하고 유지하는 데 장애가 될 위험이 있다. 이를 달성하기 위해서는 IPCA에 대한 점진적인 도입, 교육 및 피드백, 동료 간의 형평성을 포함할 수 있는 교육 혁신이 필요합니다. 이 교육을 제공하지 못하면, 수련을 마친 전공의가 독립적인 임상 실습으로의 이행하는 것에 대한 위험, 그리고 일부 사람들에게는 포괄적인 진료를 떠나서 더 세부전문과목으로 진입할 위험이 따른다. 그러나 교육 혁신은 충분하지 않다. 상응하는 보수 없이 업무량이 증가했을 때 나타나는 시스템적 영향을 인식하고, family practice의 지속 가능성을 높이는 의료 시스템 변화를 옹호해야 한다.
In conclusion, IPCAs are a necessary and increasing component of our health care system. It is essential to ensure our family residents are trained to manage these tasks in an effective and sustainable manner. Without a focus on sustainability, IPCAs risk becoming a barrier to recruiting and retaining sufficient numbers of generalist family physicians to serve population needs. Achieving this will require educational innovation, which may include a gradual introduction to IPCAs, with teaching and feedback, and equity amongst peers. Failing to provide this education carries the risk of more challenging transitions to independent clinical practice for graduating residents, and for some, attrition out of comprehensive practice and into sub-specialisation. However, educational innovation is not sufficient. We need to recognise the systemic implications of an increased workload without corresponding remuneration and advocate for health system change, which increases the sustainability of family practice.

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.

임상실습에서 과락-실패를 유발하는 교수역할특성 (Med Educ, 2022)
Role of faculty characteristics in failing to fail in clinical clerkships
Jennifer L. Swails1 | Meghana A. Gadgil2,3 | Heath Goodrum4 | Resmi Gupta5 |
Mohammad H. Rahbar5,6 | Elmer V. Bernstam1,4

1 소개
1 INTRODUCTION

CBME(역량 기반 의료 교육)는 학생들이 진급을 하기 전에 숙련도를 입증하도록 요구함으로써 환자의 안전을 증진시킨다. 이와 같이 중요한 사건 보고는 의과대학에서 시작되어, 성과가 저조한 미래의 의사를 식별하고 임상 치료에 영향을 미치기 전에 개선할 수 있는 기회를 제공함으로써 환자를 보호한다. 또한 의과대학 평가는 전공의 성공의 중요한 예측요인으로 간주되어 전공의 선정과정에서 가중치를 부여하고 있다. 
Competency-based medical education (CBME) promotes patient safety by requiring students to demonstrate proficiency before they can progress. In this way, critical event reporting begins in medical school, protecting patients by identifying underperforming future physicians and allowing them the opportunity to improve before impacting clinical care.1 Furthermore, medical school evaluations are considered an important predictor of residency success and are thus weighted heavily in the residency selection process.2-4

의학 교육과 경력 개발에서 중요한 역할에도 불구하고, 의대생 임상실습 등급 보고는 사용된 등급 척도에 따라 기관마다 크게 다르다. 평가는 학생의 성별과 인종에 따라 영향력에 취약할 수 있다. 게다가, 임상실습 책임교수 조사 데이터는 등급 인플레이션의 지속적인 국가 패턴을 시사하지만, 이에 대한 명확한 설명은 존재하지 않는다.
Despite their key role in medical education and career development, medical student clerkship grade reporting varies greatly between institutions,5-8 depending on the grading scale used7 and even across rotations within a clerkship.7 Evaluations can be vulnerable to influence based on the gender and race of students.9 Moreover, clerkship director survey data suggest a persistent national pattern of grade inflation,10-12 though no clear explanation for this exists.

교수진들은 또한 표준 이하의 임상실습 수행능력을 문서화하는 것을 꺼릴 수 있다. 특히, 최근의 메타 분석에서 교수진의 전문직업적 우려를 "과락 실패"의 주요 원인으로 확인했습니다. 최근 몇 년간 교수진에 대한 의대생 평가는 교수진 승진에 중요한 요소가 되고 있다. 의대생 사무원 자격 평가에 대한 우리의 현재 이해에서 중요한 차이는 교수직, 성별 및 인종과 같은 평가자 특성의 영향이다. 학계의 여성과 소수자는 전반적으로 승진 기준이 다르고 더 높은 수준을 유지하고 있으며, 의대생들의 평가는 교직원의 성별과 인종에 따라 영향을 받는다는 것이 데이터에 의해 입증되었다. 교육생과의 선행연구를 통해 교직원과 전공의 평가 사이의 호혜성(긍정적, 부정적 모두)을 입증했지만 의대생에 대한 자료는 거의 없다.
Faculty may also be reluctant to document substandard clerkship performance.12 Notably, a recent meta-analysis identified faculty professional concerns as a major reason for “failure to fail.”13 In recent years, medical student evaluations of faculty have become an important factor in faculty promotion. An important gap in our current understanding of medical student clerkship evaluations is the impact of evaluator characteristics like faculty rank, gender, and race. Data have demonstrated that women and minorities in academia overall are held to different and higher standards for promotion14-16 and that evaluations by medical students are impacted by the gender and race of the faculty member.17, 18 Prior research with trainees has demonstrated reciprocity (both positive and negative) in faculty and resident evaluations,19, 20 but there is little data for medical students.

이전 연구들은 학생을 낙제시키는 장벽을 조사했지만, 교수 인구 통계와 직위rank는 제외되었다. 우리는 [승진 전에 부정적인 영향에 대한 취약성]을 인지했기 때문에, 주니어 교수진이 낮은 성과 평가(LPE)를 제출할 가능성이 낮다고 가정했다. 또한 주니어 교수진은 일반적으로 경험이 부족하고, 평가 기술에 대한 자신감이 떨어질 수 있다. 우리는 교수진에 대한 학생 평가의 변동성뿐만 아니라 학문적 순위에서 알려진 차이를 고려할 때 교수진의 성별, 인종, 민족성이 중요한 수식어가 될 것이라고 생각했다. 이러한 가설을 테스트하기 위해, 우리는 미국 남부의 한 대형 학술 의료 센터에서 10년 이상의 의대 학생 임상실습생 평가와 함께 대규모 데이터 세트를 분석했다. 재교육 교정조치가 필요한 학생을 정확하게 평가하려면 두 가지 작업을 모두 수행해야 합니다.

• (1) 표준 이하의 행동을 식별할 수 있다. 
  
• (2) 그것을 기꺼이 구두로 말하거나 기록한다. 

본 연구에서는 [평가의 정확성]을 평가할 수 없었고, 대신 두 번째 요소인 [문서 작성 의지]에 초점을 맞췄다. 두 구성 요소를 별도로 평가하는 것은 정확도를 향상시키기 위한 고유한 개입을 제안할 수 있다.
Previous studies have investigated the barriers to failing a student, but faculty demographics and rank were excluded.13 We hypothesized that junior faculty were less likely to submit low performance evaluations (LPEs), perhaps due to perceived vulnerability to negative repercussions prior to promotion. Junior faculty could also be generally less experienced and less confident in their evaluation skills. We thought faculty gender, race, and ethnicity would be important modifiers given the known disparities in academic rank, as well as variability in student evaluations of faculty. To test these hypotheses, we analysed a large dataset with more than a decade of medical student clerkship evaluations from a large academic medical centre in the Southern United States. Accurately assessing a student who needs remediation requires faculty to both

• (1) be able to identify the substandard behaviour and
• (2) be willing to verbalise or document it.

In this study, we could not assess the accuracy of assessment and, instead, focused on the second component, willingness to document. Evaluating the two components separately may suggest unique interventions to improve accuracy.

2 방법
2 METHOD

단일 기관에서 15년 동안 완료한 3학년 임상실습 재직 중 의대생에 대한 교수진 평가를 분석하였다. 이 연구는 프로토콜 HSC-SBMI-19-0385에 따라 인간 대상 보호를 위한 위원회의 승인을 받았다.
Faculty evaluations of medical students during third-year clerkships completed over a 15-year period from a single institution were analysed. This study has been approved by the Committee for the Protection of Human Subjects under protocol HSC-SBMI-19-0385.

핵심 3년차 임상실습 7개 중 5개(가정의학과와 지역사회의학, 내과, 소아과, 정신과학, 신경학)에 대한 중간점 및 최종 교수진 평가가 모두 포함되었습니다. 외과, 산부인과, 산부인과가 제외되었는데, 이는 교수진이 사무직에 대한 총체적인 평가를 완료하기 때문이다(즉, 평가는 여러 교수진의 의견을 반영한다). 임상강사들이 완료한 평가는 한 부서에만 소수 인원이 있어 제외됐다.
All midpoint and final faculty evaluations for five of seven core third-year clerkships (Family Medicine and Community Medicine, Internal Medicine, Paediatrics, Psychiatry, and Neurology) were included. Surgery and Obstetrics and Gynaecology were excluded because the faculty complete evaluations in aggregate for those clerkships (i.e., the evaluation reflected input from multiple faculty members). Evaluations completed by clinical instructors were excluded because there were a small number in only one department.

[불충분한 학생 성과를 문서화할 의사가 있는 교직원]을 식별하기 위해, 우리는 LPE를 교직원이 중간 지점이나 사무직 최종 평가에서 학생이 기대에 미치지 못한다고 판단한 평가로 정의했다. 최종 평가 형태는 연구 기간 15년 동안 다양했으며, 형태별로 질문 항목 수가 달랐다.

• 질문은 binary하거나 (예: "이 학생들의 윤리적 또는 직업적 행동에 대해 심각한 우려가 있습니까?" [예/아니오]) 
  
• 또는 임상실습 역량 평가를 위한 5점 리커트 척도를 가지고 있었다. 

중간점 평가도 15년의 연구 기간에 걸쳐 다양했지만, 이진 척도 질문(예/아니오)으로 구성되었으며, 이를 통해 교수진은 학생이 여러 역량 영역에서 "기대 충족" 또는 "실패"를 나타낼 수 있었다. 우리는 매년 완료되는 평가 양식을 수동으로 검토하여 해당 양식에 대해 어떤 답변이 LPE를 정의했는지 확인했습니다. 
To identify faculty willing to document inadequate student performance, we defined LPEs as evaluations where the faculty instructor determined that the student did not meet expectations either at the midpoint or at the final evaluation of the clerkship. Final evaluation forms varied over the 15-year period of the study, with differing numbers of question items per form. Questions

• were either binary (e.g., “Do you have any serious concerns about this students ethical or professional behavior?” [Yes/No])
• or had 5-point Likert scales for assessment of clerkship competencies.

Midpoint evaluations also varied across the 15-year study period but consisted of binary scale questions (Yes/No) through which faculty could indicate if the student was “meeting” or “failing to meet” expectations in a number of competency areas. We manually reviewed the evaluation forms completed each year to determine what answers defined LPE for that form.

다음 중 하나 이상을 통해 학생의 [LPE를 정의]했습니다.

• 중간 평가에서 학생은 하나 이상의 역량 영역에서 "기대 충족에 실패"했습니다.
  
• 중간 평가 또는 최종 평가에서 비윤리적인 행동으로 플래그 지정됨
  
• 전반적 최종 평가에서 낙제 점수—평가 양식에 '전반적 평가'항목이 존재했을 때(5점 Likert 척도에서 1 또는 2의 값으로 정의됨)
  
• 최종 평가에서 성과에 대한 리커트 척도의 중앙 점수 아래에 있는 하나 이상의 점수(5점 리커트 척도의 경우 1 또는 2의 값) 모든 형태는 연구자들에 의해 독립적으로 검토되었으며(J. L. S., M. A. G. 또는 E. V. B.) 형태 간 변동성에도 불구하고 이러한 값에 대한 앵커들은 일관되게 부적절한 성능을 나타냈다(보조 자료에 이용 가능한 평가 양식에 사용되는 앵커). 예를 들어, 여러 형태의 레벨 2 성과는 다음과 같이 표현되었습니다. 
  
  • "최소한의 기본 기술 수준입니다. 면담과 신체진찰에 대한 공부가 필요하다. 임상실습 동안 진전이 거의 없습니다."
  • "환자의 불만과 관련된 정신 상태 검사를 수행하지 않으며 일부 비정상적인 소견을 간과합니다."
    
  • "환자기록 노트가 약간 불완전합니다."

We defined an LPE for a student through one or more of the following:

각 로테이션마다, 교수진들은 그들이 감독한 학생들에 대한 평가를 완료하도록 요청받았다. 각 학생은 3학년 임상실습 과정 동안 여러 평가 세션을 거쳤으며, 대부분의 교수진은 15년 동안 여러 학생을 평가했습니다. 학생들은 특정한 교수진을 요청할 수 있었지만, 그러한 요구들이 항상 허락된 것은 아니었다. 대부분의 과제는 무작위로 이루어졌다. 
For each rotation, faculty were asked to complete evaluations for students they had supervised. Each student moved through multiple evaluation sessions over the course of their third-year clerkships, and most faculty evaluated multiple students over the 15 years of the study. Students could request specific faculty, but such requests were not always granted. Most assignments were random.

위에서 정의한 바와 같이 LPE 제출 가능성과 함께 교수 평가자 등급(조교, 준교수 또는 정교수)의 연관성을 평가했습니다. 교수진 특성에는 학력, 성별, 인종, 민족성, 나이, 그리고 평가를 내린 경험이 포함된다. 학생 인구 통계 데이터를 사용할 수 없습니다. 
We assessed the association of a faculty evaluator's rank (assistant, associate, or full professor) with the likelihood of submitting an LPE as defined above. Faculty characteristics included academic rank, gender, race, ethnicity, age, and experience giving evaluations. Student demographic data were not available.

우리는 [경험 점수]를 사용하여 [직위]와 [경험]을 구분했다. 이 값은 해당 교수진이 제출한 각 평가 시 해당 교수진이 데이터 세트 내에서 완료한 평가 수의 카운트로서 각 교수진에 대해 계산되었다. 예를 들어, 학생에 대한 19번째 평가를 마친 교직원은 해당 평가에 대해 19의 경험치, 25번째 평가에 대해 25의 경험치가 할당됩니다. 평가 당시 경험치가 낮은 경험은 경험점수 ≤ 50, 중간 경험은 > 50이지만 ≤ 100으로, 높은 경험은 > 100으로 범주형 변수로 그룹화했다. 이 전략은 연구 기간 전에 상당한 수의 평가를 완료한 고위 교수진의 경험을 과소평가할 수 있지만, 모든 교수진은 시작부터 시작하여 연구 과정에 걸쳐 각 수준에서 동일한 수의 평가를 입력할 수 있는 기회를 갖게 된다. 연구 기간 15년에 걸쳐 시간이 경과되고 새로운 교수진이 추가됨에 따라, 그들의 새로운 평가 수치(평균 2134.9/년)는 더 많은 상급 교수진이 학습 시작 전에 제출한 평가의 잘못된 "startup" 효과를 훨씬 초과한다. 우리 표본에서 낮은 빈도의 LPE와 각 순위의 교수진을 고려할 때 통계적 힘을 보존하기 위해 범주형 변수가 필요했다. 
We distinguished faculty rank from experience using an experience score. This was calculated for each faculty member at the time of each evaluation submitted by that faculty member, as a count of the number of evaluations completed by that faculty member, within our dataset. For example, faculty completing their 19th evaluation of a student would be assigned an experience value of 19 for that evaluation and a value of 25 for the 25th evaluation. We grouped experience as a categorical variable, with low experience defined as an experience score of ≤50, middle experience as >50 but ≤100, and high experience as >100, at the time of evaluation. Although this strategy may underestimate the experience of senior faculty with a significant number of evaluations completed prior to the study period, all faculty will begin at the start and have an opportunity to enter the same number of evaluations at each level over the course of the study. As time progressed over the 15 years of the study and new faculty are added, their new evaluation numbers (mean 2134.9/year) far exceed the false “startup” effect of evaluations submitted by more senior faculty prior to study start. A categorical variable was necessary to conserve statistical power given the low frequency of LPE and faculty of each rank in our sample.

연속형 변수에 대한 기술 통계량을 중위수 및 표준 편차(SD)로 계산하고 범주형 변수는 빈도와 백분율로 계산했습니다. 반복 측정 계층적 데이터 구조를 고려할 때, 우리는 구조화되지 않은 공분산을 가진 이항 분포와 로지스틱 링크 함수를 갖는 일반화된 혼합 회귀 모델을 사용했다. 학생들의 평가는 교직원 평가자 내에 nested되었고, 평가자는 로테이션 내에 nested되었다. 모든 모형에 대한 결과 변수는 LPE 대 그렇지 않음을 나타내는 각 평가에 대한 이진 변수였습니다. 교직원의 성별, 교직원의 연령, 교직원의 인종, 교직원의 민족성, 교직원의 인종, 민족성, 연령 및 교직원의 평가년도의 역할과 교직원의 성별, 인종, 연령 및 교직원의 상호 작용 효과를 교직원의 등급 간 연관성과 최종 평가에 대한 LPE 부여의 잠재적 교란자로 평가하였다.
We calculated descriptive statistics for continuous variables as medians and standard deviations (SD). Categorical variables were calculated as frequencies and percentages. Given the repeated-measures hierarchical data structure, we utilised a generalised mixed regression model having binary distribution and logistic link function with unstructured covariance. Students' evaluations were nested within faculty evaluators, and evaluators were nested within a rotation. The outcome variable for all models was a binary variable for each evaluation indicating LPE versus not. We evaluated the role of faculty gender, faculty age, faculty race, faculty ethnicity, experience giving evaluations, and calendar year of evaluation, as well as interactive effects between faculty gender, race, ethnicity, age, and faculty rank, as potential confounders of association between faculty rank and giving LPE on final evaluations.

[최종 평가]와 비교하여 [중간점 평가]에서 LPE를 받을 가능성 사이에 상당한 차이를 발견했지만, 중간점평가에서 LPE의 사용에는 큰 차이가 있었다. 예를 들어, 한 교직원은 중간 지점에서 학습자의 50% 이상의 LPE를 제공했지만 최종(요약) LPE는 훨씬 적게 제공했습니다. 따라서 중간점 평가를 모델에 포함하지 않았다.

Although we found a significant difference between the likelihood of receiving an LPE on a midpoint evaluation compared with a final evaluation, there was wide variation in the use of midpoint LPEs. For example, one faculty member gave more than 50% of learners LPEs at midpoint but gave far fewer final (summative) LPEs. Thus, we did not include midpoint evaluations in our model.

통계적 비유의성으로 인해 교수 연령과 교수 인종, 민족성, 상호작용 효과의 잠재적 modifier effect는 최종 모형에서 삭제되었다. 우리의 1차 가설은 교수진과 관련이 있기 때문에 통계적 유의성이 부족함에도 불구하고 추진되었다. 결과는 95% 신뢰 구간(CI)과 함께 승산비(OR)로 표시된다. 통계적 유의 수준은 α = 0.05로 설정되었다. 모델에 적합한 GLIMMIX 절차를 포함하여 모든 분석은 SAS 통계 소프트웨어 버전 9.4.4로 수행되었다(SAS Institute Inc., Cary, NC).
Because of nonstatistical significance, the potential modifier effects of faculty age and faculty race, ethnicity, and interactive effects were dropped from the final model. Our primary hypothesis is related to faculty rank, so it was carried forward despite lack of statistical significance. Results are presented as odds ratio (OR) along with 95% confidence intervals (CIs). Statistical significance level was set at α = 0.05. All analyses were conducted with SAS statistical software version 9.4.4, including the GLIMMIX procedure to fit the model (SAS Institute Inc., Cary, NC).

3 결과
3 RESULTS

데이터 세트에는 2007년 1월부터 2021년 4월까지 총 3447명의 학생(표 1)을 대상으로 585명의 교수 평가자가 완료한 50120개의 평가(32024 최종 평가[64%] 및 18096 중간 평가[36%])가 포함되었으며, 총 1418(2.8%)의 LPE가 주어졌다. 조교수가 가장 많은 평가(70%)를 제출했고, 준교수와 정교수(각각 15%)가 그 뒤를 이었다. 여성 교직원이 51.3%의 평가를 제출했으며, 평가 완료 당시 교직원의 중위연령은 43세(28~87세)였다. 텍사스 대학교 시스템이 채용한 인종 및 민족 범주별로 보면, 비히스패닉으로 자처한 교수진이 89%의 평가를 마쳤으며, 백인 46%, 아시아인 30%, 기타 24%가 평가되었다. "낮은" 경험 교수진은 방법에 정의된 대로 38%의 평가를 완료했습니다. "중간" 경험은 21%의 평가를 마쳤고, "높은" 경험 교직원은 42%를 마쳤습니다. 교수진은 최종 평가(1.6%)보다 중간 지점(4.9%)에서 LPE를 줄 가능성이 더 높았다(OR = 4.004, 95% CI [3.59, 4.53]; p < 0.001). 
The dataset included 50 120 evaluations (32 024 final evaluations [64%] and 18 096 middle evaluations [36%]) completed by 585 faculty evaluators on 3447 students (Table 1) between January 2007 and April 2021, with a total of 1418 (2.8%) LPEs given. Assistant professors submitted the most evaluations (70%), followed by associate and full professors (15% each). Female faculty submitted 51.3% of evaluations, and the median age of faculty was 43 (range 28–87 years) at the time the evaluation was completed. Per the race and ethnicity categories employed by the University of Texas system, 89% of evaluations were completed by faculty that self-identified as non-Hispanic, with 46% White, 30% Asian, and 24% Other. “Low” experience faculty completed 38% of evaluations, as defined in the methods. “Middle” experience completed 21% of evaluations, and “high” experience faculty completed 42%. Faculty were more likely to give LPEs at the midpoint (4.9%), compared with the final (1.6%), evaluation (OR = 4.004, 95% CI [3.59, 4.53]; p < 0.001).

표 1은 최종 평가를 위한 단일 변수 연관성과 기술 통계량을 보여줍니다. 최종 평가의 2%는 LPE였다. 조교수가 LPE의 67%, 부교수가 15%, 정교수가 18%로 가장 많았다. 여성 교수진은 LPE의 63%를 주었다. LPE의 90%는 비히스패닉 교수진에 의해 주어졌다. 백인 교수진이 LPE의 47%, 아시아 교수진이 27%, 기타 교수진이 26%를 받았다. 낮은 경험의 교수진은 LPE의 54%, 중간 경험의 교수진은 22%, 그리고 높은 경험의 교수진은 24%를 주었다. 해당 연도에 주어진 총 평가의 백분율로서 연간 LPE의 백분율은 그림 1에 나와 있다. 
Table 1 shows the results of univariable associations and descriptive statistics for final evaluations. Two per cent of final evaluations were LPEs. Assistant professors gave the most LPEs (67%), associate professors gave 15%, and full professors gave 18%. Female faculty gave 63% of LPEs. Ninety per cent of LPEs were given by non-Hispanic faculty. White faculty gave 47% of LPEs, Asian faculty gave 27%, and “Other” faculty gave 26%. Low experience faculty gave 54% of LPEs, 22% by middle experience faculty, and 24% by high experience faculty. The percentages of LPE per year as a percentage of total evaluations given in that year are shown in Figure 1.

표 2는 최종 모델의 결과를 보여줍니다. 귀무 모델은 AIC(Akaike Information Criteria) 적합 통계가 5359.73인 반면, 우리의 최종 모델은 Akaike Information Criteria가 5006.32로 더 적합하다는 것을 보여주었다. 연구 기간 동안 LPE의 가능성은 각 달력 연도에 따라 유의하게 감소했습니다(표 2, OR = 0.94 [0.90, 0.97]; p < 0.01). 정교수는 조교수보다 LPE를 줄 가능성이 유의미하게 높았다(OR = 1.62 [1.08, 2.43]; p = 0.02). 여성이 남성보다 LPE를 투여할 가능성이 더 높았다(OR = 1.88 [1.37, 2.58]; p 0.01). 경험은 LPE와 연관되지 않았습니다.
Table 2 shows the results of our final model. The null model had an Akaike Information Criteria (AIC) fit statistic of 5359.73, whereas our final model had an Akaike Information Criteria of 5006.32, indicating a better fit. The likelihood of LPE decreased significantly with each calendar year during the study period (Table 2; OR = 0.94 [0.90, 0.97]; p < 0.01). Full professors were significantly more likely to give an LPE than assistant professors (OR = 1.62 [1.08, 2.43]; p = 0.02). Women were more likely to give LPEs than men (OR = 1.88 [1.37, 2.58]; p 0.01). Experience was not associated with LPE.

4 토론
4 DISCUSSION

15년에 걸쳐 제출된 이 대규모 임상실습 평가 코호트에서, 우리는 LPE가 상대적으로 드물다는 것을 발견했는데, 이는 모든 최종 평가의 2.8%에 해당한다. 다행히도, [큰 표본 크기]는 우리가 의학 교육에서 드물지만 중요한 사건에 대한 결론을 도출할 수 있게 해주었다.

• 대부분의 이전 작업은 정성적이었고 더 작은 샘플도 포함했습니다.
• 다른 연구는 "명예" 등급의 예측 변수에 초점을 맞췄다.
• 한 대규모 연구는 진급 실패를 예측하기 위해 전공의 평가에서 키워드를 확인했지만, 교수 요인의 역할을 조사하지 않았다.

In this large cohort of clerkship evaluations submitted over 15 years, we found that LPEs were relatively rare, representing 2.8% of all final evaluations. Fortunately, the large sample size allowed us to draw conclusions about this rare but important event in medical education.

• Most previous work was qualitative and included smaller samples.21 
• Other research focused on predictors of an “honours” grade.22 
• One large study identified keywords in resident evaluations to predict failure to progress but did not investigate the role of faculty factors.23 

우리는 또한 주니어 교수진에 비해 시니어 교수진의 낮은 유병률, 특정 임상실습(예: 입원 병동 대 일반 진료소) 및 연도를 포함하여 여러 잠재적 교란자를 제어할 수 있는 정교한 계층적 모델을 구현했다. 이 모델을 기반으로 최종(요약) 평가에 비해 중간점(형식) 평가에서 LPE가 일반적으로 3배 이상 제출되었다. (연구 기간 동안 완료된 평가 횟수로 측정되는) 교수 경험과 무관하게 정교수가 조교수보다 종합 LPE를 제출할 가능성이 더 높았다.  여성은 남성보다 LPE를 투여할 가능성이 더 높았다. 전반적으로 LPE 빈도는 우리 기관의 역량 기반 교육의 직접 관찰 및 구현에 대한 강조가 증가했음에도 불구하고 시간이 지남에 따라 감소하였다. 
We also implemented a sophisticated hierarchical model that allowed us to control for multiple potential confounders including the lower prevalence of senior faculty compared with junior faculty, specific clerkship (e.g., inpatient wards vs. general medicine clinic), and year. Based on this model, LPEs were over three times more commonly submitted at the midpoint (formative) evaluation compared with final (summative) evaluations. Full professors were more likely to submit summative LPEs than assistant professors, independent of faculty experience (as measured by number of evaluations completed during the study period). Women were more likely to give LPEs compared with men. Overall, LPE frequency decreased over time despite increased emphasis on direct observation and implementation of competency-based education at our institution.

비록 이 관찰 연구가 원인을 결정할 수는 없지만, 우리는 주니어 교수진이 부정적인 결과, 특히 학생으로부터의 부정적 평가에 대한 우려 때문에 수준 이하의 학생 성과를 문서화하는 것을 주저할 수 있다고 가정한다. 교직평가는 승진을 위한 평가, 교직상 선정, 기타 승진 및 리더십 기회의 중요한 구성 요소이다. 우리의 가설은 [특정 세부전공 로테이션, 평가 형태 변화, 교수 경험, 시간 경과에 따른 등급 인플레이션 등의 잠재적 교란 요인을 통제]한 후에도 지속된 주니어 교수진과 시니어 교수진 간 등급 차이로 뒷받침된다. 이는 또한 교수진이 개인적인 스트레스, 낙제생으로 인한 행정적 부담, 교수진 개발 부족 또는 연수생 성과에 대한 죄책감을 피하기 위해 LPE를 주는 것을 꺼릴 수 있다는 것을 발견한 이전 연구에서도 입증되었다. 그러나 이러한 원인은 특히 [제출된 평가 수에 따른 경험]을 통제한 후 서로 다른 직급의 교수들 사이에서 일정할 수 있다. [학생으로부터의 우수한 평가를 유지하기 위해 주니어 교수들이 부정적인 피드백을 제공하는 것을 피한다]는 학부 기관의 자료를 볼 때, 의학 교육에서도 비슷한 양상이 나타난다면 놀랄 일은 아닐 것이다. 하지만, 기관들은 승진에서 학생 평가를 탈-강조하는 것을 꺼릴 수 있다. 
Although this observational study cannot determine causes, we hypothesise that junior faculty may be hesitant to document substandard student performance due to fear of negative consequences, particularly poor teaching evaluations. Teaching evaluations are an important component of assessment for promotion, selection for teaching awards, and other advancement and leadership opportunities. Our hypothesis is supported by the difference in grading between junior and senior faculty that persisted even after controlling for specific subspecialty rotations, changes in evaluation forms, faculty experience, and grade inflation over time as potential confounders. This has been documented in previous research, which also found that faculty may also be reluctant to give LPEs to avoid personal stress, the administrative burden caused by failing a student, lack of faculty development, or guilt about trainee outcomes.13 However, these causes would likely be constant among faculty at different academic ranks, especially after controlling for experience based on number of evaluations submitted. Given data from undergraduate institutions that junior faculty avoid providing negative feedback in order to maintain good student evaluations, it would not be surprising if similar patterns were seen in medical education. However, institutions may be reluctant to de-emphasise student evaluations in promotion.24

교수 평가가 진급에 덜 중요할 수 있는 [임상의-연구자]는 승진할 가능성이 더 높고, 더 낮은 평가를 내릴 수 있다. 우리의 데이터 세트는 학생 평가 당시 각 교수진의 특정 트랙(예: 임상의-교육자 및 테뉴어 트랙 연구원)에 대한 정보를 포함하지 않았으며, 연구 기간 동안 승진 지침이 다양했다. 종신 재직권은 조교수나 부교수에 비해 정교수 계급의 교수들 사이에서 더 흔하다. 우리 기관에는 종신 재직 중인 부교수들이 있지만, 종신 재직 중인 정교수의 비율은 훨씬 더 높다. 이는 코호트에서 조교수와 부교수 간에 LPE의 차이를 발견하지 못한 이유를 설명하는 데 도움이 될 수 있지만, 조교수와 정교수 사이에는 차이가 있었다. 향후 연구는 성적 인플레이션, 교수진 및 재직 기간 간의 관계를 조사해야 한다.
Clinician-researchers, for whom teaching evaluations may be less critical for advancement, may be both more likely to be promoted and give lower evaluations. Our dataset did not include information on the specific track (e.g., clinician-educator and tenure-track researcher) of each faculty member at the time of student evaluation, and promotion guidelines varied during the study period. Tenure is more common among faculty at the rank of full professor compared with either associate professors or assistant professors. Although there are tenured associate professors at our institution, the proportion of tenured full professors is much higher. This may help explain why we found no difference in LPEs between assistant and associate professors in our cohort, but there was a difference between assistant professors and full professors. Future studies should investigate the relationship between grade inflation, faculty tracks, and tenure.

교수진이 개별 학생들과 보내는 시간을 제한하는 근무 패턴을 바꾸는 것은 성적 인플레이션에 기여할 수 있다. 과거에는 팀들이 매달 돌아가면서, 교수진들은 시간이 지남에 따라 학생들의 성과를 관찰할 수 있었다. 최근, 2주 또는 심지어 1주 블록이 더 흔해졌다. 이전 연구에서는 학습자와의 시간이 줄어들면 교수진이 낙제 평가를 기꺼이 제출할 가능성도 감소한다고 관찰했습니다. 따라서 "의문의 이점"은 LPE의 빈도를 감소시킬 수 있다.
Changing work patterns that limit the time that faculty spend with individual students may contribute to grade inflation. In the past, teams rotated monthly; thus, faculty were able to observe student performance over time. Recently, 2-week or even 1-week blocks have become more common. Previous studies observed that decreased time with a learner also reduced the likelihood that a faculty would be willing to submit a failing evaluation.13 Thus, the “benefit of the doubt” may decrease the frequency of LPEs.

우리는 교직원의 성별과 인종이 학생 평가에 미치는 영향을 조사했습니다. 인종과 민족은 LPE를 예측하지 못했지만, 비슷한 직위에 있는 남성보다 여성이 LPE를 제출할 가능성이 더 높았다. 남녀 후배 교수진이 부여한 LPE가 승진, 학술상, 리더십 직급에 어떤 영향을 미치는지, 어떻게 영향을 미치는지 판단할 자료가 부족하지만, 이는 향후 조사에 중요한 영역이 될 수 있다.
We investigated the effect of faculty gender and race on student evaluations. Race and ethnicity did not predict LPE, but women were more likely to submit LPEs compared with men at a similar academic rank. We lack the data to determine whether and how LPEs given by male and female junior faculty affect promotion, academic awards, and leadership positions, but these may be important areas for future investigation.

어려움을 겪고 있는 학생들을 정확하게 식별하는 것은 그 학생이 발전하도록 돕는 동시에 공공의 이익을 위해서도 중요하다. 이전의 교육 질 개선 작업은 학생 실패에 대한 근본 원인 분석을 수행했지만 실패가 환자 치료에 미칠 수 있는 영향을 고려할 때 더 심각한 중대 사건이 될 수 있다. 학습자의 성장 마인드를 강조하는 것은 낮은 점수를 교육 성장을 이끄는 도구로 해석하는 데 도움이 될 것이다. 성별, 인종 및 민족성이 평가에 미치는 영향에 대한 교수진과 학생들의 더 나은 교육과 훈련은 또한 그들이 서로에 대해 더 집중적이고 유용한 평가를 제공하는 데 도움이 될 수 있다. 시간이 지남에 따라, 그러한 환경은 더 포괄적인 학습과 전문적 개발을 지원할 것이다. 
Accurately identifying struggling students is important to help the student improve but also for the public good. Previous educational quality improvement work has performed root cause analysis on student failure, but failure to fail may be a more serious critical event given its potential impact on patient care.25, 26 Emphasis on a growth mindset in learners would help them interpret low scores as tools to guide their educational growth.27, 28 Better education and training of faculty and students on the impacts of gender, race, and ethnicity on evaluations may also help them provide more focused, useful assessments of each other.29, 30 Over time, such an environment would support more inclusive learning and professional development.

우리의 데이터는 비록 크지만, 단일 기관에서 가져온 것이다. 따라서, 우리의 연구 결과는 교직원이나 학생의 모집단이 다르거나 다른 채점 시스템(예: Likert-scale 형식이 아닌 서술적 평가)을 가진 다른 기관으로 일반화되지 않을 수 있다. 또한 일반외과 및 산부인과 임상실습은 그룹 평가를 제출하기 때문에 제외했으며, 이는 절차 하위 전문 분야에서 교수진에 대한 일반화 가능성을 제한할 수 있다. 추가 연구는 다양한 채점 메커니즘(합격/실패, 질적 또는 서술적, 조형적 또는 요약적)이 교수진이 표준 이하의 성적을 가진 학생을 식별하는 데 어떻게 도움이 될 수 있는지 조사해야 한다. 최종과 비교하여 중간 지점에서 LPE가 더 자주 주어졌다는 것을 발견한 것은, 평가에서 [중간 지점 LPE]가 우리 코호트에서 희귀했기 때문에 더 많은 조사가 필요하겠지만, 솔직한 피드백이 형성 평가에서 제공될 가능성이 더 높을 수 있음을 시사한다. 낙관적으로, 아마도 CBME 주도 교수 개발은 연구 기간 동안 다양한 상황(예: 구두 또는 EPA 양식의 맥락에서)에서 의미 있는 형성 피드백을 유발했고, 따라서 더 많은 학생들이 역량을 달성하고 LPE를 요구하지 않았다. 기관이 역량 기반 교육을 시행함에 따라 교수진이 기준 미달 성과를 정확하고 신뢰성 있게 식별할 수 없도록 할 수 있는 요인을 이해하고 해결하는 것이 매우 중요하다.

Though large, our data are from a single institution. Thus, our findings may not generalise to other institutions with different populations of faculty or students or different grading systems (e.g., narrative evaluations rather than Likert-scale forms). We also excluded surgery and OB/GYN clerkships because they submit group evaluations, which may limit generalizability to faculty from procedural subspecialties. Further studies should investigate how various grading mechanisms (pass/fail, qualitative or narrative, formative vs. summative) can help faculty identify students with substandard performance. Our finding that LPEs were more frequently given at the midpoint, compared with the final, evaluation suggests that honest feedback may be more likely to be provided at the formative evaluation, although more investigation will be needed, as midpoint LPEs remained rare in our cohort. Optimistically, perhaps CBME-driven faculty development prompted meaningful formative feedback in multiple contexts (e.g., verbally or in the context of our EPA forms) over the study period, and thus, more students achieved competence and did not require an LPE. As institutions implement competency-based education, it is critically important to understand and address factors that may prevent faculty from accurately and reliably identifying substandard performance.

우리의 데이터 세트는 다른 지표로 평가된 학생 인구 통계 및 학생 성과를 포함하여 평가에 영향을 미칠 수 있는 학생 정보를 포함하지 않았다. (예: 시험, 거주 마일스톤 및 환자 결과) 따라서 LPE가 향후 환자 치료와 관련이 있는지 여부를 알 수 없다. 학습자의 종단적 추적은 LPE가 역량 결손 학생을 얼마나 신뢰성 있게 식별하는지, 문제가 있는 의사가 의과대학에서 LPE를 받았는지 여부를 결정하는 데 도움이 될 수 있다. 우리의 연구 결과는 의대생들의 정확한 평가에 대한 장벽을 조사하는 향후 연구를 안내할 수 있으며, CBME가 전문적 성장과 환자 안전에 대한 잠재력에 도달할 수 있도록 한다. 
Our dataset did not contain student information that may have influenced evaluations, including student demographics and student performance as assessed with other indicators (e.g., exams, residency milestones, and patient outcomes). Thus, we do not know whether LPEs are related to future patient care. Longitudinal follow-up of learners can help determine how reliably LPEs identify students with competency deficits and whether problematic physicians received LPEs during medical school. Our findings can guide future research investigating the barriers to accurate evaluation of medical students, allowing CBME to reach its potential for professional growth and patient safety.

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.

영웅 너머의 리더십의 패러독스: 젠더가 중요하다
The Paradox of Post Heroic Leadership: Gender Matters

Joyce K. Fletcher

리더십의 새로운 모델 New Models of Leadership

지난 20년 동안, 조직 현상을 설명하는 수사학 및 이론에서 중요한 변화가 일어났다. 조직을 기계로 묘사한 이미지는 사라졌습니다. 기계로서의 조직은 프로세스를 지휘하고 제어하는 최고위층의 리더와 함께 입출력을 분석함으로써 이해할 수 있는 블랙박스였다. 그 대신 역설적이고, 상호 연결된 관계 및 영향력 네트워크의 살아있는 동적 시스템으로서의 조직의 이미지가 있다(예: Senge, 1990; Seely Brown and Duguid, 2000). 조직이 무엇인지에 대한 바로 그 개념의 이러한 패러다임 변화는 좋은 리더십의 이미지에 상응하는 변화를 동반했다.

Over the past two decades, a significant shift has occurred in the rhetoric – and theory – describing organizational phenomena. Gone are images of the organization as machine, a black box that can be understood by an analysis of inputs and outputs with leaders at the top who direct and control the process. In its stead is the image of an organization as a living, dynamic system of paradox, interconnected relationships and networks of influence (e.g. Senge, 1990; Seely Brown and Duguid, 2000). This paradigm shift in the very notion of what an organization is, has been accompanied by a corresponding shift in the image of good leadership.

새로운 리더십 모델은 인간관계의 살아있는 시스템에서의 효과성은 개인적이고 영웅적인 리더에 의존하지 않고 오히려 조직 내 다른 수준의 상호의존성의 네트워크 내에 내재된 리더십 관행에 의존한다는 것을 인식한다. 2002년 조 바다라코의 말에 따르면, "우리는 또 다른 영웅이 필요하지 않다"는 믿음은 흔히 "포스트 히어로" 리더십이라고 불리는 시대를 이끌었는데, 이는 조직 관행, 구조, 그리고 업무 관계를 변화시키기 위한 새로운 접근법이다.

New models of leadership recognize that effectiveness in living systems of relationships does not depend on individual, heroic leaders but rather on leadership practices embedded within a network of interdependencies at different levels within the organization (Beer, 1999; Conger et al., 1999; Heifitz and Laurie, 1999; Bass, 1998; Senge and Kaeufer, 2001; Pearce and Sims, 2000; Yukl, 1998). The belief that, in the words of Joe Badarraco, (2002) “we don’t need another hero” has ushered in an era of what is commonly called “post heroic” leadership, a new approach to leadership intended to transform organizational practices, structures and working relationships.

이 논문은 흔히 포스트 히어로라고 불리는 리더십의 새로운 모델에 내재된 많은 역설들을 탐구한다. 비록 이러한 모델들이 영향력 있는 사회적 네트워크에 의존하는 관계적 과정으로서 리더십을 강조하지만, 그 개념들은 종종 젠더로 제시되고, 덜하지만 권력 중립적으로 제시된다고 주장한다. 이 논문은 이 현상을 탐구하면서, 그 개념이 성별, 권력 또는 성 중립이 아니라 "성별하기", "권력하기" 및 "리더십하기"가 복잡한 방식으로 연결된 일련의 사회적 상호작용에 뿌리를 두고 있다고 주장한다. 본 연구는 이러한 역학을 탐구하며, 사후 영웅 모델의 성별/권력 영향을 고려하지 않는 리더십 이론이 이러한 새로운 모델을 채택하려는 조직의 노력을 무의식적으로 저해하고 변형 잠재력을 제한할 수 있음을 시사한다.

This paper explores a number of paradoxes embedded in these new -- commonly called post heroic -- models of leadership. It argues that although these models emphasize leadership as a relational process dependent on social networks of influence, the concepts are often presented as gender and, to a lesser degree, power neutral. The paper explores this phenomenon, arguing that the concepts are not gender, power or sex neutral but instead, are rooted in a set of social interactions in which “doing gender”, “doing power” and “doing leadership” are linked in complicated ways. It explores these dynamics and suggests that theories of leadership that fail to consider the gender/power implications of post heroic models may unwittingly undermine organizational efforts to adopt these new models and limit their transformational potential.

사후 영웅적 리더십: 그것은 무엇일까요?Post heroic Leadership: What is it?

포스트 영웅적 리더십은 전통적인 개인주의적 모델들과 구별되는 몇 가지 공통적인 요소가 있다.

There are several elements common to post heroic leadership that distinguish it from more traditionally individualistic models.

공유 및 분산 Shared and Distributed

포스트 영웅적 리더십은 최고위층에 위치한 개인의 특성과 속성 집합이 아니라 모든 수준의 사람들에 의해 시행될 수 있고 그래야 하는 공유 관행 집합으로 간주된다(Kouzes and Posner, 1995; Pearce and Sims, 2000). 우리는 꼭대기에서 피규어 헤드를 볼 수도 있고, 볼 필요도 있습니다. 그러나 새로운 모델은 이러한 가시적인 "영웅들"이 조직 전체에 분산된 리더십 실천의 네트워크에 의해 지원된다는 것을 인식하고 있습니다. 이 현상을 묘사하기 위해 사용된 많은 다른 이미지들과 은유들이 있다. 페기 매킨토시(1989)는 빙산에 대해 이야기한다 – 우리가 인정하고 축하하는 개인의 업적은 빙산의 일각에 불과하다고 그녀는 지적한다. 그 밑에는 생명의 협력적인 하위 텍스트, 빙산의 "끝"이 표면을 뚫을 수 있는 조건을 가능하게 하고, 지원하고, 촉진하고, 창조하는 수없이 많은 행위들이 있다. Wilfred Draft (2001)는 바다에서 온 또 다른, 똑같이 매력적인 이미지를 사용한다. 그는 우리가 바다의 흰 파도을 선도하는 것으로 볼 수 있지만, 사실 바다의 방향과 능력을 결정하고, 흰 파도가 누리는 한계와 가능성을 결정하는 것은 깊고 푸른 바다라고 지적합니다.

Post heroic leadership is seen as a set of shared practices that can and should be enacted by people at all levels rather than a set of personal characteristics and attributes located in someone at the top (Kouzes and Posner, 1995; Pearce and Sims, 2000). We might see – and even need to see – figureheads at the top. But new models recognize that these visible “heroes” are supported by a network of leadership practices distributed throughout the organization. There are many different images and metaphors that have been used to describe this phenomenon. Peggy McIntosh (1989) talks about the iceberg – the individual achievement we acknowledge and celebrate is but the tip of the iceberg, she notes. Underneath, is the collaborative subtext of life, the numerous, countless acts of enabling, supporting, facilitating and creating conditions under which “tips” of icebergs can break through the surface. Wilfred Draft (2001) uses another, equally compelling image from the sea. He notes that while we might see the white caps in the ocean as leading, it is actually the deep blue sea that determines the direction and capabilities of the ocean and determines, in fact, the limits and possibilities the whitecaps enjoy.

이와 같은 프레임워크와 이미지는 리더십에 내재된 상호의존성을 인정한다. 그들은 개인의 성취와 성과주의에 대한 집중하기보다는, 집단적 성취, 사회적 네트워크, 팀워크와 공유 책임성의 중요성에 집중하는 쪽으로 큰 변화를 보인다(Lipnack and Stamps, 2000; Thompson, 2000, Hoskings et al., 1999; Sely Brown, 1999; Yucl, 1998; Conger, 1989).

Frameworks and images such as these acknowledge the interdependencies inherent in leadership. They signal a significant shift from a focus on individual achievement and meritocracy to a focus on collective achievement, social networks and the importance of teamwork and shared accountability (Lipnack and Stamps, 2000; Thompson, 2000, Hoskings et al., 1999; Seely Brown, 1999; Yukl, 1998; Conger, 1989).

사회적 상호 작용에 내재된 Embedded in Social Interactions

사후 영웅적 리더십의 또 다른 중요한 측면은 사회적 과정으로서 리더십을 강조하는 것이다. 사후 영웅적 리더십은 역동적이고, 다방향적이며, 집단적인 활동으로 묘사됩니다. -- 그것은 개인의 실천 이상의 과정입니다. 리더십은 관계와 영향의 네트워크를 통해 그리고 안에서 일어나는 것으로 간주되기 때문에 인간 상호 작용은 이 개념에서 핵심이다. 파워업(Bradford and Cohen, 1998)과 리딩업(Leading Up, 2001)과 같은 영향력의 보텀업 이미지에서 "서번트"(Greenleaf, 1977; Block, 1993) 또는 "연결적"(Lipman Blumen, 1996) 리더십에 이르기까지 이러한 상호 작용을 설명하는 데 사용되는 많은 이미지가 있다. 이 이미지들의 공통점은 리더-팔로워 상호작용의 평등주의적이고 상호적이며 덜 위계적인 성격을 강조하는 것이다. 리더가 다른 사람에게 미치는 영향을 강조하는 전통적인 모델과 달리, 영웅적 리더십을 구성하는 관계적 상호작용은 보다 협력적이고 유동적이며 양방향으로 이해된다. 추종자들은 리더십에 영향을 미치고 창조하는 데 중요한 역할을 하는 것으로 이해된다(Altio-Marjosola, 2001; Harrington, 2000). 리더-팔로워 상호 작용의 유동성, 상호성, 양방향성에 대한 이러한 초점은 영웅적 리더십의 자기 기반 이미지에 대한 관념에 미묘하지만 중요한 변화를 시사한다. 독립적 실체로서의 자아의 전통적인 이미지보다는, 사후 영웅적 모델은 자아에 대한 관계적인 개념을 필요로 하는 것으로 보인다(밀러, 1984; 서리, 1985).

Another important aspect of post heroic leadership is an emphasis on leadership as a social process. Post heroic leadership is portrayed as a dynamic, multi-directional, collective activity -- a process more than an individual practice. Human interactions are key in this concept, as leadership is seen as something that occurs and in and through relationships and networks of influence. There are many images used to describe these leadership interactions, from bottom up images of influence such as Power Up (Bradford and Cohen, 1998) and Leading Up (Useem, 2001) to “servant” (Greenleaf, 1977; Block, 1993) or “connective” (Lipman Blumen, 1996) leadership. What these images have in common is their emphasis on the egalitarian, more mutual, less hierarchical nature of leader-follower interactions. In contrast to traditional models which emphasize the leader’s effect on others, the relational interactions that make up post heroic leadership are understood as more collaborative, fluid and two directional. Followers are understood to be playing a significant role in influencing and creating leadership (Aaltio-Marjosola,2001; Harrington, 2000). This focus on the fluidity, mutuality and two directional nature of leader-follower interactions suggests a subtle but significant change in the notion of self underlying images of post heroic leadership. Rather than the traditional image of self as an independent entity, post heroic models seem to require a more relational concept of self, one closer to the psychological concept of self-in-relation (Miller, 1984; Surrey, 1985.)

학습으로서의 리더십 Leadership as Learning

사후 영웅적 리더십의 세 번째 중요한 측면은 기대되는 성과와 관련이 있다. 리더십이라고 할 수 있는 종류의 사회적 상호작용은 조직뿐만 아니라 관련자들에게도 학습과 성장을 가져온다(Argyris and Schon, 1978; Beer, 1999; Senge, 1990; Heifitz, 1995; Isaacs, 1999; Marsick and Watkins, 1999; Palmer, 1993). 즉, 사후 영웅적 리더십의 이상향을 구성하는 인간 상호작용의 종류는 그 결과에 의해 덜 긍정적인 사회적 상호작용과 구별된다. 이러한 결과에는 상호 학습, 더 큰 집단적 이해, 그리고 결국 긍정적인 행동이 포함됩니다. 리더십은 이러한 학습 환경을 조성하는 데 달려 있으며, 보다 구체적으로 새로운 지식, 즉 집단 학습을 공동 창조하고, 이것이 실행될 수 있는 여건을 조성하는 능력에 달려 있다. 이것은 특정한 기술을 필요로 한다. 성장을 촉진하는 사회적 상호 작용이 발생할 수 있고, 상호 학습(특히 차이를 통한 학습)이 발생할 수 있는 환경을 조성하려면, 위치적 권한에 관계없이 (자기 인식, 공감, 취약성, 타인의 학습에 대한 개방성, 능력과 같은) 관계적 기술과 정서적 지능이 필요하다. "파워오버"에서 "파워 위드"로 힘의 개념을 재창조하여 보다 유동적인 동력 역학 내에서 작동한다. (데베베, 2002; 폴렛트, 1924; 밀러와 스티버, 1997; 골먼, 1998; 플레처, 1994; 1999)

A third important aspect of post heroic leadership has to do with its expected outcomes. The kinds of social interactions that can be called leadership result in learning and growth for the organization as well as the people involved (Argyris and Schon, 1978; Beer, 1999; Senge, 1990; Heifitz, 1995; Isaacs, 1999; Marsick and Watkins, 1999; Palmer, 1993.) In other words, the kinds of human interactions that comprise the ideal of post heroic leadership are differentiated from other, less positive social interactions by virtue of their outcomes. These outcomes include mutual learning, greater collective understanding and eventually, positive action. Leadership depends on creating this learning environment, and more specifically, on the ability to create conditions where new knowledge -- collective learning -- can be co-created and implemented. This requires a particular set of skills. Creating a context in which growth-fostering social interactions can occur and mutual learning – especially learning across difference – can take place, requires relational skills and emotional intelligence such as self-awareness, empathy, vulnerability, an openness to learning from others regardless of their positional authority, and the ability to operate within more fluid power dynamics, re-envisioning the very notion of power from “power over” to “power with” (Debebe, 2002; Follett, 1924; Miller and Stiver, 1997; Goleman, 1998; Fletcher, 1994;1999.)

요약하자면, 사후 영웅적 리더십은 리더십의 임무와 책임을 위, 아래, 그리고 위계질서에 걸쳐 분배할 필요성에 초점을 맞추어 리더십의 who and where를 다시 구상한다. 그것은 리더십을 인간의 상호 작용에서 일어나는 사회적 과정으로 표현함으로써 리더십의 무엇을 재창조하고, 협력적이고 집단적인 학습을 참여시키는 데 필요한 더 상호적이고 덜 위계적인 리더십 관행과 기술에 초점을 맞추면서 리더십의 방법을 명시한다.

In summary, post heroic leadership re-envisions the who and where of leadership by focusing on the need to distribute the tasks and responsibilities of leadership up, down and across the hierarchy. It re-envisions the what of leadership by articulating leadership as a social process that occurs in and through human interactions and it articulates the how of leadership by focusing on the more mutual, less hierarchical leadership practices and skills needed to engage collaborative, collective learning.

개인에서 집단으로, 통제에서 학습으로, "자신"에서 "관계 속 자신"으로, 그리고 파워 오버에서 파워 위드로의 이러한 변화는 리더가 되는 것의 패러다임 변화라고 일반적으로 인식된다. 나는 이 변화가 중요한 변화일 뿐만 아니라 직장에서 체계적인 성/권력 역학과 복잡한 방식으로 관련된 변화이기 때문에 리더십 문헌이 우리가 믿게 하는 것보다 훨씬 더 심오하고 달성하기 어렵다고 주장한다.

It is generally recognized that this shift – from individual to collective, from control to learning, from “self” to “self-in-relation” and from power over to power with – is a paradigm shift in what it means to be a leader. I argue that this shift is even more profound and difficult to achieve than the leadership literature would have us believe because it is not only a significant shift, it is a shift that is related in complex ways to systemic gender/power dynamics in the workplace.

사후 영웅적 리더십: 성별과 권력이 그것과 무슨 상관이 있나요?
Post Heroic Leadership: What do gender and power have to do with it?

많은 사람들은 전통적인 영웅적 리더십과 관련된 특징들이 남성적이라는 것에 주목했다. 남성이나 여성은 개인주의, 통제, 주장과 옹호와 지배의 기술과 같은 특성 자체가 사회적으로 남성에게 귀속되며, 일반적으로 남성성으로 이해된다(Aker, 1990; Calas and Smircich, 1993; Collinson and Hearn, 1996). 대조적으로, 새롭고 영웅적인 리더십과 관련된 특성은 여성적이다(Calvert and Ramsey, 1992; Fletcher, 1994; Fondas, 1997; Fine and Buzanell, 2000). 다시 말하지만, 남성이나 여성은 그것들을 보여줄 수 있지만, 공감, 공동체, 취약함, 탐구 및 협력의 기술과 같은 특성들 자체는 사회적으로 우리 문화에서 여성들에게 귀속되며 일반적으로 여성성으로 이해됩니다. 실제로, 이러한 변화의 인식은 대중 매체에서 흔히 "여성적 이점"이라고 불리는 문학 단체를 낳았다. 즉, 고정관념적인 여성행동과 새로운 리더십 관행 사이의 정렬은 오늘날의 비즈니스 환경에서 여성에게 유리한 위치를 제공한다고 가정한다(Helgeson, 1990; Rosener, 1995; Fondas, 1997).

Many have noted that the traits associated with traditional, heroic leadership are masculine. Men or women can display them, but the traits themselves -- such as individualism, control, assertiveness and skills of advocacy and domination – are socially ascribed to men in our culture and generally understood as masculine (Acker, 1990; Calas and Smircich, 1993; Collinson and Hearn, 1996)1. In contrast, the traits associated with new, post heroic leadership are feminine (Calvert and Ramsey, 1992; Fletcher, 1994; Fondas, 1997; Fine and Buzzanell, 2000). Again, men or women can display them, but the traits themselves -- such as empathy, community, vulnerability and skills of inquiry and collaboration -- are socially ascribed to women in our culture and generally understood as feminine. Indeed, the recognition of this shift has given rise to a body of literature in the popular press that is commonly called the “female advantage”. That is, the alignment between stereotypical feminine behavior and new leadership practices is assumed to give women an advantage in today’s business environment (Helgeson, 1990; Rosener, 1995; Fondas, 1997).

본 논문은 포스트 영웅적 리더십의 성별적 함의는 남성과 여성이 리더십을 실천하는 방식의 성차이 문제를 훨씬 뛰어넘는다고 주장한다. 성연관념은 포스트 영웅적 리더십의 이론과 실천에 더 깊은 차원의 영향을 미친다. 왜냐하면 영웅적 모델에서 포스트 영웅적 모델로 패러다임 전환하는 것은 단순히 성연계 속성의 변화가 아니라 비즈니스 관행의 기저에 있는 효과성 논리와 연결된 성별과 권력의 변화에 달려있기 때문이다. 보다 구체적으로 나는

l  리더십의 영웅적 이미지의 근저에 있는 효과의 논리는 삶의 작업 영역에서 어떻게 '사물을 생산'할 것인가에 대한 남성성과 연결된 이미지와 지혜에 깊이 뿌리내린 논리이며,

l  포스트 영웅적 리더십의 근저에 있는 효과의 논리는 여성성에 뿌리내린 논리이며, 가사 영역에서 "사람을 키우는" 방법의 이미지와 지혜에 연결되어 있다.

This paper argues that the gender implications of post heroic leadership go far beyond the issue of sex differences in how men and women practice leadership. The gender implications affect the theory and practice of post heroic leadership at a deeper level because to make the paradigm shift to post heroic models depends not simply on a shift in sex-linked attributes but a gender and power linked shift in the very logic of effectiveness underlying business practice. More specifically, I argue that

l  the logic of effectiveness underlying heroic images of leadership is a logic deeply rooted in masculine linked images and wisdom about how to “produce things” in the work sphere of life, while

l  the logic of effectiveness underlying post heroic leadership is a logic deeply rooted in feminine linked images and wisdom about how to “grow people” in the domestic sphere.

일과 가정의 분리된 영역과 같이, 이 두 영역 또는 지식의 본체는 세 가지 구별되는 특징을 가지고 있다. 그것들은,

l  서로 분리적이다(즉, 하나의 기술은 다른 기술에게 부적절하다고 가정된다),

l  성-연관성이 있다(즉, 이상화된 남성성의 이미지와 남성성의 이미지는 한 것과 연관되고 여성성과 이상화된 여성성의 이미지는 다른 것과 연관됨) 및

l  서로 다른 가치를 지닌다(즉, 작업 영역의 노동은 숙련되고 복잡하며 훈련에 의존하는 것으로 가정되는 반면, 가사 영역의 노동은 비숙련적이며 자연적으로 발생하며 개인적 특성과 감정에 의존하는 것으로 가정됨).

이 세 가지 특징은 서로 상호작용하고 강화시켜 "젠더적인 것gendered"으로 여겨지도록 영역을 짓는다.

These two spheres or bodies of knowledge, like the separate spheres of work and family (Acker, 1999; Rapaport et al., 2001; Fletcher, 1999; Bailyn, 1993; Williams, 2000) have three distinguishing characteristics: they are

l  separate (i.e. skills in one are assumed to be inappropriate to the other) ,

l  sex-linked (i.e. men and images of idealized masculinity are associated with one and women and images of idealized femininity are associated with the other) and

l  unequally valued (i.e. labor in the work sphere is assumed to be skilled, complex and dependent on training, whereas labor in the domestic sphere is assumed to be unskilled, occurring naturally and dependent on personal characteristics and emotion).

Together, these three characteristics interact and reinforce each other such that the spheres themselves can be considered “gendered”.

이러한 "분리된 영역"의 개념은 사후 영웅적 리더십의 성별적 함의를 이해하는 데 중요하지만, 사실은 두 영역의 분리는 실제라기보다는 신화적이라는 것에 주목하는 것이 중요하다. 남성들은 국내 가족 영역에서 적극적인 참여자이고 여성들은 직장 영역에서 적극적인 참여자이다. 그럼에도 불구하고, 성 관련 속성과 성향에 대한 이러한 이상화된 이미지는 현실과 일치하지 않을 수 있지만, 우리가 어떻게 성 정체성을 시행할지(혹은 시행할거라 기대되는지)에 강력한 영향을 미친다. 정신적 모델과 효과의 논리 수준에서 그 효과는 훨씬 더 심오하다. 분리된 영역의 개념은

l  사회, 특히 서구 사회가 남성들에게 작업 영역에서 물건을 생산한다는 것이 무엇을 의미하는지에 대한 지식을 가지고 있으며 "일을 하고 있다"는 이미지를 이상화된 남성성의 표시와 결합시켰다는 것을 시사한다(Yancy Martin, 1996; Meyerson and Fletcher, 2000; Schein, 2001).

l  비슷한 방식으로, "사람과 생활 시스템을 성장시키는 것"이 무엇을 의미하는지에 대한 지식은 여성들에게 있으며 이상화된 여성성을 보여주는 것과 관련이 있다(Fairbairn, 1952; Winnicott, 1958; Miller and Stiver, 1997).

While this notion of “separate spheres” is important for an understanding of the gender implications of post heroic leadership, it is important to note that in practice, the separation of the two spheres is more myth than reality. Men are active participants in the domestic family sphere and women are active participants in the work sphere. Nonetheless, these idealized images of sex-linked attributes and inclinations, while they may not match reality, have a powerful effect on how we enact – and are expected to enact – our gender identities. At the level of mental models and logics of effectiveness, the effect is even more profound. The notion of separate spheres suggests that

l  society, especially Western society, has located in men the knowledge of what it means to produce things in the work sphere and has conflated images of “doing work” with displays of idealized masculinity (Yancy Martin, 1996; Meyerson and Fletcher, 2000; Schein, 2001).

l  In a similar fashion, the knowledge of what it means to “grow people and living systems” is located in women and is conflated with displays of idealized femininity (Fairbairn, 1952; Winnicott, 1958; Miller and Stiver, 1997).

리더십을 사람들이 함께 배우고, 성장하고, 성취하고, 생산할 수 있는 여건을 조성하는 데 의존하는 관계적 과정으로 인식하는 영웅적 리더십 모델을 게시하려는 움직임에 대한 성별의 의미는 중요하다. 이는 관계적 입장을 채택하고 사후 영웅적 리더십을 구현하는데 필요한 관계적 지혜를 실천하는 것이 여성성과 부적절하게 연관된다는 것을 의미한다.

The gender implications for a move to post heroic models of leadership that recognize leadership as a relational process dependent on creating conditions under which people can learn, grow, achieve and produce together are significant. It means that adopting the relational stance and putting into practice the relational wisdom required to enact post heroic leadership will be inappropriately associated with femininity.

위에서 언급한 성별/권력 역학 외에도 영웅적 리더십을 내세우는 움직임에는 보다 일반적인 권력 역학이 있다. 언급한 바와 같이, 새로운 리더십을 실천하기 위해서는 관계적 기술과 지식, 그리고 사회적 상호 작용에 대한 보다 상호적이고 자기 관계적인 자세가 필요하다. 그러나 불평등한 권력 체계(예: 인종, 계급, 조직 수준, 성별에 따른 불평등)에서는 권력이 적은 사람들이 관계-속-자기의 인식을 극도로 민감하게 왜곡하고, 더 권력 있는 사람들의 필요, 욕구 및 암묵적인 요청에 적응하도록 해야 한다(Miller, 1976) 다시 말해, 권력이 불평등한 시스템에서,

l  ‘더 많은 권력’의 강력한 지표 중 하나는 다른 사람들이 당신의 요구를 예측해서, 굳이 물어보지 않고도 그것에 부응할 수 있도록 하는 관계-속-자기 입장을 누려도 되는 자격이다.

l  ‘더 적은 권력’의 지표는 상호성에 대한 어떠한 기대도 없음에도 다른 사람을 예상하고 수용할 것을 요구받는 것이다.

In addition to the gender/power dynamic noted above, there is a more general power dynamic implicated in the move to post heroic leadership. As noted, practicing the new leadership requires relational skills and knowledge, and a more mutual, self-in-relation stance toward social interactions. However, in systems of unequal power (e.g. inequities based on race, class, organizational level, sex) it behooves those with less power to distort their sense of self-in-relation to be ultra-sensitive and attuned to the needs, desires and implicit requests of the more powerful (Miller, 1976). In other words, in systems of unequal power,

l  one of the markers of the more powerful is the entitlement of having others adopt a self-in-relation stance that allows them to anticipate your needs and respond to them without being asked;

l  what marks one as less powerful is being required to do the anticipating and accommodating without any expectation of reciprocity.

권력이 적은 사람들이 살아남기 위해 왜곡되고 상호적이지 않은 관계-속-자기 입장을 개발할 필요가 있다는 사실은 그 자세와 그것을 참여시키기 위해 필요한 관계적 기술을 부적절하게 연관시킬 수 있다(밀러, 1976).

The fact that those with less power need to develop a distorted, non-mutual self-in-relation stance in order to survive, may inappropriately associate the stance, and the relational skills it takes to engage it, with powerlessness (Miller, 1976.)

이 논문의 나머지 부분에서는 성별과 권력에 영향을 미치는 두 가지 효과의 다른 논리를 사용하여 사후 영웅적 리더십의 실천에 내재된 역설들을 강조하는 세 가지 질문을 어떻게 전달할 수 있는지 탐구한다. 새로운 리더십 관행의 필요성에 대한 일반적인 합의가 있다면, 그 관행 자체가 직장에서 더 눈에 띄지 않는 이유는 무엇입니까? 왜, 만약 이러한 새로운 모델들이 여성들과 일치한다면, 더 많은 여성들이 정상으로 올라가지 않는가? 그리고 세 번째, 만약 이러한 새로운 리더십 모델에 변혁의 잠재력이 있다면, 조직은 변혁되지 않는가?

In the rest of this paper I explore how using this notion of two, different logics of effectiveness – with their gender and power implications in tact – can inform three questions that underscore the paradoxes inherent in the practice of post heroic leadership: Why, if there is general agreement on the need for new leadership practices are the practices themselves not more visible in the workplace? Why, if these new models are aligned with the feminine, are not more women being propelled to the top? and third Why, if there is transformational potential in these new models of leadership are organizations not being transformed?

포스트 히어로 리더십 연습의 투명성
The Invisibility of Post Heroic Leadership Practice

리더십에 대한 미사여구가 거시적 수준에서 변화했지만, 리더십과 리더십 실천에 대한 일상적인 이야기, 즉 리더십 행동의 예시로 전해지는 신화적 전설은 영웅적 개인주의의 오래된 이미지에 고착되어 있다.

While the rhetoric about leadership has changed at the macro level, the everyday narrative about leadership and leadership practices – the stories people tell about leadership, the mythical legends that get passed on as exemplars of leadership behavior –remains stuck in old images of heroic individualism.

예를 들어, 하이페츠와 로리(1999:65)는 조직 학습을 촉진하기 위한 새로운 리더십 실천의 필요성을 뒷받침하는 모든 데이터에도 불구하고 "관리자와 리더는 (이) 적응적 작업을 수행하는 데 필요한 리더십을 제공하기 위한 촉진을 거의 받지 못한다"고 언급한다. Michael Beer(1999: 133)는 그들의 성공에 대한 이야기를 다시 언급할 때, 리더들 스스로는 그러한 성공을 설명해주는 관계적 관행과 사회적 영향망을 무시하는 경향이 있고 대신 거의 전적으로 개별적인 행동과 결정 포인트에 초점을 맞추는 경향이 있다고 관찰한다. Rakesh Khuruna(2003)는 이러한 발견을 지지하며, 반대되는 사람들에 대한 문서화된 증거에도 불구하고 영웅적이고 카리스마적인 리더들의 개별 행동이 조직의 성공 또는 실패에 미치는 영향을 지속적으로 과장하고 있다고 지적한다.

Heifetz and Laurie (1999:65), for example, note that despite all the data supporting the need for new leadership practices to facilitate organizational learning “managers and leaders rarely receive promotions for providing the leadership required to do (this) adaptive work”. Michael Beer (1999: 133) observes that in recounting the story of their success, leaders themselves tend to ignore the relational practices and social networks of influence that accounted for that success and instead, focus almost exclusively on individual actions and decision points. Rakesh Khuruna (2003) in support of these findings notes that despite documented evidence to the contrary people consistently exaggerate the effect the individual actions of heroic, charismatic leaders have on the success – or failure – of an organization.

무슨 일인가? 무엇이 많은 포스트 히로익 리더십 관행이 보이지 않는 이유를 설명합니까? Beer(1999)는 정체성과 자아의 본질 때문에, 일단 우리가 목표를 달성하고 그것을 성취한 것에 대해 어느 정도 두각을 나타내면, 우리가 받은 도움은 사라지고, 다른 사람에 대한 인식에서뿐만 아니라 우리의 마음에서도 우리의 행동을 개인의 행동으로 재구성하는 것이 당연하다고 제안한다. 다른 이들은 다른 방향으로 인과관계를 제시한다: 추종자들의 영웅에 대한 욕구는 공식적이고 비공식적인 지도자들에게 이러한 암묵적인 기대와 필요를 충족시키기 위해 그들의 이야기를 따르고 다시 말하도록 압력을 가한다(Hirschorn, 1990; Sinclair, 1998). 마인들, 에를리히, 두케리히(1985)의 연구는 그들이 리더십의 "낭만화"라고 부르는 사회적 구성의 형태를 설명한다. 이것은 일련의 인과 관계가 없는 애매한 사건들이 의도적인 행동으로 되돌아보고 "리더십"으로 묘사될 때 발생한다.

What is going on? What accounts for the invisibility of many post heroic leadership practices? Beer (1999) suggests that because of the nature of identity and ego, once we have achieved a goal and some prominence for having achieved it, it is natural to disappear the help we have been given and reconstruct our behavior – in our own minds as well as in the perception of others – as individual action. Others suggest causality in the other direction: that followers’ need for heroes exerts pressure on both formal and informal leaders to comply and re-tell their stories to meet this implicit expectation and need (Hirschorn, 1990; Sinclair, 1998). The work of Meindl, Ehrlich and Dukerich (1985) suggest as explanation a related form of social construction they call the “romanticizing” of leadership. This occurs when a series of causally unrelated, ambiguous events are reconstructed in retrospect as intentional action and then described as “leadership”.

젠더/파워 렌즈는 추가적인 현상들이 작용하고 있으며 이러한 설명은 중요하지만 사후 영웅적 리더십의 보이지 않는 근본적인 문제를 탐구하는 데 충분하지 않을 수 있음을 시사한다. 우리가 다른 사람들과 교류할 때마다 우리는 우리의 자아상과 사회적 정체성을 제정enact한다(Goffman, 1959; Foldy, 2002). 그 중 좋은 부분은 우리의 젠더 정체성이다. 따라서 리더십은 모든 사회적 과정과 마찬가지로 "젠더를 행하는 것do gender"이다(West and Zimmerman, 1990). 영웅적 리더십이 남성성과 연관되고, 사후 영웅적 리더십이 여성성과 연관된다는 사실은 "젠더를 행하는doing gender" 과정이 종종 무의식적인 방식으로 강력한 리더십의 낡은 모델에서 새로운 모델로 이동하는 것을 방해할 수 있다는 것을 의미한다. 이것은 영웅적 리더십의 이미지가 왜 그렇게 회복력이 있는지 설명하는 데 도움이 된다. 리더십에 대한 새로운 이미지는 개인주의와 사업 성공에 대한 전통적인 가정을 위반할 뿐만 아니라, 이러한 개념과 관행에 대한 성별 연결gender linked 가정을 위반한다. 포스트 히어로 리더십의 새로운 모델은 "성장하는 사람들growing people"에 대한 관계적 지혜, 즉 사람들이 배우고, 성취하고, 생산할 수 있는 조건을 만드는 지혜가 사업 성공에 중요하다는 것을 암시적으로 인정하지만, 그들은 이러한 관계적 원칙을 집행하는 것이 어떻게 - 부적절하지만 확실하게 - 여성스러움과 연결되어 있는지 고려하지 않는다.

A gender/power lens suggests that there are additional phenomena at play and that these explanations, while important, may not go far enough in exploring the issues underlying the invisibility of post heroic leadership. Whenever we interact with others we enact our self image and social identity (Goffman, 1959; Foldy, 2002), a good part of which is our gender identity. Thus leadership, like all social processes is an occasion to “do gender” (West and Zimmerman, 1990). The fact that heroic leadership is associated with masculinity and post heroic leadership with femininity means that the process of “doing gender” may disrupt the move from old to new models of leadership in powerful, albeit it often unconscious ways. This helps explain why images of heroic leadership are so resilient: It is not just that new images of leadership violate traditional assumptions about individualism and business success, it is that they violate gender linked assumptions about these concepts and practices. Although new models of post heroic leadership implicitly acknowledge that relational wisdom about “growing people” i.e. wisdom about creating conditions in which people can learn, achieve and produce, is critical to business success, they do not take into account how enacting these relational principles is linked – inappropriately but surely – to femininity.

하지만 젠더만이 영웅 이후의 리더십이 사라지는 역동적인 현재가 아니다. 포스트 영웅적 리더십의 관행을 제정하기 위해서는 리더십과 파워-오버의 연관성이 더 일반적인 것과는 반대로 파워-위드의 모델을 제정해야 한다. 다시 말하지만, 유동적인 전문 지식, 상호의존성 또는 입력의 필요성과 같은 "파워-위드" 리더십 모델을 제정하는 데 필요한 관계적 기술, 속성 및 입장은 ‘새롭고 더 적응적인 권력의 실천’으로 여겨지기보다, 단지 "힘이 없는" 것과 연관될 가능성이 높다.

But gender isn’t the only dynamic present in the disappearing of post heroic leadership. Enacting the practices of post heroic leadership require enacting a model of “power with” as opposed to the more common association of leadership with “power over”. Again, the relational skills, attributes and stance required to enact a model of “power with” leadership, such as fluid expertise, the willingness to show and acknowledge interdependence or need for input, are likely to be associated with “powerlessness” not with a new, more adaptive practice of power.

이 분석이 강조하는 것은 리더십을 구성하는 사회적 상호작용이 '젠더를 행하는' 기회일 뿐 아니라 '권력을 행하는' 기회라는 점이다. 그러나, 사후 영웅적 리더십을 집행하는 데 필요한 기술, 신념, 자기관계 자세는 여성성과 무력성과 부적절하게 연관되어 있기 때문에, 이러한 경우 "여성성을 행하는 것"과 "권력없음을 행하는 것"으로 해석되는데, 이는 일반적으로 지도자와 관련이 없는 표현이다. 따라서 이러한 젠더와 권력 역학은 추종자와 리더가 모두 말하는 리더십의 이야기를 복잡하게 만들 수 있으며, 개인의 행동, 남성성, 위계적 권력을 가지고 리더십을 기존 상태대로 유지하기 위해 이야기를 재구성해야 한다는 압력을 행사할 수 있다.

What this analysis highlights is that the social interactions that make up leadership are opportunities not only to “do gender” but to “do power”. However, because the skills, beliefs and self-in-relation stance needed to enact post-heroic leadership are inappropriately associated with femininity and powerlessness, these occasions translate into “doing femininity” and “doing powerlessness”, displays which are not, to put it mildly, commonly associated with leaders. Thus, these gender and power dynamics may complicate the story of leadership that both followers and leaders tell, exerting pressure to reconstruct the story to maintain the status quo association of leadership with individual action, masculinity and hierarchical power.

이는 조직 이론가들이 새로운 유형의 리더십을 요구하거나 변화의 필요성에 대한 책을 쓰는 것만으로는 충분하지 않음을 시사한다. 자기 정체성의 깊이 내재된 젠더와 권력 관련 측면은 매우 격렬하고 감정적인 문제이다. 이러한 깊이 내재된 감정적 문제에 대한 인식 없이 행동을 바꾸려는 인지적 시도는 성별과 권력 관련 이미지가 리더와 추종자의 행동, 경험 및 기대에 강력한 영향을 미칠 수 있기 때문에 큰 영향을 미치지 않을 것이다. 실제로, 사람들이 사후 영웅적 리더십을 구현하려고 시도할 때 경험하는 많은 역설들을 설명할 수 있고 이 모델이 광범위한 채택을 달성하는 데 얼마나 오래 걸리는지를 설명할 수 있는 것은 이러한 성별/권력 역학의 숨겨진 특성이다. 이러한 효과와 해결 방법을 인식하지 못한 채 영향력 네트워크에 내재된 사회적 과정으로 리더십을 이론화하는 것은 새로운 모델의 변형 과제와 약속에 불충분한 이론을 초래할 가능성이 높다.

This suggests that it is not enough for organizational theorists to call for new types of leadership or write books about the need for change. Deeply embedded gender and power-linked aspects of self-identity are highly charged, emotional issues. Cognitive attempts to change behavior without a recognition of these deeply embedded, emotional issues are unlikely to have much effect because gender and power-linked images may exert potent – albeit unrecognized – influence on leader and follower behavior, experience and expectations. Indeed, it is the hidden under-explored nature of these gender/power dynamics that may account for many of paradoxes people experience in trying to implement post heroic leadership and may account for how long it is taking for this model to achieve widespread adoption. Theorizing leadership as a social process embedded in networks of influence without acknowledging these effects and how to address them is likely to result in theories that are inadequate to the transformational task and promise of the new models.

사후 영웅적 리더십과 "여성적 이점"
Post heroic leadership and the “female advantage

영웅적 리더십을 내세우려는 움직임의 기초가 되는 젠더 역학을 인식함에 있어 가시화 된 가장 흥미로운 역설 중 하나는 여성 우위의 문제이다. 우리는 "젠더를 행하는 것"과 "사후 영웅적 리더십을 행하는 것"이 여성을 위해 정렬되어 있기 때문에, 그들이 새로운 리더십 모델로 이동하는 것에서 이익을 얻을 것이라고 기대할 수 있다. 만약 조직생활의 정상에 오르지 못한다면, 우리는 적어도 그들이 새 지도부의 가장 두드러진 지지자들이 될 것이라고 기대할 수 있을 것이다. 그럼에도 불구하고, 우리가 사후 영웅적 리더십의 건축가들과 대변인들을 살펴보면, 그들 중에는 여성이 거의 없다.

l  일부에서는 이러한 불일치가 여성과 남성이 리더십을 집행하는 방법에 대해 사람들이 생각하는 가설이 경험적으로 입증되지 않은 사실과 관련이 있다고 제안한다(Vecchio, 2002).

l  다른 사람들은 여성이 변혁적 리더십 스타일을 제정할 가능성이 더 높고 남성이 거래적 리더십 스타일을 채택할 가능성이 더 높다는 것과 같은 문서화된 차이점들조차도 여성에게 유리하지 않다고 지적한다(Eagly and Johannesen-Schmidt, 2001).

l  그리고 다른 사람들은 정상에 오른 여성들조차도 "여성스러운" 리더십 스타일이 그들의 효율성에 기여했다고 주장할 가능성은 낮다고 본다(Berg and Burrows, 2003).

One of the most interesting paradoxes made visible in recognizing the gender dynamics underlying the move to post heroic leadership is the question of the female advantage. We might expect that, since “doing gender” and “doing post heroic leadership” are aligned for women, they would stand to benefit from this move to new models of leadership. If not catapulted to the top of organizational life, we might at least expect that they would be the new leadership’s most prominent proponents. And yet, if we look at the architects and spokespersons of post heroic leadership, there are few women among them.

l  Some suggest that the discrepancy has to do with the fact that hypothesized differences in how women and men enact leadership have not borne out empirically (Vecchio, 2002).

l  Others note that even those differences that have been documented such as women being more likely to enact a transformational leadership style and men a transactional style (Eagly and Johannesen-Schmidt, 2001) have not advantaged women.

l  And others observe that even those women who have made it to the top are unlikely to claim that a “feminine” leadership style contributed to their effectiveness (Berg and Burrows, 2003).

나는 다른 관점을 추가하고 싶다. 나는 여성의 이점이 실현되지 않은 이유는 그 자체로 성별 차이와 관련이 없다고 제안한다. 대신에 나는 그것이 여성성과 무력성을 연관시키는 관계적 실천이 직장에서 여성에게 어떻게 작용하는지를 탐구함으로써 이해될 수 있는 더 복잡한 과정에 뿌리를 두고 있다고 제안한다.

I would like to add another perspective. I suggest that the reason the female advantage has not materialized is not related to sex differences per se. Instead I suggest it is rooted in a more complex process that can be understood by exploring the way the association of relational practices with femininity and powerlessness is likely to play out for women in the workplace.

사후 영웅적 리더십과 관련된 행동, 기술 및 조직 원리에 대한 설명은 일반적으로 행위자의 성별이 지도자와 추종자에 의해 이해, 인식 및 경험되는 방식에 무관한 것처럼 젠더 뉴트럴로 제시된다. 실질적인 수준에서, 우리 모두는 이것이 사실이 아니라는 것을 알고 있다. 우리는 무언가를 하는 몸은 그 몸이 어떻게 인식될지에 영향을 미친다. 실제로 사회인지 이론가들(Fiske and Taylor, 1991)이 상기시키듯, 사건에 대한 해석은 항상 맥락에 따라 결정되며, 행위자의 사회적 정체성(성, 인종, 계급, 조직명 등)을 포함한 많은 요인에 의해 영향을 받는다.

l  "내 사무실에 들르세요"라고 말하는 상사는 동료가 같은 말을 하는 것과는 상당히 다르게 해석됩니다.

l  회의 중에 백인이 탁자에 주먹을 찧는 것은 유색인종이나 여느 여성들과 같은 일을 하는 것과는 상당히 다르게 인식된다.

우리는 스키마를 통해 행동을 필터링하며, 그것은 우리가 보는 것, 우리가 기대하는 것, 그리고 그것을 어떻게 해석하는지에 영향을 미치고 결정한다.

Descriptions of the behavior, skills and organizational principles associated with post heroic leadership are generally presented as gender neutral in practice i.e. as if the sex of the actor is irrelevant in how the behavior is understood, perceived and experienced by leaders and followers. At a practical level, we all know this to be untrue. The body in which we do something influences how it will be perceived. Indeed, as social cognition theorists (Fiske and Taylor, 1991) remind us, the interpretation of events is always contextual and is influenced by many factors, including the social identity (sex, race, class, organizational title, etc.) of the actor.

l  A boss saying “drop by my office” is interpreted quite differently from a peer saying the same thing.

l  A white man slamming his fist on the table during a meeting is perceived quite differently from a man of color – or any woman – doing the same thing.

We filter behavior through schema that influence and determine what we see, what we expect to see and how we interpret it

젠더 스키마(Valian, 1997)는 특히 강력하며, 사후 영웅적 리더십을 실천에 옮기는 경험이 여성과 남성에게 다를 가능성이 있음을 시사한다. 젠더 스키마 때문에, 새로운 리더십을 수행하는 남성들은 그들이 하는 일을 "새로운 것"으로 선언하는 것이 더 쉬울 수 있다. 반면에 여성들은 그들이 하는 일을 새로운 것으로 구별하는 데 어려움을 겪을 수 있다. 왜냐하면 그들은 단지 여성들이 하는 일을 하는 것처럼 보이기 때문이다(Flletcher, 1999).

Gender schema (Valian, 1997) are particularly powerful and suggest that the experience of putting post heroic leadership into practice is likely to be different for women and men. Because of gender schema, men who do the new leadership, while they may be in danger of being perceived as wimps, may have an easier time proclaiming what they do as “new”. Women, on the other hand, may have a harder time distinguishing what they do as something new, because it looks like they are just doing what women do (Fletcher, 1999).

그러나 여성이 직면하는 또 다른, 훨씬 더 어려운 문제가 성별된 기대와 영웅 이후의 리더십과 관련되어 있다. 앞서 별개의 지식 영역에 대한 논의에서 알 수 있듯이, 서구사회에서 여성은 관계적 기술과 속성의 운반자가 될 것으로 기대되며, 이는 개인의 성취를 가능하게 하는 삶의 협력적 하위 텍스트를 제공하지만, 그것을 보이지 않게 할 것do it invisibly으로 기대되므로, 개인 성취의 "신화"는 도전받지 않는다. 그러므로, 깊은, 아마도 심지어 무의식적인 수준에서, 우리는 이러한 실천을 보이지 않는 것, 그리고 모성애나 다른 "사랑의 노동"과 연관지어서 사심 없는 헌신과 연관시키는 경향이 있다. 실제로, 이러한 ‘비가시성’이야말로, 누군가를 가치 있고 여성스러운 것으로 표시해주는, 현재 행해지고 있는 것에 대한 주의를 환기시키지 않는 것이다(Bellah, et al. 1985).

But there is another, even thornier problem women encounter related to gendered expectations and post heroic leadership. As the earlier discussion of separate spheres of knowledge suggests, in Western society women are expected to be the carriers of relational skills and attributes, expected to provide the collaborative subtext of life that enables individual achievement, but to do it invisibly, so the “myth” of individual achievement is not challenged (Miller, 1976; Jordan et al., 1991; Miller and Stiver, 1997). Thus, at a deep perhaps even unconscious level, we tend to associate these practices with invisibility and the kind of selfless giving associated with mothering and other “labors of love”. Indeed, it is the invisibility, the not calling attention to what is being done that marks one as especially worthy and womanly (Bellah, et al. 1985).

이것이 의미하는 바는 여성들이 권력을 공유하거나 타인의 발전을 가능하게 하고 기여하는 종류의 리더십 관행을 제정할 때, 그들은 "도와주는 것을 좋아하고 그 대가로 아무것도 기대하지 않는" 사심 없는 기부자로 보일 가능성이 높다는 것이다. 즉, 여성이 자신의 관계적 기술을 사용하여 리드할 때, 그들의 행동은 여성성뿐만 아니라 사심 없는 기부와 모성애와도 연관된다(Flletcher, 1999).

What this means is that when women enact the kind of leadership practices that share power or enable and contribute to the development of others, they are likely to be seen as selfless givers who “like helping” and expect nothing in return. In other words, when women use their relational skills to lead, their behavior is conflated not only with femininity but with selfless giving and motherhood (Fletcher, 1999).

이 혼란은 문제가 있다. 사심 없이 베푸는 것은, 정의상, 상호적이지 않다. 그리고 남자든 여자든 사후 영웅적 리더십은 상호간의 조건에 달려 있다. 영웅적 리더십을 실천에 옮기는 사람들은 이러한 상호성의 자세가 다른 사람들에 의해 충족되고 일치될 것이라고 기대할 권리가 있다. 즉, 다른 사람들이 이러한 조건들이 우세할 수 있는 종류의 환경을 함께 조성하는 데 동참할 것이다. 실제로 집단학습, 상호참여, 차이에 걸친 학습, 상호권한 부여와 같은 사후 영웅적 리더십의 긍정적인 결과는 비상호성의 조건에서는 발생할 수 없다(Jordan, 1986). 반대로, 사후 영웅적 리더십은 그 안에 답례에 대한 초대장이 내재되어 있었음에 틀림없다. 그러나 성별 기대는 – 그리고 보다 분명히 영웅 이후의 리더십과 모성애 및 사심 없는 기부의 혼합은 – 여성들에게 이러한 가능성을 제한한다.

This confusion is problematic. Selfless giving is, by definition, non-mutual. And post heroic leadership – whether practiced by men or women -- depends on conditions of mutuality. People who put post heroic leadership into practice have every right to expect that this stance of mutuality will be met and matched by others, i.e. that others will join them in co-creating the kind of environment where these conditions can prevail. In fact, the positive outcomes of post heroic leadership such as collective learning, mutual engagement, learning across difference and mutual empowerment cannot occur under conditions of non-mutuality (Jordan, 1986). On the contrary, post heroic leadership must have embedded within it an invitation to reciprocate in kind. But gender expectations – and more explicitly the conflation of post heroic leadership with mothering and selfless giving – constrain this possibility for women.

여성이 의도적으로 새로운 수사법을 제정하고 새로운 리더십 행동을 실천하는 것은 당연히 모성애나 사심 없이 베푸는 것이 아니다. 그녀는 집단 학습과 상호 참여가 일어날 수 있는 환경을 조성하려는 노력이다. 그녀가 "리더십을 하는 것"을 "엄마 노릇을 하는 것"으로 오해받을 때, 실천에 내재된 상호주의에 대한 기대는 보이지 않게 된다. 이것은 그녀를 곤경에 빠뜨린다. 첫째, 그녀는 착취당할 위험에 처해 있다. 만약 누군가가 사심 없이 베푸는 것을 "좋아"한다면, 그 기회를 거부할 사람이 누가 있겠는가? 아니면 누가 보답하려고 할까? 그 결과, Fletcher (1999)가 지적한 바와 같이, 여성들은 종종 다음과 같은 존재감을 경험한다.

l  행동의 대가로 아무것도 얻지 않고 다른 사람들을 가르치고, 가능하게 하고, 힘을 실어줄 것으로 기대됩니다.

l  다른 사람들이 유사한 입장을 채택하지 않는 동안 상호의존적으로 일할 것으로 예상된다.

l  비 상호적 상황에서도 상호적으로 일할 것으로 기대된다

l  위계적 맥락에서도 덜 위계쩍 형태의 상호 작용을 연습할 것으로 예상된다.

A women intentionally enacting the new rhetoric and putting new leadership behaviors into practice is not, of course, mothering or giving selflessly2. She is attempting to create an environment where collective learning and mutual engagement can occur. When her attempts to “do leadership” are misunderstood as “doing mothering” the expectation of reciprocity embedded in the practice is rendered invisible. This puts her in a bind. First, she is in danger of being exploited. If someone “likes” selfless giving, why would anyone deny her that opportunity? Or do it for her in return? Thus, as Fletcher (1999) notes, women often experience being

l  expected to teach, enable and empower others without getting anything in return,

l  expected to work interdependently while others do not adopt a similar stance,

l  expected to work mutually in non-mutual situations, and

l  expected to practice less hierarchical forms of interacting even in hierarchical contexts.

즉, 관계적 관행과 모성적 관행의 결합은 그 실천에 내재된 상호주의에 대한 초대를 "사라지게" 한다. 따라서 여성들은 사후 영웅적 리더십의 많은 관계적 측면을 실천할 것으로 기대되고 심지어 사람들은 여기에 의존하지만, 그들은 이것이 리더십 행동이라는 인식 없으며, 그리고 다른 사람들로부터 유사한 행동을 기대하지 않는다는 것을 발견할 수 있다.

In other words, the conflation of relational practices with mothering “disappears” the invitation to reciprocity embedded in the practice. Thus, women may find they are expected and even relied on to practice many of the relational aspects of post heroic leadership but to do it without a recognition that this is leadership behavior and without expecting similar behavior from others.

이 분석은 왜 여성들이 우리가 예상하는 것만큼 눈에 띄지 않는지, 그리고 왜 그들이 영웅적 리더십의 남성적 모델에서 벗어나는 것에서 더 많은 혜택을 받지 못하고 있는지 이해하는 데 도움이 된다. 이는 남성이 사후 영웅적 리더십을 실천할 때 상호주의에 대한 미묘한 기대(즉 상호 작용에서 이러한 유형의 관계-속-자기의 자세가 직장 전체에 분포되어야 한다는 기대)를 동반하는 방식으로 그렇게 할 수 있음을 시사한다. 하지만 그 행동이 모성애와 연관될 때, 상호주의 개념은 소통하기가 훨씬 더 어렵다.

This analysis helps us understand why women are not as visible as we might expect and why they are not benefiting more from the move away from masculine models of heroic leadership. It suggests that when men practice post heroic leadership they are more able to do so in a way that carries with it subtle expectations of reciprocity, i.e. the expectation that this type of self-in-relation stance in interactions is one that should be distributed throughout the workplace. When the behavior is conflated with mothering, the notion of reciprocity is much more difficult to communicate.

사후 영웅적 리더십과 그 변혁적 잠재력
Post heroic leadership and its transformational potential

사후 영웅적 리더십은 역동적인 프로세스를 관리하고, 다양한 관점에서 학습을 활용하고, 여러 이해 관계자의 이익을 수용할 수 있는 학습 조직을 만드는 방법인 변혁의 매개체로 추천된다. 실제로 포스트 히어로 리더십에 의해 변형된 새로운 조직의 본질은 집단의 전문성을 활용하고, 더 유동적이고, 양방향적인 영향력과 권력의 패턴을 확립하고, 차이를 사용함으로써 잠재력이 발휘되는 조직이다 – 팀의 기능에 따른 차이든, 사회적 정체성에서 오는 차이든. 가정에 도전하고, 배우고, 성장하고, 혁신한다(Bailyn, 1993; Thomas and Elly, 1996; Meyerson, 2001; Ely and Thomas, 2001).

Post heroic leadership is touted as a vehicle for transformation, a way to create learning organizations able to manage dynamic processes, leverage the learning from diverse perspectives and accommodate the interests of multiple stakeholders. Indeed, the essence of the new organization, transformed by post heroic leadership is one in which potential is unleashed by tapping into the expertise of the collective, establishing more fluid, two directional patterns of influence and power and using difference – whether on cross functional teams or difference that comes from social identity -- to challenge assumptions, learn, grow and innovate (Bailyn, 1993; Thomas and Ely, 1996; Meyerson, 2001; Ely and Thomas, 2001).

새로운 모델의 변혁적인 부분은 상호성과 유동적인 권력 관계의 개념에 내재되어 있으며, 리더십 관행과 영향력은 상위 몇 개에 위치하기보다는 조직 전체에 분산되어 있습니다. 그러나 우리가 언급했듯이, 사후 영웅적 리더십은 지도자와 추종자 모두의 리더십 서술에서 대부분 보이지 않으며, 지도자 스스로는 자신의 성공과 효과를 설명하는 많은 사후 영웅적 관행을 무시한다. 수사학은 거의 20년 동안 존재해 왔지만, 리더십에 대한 낡고 전형적인 이미지는 계속해서 무의식을 지배하고 있다(Schein, 2001; Rudman and Glick, 2001). 더욱이, 영웅적 리더십의 이론은 이러한 더 깊은 문제와 무의식적인 과정을 해결할 수 있는 방식으로 이러한 변형 과정에 참여하는 방법에 대한 실용적인 정보를 충분히 제공하지 않는다(Flletcher와 Kauefer, 2003).

The transformational piece of the new model is embedded in its notions of mutuality and more fluid power relations, where leadership practices – and influence – are distributed throughout the organization rather than located in a few at the top. But as we have noted, post heroic leadership is largely invisible in the leadership narratives of both leaders and followers, with leaders themselves ignoring many of the post heroic practices that account for their own success and effectiveness. While the rhetoric has been around for nearly two decades, old, stereotypical images of leadership continue to dominate the unconscious (Schein, 2001; Rudman and Glick, 2001). Moreover, theories of post heroic leadership do not give enough practical information on how to engage this transformational process in a way that would address these deeper issues and unconscious processes (Fletcher and Kauefer, 2003).

이 논문은 사후 영웅적 리더십이 변혁적 잠재력에 부응하지 못하는 이유는 우리가 탐구해 온 복잡한 젠더와 권력 역학과 관련이 있다고 주장한다. 보다 구체적으로, 그것은 포스트 히어로 리더십의 변혁적 잠재력이 가장 급진적인 도전을 입맛대로 바꾸고, 침묵시키는 방식으로 담론에 통합될 위험에 처해 있음을 시사한다. 다음에 대한 도전이다.

l  조직의 권력 체계에 대해

l  관리 및 계층적 지식의 특권 부여에 대해

l  성과주의와 개인의 성취에 대한 믿음에 근거한 보상의 분배에 대해

This paper argues that the reasons post heroic leadership is not living up to its transformation potential are related to the complex gender and power dynamics we have been exploring. More specifically, it suggests that the transformative potential of post heroic leadership is in danger of being incorporated into the discourse in a way that co-opts and silences (Diamond and Quinby, 1988) its most radical challenges: The challenge

l  to organizational systems of power (Walker, 2002),

l  to the privileging of managerial and hierarchical knowledge (Calas and Smircich, 1993), and

l  to the distribution of rewards based in beliefs about meritocracy (Scully, 2002) and individual achievement (Jordan,1999).

테러리스트들의 공격과 기업 스캔들의 여파로 생겨난 리더십에 대한 현재의 담론은 이러한 역동성의 좋은 예이다. 리더십에 대한 우리 사회의 양면성과 모순된 이미지는 포스트 히로익 원칙이 강화되고 동시에 훼손되는 대중 매체의 기사와 책에서 특히 두드러진다.

l  한편, 전통적인 영웅적 행동의 재현(줄리아니, 2002)과 이러한 역할을 맡지 않는 것에 대한 수치심이 부활한다는 증거가 있다.

l  반면 카리스마적 리더의 특징인 개인주의, 허세, 무적 행태가 스캔들의 원인이 됐다는 인식이 있다.

이것은 다른 종류의 영웅, 즉 영웅 이후의 영웅을 찾는 결과를 낳았다. 사람들은 누가 조용히 이끌며 영웅적 리더십과 관련된 특성을 덜 보여주는지를 찾으려고 하면서도, 흥미롭게도, 누가 전통적인 모델과 관련된 개인주의에 대한 동일한 계층적 힘과 신과 같은 존경을 계속 누리는지 찾으려고 했다. 이 논문은 개인 스타일에 관계없이 위계적 리더의 개별적 특성에 계속 초점을 맞추는 것은 필요한 실질적인 변화를 저해하기 때문에 문제가 있다고 주장한다.

The current discourse on leadership in the wake of terrorists attacks and corporate scandals is a good example of these dynamics. The ambivalence and contradictory images we as a society hold about leadership are especially apparent in articles and books in the popular press where post heroic principles are simultaneously reinforced and undermined.

l  On the one hand, there is evidence of a resurgence in the reification of traditionally heroic behavior (Giuliani, 2002) and the shame associated with not assuming this role (Useem, 2002).

l  On the other hand, there is a recognition that the individualism, bravado and assumed invincibility that is characteristic of charismatic leaders has contributed to scandalous corporate behavior.

This has resulted in the search for a different kind of hero, a post-heroic hero, if you will, who leads quietly and who displays fewer of the characteristics associated with heroic leadership (Badarraco, 2002; Sellers, 2002; Byers, 2002), but who, interestingly, continues to enjoy the same hierarchical powers and godlike reverence for individualism associated with traditional models. This paper argues that continuing to focus on the individual characteristics of hierarchical leaders – regardless of their personal style – is problematic because it undermines the real shift that is needed.

사후 영웅적 리더십의 변혁적 결과를 달성하는 것은 기술과 개인적 특성을 훨씬 뛰어넘는 것으로, 그 만큼 중요하다. 사후 영웅적 리더십을 실천하는 것은 자신의 직장 상호 작용마다 다른 입장을 취하는 것에 달려 있다. 다른 사람들과의 상호작용에서 이러한 ‘독립적 실체로서의 자기’가 아니라 ‘관계-속-자기’의 입장을 취하는 것은 관계적 기술을 필요로 한다. 하지만 기술뿐만이 아닙니다. 그것은 일련의 신념과 원칙, 실제로 권력을 행사하는 방법과 직장에서의 성공과 효과를 달성하는 방법에 대한 다른 정신적 모델을 요구한다. 이러한 ‘효과성에 대한 대안적 논리’가 폐기될 때, 사후 영웅적 리더십의 본질은 입맛대로 사용되며, 그 변혁적 측면이 거세될 위험에 처해 있다(Flletcher, 1994). 즉, 기술과 행동이 기술되어 있지만 인간의 성장과 상호의존에 대한 기본적인 관계적 믿음은 인간의 발전과 성취에 대한 개인주의적 개념에 가장 심각한 도전을 제기할 수 있다. 즉, 새로운 리더는 낡은 개인주의 담론의 규칙에 따라 주류 담론에 편입될 위험에 처해 있다. 그 결과는 영웅적 리더십의 또 다른 이상화된 이미지, 즉 영웅 이후의 영웅들이 될 것이다.

Achieving the transformational outcomes of post heroic leadership goes well beyond skills and personal characteristics, as important as those are. Practicing post heroic leadership depends on adopting a different stance in one’s workplace interactions: a stance of “self-in-relation” as opposed to “self as independent entity”. Enacting this self-in-relation stance in ones interactions with others require relational skills. But not only skills. It requires a set of beliefs and principles, indeed a different mental model of how to exercise power and how to achieve workplace success and effectiveness. When this alternative logic of effectiveness is dropped, the essence of post heroic leadership is in danger of being co-opted and its transformational aspects castrated (Fletcher, 1994). That is, the skills and behaviors are described, but the basic, relational beliefs about human growth and interdependence that would present the most serious challenge to individualistic notions of human development and achievement are cut off. In other words, the new leadership is in danger of being incorporated into the mainstream discourse according to the rules of the old individualistic discourse. The result will be yet another idealized image of heroic leadership – post heroic heroes.

이 분석은 포스트 영웅적 리더십의 변혁적 약속을 진정으로 포착하기 위해서는, 도전의 급진적 성격과 거기에 내재된 성별과 권력 역학을 인정하고, 인식하고, 명명하는 이론적 틀이 필요할 것임을 시사한다. 이것은 다음의 것들을 인정하고, 나아가 이론화하는 것을 의미할 것이다.

l  후기 영웅적 리더십이 현재의 권력 역학에 도전하는 방식,

l  후기 영웅적 리더십이 개인적 성취라는 신화와 성과주의에 대한 관련 신념을 위협하는 방식,

l  후기 영웅적 리더십이 우리 모두가 무시하도록 배운 삶의 협력적인 하위 텍스트를 강조하는 방식.

l  후기 영웅적 리더십이 젠더 정체성을 표현하는 방식

그러한 명시적인 인식 없이는 이 새로운 리더십 모델의 변혁 잠재력이 실현될 가능성이 낮아 보일 것이다.

This analysis suggests that to truly capture the transformational promise of post heroic leadership would require theoretical framings that acknowledge, recognize and name the radical nature of its challenge and the gender and power dynamics inherent in it. This would mean acknowledging and further theorizing

l  the way post heroic leadership challenges current power dynamics,

l  the way it threatens the myth of individual achievement and related beliefs about meritocracy,

l  the way it highlights the collaborative subtext of life that we have all been taught to ignore and

l  the way it engages displays of one’s gender identity.

Without such an explicit recognition it would appear that the transformational potential of this new model of leadership is unlikely to be realized.

결론 Conclusion

새로운 리더십 모델에 대해 "성별/권력 렌즈"가 강조하는 세 가지가 있습니다. 첫째, 영웅적 리더십을 내세우려는 움직임이 종종 성 중립적 개념으로 제시되지만 실제로는 그렇지 않다. 반대로, 그것은 자기 정체성에서 중요한 젠더 및 권력 관련 측면을 포함하는 변화이다. 이러한 역학은 오늘날의 경쟁적이고 지식 집약적인 비즈니스 환경에서 성공의 열쇠라는 일반적인 동의에도 불구하고 이러한 새로운 리더십 모델로 전환하려는 조직의 노력을 무의식적으로 저해할 수 있는 매우 격렬하고 감정적인 문제입니다.

There are three things that a “gender/power lens” highlights about new models of leadership. First, although the move to post heroic leadership is often presented as a gender neutral concept, it is not. On the contrary, it is a shift that engages significant gender and power-linked aspects of self-identity. These dynamics are highly charged, emotional issues which may unwittingly undermine organizational efforts to move to these new models of leadership, despite general agreement that such models are key to success in today’s competitive, knowledge intensive business environment.

둘째, 새로운 리더십은 실제로 성별(더 정확히는 성) 중립적이지 않다. 몸은 중요하다. 젠더 스키마는 행동이 어떻게 이해되고 해석되는지에 영향을 미치는 강력한 필터이기 때문에, 사후 영웅적 리더십을 실천하는 경험은 남성과 여성에 따라 다르며 그들의 리더십 행동을 그렇게 볼 수 있는 능력에 다른 영향을 미칠 가능성이 높다. 이것은 여성의 장점이 여성에게 유리하지 않은 한 가지 가능한 이유이다.

Second, the new leadership is not gender (or more accurately, sex) neutral in practice. The body matters. Because gender schema are powerful filters that influence how behavior is understood and interpreted, the experience of practicing post heroic leadership is likely to be different for men and women and have a differential impact on their ability to have their leadership behavior seen as such. This is one possible reason the female advantage is not advantaging females.

셋째, 사후 영웅적 리더십의 변혁적 약속은 입맛에 맞게 도입될 위험에 처해 있다. 사업의 성공으로 이어지는 것에 대한 다른, 보다 관계적이고 상호의존적인 신념 체계(또는 효과성의 논리)에 뿌리를 둔 리더십의 새로운 모델은 개인주의적 성과주의 신념에 따라 조직된 구조와 체계에서 번창할 수 없다. 이러한 새로운 개념에 내재된 근본적인 신념체계의 강력한 변화를 인정하고 더 이론화하지 않으면 이 새로운 모델이 현재 작업 관행, 구조, 규범 및 운영에 대한 급진적인 도전을 훼손하는 방식으로 공동 채택되어 리더십에 대한 주류 담론으로 유입될 위험이 있다. 그 결과는 똑 같은 기존 모델을 그저 말만 바꾸어 재구성하는 것일 수 있다.

Third, the transformation promise of post heroic leadership is in danger of being co-opted. New models of leadership that are rooted in a different, more relational and interdependent belief system – or logic of effectiveness -- about what leads to business success cannot flourish in structures and systems organized around beliefs in individualistic meritocracy. Without acknowledging and further theorizing the powerful shift in the underlying belief system inherent in these new concepts there is a danger that this new model will be co-opted and brought into the mainstream discourse on leadership in a way that will undermine its radical challenge to current work practices, structures, norms and operating systems. The result may be a simple reconstitution of the old model with new language.

3 발코니에 올라타세요
3 Get on the Balcony

어떤 실천적 아이디어는 행동 중에 관점을 가질 필요성보다 명확하거나 더 비판적이다. 예를 들어, 어떤 군대든 "전쟁의 안개"에서도 재관찰 능력을 유지하는 것의 중요성을 알고 있다. 월트 휘트먼이 묘사한 것처럼 위대한 운동선수들은 한 번에 경기를 하고 그것을 전체적으로 관찰할 수 있다. 예수회 사람들은 그것을 "실행 중인 고려"라고 부릅니다. 힌두교도와 불교도는 그것을 "카르마 요가" 또는 마음챙김이라고 부릅니다. 우리는 이 기술을 "무대에서 내려 발코니로 가는 것"이라고 부르는데, 이것은 행동 중에 뒤로 물러서서 "이게 정말 무슨 일이야?"라고 묻는 정신 활동을 포착하는 이미지이다.1

Few practical ideas are more obvious or more critical than the need to get perspective in the midst of action. Any military officer, for example, knows the importance of maintaining the capacity for reflection, even in the “fog of war.” Great athletes can at once play the game and observe it as a whole—as Walt Whitman described it, “being both in and out of the game.” Jesuits call it “contemplation in action.” Hindus and Buddhists call it “karma yoga,” or mindfulness. We call this skill “getting off the dance floor and going to the balcony,” an image that captures the mental activity of stepping back in the midst of action and asking, “What’s really going on here?”1

왜 그렇게 많은 형태의 영적이고 조직적인 삶이 이 정신적인 운동을 추천하는가? 왜냐하면 이 아이디어를 실행에 옮기는 것만큼 우리의 능력에 무리를 주는 일은 거의 없기 때문이다. 우리 모두는 특히 그것이 강렬해지거나 개인적인 것이 되고 우리는 가장 잠시 멈춰야 할 때 그 행동에 휩쓸린다. 자기 반성은 자연스럽게 이루어지지 않습니다. 확립된 신념을 채택하는 것이 자신의 신념을 새로 만드는 것보다 훨씬 쉽다. 대부분의 사람들은 조직이나 공동체의 장점에 대한 비판적인 평가 없이 본능적으로 지배적인 경향을 따른다. 무리 본능은 강하다. 그리고 혼잡은 보조를 맞추지 못하는 사람들을 짓밟을 뿐만 아니라 먼지가 가라앉을 때까지 다른 방향을 보는 것을 어렵게 만듭니다.

Why do so many of the world’s forms of spiritual and organizational life recommend this mental exercise? Because few tasks strain our abilities more than putting this idea into practice. We all get swept up in the action, particularly when it becomes intense or personal and we need most to pause. Self-reflection does not come naturally. It’s much easier to adopt an established belief than create one’s own. Most people instinctively follow a dominant trend in an organization or community, without critical evaluation of its merits. The herd instinct is strong. And a stampede not only tramples those who don’t keep pace, it also makes it hard to see another direction—until the dust settles.

예를 들어, 우리는 최근에 사업 회의에서 아만다라는 이름의 한 여성이 도전적인 기업 구조조정 동안 방 안에 있는 모든 사람들이 자신들의 힘을 발휘하고 있는지 의문을 제기하며 도발적인 발언을 했다. 그녀의 논평은 아무 소용이 없는 것 같았다. 그리고 얼마 후, 조직 내에서 그녀보다 약간 나이가 많은 남자 브라이언이 같은 논평에 해당하는 것을 제안했다. 갑자기, 그 그룹은 그 아이디어를 둘러싸고 참여했고 대화는 아만다가 원래 원했던 방향으로 움직이거나 적어도 기울었다. 브라이언은 무의미한 기분으로 떠났고, 아만다는 눈에 보이지 않고 좌절감을 느꼈다.

For example, we were recently at a business meeting in which a woman named Amanda made a provocative comment, questioning whether everyone in the room was pulling their weight during a challenging restructuring of the firm. Her comment didn’t seem to go anywhere. Then some time later Brian, a man a bit senior to her in the organization, offered what amounted to the same comment. Suddenly, the group engaged around the idea and the conversation moved, or at least lurched, in the direction Amanda had originally hoped. Brian walked away feeling influential, and Amanda felt invisible and frustrated.

집단은 종종 누군가를 무시함으로써 그들을 보이지 않게 함으로써 평가절하한다. 분명히 이런 일이 적어도 한두 번은 너에게 일어났을 것이다. 여자들은 우리에게 이런 일이 자주 일어난다고 말한다.

Groups often devalue someone by ignoring them, by rendering them invisible—a form of marginalization. Surely this has happened to you at least once or twice. Women tell us this happens often to them.

아만다는 발코니에 오르는데 힘든 시간을 보냈을 것이다. 그녀는 자신이 왜 무시당했는지 궁금했지만, 대부분 짓밟히고 화가 나서 그 상황에서 거리를 두는 능력이 떨어졌다. 그녀는 무대에 완전히 몰두하고 있었다. 비효율적인 것에 대한 두려움에 사로잡혀 있었고, 무시당한 것에 반응했고, 전체적 관점을 얻을 수 없었고 실제로 무슨 일이 일어나고 있는지 볼 수 없었다.

Amanda would have had a tough time getting on the balcony. She wondered why she had been ignored, but mostly she felt trampled and angered, diminishing her capacity to distance herself from the situation. She was totally engaged on the dance floor: preoccupied by the fear of being ineffective, reacting to having been brushed aside, and unable to get an overview and see what was really going on.

일반적으로 소수의 사람들만이 이러한 역학 관계가 일어나는 것을 봅니다. 회의 행동에 휩쓸려 대부분은 전혀 눈치채지 못했다. 그들은 그저 제 역할을 할 뿐입니다. 관찰의 어려운 점은 보통 우리 곁을 지나가는 미묘한 것들을 보는 것입니다. 큰 그림을 보려면 관찰되는 행동에 참여하는 동안에도 뒤로 물러서서 지켜보는 것이 필요합니다. 하지만 발코니의 관점을 취하는 것은 당신이 무도장에 참여하고, 사건의 흐름에 밀리고 당기고, 또한 당신 자신을 밀고 당기는 것에 관여할 때 하기 어렵습니다.

Typically only a few people see these dynamics as they happen. Swept up in the action of the meeting, most never notice. They simply play their parts. The observational challenge is to see the subtleties that normally go right by us. Seeing the whole picture requires standing back and watching even as you take part in the action being observed. But taking a balcony perspective is tough to do when you’re engaged on the dance floor, being pushed and pulled by the flow of events and also engaged in some of the pushing and pulling yourself.

가장 알아채기 어려운 부분은 당신이 아만다 역을 맡든 브라이언 역을 맡든 당신이 직접 하는 것이다. 그래서 여러분은 스카이 카메라로 그 방을 내려다보고 여러분 자신을 단지 게임의 다른 선수로 보는 것을 상상할 수 있습니다.

The most difficult part to notice is what you do yourself, whether you play Amanda’s or Brian’s part. So you might imagine looking down on the room from a sky camera and seeing yourself as merely another player in the game.

발코니 은유는 이 아이디어를 포착합니다. 여러분이 발코니가 있는 큰 무도장에서 춤을 추고 있다고 가정해 봅시다. 밴드가 연주하고 사람들은 음악에 맞춰 당신 주위를 빙빙 돌며 당신의 시야를 넓힌다. 여러분의 관심은 대부분 댄스 파트너에게 집중되며, 여러분은 가까운 곳에서 댄서들과 충돌하지 않도록 하기 위해 남아있는 모든 것을 예약합니다. 당신은 음악, 파트너, 그리고 그 순간에 빠져들게 합니다. 나중에 누군가가 춤에 대해 물어보면, 여러분은 "밴드가 잘 연주했고, 그 장소는 댄서들로 붐볐다"고 탄성을 지릅니다.

The balcony metaphor captures this idea. Let’s say you are dancing in a big ballroom with a balcony up above. A band plays and people swirl all around you to the music, filling up your view. Most of your attention focuses on your dance partner, and you reserve whatever is left to make sure that you don’t collide with dancers close by. You let yourself get carried away by the music, your partner, and the moment. When someone later asks you about the dance, you exclaim, “The band played great, and the place surged with dancers.”

하지만 만약 여러분이 발코니에 올라가서 춤을 내려다봤다면, 여러분은 매우 다른 그림을 봤을지도 모릅니다. 당신은 모든 종류의 패턴을 알아챘을 것이다. 예를 들어, 느린 음악이 재생될 때 일부 사람들만 춤을 춘다는 것을 관찰했을 수 있습니다. 템포가 빨라졌을 때, 다른 사람들은 문에 발을 디뎠고, 어떤 사람들은 전혀 춤을 추지 않는 것처럼 보였다. 실제로, 댄서들은 모두 가능한 한 밴드에서 멀리 떨어진 무대의 한쪽 끝에 모여 있었다. 집에 돌아오면, 여러분은 참여는 산발적이고, 밴드는 너무 크게 연주하며, 여러분은 빠른 음악에 맞춰 춤을 추었을 뿐이라고 보고했을지도 모릅니다.

But if you had gone up to the balcony and looked down on the dance floor, you might have seen a very different picture. You would have noticed all sorts of patterns. For example, you might have observed that when slow music played, only some people danced; when the tempo increased, others stepped onto the floor; and some people never seemed to dance at all. Indeed, the dancers all clustered at one end of the floor, as far away from the band as possible. On returning home, you might have reported that participation was sporadic, the band played too loud, and you only danced to fast music.

발코니의 관점을 얻는 것은 잠시라도 마음속으로 자신을 춤에서 빼는 것을 의미한다. 여러분이 현실과 더 큰 그림에 대한 더 명확한 관점을 둘 다 얻을 수 있는 유일한 방법은 그 싸움에서 거리를 두는 것입니다. 그렇지 않으면 상황을 잘못 인식하고 잘못된 진단을 내려 개입 여부와 방법에 대한 잘못된 판단으로 이어질 가능성이 높다.

Achieving a balcony perspective means taking yourself out of the dance, in your mind, even if only for a moment. The only way you can gain both a clearer view of reality and some perspective on the bigger picture is by distancing yourself from the fray. Otherwise, you are likely to misperceive the situation and make the wrong diagnosis, leading you to misguided decisions about whether and how to intervene.

무슨 일이 일어나고 있는지 영향을 주고 싶다면, 당신은 무도장으로 돌아가야 합니다. 안전한 관찰자 역할로 발코니에 머무는 것은 애초에 그러한 관점을 달성하지 못하는 것만큼 비효율성에 대한 처방이다. 이 프로세스는 고정된 것이 아니라 반복적이어야 합니다. 춤판과 발코니 사이를 왔다 갔다 하면서 개입을 하고 실시간으로 그 영향을 관찰한 다음 행동으로 되돌아가는 것이 과제다. 춤판에서 보는 한쪽 눈과 발코니에서 내려다보는 한쪽 눈이 있는 것처럼 두 곳에 동시에 최대한 가까이 다가가는 것이 목표입니다. 자신을 포함한 모든 행동을 지켜보면서 말이죠. 이 점은 매우 중요합니다. 발코니에서 관찰할 때는 다른 참가자들뿐만 아니라 자신 또한 보아야 합니다. 아마도 이것이 가장 어려운 과제일 것이다. 자신을 객관적으로 보는 것이다.

If you want to affect what is happening, you must return to the dance floor. Staying on the balcony in a safe observer role is as much a prescription for ineffectuality as never achieving that perspective in the first place. The process must be iterative, not static. The challenge is to move back and forth between the dance floor and the balcony, making interventions, observing their impact in real time, and then returning to the action. The goal is to come as close as you can to being in both places simultaneously, as if you had one eye looking from the dance floor and one eye looking down from the balcony, watching all the action, including your own. This is a critical point: When you observe from the balcony you must see yourself as well as the other participants. Perhaps this is the hardest task of all—to see yourself objectively.

많은 댄서들 중 한 명으로 외부에서 자신을 보기 위해서는 전체적인 패턴의 일부로 자신을 바라보며, 시스템과 패턴을 지켜봐야 한다. 여러분은 여러분의 의도와 내면의 감정에 대한 특별한 지식을 제쳐두고, 다른 사람들이 발코니에서 내려다보고 있다면 볼 수 있는 여러분 자신의 일부를 주목해야 합니다.

To see yourself from the outside as merely one among the many dancers, you have to watch the system and the patterns, looking at yourself as part of the overall pattern. You must set aside your special knowledge of your intentions and inner feelings, and notice that part of yourself that others would see if they were looking down from the balcony.

참가자에서 관찰자로, 그리고 다시 되돌아가는 것은 여러분이 배울 수 있는 기술이다. 미팅에 참석할 때, 역할 전환을 연습하고, 진행 중인 상황을 지켜보십시오. 비록 여러분이 진행 중인 일의 일부이더라도 말입니다. 여러분이 개입할 때, 여러분이 말한 것을 변호하거나 설명하기를 기다리면서 좌석 가장자리에 앉아 있는 본능을 거부하세요. 당신이 말한 후에 당신의 의자를 회의 테이블에서 몇 인치 떨어진 곳으로 밀어내는 것과 같은 간단한 기술들은 당신이 관찰자가 될 수 있을 만큼 충분히 분리되도록 도와줄 은유적인 거리뿐만 아니라 문자 그대로 물리적 거리도 제공할 수 있다. 익숙한 결론을 성급히 내리지 마라. 다른 가능성을 열어보세요. 누가 뭐라고 하는지 보세요; 바디랭귀지를 보세요. 관계를 보고 서로에 대한 사람들의 관심이 어떻게 다른지 보세요: 지지, 좌절, 또는 경청.

Moving from participant to observer and back again is a skill you can learn. When you are sitting in a meeting, practice switching roles, watching what is happening while it is happening, even as you are part of what’s happening. When you make an intervention, resist the instinct to stay perched on the edge of your seat waiting to defend or explain what you said. Simple techniques, such as pushing your chair a few inches away from the meeting table after you speak, may provide some literal as well as metaphorical distance to help you detach just enough to become an observer. Don’t jump to a familiar conclusion. Open yourself up to other possibilities. See who says what; watch the body language. Watch the relationships and see how people’s attention to one another varies: supporting, thwarting, or listening.

물론 관찰자의 횃대는 소규모 그룹 회의뿐만 아니라 대규모 정치 및 조직 과정도 분석하는 데 사용될 수 있다. 예를 들어, 1960년대 초 현대 싱가포르의 창시자인 리콴유는 서구 제국주의와 자본주의를 하나이자 같은 것으로 보는 인도의 자와할랄 네루와 같은 반식민지 동지들의 관점에 흥미를 느꼈다. 리는 집을 떠나서 이 다른 창시자들이 그들의 새로운 국가를 인도하면서 이룬 진전을 직접 보기 위해 널리 여행했다. 하지만 그가 본 것은 그를 불안하게 했다. 그들의 반식민주의를 반자본주의와 결부시킴으로써, 많은 건국의 아버지들은 그들의 나라의 경제적 발전을 방해하고 그들의 국민들의 적절한 생활 수준을 방해하고 있었다. 한발 물러서서 다른 신흥국 동시대 사람들의 통념을 시험함으로써, 리는 그러한 견해들로부터 자유로움을 얻었을 뿐만 아니라, 그의 리더십의 기초가 된 현실에 대한 더 정확하고 완전한 그림을 얻었다. 대부분의 독립 운동가들과 달리, 그는 자유 시장을 받아들였다. 1965년과 2000년 사이에 싱가포르는 가난하고 인종적으로 분열된 도시에서 세계에서 가장 경쟁력 있는 경제 중 하나인 통합 공동체로 변모했다. 식민지 트라우마에 대한 반응에 기반한 이데올로기에 갇혀 수출주도형 자유시장 경제를 악마화했던 이 대통령의 동시대인들 중 어느 누구도 유사한 것 조차 성취하지 못했다.2

Of course, the observer’s perch can be used to analyze not only small group meetings, but also large political and organizational processes. For example, in the early 1960s, the founder of modern Singapore, Lee Kuan Yew, was intrigued by the perspectives of his anticolonial comrades, such as India’s Jawaharlal Nehru, who viewed Western imperialism and capitalism as one and the same thing. Lee left home and traveled widely to see firsthand the progress these other founders had made as they guided their new nations. But what he saw disturbed him. By tying their anticolonialism to anticapitalism, many founding fathers were impeding economic progress in their countries and preventing a decent standard of living for their people. By stepping back and testing the conventional wisdom of his contemporaries in other emerging nations, Lee gained not only freedom from those views, but also a more accurate and complete picture of reality, which then became the basis for his leadership. Unlike most fighters for independence, he embraced free markets. Between 1965 and 2000, Singapore went from being a poor and racially divided city to an integrated community with one of the world’s most competitive economies. None of Lee’s contemporaries, who were stuck in ideologies based on reactions to colonial trauma and who demonized export-driven free-market economies, achieved anything remotely similar.2

리는 마을을 벗어나 발코니에 올랐다. 그는 싱가포르라는 무대에서 지역적이고 국제적인 발코니로 관점을 바꾸었다.

Lee got on the balcony by getting out of town. He shifted his perspective from the Singapore dance floor to the regional and international balcony.

많은 질문들 중 어느 하나라도 여러분이 자신의 맹점을 벗어나는 데 도움이 될 것입니다. 가장 기본적인 질문은 항상 가장 좋은 출발점입니다. 지금 무슨 일이 벌어지고 있는거지? 그 질문 외에도, 우리는 사람들을 함정에 빠뜨리는 더 흔한 함정으로부터 보호하기 위한 네 가지 진단 과제를 제안한다.

Any one of a number of questions will help you get beyond your own blind spots. The most basic question is always the best place to start: What’s going on here? Beyond that question, we suggest four diagnostic tasks to safeguard against the more common traps that snare people.

1. 기술적 과제와 적응적 과제를 구분합니다.

2. 사람들이 어디에 있는지 알아보세요.

3. 단어 밑에 있는 노래를 들어보세요.

4. 단서를 위해서 권위자의 행동을 읽는다.

1.         Distinguish technical from adaptive challenges.

2.         Find out where people are at.

3.         Listen to the song beneath the words.

4.         Read the behavior of authority figures for clues.

기술적 과제와 적응적 과제 구분
Distinguish Technical from Adaptive Challenges

아만다/브라이언 사건에 대해서는 여러 가지 해석이 가능하다. 왜 아만다는 보이지 않게 되었는가?

There are many possible interpretations for the Amanda/Brian incident. Why was Amanda rendered invisible?

스타일. 아마 아만다는 그룹이 선호하는 스타일과는 다른 방식으로 말했을 것이다. 예를 들어, 그녀는 모든 사람들이 무시할 정도로 예상치 못한 확신과 힘으로 말을 했을지도 모른다. 겸손을 높이 평가하는 사람들에게 너무 공격적인 자기 확신을 보여주는 것은 그녀의 신뢰를 떨어뜨릴 수 있었다.

Style. Perhaps Amanda spoke in a manner different from the style preferred by the group. For example, she might have spoken with such unexpected conviction and power that everyone tuned out. Demonstrating too much aggressive self-assurance with people who have a high regard for humility could have reduced her credibility.

트랙 레코드. 아만다와 브라이언의 역할과 평판은 그들이 듣는 방식에 영향을 미쳤을 수도 있다. Brian은 시간이 지남에 따라 보다 일관된 통찰력과 역량을 보여주었을 것입니다. 그는 그 문제에 관해 입증된 전과가 있었을지도 모른다.

Track Record. Amanda’s and Brian’s roles and reputations might have influenced the way they were heard. Brian may have demonstrated more consistent insight and competence over time. He might have had a proven track record on the subject.

숙성도. 아마, 아만다가 그것을 테이블에 올려놓았을 때 그 문제는 "숙성"되지 않았을 것이다. 아만다는 다른 그룹보다 더 빨리 생각했기 때문에 그녀가 말할 때, 그 그룹은 그 문제를 다룰 만큼 충분히 친숙하지 않았다. 다른 사람들이 새로운 아이디어를 따라잡는 데는 시간이 걸릴 수 있습니다. 브라이언이 거의 같은 의견을 냈을 때, 아만다의 통찰력은 "익어" 있었고, 사람들은 그것을 받아들일 준비가 되어 있었다.

Ripeness. Possibly, the issue had not “ripened” when Amanda put it on the table. Amanda may have been thinking faster than the rest of the group so that, at the time she spoke, the group lacked enough familiarity with the issue to deal with it. It can take time for other people to catch up to a new idea. By the time Brian made substantially the same comment, Amanda’s insight was “ripe,” and people were ready to take it up.

지위. 브라이언이 아만다보다 조직 내에서 좀 더 공식적인 권한을 가지고 있을지도 모른다. 브라이언은 또한 사람들이 광범위한 주제에 대해 경청하는 경향이 있는 지역사회에서 중요한 사람일 수도 있다. 대부분의 문화에서, 사람들은 그 관심이 정당하든 그렇지 않든, 계층 최상위에 있는 사람들에게 더 많은 관심을 기울인다. 공식 및 비공식 계층 구조의 영향은 매우 강력합니다.

Status. Brian might have slightly more formal authority in the organization than Amanda. Brian might also be an important person in the community, to whom people tend to listen on a wide range of subjects. In most cultures, people pay more attention to those at the top of the hierarchy, whether or not that attention is warranted. The impact of both formal and informal hierarchies is extremely powerful.

편견. 아만다/브라이언 사건에 대한 일부 해석은 그룹 내에서 깊이 뿌리박힌 가치와 규범으로 직결된다. 그 그룹은 여성의 관점을 남성의 관점만큼 심각하게 받아들이지 않을 수도 있다. 편견이 집단적 현상이라면 발코니에서만 볼 수 있고 어떤 개인의 편향을 관찰하지 않을 수도 있다. 비슷하게, 만약 아만다가 브라이언보다 꽤 어리다면, 그 그룹은 아마도 무의식적으로 젊은이들에 대한 편견을 가질 수 있다. 아니면, 브라이언이 그룹의 지배적인 정치적 견해를 공유하는 반면, 그녀의 정치적 성향은 사람들을 불편하게 만들 수 있다. 아만다는 사람들에게 사회의 문제를 상기시키고, 그 그룹은 그녀가 떠올리는 사회적 문제를 무시하는 더 큰 패턴의 일부로서 무의식적으로 그녀의 사업 제안을 무시할 수 있다. 이러한 설명은 "다른 사람"에 대한 집단의 관용, 즉 아만다가 구현할 수 있는 비주류 문화의 모든 측면에 달려 있다.