Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

이론을 명시적으로 만들기: 의학교육 연구자는 이론과의 연계성을 어떻게 기술하는가(BMC Med Educ, 2017)
Making theory explicit - An analysis of how medical education research(ers) describe how they connect to theory
Klara Bolander Laksov1,2*, Tim Dornan3,4 and Pim W. Teunissen4,5

배경
Background

10년 이상, 명확한 이론적 근거가 결여된 의대 교육 연구 간행물에 대한 우려의 표현이 있어왔다[1–5]. 의학 교육에서 이론의 활용이 증가하는 징후[6]가 있지만, 문제를 식별하는 것뿐만 아니라 문제를 더 잘 이해하고 해결하는 것이 흥미롭다. 이 논문의 목적은 과거에 사람들이 어떻게 해왔는지 살펴보고 다른 사람들이 미래에 어떻게 할 수 있는지를 제시함으로써 연구자들이 이론을 더 잘 활용할 수 있도록 돕는 것이다. 우선, 우리가 '이론'이란 단어로 무엇을 의미하는지 더 자세히 설명해야 합니다. 
For over a decade, there have been expressions of concern about medical education research publications lacking an explicit theoretical basis [1–5]. Although there are signs of an increase in use of theory in medical education [6], it is of interest to not only identifying the issue, but to better understand and remedy it. The aim of this paper is to help researchers make better use of theory by examining how people have done so in the past and suggesting how others might do so in the future. First, this requires an elaboration of what we mean by theory. 

이론의 일반적인 설명은 [어떤 현상을 설명하기 위한 아이디어의 체계]라는 것이다. 이론에 대한 이러한 관점은 생물 의학 및 물리 연구에서 종종 받아들여지는 견해와 일관되며, 이론과 반복적으로 시험될 수 있는 것으로 명확하게 연결되어 있어 모든 경우에 활동을 안내합니다. 
A general description of theory is that it is a system of ideas intended to explain a phenomenon. This perspective on theory is consistent with the view that is often taken in biomedical and physical research and is clearly linked to theory as something that can be repeatedly tested, and hence guide activity in all cases. 

그러나 의대교육의 이론은 생의학과 다른 시각으로 볼 필요가 있다. [7] [입증의 필요성]을 강조하기 보다는, 출발점은 조사가 수행된 특정 렌즈를 가지고 [현상에 대한 서로 다른 설명을 둘러싼 과학적 대화에 참여]하는 것이며, 이는 이론 생성[8]을 초래할 것이다. 
However, theory in medical education needs to be viewed as different from the biomedical view. Rather than emphasising an imperative of proof [7], the point of departure is the participation in scientific dialogue around different explanations of phenomena with a specific lens through which the inquiry was conducted, which will result in theory generation [8]. 

리브스와 동료(ibid.)는 이론을 다음과 같이 정의했다: [의미 있는 전체]로서 소통되는 일련의 이슈에 대한 조직화된, 일관성있는, 체계적인 설명
Reeves and colleagues (ibid.) define theory as: an organized, coherent, and systematic articulation of a set of issues that are communicated as a meaningful whole”.

교육에서 이론의 개념화는 역사적으로 [20세기 초기의 고수준의 이론에서부터, 1960년대의 중범위 이론, 1900년대 말까지 개인실천 이론에 이르기까지] 추상화abstraction의 여러 수준에 따라 연속체상에 배치될 수 있다.
The conceptualisation of theory in education can be placed historically during the 20th century [9] at a continuum that covers different levels of abstraction ranging from high level theories at the turn of the 20th century, to middle range theories in the 1960s, and personal practice theories by the end of the 1900s.

[고차원 이론high level theories]은 시스템의 근본적인 변수를 제시하고, 마르크스주의 이론처럼 높은 수준의 추상성을 포함합니다. 예를 들어, 경험적 연구나 직접 이끌지 않는 범위 내에서 '설명할 대상과 무관함'(사회적 투쟁)이다. 이러한 수준의 이론은 실증적 연구empirical research로부터 유래한 것은 아니며, (시험 가능한 아이디어나 가설을 통해) 실증적 연구로 직접 이끌지lead는 않지만, 경험적 조사empirical enquiry를 위한 지침guidance은 제공할 수 있습니다.
High level theories state the fundamental variables of systems and include a high level of abstractness, like Marxist theory, which are ’independent of the thing to be explained’ (social struggle, for example) to the extent that they might not arise from empirical research or lead directly, via testable ideas or hypotheses, to empirical research, however it can provide guidance for empirical enquiry. 

반세기 전, Merton(1968)은 [중간 범위의 이론]이 있다는 아이디어를 도입했다. [중범위 이론]이란 다음의 사이에 놓여있다 - [일상적 연구에서 풍부하게 발전하는, 작지만, 필요한 작업 가설들]과 [사회 행동, 사회 조직, 그리고 사회 변화의 모든 관찰된 획일성을 설명할 통일 이론을 개발하기 위한 전면적인 체계적 노력]
In a seminal paper half a century ago, Merton (1968) introduced the idea that there are middle range theories – theories that lie between the minor but necessary working hypotheses that evolve in abundance during day-to-day research and the all-inclusive systematic efforts to develop a unified theory that will explain all the observed uniformities of social behavior, social organization, and social change ([10]p. 39.). 

가장 자세하고 개별적인 수준에서 '개인적 이론'[12]은 우리 모두의 일상적인 활동을 안내합니다. 예를 들어, 학생들의 성과에 대한 피드백을 제공하는 방법에 대한 우리의 선택은 대부분 성과를 전달하고 평가하는 방법에 대한 매우 개별적인 이론에 의해 이끌어집니다. 이 이론은 [비록 학생과의 관계에서 무엇을 어떻게 말해야 하는지만 말해준다 하더라도],(경험적 관찰과 쌍방 관계에 있는) 개인의 이론personal theory이다.  
At the most detailed and individual level, ’personal theories’ [12] guide the day-to-day activities of every one of us. Our choice of how to feedback on student performance, for example, is most often guided by a highly individual theory of how to communicate and appraise performance. It is a personal theory, which is in a two-way relationship with empirical observations, even if it only tells us when to say what and how in relation to the student. 

교육 분야에서 Donald Schön(1991)의 연구는 이른바 사용중인 이론(theory-in-use)에 초점을 맞췄다. 이는, 교사가 일상적인 교육에 적용하는 것이다. 또한 이것이 '옹호된 이론espoused theory'와 어떻게 관련되는지를 보았는데, 이는 피드백 및 커뮤니케이션 패턴에 대한 미드레인지 이론일 수도 있고, 교수개발 과정에서 학습했을 수 있는 과정 설계가 관련될 수 있습니다.
In education, Donald Schön’s (1991) research has focused on these so called theories-inuse, that teachers apply in everyday teaching, and how they relate to their ’espoused theory’, which could be midrange theories of feedback and communication patterns together with course design that might have been learned in a faculty development course.

이론 개발에 대한 기여는 학계 커뮤니티가 '실제적 목적적합성을 달성하기 위해 얼마나 효과적으로 연구 프레임워크를 통합하느냐'에 달려 있기 때문에, 이 논문의 초점은 중범위 이론을 어떻게 명시할 수 있는지에 있다[13]. 
The focus of this paper is on how middle-range theory can be made explicit, since the contribution to development of theory depends on how effectively the community of scholars ‘integrates inquiry frameworks to achieve practical relevance’ [13]. 

어떤 패러다임이든, 연구의 이론적 가정에 대해 명확히 하는 것은 가치를 더한다. 사람들이 의학 교육 연구를 더 잘 이론화해야 한다고 요구할 때, 그들은 연구자들에게 그들의 연구를 어떤 명시적인 이론적 틀 안에서 포지셔닝하고, 그들이 그렇게 한 방법과 이유를 정당화할 수 있고, 그 틀에서 도출된 통찰력을 사용하여 경험적 관찰을 해석할 수 있도록 요청하고 있다.
Whatever one’s paradigm, being clear about the theoretical assumptions that underly research adds value to it. When people call for medical education research to be better theorised, they are asking researchers to

• position their work within some explicit theoretical framework,
• be able to justify how and why they did so, and
• use insights derived from the framework to help interpret empirical observations.

철학적 고려에서 좀 더 실용적인 고려로 넘어가면서, Bordage (2009)는 교육 연구자들이 [개념적 체계conceptual framework]를 '문제나 연구에 대한 사고 방식, 또는 복잡한 사물이 어떻게 작용하는지를 표현하는 방법'으로 어떻게 사용할 수 있는지를 설명했다. 이러한 개념적 프레임워크는 연구자들이 특정한 방법으로 문제를 검토하도록 유도하거나 시험할 가설을 생성할 수 있으며[14] 따라서 이론과 경험적 데이터 사이의 연관성에 있어 매우 중요하다. 그것들은 그들 자신의 연구나 타인의 연구로부터 발생할 수 있고 개념적 체계는 특정 이론에서 도출될 수 있다. 한 이론이 많은 다른 연구자들에 의해 채택된다면, 그 분야는 비로소 개별 연구가 진행되었던 조건을 넘어 전이될 수 있는transferable 일관된 연구결과집합체body of work를 구축하게 된다.
Moving from philosophical considerations to more practical ones, Bordage (2009) explained how education researchers can use conceptual frameworks as ‘ways of thinking about a problem or study, or a way of representing how complex things work.’ Such conceptual frameworks may guide researchers to look at problems in particular ways or generate hypotheses to be tested [14] and are thus crucial in the linkage between theory and empirical data. They may arise from their own or other people’s research and the conceptual framework can be derived from a specific theory. When theories are adopted by many different researchers, they help the field build up a coherent body of work, which is transferable beyond the conditions in which individual studies were conducted.

교육 연구 방법론 교사로써, 석사과정 학생, 박사과정 학생, 의대신입학 연구자들이 이론에 관여하기 어려운 주제라는 것을 꾸준히 발견해 왔습니다.

As teachers of education research methodology, we have consistently found that Masters students, PhD students, and new medical education researchers find theory a difficult topic to engage with.

방법
Methods

개념적 지향
Conceptual orientation

이 연구는 사회적 구성주의 접근법을 따랐다. 사회구성주의social constructivism는 집단이나 공동체가 그들의 [상호작용의 결과로 공유된 의미를 창출한다]고 가정한다. 이러한 [공유된 의미shared meaning]는 저널이나 직책, 직책과 같은 '인공물artefacts'이라 불리는 사물로부터 기인할 수 있으며, 이것들이 모여 [공유된 문화shared culture]를 이룬다. 

A social constructivist approach [15] guided our research [16–18]. Social constructivism assumes that groups or communities create shared meaning as a result of their interactions. These shared meanings can be attributed to things, which are called ’artefacts’, such as a journal or a position or title, and together contribute to a shared culture.

이번 프로젝트에서는, [출판물]을 의학교육계의 협업으로 제작된 인공물artefacts으로 보았다는 점에서 본 연구는 "사회적social"이었다. 한편, 세 저자 사이의 데이터 분석과 이론 개발의 반복적인 과정을 통해 우리가 데이터로 포함시킨 출판물에 개념적 프레임워크에 대한 연결이 어떻게 형성되고 사용되는지에 대한 해석을 구성할 수 있었다는 점에서 "구성주의적constructivist"이였다. 

In this project, the research was social in that we regarded publications as artefacts produced by the collaborative efforts of the medical education community. It was constructivist in that an iterative process of data analysis and theory development between the three authors allowed the construction of an interpretation of how connections to conceptual frameworks were formed and used in the publications we included as data. 

데이터 수집 절차
Data collection procedure

이 프로젝트의 데이터 집합은 의학 교육 분야에서 영향력이 있다고 여겨지는 발표된 논문 집합으로 구성되었습니다. 
The dataset for this project consisted of a set of published papers that were deemed influential in the medical education domain. 

선정된 연구진은 연구 pp주제, 성별, 지리뿐만 아니라 자체 연구에 일반적으로 적용되는 방법론적 선호도 변화에서 차이를 보였다(표 1 참조). 그들은 다음과 같은 요청을 받았다. 
The selected researchers differed in their variation of methodological preferences usually applied in their own research as well as research topic, gender and geography (see Table 1). They received the following request:

의학 교육 분야에서 영향력이 있다고 생각되는 약 5개의 연구 논문을 지명해 주십시오. 각 논문마다 왜 그것을 선택했는지에 대해 몇 개의 문장을 써주세요. 
Please nominate approximately 5 research papers you consider as influential in the field of medical education. For each paper, please write a few sentences saying why you chose it.

"영향력있는"이라는 단어의 의미를 우리는 "[의학 교육 관행이나 연구에서 전반적인 영향]을 미쳤거나, 혹은 [응답자 개인의 연구 또는 교육 관행]에 영향을 미쳤던 연구 논문"으로 명확히 했습니다. 
By influential we clarified that it could be “research papers that have, in your opinion, impacted medical education practice or research in general or your own research or educational practice”. 

분석
Analysis

주요 분석을 안내하는 4가지 주요 질문의 공식화:
the formulation of four main questions to guide the main analysis:

1) "이 논문의 출발점starting point은 무엇이었습니까?" 그 출발점은 예를 들어 실용적 문제 또는 이론적 문제 또는 이전 연구의 발견일 수 있습니다.
1) ”What was the starting point of this article?” The starting point could be, for instance, a practical or theoretical problem, or the findings of previous research.

2) "문제에 접근하기 위해 어떤 개념적 체계conceptual framework를 사용하였는가?" 이것이 우리가 이론적인 개념이나 프레임워크와 다소 명백한 연관성을 볼 수 있는 곳입니다.
2) ”What conceptual framework was used to approach the problem?”.This is where we could see a more or less explicit linkage to theoretical concepts or frameworks.

3) "이 논문은 방법론적으로 문제를 어떻게 다루었는가?" Guba & Lincoln의 [20] 유형 방법론적 접근법이 우리의 분석을 이끌었다.
3)”How did the paper address the problem methodologically?”;Guba & Lincoln’s [20] typology of methodological approaches guided our analysis.

4) "이 기사가 이론에 어떤 기여를 했는가?"
4)”How did the article contribute to theory?”. 

1. 저자들의 출발 지점은 무엇이었습니까?
a) 문제는 어디에서 발생하였는가(예: 실제 문제, 이전 논문, 이론 문제, 이론에 근거한 가설)?
1. What was the authors’ point of departure?
a) Where did the problem come from (e.g. practical issue, previous papers, theoretical problem, hypothesized based on theory)?

2. 저자들은 어떤 경로를 택했는가?
a) 이슈는 어떻게 문제화되고 개념화되었는가?
b) 질문 1과 2의 답변은 서로 어떤 관련이 있습니까?
c) 저자들은 자신의 문제를 다루기 위해 어떤 방법론을 사용했으며, 선택권을 얼마나 명확히 고려했는가?
2. What route did the authors take?
a) How was the issue problematized and conceptualized?
b) How do the answers to questions 1 and 2 relate to each other?
c) What methodology did the authors use to tackle their problem and how explicit were they in considering their options?

3. 저자들은 어디에 도착했나요?
a) 조사 중인 문제를 해결하는 데 어떻게 기여했다고 제안했습니까?
b) 이 과학적 여정의 여러 요소들 사이의 명백한 관계는 무엇인가?
3. Where did the authors arrive?
a) How did they suggest they had contributed to addressing the problem under investigation?
b) What is the apparent relationship between the different components of this scientific journey?

결과
Results

초청연구가 15명 중 남성 6명, 여성 4명 등 10명이 총 41편의 논문을 내정했다. 두 명은 초대를 거절했고 세 명은 응답하지 않았다. 논문은 추가 파일 1: 부록 1에 나열되며 경험적 논문부터 검토, 개념적 논문 및 사설까지 다양합니다. 
Ten of the 15 invited researchers, six men and four women, nominated a total of 41 papers. Two declined the invitation and three did not reply. The papers are listed in Additional file 1: Appendix 1 and ranged from empirical papers, to reviews, conceptual papers and editorials. 

근접 탐사
Close-up exploration

여기서 연구자들은 전공의들이 실제 경험을 통해 배우는 방법 등 몇 가지 [구체적인 현상을 설명하는 것]을 목표로 했다. [국지적 이슈]에 의해 촉발되거나, [다른 연구에서 제기된 이슈]를 바탕으로, 그들은 이러한 [현상에 대한 현재의 이해를 더할 필요성이나 기회]를 포착하였다. 이를 통해 그들은 구체적인 질문을 하고, 연구 계획을 결정하고, 연구를 착수할 수 있었다. 중범위이론은 이들이 질문, 방법, 연구 진행 환경 등을 선택할 수 있도록 도움으로써 기여했고, 그 결과 관심 주제에 대한 보다 명확하고 참신한 이해를 쌓을 수 있었다.
Here, researchers aimed to explain some specific phenomenon, such as how residents learn from practical experience. Either instigated by a local issue or issues raised in other studies, they recognized a need or opportunity to add to the current understanding of this phenomenon. This allowed them to formulate a specific question, decide on a research plan, and set out to do the research. Middle range theory contributed to this process by helping them choose questions, methods, and a setting in which to conduct the research, which would contribute to building a clearer or novel understanding of the topic of interest. 

Example 1

이 범주의 연구 예는 Lingard 외 연구진들의 연구이다. (2004). Lingard와 동료[21]는 수술실의 커뮤니케이션 장애를 조사하면서 이전 연구에서 비롯된 문제를 출발점으로 삼았다.
An example of a study in this category is a study by Lingard et al. (2004). Examining communication failures in operating rooms, Lingard and colleagues [21] took as their point of departure an issue stemming from previous research:

최근의 증거는 오류로 인한 부작용은 입원환자 환경에서 수용할 수 없을 정도로 높은 비율로 발생하며 팀 구성원 간의 비효율적이거나 불충분한 의사소통이 종종 기여 요소임을 시사한다(330페이지). 
Recent evidence suggests that adverse events resulting from error happen at unacceptably high rates in the inpatient setting and that ineffective or insufficient communication among team members is often a contributing factor. (p.330) 

의료 분야에서 팀워크와 안전의 관계, 연구 방식의 동향에 관한 문헌의 증가 추이를 언급함으로써, 지식의 격차를 확인했다.
By referring to a growing body of literature regarding the relationship between teamwork and safety in health care, and trends in the way it had been studied, the route taken by Lingard et al. identified a gap of knowledge:

이러한 모델은 효과적인 팀 기능에서 의사소통의 중요성을 강조해 왔지만, 다차원성은 커뮤니케이션의 개별 변수에 대한 깊은 관심을 배제합니다.
While these models have reinforced the importance of communication in effective team function, their multidimensionality precludes in depth attention to the individual variable of communication. (p.330) 

저자들은 "표준화와 팀 통합의 부족"이라고 공식화한formulated 수술실의 특정 맥락에서의 의사소통에 관한 연구 결과를 언급하며 계속했다. 여기서, 그들은 항공 산업에서의 의사소통에 대한 사고 방식(즉, 다른 분야에서의 이론화)을 언급함으로써, 당면한 이슈를 프레이밍(의사소통 실패)하였고, 문제 극복을 위한 개입을 선택하였다.
The authors continued by referring to the findings from studies on communication in the specific context of operating rooms, formulated as ”lack of standardization and team integration”. Here, they referred to the ways of thinking about communication in aviation industry (i.e. theoretization from another field) both as a way to frame the issue at hand (communication failures) and to choose interventions to overcome the problem:

OR 팀 커뮤니케이션의 기술된 약점에 대한 하나의 잠재적 해결책은 항공 산업에서 체계적인 비행 전 팀 커뮤니케이션을 위해 현재 사용 중인 체크리스트 시스템을 조정하는 것이다… 우리는 세심하게 조정된 체크리스트 시스템이 OR 팀에서 더 안전하고 효과적인 커뮤니케이션을 촉진할 수 있을 것으로 예상한다. (p.330)
One potential solution to the described weaknesses in OR team communication is to adapt the checklist system currently in use for systematic preflight team communications in the aviation industry … we anticipate that a carefully adapted checklist system could promote safer, more effective communications in the OR team. (p.330)

방법 섹션은 논문 초기에 식별된 방법론적 격차에 맞춰 조정되었으며 관찰된 커뮤니케이션의 현장 노트를 분석하기 위해 이론 기반의 프레임워크를 사용했다. 이를 통해 연구진은 의사소통 장애의 특성을 파악하고 탐구 중인 주제에 대한 보다 자세한 이해를 할 수 있었습니다. 이를 통해 시스템, 프로세스 및 환자 수준에서 이러한 장애를 분석하고 조사 중인 환경, 즉 수술실에서의 커뮤니케이션을 자세히 이해할 수 있었습니다.
The methods section aligned with the methodological gap identified at the outset of the paper and used a theory-based framework for analysis of the fieldnotes taken of the communication that was observed. This enabled the researchers to approach and identify the characteristics of communication failures and arrive at a more detailed understanding of the topic under exploration. It allowed them to analyse these failures in relation to the effects at system, process, and patient level and arrive at a detailed understanding of the landscape under investigation: communication in the operating room.

Example 2

첫 번째 범주의 또 다른 예는 Van Zanten의 연구이다[22]. 의사 인종과 관련된 환자 만족 주제에 대한 기존 지식의 개요로 시작합니다. 저자들은 다른 사람들이 발견한 것을 요약합니다. 과학적 풍경을 재개념화하기 위해서가 아니라 자신이 탐구하고자 하는 부분과 발견하기를 기대하는 부분을 설명하기 위해서입니다.

Another example of the first category is the study by Van Zanten [22]. It starts with an overview of existing knowledge on the topic of patient satisfaction in relation to physician ethnicity. The authors summarize what other people have discovered, not to reconceptualise the scientific landscape but to explain what part of it they want to explore and what they expect to find:

특정 관점
A specific perspective

이 범주에는 의도적으로 선택된, 고정된 유리한 지점에서 [이론 구축theory building을 추가하기 위한 연구]가 포함되었습니다. 연구자들은 심리, 사회, 인류학 또는 철학적 영역에서 도출된 특정 연구 관점을 의료 교육 분야의 이슈에 적용할 수 있는 장점을 주장했다. 
This category included research that intended to add to theory buiding from a deliberately chosen, fixed vantage point. Researchers argued for the advantages of applying a particular research perspective derived from psychological, sociological, anthropological, or philosophical domains to an issue in the field of healthcare education. 

Example 1

Example 2

Kerosuo와 Engestrom[23]에 의해 해결된 현실적 문제는 다중 전문 그룹multi-professional groups에 의한 돌봄care 제공이었다. 그들은 조직 내 사람들이 [어떻게 집단적으로 일하는 법을 배웠는지] 검토하기 시작했다. 그들은

• [인간의 활동을 체계적이고 사회적으로 자리잡은 현상으로 이해]하고, 이에 따라 [개인 주체와 사회적 현실의 차이를 메워주고],
• 그들이 일하고 있는 [의료 환경을 이해하고 변화시키기 위한 이론]인,

...활동 이론(Activity Theory)에 의해 inform된, 변화 연구실 접근법Change Laboratory approach을 취했다. 
The practical problem addresssed by Kerosuo and Engeström [23] was provision of care by multi-professional groups. They set out to examine how people in organisations learned to work collectively. They took a Change Laboratory approach, informed by Activity Theory, a theory that seeks

• to understand human activities as systemic and socially situated phenomena and hence bridges the gap between the individual subject and the social reality,
• to understand and change the health care environments they were working in. 

거리두기 관점
A distanced perspective

이 세 번째 범주는 비교적 [추상적인 수준]에서 운영된다. 학자들은 연구 영역을 스캔하여 다른 연구자들이 이전에 매핑한 내용을 종합하고 모순과 추가 탐사가 필요한 영역을 식별합니다. 특정 현상에 대한 면밀한 탐사를 하거나 특정 관점에서 문제를 살펴본 연구자들의 노력이 없었다면 이런 유형의 작업은 불가능했을 것이다. 그러나 때로는 한 발짝 물러서서 정보의 일부가 어떻게 서로 들어맞는지 살펴봐야 합니다. 일반적으로 이 세 번째 범주의 논문들은 새로운 경험적 데이터를 보고하지 않고, 그 대신 이전의 연구 결과가 그들의 데이터이다.
This third category operates at a relatively abstract level. Scholars scan an area of research, piecing together what others had previously mapped and identifying contradictions and areas that need further exploration. It would not be possible to do this type of work were it not for the efforts of researchers who have done close up explorations of specific phenomena or looked at the issue from a specific perspective. However, sometimes one needs to take a step back and look at how the pieces of information fit together, or not. Typically, papers in this third category do not report new empirical data; instead, previous research findings are their data.


Example 1

Steinert 등[24]의 교수진 개발에 대한 체계적인 검토는 수많은 교수진 개발 프로그램이 효과의 차이를 명확히 이해하지 못한 채 제공되었다는 관찰에서 시작되었습니다. 다른 학자들이 만들어낸 수많은 지식들을 스캔함으로써, 저자들은 이 조각들이 어떻게 서로 맞고 겹쳐지고 발견되지 않은 부분들을 정리할 수 있었다. 이것은 이전의 연구에 의해 생성된 지식을 종합하는 개념적 프레임conceptual framework으로 이어졌다.

A systematic review by Steinert et al. [24] on faculty development started from the observation that a myriad of faculty development programs had been delivered without any clear understanding of differences in their effectiveness. By scanning the numerous pieces of knowledge produced by other scholars, the authors were able to map out how these pieces fitted together, overlapped, and left areas undiscovered. This led to a conceptual framework that synthesized the knowledge generated by previous research.

이 프레임워크에서는 교수진의 다양한 역할을 인정하며, 교육teaching은 그 중 하나이다. 이 프레임워크는 특정 교수개발 활동을 넘어서는 많은 중재 요인이 교사의 효율성에 영향을 미칠 수 있으며, 그 결과는 여러 수준에서 관찰될 수 있다는 사실을 강조한다(p.500).
This framework acknowledges the different roles of faculty members, of which teaching is one. It also highlights the fact that many mediating factors beyond specific faculty development activities can influence teacher effectiveness, and that outcome can be observed at a number of levels. (p.500)

저자들은 교수 발달에 대한 증거를 이용하여 사람들의 행동에 대한 사고에 기여하는 틀을 만들었습니다.
The authors used evidence about faculty development to produce a framework that contributes to people’s thinking about their actions.

Example 2

이 예는 Schmidt, Norman & Boshuizen[25]에 의해 제공되며, 그는 임상 역량에 대한 문헌 검토에서 다음과 같이 결론지었다.
This example is provided by Schmidt, Norman & Boshuizen [25], who concluded from a review of literature on clinical competence:

…임상 역량의 성격에 대한 몇 가지 근본적인 가정에 의문을 제기하면서 여러 가지 반복적인 문제가 나타났습니다. (p.611) 
…a number of recurrent problems emerged, casting doubt on some of the fundamental assumptions about the nature of clinical competence. (p.611) 

고찰
Discussion

그러나 세 가지 접근방식은 우리의 주요 데이터(논문)와 구별되었지만, 하나의 범주로만 쉽게 분류할 수 없는 논문도 있었다. 이는 대부분 이 논문들이 이론적 출발점을 명확히 밝히지 않았기 때문이다.
However, although the three approaches were discerned from our primary data (the papers), there were papers that could not easily be categorized into only one of the categories. This was mostly due to the fact that these papers had not made their theoretical point of departure explicit. 

범주화뿐만 아니라, 우리의 분석은 은유를 만들어냈고, 우리는 이것이 이론이 어떻게 사용되는지를 설명하는 데 도움이 되기를 바란다. 이 비유는 해안 풍경을 탐험하고 싶은 사람이 배, 등대, 비행기로부터 탐험할 수 있다는 것이다. 해안의 풍경은 사람들의 행동과 함께 탐구 영역을 구성하는 사회적 과정을 나타낸다. 보트, 등대, 비행기는 세 가지 관점, 세부 수준, 조도 유형을 제공합니다. 이 '이야기'는 아래와 같다.
As well as a categorisation, our analysis has produced a metaphor, which we hope will help explain how theory is used. The metaphor is of a person wanting to explore a coastal landscape and being able to do so from a boat, a lighthouse, or a plane. The coastal landscape represents the people, their behaviour, and the social processes that together constitute a field of inquiry. The boat, lighthouse, and plane provide three different perspectives, levels of detail, and types of illumination of the landscape. This ’story’ is outlined below. 

이 논문에서 사용되는 은유 체계를 설명하는 서술
A narrative explaining the system of metaphors used in this paper

멀리 떨어져 있는 섬을 도표로 만들어야 한다고 상상해 보세요. 그곳에는 먼 옛날에 살았던 사람들이 만든 조잡하고 부정확한 지도들이 있다. 섬의 좋은 지점vantage point에 등대의 외딴 잔해가 서 있다. 그 섬에는 [귀중한 광물 퇴적물]이 있을 수 있기 때문에 조사되고 있다. 세 가지 방법으로 자유롭게 조사할 수 있습니다. 배를 타고 바위 해안으로 접근하거나, 등대 꼭대기에서 측량하거나, 상공 비행을 할 수 있습니다.
Imagine you have to chart a far-off island. There are some crude, inaccurate maps of it made by people who lived there in the distant past. At a vantage point on the island stand the solitary remains of a lighthouse. The island is being surveyed because there may be valuable mineral deposits there. You have, at your disposal, three ways of surveying it. You can approach its rocky coast by boat, you can survey it from the top of the lighthouse or you can overfly it.

이 비유에 따르면,

• [섬]은 연구 주제입니다.
• [귀중한 광물 퇴적물]은 그것을 조사하기 위한 목적이다.
• [지도]는 주제에 대한 지식 상태를 나타냅니다.
• 보트, 등대, 비행기는 지도를 정교화하는 [세 가지 다른 방법]이다. 즉, 근접 탐사(보트), 특정 관점(등대), 개요(비행).

According to this metaphor,

• the island is a research topic.
• The valuable mineral deposits are a purpose for surveying it.
• The map represents the state of knowledge of the topic.
• The boat, lighthouse, and plane represent the three different ways theory can help refine the map discussed in the finding section:
  • theory as close-up exploration (boat);
  • theory as a specific perspective (lighthouse); and
  • theory as overview (plane).

당신은 그것들로부터 매우 다양한 종류와 세부사항, 그리고 바위 경관에 대한 관점을 얻을 수 있을 것입니다. 마찬가지로, 여러분이 물려받은 [조잡한 지도]도 땅을 조사한 관점의 영향을 받았을 것이며, 여러분이 앞으로 생산할 [정교한 지도]도 마찬가지로 여러분이 선택한 관점의 영향과 섬의 위상학적 특성에 영향을 받을 것입니다. 
You would get very different types and levels of detail, and perspectives on the rocky landscape from them. In the same way, the crude map you inherited was influenced by the perspective from which the land was surveyed and the sophisticated map you produce will, likewise, be influenced by the perspective you have chosen as well as the topographical features of the island.

이 은유법은 연구에 대한 기본적인 원리를 보여준다. 하나의 주제를 아는 단 하나의 논쟁의 여지가 없는 방법은 없다. 마치 한 풍경을 아는 데 논쟁의 여지가 없는 방법은 없는 것과 같다. 우리가 그것을 인정하든 말든, "진리"는, 지도와 마찬가지로, 그것이 얻어진 이론적인 관점에 의해 영향을 받습니다. 궁극적으로, 원근법과 거리가 지도에 지워지지 않는 흔적을 남기는 것과 마찬가지로, 이론은 여러 가지 방법으로 우리의 연구에 스며든다. 광물 퇴적물처럼 탐구할 가치가 있는 주제라는 결정도 이론의 영향을 받는다. 하지만 그 세 가지 관점과 목표를 달성하는 데 어떻게 도움이 될 수 있는지는 지켜보자. 
This metaphor illustrates a fundamental principle about research. There is no single, incontrovertible way of knowing a topic, just as there is no incontrovertible way of knowing a landscape. Whether we acknowledge it or not, “truths”, like maps, are influenced by the theoretical perspective from which they were gleaned. Ultimately, theory permeates our research in many ways, just as perspective and distance leaves their indelible marks on a map. Even the decision that a topic is, like mineral deposits, worth exploring is influenced by theory. But let’s stick with those three different perspectives and how they can help you achieve your goal. 

보트는 풍경 가까이 다가갈 수 있게 해줍니다. 심지어 만질 수도 있습니다. 아주 미세한 디테일을 얻을 수 있습니다. 예를 들어, 귀중한 광물을 수출하는 선박을 위한 선착장을 어디에 지을지 계획한다면 매우 값진 일일 것입니다. 하지만 섬 전체를 일관된 시각으로 바라보는 데는 그리 좋지 않을 것이다. 연구용어로, 이러한 이론의 사용은 특정한 관심 영역을 식별하고, 그곳에서부터 지도의 특정 부분을 조사하는 것을 의미합니다. 주제 전체의 일관성 있는 지도를 작성하는 것보다는, 주제 일부를 세부적으로 설명하는 목적에 더 좋습니다. 보트만으로 측량하면 관심 분야에 대해서 [해결되지 않은 상반된 결과]가 동반된 짜깁기 지도가 나올 수 있습니다.
The boat allows you to come close to the landscape; even touch it. You can get very fine detail. It would be invaluable if, for example, you wanted to plan where to build a dock for ships exporting the valuable mineral. But it would not be so good for putting the entire island into a coherent perspective. In research terms, this use of theory means identifying a specific area of interest, getting out there and investigating a specific piece of the map. It is better at giving fine detail of part of a topic than producing a coherent map of the topic as a whole. Surveying solely by boat could produce a patchy map of the field of interest with unresolved, conflicting results.

만약 [등대]가 위치한 [고정된 유리한 지점]으로 인해, 광산에서 물결치는 경관을 가로질러 선착장으로 가는 경로를 선택할 수 있다면 등대를 선택할 수 있습니다. 마찬가지로, 이론은 여러분이 [의도적으로 선택한, 고정된 유리한 위치]에서 진화하는 과학 지식의 지도에 정보를 추가하는 데 도움을 줄 수 있습니다. 여러분은 특정한 심리학적, 사회학적, 인류학적 또는 철학적 입장을 선택할 수 있습니다. 왜냐하면 [그 입장]이 [이 주제]에 대해 어떤 것을 말해 줄지 알고 싶기 때문입니다. 등대에서 그렇게 하다 보면 배에서 관찰한 것과 같은 세부 수준은 아니지만 주제에 대한 가치 있는 새로운 시각을 갖게 될 것입니다. 
You would choose the lighthouse if its fixed vantage point helped you, for example, choose the route from the mineral mine to the dock across an undulating landscape. Likewise, theory can help you add a piece of information to the evolving map of scientific knowledge from the deliberately chosen, fixed vantage point. You might choose some specific psychological, sociological, anthropological or philosophical stance because you want to know what that stance will tell you about the topic. Having done so from the lighthouse, you would shed a valuable new perspective on a topic, though perhaps not at the same level of detail as if you had surveyed it from a boat. 

혹은 비행기를 타고 전체 풍경을 둘러볼 수 있다. 이로서, 탐구자들이 이전에 보트 및 등대를 사용하여 기울였던 노력을 어느 정도 적합한 전체로 통합할 수 있습니다. 연구자로서 비행기의 관점은 잘못된 표현이나 추가 탐사가 필요한 지역을 식별하는 데 도움이 될 수 있지만, 등대나 보트처럼 세부적으로 주제를 조사할 수는 없습니다. 지금까지의 지도 상태에 대한 귀중한 통찰력을 제공하고 향후 연구 의제를 추진하는 데 도움이 되는 새로운 통찰력을 제공할 수 있습니다. 
A plane allows you to overview the entire landscape and, for example, pull together the previous efforts of surveyors in boats and lighthouses into a more or less fitting whole. As a researcher, the plane perspective could help you identify misrepresentations or areas that need further exploration, though it would not allow you to examine topics in the same detail as either a lighthouse or a boat. It could give you valuable insights into the state of the maps so far and provide new insights that help drive future research agendas. 

의학 교육 연구에서 이론의 다양한 이용 방법에 첨부된 은유와 약점을 밝혀낼 수 있습니다. 예를 들어, 보트는, 탐색 범위를 제한하는 한계가 있다. 보트는 잘 정의된 영역에서 한 번에 하나의 질문에 집중할 때 가장 효과적입니다. 여러 연구자들이 서로 다르지만 관련 질문에 답하려고 노력한 결과는, [잘 정의된 영역과 사각지대와 상반된 조사 결과]가 뒤섞여서, 해당 분야에 대한 [짜깁기 지도patchy map]로 이어질 수 있다. 등대의 관점은 다양한 지역을 관찰하고 그 특이점을 연구하는데 활용될 수 있다.
By applying the metaphors, strengths and weaknesses attached to different ways of using theory in medical education research can be uncovered. Being in a boat limits, for example, the scope of the quest; it works best when focusing on one question at a time in a well-defined area. The result of many researchers trying to answer different but related questions is a patchy map of the field of interest, with areas that are well defined, blind spots, and conflicting findings. The lighthouse perspective can be used to look at different areas and study their peculiarities. 

이전에 보트로 연구했던 지역들을 재조명할 수 있고, 이는 가치 있는 깨달음으로 이어질 수 있다. 하지만 등대에서 세계를 연구하려면 유연성의 희생이 따른다. [등대]는 보트처럼 연구주제를 중심으로 움직일 수 없기 때문에, [선택한 시각]이라는 빛이 도달하지 않는 지역은 탐사가 불가능하다. 따라서 등대 연구진이 관점을 철저히 설명하고, 다른 관점(또는 빛)을 사용했다면, 다른 연구 결과를 이끌어 냈을 수도 있음을 인정하는 것이 필수적이다. 

Areas that were previously researched by boat can be re-examined and this can lead to valuable enlightenment. However, researching the world from a lighthouse comes at the expense of flexibility. Areas on which the chosen perspective does not shed light cannot be explored because the lighthouse cannot move around a research topic like a boat can. It is thus essential that lighthouse researchers describe the perspective thoroughly and acknowledge that using a different perspective (or light) might have been brought forward different findings.

[비행기 접근법]은 다른 사람의 작업을 일반화 및 구축하거나 비평함으로써 연구 커뮤니티에 중요한 자원을 제공합니다. 그러나 관심 영역으로부터의 거리를 두었기 때문에 세부 정보를 잃게 됩니다. 반면에 비행기를 타면서 얻게 되는 감시는 지금까지의 지도 상태에 대한 [중요한 윤곽]을 이끌어낼 수 있고, 심지어 미래의 연구 의제를 주도하는 새로운 통찰을 낳을 수도 있다. 

The plane approach provides an important resource to the research community by generalising and building on or critiquing different people’s work. However, the distance from the area of interest results in loss of detail. On the other hand, the oversight one gets from being in a plane can lead to valuable outlines of the state of the map so far and even result in new insights that drive future research agendas. 



이 연구가 추가하는 내용
What this study adds

그렇다면, 어떻게 이론이 만들어지는지에 대한 세 가지 관점이 이론에 대한 우리의 이해를 어떻게 알려줄까요? 이론은 경험적 연구의 자동화된 결과가 아니며, 연구자 쪽에서 선택하는 것이다 [26]. 이론을 (연구 아이디어를 창출하고 경험적 연구의 결과를 예측하는 도구로 기능하는) 생물 의학 연구에 적용되는 실증주의 패러다임에서 이론의 사용과 달리, 본 연구에서 우리가 가지고 있는 실증적 연구에서는 세 가지 접근법에 의해 이론의 사용을 예로 들었다. 
So, how do the three perspectives of how theory is made explicit inform our understanding of theory? Theory is not an automated result of empirical research but emerges from a choice on the part of the researcher [26]. In contrast to theory use in the positivist paradigm applied in biomedical research, where the function of theory is as a tool in generating research ideas and predict outcomes in empirical studies we have in this study exemplified the use of theory in medical education by the three approaches. 


이론에 어떻게 접근했는지를 분석함으로써 우리는 접근법의 변화를 볼 수 있었다.

• 첫째, 포함된 연구들은 미시 수준micro-level 이론에서 중간 범위 이론에 접근했다는 것을 알 수 있었습니다 [10].
• 두 번째로 우리는 각 논문에서 어떤 현상을 더 잘 이해하기 위해 이론을 어느 정도로 쓰는지에 차이가 있음을 보았다. 한 쪽 끝에는 [(이론으로부터) 연구 질문, 방법론 및 해석을 생성]하는 것이 있다면, 다른 쪽 끝에는 [(자료 분석의 귀납적 과정의 결과로) 이론에 기여]하는 연구가 있었다.

By analysing how theory was approached in the articles we could see a variation in approaches.

• Firstly, we could see that the included articles approached theory ranging from micro-level theory to mid-range theory [10].
• Secondly we saw a difference in the degree to which the articles worked with theory to better understand a phenomenon, i.e. generated research questions, methodology and interpretation at one end, or contributed to theory as a result of an inductive process of data analysis, at the other.

여러 논문이 실제적인 문제에 근거하고 있었기 때문에, 이 특정한 질문에 대한 해답을 특별히 목표로 했으며, 의도적으로 중거리 이론에도 기여하지 않았다. 여기서, 종종, 이론은 이전의 연구에서 나온 발견으로만 여겨졌습니다. 그러나 이론과 관련하여 연구문제를 틀에 넣은 사례도 있는데, 연구문제가 특정 이론에 근거한 것이며, 논문은 그 이론과 관련된 논쟁의 예이며, 따라서 이론토론에 대한 기여도 있다. 

As several of the papers were based on a practical problem, the paper specifically aimed to answer this specific question, and did not intentionally also contribute to mid-range theory. Here, often, theory was only viewed as findings from previous research. However, there were also examples where the research question was framed in relation to theory, where the research question was based on particular theories, and the paper is an example of an argumentation in relation to that theory, and as such is a contribution to a theoretical discussion.

마지막으로 논문에서 이론이 도입된 방식에는 차이가 있었다. 이것은 [매우 미묘하거나 암묵적인 이론적 입장]을 도입한 것부터, [이론적 관점에 대한 매우 명확하고 개념적인 설명]에 이르기까지 다양했습니다. 배경[8]에 언급된 이론의 정의로 돌아가자면, 이론을 명시적으로 드러내지 않으면 덜 도움이 됩니다. 일부 저자들이 취한 이론적인 입장의 관점에서 행간을 읽는 것은 가능했지만, 이론을 명백하게 밝힌 논문들은 (어떤 것의 증거를 발견했다고 주장하기 보다는) 특정한 렌즈로 과학적인 대화에 참여하고 있다는 것이 분명해졌다. 

Finally there was a difference in the way in which theory was introduced in a paper. This ranged from very subtle or implicit introduction of theoretical stance, to very clear and conceptual explanations of the theoretical perspective. If we go back to the definition of theory referred to in the background [8] it is less helpful when theory is not made explicit. Although it was possible to read between the lines in terms of the theoretical stance taken by some authors of the publications, it became clear that papers where theory was made explicit were participating in a scientific dialogue with a specific lens, rather than claiming to having found proof of something, in a technical sense. 

서로 다른 분야나 과학 전통에 있어서 서로 다른 접근법이 필요하고 다른 수준으로 작용하고 있습니다. 의학 교육에 적용해보자면, 비록 사회 과학이기는 하지만, [객관적인 진리를 정립하려는 목표]가 오랫동안 연구를 지배해 온 것으로 보이는데, 이는 여기서 예로 든 (후기) 실증주의 전통의 관점에서 이뤄진 연구로부터 확인할 수 있다. 그러나, 이 연구에 포함된 여러 논문들은 이러한 견해에 이의를 제기하였고, 해석적hermeneutic 지식과 해방적 지식 모두를 포함한 논문들도 포함되었다. 
Different approaches are necessary and in play to different degree in different disciplines or scientific tradtions. Adapted to medical education, it seems that although to a large degree being a social science, the aim for establishing objective truths has for a long time dominated the research, something that is also part of our findings as exemplified by studies written in a (post) positivist tradition. However, several of the papers included in this study challenged this view and papers including both hermeneutic and emancipatory knowledge interests were also included. 

의학교육연구 분야에 초보자 연구자를 대상으로 한 안내 논문은 이미 다수 존재한다. 그러한 논문 중 하나가 '연구 나침반'[30]인데, 여기서 독자들은 탐구, 실험, 관찰 및 번역 연구의 네 가지 범주를 통해 안내된다. 핵심은, 연구는 [일반화된 지식]으로 이어지고, [실질적으로 관련이 있는 연구 가능한 문제]에 관한 것이어야 한다는 것이다.

간단한 질문을 하고 간단한 방법을 사용함으로써, [면밀한 탐구로서의 이론] 및 [구체적인 관점으로서의 이론] 접근은 교수와 학습의 발전에 대한 학문적 접근(scholarship of teaching and learning)을 제공한다는 점에서 모두 중요한 역할을 한다. 한편 [개괄overview로서의 이론]을 사용될 때에는 더 높은 수준에서 이론의 발전을 위한 기초를 제공합니다.

A number of guiding articles to researchers who are new to the field of medical education research already exist. One such article is ’The research compass’ [30], in which readers are guided through four categories of research approach; explorative, experimental, observational and translational studies. A main point made in that paper is that research should be about researchable problems that lead to generalisable knowledge and are practically relevant. By asking simple questions and use simple methods, the approaches theory as close-up exploration and theory as specific perspective play a crucial role both in terms of providing a scholarly approach to the development of teaching and learning (scholarship of teaching and learning), and in providing the basis for the development of theory at higher level as when theory is used as overview. 

마지막으로, Thomas [26]는 교육적 탐구에서 더 많은 'bricolage'가 필요하다고 주장하며, 연구 분야를 탐구하는 데 있어 다양한 이론적 접근 방식을 사용할 수 있는 여지를 제공합니다. 이러한 다양한 관점의 필요성은 최근 의학교육의 증가 [27]로 언급되었으며, 의학교육에서 이론을 특정 관점으로 하는 연구가 증가하고 있다는 우리의 견해와 일치한다. 

Finally, Thomas [26] argues for the need for more ’bricolage’ in educational enquiry, giving room for multiple theoretical approaches in exploring the field of research. This need for multiple perspectives was recently commented as increasing in medical education [27] and it is in line with our view that research with theory as a specific perspective is increasing in medical education. 

방법론적 고려
Methodological considerations

결론
Conclusion

의료교육 연구를 이론적 근거가 부족한 분야로 지속적으로 비판하는 것은 명분이 낮아질 수밖에 없다. 복수의 학문적, 패러다임적 배경을 가진 연구자들이 진행하는 연구가 특징인 만큼 의학 교육 연구의 이론 문제를 어떻게 다룰지에 대한 가정은 연구에 가져오는 관점에 따라 논쟁이 될 것으로 보인다. 최소한 이론의 사용은 분명히 해야 한다고 우리는 주장한다. 
The continuous criticism of medical education research as a field that lacks theoretical basis is subject to decreased justification. As it is an area characterized by research carried out by researchers from multiple disciplinary and paradigmatic backgrounds the assumptions of how to treat the issue of theory in medical education research will probably be contentious depending on the perspective one brings to research. At a minumum, we argue, theory use needs to be made explicit. 

BMC Med Educ. 2017 Jan 19;17(1):18.

 doi: 10.1186/s12909-016-0848-1.

Making theory explicit - An analysis of how medical education research(ers) describe how they connect to theory

Klara Bolander Laksov 1 2, Tim Dornan 3 4, Pim W Teunissen 4 5

Affiliations collapse

Affiliations

• 1Department of Learning, Informatics, Management and Ethics (LIME), Karolinska Institutet, Stockholm, Sweden. Klara.bolander.laksov@edu.su.se.
• 2Department of Education, Centre for the Advancement of University Teaching, Stockholm University, Stockholm, Sweden. Klara.bolander.laksov@edu.su.se.
• 3Dentistry and Biomedical Sciences, School of Medicine, Queen's University Belfast, Belfast, UK.
• 4School of Health Professions Education (SHE), Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, NL, Netherlands.
• 5Department of Obstetrics & Gynecology, Gynaecologist at VU University Medical Center, Amsterdam, The Netherlands.

• PMID: 28103854
• PMCID: PMC5248446
• DOI: 10.1186/s12909-016-0848-1

Free PMC article

Abstract

Background: As medical education develops into a varied and well-developed field of research, the issue of quality research anchored in or generating theory has gained increasing importance. Medical education researchers have been criticized of not connecting their work to relevant theory. This paper set out to analyse how researchers can connect to theory in medical education. The goal of this paper is to provide an accessible framework for those entering medical education research, regarding how theory may become an integral part of one's work.

Methods: Fifteen purposefully selected researchers in medical education were asked to nominate papers they considered influential in medical education. Through this process 41 papers were identified and included in the study.

Results: The papers were analysed with thematic content analysis, which resulted in three approaches to the use of theory: as close-up exploration; as a specific perspective; and as an overview. The approaches are exemplified by quotes from the papers included in our dataset and further illuminated by a metaphoric story.

Conclusions: We conclude by pointing at the importance of making explicit how theory is used in medical education as a way to collaboratively take responsibility for the quality of medical education research.

"일단 척도가 과녁이 되면, 좋은 척도로서는 끝이다" (J Grad Med Educ, 2021)
‘‘When a Measure Becomes a Target, It Ceases to be a Good Measure’’
Christopher Mattson, MD Reamer L. Bushardt, PharmD, PA-C, DFAAPA Anthony R. Artino Jr, PhD

여러분이 대형 학술 의료 센터에서 레지던트 프로그램을 이끌고 있으며, 이 프로그램은 매년 열리는 ACGME(Arcreditation Council for Graduate Medical Education) 레지던트/동료 설문 조사를 준비하고 있다고 상상해 보십시오. 최근 주 80시간 근무 위반이 발생하여 ACGME에 보고될 것을 우려하여, 설문조사 1개월 전에 전공의들에게 이메일을 보내 현재 작업량을 줄이기 위한 일정 변경 사항을 공지합니다. 또한 근무 시간 위반에 대한 ACME 인용은 프로그램과 채용 노력에 중대한 부정적인 결과를 초래할 수 있다고 언급했습니다. 조사 당일, 대부분의 전공의들은 근무시간 위반 빈도를 묻는 질문에 "절대" 또는 "거의 절대"라고 대답한다. 
Imagine you are leading a residency program at a large academic medical center, and the program is preparing for the annual Accreditation Council for Graduate Medical Education (ACGME) Resident/Fellow Survey. You are concerned that 80-hour workweek violations have recently occurred and will be reported to the ACGME. You email the residents one month before the survey to announce forthcoming schedule changes to decrease residents’ current workload. You also mention that an ACGME citation for work hour violations could have major negative consequences for the program and recruitment efforts. On the day of the survey, most residents respond by answering ‘‘never’’ or ‘‘almost never’’ when asked about the frequency of work hour violations.

1970년대 영국 경제학자 찰스 굿하트는 통화 성장 목표를 토대로 재정 정책의 효과를 측정하는 함정을 설명했다. 현재 [굿하트의 법칙]으로 알려진 것은 인류학자 마릴린 스트라던의 인용문에서 가장 자주 일반화된다. "어떤 조치가 목표가 되면, 그것은 좋은 척도가 되는 것을 중단한다."1 Goodhart의 법칙은 최초 형태에서 "[관찰된 통계 규칙성]은 통제 목적으로 압력이 가해지면 붕괴되는 경향이 있습니다."라고 언급했습니다. 처음에는 우스꽝스럽던 것이 널리 퍼지고 보편적으로 적용할 수 있는 아이디어가 되었다. 
In the 1970s, British economist Charles Goodhart described the pitfalls of measuring the effectiveness of fiscal policy based on monetary growth targets. What is now known as Goodhart’s law is most often generalized in a quote from anthropologist Marilyn Strathern, ‘‘When a measure becomes a target, it ceases to be a good measure.’’1 In its original form, Goodhart’s law stated, ‘‘Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes.’’2,3 What was initially a jocular aside has become a widely disseminated and universally applicable idea.4 

학습자, 교사, 임상의 및 학자들에게 Goodhart의 법칙은 보건 직업 교육의 근본적인 진리를 말해줍니다. 특히, 조치를 대상으로 한 후 학습자를 평가하고 프로그램을 평가하는 데 사용하는 관행이 대학원 의학 교육(GME)에 상당히 만연해 있다. 

For learners, teachers, clinicians, and scholars, Goodhart’s law speaks to a fundamental truth in health professions education. In particular, the practice of targeting measures and then using them to assess learners and evaluate programs, even when the measures are no longer credible, is quite pervasive in graduate medical education (GME). 

관련 아이디어 및 GME 예제
Related Ideas and GME Examples

Goodhart의 법칙의 근간이 되는 원칙은 경제학에만 국한되지 않는다.
The principle underlying Goodhart’s law is not limited to economics.

실험적이고 준실험적인 연구 설계 방법의 선구자인 캠벨은 "어떤 양적인 사회적 지표가 사회적 의사결정에 더 많이 사용될수록, 부패 압력corruption pressures에 더 취약해질more subject 것이며, 감시하고자 하는 사회적 과정을 왜곡하고 부패시키는 방향으로 적응할more apt 것"이라고 말했다.
A pioneer of experimental and quasi-experimental study design methods, Campbell noted, ‘‘The more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor.’’5

첫 번째 예에서 프로그램 책임자는 전공의의 대응 방식이 어떻게 사용되는지 알고 있으며, 이에 따라 최선의 대응 방법에 대해 전공의를 지도해야 한다는 압박감이 생깁니다. 결과적으로 [근무시간 규정을 준수하지 않은 사례]가 탐지되지 않을 수 있습니다. ACME는 이 조치measure를 목표targeting로 함으로써, 프로그램 책임자와 전공의의 행동에 조치 자체를 왜곡할 수 있는 방식으로 영향을 미치고 있으며, 이로 인해 조치measure가 의도된 목적intended purpose에 덜 유용하게 됩니다. 
In the opening example, Program directors are aware of how their residents’ responses are used, which creates pressure to coach residents on how best to respond. As a result, noncompliance with work hour regulations may go undetected. By targeting this measure, the ACGME is influencing program director and resident behavior in a way that may distort the measure itself, which renders the measure less useful for its intended purpose. 

USMLE(United States Medical Licensing Examination) Step 1 점수는 레지던트 프로그램 책임자들이 전공의 신청서를 심사하고 전공의 순위를 매길 때 사용하는 경우가 많습니다. 1단계 점수는 의학적 지식을 평가하고 전체 지원자 품질의 대체물로 사용됩니다. 이 실습은 USMLE 1단계 준비에 상당한 시간과 노력을 쏟는 의대생들에게 잘 알려져 있습니다. 그러면 점수는 [학습된 의학적 지식과 미래의 잠재력]이 아닌, [시험 준비에 쏟는 시간과 시험 준비 자원에 대한 액세스]를 대변하는 쪽으로 나타나기 시작한다. 이러한 초점은 또한 현지 과정 검사를 위한 공부, 소규모 그룹 및 동료 학습 활동에 적극적으로 참여하거나 임상 기술을 개발하는 등 다른 학습 활동을 희생하면서 이뤄진다.  궁극적으로 GME 교수진이 [USMLE 1단계 점수를 목표로targeting 하는 것]은 [레지던트 준비와 실습에 부정적인 영향을 미칠 수 있는 의대생 행동]에 영향을 미칩니다.

United States Medical Licensing Examination (USMLE) Step 1 scores are often used by residency program directors when screening resident applications and ranking residents. Step 1 scores assess medical knowledge and are used as a surrogate for overall applicant quality. This practice is well known to medical students, who focus a significant amount of time and effort on preparing for the USMLE Step 1. The scores then begin to represent this increased focus, including the amount of dedicated study time and access to test preparation resources, rather than learned medical knowledge and future potential. This focus also comes at the expense of other learning activities, such as studying for local course examinations, actively participating in small group and peer-learning activities, or developing clinical skills.6,7 Ultimately, the targeting of USMLE Step 1 scores by GME faculty influences medical student behaviors inways that may negatively affect their preparation for residency and practice.  


마지막으로, 학계의 '간행물 수'와 저널 임팩트 팩터에 대한 집착은 GME 연구 환경에서도 느낄 수 있다.8 부서 의장과 승진 위원회는 임명 및 승진 결정을 돕기 위해 이 숫자를 사용합니다. 이와 같이 교수진들은 논문 발표량, 저널 임팩트 요소 결함으로 잘못 측정되는 저널의 보고 품질에 초점을 맞추도록 유도된다. 이러한 대상에 집중하는 것은 차선의 연구 방법을 장려하는 것으로 널리 알려져 있습니다.9 그것은 또한 보건직 교육연구에서 흔히 볼 수 있는 "살라미 슬라이싱"10과 명예 저자honorary authorship과 같은 문제적 연구행위questionable research practice에 동참할 압력을 가하고 있다.11 

Finally, the fixation in academia on ‘‘number of publications’’ and journal impact factor is also felt in GME research environments.8 Department chairs and promotion committees use these numbers to help make appointment and promotion decisions. As such, faculty are incentivized to focus on the quantity of papers published, and the reported quality of journals, erroneously measured by the flawed journal impact factor, over the quality of the research itself. Focusing on these targets is widely known to encourage suboptimal research methods.9 It also addspressure to engage in other questionable research practices such as ‘‘salami slicing’’10 and honorary authorship, both of which are common in health professions education research.11 

의도하지 않은 결과 완화
Mitigating Unintended Consequences

GME 교수진은 구체적인 조치measure가 목표target가 될 때 부정적인 결과를 예상해야 한다. 의도하지 않은 결과를 인식하는 것이 가장 중요한 단계이며, 이는 평가 및 프로그램 평가 계획을 개발할 때 중요한 논의를 자극할 수 있습니다. 마찬가지로, 이러한 부정적 영향이 어떻게 완화될 수 있는지를 고려하는 것이 중요하다. 다른 방법으로, 우리는 현재 존재하는 시스템을 고려할 때, [어떤 행동이 보상받을 것]인지 고려해야 합니다.12 
GME faculty should anticipate negative consequences when specific measures become targets. Recognizing the unintended consequences is the most important step; this can stimulate important discussions when developing assessment and program evaluation plans. Likewise, it is vital to consider how these negative effects might be mitigated. Said another way, we should consider what behaviors will be rewarded given the system that currently exists.12 

표준 참조norm-referenced 평가 대신, 준거 참조criterion-referenced 를 선택하는 것은 Goodhart와 Campbell의 행동 법칙을 완화하기 위한 또 다른 전략이다. 예를 들어, 숙달 학습mastery learning 기법은 "교육 진행도가 [커리큘럼 시간]이 아닌 [입증된 성과]에 기초하는 교육 접근법"으로 설명되어 왔다. 따라서 "학습자는 지정된 숙달 수준에 도달할 때까지 반복적으로 연습 및 재시험을 수행한다" 14 강사 및 커리큘럼 설계자는 개인의 성공을 위해 필요한 지식, 기술 및 태도를 결정하는 데 초점을 맞추며, 서로 상대적인 순위를 매기는 데 초점을 맞추지 않습니다. 역량 기반 프레임워크는 숙달 학습을 적용한 한 가지 예이며, 역량 기반 평가 시스템은 어려움을 겪고 있는 개인을 식별하는 데 있어 가능성을 보여주었다.15 [최고 성과자를 식별하는 것]보다 학습에 초점을 두고, [고군분투하는 학습자를 찾는 것]에 초점을 맞추는 것이 GME의 주요 목표가 되어야 한다. 준거-참조 평가도 (전통적인 평가 시스템 내에서 작동하는 데 익숙한 학습자들 사이에 존재할 수 있는) 경쟁 인센티브competition incentive의 일부를 제거할 수 있도록 지원합니다.  
Selecting criterion-referenced over norm-referenced assessments is another strategy to mitigate Goodhart’sand Campbell’s laws in action. For example, mastery learning techniques have been described as ‘‘an instructional approach in which educational progress is based on demonstrated performance, not curricular time. Learners practice and retest repeatedly until they reach a designated mastery level.’’14 Instructors and curriculum designers focus on determining the knowledge, skills, and attitudes that are needed for individual success, rather than focusing on ranking individuals relative to one another. Competency-based frameworks are an example of applied mastery learning, and competency-based assessment systems have shown promise in identifying individuals who are struggling.15 The focus on learning and finding struggling learners rather than identifying the highest performers should be a primary goal in GME. Criterion-referenced assessments also help to eliminate some of the competition incentives that may exist among peers who are accustomed to functioning within more traditional assessment systems.  

추가적으로, 논란의 여지가 있지만, 규범-참조norm-referenced 성과가 아닌 준거criteria에 초점을 맞춘 전략은 의대 입학에 대해서 추첨lottery을 사용하는 것이다.16 의과대학 [입학에 필요한 구체적인 기준을 정의]하고, 이를 추첨 대상자의 입학 기준으로 활용함으로써, 신청자가 이 기준 이상으로 지표를 부풀리려 하는 압박이 줄어들 수 있다. 
An additional, albeit controversial, strategy that focuses on criteria over norm-referenced outcomes is the use of a lottery for medical school admissions.16 By defining specific criteria necessary for success in medical school and using them as entrance criteria to the lottery, there may be less pressure on applicants to attempt to inflate their metrics beyond these thresholds. 

GME 교수진은 또한 [특정 시점 성과]보다는 [학습자 및 프로그램 성장 프로세스에 초점]을 맞춰 평가 및 평가 시스템을 강화할 수 있습니다. 이러한 접근 방식은 의학 교육에서 "종방향 및 발전적 사고"라는 맥락에서 설명되었습니다. 이는 교수진으로 하여금

• 개인 또는 프로그램이 어떻게 수행하는지(예: '''1년차 전공의가 4년차 전공의 수준으로 수행'') 를 넘어
• 왜 개인 또는 프로그램이 그러한 방식으로 행동하는지 (예: ''초기 전공의는 개인 진료 데이터를 독립적으로 검토하고 진료실습을 개선할 수 있는 능력을 보여주며, 복잡한 환자의 의료팀 논의를 주도한다'') 로 나아가게 한다.

GME faculty can also fortify their assessment and evaluation systems with a focus on the processes of learner and program growth versus specific time-point outcomes. This approach has been described in medical education in the context of ‘‘thinking longitudinally and developmentally.’’17 It challenges faculty to move

• beyond how an individual or program performs (eg, ‘‘the first-year resident performs at the level of a senior resident’’) and
• towards why an individual or program performs the way they do (eg, ‘‘the first-year resident shows an ability to independently review personal practice data and improve practice, and also leads health care team discussions of complex patients’’).  

마지막으로, assessment and evaluation 에서 "숫자"에 과도하게 의존하는 것을 피하면 Goodharts와 Campbell의 법칙의 일부 영향을 완화할 수 있다. 이 아이디어는 앞서 GME의 양적 오류를 피하는 관점에서 논의된 바 있다.18 숫자는 완전히 포착할 수 있는 역량의 범위가 상당히 제한적이다. 또한 쿡 등이 지적한 바와 같이, "숫자 점수는 본질적으로 미래에 중요할 속성과 행동을 포착하는 데 제한된다." 19 반대로, [서술적 평가]는 교수들이 의도적으로 추구하거나 다른 방법으로 발견하지 않았을 수 있는 정보를 밝혀낼 수 있도록 한다. 서술적 접근법은 복잡한 행동이나 활동을 수치적 대리인으로 축소하지 않기 때문에 뉘앙스와 맥락을 식별하고 탐구할 수 있는 수단을 제공한다. 
Finally, avoiding overreliance on ‘‘the numbers’’ in assessment and evaluation can mitigate some of the effects of Goodhart’s and Campbell’s laws. This idea has been previously discussed through the lens of avoiding the quantitative fallacy in GME.18 Numbers are quite limited in the range of competencies that they can completely capture. Further, as noted by Cook, et al, ‘‘Numeric scores are inherently limited to capturing attributes and actions prospectively identified as important.’’19 In contrast, narrative assessments allow faculty to uncover information that might not have been intentionally sought or otherwise discovered. Because narrative approaches do not reduce complex behaviors or activities into a numerical surrogate, they provide a means to identify and explore nuance and context. 

숫자 평가 및 평가에서 벗어나 주관성을 인정하고 수용해야 할 필요성이 대두됩니다.20,21 이러한 접근 방식은 교수들로 하여금 서술형 평가의 복잡성과 난잡함을 환영하도록 장려합니다. 정성적 연구 접근법과 서술적 평가는 본질적으로 풍부하고 조작하기 어려우며 신뢰할 수 있는 의사결정을 내릴 수 있다.19,22 서술적 평가는 종종 완전한 구성 샘플링을 보장하기 위해 복수의 관찰을 요구한다. 정량적 측정에 여러 관측치를 사용하는 경우 측정 품질의 한 표식은 반복 측정치 간의 변동성이 없다는 것입니다. 개인이나 프로그램은 매번 같은 결과를 얻도록 행동을 바꿀 수 있습니다. 매번 달성해야 하는 "단일한 정답"의 존재는 Goodhart의 법칙과 Campbell의 법칙이 정량적 측정의 맥락에서 특히 관련이 있는 이유를 설명합니다. 그러나 서술 기반 측정에 복수의 관측치를 사용하는 경우, 측정의 품질은 서로 다른 관점을 통해 설명되는 차이에 의해 결정된다. 단 하나의 예상 결과가 없기 때문에 서술적 논평은 조작하기가 훨씬 더 어려워집니다.  
Along with the movement away from numeric assessments and evaluations comes the need to acknowledge and embrace subjectivity.20,21 This approach encourages faculty to welcome the complexity and messiness of narrative assessments. Qualitative research approaches and narrative assessments are inherently rich, are harder to manipulate, and can produce credible decisions.19,22 Narrative assessment often requires multiple observations toensure complete construct sampling. When multiple observations are used for a quantitative measure, one marker of the measure’s quality is the lack of variability between iterative measurements. Individuals or programs can change their behavior such that the same outcome is achieved every time. The existence of a single ‘‘right answer’’ to be achieved every time explains why Goodhart’s and Campbell’s laws are particularly relevant in the context of quantitative measures. However, when multiple observations are used for a narrative-based measure, the measure’s quality is determined by differences that are elucidated through different perspectives. The lack of a single expected outcome renders narrative comments much more difficult to manipulate.  

요약
Summary

Goodhart's와 Campbell의 법률은 이제 경제학과 사회과학 분야에서 그 본래의 맥락을 넘어서 인정받고 있습니다. 사회적 의사결정에 정보를 제공하기 위해 정량적 사회적 지표에 의존하는 평가 및 평가 시스템에 위험이 존재한다.5 위의 예에서 알 수 있듯이 이러한 개념은 GME와 관련이 있습니다. 
The implications of Goodhart’s and Campbell’s laws are now appreciated beyond their original contexts in economics and the social sciences. Risks exist in assessment and evaluation systems that rely on quantitative social indicators to inform social decision-making.5 These concepts are relevant to GME, as demonstrated by the above examples. 

[Goodhart 및 Campbell의 법칙]에 따른 피해를 방지하거나 최소화하기 위한 단계는 다음과 같습니다.
steps to prevent or minimize harms from Goodhart’sand Campbell’s laws include:

• 평가 및 평가 시스템을 계획할 때, 정량적 조치의 의도하지 않은 잠재적 결과에 대해 논의합니다.
• 학습자 평가 및 프로그램 평가 노력의 설계에 로직 모델 또는 기타 구조화된 접근 방식을 적용합니다.
• 준거 기반 평가를 고려한다.
• 학습자 평가 및 프로그램 평가에 대한 주관적이고 서술적인 접근 방식을 수용합니다.

• discuss the potential unintended consequences of quantitative measures as you plan your assessment and evaluation system;
• apply a logic model or other structured approach in the design of your learner assessment and program evaluation efforts;
• consider criterion-referenced (over norm-referenced) assessments; and
• embrace subjective, narrative approaches to learner assessment and program evaluation. 

J Grad Med Educ. 2021 Feb;13(1):2-5.

 doi: 10.4300/JGME-D-20-01492.1. Epub 2021 Feb 13.

"When a Measure Becomes a Target, It Ceases to be a Good Measure"

Christopher Mattson, Reamer L Bushardt, Anthony R Artino Jr

• PMID: 33680290
• PMCID: PMC7901608 (available on 2022-02-01)
• DOI: 10.4300/JGME-D-20-01492.1

의학교육에서 기준선 설정: 고부담 평가(Understanding Medical Education 3rd Ed, Ch 24)
24 Standard Setting Methods in Medical Education: High‐stakes Assessment

Andre F. De Champlain

Research and Development, Medical Council of Canada, Ottawa, Ontario, Canada  

의사 결정의 필요성
The Need to Make Decisions

사람, 객체, 사물을 '분류classification'하는 의사결정의 필요성은 일상적인 것에서 가장 중요한 것에 이르기까지 일상생활의 모든 측면에 스며 있다. 예를 들어 운전면허 취득을 위한 시험에 합격하려면 교통법규 및 성과(합격, 평행주차 등)에 관한 일정 수준의 숙련도를 갖추어야 한다. 이러한 분류의 목적은 안전하지 않은 운전자들이 차량의 운전대를 잡지 못하게 하는 것이다. 마찬가지로, 형사 재판에서 판결을 내리는 배심원단은 사건의 증거(즉, 관련 자료 분석)를 신중하게 검토한 후 피고를 '유죄' 또는 '무죄'로 '분류'하는 혐의를 받는다. 배심원단은 여러 측면에서 평가에서 표준 설정과 유사하다.

The need to make decisions that assign people, objects, or things into ‘classifications’ permeates all aspects of daily life, from the mundane to the most significant. For instance, passing an examination to obtain a driver’s licence requires meeting a certain level of proficiency with regard to knowledge of traffic laws and performance (passing, parallel parking, etc.). The aim of such a classification is to keep unsafe drivers from getting behind the wheel of a vehicle. Similarly, a jury that renders a verdict in a criminal trial is charged with ‘classifying’ a defendant as ‘guilty’ or ‘not guilty’, after carefully weighing the evidence of a case, i.e. analysing relevant data. The jury analogy seems particularly relevant to standard setting in assessment on a number of counts:

• 두 활동 모두 모집단에서 충분히 크고 대표적인 참가자 집단이 필요하다(시민권 또는 직업권).
• Both activities require a sufficiently large and representative participant group from the population (whether a citizenry or a profession).

• 두 활동 모두 분류 목적으로 사용할 결정이 필요하다(판결 제출 또는 통과/실패 기준 설정).
• Both activities necessitate a decision that will be used for classification purposes (rendering a verdict or setting a pass/fail standard).

• 정보의 의도된 사용은 각 사례에서 매우 유사하다(형사 재판에서의 수용 및/또는 갱생과 그에 상응하는 공공의 보호 및 표준 설정에서의 교정조치 고려사항).
• The intended use of the information is very similar in each instance (incapacitation and/or rehabilitation in a criminal trial and the corresponding protection of the public and remediation considerations in standard setting).
 

의사 결정의 필요성 또한 학부 의학 교육에서 재검증까지 의사 생활의 모든 단계에서 중요한 부분입니다. 주요 결정은 의과대학 수준[8–12]뿐만 아니라 의과대학 수준[1]에서 자격증을 부여하거나 보유할 때, 또는 보유할 때, 또는 자격증은 [3–5] 또는 전문기관[6, 7]에 대한 진입을 허용하거나 거부할 때 발생한다. 이러한 결정은 기준선 설정standard setting이라고 하는 프로세스를 통해 이루어집니다. Cizek [13]은 기준선 설정을 '[두 개 이상의 상태 또는 성과 정도를 구별]하기 위하여 [숫자의 할당]을 초래하는 [규정되고 합리적인 규칙 또는 절차의 적절한 추종]'(예: 통과/실패)으로 설명한다. 졸업자뿐 아니라 자격증 및 면허 소지자가 안전한 임상 실습을 허용하는 지식과 기술을 보유하고 있는지 확인해야 한다는 점을 감안할 때, 보건 전문가 내에서 이 활동은 특히 중요합니다 [14, 15]. 그럼에도 불구하고 용어 컷 점수 및 합격 기준에 대한 기본적인 오해는 여전히 지속되고 있습니다(박스 24.1 참조).

The need to make a decision is also part‐and‐parcel of all phases of a physician’s professional life, from undergraduate medical education to revalidation. Key decisions occur when awarding or denying an unrestricted licence to practise medicine [1, 2], granting or withholding a credential [3–5], or granting or denying entry into a professional body [6, 7], as well as at the medical school level [8–12]. These decisions are arrived at through a process that is referred to as standard setting. Cizek [13] describes standard setting as ‘the proper following of a prescribed, rational system of rules or procedures resulting in the assignment of a number to differentiate between two or more states or degrees of performance’ (e.g. pass/fail). This activity is especially critical within the health professions, given the need to ensure the public that graduates as well as holders of certificates and licences possess the knowledge and skill sets that permit safe clinical practice [14, 15]. In spite of this, a basic misconception still persists regarding the terms cutscore and passing standard (see Box 24.1).

표준 대 절단→점수
Standard Versus Cut‐score

기준과 참조 설정에서 시험 점수를 주로 사용하는 것은, 응시자가 [시험의 기초가 되는 것으로 추정되는 역량의 집합]을 숙달했는지 여부를 결정하는 것이다. 학교 수준이든, 면허 또는 인증 결정이든, 기준 설정은 합격 기준을 식별하기 위해 정기적으로 수행되며, 이는 중요하다고 간주되고 시험에 의해 측정되는 기술 영역의 숙달 또는 역량의 지표로 취급됩니다.
The primary use of any test score in a criterion‐referenced setting is to determine whether a candidate has mastered a set of competencies presumed to underlie performance on the examination. Whether at the school level or for licensure and/or certification decisions, standard setting exercises are routinely carried out to identify a passing standard, which is treated as an indicator of mastery or competency in the skill areas deemed important and measured by an examination.
 

케인[16]은 [합격기준passing standard]을 [실무에서 요구되는 허용 가능한 수준의 성과와 지식에 대한 질적 설명]으로 정의한다. 이와 같이 통과기준은 역량의 개념적 정의 또는 질적 정의로 볼 수 있다. 예를 들어, 최종 1년간의 학부 OSCE에서는 경계선 후보가 [감독된 의료에 진입하는 데 필요한 데이터 수집, 신체 검사 및 의사소통 기술을 입증]하도록 규정할 수 있다.

Kane [16] defines a passing standard as a qualitative description of an acceptable level of performance and knowledge required in practice. As such, the passing standard can be viewed as a conceptual or qualitative definition of competence. For example, in a final‐year undergraduate OSCE, a standard might stipulate that the borderline candidate demonstrate the data gathering, physical examination, and communication skills necessary for entry into supervised practice. 

반면 [컷(cut) 점수]는 표준을 반영하는 점수 척도를 따르는 [숫자]입니다. 이것은 역량에 대한 조작적 정의입니다. 이전 예에서 전문가 패널리스트는 [65% 이상의 점수]를 받은 응시자가 최종 1년제 학부 OSE의 성과 표준을 충족했다고 판단할 수 있습니다.

The cut‐score, on the other hand, is a number along the score scale that reflects the standard. It is an operational definition of competence. In our previous example, expert panellists might decide that a candidate who scores at or above 65% has met the performance standard for the final‐year undergraduate OSCE.

표준 설정의 주요 고려 사항
Key Considerations in Standard Setting

[표준 설정standard setting]은 [점수 척도를 두 개 이상의 범주로 분할할 수 있도록 합리적이고 방어 가능한 방법으로 인간의 판단을 종합할 수 있는 과정]이다. [전문가의 판단]에 중점을 둔다는 점에서, 모든 [표준은 본질적으로 주관적]이라는 점을 강조하는 것이 중요합니다. 따라서 시험에서 컷-점수를 정할 때는 'gold standard'가 없다. 컷(cut) 점수는 표준과 참여 심판 패널 설정을 위해 선택한 방법을 포함하여 여러 요인의 함수로 달라질 수 있으며 이에 국한되지 않는다[17–21]. 
Standard setting is a process that allows human judgements to be synthesised in a rational and defensible way to facilitate the partitioning of a score scale into two or more categories. Given the emphasis on expert judgement, it is important to underscore that all standards are intrinsically subjective in nature. Consequently, there is no ‘gold standard’ when it comes to setting a cut‐score on an examination. Cut‐scores can and will vary as a function of several factors, including, but not limited to, the method selected to set the standard and the panel of participating judges [17–21].

Jaeger[18]는 '판단을 제공하는 사람들의 마음을 뺀다면, 아마도, (기준 설정에서의) 정답이 존재하지 않을 것이다'고 언급함으로써 이 점을 가장 잘 요약하였다. 적절한 경험적 증거로 뒷받침되는 체계적인 과정을 따르는 것은 표준 설정 패널이 (정책 기반) 판단을 방어 가능한 방식으로 점수 척도로 해석하는 데 도움이 될 수 있지만, 숙련자를 비숙련자로부터, 또는 통과자를 실패자로부터 완벽하게 구분하는 어떤 '참true' cutscore를 추정하는 데 사용할 수 있는 방법은 없다.

Jaeger [18] best summarised this point by stating that ‘a right answer (in standard setting) does not exist, except, perhaps, in the minds of those providing judgement’. Following a systematic process that is supported with appropriate empirical evidence can help standard setting panels translate (policy‐based) judgement onto a score scale in a defensible manner, but no method can be used to estimate some ‘true’ cut‐score that perfectly separates masters from non‐masters or passers from failers.

모든 표준 설정 프로세스의 [내재적 주관성]을 고려하여, 모범 사례는 배경 및 교육 특성과 관련하여 대상 시험 모집단을 광범위하게 대표하는 심판 패널의 선발을 필요로dictate 한다[22, 23]. 표준 설정 패널 구성은 의료 교육에서 평가가 복잡하다는 점을 감안할 때 훨씬 더 관련이 깊어집니다. 그들의 연공서열과 전문지식 수준에도 불구하고, 평가의 목적을 감안할 때 결과적인 컷(cut) 점수가 합리적인지 확인하기 위해서는 패널리스트에 대한 광범위한 교육이 필수적입니다 [24]. 적어도, 평가의 목표, 표준 설정의 목적, 완료를 요구하는 과제, 최소한의 숙련도 또는 경계선 성과를 구성하는 일반적인 정의 등과 관련하여 [모든 패널리스트가 서로 조화를 이루도록 보장하기 위한 교육]이 필요하다[25]. 

In view of the inherent subjectivity of any standard setting process, best practice dictates selection of a panel of judges that broadly represents the target examination population, with respect to background and educational characteristics [22, 23]. The composition of the standard setting panel becomes even more relevant given the complexity of assessments in medical education. Despite their seniority and level of expertise, extensive training of panellists is essential to ensure that the resulting cut‐score is reasonable given the objectives of the assessment [24]. If nothing else, training is necessary to ensure that all panellists are in harmony with one another in regard to the goal of the assessment, the purpose of the standard setting exercise, the task that they are asked to complete, and a general definition of what constitutes minimal proficiency or a borderline performance [25]. 

일반적인 표준 설정 교육 세션에는 다음과 같은 여러 단계가 필요합니다. 

• (i) 패널리스트에 대한 검체 검사 자료의 제공
• (ii) 참가자에게 완료를 요구하는 과제의 명확한 표시
• (iii) 경계선 후보의 정의에 할당된 토론 기간
• (iv) 예시 세트에 대한 판단
• (v) 참가자 간의 오해를 명확히 하기 위한 토론 기간
• (vi) 훈련의 모든 측면에 대한 사후 조사[22].

A typical standard setting training session requires a number of steps including:

• (i) the provision of sample examination materials to panellists;
• (ii) a clear presentation of the task that participants are being asked to complete;
• (iii) a period of discussion allocated to the definition of the borderline candidate;
• (iv) judgements on a set of exemplars;
• (v) a discussion period to clarify any misconceptions amongst participants; and
• (vi) a post‐exercise survey on all aspects of training [22].

이러한 주의사항에도 불구하고, 이 장에 설명된 방법들은 결과적인 cut-score가 변덕스러운 판단보다는 정보에 입각한 판단에 근거하도록 보장하기 위해 따를 수 있는 체계적인 단계를 제공한다. 우선 검사의 절단 점수 결정을 위한 일반적인 방법의 개요(박스 24.2 참조)를 살펴보고, [표준 참조 표준]과 [기준 참조 표준]의 차이를 알아볼 것이다.  

Despite these caveats, the methods outlined in this chapter will provide systematic steps that can be followed to ensure that the resulting cut‐score is defensible and based on informed, rather than capricious, judgements on the part of the expert panel. The difference between a normreferenced standard and a criterion‐referenced standard will first be reviewed prior to an overview of common methods for determining a cut‐score on an examination (see Box 24.2).  

Norm → 참조 대 기준 → 참조
Norm‐ referenced Versus Criterion‐referenced Standards

아주 넓게 본다면, 표준은 성격상 [규범-참조] 또는 [준거-참조]로 분류될 수 있다[26].
At a very high level, standards can be classified as either norm‐referenced or criterion‐referenced in nature [26]. 

[규범 참조 표준]은 비교 후보 그룹의 성과에서 절단 점수가 도출된다는 점에서 [상대적인 표준]이다. 절단 점수를 클래스 평균보다 높은 표준 편차로 설정하거나 절단 점수를 분포의 90번째 백분위수 순위에서 고정하는 등, 표준 참조 표준의 예는 많습니다. 기본적인 개념은 컷아웃 점수가 비교 집단의 상대적 성과의 함수로만 설정된다는 것이다. 우리는 순전히 다른 응시자들이 얼마나 잘(또는 못) 시험을 잘 보느냐에 따라 응시자를 합격시키거나 불합격시킵니다.
A norm‐referenced standard is a relativestandard in that the cut‐score is derived from the performances of a comparative group of candidates. There are many examples of norm‐referenced standards, such as setting the cut‐score at one standard deviation above the mean of the class or fixing the cut‐score at the 90th percentile rank of a distribution. The fundamental notion is that the cut‐score is set solely as a function of the relative performances of a comparative group. We pass or fail a candidate on an examination purely based on how well (or badly) other test takers performed.

반면에, [준거 참조 프레임워크] 내에서, 표준은 일반적으로 그룹 성과에 관계없이 후보자가 입증해야 하는 영역의 지식의 함수로 설정된다. 따라서 이것은 절대적인 기준입니다. 예를 들어, 의료 전문가 패널은 전문적 판단과 검사의 목적에 따라 지원자가 최소의 역량을 갖춘 것으로 간주되려면 해당 영역의 70%를 마스터해야 한다고 결정할 수 있다.
On the other hand, within a criterion‐referenced framework, the standard is typically set as a function of the amount of knowledge of the domain that the candidate needs to demonstrate, irrespective of group performance. As such, it is an absolute standard. For example, a panel of medical experts might determine that a candidate needs to master 70% of the domain to be deemed minimally competent, based on their professional judgement and the objectives of an examination.

전문적 검사의 경우, 일반적으로 여러 가지 이유로 [준거 참조 표준criterion‐referenced standards]이 선호된다.

• 첫째, 규범 참조 표준은 그룹의 상대적 성과에 전적으로 기초하기 때문에 주어진 후보가 알고 있거나 모르는 것에 대해 거의 또는 전혀 언급하지 않는다.
• 둘째, 더 중요한 것은, 규범 참조 표쥰에서의 컷(cut) 점수는 [그룹의 능력 수준]에 따라 다양하다는 것이다.

For professional examinations, criterion‐referenced standards are generally preferred for a number of reasons.

• First, a norm‐referenced standard tells little to nothing about what a given candidate knows or does not know, since it is entirely based on the relative performance of the group.
• Second, and more importantly, the cut‐score selected in a norm‐referenced standard setting exercise will vary as a function of the ability level of the group.

응시자의 수준이 낮으면 낮은 cut-score를 낳을 것이며, 더 능력이 뛰어난 응시자들의 cut score는 더 높아질 것이다. 이는 결국 능력 수준에 따라 다양한 후보군을 배출합니다. 예를 들어, 평균보다 1-표준 편차(1SD)로 컷(cut) 점수를 설정하면 [응시자(집단)의 지식수준에 관계없이 코호트의 약 16%가 실패]합니다. 그러나, 이 그룹들은 도메인에 대한 지식에 있어 큰 차이가 있을 수 있습니다. 만약 그 수업이 능력 있는 학생 대 능력 없는 학생으로 구성되어 있다면 분포의 '평균에 가까운' 점수는 상당히 다른 의미를 가질 수 있다. 즉, [합격 수행능력(즉, '최소한의 역량')]의 의미는 후보자가 언제, 누구와 합격했는지에 따라서 달라질 수 있다.

Lower cut‐scores will result from the performances of less proficient candidates, whereas higher cut‐scores will be set with more able cohorts. This, in turn, produces cohorts of candidates who vary in regard to their level of competence. For example, setting a cut‐score at one standard deviation below the mean will result in failing about 16% of any cohort, irrespective of what candidates may or may not know. However, it is conceivable that these groups could differ drastically in their knowledge of the domains. Scoring ‘near the average’ of a distribution can have quite a different meaning if the class is composed of high ability candidates versus less able students. That is, the meaning of a passing performance (and consequently ‘minimal competence’) can vary as a function of when and with whom the candidate passed.

따라서, 통과 기준을 설정하는 norm‐referenced 접근법은 정치적 및 직업적 관점 모두에서 방어할 수 없다untenable. 표준 참고 표준을 사용할 수 있는 유일한 상황은 [소수의 지원자를 선발해야 할 때]입니다(예: 제한된 수의 대학원 연수 시간).
Consequently, a norm‐referenced approach to setting a passing standard is untenable from both political and professional perspectives. The only instance in which it may be acceptable to use a norm‐referenced standard is when the selection of a small number of candidates is necessary (e.g. for a restricted number of postgraduate training slots).


기준을 설정하는 Criterion‐referenced 방법은 이러한 많은 한계를 극복하기 때문에 매력적이다. Criterion‐referenced 방법을 사용하여 설정한 컷(cut) 점수는 특정 직업의 광범위한 분야를 대표하는 전문가들이 안전 실천에 필요한 기술과 지식을 보유한 후보자를 나타내는 숙련도 수준을 반영한다. 이러한 이유로, 의료 면허 분야뿐만 아니라 다른 보건 전문가 검사 프로그램에서도 몇 년 동안 Criterion‐referenced 설정 방법이 성공적으로 채택되고 옹호되어 왔다[1, 2, 27–29]. 다음 두 절에서는 가장 일반적으로 사용되는 기준 기준 설정 방법을 간략하게 설명합니다(박스 24.3 참조).

Criterion‐referenced methods for setting a standard are appealing because they overcome many of these limitations. A cut‐score that is set using a criterion‐referenced method reflects a level of proficiency that experts representing wide sectors of a given profession agree is indicative of a candidate who possesses the skills and knowledge required for safe practice. For this reason, criterion‐referenced methods for setting cut‐scores have been successfully employed and defended for several years in the medical licensing arena as well as with other health profession examination programmes [1, 2, 27–29]. The following two sections briefly describe the criterion‐referenced standard setting methods in most common use (see Box 24.3).

테스트 중심 방법
Test‐ centred Methods

[준거-참조 테스트-중심 방법Criterion‐referenced test‐centred methods]은 객관식 검사와 같은 지식 평가에 대한 합격 점수를 설정하는 데 호소하고 있다. 이러한 표준 설정 형식에서, 전문가들은 시험 또는 과제의 각 항목에 요구되는 성능 수준을 판단하도록 요청받는다(예: 최소한의 숙련도). 자주 사용되는 일반적인 테스트 중심 방법에는 Angoff, Ebel, Nedelsky 및 Bookmark 절차[30]가 포함됩니다(상자 24.4 참조).

Criterion‐referenced test‐centred methods are appealing for setting a pass mark on knowledge assessments, such as multiple‐choice examinations. In this form of standard setting, experts are asked to judge the level of performance required on each item of the test or task to meet the standard (e.g. minimal proficiency). Common and frequently used test‐centred methods include the Angoff, Ebel, Nedelsky, and Bookmark procedures [30] (see Box 24.4).

앙고프 방법
Angoff Method

Angoff 절차에서 패널리스트는 항목별로 각 항목에 정확하게 답변할 수 있는 [최소 숙련도 후보자의 비율]을 추정해야 한다[31]. 사실상 이것은 전문가의 판단에 근거하여 테스트의 각 구성 요소 부분의 [난이도를 평가]하는 것이다. 그런 다음 이러한 비율은 각 전문가 심판에게 합산됩니다. 일반적으로 심판의 항목 비율의 평균 또는 중위합은 검사에서 컷-점수로 처리됩니다. 상자 24.5는 세 개의 패널 목록을 사용한 5가지 항목 검사에 기초한 Anoff 절차에 대한 간단한 그림을 제공합니다. 이 예제에서 패널 목록 절단 점수는 1.35(또는 1/5)에서 2.65(또는 3/5) 사이였습니다. 따라서 전체 컷 점수가 1.97/5(또는 2/5)와 같으므로 최종 컷 점수를 선택할 수 있습니다.
In the Angoff procedure, panellists are asked to estimate, on an item‐by‐item level, the proportion of minimally proficient candidates that would answer each item correctly [31]. Effectively this constitutes an assessment of the degree of difficulty of each component part of the test based on expert judgement. These proportions are then summed for each expert judge. Typically, the mean or median sum of item proportions across judges is treated as the cut‐score on the examination. Box 24.5 provides a simple illustration of the Angoff procedure based on a five‐item examination with three panellists. In this example, panellist cut‐scores ranged from 1.35 (or 1/5) to 2.65 (or 3/5). An overall cutscore equal to 1.97/5 (or 2/5) could therefore be selected as the final cut‐score.

 


[수정된 Angoff 방법] 또한 표준의 결정을 위해 제안되었습니다 [9, 32–35]. 한 가지 수정방식으로는 패널리스트에게 일반적인 논의 후에 판단을 수정할 수 있도록 하는 것이다 [36]. 다른 수정방식으로는 패널리스트에게 [최종 라운드]에서  '현실 성과 점검reality performance check'을 제공함으로써, 최초 판단을 측정하고guage, 원하는 경우 수정할 수 있도록, 최초 등급 라운드 후에 규범적normative 데이터(예: 문항 난이도 및 변별도)를 제공하는 것이다[37]. 
Modified Angoff methods have also been proposed for determining a standard [9, 32–35]. One adaptation of the Angoff method allows panellists to modify their judgements following a general discussion [36]. Other revisions entail providing normative data (e.g. item difficulty and discrimination indices) following the initial round of ratings in order to provide panellists with a ‘reality performance check’ against which to gauge their initial judgements and modify them, if so desired, in a final round [37].

장점 및 제한 사항
Advantages and Limitations

Angoff 방법군의 주요 장점 중 하나는 MCQ 및 성능 기반 평가를 포함하여 다수의 검사와 함께 광범위하게 사용됐다는 것이다 [34]. 따라서, 그러한 연습을 수행하고자 하는 모든 연구자는 풍부한 증거와 정보를 이용할 수 있다. 또한 앙고프 방식은 패널리스트가 테스트 항목을 검토하고 재료 및 후보자에 대한 전문 지식을 바탕으로 판단을 내려야 한다는 점에서 어느 정도 직관적이라는 매력을 가지고 있다. 마지막으로 Angoff 방법은 '예/아니오' 방법을 통해 능률화할 수 있으며 [38] 방법은 작업을 더욱 단순화할 수 있습니다.
One main advantage of the Angoff family of methods is that they have been used extensively with a host of examinations, including both MCQ and performance‐based assessments [34]. As such, a wealth of evidence and information is available to any researcher interested in carrying out such an exercise. Also, the Angoff method holds a certain amount of intuitive appeal in that panellists are required to review test items and offer judgements based on their expert knowledge of the material and candidates. Finally, the Angoff method is amenable to streamlining such as through the ‘Yes/No’ method [38], which can simplify the task even more.


한편, Angoff 방법은 패널리스트가 완료해야 하는 두 가지 주요 과제의 본질적인 특성, 즉, [무엇이 최소한의 숙련도를 구성하는지]를 명확히 하고, 각 테스트 항목에 정답을 맞출 수 있는 [최소 숙련도 응시자의 비율을 일관되게 추정]하는 것 때문에 많은 비판을 받았다[35].

• Shepard [39]는 패널리스트에게 제시된 과제가 너무 인지적으로 어려우며 아마도 대부분의 참가자가 감당할 수 없을 것이라고 주장했다. 그러나 다른 이들은 이러한 주장을 반박하고 이러한 어려움을 패널리스트의 불충분한 교육이나 판단을 유도할 성능 데이터의 부재 때문이라고 지적했습니다 [40].
• Plake 외 연구진[41]에 의해 수행된 조사에서도 문항 성능 추정치item performance estimate는 패널 내부와 패널 간뿐만 아니라, 당해 및 수년 간에 걸쳐 고부담의 인증 검사를 위한 것으로 나타났다. 이러한 발견은 표준 설정 연습에 적합한 심판 패널 선택의 중요성을 다시 한 번 강조하고, 더 중요한 것은 당면 과제의 성격에 대한 오해를 없애기 위해 모든 전문가에게 광범위한 교육을 제공한다는 것이다.

On the downside, the Angoff methods have come under heavy criticism due to the inherent nature of the two main tasks that panellists are required to complete, namely to articulate what constitutes minimal proficiency and then consistently estimate proportions of minimally proficient candidates who would correctly answer each test item [35].

• Shepard [39] argued that the task presented to panellists was too cognitively challenging and probably beyond the capability of most participants. Others, however, have refuted this claim and ascribed these difficulties to insufficient training of panellists or the absence of performance data to guide judgements [40].
• Research conducted by Plake et al. [41] also showed that item performance estimates were consistent within and across panels, as well as within and across years for a high‐stakes certification examination. These findings once more underscore the importance of selecting appropriate panels of judges for standard setting exercises and, more importantly, offering extensive training to all experts to eliminate any misconceptions regarding the nature of the task at hand.

이러한 한계에도 불구하고, Angoff 방법군은 검사에 대한 컷☆스코어를 설정하기 위한 가장 보편적이고, 오래 지속되며, 잘 연구된 일련의 절차들 중 하나입니다 [30].

Despite these limitations, the Angoff family of methods continues to be one of the most prevalent, longstanding, and well researched set of procedures for setting a cut‐score on an examination [30].

에벨 방법
Ebel Method

에벨이 개괄적으로 설명한 절차는 패널리스트에게 각 항목에 대한 난이도 추정치뿐만 아니라, 검토의 기초가 될 것으로 추정되는 영역을 고려하여 내용 관련성까지 제공하도록 요청함으로써 Angoff의 방법을 확장한다[42]. 컷(cut) 점수는 [난이도]와 [관련성 판단]의 [곱셈값cross-products]을 추가하여 계산한다. 

The procedure outlined by Ebel extends Angoff’s method by asking panellists not only to provide difficulty estimates for each item but also content relevance, given the domains that are presumed to underlie the examination [42]. The cut‐score is computed by adding the cross‐products of the difficulty and relevance judgements.

상자 24.6은 2차원 Ebel 그리드의 간단한 예를 제공합니다. 이 예에서 심사위원들은 50개 항목 중 5개가 내용에 필수적이며 난이도가 '쉬운' 수준이라고 느꼈다. 비슷한 맥락에서 패널리스트에게도 최소한으로 숙달된 후보자가 올바르게 답할 수 있는 각 내용 관련성/난이도 셀 항목의 비율을 추정하도록 요청받았다. 그 결과로 나온 절단 점수는 관련성/난이도 셀 교차성 제품의 합계입니다. 이 예에서 응시자는 시험에 합격하려면 25/50 항목(50%)을 올바르게 답해야 합니다.

Box 24.6 provides a simple example of a two‐dimensional Ebel grid. In this example, judges felt that 5 of 50 items were essential to the content and ‘easy’ level of difficulty. In a similar vein, panellists were asked to estimate the proportion of items, in each content relevance/difficulty cell, that the minimally proficient candidate would correctly answer. The resulting cut‐score is the sum of the relevance/ difficulty cell cross‐products. In this example, candidates would need to correctly answer 25/50 items (50%) to pass the examination.

장점 및 제한 사항
Advantages and Limitations

아이러니하게도, 기준 제정을 위한 Ebel 방법의 장점 중 하나인 [난이도] 외에 [항목 관련성]이 패널리스트의 판단에 반영될 수 있다는 것이 Ebel 방법의 약점이기도 하다. 예를 들어, Berk[43]는 패널리스트가 연습 중에 내용(난이도)과 목적적합성 판단을 [분리할 수 있는지]에 의문을 제기한다. 이 두 차원이 많은 경우 상당히 높은 상관관계를 갖는다고 주장한다. 시험 개발의 관점에서, 시험에는 애초에 [관련성이 낮은 항목]을 포함시키는 것이 더 나은 것이 아닌가라는 의문을 제기할 수 있다. 대부분의 맥락에서, 총점은 (상호 관계가 있는) 여러 도메인에서 후보자들의 역량을 전반적으로 반영하는 것으로 해석됩니다. 따라서 (Ebel 방법에서) [관련성이 낮다고 여겨지는 항목]은 전체적인 역량(예: 합격/불합격)이나 순위에 대한 추론에 거의 기여하지 않는다.

Ironically, one advantage of the Ebel method for setting a standard, namely that item relevance, in addition to difficulty, can be factored into panellists’ judgements, is also its chief weakness. Berk [43], for example, questions the ease with which panellists can separate content (difficulty) and relevance judgements during an exercise, largely based on the argument that these two dimensions are often correlated quite highly. From a test development standpoint, one could also question the merits of including test items that are not relevant in an examination. In most contexts, the total score is interpreted as an overall reflection of candidates’ competencies on a composite of (interrelated) domains. Consequently, items that are deemed irrelevant contribute little to nothing in informing inferences about overall competency (e.g. pass/fail) or standing.

네델스키 방법
Nedelsky Method

네델스키[44]는 [(응시자가) MCQ에 답할 때, 최소한 숙련도 있는 후보들이 먼저 재료에 대한 지식을 바탕으로 부정확하다고 식별한 옵션을 제거한 다음 나머지 선택 항목 중에서 무작위로 추측한다는 전제] 하에 이뤄지는 표준 설정 방법이다. 실제 컷(cut) 점수는 나머지 대안 수의 역수 항목 전체의 합에 해당합니다. 예를 들면, 패널리스트 그룹은 5가지 항목, [5개 문항 MCQ 시험]에서 [최소한 숙달된 후보자]가 각 항목에 걸쳐 2, 1, 3, 4개의 옵션을 각각 제거할 것으로 추정한다. 따라서 네델스키 절단 점수는 1/3 + 1/4 + 1/2 + 1/2 + 1/1 = 2.58/5 또는 3/5 60%에 해당합니다.

Nedelsky [44] outlined a standard setting method based on the premise that when answering MCQs, minimally proficient candidates first eliminate options that they identify as incorrect based on their knowledge of the material, and then randomly guess amongst remaining choices. The actual cut‐score corresponds to the sum across items of the reciprocal of the remaining number of alternatives. To illustrate; assume that a group of panellists estimates that the following number of options would be eliminated, respectively, by the minimally proficient candidate on a five‐item, five‐option MCQ examination: 2, 1, 3, 3, 4, across each of the items. The Nedelsky cut‐score would therefore correspond to: 1/3 + 1/ 4 + 1/2 + 1/2 + 1/1 = 2.58/5 or 3/5 60%

장점 및 제한 사항
Advantages and Limitations

네델스키 방법의 주요 장점은 패널리스트가 판단을 내릴 때 [보기distractors 요소의 품질], 즉 MCQ에 대답할 때 최소한의 숙달된 후보자가 가질 수 있는 부분적 지식을 고려할 수 있다는 것이다. 그러나 이 절차의 여러 단점들로 인해 어려움을 겪는다는 것이 잘 문서화되어있다. 첫째, 패널리스트에 부과된 과제는 Angoff 또는 Ebel 연습에서 예상되는 것보다 훨씬 더 부담스럽다. 패널리스트는 최소한의 숙련도 있는 응시자의 정확한 응답 확률을 추정해야 할 뿐만 아니라, 후자의 시험 응시자가 distractor가 부족하거나 부분적인 지식으로 인해 제거할 수 있다고 믿는 옵션에 비추어 그렇게 해야 합니다.

The main advantage of the Nedelsky method is that it allows panellists to factor in the quality of the distractors when making their judgements, that is, any partial knowledge that the minimally proficient candidate may possess when answering an MCQ. However, the procedure also suffers from a number of well‐documented shortcomings. First, the task imposed on panellists is much more onerous that what is expected in either an Angoff or Ebel exercise. Panellists must not only estimate the probability of a correct response on the part of the minimally proficient candidate, but they must do so in light of options they believe the latter test taker can eliminate either due to poor distractors or partial knowledge. 

또한 절차의 특성으로 인해 패널리스트가 제공할 수 있는 확률 값이 사실상 제한된다. 예를 들어, MCQ 옵션이 5개인 경우 판사가 제공할 수 있는 타당한 추정치는 0.20, 0.25, 0.33, 0.50 및 1.00 [43]뿐입니다. 즉, 최소 숙련도 응시자는 신뢰할 수 없는 경우 0, 1, 2, 3 또는 4 옵션을 제거할 수 있습니다.

Additionally, probability values that are provided by panellists are de facto restricted due to the nature of the procedure. For example, with a five‐option MCQ, the only plausible estimates that judges can provide are: 0.20, 0.25, 0.33, 0.50, and 1.00 [43]. That is, the minimally proficient candidate can eliminate either 0, 1, 2, 3, or 4 options as non‐plausible. 

마지막으로, 가장 중요한 것은 네델스키 방법에서 [최소한의 숙련도 응시자의 시험 응시 행동이 동일하다고 가정한다]는 것이다. 즉, 그러한 대안에서 타당성이 없는 것으로 제거되지 않은 것과 동일한 방식으로 추측한다는 것이다. 위험 행동, 차등 부분 지식 및 기타 요소를 고려할 때 이러한 가정에 대한 의문이 심각하게 제기되었다[45, 46]. 이러한 한계를 다루기 위해 절차의 수정이 제안되었지만[47], 네델스키 방법은 그 내재적 복잡성과 더 많이 사용되는 방법에 비해 실질적인 효익이 거의 없기 때문에 지난 수십 년간 인기가 떨어졌다.

Finally, and most importantly, the Nedelsky method assumes that the test‐taking behaviour of minimally proficient candidates is identical, i.e. they guess in the same fashion from those alternatives not eliminated as implausible. This assumption has been seriously called into question given risk behaviours, differential partial knowledge, and other factors [45, 46]. Though modifications of the procedure have been proposed to address these limitations [47], the Nedelsky method has waned in popularity over the past few decades due to its inherent complexity and few practical benefits over more popular methods.

책갈피 방법
Bookmark Method

또한 책갈피 방법은 [본질적 단순성]으로 인해 절단 점수를 설정하는 데 상당히 정기적으로 사용됩니다[48]. 이 접근방식으로 [시험 문항이 가장 쉬운 것부터 어려워지는 순서로 패널리스트에 제시]됩니다(책자 한 페이지당 한 항목). 이 방법의 원래 의도는 항목 대응 이론(IRT) 기반 난이도 추정의 함수로 항목의 순서를 정하는 것이었지만, 방법을 조정하고 간단한 p-값(정확한 응답의 비율)으로 MCQ를 정렬하는 것도 가능하다. 각 패널 목록은 최소한 숙달된 후보자가 나머지 항목에 올바르게 답변하지 못할 것으로 예상되는 지점에 책갈피(정지 규칙stopping rule)를 배치해야 합니다. 
The Bookmark method is also used quite regularly to set a cut‐score due to its intrinsic simplicity [48]. With this approach, test items are presented to panellists by order of difficulty from least to most difficult (one item per page in a booklet). Though the original intent of the method was to sequence the items as a function of item response theory (IRT)‐based difficulty estimates, it is also possible to adapt the method and order the MCQs by simple p‐values (proportion of correct responses). Each panellist is required to place a bookmark (a stopping rule) beyond which a minimally proficient candidate would not be expected to correctly answer remaining items. Note that the

책갈피 방법은 여러 단계로 구분해야 하는 경우(예: 초급, 중급, 고급 수준의 결정)에 자주 사용된다. 가장 간단한 애플리케이션에서 최종 절단 점수는 여러 패널 목록에서 책갈피 항목 중 [중위수]에 해당합니다. 원래의 책갈피 절차에서도 이 절단 점수를 기본 IRT 가능성 측정 기준[48]으로 변환했다는 점을 지적하는 것이 중요합니다. 성능 벤치마크를 추가하는 방법의 확장도 제안되었습니다 [49, 50]. 이러한 개정에 대한 자세한 내용을 얻고자 하는 독자는 이 참고 자료를 참조할 것을 권장합니다.

Bookmark method is also frequently employed for multiple judgements (e.g. determining levels of basic, proficient, and advanced). The final cut‐score, in its simplest application, would correspond to the median number of items at the bookmark across panellists. It is important to point out that the original Bookmark procedure also translated this cut‐score to the underlying IRT ability metric [48]. Extensions of the method that entail adding the use of performance benchmarks have also been proposed [49, 50]. Readers wishing to obtain more details on these revisions are encouraged to consult these references.

장점 및 제한 사항
Advantages and Limitations

Bookmark 방법의 주요 장점은 [단순성]과 패널 목록에 부과되는 비교적 [낮은 인지 부하]입니다. 적어도 다른 테스트 중심 방법과 비교됩니다. 시험 항목은 난이도(참가자에게 알려지지 않음)에 따라 정렬되며, 패널리스트는 둘 이상의 숙련도 범주를 설명하기 위해 하나 또는 여러 개의 북마크를 배치해야 합니다. 책갈피 방법의 또 다른 매력적인 특징은 혼합 형식mixed-format 평가뿐만 아니라 객관식 및 수행능력 검사에 쉽게 적용할 수 있다는 점이다. 마지막으로, IRT 숙련도 메트릭스에 대한 전통적인 연계는 대부분의 대규모 테스트 프로그램이 시험 구축, 채점, 규모 조정 및 등식을 포함한 다수의 활동에 [IRT 기반 방법을 구현]한다는 점에서 큰 매력을 가지고 있다. 따라서 북마크 표준 설정 방법은 unified IRT 프레임워크에 쉽게 통합될 수 있습니다.
The main advantage of the Bookmark method is its simplicity and the relatively light cognitive load that is imposed on panellists, at least in comparison to other testcentred methods. Test items are ordered according to difficulty (again, unbeknownst to participants) and panellists are required to place one or several bookmarks to delineate two or more proficiency categories. Another attractive feature of the Bookmark method is that it can be readily applied to multiple‐choice and performance examinations as well as mixed‐format assessments. Finally, its traditional link to an IRT proficiency metric also holds great appeal given that the majority of large‐scale testing programmes implement IRT‐based methods for a host of activities, including test construction, scoring, scaling, and equating. As such, the Bookmark standard setting method can easily be integrated into a unified IRT framework.


이러한 장점에도 불구하고 책갈피 표준 설정 방법에는 실무자가 알아야 할 여러 가지 제한이 있습니다.

• 첫째, 책갈피 표준 설정 연습의 컷(cut) 점수는 시험 양식의 난이도와 불가분의 관계에 있다. 예를 들면, 응시자의 숙련도 대비 매우 '쉬운' 시험을 떠올려 볼 수 있다. 이는 최초 응시자의 90% 이상이 전형적으로 합격하는 의료 면허 및 인증 시험의 경우에 해당됩니다 [27]. 이 'mis-targeting'으로 인해 패널 목록이 적절한 책갈피를 설정하지 못할 수 있습니다. 경우에 따라서는 응시자군의 능력이 높을 때에는 책자의 마지막(=가장 어려운) 문항조차도 너무 쉬워서 숙련자와 비숙련 구분할 수 없다고 보는 것이 타당하다. 다른 사람들이 [30]을 언급했듯이, 이 문제는 다른 테스트 중심 방법과도 함께 발생할 수 있습니다. 책갈피 접근법은 품목의 난이도 때문에 이러한 문제를 명백하게 만듭니다.
• 또 다른 실질적인 한계는 일부 문항의 퍼포먼스가 낮아서 삭제할 경우 소책자(즉, 페이지당 하나의 항목이 있는 경우 테스트 항목)를 재주문해야 한다는 것이다.
• 마지막으로 문항이 테스트 양식 전체에 걸쳐 난이도가 낮음에서 높음으로 일정하게 배치되지 않을 수 있으며, 실제로도 문항의 난이도가 그렇지 않을 수도 있다는 것입니다. 따라서 패널리스트가 마스터와 비 마스터를 가장 잘 구별하는 척도를 따라 실제 포인트를 식별하기가 어려울 수 있다. 즉, 문항 난이도에 gap이 있을 경우 책갈피를 식별할 수 없을 수 있다. 

Despite these advantages, the Bookmark standard setting method does possess a number of limitations that the practitioner should be aware of.

• First and foremost, the cut‐score in a Bookmark standard setting exercise is inextricably linked to the difficulty of the test form. To illustrate, consider a test that is very ‘easy’ in relation to the proficiency level of candidates. This is often the case with medical licensing and certification examinations where over 90% of first‐time test takers typically pass [27]. This ‘mis‐targeting’ can make it impossible for panellists to set an appropriate bookmark. In certain instances, it is plausible that even the last item in a booklet is too easy to distinguish between masters and non‐masters when the candidate sample is highly able. As others have mentioned [30], this problem could also crop up with other test‐centred methods. The Bookmark approach, by virtue of item difficulty ordering, makes any such problems glaringly obvious.
• Another practical limitation of this standard setting method is that booklets (i.e. test items if there is one item per page) need to be re‐ordered if some items are deleted due to poor performance.
• A final limitation is that items may not, and in fact are probably not, evenly spaced in terms of differences in difficulty from low to high throughout a test form. Thus, it might be difficult for panellists to identify an actual point along the scale that best discriminates between masters and non‐masters, i.e. the bookmark might not be identifiable given gaps in item difficulty.

이러한 제약이 책갈피 방법을 무효화하지는 않지만 실무자는 이러한 잠재적 이슈를 인식하고 실제 기준 설정 연습 전에 그에 따라 계획을 수립해야 한다.
While these limitations do not invalidate the Bookmark method, practitioners should be aware of these potential issues and plan accordingly prior to the actual standard setting exercise.

수험생 중심 방법
Examinee‐ centred Methods

반면에 [준거(Criteria)-참조, 응시자-중심 방법examinee‐centred methods]에는 자격을 갖춘 전문가 패널 그룹의 글로벌 성과 판단에 근거한 표준 설정이 포함된다. 의학교육에서 성과 평가의 통합된 다차원적 특성을 고려할 때, 후자의 방법은 OSCE에 대한 컷(cut) 점수를 설정하는 데 특히 적합하다[51]. 두 가지 일반적인 검사자 중심 표준 설정 방법은 대조군 방법과 경계선 그룹 방법이다[52, 53]. (박스 24.7 참조).
Criterion‐referenced examinee‐centred methods, on the other hand, involve setting a standard based on global judgements of performance by a group of qualified expert panellists. Given the integrated, multi‐dimensional nature of performance assessments in medical education, the latter methods are particularly well suited for setting a cut‐score on OSCEs, for example [51]. Two popular examinee‐centred standard setting methods are the contrasting groups method and the borderline group method [52, 53]. (see Box 24.7).

대조 그룹 방법
Contrasting Groups Method

대조 그룹 방법에서 패널리스트는 각 후보자에게 수행능력 프로파일(예: OSCE 스테이션의 검사 목록 및 등급 척도)을 검토하고 테스트 응시자가 시험에 합격할 자격이 있는지 여부를 판단하도록 요청받습니다. 그런 다음 두 후보 그룹(무자격 및 자격)에 대한 OSCE 측점 점수가 그래프에 표시됩니다. 일반적으로 두 그룹의 테스트 응시자를 가장 잘 구별하는 점수는 컷★점수로 선택됩니다[52–54]. 

In the contrasting groups method, panellists are asked, for each candidate, to review a performance profile (e.g. checklists and rating scales on an OSCE station) and determine whether the test taker is qualified or unqualified to pass the examination. OSCE station scores for both groups of candidates (unqualified and qualified) are then plotted on a graph. The score that best discriminates between both groups of test takers is typically selected as the cut‐score [52–54].

예시를 위한 대조 그룹 그림은 그림 24.1에 나와 있습니다. 이 예에서, 위양성과 위음성 결정이 동등하게 중요할 경우, 교차 구역의 중간점을 절단 점수 값으로 선택할 수 있다. 단, 검사의 목적이 부정행위로부터 환자를 보호하는 것이라면 교차구역 상부의 값을 선택할 것이다(위양성 결정 최소화, 즉 합격을 위해 필요한 임상 기술을 보유하지 않은 합격자의 수 최소화).

A sample contrasting‐groups plot is shown in Figure 24.1. In this example, the mid‐point of the intersection zone could be selected as the cut‐score value if false-positive and false‐negative decisions were of equal importance. However, if the intent of the exam is to protect patients from malfeasance, a value in the upper part of the intersection zone would be chosen (minimising false‐positive decisions, i.e. minimising the number of passing candidates who do not possess the clinical skills necessary to pass).

경계선 그룹 방법
Borderline Group Method

경계선 그룹 방법에서 패널리스트는 각 후보자에 대한 성능 프로파일을 검토하고 [허용가능한 수행능력]과 [허용불가능한 수행능력]을 식별하라는 요청도 받습니다. 또한 패널리스트는 허용 가능한 성과 수준에 불과하다고 판단되는 후보자를 지정해야 합니다. 그런 다음 합격자의 점수가 그래프에 표시됩니다. 일반적으로 [중위수median 점수 값]이 검사의 cut score로 선택됩니다[1, 53]. 이 접근법의 한 가지 한계는 borderline acceptable group의 크기가 상당히 작기 때문에 [매우 불안정한 절단 점수(예: 중위수) 값]을 낳을 수도 있다는 것이다.

In the borderline group method, panellists are also asked to review a performance profile for each candidate and identify unacceptable as well as acceptable performances. Additionally, panellists must designate those candidates that are deemed to lie just at a borderline acceptable performance level. The scores of these borderline acceptable examinees are then plotted on a graph. Typically, the median score value is chosen as the cut‐score on the examination [1, 53]. One limitation that has been raised with this approach is that the size of the borderline acceptable group might be quite small, thus contributing to a very unstable cut‐score (e.g. median) value.

이러한 단점을 해결하기 위한 수단으로 [경계 회귀법borderline regression method]이 대안적인 관련 표준 설정 방법으로 제안되었다. 이 절차에서는 선형 회귀 모델링을 사용하여 점수 척도의 절단 점수를 등급 범주(예: 허용되지 않음, 허용 가능, 허용 가능)의 함수로 예측합니다. 즉, 특정 OSCE 스테이션의 합격 점수는 후보 점수(예: 체크리스트 점수)를 글로벌 등급으로 회귀시켜 획득합니다. 기존의 경계선 그룹 방법과는 달리, (borderline acceptable candidate의 점수 뿐만 아니라) [모든 데이터 포인트]가 컷 점수를 결정하는 데 사용됩니다 [55].

As a means of addressing this shortcoming, the borderline regression method was proposed as an alternative, related standard setting method. As it implies, this procedure uses linear regression modelling to predict the cut‐score on the score scale as a function of the rating categories (e.g. unacceptable, borderline acceptable, acceptable). That is, the pass mark for a given OSCE station is obtained by regressing candidate scores (e.g. checklist scores) onto the global ratings. Unlike the more traditional borderline group method, all data points are used in determining the cutscore, not only those associated with borderline acceptable candidates [55].

장점 및 제한 사항
Advantages and Limitations

대조집단 및 경계집단 방법은 패널리스트에게 [응시자의 전반적인 성과를 두 가지(또는 그 이상) 범주로 분류]하는 방식으로 전반적 판단holistic judgement하도록 요구한다]는 점에서 매우 유사하다. 실제로 경계집단법을 전문가들이 성과에 대한 허용여부를 판단할 필요가 있을 뿐만 아니라 '가장자리(on the cusp)' 즉, 허용가능한 경계에 대한 접근방식의 일반화로 생각할 수 있다. 두 방법 간의 유사성이 높다는 점을 감안할 때, 이 방법들이 동일한 장점과 한계를 가지고 있다는 것은 별로 놀랄 일이 아니다.

The contrasting groups and borderline group methods are very similar in that they require panellists to make holistic judgements on the overall performance of candidates by classifying them into two (or more) categories. In fact, one could conceive of the borderline group method as a generalisation of the contrasting groups approach where experts not only need to determine whether a performance is acceptable or unacceptable, but also ‘on the cusp’, i.e. borderline acceptable. Given the high degree of similarity between the methods, it should come as little surprise that they carry the same advantages and limitations.

한편, 두 가지 방법 모두 패널리스트가 보다 '직관적'인 작업을 완료하도록 요구하기 때문에, [OSCE 및 작업장 기반 평가와 같은 수행능력 평가]에서 종종 선호됩니다. 즉, 후보자를 unacceptable, acceptable 또는 borderline acceptable로 분류합니다. 또한 분류 판단을 내리는 차원들dimensions이 종종 높은 관련성을 갖는다는 점을 고려할 때, 이러한 복잡한 평가에 매우 적합하다. 따라서 이러한 방법은 [후보자에 대한 분류 결정을 내릴 때] [패널리스트가 모든 고려사항을 통합할 수 있는 관용성]을 제공한다. 

On the plus side, both methods are often preferred for performance assessment such as OSCEs and workplacebased assessments as they require panellists to complete a task that is more ‘intuitive’, i.e. classify candidates as either unacceptable, acceptable, or borderline acceptable. They are also well suited to these complex assessments given that dimensions on which to make classification judgements are often highly related. As such, these methods provide panellists with the latitude to incorporate all of their considerations when arriving at a classification decision with a candidate.

(두 가지 접근법 모두) 패널리스트에게 높은 수준의 유연성을 제공한다는 점이 주된 한계가 된다. 두 방법 모두 패널리스트 판단을 [본질적으로 신뢰할 수 있고 타당한 것]으로 간주합니다. 즉, gold standard으로 간주합니다. 패널리스트가 이러한 판단을 내릴 수 있는 능력을 손상시킬 수 있는 요소는 예측하기 어려운 방식으로 최종 컷(cut)-점수 가치를 편향시킴으로써, [일부 후보군에 명백히 불공정한 표준]으로 이어질 수 있습니다. 따라서 주최자는 패널리스트에게 적절히 교육을 제공하여, 이러한 영향을 최소화하고, 궁극적으로 모든 이해관계자에게 방어 가능한 프로세스를 보장할 수 있도록 하는 것이 중요하다. 심사 대상자에게 매우 친숙할 수 있는 패널리스트가 판단을 제공할 때 [construct‐irrelevant factors] 에 의해 영향을 받는 시나리오를 쉽게 예상할 수 있다. 이러한 construct‐irrelevant factors 에는 성별, 민족성, 복장, 성격, 작업 습관 및 광범위하게 정의된 바와 같이 '능력'과 무관한 무수한 기타 외부 특성이 포함될 수 있다.

The greater level of flexibility that is afforded by both approaches also potentially constitutes their chief limitation. Both methods treat panellist judgements as intrinsically reliable and valid, i.e. as thegold standard. Any factor that can detract from the panellists’ ability to provide such judgements will bias the ultimate cut‐score value in a way that is difficult to predict and will lead to a standard that is most certainly unfair to subgroups of candidates. Consequently, the moderator plays a critical role in ensuring that the training offered to panellists can at least minimise this effect to ultimately assure a defensible process for all stakeholders. It is easy to envisage a scenario where panellists, who might very well be familiar with the candidates who they are evaluating, are affected by construct‐irrelevant factors when providing their judgements. Such construct‐irrelevant factors might include gender, ethnicity, dress, personality, work habits, and a myriad of other extraneous features that are unrelated to ‘competency’, as broadly defined by the examination.

대조 그룹과 경계선 그룹 방법 모두 [cut score 설정을 위해, 현장에서 충분히 많은 대표 전문가 그룹을 식별할 수 있으며, 이들이 지시에 따라 과제를 완료하도록 훈련할 수 있다]는 기본적인 전제에 의존한다. [부적절한 훈련]은 (borderline acceptable 에 불균형적으로 많은 수의 후보자를 할당하는 것과 같은) 다수의 바람직하지 않은 결과를 초래할 수 있다[56, 57]. 
Both the contrasting groups and borderline group methods also rest on the central premise that a sufficiently large group of representative professionals in the field can be identified for an exercise and also trained to complete the task at hand as instructed. Inadequate training can lead to a number of undesirable outcomes, including the propensity to assign disproportionally large number of candidates to the borderline acceptable group [56, 57]. 

이는 후자 그룹의 실적에서 점수가 나온다는 점에서 매력적으로 들릴 수 있지만, 거의 모든 응시자를 허용 가능한 경계선으로 분류하는 것은 시험, 교육 및 기타 요인에 대한 심각한 문제를 제기한다. 또한 확인하기 어려운 방식으로 다시 편향된 컷 스코어를 산출합니다.

While this may sound appealing, given that the cut‐score is derived from the performances of the latter group, classifying nearly all candidates as borderline acceptable seriously raises questions about the quality of the examination, instruction, and other factors, while yielding a cut‐score that is again biased in ways that are difficult to ascertain.


이 점과 관련하여, 경계선 그룹 방법은 후자 그룹이 충분히 큰 숫자로 구성되어야 합니다. 그렇지 않으면 그 결과로 얻어진 cut-score는, (가장 단순한 경우의 중위수 점수 또는 보다 복잡한 통계 모델링에 기초한 예측 값(예: 로지스틱 회귀 분석, 잠재 클래스 분석 등)이든), 불안정하고 '역량'을 부적절하게 반영할 것이다. 전통적인 대조집단 표준 연습에서 요구되는 과제의 이분법적 성격을 고려할 때, 패널리스트는 borderline acceptable performance라는 선택지가 없을 때, 허용가능과 허용불가능으로 나누기 어려울 수 있다. Plake와 Hambleton[56]은 의사결정 척도의 세밀한 축척을 허용하는 방법의 확장을 제안했다. 
Related to this point, the borderline group method does require that the latter group be composed of a sufficiently large number or the resulting cut‐score, whether the median score in the simplest case or a predicted value based on more complex statistical modelling (e.g. logistic regression, latent class analysis, etc.), will be unstable and inappropriately reflect ‘minimal competency’. Given the dichotomous nature of the task that is required in a traditional contrasting groups standard exercise, it might also be difficult for panellists to classify candidates as either unacceptable or unacceptable, with no option for a borderline acceptable performance. Plake and Hambleton [56], amongst others, proposed an extension of the method that does allow for a finer gradation of the decision scale.

마지막으로, 두 가지 방법 모두 의료 교육자가 응시자를 잘못 분류했을 때의 결과를 요약하는 정책을 명확히 수립하는 것이 중요합니다. [국민의 보호가 최우선 고려 대상]인 경우 위양성(불합격해야 할 응시생의 합격)과 위음성(합격해야 하는 응시생의 불합격) 결정을 동등하게 다루는 것은 바람직하지 않을 수 있다. 이 경우, 위양성 분류를 최소화하는 것이 더 큰 관심사이다. 반대로 부담이 낮은lower stake 설정에서는 거짓 음성 오류를 최소화하는 정책도 완전히 수용가능하다.
Finally, it is critical, for both methods, that the medical educator clearly set a policy that outlines the consequences of misclassifying a candidate. Treating both false‐positive (passing a candidate who should have failed) and false‐negative (failing a candidate who should have passed) decisions equally might be quite undesirable in instances where protection of the public is of prime consideration. Under the latter scenario, minimising false‐positive classifications is of greater concern. Conversely, in lower‐stakes settings, minimising false‐negative errors could be perfectly acceptable as a policy. 

패널리스트에 전달된 엄청난 책임을 감안할 때 대조 그룹 및 경계선 회귀 방법과 관련된 모든 잠재적 제한은 그러한 표준 설정 연습에서 사회자moderator가 수행해야 하는 역할이 중요함을 다시 강조한다. 실제로 사회자moderator가 경계선 그룹 또는 대조 그룹 표준 설정을 '좌지우지make or break' 할 수 있다고 해도 과언이 아니다.
All of the potential limitations associated with the contrasting groups and borderline regression methods, given the immense responsibility that is conveyed upon panellists, again underscore the critical role that the moderator needs to play in such standard setting exercises. Indeed, it is not an exaggeration to state that the moderator can ‘make or break’ a borderline group or contrasting groups standard setting exercise.

호프스티 방법
Hofstee Method

기준 설정을 위한 준거 참조 접근법을 사용할 때, [의사결정과 관련된 정치적 고려]를 전혀 하지 않는다면, 수용할 수 없는 결과를 초래할 수 있다. 즉, 표준 설정의 결과로 얻어진 컷(cut) 점수는 지나치게 크거나 작은 비율의 후보를 합격하시키거나 불합격시키지 말아야 한다. 예를 들어, 특정 의료 전문 검사가 지속적으로 15%의 응시자 중 불합격시켜왔다고 가정해 보십시오. 또한 이 모집단은 매년 매우 유사하고 능력 면에서 우수하다고 가정한다. Angoff 연습 후 설정한 컷(cut) 점수가 후보자의 50%를 낙제시키는 결과를 가져온다면, 그 표준은 비현실적이며 정책적 관점에서 매우 받아들일 수 없을 것이다.

The use of criterion‐referenced approaches for setting a standard can lead to unacceptable outcomes in the absence of political considerations associated with the decision. That is, the cut‐score arrived at following a standard setting exercise should not result in failing or passing an unacceptably large or small proportion of candidates. To illustrate, assume that a given medical specialty examination has consistently failed around 15% of candidates. Further assume that this population is very comparable, ability wise, from year to year. If the cut‐score set after an Angoff exercise results in failing 50% of candidates, the standard is unrealistic and might very well be unacceptable from a policy standpoint.

Hofstee [58]는 '현실 확인reality check'을 제공하는 수단으로 패널 목록에 다음 질문을 하고 그에 대한 답을 (Hofstee) 플롯에 표시함으로써 '타협compromise'하는 방법을 제안했다.
As a means of providing a ‘reality check’, Hofstee [58] proposed a ‘compromise’ method that involves asking panellists the following questions, the answers to which are subsequently graphed in a (Hofstee) plot:


• 내용 전체를 고려할 때 최대 및 최소 허용 컷 점수는 얼마입니까? 이러한 값은 일반적으로 Hofstee 그림에서 Cmin 및 Cmax로 표시됩니다.
• Considering the content as a whole, what are the maximum and minimum tolerable cut‐scores? These are typically labelledCminandCmaxon the Hofstee plot.

• 최대 및 최소 허용 불합격률은 얼마입니까? 이러한 값은 일반적으로 Hofstee 플롯에 Fmax 및 Fmin으로 나열됩니다.
• What are maximum and minimum tolerable failure rates? These are usually listed as Fmax and Fmin on the Hofstee plot.

Hofstee 그림의 예는 그림 24.2에 나와 있습니다.
An example of a Hofstee plot is provided in Figure 24.2.

이 그림을 생성하려면 먼저 정확한 누적 백분율 분포를 계산해야 합니다. 이 분포는 점수 척도에 따라 각 지점에서 불합격할 후보자의 누적 비율을 요약합니다. 그런 다음 좌표(Cmin, Fmax)와 (Cmax, Fmin)를 그림 24.2와 같이 직선으로 표시하고 결합합니다. 이 직선과 분포곡선 사이의 교차점이 [Hofstee cut-score]에 해당합니다. 절단 점수는 x축에 표시된 'cut' value로 표시됩니다.
In order to create this plot, a cumulative percentagecorrect score distribution needs to first be computed. This distribution outlines the cumulative percentage of candidates who would fail at each point along the score scale. Then, the coordinates (Cmin, Fmax) and (Cmax, Fmin) are plotted and joined by a straight line, as illustrated in Figure 24.2. The point of intersection between this line and the frequency distribution corresponds to the Hofstee cut‐score. The cut‐score is illustrated by the ‘cut’ value shown on the x‐axis. 

그림 24.2에 설명된 예에서 패널리스트는 컷☆스코어가 55(Cmin) 이하, 85(Cmax) 이하가 되어야 한다고 생각했습니다. 마찬가지로, 고장률은 최소 10%(Fmin)여야 하지만 50%(Fmax)보다 높으면 안 된다는 것을 나타내었습니다. 두 좌표 세트를 모두 연결하고 x축에 선을 그리면 Hofstee 컷스코어 값 65가 생성되어 후보 코호트의 약 35%가 불합격합니다. Hofstee 방법의 목적은 일반적으로 기준 기준 표준이 Hofstee 기반 값의 근처에 속하는지 여부, 즉 기준 표준이 절단 점수 값과 고장률의 정치적 고려사항 및 전역적 인상과 일관되는지 여부를 결정하는 것이다[59].

In the example outlined in Figure 24.2, panellists felt that the cut‐score should be no lower than 55 (Cmin) and no higher than 85 (Cmax). Similarly, they indicated that the failure rate should be at least 10% (Fmin) but not higher than 50% (Fmax). Linking both sets of coordinates and drawing a line down to the x‐axis yields a Hofstee cut‐score value of 65, which would result in failing about 35% of the candidate cohort. The aim of the Hofstee method is generally to determine whether criterion‐referenced standards fall within the vicinity of the Hofstee‐based value, i.e. whether they are consistent with political considerations and global impressions of cut‐score values and failure rates [59].

장점 및 제한 사항
Advantages and Limitations

Hofstee 방법의 주요 장점은 패널리스트가 [거의 또는 아무런 제한 없이 컷-점수 값과 불합격률에 대한 전체적인 판단]을 제공할 수 있다는 것입니다. 패널리스트는 경험, 테스트 내용에 대한 지식 및 검사 목표에 따라 성능 매개변수 한계를 정의해야 합니다. Hofstee 방법을 구현할 수 있는 유연성과 용이성 또한 주요 한계입니다. 즉, 이 방법은 일반적으로 [1차 기준 설정 방법이 아니라], 시험자 중심의 다른 접근방식을 보완하기 위한 ['reality check' 또는 대체 방법]으로 간주된다.

The primary advantage of the Hofstee method is that it allows panellists to offer holistic judgements on cut‐score values and failure rates with few to no constraints. Based on their experience, knowledge of the test content, and objective of the examination, panellists must define performance parameter limits. The flexibility and ease with which one can implement the Hofstee method also constitutes its chief limitation. That is, it is not generally viewed as a primary standard setting method but rather as a ‘reality check’ or fall‐back method meant to complement other approaches, whether test‐ or examinee‐centred. 

이처럼 Hofstee 방법은 supportive한 역할을 한다고 했을 때, 실무자가 패널 리스트의 일반적인 기대치에 따라 더 전통적인 방법으로 설정된 컷-스코어가 사라지는지를 판단하는 데 도움이 되는 귀중한 정보를 제공할 수 있습니다. 그러나 그러한 특수성을 고려할 때 일반적으로 개별 측정치로 사용해서는 안 된다. 의료 교육 분야에서 점점 더 많이 사용되는 표준 설정의 또 다른 방법은 박스 24.8에서 논의된다. 
 

Within this supporting context, the Hofstee method can provide valuable information that can help the practitioner gauge whether a cut‐score set with a more traditional method gibes with the general expectations of panellists. However, it should generally not be used as a standalone measure given its ad hoc nature. Another more controversial method of standard setting increasingly used in the medical education arena is discussed in the Box 24.8. 

기준 참조 표준 설정 방법 선택
Selecting a Criterion‐referenced Standard Setting Method

미국교육연구협회 '교육 및 심리검사를 위한 표준'[61, 페이지 53]은 '모든 시험 또는 모든 목적에 대해 cut-score를 결정하는 유일한 방법은 있을 수 없으며, 어떤 단일한 절차도 방어성을 완전히 확립할 수는 없다'고 분명히 명시하고 있다. 이러한 노선을 따라 Angoff[61]는 '컷(cut) 점수 설정 문제와 관련하여, 서로 일치하는 결과를 산출하지 못할 뿐만 아니라 반복 적용 시에도 동일한 결과를 산출하지 못하는 몇 가지 판단 방법을 관찰했다'고 언급했다.

The American Educational Research Association ‘Standards for Educational and Psychological Testing’ [61, p. 53] clearly state that ‘there can be no single method for determining cut‐scores for all tests or for all purposes, nor can there be any single set of procedures for establishing their defensibility’. Along these lines, Angoff [61] also noted that ‘regarding the problem of setting cut‐scores, we have observed that the several judgemental methods not only fail to yield results that agree with one another, they even fail to yield the same results on repeated application’.

어떤 하나의 방법으로도 '최적' 절단 점수 값을 식별할 수 없음에도 불구하고, 후자는 항상 전문적인 판단에 포함되기 때문에, 의학 교육자가 표준 설정 접근방식을 선택할 때 고려하고자 하는 여러 요소가 있다. 다음은 이러한 요인에 대한 개요입니다.

Despite the fact that no single method can lead to the identification of an ‘optimal’ cut‐score value, as the latter is always embedded in professional judgement, there are nonetheless a number of factors that the medical educator might wish to consider when selecting a standard setting approach. An overview of these factors is presented next.

[명확한 표준 설정 프로세스를 준수하는 정도]가 cut-score에 가장 큰 영향을 미칩니다. 무슨 방법을 쓰든지, 표준 설정 과정에는 [표준 설정 연습 및 시험의 목표에 대한 명확한 정의, 잘못된 인식을 최소화하기 위한 패널리스트의 광범위한 교육, 그리고 최소한의 숙련도 또는 허용 가능한 성과를 구성하는 것이 무엇인지에 대한 명확한 개요]가 포함되어야 한다. 그러나 시험 목표와 시험 점수 사용자가 원하는 관련 결정을 고려하여 가장 적합한 표준 설정 방법을 선택하는 것은 여러 요인을 고려할 수 있다.

The extent to which a clear standard setting process is adhered to has the greatest impact on the cut‐score. This process, regardless of the method adopted, should include a clear definition of the objective of the examination as well as the standard setting exercise, extensive training of panellists to minimise any misconceptions, as well as a clear outline of what constitutes minimal proficiency or a borderline acceptable performance. However, a number of factors can be considered to select a standard setting method that might be most suitable given the intended aims of the examination and the associated decision that the test score user wishes to make.

첫 번째 질문 중 하나는 [시험 형식]이 어떻게 되는지이다.

• 지식 기반 검사(예: MCQ)의 경우 패널리스트가 완료해야 하는 과제를 감안할 때, 즉 실제 테스트 항목의 검토에 근거하여 컷(cut) 점수를 추정하는 것이 가장 적절하다.
• 반대로 OSCE 및 작업 공간 기반 작업과 같은 성능 평가의 경우 복잡한 다차원 성능 특성을 고려할 때 검사 중심 방법이 표준을 설정하기에 더 적합합니다. 후자는 일반적으로 성과에 대한 전체론적 판단을 수반한다.

One of the first questions to ask is what is the format of the examination?

• For knowledge‐based examinations (e.g. MCQs), test‐centred methods are most appropriate given the task that panellists are asked to complete, i.e. estimate a cut‐score based on a review of the actual test items.
• Conversely, for performance assessments, such as OSCEs and workplace‐based tasks, examineecentred methods are more suitable for setting a standard given the complex, multi‐dimensional nature of performance. The latter typically entail holistic judgements of performance.

둘째, 사용자는 시험 형식을 고려할 수도 있습니다. 예를 들어, 일부 표준 설정 방법(예: Nedelsky 방법)은 MCQ와 함께 사용하기 위해 개발되었습니다. 일부 방법은 서로 다른 형식(예: Angoff 방법)으로 사용할 수 있지만, 기대치를 충족할 수도 있고 충족하지 못할 수도 있는 특정 가정이 이루어진다. 예를 들어, Angoff 방법과 그 파생물offshoot들은 본질적으로 수행능력이 보상적compensatory이라고 가정한다. 즉, 응시자들은 다른 섹션에서 잘함으로써 시험의 특정 부분에서 잘 하지 못한 것을 보상할 수 있다. 따라서 이러한 방법들은 서로 다른 요소들이 성공적으로 독립적으로 완성되어야 하는 결합적 환경에서는 적절하지 않을 것이다. 다른 방법(Hofstee, 대조군)은 테스트 형식에 무관하도록test-format invariant 개발되었습니다.
Second, the user may also wish to consider the format of the examination. For example, some standard setting methods (e.g. the Nedelsky method) were developed exclusively for use with MCQs. While some methods can be used with different formats (e.g. Angoff methods), certain assumptions are made that may or may not meet expectations. For example, the Angoff method and its offshoots assume that performance is compensatory in nature, i.e. candidates can compensate for doing poorly in certain parts of the examination by doing well in other sections. These methods would therefore be inappropriate in a conjunctive setting, where different components need to be successfully and independently completed. Other methods (Hofstee, contrasting groups) were developed as test‐format invariant.
 

종종 공표되는 한 가지 잘못된 믿음은 표준을 설정할 때 [다수의 방법을 결합하면 '더 나은 컷 스코어'를 제공한다는 것]이다. 표준 설정과 삭감 점수 선택은 정보에 입각한 판단에서 도출되기는 하지만, 궁극적으로는 [정책 결정]이라는 점을 반복적으로 강조할 수 밖에 없다. 복수의 방법을 결합하면 '더 나은' 표준이 될 것이라는 증거는 거의 없다[57]. '올바른correct' cut-score가 없는데, 어떻게 여러 접근방식의 결과를 종합할 수 있는가? 또한 이 전략에는 훨씬 더 많은 리소스가 필요합니다. 몇 가지(부실하게) 구현된 접근법의 결과를 제공하기보다는 항상 하나의 표준 설정 방법을 체계적으로 구현하는 것이 더 낫다. 

One erroneous belief that is often promulgated is the one that suggests that combining a multitude of methods when setting a standard will provide a ‘better cutscore’. It is important to reiterate that standard setting and the selection of a cut‐score are ultimately policy decisions, albeit derived from informed judgement. There is little evidence to suggest that combining multiple methods will lead to a ‘better’ standard [57]. Since there is no ‘correct’ cut‐score, how can policy makers synthesise results from multiple approaches? This strategy also requires significantly more resources. It is always better to systematically implement one standard setting method rather than provide results from several (poorly) implemented approaches.

다시 말하지만, [cut-score에 뒤따르는 프로세스]가 궁극적으로 방어해야 할 사항입니다. 후자는 기준 설정 연습의 [모든 단계를 적절히 문서화]하여, 패널리스트의 [선발과 훈련을 명확히 기술]하고, cut-score의 사용을 [뒷받침하는 경험적 증거]를 제공하는 것을 포함한다. 이러한 데이터에는 일반적으로 컷-점수 값에 대한 변동성 소스(판단, 패널 등)의 영향뿐만 아니라 컷-점수 구현 결과(예: 과거 추세에 비추어 합격/불합격률의 적절성)가 포함된다. 절단 점수 확인의 중요성은 다음 섹션에서 강조합니다(상자 24.9 참조).

Again, the process that is followed when arriving at a cut‐score is ultimately what needs to be defended. The latter includes properly documenting all phases of a standard setting exercise, clearly describing the selection and training of panellists, as well as providing empirical evidence to support the use of a cut‐score. These data typically include the impact of sources of variability (judges, panels, etc.) on the cut‐score value as well as the consequences of implementing a cut‐score (e.g. the appropriateness of pass/fail rates in light of historical trends). The importance of validating any cut‐score is underscored in the next section (see Box 24.9).

컷-점수를 지원하기 위한 유효성 증거 수집
Gathering Validity Evidence to Support a Cut‐score

어떤 표준 설정 방법을 채택하였든, [얻어진 표준을 검증하기 위한 증거를 수집하는 것]은 중요한 단계입니다 [62, 63]. 이 장에서 언급한 바와 같이, 모든 표준 설정 연습에서 궁극적으로 중요한 것은 프로세스가 체계적으로 준수되고 여러 증거 소스를 사용하여 방어될 수 있는 범위입니다. 
Regardless of the standard setting method adopted, gathering evidence to validate the resulting standard is a critical step [62, 63]. As stated throughout this chapter, what is ultimately of importance with any standard setting exercise is the extent to which a process is systematically adhered to and can be defended using a number of evidential sources.

[절차적 타당성procedural validity을 뒷받침하는 근거]는 표준 설정 보고서에 명확히 기록될 필요가 있다. 이것은 일반적으로 모든 표준 설정 보고서의 첫 부분으로 구성되며, 다음을 포함하여 연습의 각 단계에 대한 철저한 설명을 수반한다.
The evidence to support procedural validity needs to be clearly documented in the standard setting report. This usually comprises the first part of any standard setting report and entails a thorough account of each step of the exercise including:
 

• • 대상 시험의 개요 및 목적
• • 근거 근거와 함께 구현된 선택된 표준 설정 방법에 대한 명확한 설명.
• • 전문가 심판단 선정 과정, 심사위원의 자격 설명, 전문직 전체를 대표하는 정도 설명
• • 훈련 과정, 성과 표준의 정의 및 데이터 수집 방법을 포함한 연습의 모든 단계에 대한 개요

• An overview of the targeted examination and its purpose.

• A clear articulation of the selected standard setting method implemented with a supporting rationale.

• The process used to select the panel of expert judges, as well as a description of their qualifications and the extent to which they represent the profession as a whole.

• An outline of all phases of the exercise, including the training process, definition of the performance standard, and how data were collected.

표준 설정 연습의 다양한 측면에 대한 조사 패널 목록은 절차적 타당성 증거를 뒷받침하는 마지막 중요한 부분을 구성합니다. 패널 리스트가 공정에서 얼마나 신뢰하며, 더 중요한 것은 컷-스코어 결과에서 얼마나 신뢰합니까? 훈련 단계에 대한 심판의 인상과 점수를 평가하는 것은 모든 표준 설정 연습에 대한 강력한 확인을 제공할 수 있다.
Surveying panellists on various aspects of the standard setting exercise constitutes a final important piece of supporting procedural validity evidence. How confident are the panellists in the process and, more importantly, in the resulting cut‐score? Evaluating judges’ impressions of the training phase as well as the cut‐score can provide strong confirmation for any standard setting exercise.
 

대부분의 기준 참조 검사의 높은 위험 특성을 고려할 때 cut-score의 내부 타당도를 뒷받침하는 증거도 매우 중요하다. 즉, 절단 점수의 추정은 얼마나 정확하며 관심 있는 모든 측면에서 얼마나 재현 가능합니까? 정밀도와 관련하여, 항목 응답 능력 지표와 관련된 항목 응답 능력 지표의 경우, 절단 점수와 관련된 숙련도 추정치의 (조건부) 표준 오차는 후자 값의 안정성을 직접적으로 나타낼 수 있다. 관측된 점수 척도(예: 숫자 , 오른쪽, 백분율 correct 정확 등)를 사용하여, 실무자는 복합 이항 모델을 사용하여 절단 점수와 관련된 오차의 양을 추정할 수도 있다[64].
Evidence to support the internal validity of the cut‐score is also of great importance given the high‐stakes nature of most criterion‐referenced examinations. That is, how precise is the estimate of the cut‐score and how reproducible is it across any facet of interest? With regard to precision, if the cut‐score is relatable to an item response theory ability metric, the (conditional) standard error of the proficiency estimate associated with a cut‐score can provide a straightforward indication of the stability of the latter value. With an observed score scale (e.g. number‐right, percentage‐correct, etc.), the practitioner can also estimate the amount of error associated with a cut‐score using a compound binomial model [64].
 

또한, 표준 설정에 참여하는 심판, 심판 패널(여러 그룹이 참여하는 경우), 선택한 항목/스테이션 등의 기능으로 절단 점수가 영향을 받는 정도는 [일반화가능도 이론]을 사용하여 쉽게 평가할 수 있다[8, 65]. 이 프레임워크를 통해 의료 교육자는 위에 열거된 측정 오류의 측면 또는 잠재적 원천에 기인할 수 있는 점수(컷☆스코어 포함)의 변동성을 추정할 수 있다. 이와 유사하게, IRT 기반 등급 척도 모델[66]은 또한 후보자의 능력 분포, 항목/역의 어려움 및 등급의 엄격성과 관련하여 유용한 정보를 제공할 수 있다. 내부 타당도 의 증거를 수집하기 위해 사용하는 모델의 복잡성에 관계없이, 이 중요한 정보의 출처는 절단 점수가 추정되는 안정성이나 정밀도에 대한 지표를 제공하는 데 있으며, 주로 오용을 최소화하기 위해 실무자에게 일부 경계를 제공하는 데 있다.
Additionally, the extent to which the cut‐score is impacted as a function of the judges participating in an exercise, the panel of judges (if multiple groups are involved), the items/stations selected, etc. can be readily assessed using generalisability theory [8, 65]. This framework allows the medical educator to estimate the amount of variability in scores (including the cut‐score) that can be ascribed to any facet or potential source of measurement error as listed above. Similarly, IRT‐based rating scale models [66] can also provide useful information with respect to the ability distribution of candidates, difficulty of items/stations, as well as stringency of raters. Regardless of the complexity of the models utilised to gather evidence of internal validity, the aim of this critical source of information is to provide an indication of the stability or precision with which a cut‐score is estimated, primarily to provide some boundaries to the practitioner in order to minimise its misuse.
 

[절단 점수의 외부 타당도external validity을 뒷받침하는 증거]도 표준 설정 노력의 일부가 되어야 한다. 이는 표준 구현의 영향과 직접 관련이 있기 때문이다. (과거의) 불합격률에 미치는 영향에 비추어 절단 점수의 합리성을 평가하는 것은 일반적으로 외부 검증 노력의 핵심이다. 예를 들어, 일반적으로 졸업 OSCE에서 한 학년의 10~12% 사이에서 불합격해왔다고 가정해보자. 표준 설정 연습에 따른 55%의 불합격률이 나왔다면, 코호트가 과거 그룹 및 유사한 난이도의 OSCE와 비교할 수 있는 능력을 가졌다고 가정할 때 컷(cut) 점수 및 그 적정성에 대한 상당한 정밀 조사를 보증할 것이다.
Evidence to support the external validity of a cut‐score should also be part of any standard setting effort as this relates directly to the impact of implementing a standard. Assessing the reasonableness of the cut‐score in light of its impact on failure rates is generally at the core of external validation efforts. For example, assume that a graduation OSCE has typically failed between 10 and 12% of a class. A failure rate of 55%, following a standard setting exercise, would warrant considerable scrutiny of the cut‐score and its appropriateness, assuming that the cohort is of comparable ability to past groups and the OSCE of a similar difficulty level.
 

(표준 설정의) 결과를 [다른 평가와 비교하는 것]은 제안된 모든 절단 점수에 대한 외부 타당도의 또 다른 중요한 원천을 구성한다. 예를 들어, 유사한 구조(예: 이전 OSCE)를 측정하는 다른 시험에서의 합격/불합격률 또는 학생 현황과 얼마나 비교가 됩니까? 두 번의 검사가 정확히 동일한 도메인 조합을 측정할 것이라고 기대하지는 않지만, 그럼에도 불구하고 대부분의 응시자들에게 동등한 지위를 줄 것입니다.

A comparison of results to other assessments constitutes another important source of external validity for any proposed cut‐score. For example, how comparable are pass/ fail rates to grades or the status of students on other examinations measuring similar constructs (e.g. a prior OSCE)? Though we would not expect two examinations to measure exactly the same combination of domains, they should nonetheless yield a comparable standing for most candidates.

결론
Conclusions

표준 설정은 학부 교육에서 의사 재검증 노력에 이르기까지 의료 교육의 모든 평가 활동에서 필수적인 부분입니다. 응시자가 시험의 기초가 되는 역량을 습득했는지 여부를 결정하는 것은 개별적인 판단뿐만 아니라 프로그램 효과성, 교육 효과성 등을 평가하는 데 사용되는 핵심 결과이다. [67, 68].
Standard setting is an intrinsic part of all assessment activities in medical education, from undergraduate training to physician revalidation efforts. Determining whether a candidate has mastered any number of competencies underlying an examination is a key outcome used not only to render individual judgements but also to evaluate programme effectiveness, teaching efficacy, etc. [67, 68].

무엇보다도, gold standard가 없으며, 모든 cut-score는 궁극적으로 ['역량'을 구성하는 수준]에 대해서 [내용전문가 집단이 내린 정보에 입각한 판단]을 반영한다는 점을 다시 한 번 강조해야 한다. 따라서 표준 설정 프로세스를 체계적으로 따르고 적절한 경험적 증거를 사용하여 이를 사용하는 것이 그러한 연습의 핵심이다.
First and foremost, it is important to reiterate that there is no gold standard and that all cut‐scores ultimately reflect informed judgement from a group of content experts on what level of performance constitutes ‘competency’. Systematically following a standard setting process and supporting its use with appropriate empirical evidence is therefore central to any such exercise.

시험에 대한 cut-score 결정에 어떤 방법을 사용하든, 표준 설정 연습을 수행하기 전에 몇 가지 문제를 해결해야 한다.
Irrespective of the method selected to arrive at a cutscore on an examination, several issues need to be addressed prior to undertaking a standard setting exercise. 

첫째, 심사 위원단은 모든 시험 이해관계자의 축소판으로 보아야 하며, 따라서 지리적 영역, 의과대학 위치, 전문성, 성별 또는 민족성이 직업에 의해 중요하다고 간주되는 특성을 반영해야 한다. 그러한 광범위한 패널을 소집하는 것은 대부분의 전문직 종사자들의 견해가 실무에 통합되고 궁극적으로 표준이 되도록 보장할 것이다.
First, the panel of judges should be viewed as a microcosm of all exam stakeholders and as such should mirror any characteristic deemed important by the profession, be that geographical area, medical school location, specialty, gender, or ethnicity. Convening such a broad panel will ensure that views from most members of the profession are incorporated in the exercise, and ultimately, the standard.
 

모든 표준 설정 패널에 적합한 수의 패널 목록을 결정하는 것도 중요합니다. 너무 적은 수의 패널리스트를 초대하는 것은 바람직하지 않다. 한 명의 반대 심판의 판단이 최종 컷-점수의 가치에 과도한 영향을 미칠 수 있기 때문이다. 반면에 지나치게 대형 패널을 구성하는 것은 비용 효율적이지 않을 수 있습니다. 따라서 위에서 설명한 바와 같이 패널집단에게 원하는 특성을 명확하게 식별하면, 패널의 최적 크기를 결정하는 데 귀중한 정보를 제공할 수 있다.

Determining a suitable number of panellists for any standard setting panel is also critical. Inviting too few panellists is ill‐advised, as the judgements of a single dissenting judge could have an undue impact on the value of the final cut‐score. On the other hand, assembling a large panel may not be cost‐effective. Consequently, clearly identifying the desired characteristics of the group, as outlined above, can provide valuable information for determining the panel’s optimal size. 

일단 cut-score가 설정되면, 정치적 또는 내용적 성격에 기반하여 직업에서 발생할 수 있는 모든 변화에 비추어 지속적인 적합성을 보장하기 위해 모든 검사의 컷(cut) 점수를 주기적으로 재검토하는 것도 중요하다. 마지막으로, 표준 설정 방법이 다르면 컷-점수 값이 달라진다는 점을 다시 언급하는 것이 중요합니다. 

Once set, it is also important that the cut‐score for any examination be periodically revisited to ensure its continued appropriateness in light of any changes that may have occurred in the profession, whether political or content‐based in nature. Finally, it is important to restate that different standard setting methods will produce different cut‐score values.

모든 표준 설정 연습의 중심 목표는 다음과 같아야 한다.

• (i) 특정 방법의 선택을 방어한다.
• (ii) 연습 내내 따르는 모든 단계를 꼼꼼하게 문서화해야 한다.
• (iii) 기준의 선택은 가능한 한 많은 경험적 증거에 기초하며, 주어진 cut-score 채택의 결과뿐만 아니라, 전체적 인상을 고려한다

The central aim in any standard setting exercise should be to:

• (i) defend the choice of a particular method,
• (ii) meticulously document all steps followed throughout the exercise, and
• (iii) base the selection of the standard on as much empirical evidence as possible, factoring in global impressions as well as the consequences of adopting a given cut‐score.

OSCE의 퀄리티 측정하기: 계량적 방법 검토 (AMEE Guide no. 49) (Med Teach)
How to measure the quality of the OSCE: A review of metrics – AMEE guide no. 49
GODFREY PELL, RICHARD FULLER, MATTHEW HOMER & TRUDIE ROBERTS
University of Leeds, UK

도입
Introduction

학문 분야에서 높은 수준의 의사결정을 지원하기 위해 사용되는 테크닉의 정밀 조사가 증가함에 따라, 준거 기반 평가(CBA)는 신뢰할 수 있고 구조화된 방법론적 접근방식을 제공한다. 역량 기반 방법론으로서, CBA는 '고부담' 종합 평가(예: 자격 수준 또는 학위 수준 검사)를 제공하고 신뢰성과 타당성을 모두 높은 수준으로 입증할 수 있도록 한다. 이러한 평가 방법론은 [절대평가적이고, 모든 지원자에 대해 신중하게 표준화되었으며, 평가가 성과 목표와 명확하게 설계되고 밀접하게 연관되어 있다는 점]에서 '전통적인' 비정형 평가(예: viva voce)에 비해 많은 주요 편익이 있다는 점에서 매력적이다. 이러한 목표는 커리큘럼 결과 및 적절한 경우 학생과 교사 모두가 이용할 수 있는 규제 및 면허 기관이 정한 표준에 대해 명확하게 매핑할 수 있다. 
With increasing scrutiny of the techniques used to support high-level decision-making in academic disciplines, criterion-based assessment (CBA) delivers a reliable and structured methodological approach. As a competency-based methodology, CBA allows the delivery of ‘high stakes’ summative assessment (e.g. qualifying level or degree level examinations), and the demonstration of high levels of both reliability and validity. This assessment methodology is attractive, with a number of key benefits over more ‘traditional’ unstructured forms of assessment (e.g. viva voce) in that it is absolutist, carefully standardised for all candidates, and assessments are clearly designed and closely linked with performance objectives. These objectives can be clearly mapped against curricular outcomes, and where appropriate, standards laid down by regulatory and licensing bodies that are available to students and teachers alike. 

OSCE(Objective Structured Clinical Examination)는 [사전 정의된 목표에 대한 '청사진' 과정 내용으로 시작]하는 복잡한 프로세스 내에서 CBA 원칙을 사용합니다(Newble 2004). 여기서의 목적은 '올바른' 표준이 평가되고 OSCE의 내용이 커리큘럼 결과에 객관적으로 매핑되도록 하는 것이다. 수행능력은

• 스테이션 수준에서
• 항목 체크리스트를 사용하여 개별(행위의 순서와 함께)적으로 평가되고,
• 전반적 등급으로 평가되는데, 이 때는 평가자에 의해 덜 결정론적 전체 평가에 의존한다(Cohen et al. 1997; Regehr et al. 1998). 

The Objective Structured Clinical Examination (OSCE) uses CBA principles within a complex process that begins with ‘blueprinting’ course content against pre-defined objectives (Newble 2004). The aim here is to ensure both that the ‘correct’ standard is assessed and that the content of the OSCE is objectively mapped to curricular outcomes. Performance is scored,

• at the station level,
• using an item checklist, detailing individual (sequences of) behaviours, and
• by a global grade, reliant on a less deterministic overall assessment by examiners (Cohen et al. 1997; Regehr et al. 1998). 

성공적인 CBA을 제공하려면 충분한 품질과 견고한 표준 설정이 보장되어야 하며, 단순히 후보 성과candidate outcome에 대한 좁은 초점이 아닌, [평가되는 수행능력을 전체적]으로 신중히 고려할 수 있는 [광범위한 메트릭]에 의해 뒷받침된다(Roberts et al. 2006). OSCE는 복잡하고 자원 집약적이며, 대개 많은 수의 검사자, 후보자, 시뮬레이터 및 환자가 참여하며, 종종 병렬 사이트에서 이루어지기 때문에 '평가에 대한 평가assessing the assessment'는 필수적입니다. 
Central to the delivery of any successful CBA is the assurance of sufficient quality and robust standard setting, supported by a range of metrics that allow thoughtful consideration of the performance of the assessment as a whole, rather than just a narrow focus on candidate outcomes (Roberts et al. 2006). ‘Assessing the assessment’ is vital, as the delivery of OSCEs are complex and resource intensive, usually involving large numbers of examiners, candidates, simulators and patients, and often taking place across parallel sites. 

학부생들의 임상 역량을 판단하는 데 있어 [어떤 하나의 평가]도 충분하지 않은 것처럼, [어떤 하나의 계량]도 그 자체로도 평가 과정의 질을 의미 있게 판단하기에 충분하지 않다.
No single metric is sufficient in itself to meaningfully judge the quality of the assessment process, just as no single assessment is sufficient in judging, for example, the clinical competence ofan undergraduate student

OSCE 평가 품질 이해: 통칙, 일반원칙
Understanding quality in OSCE assessments: General principles

OSCE 지표에 대한 검토는 OSCE 품질을 검토하는 전체 프로세스의 일부일 뿐이며, 이는 광범위한 평가 프로세스에서 모든 관계를 수용해야 한다는 것을 인식하는 것이 중요합니다(그림 1). 
It is important to recognise that a review of theOSCE metrics is only part of the overall process of reviewing OSCE quality, which needs to embrace all relationships in the wider assessment process (Figure 1). 

국가단위 시험에서 OSCE가 구조의 일부로 사용되는 경우 스테이션은 공통 표준에 따라 중앙에서 설계되고 일반적으로 중앙 관리부에서 제공합니다. 그러나, 특정 의과대학 내에서 설계된 평가와 같이 지역적 수준에서, 예를 들어, 일부 변동은 시험을 설정하는 기관의 중요성과 복잡성에 따라 달라질 것이다.
Where OSCEs are used as part of a national examination structure, stations are designed centrally to a common standard, and typically delivered froma central administration. However, at the local level with the assessment designed within specific medical schools, some variation, for example instation maxima will result dependant upon the importance andcomplexity of the station to those setting the exam

이 가이드는 주로 개별 의과대학 내 지역 수준에서 임상 평가에 참여하는 사람들을 대상으로 하며, 평가가 여러 분야에 걸쳐 이루어질 수 있지만 단일 투여이다. 국가 임상평가와 관련된 사람들은 다른 관점을 가질 가능성이 높다. 

This guide is aimed primarily at those involved with clinical assessment at the local level within individual medical schools, where, although the assessment may take place across multiple sights, it is a single administration. Those involved with national clinical assessments are likely to have a different perspective. 

합격선 설정 방법은 무엇입니까?
Which method of standard setting?

합격선 설정 방법에 따라 품질 평가에 사용할 수 있는 메트릭이 결정됩니다(Cizek & Bunch 2007;Strainer & Norman 2008). 
The method of standard setting will determine the metrics available for use in assessing quality (Cizek & Bunch 2007;Streiner & Norman 2008)

[합격선]이 방어가능하고 입증가능하며 수용가능해야 한다는 요구사항(Norcini 2003)이 있어서, 일반적으로 절대평가기준을 사용한다. 합격선 설정의 모든 방법은 많은 사후 측정 지표(예: 스테이션 통과율, 고정 효과(현장 간 평가 및 비교 시간) 또는 표시 분포 빈도)를 생성하지만, 추가 품질 측정치를 생성하는 합격선 설정 방법을 선택하는 것이 중요하다. 현재 많은 기관들이 경계선borderline을 선호하고 있지만, 회귀 방법regression만이 글로벌 성적과 체크리스트 점수 사이의 관계와 약자와 강자의 변별 수준을 어느 정도 알려줄 것이다.
With the requirement for standards to be defensible, evidenced and acceptable (Norcini 2003), absolute standards are generally used. Whilst all methods of standard setting will generate a number of post hoc metrics (e.g. station pass rates, fixed effects (time of assessment and comparison across sites)or frequency of mark distribution), it is important to choose a method of standard setting that generates additional quality measures. At present, a large number of institutions favour borderline, but only the regression method will give someindication of the relationship between global grade and checklist score and also the level of discrimination between weaker and stronger students.

Table 1 

저자들은 BLR 방법이 평가자와 후보자 간의 모든 평가 상호작용을 사용하기 때문에 선호하고, 이러한 상호작용은 '실제real'이다. 이는 많은 수의 평가자를 사용하여 사전 결정된 기준에 객관적으로 기반하며 광범위한 메트릭스를 생성합니다.  
The authors favour the BLR method because it uses all theassessment interactions between assessors and candidates, and these interactions are ‘real’. It is objectively based on pre-determined criteria, using a large number of assessors and generates a wide range of metrics.  

BLR 방법에서 평준화된 비판 중 하나는 이상치outliers에 민감하다는 것이다. 이러한 이상치는 세 가지 주요 그룹에서 발생합니다.  
One of the criticisms sometimes levelled at the BLR method is its possible sensitivity to outliers. These outliers occur in three main groups:  

. 성적이 매우 나쁘고 체크리스트 점수가 0에 가까운 학생. 
. Students who perform very badly and obtain a near zero checklist score. 

. 우수한 체크리스트 점수를 획득했지만 평가자에게 전체적으로 깊은 인상을 주지 못한 학생
. Students who achieve a creditable checklist score but whofail to impress the assessor overall. 

. 전반적 점수overall grade를 잘못 매기는 평가자.
. The assessor who gives the wrong overall grade.

스테이션 레벨 품질 메트릭을 생성하는 방법
How to generate station level quality metrics? 

표 2는 일반적인 OSCE의 측정 지표에 대한 '표준' 보고서를 자세히 설명합니다(2일 동안 20개 스테이션, 총 시험 시간 3시간, 4개 검사 센터에 분산). 
Table 2 details a ‘standard’ report of metrics from a typicalOSCE (20 stations over 2 days, total testing time  3 h, spreadover four examination centres). 

응시자는 다음으로 구성된 합격 프로필을 충족해야 합니다.

• 전체 합격 점수, 
• 통과된 스테이션의 최소 수(보상을 방지하고, 유능한 '올라운드' 의사 요건에 충실함)
• 수용가능한 환자 평가의 최소 수

Candidates are required to meet apassing profile comprising of

• an overall pass score,
• minimum number of stations passed (preventing compensation, and adding the fidelity to the requirement for a competent ‘all round’ doctor) and
• a minimum number of acceptable patient ratings.

평가자는 항목 체크리스트를 완료하고 전체 글로벌 등급(OSCE의 글로벌 등급은 0 = 클리어 실패, 1 경계선, 2단계 클리어 패스, 3단계 매우 우수한 합격 및 4단계 합격으로 숫자로 기록됨)  

Assessors complete and item checklist, and then an overall global grade (The global grades in our OSCEs arerecorded numerically as 0 = clear fail, 1¼borderline, 2¼clearpass, 3¼very good pass and 4 ¼excellent pass).  

합격선 설정에 BLR 방법이 사용되었습니다(Pell & Roberts 2006). 일반적으로 이러한 OSCE는 약 60,000개의 데이터 항목을 생성합니다. 
The BLR method was used for standard setting (Pell &Roberts 2006). Typically such an OSCE will generate roughly 60,000 data items 

체크리스트 점수와 더불어 글로벌 등급이 부여되는 합격선 설정의 경계선 방법에서는 함께 제공되는 메트릭이 평가의 품질을 측정하는 데 유용합니다. 에벨과 앙고프 처럼 전역 등급global grade이 합격선 설정 절차의 일부를 형성하지 않는 다른 유형의 합격선 설정의 경우, 등급 간 변별 및 결정 계수(R2)는 적용되지 않는다(Cusimano 1996). 

Under any of the borderline methods of standard setting, where a global grade is awarded in addition to the checklist score, accompanying metrics are useful in measuring the quality of the assessments. For other types of standard setting, where such a global grade does not form part of the standard setting procedure, e.g. Ebel and Angoff, inter-grade discrimination and coefficient of determination (R2) will not apply (Cusimano 1996). 

계량 1: 크론바흐의 알파
Metric 1: Cronbach’s alpha

이것은 내적 일관성(일반적으로 완전히 정확한 것은 아니지만 '신뢰성'으로 생각됨)의 척도이며, 좋은 평가에서는 전반적으로(즉, 각 스테이션의 체크리스트 점수에 대해) 우수한 학생이 대체로 비교적 잘 해야 한다. 두 가지 형태의 알파(비표준화 또는 표준화)를 계산할 수 있으며, 이 가이드에서는 [비표준화 양식](SPSS의 기본 설정)을 참조합니다. 이 값은 [분산에 의해 가중치가 부여된 평균 상호 상관 관계]에 대한 측도로, 후보와 교차하는 단순 항목의 G-계수와 동일한 값을 산출합니다. 표준화된 환자와 실제 환자가 사용되고 개별 스테이션 지표가 표준화되지 않은 경우, 일반적으로 이러한 유형의 고부담 평가에서 허용 가능한 것으로 간주되는 알파의 (전체) 값은 0.7 이상이다. 
This is a measure of internal consistency (commonly, though not entirely accurately, thought of as ‘reliability’), whereby in a good assessment the better students should do relatively well across the board (i.e. on the checklist scores at each station). Two forms of alpha can be calculated – non-standardised or standardised – and in this guide we refer to the nonstandardised form (this is the default setting for SPSS). This is a measure of the mean intercorrelation weighted by variances, and it yields the same value as the G-coefficient for a simple model of items crossed with candidates. The (overall) value for alpha that is usually regarded as acceptable in this type of high stakes assessments, where standardised and real patients are used, and the individual station metrics are not standardised, is 0.7 or above. 

스테이션 메트릭이 [표준화된 경우] 더 높은 알파가 예상됩니다. 이 스테이션 집합에 대한 알파는 0.754였으며, (표 2의 두 번째 열에서) 비록 스테이션 17과 20이 이 점에서 거의 기여하지 못했지만, 전체적인 '신뢰성'에서 벗어난 스테이션은 없음을 알 수 있다. 
Where station metrics are standardised, a higher alpha would be expected. Alpha for this set of stations was 0.754, and it can be seen (fromthe second column of Table 2) that no station detracted from the overall ‘reliability’, although stations 17 and 20 contributed little in this regard. 

알파는 평가 항목 수에 따라 증가하는 경향이 있으므로, 항목/스테이션이 잘 수행되었다면, 특정 항목이 삭제된 경우, 알파는 전체 알파 점수보다 모두 낮아야 합니다. 그렇지 않은 경우에는 다음과 같은 이유로 인해 발생할 수 있습니다. 
Since alpha tends to increase with the number of items in the assessment, the resulting alpha if item deleted scores should all be lower than the overall alpha score if the item/ station has performed well. Where this is not the case, this may be caused by any of the following reasons: 

. [(삭제한) 아이템]이 나머지 항목 집합과 다른 구조를 측정하는 경우
. The item is measuring a different construct to the rest of the set of items.

. [(삭제한) 아이템]의 디자인이 불량한 경우
. The item is poorly designed. 

. [교육]에 문제가 있는 경우. 시험 주제가 제대로 학습되지 않았거나 응시자 그룹 간에 다른 기준에 따라 학습한 경우
. There are teaching issues – either the topic being tested has not been well taught, or has been taught to a different standard across different groups of candidates.  

. [평가자]들이 공통의 기준에 따라 평가하지 않은 경우
. The assessors are not assessing to a common standard.

그러나 평가 품질의 척도로 알파에만 의존할 수는 없습니다. 우리가 표시했듯이, 아이템 수가 증가하면 알파도 증가하게 되고, 따라서 단순히 아이템 수에서 충분한 길이를 갖는 것만으로 실제보다 균질해 보이는 척도를 만들 수 있습니다. 즉, 구별되는 구조를 측정하는 두 척도를 결합하여 하나의 긴 척도를 형성하면 잘못된 알파가 발생할 수 있습니다. 또한 항목 집합은 높은 알파를 가질 수 있지만 다차원적일 수 있습니다. 이러한 현상은 [클러스터 자체]가 딱히 서로 상관관계가 높지 않더라도, 서로 상관관계가 높은 [항목 클러스터(즉, 개별 차원 측정)]가 있을 때 발생합니다.
However, one cannot rely on alpha alone as a measure of the quality of an assessment. As we have indicated, if the number of items increases, so will alpha, and therefore a scale can be made to look more homogenous than it really is merely by being of sufficient length in terms of the number of items it contains. This means that if two scales measuring distinct constructs are combined, to form a single long scale, this can result in a misleadingly high alpha. Furthermore, a set of items can have a high alpha and still be multidimensional. This happens when there are separate clusters of items (i.e. measuring separate dimensions) which intercorrelate highly, even though the clusters themselves particularly do not correlate with each other highly.

알파가 너무 높아(예: >0.9) 평가에서 중복성을 나타낼 수 있는 반면, 낮은 알파 점수는 때로는 잘못 설계된 스테이션의 결과라기 보다는 스테이션 평균 점수의 큰 차이로 인한 것일 수 있다.
It is also possible for alpha to be too high (e.g. 40.9), possibly indicating redundancy in the assessment, whilst low alpha scores can sometimes be attributed to large differences in station mean scores rather than being the result of poorly designed stations.

우리의 철학은 알파를 포함한 하나의 메트릭만으로는 품질을 판단하는 데 항상 불충분하며, 알파는 높지만 다른 메트릭은 낮은 OSCE의 경우에는 이것이 고품질 평가를 나타내지 않는다는 것입니다.

Our philosophy is that one metric alone, including alpha, is always insufficient in judging quality, and that in the case of an OSCE with a high alpha but other poor metrics, this would not indicate a high quality assessment.

계량 2: 결정 계수 R2
Metric 2: Coefficient of determination R2

R2 계수는 독립 변수(글로벌 등급)의 변경으로 인한 종속 변수(체크리스트 점수)의 비례적 변화입니다. 이를 통해 우리는 체크리스트 점수와 각 스테이션의 전체 글로벌 등급 사이의 (선형) 상관 관계의 정도를 결정할 수 있으며, 전반적으로 전체 등급이 높을수록 일반적으로 더 높은 체크리스트 점수와 일치할 것으로 예상합니다. 결정 계수의 제곱근은 단순 Pearsonian 상관 계수입니다. SPSS 및 기타 통계 소프트웨어 패키지는 또한 R2의 조정 값을 제공하며, R2는 표본 크기와 모델의 예측 변수 수를 고려합니다(이 경우 1개). 이상적으로 조정된 값은 조정되지 않은 값에 가까워야 합니다.  

The R2 coefficient is the proportional change in the dependent variable (checklist score) due to change in the independent variable (global grade). This allows us to determine the degree of (linear) correlation between the checklist score and the overall global rating at each station, with the expectation that higher overall global ratings should generally correspond with higher checklist scores. The square root of the coefficient of determination is the simple Pearsonian correlation coefficient. SPSS and other statistical software packages also give the adjusted value of R2, which takes into account the sample size and the number of predictors in the model (one in this case); ideally, this value should be close to the unadjusted value. 

좋은 상관관계(R2 > 0.5)는 체크리스트 점수와 전역 성적 사이의 합리적인 관계를 나타내지만, 지나치게 상세한 global description가 단순히 해당 체크리스트 점수로 자동 변환되어 R2가 인위적으로 부풀어 오르지 않도록 주의해야 한다. 표 2에서, 스테이션 14(실용 및 의료-법률적 기술 스테이션)의 R2 값은 0.697로 양호하며, 이는 학생들의 글로벌 등급 변동 중 69.7%가 체크리스트 점수의 변동에 의해 설명됨을 의미한다. 반대로 스테이션 19는 R2 값이 0.404로 만족도가 낮습니다. 환자의 안전과 바늘 부상 관리에 초점을 맞춘 새로운 스테이션이었다. R2가 낮았던 이유를 이해하려면 (예: SPSS 원곡선 추정을 사용하여) 관계를 그래픽으로 검토하여 체크리스트와 전역 등급 간 연관성의 정확한 특성을 조사하는 것이 도움이 됩니다(그림 2). 
A good correlation (R240.5) will indicate a reasonable relationship between checklist scores and global grades, but care is needed to ensure that overly detailed global descriptors are not simply translated automatically by assessors into a corresponding checklist score, thereby artificially inflating R2. In Table 2, station 14 (a practical and medico-legal skills station) has a good R2 value of 0.697, implying that 69.7% of variation in the students’ global ratings are accounted for by variation in their check list scores. In contrast, station 19 is less satisfactory with an R2 value of 0.404. This was a new station focusing on patient safety and the management of a needlestick injury. To understand why R2 was low, it is helpful to examine the relationship graphically (e.g. using SPSS Curve estimation) to investigate the precise nature of the association between checklist and global grade (Figure 2). 

스테이션 지표에 관계없이 항상 글로벌 등급에 대한 체크리스트 점수의 산포 그래프scatter plot를 일상적으로 표시할 것을 권장합니다. 
We would recommend always plotting a scatter graph of checklist marks against global ratings as routine good practice, regardless of station metrics. 

스테이션 19에서 우리는 두 가지 주요 문제가 있음을 알 수 있습니다. 즉, 각 글로벌 등급에 대한 광범위한 점수분포와 불합격 등급(X축에 0)이 부여된 매우 광범위한 점수분포입니다. 이는 일부 학생이 항목 체크리스트에서 많은 점수를 획득했지만, 전반적인 성과로 인해 평가자의 글로벌 낙제점수로 이어질 수 있다는 것을 나타냅니다. 
In station 19, we can see that there are two main problems – a widespread of marks for each global grade, and a very widespread of marks for which the fail grade (0 on the x-axis) has been awarded. This indicates that some students have acquired many of the marks from the item checklist, but their overall performance has raised concerns in the assessor leading to a global fail grade. 

'소개' 부분에서는 특이치outlier가 회귀법에 미치는 영향을 설명했습니다. 좋지 않은 체크리스트 점수의 예는 그림 3에서 확인할 수 있다. 다른 스테이션에서는 어떤 응시자가 체크리스트 점수에서 아주 낮은 경우를 것을 볼 수 있습니다. 이렇게 하면 [y축 회귀 절편 값을 줄이고 회귀선의 기울기를 늘리는 효과]가 있습니다. 표 2에 표시된 데이터의 경우, 특이치를 제거하고 통과 점수와 개별 스테이션 통과 점수를 재계산하면 차이가 거의 없어져 통과 점수가 0.2% 미만으로 증가합니다.
In ‘Introduction’ section, we raised the impact of outliers on the regression method. Examples of poor checklist scores but with reasonable grades can be observed in Figure 3. In other stations, we sometimes see candidates scoring very few marks on the checklist score. This has the effect of reducing the value of the regression intercept with the y-axis, and increasing the slope of the regression line. For the data indicated in Table 2, the removal of outliers and re-computation of the passing score and individual station pass marks makes very little difference, increasing the passing score by less than 0.2%.

이러한 체크리스트 점수와 전역global 등급 간의 만족스럽지 못한 관계는 첨부 표 3(SPSS에서 제작)에서 알 수 있듯이 어느 정도 비선형성을 유발하며, 여기서 최상의 적합이 분명히 cubic이라는 것이 그래픽적으로 명백하다. 수학적으로 말하면 cubit이 항상 더 나은 적합치를 생성하지만, parsimony를 중시한다면, 고차 모형을 선호하기 위해서는 두 적합치 사이의 차이가 통계적으로 유의해야 한다.
This unsatisfactory relationship between checklist marks and global ratings causes some degree of non-linearity, as demonstrated in the accompanying Table 3 (produced by SPSS), where it is clear graphically that the best fit is clearly cubic. Note that mathematically speaking, a cubic will always produce a better fit, but parsimony dictates that the difference between the two fits has to be statistically significant for a higher order model to be preferred.

중요한 점은 cubic이 기본적인 관계의 결과인지, 아니면 비정상적인 결과인지 여부이며, 이 결과가 부적절한 체크리스트 설계 또는 허용할 수 없는 평가자 채점 행동으로 인한 결과인지 여부이다. 이러한 판단을 할 때, 산란도scattergraph에 표시된 표시의 분포를 검토해야 한다. 우리 자신의 경험에 따르면 스테이션 지표가 일반적으로 품질이 양호한 경우 엄격한 선형성으로부터의 이탈은 우려의 원인이 되지 않습니다. 
The key point to note is whether the cubic expression is the result of an underlying relationship or as a result of outliers, resulting from inappropriate checklist design or unacceptable assessor behaviour in marking. In making this judgement, readers should review the distribution of marks seen on the scattergraph. Our own experience suggests that where stations metrics are generally of good quality, a departure from strict linearity is not a cause for concern. 

특정 스테이션에 [낮은 R2 값]이 존재하거나 특정 등급에 대한 점수분포가 광범위하다면, 항목 점검표 및 스테이션 설계를 검토하는 데 도움이 될 것이다. 이 특별한 경우, 스테이션에서는 안전하고 효과적인 관리에 대한 핵심적 강조가 의도되었지만, 이러한 지표에 비추어 체크리스트를 재평가한 결과 이러한 강조가 잘 표현되지 않았다. 점수가 낮은 응시자들은 '과정process'에서 많은 점수를 획득할 수 있었지만, 스테이션의 더 고차원적 기대(의사 결정의 초점)를 충족하지 못한 것이 분명하다. 이는 본 스테이션의 재작성 및 점검표를 통해 해결되었으며, 본 스테이션의 재이용 계획 및 향후 OSE 내 성과에 대한 후속 분석을 통해 해결되었습니다. 
The existence of low R2 values at certain stations and/or a widespread of marks for a given grade should prompt a review of the item checklist and station design. In this particular case, although there was intended to be a key emphasis on safe, effective management in the station, re-assessment of the checklist in light of these metrics showed that this emphasis was not well represented. It is clear that weaker candidates were able to acquire many marks for ‘process’ but did not fulfil the higher level expectations of the station (the focus on decision making). This has been resolved through a re-write of the station and the checklist, with plans for re-use of this station and subsequent analysis of performance within a future OSCE. 


계량 3: 등급 간 변별
Metric 3: Inter-grade discrimination

이 통계량은 회귀선의 기울기를 나타내며 [전역global 등급 척도에서 한 등급 상승에 해당하는 체크리스트 점수]의 평균 증가를 나타냅니다. '이상적' 값에 대한 명확한 지침은 없지만, 이 변별지수는 이용 가능한 최대 체크리스트 마크(데이터에서 일반적으로 30–35)의 10분의 1이 되어야 한다고 권고한다. 
This statistic gives the slope of the regression line and indicates the average increase in checklist mark corresponding to an increase of one grade on the global rating scale. Although there is no clear guidance on ‘ideal’ values, we would recommend that this discrimination index should be of the order of a tenth of the maximum available checklist mark (which is typically 30–35 in our data). 

낮은 등급 간 변별은 종종 다음과 같은 관측소에 대한 다른 좋지 않은 지표와 함께 동반된다.

• 낮은 R2 값(등급과 체크리스트 점수 사이의 전반적인 관계가 좋지 않음을 나타냄) 또는
• 높은 수준의 평가자 오차 분산(섹션 '측정지표 5: 그룹 간 변동'): 평가자가 공통 표준을 사용하지 못한 경우 

A low value of inter-grade discrimination is often accompanied by other poor metrics for the station such as

• low values of R2 (indicating a poor overall relationship between grade and checklist score), or
• high levels of assessor error variance (Section ‘Metric 5: Between-group variation’) where assessors have failed to use a common standard.

[성적 간 변별intergrade discrimination 수준이 너무 높으면] 합격점이 매우 낮거나 회귀선을 가파르게 만드는 소수의 불량 학생으로 인해 선형성이 부족하다는 의미일 수 있다. 체크리스트 점수의 측면에서 매우 낮은 학생 성적이 발생할 경우, 하향으로 전체 합격 점수에 과도한 영향을 미치지 않도록 매우 낮은very low 점수를 합격선 설정에서 제외해야 하는지 고려할 필요가 있습니다. 

Too high levels of intergrade discrimination may indicate either a very low pass mark, or a lack of linearity caused by a small number of badly failing students who tend to steepen the regression line. Where very poor student performance in terms of the checklist score occurs, consideration needs to be given to whether these very low scores should be excluded from standard setting to avoid excessive impact on overall passing scores in a downward direction. 

표 2에 대한 변별로 돌아가면, 비록 변별 값이 5를 초과하는 세 개의 스테이션이 있지만(예: 스테이션 14) 등급 간 값은 스테이션 전체에 걸쳐 일반적으로 허용될 수 있음은 분명하다. 
Returning discrimination to Table 2, it is clear that the inter-gradevalues are generally acceptable across thestations (station maxima being in the region of 30–35 marks), although there are three stations with discrimination values inexcess of 5 (e.g. station 14 

변별도 메트릭에 기반해서 스테이션의 퍼포먼스가 의심스러운 경우, [분산 및 곡선 추정의 R2 척도]로 복귀하는 것이 유용한 경우가 많습니다. 표 2에서, 스테이션 14는 등급 간 변별이 가장 높으며, 그림 3에서 대부분의 글로벌 등급이 다시 광범위한 표시, 특히 명확한 통과 등급 값 2를 포함하지만, 이 값 중 낮은 것은 분명히 특이치임을 알 수 있습니다. 나머지 스테이션 지표가 허용 가능하기 때문에, 이 스테이션은 변경되지 않을 수 있지만 후속 평가에 사용될 때 주의 깊게 모니터링되어야 합니다. 

Where there is doubt about a station in terms of its performance based on the discrimination metric, returning to the R2 measure of variance and curve estimation is often instructive. In Table 2, station 14 has the highest inter-grade discrimination, and it can be seen in Figure 3 that most global grades again encompass a wide range of marks, especially the clear pass grade – value 2 on the x-axis, ranging from 4 to 27, but that the lower of these values are clearly outliers. As the rest of the station metrics are acceptable, this station can remain unchanged but should be monitored carefully when used in subsequent assessments. 

메트릭 4: 실패 횟수
Metric 4: Number of failures

[비정상적으로 높은 Failure 횟수]만을 가지고 스테이션이 너무 어렵다는 것을 나타내는 것이라고 자동으로 가정하는 것은 실수입니다. 경계선 방식의 필수 요소인 '현실 점검reality check'이 스테이션 난이도 상당 부분을 보완할 것으로 보인다. 이는(reality check은) 최소의 역량을 갖춘 학생의 예상 성과에 대한 글로벌 등급을 결정하기 위해 [훈련된 평가자가 내린 전문가의 판단]을 나타냅니다.
It would be a mistake to automatically assume that an unusually high number of failures indicate a station that is somehow too difficult. The ‘reality check’, which is an essential part of borderline methods, will to a large extent compensate for station difficulty. This represents the expert judgement made by trained assessors in determining the global rating against the expected performance of the minimally competent student. 

앞에서 설명한 것처럼, 다른 심리측정 데이터가 문제를 식별하기 위해 스테이션 설계 및 성능을 조사하는 데 사용될 수 있습니다. 불합격률은 특정 주제에 대한 teaching이 바뀐 영향을 검토하는 데 사용될 수 있으며, 그러한 비율의 높은 값은 내용 및 교수 방법에 대한 검토가 과정 설계에 도움이 될 수 있는 위치를 나타낸다. 

As previously described, other psychometric data can be used to investigate station design and performance in order to identify problems. Failure rates may be used to review the impact of a change in teaching on a particular topic, with higher values of such rates indicating where a review of content and methods of teaching can help course design. 

메트릭 5: 그룹 간 변동(평가자 효과 포함)
Metric 5: Between-group variation (including assessor effects)

OSCE와 같은 복잡한 평가 준비에서 비롯된 데이터에 대한 분석을 수행할 때, 학생들은 필요에 따라 실용적인 목적을 위해 여러 그룹으로 세분화되며, 설계가 완전히 무작위화되는 것이 필수적입니다. 그러나 (시간이 더 많이 필요하고 별도의 주기 내에 독점적으로 관리해야 하는 특수한 요구 사항 학생들을 처리하는 등) 물류 문제의 관리가 항상 가능하지 않을 때도 있다. 모든 [비랜덤 부분군non-random subgroups]은 주요 가정으로 데이터의 랜덤성에 의존하는 통계 기반 분석 유형에서 제외해야 합니다. 
When performing analysis on data resulting from complex assessment arrangements such as OSCEs, where, by necessity, the students are subdivided into groups for practical purposes, it is vital that the design is fully randomised. Sometimes, however, this is not always possible, with logistical issues including dealing with special needs students who may require more time and have to be managed exclusively within a separate cycle. Any non-random subgroups must be excluded from statistically-based types of analysis that rely on randomness in the data as a key assumption. 

[이상적인 평가 프로세스]에서 모든 점수 변동은 [학생의 수행능력 차이]로 인해 생겨야 하며, 아래와 같은 것이 원인이 되어서는 안 된다.

• 환경(예: 배치 또는 장비의 국부적 변화),
• 위치(예: 임상 조건 관리를 위한 지역 정책이 서로 다른 병원 기반 현장) 또는
• 평가자 태도의 차이(즉, 매와 비둘기)

In the ideal assessment process, all the variation in marks will be due to differences in student performance, and not due to differences in

• environment (e.g. local variations in layout or equipment),
• location (e.g. hospital-based sites having different local policies for management of clinical conditions) or
• differences of assessor attitude (i.e. hawks and doves).

이러한 효과를 측정하는 방법에는 측점에 대해 일원 분산 분석(예: 평가자를 고정 효과로 사용)을 수행하거나 그룹별 총 분산 비율을 계산하는 두 가지가 있습니다. 일반적으로 회로에 특정한circuit-specific 분산의 비율로 제공되지만, 후자에서는 위에서 언급한 다른 가능 요인들과 구별되는 학생 성과로 인한 체크리스트 점수의 변동 비율을 추정할 수 있습니다.

There are two ways of measuring such effects, either by performing a one-way analysis of variance (ANOVA) on the station (e.g. with the assessor as a fixed effect) or by computing the proportion of total variance which is group specific. The latter allows an estimation of the proportion of variation in checklist scores that is due to student performance as distinct from other possible factors mentioned above, although this is usually given as the proportion of variance which is circuit specific. 

분산 성분을 계산하면 그룹(즉, 회로)을 랜덤 효과로 사용하여 그룹에 특정된 분산 비율을 계산할 수 있습니다. 이는 그룹 간 평가 프로세스의 균일성을 매우 잘 나타내므로 매우 강력한 메트릭입니다. 계산도 비교적 간단하다. 이상적으로는 그룹 간 분산이 30% 미만이어야 하며 40%를 초과하는 값이 나오면 검토가 필요하다. 40% 이상의 값은 학생 성과보다는 평가자 행동 및 기타 회로 특정 특성으로 인해 발생하는 스테이션 수준에서의 잠재적인 문제를 나타냅니다.
If the variance components are computed, using group (i.e. circuit) as a random effect, then the percentage of variance specific to group can be computed. This is a very powerful metric as it gives a very good indication of the uniformity of the assessment process between groups. It is also relatively straightforward to calculate. Ideally between-group variance should be under 30%, and values over 40% should give cause for concern, indicating potential problems at the station level due to inconsistent assessor behaviour and/or other circuit specific characteristics, rather than student performance.

표 2에서 스테이션 6, 17 및 19는 그룹 간 분산 수준이 가장 높은 이 메트릭과 관련된 원인을 제공합니다. 또한 스테이션 6는 R2도 불량이며, 이 스테이션의 불량 메트릭스의 전체적인 조합은 불량 R2가 아마도 불량한 체크리스트 설계 때문일 것이라는 것을 말해줍니다. 
From Table 2, stations 6, 17 and 19 give cause for concern with regard to this metric, with the highest levels of betweengroup variance. In addition, station 6 has a poor R2, and the overall combination of poor metrics at this station tells us that the poor R2 was probably due to poor checklist design. 

(6번 스테이션의) 체크리스트는 약한 응시자들이 '과정'을 통해서만 높은 점수를 얻을 수 있는 낮은 수준의 기준들로 구성된 것으로 밝혀졌다. 따라서 스테이션을 재설계할 때 당초 의도한 대로 높은 수준의 프로세스를 쉽게 평가하기 위해 낮은 수준의 기준을 여러 개 청크 처리(즉, 상위 수준의 기준을 형성하기 위해 함께 묶음)하였다.

the checklist was found to consist of a large number of lowlevel criteria where weaker candidates could attain high scores through ‘process’ only. Hence, in redesigning the station, a number of the low-level criteria were chunked (i.e. grouped together to form a higher level criterion) in order to facilitate the assessment of higher level processes as originally intended. 

스테이션 17은 이야기가 조금 다르다. (높은) 그룹 간 변동을 양호한 R2와 결합해서 판단했을 때, 평가자들이 그룹 내에서 일관되게 표시하고 있지만 그룹 간에 뚜렷한 매와 비둘기 효과가 있음을 나타내기 때문이다. 이러한 경우에는 일원 분산 분석 분석을 통해 이것이 개별 평가자인지 또는 현장 현상인지를 파악하여 이 문제를 추가로 조사해야 합니다. 서로 다른 부지에 귀속되는 분산의 양은 위에서 설명한 것처럼 스테이션 간 분산의 간단한 계산에 포함된다. 
Station 17 tells a different story, as the good R2 coupled with the high between-group variation indicates that assessors are marking consistently within groups, but that there is a distinct hawks and doves effect between groups. In such a case, this ought to be further investigated by undertaking a one-way ANOVA analysis to determine whether this is an individual assessor or a site phenomenon. The amount of variance attributable to different sites is subsumed in the simple computation of within-station between-group variance as describe above. 

그러나 모집단이 상당히 많은 경우 분산 분석을 개별 관측소에 적용하면 많은 그룹에 걸친 다중 유의성 검정으로 인한 유형 I 오차의 결과로 인해 적어도 하나의 유의한 결과가 나타날 수 있으므로 단일 측정 기준에 근거하여 판단할 때 주의를 기울여야 합니다. 
However, care needs to be exercised in making judgements based on a single metric, since, with quite large populations, applying ANOVA to individual stations is likely to reveal at least one significant result, as a result of a type I error due to multiple significance tests across a large number of groups 

메트릭 6: 군간 분산(기타 효과)
Metric 6: Between group variance (other effects)

일원 분산 분석은 또한 [다중 사이트 평가]가 발생할 수 있는 [대규모 코호트]가 있는 일부 의과대학 및 관련 교습병원에서처럼 평가자 또는 학생 중 한 명이 랜덤하게 할당되지 않은 경우에도 사용할 수 있습니다. 이러한 복잡한 배치로 인해 임상 직원이 작업 장소를 떠나기가 종종 어렵기 때문에 평가자가 회로circuit에 무작위로 할당되지 않을 수 있습니다. 따라서 결과 분석에서 취한 적절한 조치를 통해 식별할 수 있는 '현장 효과site effects'로 인해 상당한 차이가 발생할 수 있다. 
ANOVA analysis can also be of use when there are nonrandom allocations of either assessors or students, as is the case in some medical schools with large cohorts and associated teaching hospitals where multi-site assessment may occur. Such complex arrangements can result in the nonrandom assignment of assessors to circuits since it is often difficult for clinical staff to leave their places of work. This may then lead to significant differences due to ‘site effects’ which can be identified with appropriate action taken in the analysis of results. 

다른 중요한 고정 효과도 분산 분석을 통해 확인할 수 있습니다. 예를 들어, 평가자 교육 효과, 직원/학생 성별 효과 및 관련 상호작용, 
Other important fixed effects can also be identified through use of ANOVA. For example,

• assessor training effects,
• staff/ student gender effects, and
• associated interactions, 

계량 7: 표준화된 환자 등급
Metric 7: Standardised patient ratings

시뮬레이션/표준화된 환자(SP)를 사용하는 대부분의 센터는 후보자를 평가하도록 요구하며, 이는 일반적으로 집중적인 훈련 프로그램을 따른다. 우리 기관 내에서 SP는 "이 의사와 다시 상담하시겠습니까?"와 같은 질문을 받을 것입니다. 다양한 반응(동의함, 동의함, 동의함, 동의하지 않음, 동의하지 않음 또는 강하게 동의하지 않음)에서 후자의 두 반응은 불리한 것으로 간주한다. 메트릭 4(스테이션 Failure 횟수)와 마찬가지로 SP 등급에 불리한 점수를 받는 후보자의 정상 비율보다 비율(예: >10%)이 높다면, 문제라고 볼 수 있습니다. 스테이션 레벨에서 SP 등급의 '허용 가능한' 범위에 대한 사용 가능한 문헌이 없으므로 임의적으로 컷오프 수치 10%를 선택했습니다. 
Most centres that use simulated/standardised patients (SPs) require them to rate candidates, and this typically follows an intensive training programme. Within our own institution, SPs would be asked a question such as Would you like to consult again with this doctor? with a range of responses (strongly agree, agree, neither agree nor disagree, disagree or strongly disagree), the two latter responses being regarded as adverse. Akin to Metric 4 (Number of station failures), a higher than normal proportion of candidates (e.g. 410%) receiving adverse SP ratings may indicate problems. There is no available literature on what constitutes an ‘acceptable’ range of SP ratings at station level, so we have chosen an arbitrary cut off figure of 10%. 


정상보다 높은 Failure률과 결합할 경우 (스테이션에서 다루는) 주제를 제대로 가르치지 못한 결과일 수 있습니다. 
If this is coupled with a higher than normal failure rate, it could be the result of inadequate teaching of the topic. 


평가의 전반적인 신뢰성은 점검표 점수에 SP 등급을 추가하면 높아질 수 있습니다. 일반적으로 SP 등급은 총 스테이션 점수의 10-20%를 기여해야 합니다(Homer & Pell 2009). 
The overall reliability of the assessment may be increased by adding the SP rating to the checklist score; typically the SP rating should contribute 10–20% of the total station score (Homer & Pell 2009). 

OSCE 품질의 360도 그림
The 360 degree picture of OSCE quality

스테이션 8의 측정 지표(상담, 진단 및 의사결정에 초점을 맞춘)의 검토는 전체 평가 신뢰도에 긍정적인 기여를 한다(항목 삭제 시 알파 0.749). 그림 4의 곡선 추정치에서 볼 수 있듯이, R2계수는 0.4로 저조하며, 등급 내 항목 체크리스트 점수가 광범위하며, 상위 등급(통과, 신용, 구별)에 걸쳐 상당히 중복된다. 
Review of the metrics of station 8 (focusing on consultation, diagnosis and decision making) shows a positive contribution to overall assessment reliability (alpha if item deleted 0.749). As can be seen below in the curve estimation in Figure 4, the R2 coefficient is poor at 0.4 with a widespread of itemchecklist scores within grades, and significant overlap across the higher grades (pass, credit and distinction). 

스테이션 9는 아래 그림 5의 곡선 추정으로 표시됩니다. 여기서는 신뢰성에 대한 보다 긍정적인 기여(항목 삭제 시 알파 0.74)와 더 나은 스테이션 수준 메트릭을 확인할 수 있습니다. R2 계수는 0.5에서 허용되지만 군간 분산은 36%로 여전히 높습니다.

Station 9 is represented by the curve estimation seen below in Figure 5. Here we see a more strongly positive contribution to reliability (alpha if item deleted 0.74) and better station-level metrics. The R2 coefficient is acceptable at 0.5, but between group variance is still high at 36%.  

관측치에 의한 품질 관리: OSCE까지 실행 중인 문제 및 당일 탐지 
Quality control by observation: Detecting problems in the run up to OSCEs and on the day 

OSCE에 앞서, 오류 분산에 기여하는 많은 요소들을 예측하고 아래 사항들을 적용하여 수정할 수 있습니다. 
In advance of the OSCE, many of the contributing factors toerror variance can be anticipated and corrected by applying some of the points below 

. 설계가 일치도congruence를 확인하기 위해 여러 스테이션에 걸쳐across stations 검사

. 체크리스트 설계, 가중치 및 고정점 측면에서 신규(그리고 기존) 스테이션이 최신 요구 사항을 준수하는지 확인  

. 여러 병렬적 OSCE circuit의 세팅이 동일한지 검토: 예를 들어 스테이션 외부에 소독제를 배치하게 되면, 평가자는 응시자가 손 위생을 제대로 하는지 평가할 수 없다.

. 스테이션이 동일한 장비 제공(또는 학생들이 [서로 다른 장비]로 [서로 다른 접근 방식]을 배웠다면 유연성을 허용).  

. Checking across stations to ensure congruence in design.

. Ensuring that new (and older, established) stations follow up to date requirements in terms of checklist design,weighting and anchor points.  

. Reviewing the set up of parallel OSCE circuits – for example, differences in the placing of gel disinfectant outside a station may mean that the assessor may not beable to score hand hygiene approaches.  

. Ensuring that stations carry the same provision of equipment (or permit flexibility if students are taught different approaches with different equipment).  

OSCE를 전달하는 동안 오류 분산의 다른 원인이 발생할 수 있습니다.
Other sources of error variance can occur during the delivery of the OSCE:

. 평가 전 브리핑에 늦게 도착하여 지정된 방법론을 제대로 준수하지 못한 평가자.  

. 평가자의 무단 요청prompting(교육 및 사전 시험 브리핑에도 불구하고). 

. 평가자에 의한 부적절한 행동(예: 과도한 상호작용을 통해 스테이션의 '톤'을 바꿈). 

. 질문이 학생들에게 프롬프트 역할을 하는 지나치게 적극/유도자극적인 시뮬레이션 환자. 

. 편향된 실제 환자(예: 성별 또는 인종 편견). 시뮬레이션 환자는 후보자와 상호작용하는 방법에 대한 교육을 받지만, 실제 환자 대다수가 시뮬레이터와 동일한 수준으로 수행하는 것은 가능하지 않을 수 있다.  

. 응시자가 교대할 때, (평가자(또는 보조자)가) 장비를 출발 또는 중립 위치로 되돌리지 않는 것

. Assessors who arrive late and miss the pre-assessment briefing and who therefore fail to adhere adequately to the prescribed methodology.  

. Unauthorised prompting by assessors (despite training andpre-exam briefings). 

. Inappropriate behaviour by assessors (e.g. changing the‘tone’ of a station through excessive interaction). 

. Excessively proactive simulated patients whose questionsact as prompts to the students. 

. Biased real patients (e.g. gender or race bias). Simulated patients receive training on how to interact with the candidates, but this may not be possible with the majorityof real patients to the same level undertaken with simulators.  

. Assessors (or assistants) not returning equipment to the startor neutral position as candidates change over.

사후 교정 조치
Post hoc remedial action

장소 효과에 대한 총 점수 조정
Adjustment of total marks for site effects

가장 쉬운 방법은 모든 사이트에서 공통의 평균으로 조정하는 것입니다. 이러한 조정 후에는 예를 들어 모든 falure가 단일 사이트에 국한되지 않도록 불합격 학생의 사이트 프로파일을 확인해야 합니다. 조정 수준을 계산할 때 단일 특정 사이트 내에 위치한 특수 요구 그룹(예: 후보자에게 건강 요구의 결과로 추가 시간을 제공)의 효과를 할인해야 합니다.
The easiest method is to adjust to a common mean across allsites. After any such adjustment, the site profile of failing students should be checked to ensure that, for example, allfailures are not confined to a single site. The effect of any special needs group (e.g. candidates receiving extra time as aresult of health needs) located within a single specific site needs to be discounted when computing the adjustment level.

측점 레벨 조정
Adjustment at the station level

어떤 부작용도 서로를 취소시키는 경향이 있기 때문에 이것은 거의 필요하지 않습니다. 드문 경우지만 위의 스테이션 레벨 절차를 수행할 수 있습니다. 
This is seldom necessary because any adverse effects will tend to cancel each other out. In the rare cases where this does not happen, a station level procedure as above can be carried out. 

스테이션 제거
Removal of a station

다시 말하지만, 이는 드문 사건이며 그 기준은 일반적으로 복수의 불리한 측정 기준이며, 그 결과는 평가 결정이 항소에 대해 변명의 여지가 없을 정도로 학생들에게 불리하게 작용할 것이다. 
Again, this is a rare event and the criteria for this is usually multiple adverse metrics, the result of which would disadvantage students to such an extent that the assessment decisions are indefensible against appeal. 

결론
Conclusion

저자의 기관에서는 데이터를 분석하는 사람과 임상 평가를 설계 및 관리하고 교육을 개발/제공하는 사람이 서로 밀접하게 관계를 가지고 있다. 스테이션 레벨 메트릭에 대한 일상적이고 자세한 검토에서 체크리스트와 글로벌 등급 간의 불일치가 발견되었습니다. 분석 결과를 바탕으로 특정 OSCE 스테이션을 재설계하고 이후 측정 기준을 개선했습니다. 이러한 재설계에는 다음이 포함됩니다.
In the authors’ institution, there is a close relationship between those who analyse the data, and those who design and administer the clinical assessments and develop/deliver teaching. Routine and detailed review of station level metrics has revealed mismatches between checklists and global ratings. This has lead to the redesign of certain OSCE stations with a subsequent improvement of metrics. Some of these redesigns include: 

. 다수의 단순한 기준을 더 높은 수준의 더 적은 기준으로 청킹(묶음).

. 더 높은 수준의 기준을 허용하기 위해 청킹(Chunking)을 수행함으로써, 더 높은 수준의 프로세스 중심 성과를 평가할 수 있습니다.

. 평가자 체크리스트에 [중간 등급 기술자]를 포함.

. 체크리스트 기준에 해당하는 경우 두 개의 anchor 대신 세 개의 anchor을 두도록 보장함으로써 평가자에 의한 차별이 더 커지도록 한다.

. 서로 다른 회로의 물리적 배열arrangement 간의 획일성uniformity이 높아집니다.

. Chunking of a number of simple criteria into fewer criteria of higher level.

. Chunking to allow for higher level criteria commensurate with the stage of student progression, allowing assessment of higher level, less process-driven performance.

. The inclusion of intermediate grade descriptors on the assessor checklists.

. Ensuring that checklist criteria have three instead of two anchors where appropriate, thereby allowing greater discrimination by assessors.

. A greater degree of uniformity between the physical arrangements of the different circuits.

[평가자 간의 일치도가 좋지 않다는 징후]는 때때로 평가의 품질에 도움이 되는 여러 가지 변화로 이어집니다.
Indications of poor agreement between assessors has, on occasion, lead to a number of changes all of which have been beneficial to the quality of assessment:

. 평가자 훈련 방법 업그레이드.

. 오래전에 교육을 받은 평가자 업데이트('새로 고침')

. 평가자를 위한 보다 상세한 서포트 자료 제공.

. 평가 전 평가자 브리핑 개선

. 평가 전에 SP 브리핑 개선

. 더미는 평가자와 SP 모두에 대한 공식적인 평가 전에 실행됩니다(예: 학생 수가 상대적으로 적은 경우, 그리고 학생 수가 적은 치과 OSCE에서만 실제로 실행 가능합니다).

. Upgrading of assessor training methods.

. Updating (‘refreshing’) assessors who were trained some time ago.

. The provision of more detailed support material for assessors.

. Improved assessor briefings prior to the assessment.

. Improved SP briefings prior to the assessment.

. Dummy runs before the formal assessment for both assessors and SPs (this is only really practicable where students numbers are relatively small, e.g. resits, and in dental OSCEs with smaller cohorts of students).

Med Teach. 2010;32(10):802-11.

 doi: 10.3109/0142159X.2010.507716.

How to measure the quality of the OSCE: A review of metrics - AMEE guide no. 49

Godfrey Pell 1, Richard Fuller, Matthew Homer, Trudie Roberts, International Association for Medical Education

Affiliations collapse

Affiliation

• 1Leeds Institute of Medical Education, University of Leeds, Level 7, Room 7.20, Worsley Building, Clarendon Way, Leeds LS2 9NL, UK. g.pell@leeds.ac.uk

• PMID: 20854155
• DOI: 10.3109/0142159X.2010.507716

Free article

Abstract

With an increasing use of criterion-based assessment techniques in both undergraduate and postgraduate healthcare programmes, there is a consequent need to ensure the quality and rigour of these assessments. The obvious question for those responsible for delivering assessment is how is this 'quality' measured, and what mechanisms might there be that allow improvements in assessment quality over time to be demonstrated? Whilst a small base of literature exists, few papers give more than one or two metrics as measures of quality in Objective Structured Clinical Examinations (OSCEs). In this guide, aimed at assessment practitioners, the authors aim to review the metrics that are available for measuring quality and indicate how a rounded picture of OSCE assessment quality may be constructed by using a variety of such measures, and also to consider which characteristics of the OSCE are appropriately judged by which measure(s). The authors will discuss the quality issues both at the individual station level and across the complete clinical assessment as a whole, using a series of 'worked examples' drawn from OSCE data sets from the authors' institution.

의학교육에서 젠더는 중요하다 (Med Educ, 2013)
Gender matters in medical education
Alan Bleakley

소개: 의료진의 여성화
Introduction: the feminising of the medical workforce

이 글은 의학 교육에는 거의 적용되지 않지만 문화학 등 다른 학문 분야에서도 잘 정립되어 있는 현대 사회과학의 사고의 흐름을 논하고 있다: 후기 구조주의 페미니즘.1, 2 이러한 사고의 흐름은 성(性)을 다시 생각하는 데 귀중한 시각을 제공한다. 의학 교육 이론과 실천에 관한 쟁점들, 그리고 사회 과학의 현대적 생각들이 어떻게 의학 교육의 혁신을 형성할 수 있는지를 보여준다. 중요한 것은, 후기 구조주의 페미니즘은 남성 페미니스트를 포함하고 현대 의학과 의학 교육을 지배해온 습관적인 가부장적 관행에 도전하는 접근방식이다.
This article discusses a stream of thought in contemporary social science that is rarely applied to medical education, but is well established in other academic fields, such as cultural studies: post-structuralist feminism.1, 2 This stream of thought, which is fully explained later in the article, offers a valuable perspective for rethinking gender issues in medical education theory and practice, and illustrates how contemporary ideas in the social sciences can shape innovation in medical education. Importantly, post-structuralist feminism is an approach that includes male feminists and challenges habitual patriarchal practices that have dominated modern medicine and medical education.

서술적 인구학 연구는 [의학에서 여성women in medicine]에 대한 문헌을 지배하고 있으며, 이 기사의 후반부의 관심사인 후기 구조주의 페미니즘의 대체적alternative 이론적 체계를 고려하기 전에 이 연구의 틀을 감상하고, 이해하고, 비판적으로 다루는 것이 중요하다.
Descriptive demographic studies dominate the literature on women in medicine, and it is important to appreciate, understand and then critically address this body of work prior to considering the alternative theoretical framework of post-structuralist feminism that is the concern of the second half of this article.

전세계적으로 남성보다 여성이 의대에 입학함에 따라 의료 인력에 여성 의사가 과반수를 차지할 것이다.3-6 이러한 인구 변화는 '의학의 여성화'라고 일컬어진다.7 그러나 의학에서 '여성화'의 의미는 인구학적 설명을 넘어 문화적 과정을 설명하는 것으로 확장될 수 있다. 나아가 의학의 페미니즘이 의학의 문화뿐만 아니라 의학교육에도 어떤 의미가 있을지 생각해 보는 것이 중요하다. 이 소개 섹션에서는 인구학적 이슈를 성별 사고 방식과 같은 인구학적, 생물학적 문제를 넘어 성 문제를 탐구할 수 있는 플랫폼으로 소개합니다.

As more women than men enter medical schools worldwide, in time the medical workforce will comprise a majority of women doctors.3-6 This demographic shift has been referred to as the ‘feminisation of medicine’.7 The meaning of ‘feminisation’ in medicine, however, can be extended beyond demographic descriptions to account for cultural processes. Further, it is important to consider what the feminising of medicine might mean not just for the culture of medicine, but also for medical education. In this introductory section, demographic issues are introduced as a platform from which to explore gender issues beyond demography and biology, such as gendered ways of thinking.

인구 이동
Demographic shifts

인구통계학은 문자 그대로 '사람에 관한 글'을 의미하며, 개인보다는 인구에 대한 연구를 말한다. 여성 및 의료: 영국 왕립 의사 대학을 위해 작성된 2009년 보고서인 Women and Medicine: The Future는 서술적 인구통계학의 좋은 예이다.5 여성 학술 사회학자가 작성한 이 보고서는 서술적 통계의 데이터셋을 자세히 설명하고 추론, 추측 또는 이론적 모델링에 거의 포함하지 않는다. 사회과학자들의 그러한 서술적 연구로부터, 트렌드를 포함한 후기 산업 국가의 의학에서의 젠더에 대해 무엇을 알 수 있을까?
Demography literally means ‘writing about the people’ and refers to the study of populations rather than individuals. Women and Medicine: The Future, a 2009 report prepared for the UK Royal College of Physicians, is a good example of descriptive demography.5 Written by a female academic sociologist, the report elaborates on a dataset of descriptive statistics and includes little in the way of inference, speculation or theoretical modelling. From such descriptive work by social scientists, what do we know about gender in medicine in post-industrial countries, including trends?

의학에 진입하는 여성의 수:
Women entering medicine: the numbers

펜실베니아 필라델피아는 미국 최초의 의대를 유치하면서도 1960년 여성을 입학시킬 수 있는 마지막 의대(제퍼슨 의과대학)를 유치한 것이 복합적으로 구별된다. 최초의 여성은 1847년 미국의 의대에 입학했다. 2003년까지 제퍼슨은 대다수의 여자 의대생들을 입학시켰다. 1800년대 후반 미국에서 여성이 개업 의사 중 10%를 차지했지만 1920년대에 이르자 여성들은 사실상 의료 인력에서 사라졌다. 그러나 2003년까지 미국의 의과대학 입학생들은 성별의 균형을 보였고 2005년까지 많은 학교들이 약 60퍼센트의 여성과 40%의 남성으로 구성된 입학 수치를 보였다. 현재 전 세계 의과대학 학생들의 대다수를 여성이 차지하고 있으며 북미, 유럽, 호주 및 러시아에서 평균 60%의 학생 섭취를 차지하고 있습니다. 영국에서는 2003년 62%로 정점을 찍은 뒤 2007년 57%로 낮아져 안정세를 보였을 수도 있다.
Philadelphia, Pennsylvania has the mixed distinction of hosting the first medical school in the USA, but also of hosting the last medical school (Jefferson Medical College) to admit women, in 1960. The first woman was admitted to a medical school in the USA in 1847.6 By 2003, Jefferson was admitting a majority of women medical students (51.5%). Although women comprised 10% of practising doctors in the USA in the late 1800s, by the 1920s women had practically disappeared from the medical workforce. However, by 2003, entrants to medical school in the USA showed a gender balance and by 2005 many schools showed entrance figures comprised of around 60% women and 40% men.6 Women now constitute the majority of students in medical schools worldwide and represent an average of 60% of student intake across North America, Europe, Australia and Russia.3-10 In the UK, the numbers may have stabilised, having peaked at 62% in 2003 and fallen to 57% in 2007.5

이러한 통계는 '의학적 시한폭탄'과 같은 문구를 포함한 헤드라인을 포함한 경보주의 언론기사를 통해 공개되었다.10  인터내셔널 헤럴드 트리뷴의 1면 기사 '서양의학의 얼굴 변화'는 [젊은 여성 세대]가 '한 때 남성 중심적이었던 의대를 변화시키고, 의대를 부풀리고, 1차 진료의 최전선으로 몰아가고 있는' 과정을 자세히 다루고 있다. 미사여구는 신중하게 선택된다: '부글부글'과 '떼짓기'는 아마도 새로운 전문가 집단의 출현을 의미할 것이다.

These statistics have entered the public domain through alarmist press articles carrying headlines that include phrases such as ‘the medical timebomb’.10 A front-page article in the International Herald Tribune entitled ‘The changing face of Western medicine’ detailed how ‘Across the Western world’ a generation of young women ‘is transforming the once-male bastion of medicine, swelling medical schools and flocking to the front lines of primary care’.3 The rhetoric is carefully chosen: ‘swelling’ and ‘flocking’ perhaps signify the emergence of a new family of professionals.

남성들이 의료 지원에서 쫓겨나는 것에 대한 두려움은 근거가 없을지도 모른다. 예를 들어, 영국에서는 의과대학 지원자의 절대적인 증가로 인해 자리를 차지하는 남성의 수가 증가하였다. 2007년에는 의과대학에 1996년보다 1200명의 남자가 합격했다. 또한, 영국에서는 유학생의 수가 증가하고 있으며, 이들은 남성인 경우가 더 많다.5

A fear that men are being driven away from applying for medicine may be unfounded. For example, in the UK, because of an increase in the absolute numbers of applicants to medical schools, the number of males taking up places has increased. In 2007, 1200 more men were accepted for medical school than in 1996 (in comparison with 1760 more women).5 Further, in the UK, numbers of international students are increasing and these tend to be more commonly male.5

미래에는 여성이 다수가 될 것인가?
Will women be in the majority in the future?

전 세계적으로 이 질문에 대한 답은 '예'.3입니다. 영국은 현재 전체 의사의 약 40%, 일반의사(GP)의 42%, 컨설턴트의 28%를 여성이 차지하고 있다.5 그러나 영국에서는 여성이 35세 미만 의사 중 54%를 차지하고 있지만 프랑스와 스페인에서는 각각 58%와 64%를 차지하고 있다.3 2017-2022년까지 영국에서 여성은 방사선, 안과 및 수술을 제외한 모든 분야의 컨설턴트 임용으로 이동하는 전문의 대다수를 차지할 가능성이 높다.5

Worldwide, the answer to this question is ‘yes’.3 In England, women currently account for approximately 40% of all doctors, 42% of general practitioners (GPs) and 28% of consultants.5 However, women constitute 54% of doctors aged < 35 years in the UK, but 58% and 64% of this group in France and Spain, respectively.3 By 2017–2022, in the UK, women are likely to constitute the majority of specialists moving to consultant appointments in all fields other than radiology, ophthalmology and surgery.5

전문직 여성
Women in specialties

전공과목의 트렌드는 나라마다 다릅니다. 예를 들어, 방사선학에서 2009년 미국에서는 여성이 27%를 차지했지만 라트비아, 에스토니아, 벨라루스에서는 80%, 기타 유럽 국가에서는 50-60%를 차지했다. 링크는 여성 의사가 남자 의사보다 환자 및 동료와 더 잘 소통하고 더 적은 위험을 감수하기 때문에 방사선학의 '여성화'가 환자에게 좋은 뉴스라고 지적했다. McKinstry7은 의료진의 여성화에 따른 잠재적 위험성에 주목하면서, '공감력과 의사소통 능력도 중요하지만, 효율성과 위험과 더불어 살아가는 능력도 중요하다'며 '여성화'가 긍정적이라는 데 동의하지 않는다.
Specialty trends differ across countries. In radiology, for example, women constituted 27% of practitioners in the USA in 2009, but as much as 80% in Latvia, Estonia and Belarus, and 50–60% in other European countries.11 Rinck11 notes that the ‘feminisation’ of radiology ‘is good news for patients’ because women doctors communicate better with patients and colleagues and take less risk than their male colleagues. Noting potential dangers of the feminisation of the medical workforce, McKinstry7 disagrees: ‘Empathy and communication skills are important, but so are efficiency and the ability to live with risk.’

전세계적으로 여성들은 수술에서 과소대표되고 소아과와 1차 진료에서 과대대표되고 있습니다.12-14 이로 인해 향후 전문적 부족 현상이 발생할 수 있다는 우려로 이어지고 있습니다. 특히 수술에서 컨설턴트 직위로 이어지는 진로들은 전통적으로 아이를 갖기를 원하는 여성들을 위해 추구하기 어려웠다.15-17 여성은 탄력적 근무시간, 자녀양육 서비스, 지원멘토 등 일정한 구조적 요건이 충족되어야만 수술에서 커리어 사다리에 오를 수 있는 경향이 있다. 여성들은 점차적으로 강한 경쟁적 요소를 접하게 되면서 수술에 흥미를 잃을 수 있다. 왜냐하면 일반적인 여성 의사들은 더 많은 협업적 업무 맥락을 선호하기 때문이다.
Worldwide, women are under-represented in surgery and over-represented in paediatrics and primary care.12-14 This has led to a concern that there may be a future specialty shortfall. Career routes leading to consultant posts, particularly in surgery, have traditionally been harder to pursue for women who wish to have children.15-17 Women tend to be successful on the career ladder in surgery only if certain structural requirements are fulfilled, such as the provision of flexible hours, child-minding services and supportive mentors.18 Women may lose interest in surgery as they progressively encounter a strong competitive element because in general women doctors prefer more collaborative work contexts.19

인구 통계에 의해 제기된 문제
Issues raised by demographics

킬민스터 외 연구진 8은 위에서 요약한 수치와 같은 원시 인구통계 데이터가 네 가지 가능한 결과를 야기한다고 결론내렸다. 

• 첫째, 이러한 추세는 여성들이 파트타임으로 일하고 조기 퇴사하여 잠재적인 인력 부족을 야기하기 때문에 인력 계획에 문제를 일으킬 수 있다.
• 둘째, 트렌드는 여성들이 남성들이 가지고 온 것과는 다른 바람직한 자질을 실천에 옮기기 때문에 좋은 것일 수 있다.
• 셋째, 졸업생들이 의료인력으로 진입하면서, 입학시점의 성별 차이는 줄어들even out 수 있다.
• 넷째, 의료문화의 구조적 불평등이 지속되어 남성의 우위가 유지될 수 있다.

여기에 자본의 지속적인 문제가 추가될 수 있다.

Kilminster et al.8 conclude that the raw demographic data, such as the figures summarised above, raise four possible consequences.

• Firstly, the trend may present problems for workforce planning as women will work part-time and leave the profession early, causing a potential workforce shortage.
• Secondly, the trend may be a good thing as women bring desirable qualities to practice that differ from those brought by men.
• Thirdly, gender differences at intake may even out as graduates enter the workforce.
• Fourthly, structural inequalities in medical culture may persist, maintaining a male dominance.

To this can be added a continuing problem in equity.

형평성 문제
Equity issues

의학에서 남녀의 기회균등이라는 측면에서 [구조적인 문제]가 있을 뿐만 아니라 형평성, 즉 정의와 공정성 문제도 존재한다. 의학계 여성은 남성과 같은 일을 하는 것에 대해 더 낮은 보상을 받는다17, 여성이 고위직의 핵심직에서 과소대표되고 있지만, 여성에게 그들의 목표를 달성하는 데 필요한 자원과 기반시설의 제공을 충분히 하지 않음으로써, Medicine은 직업적 열망을 가진 여성들을 계속 실패하게 만들고 있다.20 여의사의 수입은 academic medicine의 남성보다 적다. 여성들의 직위 상승은 더 느리게 진척되고, 리더 역할을 쉽게 달성하지 못합니다. 이는 여성들의 생산성이나 헌신의 퀄리티 문제가 아니라, 구조적 제약을 받기 때문입니다.21
There is not only a structural problem in terms of equality of opportunity in medicine with regard to gender, but there also exists an equity, or justice and fairness, problem. Women in medicine are given poorer rewards for doing the same job as men17 and, although women are under-represented in key positions in the senior ranks, medicine continues to fail women with career aspirations through the poor provision of the resources and infrastructure necessary to help them achieve their goals.20 Women doctors earn less than men in academic medicine, progress through the ranks more slowly and do not readily attain leadership roles, not because of the quality of their productivity or commitment, but because they are subject to structural constraints.21

이러한 제약은 개인의 열망 수준에까지 이어진다: 설문조사에서 여성 의사들은 남성 의사들이 보고한 것보다 25% 정도 낮은 한도를 보고한다.22 전반적으로 여성 의사들은 자신들을 남성 의사들보다 능력이 떨어진다고 일관되게 평가한다.23

Such constraints are then realised at an individual level of aspiration: when asked in surveys what their potential earning power may be, women doctors report a ceiling that is around 25% lower than that reported by male doctors.22 Overall, women doctors consistently rate themselves as less capable than male doctors.23

여의사들이 파트타임으로 일하는 결과
Consequences of women doctors working part-time

상당수의 여의사들이 파트타임으로 출근한다면 리더십과 의료 교육을 포함한 노동자들에게 미칠 충격은 무엇일까? 남성 동료에 비해 여성 의사들은 이미 더 많은 파트타임 근무(85%)10에 종사하고 있으며, 아이를 가질 수 있는 기회를 용이하게 해줄 보다 유연한 근무시간을 원하고 있으며, 일반적으로 여성 GP들은 남성 동료들보다 더 일찍 은퇴할 계획이다.3-6
If a significant number of women doctors come to work part-time, what will be the knock-on effects for the workforce, including in leadership and medical education? In comparison with their male colleagues, women doctors already engage in more part-time work (85%)10 and want more flexible working hours that will facilitate the opportunity to have children, and women GPs in general plan to retire earlier than their male colleagues.3-6

이에 따른 연쇄적인 효과는 여성 의사들이 임상 및 학문적 리더십과 고위 경영자 역할을 추구하는 데 덜 끌리거나 전념하는 것이다. 그러나 이러한 성별 효과가 '리더십 부족deficit'를 낳을 가능성은 낮다. 지적했듯이, 의학에 입학하는 [남학생의 절대 숫자]가 증가했기 때문이다.5 오히려 이 문제는 기회와 형평성의 평등 중 하나이다.12 Dacre12는 의학의 여성화는 현재와는 다른 (즉, 여성 후보자들을 격려하는 방식으로) 리더십 역할이 구성될 수 있도록 인력 계획을 재고하는 기회를 만들어내고 있다.
A knock-on effect of this is that women doctors are less attracted or committed to seeking clinical and academic leadership and senior management roles. This gender effect is unlikely, however, to create a ‘leadership deficit’ in the future because, as noted, the absolute numbers of male students entering medicine have risen.5 The issue, rather, is one of equality of opportunity and equity.12 Dacre12 suggests that the feminisation of medicine is creating an opportunity to rethink workforce planning in a manner that may allow leadership roles to be configured differently than they are at present, encouraging women candidates.

케네스 루드머러의 미국 의학 교육 역사는 특히 '영웅들이 등장하기엔 너무 크고 단편화된' 맥락에서 현대의 '의학에서 영웅들의 실종'을 지적한다. 이것은 여성 의사들의 대표성이 심각하게 떨어지는 의학 교육의 페미니스트들에게는 좋은 소식처럼 보일 수 있다. 예를 들어 2007년 영국에서는 임상교수의 12%, 임상강사의 36%만이 여성이었으며 의과대학 34곳 중 2곳만이 여성학장이 있었다. 전체 교수로 임용되는 여의사가 15%, 학과장이 11%에 불과한 미국도 비슷한 입장이다.
Kenneth Ludmerer’s classic history of American medical education points to the contemporary ‘disappearance of heroes from medicine’ in a context in which ‘academic medicine’ in particular ‘has grown too large and fragmented for “heroes” to emerge’.24 This may seem like good news to feminists in medical education, in which women doctors are severely under-represented. For example, in 2007 only 12% of clinical professors and 36% of clinical lecturers in England were women, and only two of 34 medical schools had women deans.5 The position is similar in the USA, where only 15% of women doctors are appointed as full professors and 11% as department chairs.12

그러나 의대 여학생들이 남성들보다 더 효과적인 조력자를 만드는 경향이 있지만, 여의사들이 academic research 및 teaching에 참여할 가능성은 낮다.7 이는 '영웅의 실종'에도 불구하고 새로운 의대생들의 여성 롤모델이 부족함을 보여준다. 그러나 그러한 롤모델은 필요하다. 예를 들어, 의학 학부 커리큘럼에 성별 문제가 도입되는 경우, 이러한 움직임을 시작하는 것은 여성 교수진이다.27

However, although women medical students tend to make more effective facilitators than their male counterparts,25 women doctors are less likely to take up academic research26 and teaching.7 This presents a lack of female role models for new cohorts of medical students, despite the ‘disappearance of heroes’ from the field. Yet such role models are needed. For example, in instances in which gender issues are introduced into the medical undergraduate curriculum, it is women faculty staff who tend to initiate this move.27

컨설팅 스타일 및 커뮤니케이션: 환자를 위한 연쇄 효과
Consulting styles and communication: knock-on effects for patients

존경받는 선배의사들에 의한 역할모델링의 후배를 대상으로 한 연구에 따르면, 여성후배 의사들은 모방하고자 하는 핵심 요소로 '커뮤니케이션'을 보고한 반면, 남성후배 의사들은 의사소통이 훨씬 덜 중요하다고 여겼다고 한다.23 환자들이 궁극적으로 성별에 대해 우려하는지 여부에 대해서는 증거가 모호하지만, 여의사가 남성 동료보다 더 많은 연민과 친밀감을 가지고 환자를 치료하고 있으며, 의학의 심리적, 의사소통적 측면에 더 관심을 가지고 있다. 
A study in junior doctors of role-modelling by respected senior doctors found that women junior doctors reported ‘communication’ as the key element they wished to emulate, whereas male junior doctors considered communication to be much less important.23 Although evidence is equivocal as to whether patients are ultimately concerned about the gender of their doctors,23 women doctors treat patients with more overt compassion and intimacy than their male colleagues do and are more concerned with the psychosocial and communicative sides of medicine.6, 20-22, 28 

[여성 의사]는 [여성 환자]에 더 잘 적응할 수 있을 것이다. 여성 환자들은, (남성 환자보다) 더 많은 질문을 하고 더 많은 정보를 주고, 더 많은 정보를 확인하고, 바꾸어 의사에게 더 명확한 설명을 강요하고, '의사 중심' 상담 스타일이 아닌 '의사 중심'을 명시적으로 요구한다. 남자의사들보다, 여의사들은 (가까운 친구들이 포함된) 지지적 환경의 제공이 업무 만족도에 더 중요하다고 평가한다.

Women doctors may be better adapted to women patients, who ask more questions and give more information than male patients, and check and paraphrase information, thereby forcing the doctor into giving clearer explanations, and explicitly demand a ‘feelings-oriented’ rather than a ‘thoughts-oriented’ consultation style.28 Women doctors also rate the provision of a supportive environment, such as one that includes close friends, as more important to their work satisfaction than do their male colleagues.16

남성 동료들에 비해 더 공감적이고 환자 중심적인 여성 의사들의 스타일은 더 나은 환자 성과를 가져온 것으로 나타났다.12 이와 함께 영국의 2001~2010년 GP 중단 조사 결과 남성이 여성보다 더 많은 불만을 유발했으며 여성보다 5배 더 많은 정직 가능성이 있는 것으로 나타났다. 그러나 McKinstry는 '효율성'과 '위험성'에 대처하는 능력은 '공감 및 소통'만큼이나 중요하다고 제안한다. 맥킨스트리는 여성 GP가 환자와 더 오랜 시간을 보내고 refer할 가능성이 높으며, 여성 컨설턴트가 남성 동료보다 환자를 더 적게 보는 경향이 있으며, 이 두 가지 모두 제한된 자원의 확장에 기여한다고 지적한다.
The more empathic, patient-centred style of women doctors, compared with that of their male colleagues, has been shown to result in better patient outcomes.12 In addition, a UK study of the suspension of GPs between 2001 and 2010 found that men attracted more complaints than women and were five times more likely than women to be suspended as a result of investigations into complaints.29 However, McKinstry suggests that ‘efficiency’ and ability to deal with ‘risk’ are as important as ‘empathy and communication’.7 McKinstry points out that women GPs spend longer with patients and are more likely to refer, and that women consultants see fewer patients than their male colleagues, and that both of these tendencies contribute to the stretching of limited resources.7

이러한 원시적 서술적 인구통계학은 의학의 여성화 현상을 완전히 깨닫지 못한 것이며, 의학교육의 여성화에 대한 제한된 설명만 제공한다. 뭔가 더 필요한 게 있다. 데이터가 설명할 수 없을 정도로 발전하려면 설명이 필요하지만 의료 교육 이론과 실무의 요소를 재고할 수 있는 혁신적인 탐구를 유도해야 합니다. 이 논문의 나머지 부분에서는, 어떻게 후기 구조주의자 페미니스트 상상력이 그러한 재고를 이룰 수 있는지 논할 것입니다.

This raw descriptive demography does not fully realise the phenomenon of the feminising of medicine and certainly offers a limited description of the feminising of medical education. Something more is needed. The data clearly need explanation if they are to move beyond description, but also invite innovative explorations to rethink elements of medical education theory and practice. In the remainder of this paper, I will argue how a post-structuralist feminist imagination can achieve such a rethink.

페미니스트 이론
Feminist theory

이전 섹션에서 보면, 의학의 여성화로 인한 이득은 간단해 보일 수 있다. 여성이 대다수 인력을 대표하게 되면서 여성 의사들의 컨설팅 스타일에 기반을 둔 문화의 긍정적인 변화가 일어나 환자에게 혜택을 줄 것이다. 하지만 상황은 이보다 더 복잡하며 여성 의사들이 남성 동료들보다 효율적이지 못하고 자원 의존도가 높다는 비판을 넘어섰다.
From the previous section, the benefits of the feminising of medicine may seem straightforward. As women come to represent the majority of the workforce, a positive change in culture, grounded in women doctors’ consulting styles, will occur and will benefit patients. However, the situation is more complex than this and extends beyond criticism of women doctors as being less efficient and more resource-dependent than their male colleagues.

• 첫째, 역사적으로 형성된 '남성' 혹은 가부장적 의학 문화는 단순히 생물학적으로 남성 의사가 많았기 때문일까? 
• 둘째, 성별에 대한 생물학적 접근법의 한계는 무엇인가? 예를 들어, 여성들이 여성화에 독점권을 가지고 있는가, 아니면 전통적으로 가부장적이었던 문화를 여성화하는 데 있어서 남성들도 대리인 역할을 할 수 있는가? 
• 또한, 의학과 의학교육의 여성화에 있어 게이와 레즈비언 의사의 입장은 어떠한가? 30, 31

• Firstly, is the historically formed ‘masculine’ or patriarchal culture of medicine simply a result of the dominance of biologically male doctors?
• Secondly, what are the limits of a biological approach to gender? For example, do women have a monopoly on feminisation, or can men also act as agents in feminising a traditionally patriarchal culture?
• Further, what are the positions of gay and lesbian doctors in the feminisation of medicine and medical education?30, 31

'남성 시위'
The ‘masculine protest’

우리가 '여성적' 혹은 '남성적'이라고 말할 때, 우리는 생물학적 성, 즉 본질주의에 대한 문자 그대로의 설명이 아닌 문화적인 의미로 사용한다. 그들은 [은유적]으로 활용될 수 있다. '가부장제'는 남성을 지칭하는 문화적 맥락에만 관련되는 것이 아니며, 영웅주의, 합리주의, 확실성, 지성과 거리감, 객관화, 감상 이전의 설명을 수용하는 특정한 종류의 논리에 기초한 지배적인 문화적 형태를 말한다. 이러한 논리에 의해 채택된 핵심 전략은 [반대주의]이다. 예를 들어, 논리적인 것이 비논리적인 것의 반대이며, 전자는 후자보다 우월하다. 반대주의는 화해나 협력이 아닌 갈등의 전술이다. 
When we talk of the ‘feminine’ or the ‘masculine’, we use these terms in a manner that is not restricted to the literal description of biological sex – essentialism – but is cultural. They can be employed metaphorically. ‘Patriarchy’ does not relate to a cultural context that refers only to men, but refers to a dominant cultural form based on a particular kind of logic that embraces heroism, rationalism, certainty, the intellect, distance, objectification, and explanation before appreciation. A key strategy employed by this logic is oppositionalism: for example, the rational is opposed to the irrational and the former is dominant over the latter. Oppositionalism is a tactic of conflict rather than of reconciliation or collaboration. 

남성들이 현대의학과 의대 교육을 지배했다고 하는 것은 사실이지만, 이는 가부장제의 문화적 형태가 더 넓어진 측면이다. 미셸 푸코는 의학에서 가부장제의 구체적인 모습을 '의학적 시선'이라고 표현했는데, 이는 다양한 '남성의 시선'으로 해석된다. 32, 33 Bordo는 시체가 '여성의 영역'이라고 주장하며, 반면에 남자들은 '육체에 가까이 가지 않고, 그것을 바라보는 시각을 유지하는 것'을 원한다. 따라서 객관화된 '남성 시선'의 지배력에 관한 익숙한 논쟁을 리허설한다.
Although it is a truism to say that men have dominated modern medicine and medical education, this is an aspect of the wider cultural form of patriarchy. Michel Foucault has described the specific appearance of patriarchy in medicine as the ‘medical gaze’, interpreted as a variety of the ‘male gaze’.32, 33 Bordo34 argues that the body is ‘the province of the female’, whereas men, by contrast, want ‘to stand clear of the flesh, to maintain perspective on it’, thereby rehearsing a familiar argument concerning the dominance of an objectifying ‘male gaze’.

푸코의 설명에 따르면, 진단적 시선으로 몸 속 깊숙이 '보는' 의사의 투과 눈은 투과성 팔뚝과 차가운 논리 둘 다와 관련이 있다. 이 논리는 conducting 손과 손가락질 또는 탐침 손가락의 특이하게 남성적인 확장으로서 메스까지 확장됩니다.35 게다가, 의학적 시선은 클리닉의 위생된 하얀 입방체 안에서 정당화된다. 이는 건축에 있어서 냉정한 논리의 궁극적 표현이다. 이 곳에서는 남성 의사가 낯선 여성(환자로서)에 대한 전문적인 정밀 검사를 수행하도록 허가받았으며, 이러한 것은 다른 맥락에서는 금기 사항일 수 있습니다. 페미니스트s는 이 지배적인 가부장적 콤플렉스를 '팔로고 중심적'이라고 칭하게 되었다.

In Foucault’s description, the penetrating eye of the doctor that ‘sees’ into the depths of the body in a diagnostic gaze is associated with both the penetrating phallus and a cold logic. This logic extends to the scalpel as a peculiarly masculine extension of the conducting hand and the pointing or probing finger.35 Further, the medical gaze is legitimated within the sanitised white cube of the clinic, the ultimate expression of cold logic in architecture, in which the male doctor has been sanctioned to perform professional intimate examinations of women strangers, as patients, that would be taboo in other contexts. Feminists have come to term this dominant patriarchal complex ‘phallogocentric’.1

현대의학의 제도적 가부장제는 한 세기 전 정신분석학자 알프레드 아들러가 '남성 시위'라고 묘사한 것에 대한 대가를 치르고 있다.36 무수히 반복된 주장은 [의사들은 너무 많은 고통을 보고 있기 때문에 객관화와 거리 두기를 통해 스스로를 보호해야 한다는 것]이다. 정신분석학적으로, 그들은 부정과 억압이라는 더 강력한 자아 방어 메커니즘을 사용하는 경향이 있다. 그러나 이 '남성 시위'는 궁극적으로 '공감 감소'의 형태로 역효과를 낳는다. 의대생들은 환자를 대상화objectify하는 법을 배운다.37
Modern medicine’s institutional patriarchy is bought at a price, characterising what the psychoanalyst Alfred Adler described nearly a century ago as the ‘masculine protest’.36 The well-rehearsed argument is that doctors see so much suffering that they must protect themselves, through objectification and distancing, from carrying this suffering. Psychoanalytically, they tend to use the stronger ego defence mechanisms of denial and repression. However, this ‘masculine protest’ ultimately has a counterproductive effect in the form of ‘empathy decline’, whereby medical students learn to objectify patients.37

의대생들의 공감저하 연구들은 효과를 과장했다는 비판을 받아왔으며, 공감의 심리측정이 예측가치와 같은 제한된 효용성을 제공하는 것으로 나타났다.39 '공감', 40, 41이라는 용어의 정확한 의미에 대한 논란도 있어 '측정'이 무엇인지 의문을 제기하고 있다. 그러나 공감의 정의에 대한 강력한 방어와 공감 차원에 대한 심리학적 측정의 타당성이 제시되었다.42 또한 공감 감소 현상에 대한 그럴듯한 설명이 제시되었다.43 명시적 커리큘럼 설계를 통해 공감 감소가 억제되었다는 주장이 제기되었지만 측정된 수준은 의대 남학생보다 여학생이 공감 능력이 더 큰 것으로 나타났습니다.44

Studies of empathy decline in medical students have been criticised as exaggerating the effect38 and psychometric measures of empathy have been seen to afford limited utility, such as predictive value.39 There is also debate about the precise meaning of the term ‘empathy’,40, 41 which raises questions about what is supposedly being ‘measured’. However, robust defences of both definitions of empathy and the validity of psychometric measurement of dimensions of empathy have been made.42 Further, plausible explanations for the phenomenon of empathy decline have been offered.43 Although claims are made that empathy decline has been stemmed through explicit curriculum design, measured levels of empathy remain greater in female than in male medical students.44

공감 능력이 저하되면, 특히 의대생들이 임상 기반의 학습을 진행함에 따라, 그리고 특히 남성들 사이에서 억압된 영향은 증상적인 형태로 돌아올 수 있습니다. '남성 시위'의 감염에 저항하지 못하는 의사들 사이에서 약물 남용, 탈진, 우울증, 자살 사상, 자살 등의 비교적 높은 비율이 여기에 포함된다.45, 46 '남성 시위'는 의학의 모든 프로시져에 흐르는 논리를 제공하며, 궁극적으로 수술 문화에서 정점에 도달한다.
If empathy is reduced, particularly as medical students progress to clinically based learning, and particularly amongst men, repressed affect may return in symptomatic form. This includes relatively high rates of substance abuse, burnout, depression, suicide ideation and suicide amongst doctors, who are unable to resist the infection of the masculine protest.45, 46 The ‘masculine protest’ offers a logic that runs through all of medicine’s procedures and reaches its apex in the culture of surgery.

의료교육에서 가부장제의 우위에 대한 두 가지 간단한 실례가 이 부분을 마무리할 것이다. 첫 번째는 임상 기술 훈련에 사용되는 'one-sex' 마네킹의 출현에 관한 것으로, 첨단 기술인 '심맨'에 여성용 마니킨이 없다는 사실이 이를 입증한다. 두 번째는 생명윤리학자 Tod Chambers에 의해 강조되는데, 그는 [의료윤리 사례 연구]조차도 남성의 세계관에 특권을 주는 방식으로 작성되어 있으며, 특정 개인에게 무감각한insensitive 추상적 원칙에 기반을 둔 접근을 통해, '사람'이 대상화되고 분석된다고 제안한다.48

Two brief illustrative examples of the dominance of patriarchy at work in medical education will round off this section. The first concerns the rise of the ‘one-sex’ manikin used for training in clinical skills,47 demonstrated by the fact that the high-tech ‘SimMan’ does not have a female equivalent. The second is highlighted by the bioethicist Tod Chambers, who suggests that even the medical ethics case study is written in a way that privileges a male worldview, whereby the ‘person’ is objectified and analysed through an abstract principles-based approach that is insensitive to the particular individual.48

페미니즘의 부상
The rise of feminisms

[남성 시위masculine protest]에 대응하여 여성과 남성 모두를 참여시키고 가부장적 가치에 대한 도전을 명확히 하는 사회운동이 전개되었다. 

• 19세기 말과 20세기 초의 선거권자들은 이전에 여성들에게 거부되었던 여성의 '선거권'을 지지하는 사람들이었다. 이 운동은 1960년대와 1970년대의 '제2의 물결' 페미니즘에 관련된 사람들에 의해 소급적으로 '1차 물결' 페미니즘으로 불렸다. 이 때 쟁점은 기회의 평등, 생식 주기에 대한 통제, 사회적 문제에 대한 형평성 또는 정의에 관한 것이었다. (예를 들어, 1971년 2월까지 스위스에서 여성들은 투표할 수 없었다.)
• 제2의 물결 페미니스트는 출산을 포함한 생식 주기가 '의학화'되었고 남성 중심의 의료 직종에 의해 통제되었다는 사실을 지적할 것이다.

In response to the masculine protest, a social movement has developed, involving both women and men, and articulating a challenge to patriarchal values.

• The suffragettes of the late 19th and early 20th centuries were supporters of women’s ‘suffrage’ or the right to vote, previously denied to women. This movement was retrospectively termed ‘first-wave’ feminism by those involved in the ‘second-wave’ feminism of the 1960s and 1970s, in which the issues were largely about equality of opportunity, control over the reproductive cycle, and equity or justice in social matters (although, for example, women were not able to vote in Switzerland until February 1971).
• Second-wave feminists would point to the fact that their reproductive cycles, including birth, had been ‘medicalised’ and were controlled by a male- dominated medical profession.

여성권리를 지지하는 남성도 포함됐지만, 제2의 물결에서는 남성들을 배제하는 '독재주의자separatist' 페미니즘이 생겨났다. [제3의 물결]의 페미니즘은 1980년대 동안 민족, 동성애, 문화적 정체성의 보다 광범위한 문제를 인정하기 위해 등장했고, 여성에게 기회와 형평성의 평등, 또는 정의와 권리를 촉진하기 위해 가부장제의 우위에 도전하기 위해 동정적인 남성sympathetic men들과 동맹했다.
Although the suffragists included men who supported women’s rights, ‘separatist’ feminism arose in the second wave, from which men were excluded. Third-wave feminism emerged during the 1980s to acknowledge wider issues of ethnicity, gay and cultural identities and allied with sympathetic men to challenge the dominance of patriarchy to promote equality of opportunity and equity, or justice and rights, for women.

[제3의 물결 페미니즘]은 생물학적 본질주의에서 문화의 측면이 젠더, 특히 젠더고정관념을 어떻게 생산하느냐에 관심을 옮겼다. 여기서 쟁점은 [지배적 가치, 사고방식, 가부장적 사회를 재생산하는 활동]을 debate하는 것이다. 예를 들어, 철학자 윌리엄 제임스는 '터프한 마음'과 '순한 마음' 사이에 긴장이 있다는 생각을 제시한다.49 터프한 마음가짐이 더 남성적이고 '순한 마음가짐'이 더 여성스러운 것으로 인식되지만, 그렇다고 모든 남성이 터프하고 모든 여성이 마음이 여린 것은 아니다.
Third-wave feminism shifted interest away from biological essentialism to focus, rather, on how aspects of culture produced gender, especially gender stereotypes. The issue here is to debate dominant values, ways of thinking and activities that reproduce patriarchal society. For example, the philosopher William James presents the idea that there is a tension between ‘tough-minded’ and ‘tender-minded’ thinking.49 Tough-minded thinking is perceived as more male and ‘tender-minded’ thinking as more female in character, but this does not mean that all men are tough-minded and all women are tender-minded.

의학문화에 이를 적용한다면 의학이 남성에게 지배되고 가치관에서도 강경했던 것은 사실이지만 그렇다고 해서 일부 남성 의사는 tender-minded하고, 일부 여성 의사는 tough-minded하다는 뜻은 아니다. 제임스는 원래 이러한 서술어를 철학의 학교에서 이성적 경험론자와 실증론자의 강인한 학파, 그리고 이성보다 감정과 직관을 높인 부드러운 낭만주의 학파를 묘사하기 위해 사용했습니다.

If we apply this to the culture of medicine, although it is true that medicine has been dominated by men and has also been tough-minded in its values, this does not mean that some male doctors will be tender-minded and some women doctors tough-minded. James used these descriptors originally for schools of philosophy to describe on the one hand the tough-minded school of rational empiricists and positivists, and on the other the tender-minded school of the romantics, who elevated feeling and intuition above reason.

후기 구조주의자 페미니즘
Post-structuralist feminism

제3의 물결 페미니즘은 문화적 담론을 통해 성 정체성이 생성되는 방법에 관심이 있다. 이건 두 갈래로 갈라져. 

• 첫째, 당신이 여자나 남자 몸을 가지고 태어났다고 해서, 이것은 당신이 특정한 방식으로 행동하도록 운명지어져 있다는 것을 의미하지는 않는다. 
• 둘째, 문화적 가치의 집단을 '여성적'이라고 부를 수 있다는 것은 이것이 여성이나 어머니의 전유물이라는 것을 의미하지 않는다.

Third-wave feminism is then interested in how gender identities are produced through cultural discourse. This cuts two ways.

• Firstly, just because you are born with a female or a male body (and some people are born with indeterminate gender), this does not mean that you are destined to act in a particular way.
• Secondly, that a group of cultural values (such as sensitivity and tenderness) can be called ‘feminine’ does not mean that these are the exclusive domain of women or mothers.

2010년 유엔교육과학문화기구(UNESCO)는 '글로벌 사회과학 풍경'과 사회과학이 국제적 이슈에 기여하는 내용을 담은 보고서를 작성했다. 이 보고서는 '사회과학이 이렇게 영향력 있는 것은 처음'이라고 시사했다. 이상하게도 400페이지가 넘는 보고서에는 사회과학이 의학이나 의학교육에 미치는 영향에 대해 구체적으로 언급되지 않고 있지만, '신체'에 대한 한 문단이 있다. 이 단락은 [역사적으로 신체는 의학과 생물학 연구의 영역이었지만, 1990년대 이후 신체는 다양한 사회과학의 학문 간 만남의 지점이 되었다]는 점에 주목한다. 이와 같이 사회과학이 신체를 연구 대상으로 전환함에 따라 [신체를 정교한 기계로 보는 의학적인 관점에 대한 비판]이 제기되었으며, 다음과 같은 생각이 도입되었습니다. '일부 페미니스트와 포스트모던 이론가들에게 신체body는 안정적인 경험의 현장이라기보다는 단지 담론의 효과일 뿐이다.'

In 2010, the United Nations Educational, Scientific and Cultural Organization (UNESCO) produced a report on the ‘global social science landscape’ and the contribution of the social sciences to international issues.50 The report suggested: ‘Never before have the social sciences been so influential.’50 Strangely, in the 400-plus pages of the report, no mention is made specifically of the influence of the social sciences on medicine or medical education, but there is one paragraph on ‘the body’. This paragraph notes that the body has, historically, been the domain of study in medicine and biology, but ‘since the 1990s, the body has been an interdisciplinary meeting point for various social sciences’.50 This turn of the social sciences towards the body as an object of study has led to a critique of the medical view of the body as a sophisticated machine and has introduced the idea that: ‘For some feminist and postmodern theoreticians, the body is just the effect of discourse rather than a stable site of experience.’50

'단지just'라는 단어는 수사학적으로 사용된 것이다; 신체는 문화적 담론과 생물학 둘 다의 효과라고 제안하는 것이 좋을 것이다. 주요 문화적 담론은 성별이며, 1960년대 이후 성 문제는 페미니스트에 특히 관심을 가져왔다. 현대 페미니스트의 사고에는 영미주의와 대륙주의, 두 가지 광범위한 흐름이 있습니다; 후자는 종종 '프랑스' 후기 구조주의로 일컬어집니다.1 영미권의 흐름은 경제적 또는 정치적 전략을 통해 해결할 수 있는 구조적 불평등의 분석에 기초하고 있다. 이 영역은 이 기사의 첫 부분에서 소개되었다. 대륙주의의 흐름은 [분석의 기반]을 [담론의 효과(문화에 기반을 둔 언어와 생각)]로 옮기고, [활동을 형성하게 된 근본적인 사고와 가치관]이 해결되지 않는다면, 구조적 사회 문제를 다루는 것은 cosmetic한 것이 될 수 있다고 주장한다.
The word ‘just’ is used rhetorically; it would be better to suggest that the body is both an effect of cultural discourse and biology. A key cultural discourse is gender and since the 1960s gender issues have been of particular interest to feminists. There are two broad streams of contemporary feminist thinking, Anglo-American and Continental; the latter is often referred to as ‘French’ post-structuralism.1 The Anglo-American stream is grounded in the analysis of structural inequalities that can be addressed through economic or political strategies; this territory was introduced in the first part of this article. The Continental stream moves the ground for analysis to the effects of discourse – culturally based language and thought – and argues that addressing structural social issues can be cosmetic if fundamental ways of thinking and valuing, that come to shape activity, remain unaddressed.

후기 구조주의 페미니즘'란 무엇인가? 1, 2 구조주의는 언어학자 페르디난드 드 사우수의 생각에 근거한 20세기 전반의 가장 영향력 있는 이론적인 틀 중 하나였으며, 언어는 하나의 체계이며, 모든 언어 표현은 보편적이고 근본적인 구조 또는 생성 규칙의 집합이다. 어떤 언어로든 단어(예: '개')와 객체 자체(개)의 관계는 자의적입니다. 이 단어는 [전체 기호 분야(구조)]에서 [다른 단어(예: '고양이')]와의 차이에 의해서만 의미를 갖는다.
What is ‘post-structuralist feminism’?1, 2 Structuralism was one of the most influential theoretical frameworks of the first half of the 20th century, based on the linguist Ferdinand de Saussure’s idea that language is a system, and that all language expressions are subject to a universal, underlying structure or set of generative rules. The relationship between a word in any language (such as ‘dog’) and the object itself (the dog) is arbitrary. The word bears meaning only in its difference from other words (such as ‘cat’) in an overall field of signs (the structure).

그 후, 구조주의자들은 보이지 않는 조직 분야를 반대oppositional 범주에 관한 코드로 축소했습니다. 예를 들어, 인류학자 Lévi-Strauss는 문화 전반에 걸친 복잡한 신화를 기본적인 반대 범주인 '날것과 요리된 것' 또는 자연 대 문화로 축소했다. 촘스키는 언어가 보이지 않는 기본적인 생성 규칙 집합 위에 세워져 있다고 제안했고, 피아제는 인간의 인지 발달이 불변하고 펼쳐지는 일련의 단계를 따른다고 제안했다.

Subsequently, structuralists reduced this unseen organising field to a code concerning oppositional categories. For example, the anthropologist Lévi-Strauss reduced complex mythologies across cultures to a basic oppositional category: ‘the raw and the cooked’, or nature versus culture; Chomsky suggested that language was built on a basic set of unseen generative rules, and Piaget suggested that human cognitive development followed an invariant, unfolding sequence of stages.

20세기 후반에는 [문화적 차이가 환원reduced될 수 있는 보편적 조직 구조]에 대한 생각에 의문이 제기되었다. 더 중요한 것은, 구조주의를 특징짓는 '구조' 그 자체가, 논리의 구조로서 [gendered male]로 보였다는 점이다. 또한, [반대 범주로 구조를 조직하는 것]은 언어 사용과 실제 사회 관계 모두에서 [반대되는 한 극이 다른 극을 지배하고 억압]하게 되었다는 점에서 잠재적으로 '위반'으로 보였다. 예를 들어, '남자'는 '여자'에 반대하며 지배적이다.
In the latter half of the 20th century, the idea of a universal organising structure to which cultural differences could be reduced was questioned. More importantly, the ‘structures’ themselves that characterised structuralism were seen to be gendered male, as structures of logic. Further, the organisation of structures as oppositional categories was seen to be potentially ‘violating’ in its expression in that one pole of the opposition came to dominate and oppress another, both in language use and in actual social relations; for example, ‘Man’ stands in opposition to and is dominant over ‘Woman’.

구조주의에 대한 이러한 의구심이 생기면서 포스트구조주의 철학적, 문화적 비평이 등장했다. 이 운동은 예술과 인문학에서 지배적인 비평의 형태가 되었지만 아직 의학 교육에서는 채용되지 않았다. 이 운동에 따르면, [세계는 보이지 않는 보편적인 원리에 의해 조직된 것]이 아니라 [독특한 문화적 규칙을 통해 지역적으로 표현된다]고 가정한다. 중요한 것은, [후기구조주의자]들은 이러한 [지역적 표현]과 [복수적 표현]의 차이가 그저 용인tolerated될 뿐만 아니라 기념되어야celebrated 한다고 주장한다.
In the wake of these doubts about structuralism, a post-structuralist philosophical and cultural critique emerged. This movement has become a dominant form of critique in the arts and humanities but has yet to be employed within medical education. It assumes that the world is not organised by unseen universal principles, but is expressed locally, through idiosyncratic cultural rules. Importantly, post-structuralists argue that difference between these local and plural expressions should not only be tolerated, but also celebrated.

언어가 실천을 형성shape한다는 점에서, 후기 문화주의자인 페미니스트들은 [언어가 가부장제의 지배적인 문화적 담론을 지지하기 위해 사용]되는 방식 및 [왜 성별 간의 차이가 기념되지 않고, 오히려, 하나의 통제 충동, 즉 남성의 그것을 지지하기 위해 확대되는지]에 특히 관심이 있다. 그들은 여성의 생식 사이클을 남성이 전유하는 것으로부터 해방되는 것과 같은 전통적인 1960년대 후기의 전통적 페미니스트에는 초점을 덜 두며, 그보다는 [사회적 실천을 형성하는 가치에 대한 기준으로 남자의 목소리에 의해서 텍스트가 어떻게 전유되는지appropriated에 ]더 관심이 있다. 
Where language shapes practices, post-structuralist feminists are particularly interested in the way that language is used to support the dominant cultural discourse of patriarchy and why differences between the genders are not celebrated, but, rather, are widened in support of one controlling impulse: that of the male. They are less interested in the foci of traditional post-1960s feminists, such as the liberation from male appropriation of women’s reproductive cycles, and more concerned with how text is appropriated by the male voice as a basis for the values that shape social practices.

후기구조주의자인 페미니즘은 'French'라고 불리는데, 이는 세 명의 프랑스 국가 사상가, 특히 Julia Kristeva, 51 Ellene Cixous 52-54, Luce Irigaray의 영향이다.55 하지만, 미국의 Judith Butler와 같은 다른 작가들 역시 이러한 새로운 성향을 형성하는데 영향을 미쳤습니다. Butler의 관점에서, 젠더는 운명이 아니라, 정체성을 형성하기 위해 '수행되는performed' 것이고, 이는 젠더를 단순히 생물학적 표현을 넘어, 문화적 구성cultural construction으로 이동시킨다.1

Post-structuralist feminism is often referred to as ‘French’ because of the influence of three French national thinkers in particular: Julia Kristeva,51 Hélène Cixous52-54 and Luce Irigaray.55 However, other writers such as the American Judith Butler have also been influential in shaping this new wave of feminism.1 Butler’s view is that gender is not destiny, but is ‘performed’ to construct identity, and this moves gender beyond biological expression to cultural constructions.1

후기구조주의자인 페미니즘은 세 가지 개념으로 특징지어진다.

• 잠재적으로 억압적인 이분법적 사고의 논리에 도전하는 것,
• 즉 '차이'를 존중하고 용인하는 것,
• '타협적' 사고

이러한 각 우려 사항은 여기에 요약되어 있습니다.

Post-structuralist feminism is characterised by three notions:

• challenging the potentially oppressive logic of binary thinking;
• respecting and tolerating ‘difference’, and
• ‘liquid’ thinking.

Each of these concerns will be summarised here.

이분법적 사고에 도전하기
Challenging binary thinking

[젠더 연구]는 복잡한 성별 문제를 본질주의로 축소하거나, 순수 생물학적 차이 측면에서 성별을 언급하는 이분법적 사고(예: 남성 대 여성)를 활용하는 경향에 의해 손상된다. 후기구조주의자인 페미니즘은 그러한 수사학에 도전하는데,

• 첫째는 반대적 사고에 대한 비평이고
• 둘째는 생물학적 차이 이전에 [언어 사용]에 초점을 맞춘다.

[반대적 사고oppositional thinking]는 재료를 단순한 서술 범주로 축소함으로써 복잡성을 통제하기 위한 기본적인 수사학적 전략으로 볼 수 있다.
Gender studies are compromised by a tendency to utilise binary thinking (such as male versus female), which reduces complex gender issues to essentialism or refers to gender in terms of purely biological differences. Post-structuralist feminism challenges such rhetoric,

• firstly in a critique of oppositional thinking and
• secondly in a focus upon language use prior to biological difference.

Oppositional thinking can be seen as a basic rhetorical strategy with which to control complexity by reducing material to simplistic descriptive categories.

[반대적 사고]와 그에 따른 실천에 의하면, 한 용어는 긍정적이 되고, 다른 용어는 남성/여성, 인간/동물, 성인/자녀, 백인/흑인과 같은 비대칭적인 반대에서 지배하게 된다. 예속된 용어는 지배되거나 지배될 뿐만 아니라 쉽게 경시되고 정형화되고 악마화된다. Cixous는 '담론이 어디서 구성되든' 그것은 '항상 같은 은유'이며, 위계로 이어지는 반대주의이거나 이중성duality의 것이라고 지적한다. 예를 들어, 서양의 생각은 항상 반대를 통해 작동해왔는데, 예를 들어 활동/수동성, '여성은 항상 수동성과 연관된다'와 같은 것이다. 의학은 불확실성으로 가득 차 있음에도, 의학의 특징은 subject matter를 반대 범주로 축소함으로써 이를 통제하려는 것이다. 그 예로서, 정상 대 병리학적, 건강 대 질병, 치료 대 관리와 같은 것이 있다.

In oppositionalist thinking and its subsequent practices, one term becomes the positive and comes to dominate the other in an asymmetrical opposition, such as man/woman, human/animal, adult/child, white/black. The subjugated term is not only governed, or ruled, but is easily belittled, stereotyped and demonised. Cixous points out that ‘wherever discourse is organised’ it is ‘always the same metaphor’, that of oppositionalism or duality leading to hierarchy, where Western ‘thought has always worked through opposition’, such as Activity/Passivity, and ‘woman is always associated with passivity’.56 Although medicine is riddled with uncertainty, it characteristically controls this by reducing its subject matter to oppositional categories, such as normal versus pathological, health versus illness, and cure versus care.

Kristeva51은 반대적 사고는 편견을 향해 악화될 가능성이 높다고 말한다. 일반적으로 반대는 주체/객체의 형태를 취합니다. 내가 반대하는 것은 잠재적으로 비인간적이고 비개인적인 것이다. 좌천된 '타인'은 용인할 수 없는 '천한abject' 존재로 빠르게 악마화될 수 있다. 그 천한 존재abject는 배제될 뿐만 아니라, 희생양과 같이 병리적이고 적극적으로 차별된다. 연구 결과에 따르면 의사들은 [덜 아픈 환자]를 [더 많이 아픈 환자]보다 더 호의적으로 대하는 경향이 있는 것으로 나타났다.28

Kristeva51 suggests that oppositional thinking readily deteriorates to prejudice. Typically, opposition takes the form of subject/object. Whatever I oppose is potentially de-humanised and de-personalised. The relegated ‘other’ can quickly become demonised as the ‘abject’ that is considered intolerable. The abject is not only excluded, but pathologised and actively discriminated against, such as by scapegoating. Research has shown that doctors tend to treat their less ill patients more favourably than more ill subjects.28

다름을 축하하기
Celebrating difference

의료의 민주화를 위해서는 위계에 대한 반대countered가 필요하다. 특히 '수평적' 형태의 팀워크가 환자 건강 결과에 도움이 된다는 증거에 비추어본다면 그러하다. 전문직 종사자들이 자신을 반체제적이고oppsed 위계적으로 위치시킨다면, 진정한 전문직 상호주의로 전환될 가능성은 좌절된다. Cixous와 같은 작가들은 [반대주의적 사고]의 습관에 저항해야 한다고 제안한다. ('우리와 그들' 사고방식을 생산해낸) 제국주의와 식민주의 대신, 사람 사이의 여러 가지 차이점에 초점을 맞추고 이를 축하하는 것이다. Cixous와 Clément는 '영원한 자연 그대로의 남성적 구조의 안정'과 '자연적으로' 지배적인 것에 대한 도전을 제시합니다. – 다른 사람들을 주인공protagonist의 자아로 몰아넣는 '자아의 제국'입니다.

Hierarchies need to be countered if we are to democratise medicine, especially in light of evidence that ‘horizontal’ forms of team-working benefit patient health outcomes.57 The possibility of a transition to authentic interprofessionalism is frustrated by professions positioning themselves as opposed and hierarchical. Writers such as Cixous suggest that we must challenge the habit of oppositionalist thinking that has historically informed – and attempted to naturalise – imperialism and colonialism (producing an ‘us and them’ mentality) and instead focus upon, and celebrate, multiple differences among persons. Cixous54 and Clément58 offer a challenge to the ‘stability of the masculine structure that passed itself off as eternal-natural’ and ‘naturally’ dominant – the ‘Empire of the Selfsame’ that forces others into the mould of the protagonist’s self.

'유동적' 사고와 은유 사용
‘Liquid’ thinking and the use of metaphor

Irigaray59와 Cixous52는 페미니즘이 자신의 언어를 주장해야 하며, 가부장적 언어의 매체를 통해 일하도록 이끌어서는 안 된다고 제안합니다. Irigaray59는 지배적인 가부장적 언어에 의해 소외된 ways of thinking and knowing을 포착하기 위해 사용될 수 있는 fluid and liquid 언어를 묘사합니다. 의학은 다른 복잡한 praxis처럼 은유와 밀접하게 연관되어 있다. 의학에서의 사고thinking in medicine는 두 가지 방식으로 작용한다. 하나는 문자 그대로 사회-현실적 서술이며, 다른 하나는 비유적 또는 은유적인 표현적 서술이다.
Irigaray59 and Cixous52 suggest that feminism must claim its own language and not be drawn to work through the medium of a patriarchal language. Irigaray59 describes a fluid or liquid language that is highly metaphorical that might be used to capture ways of thinking and knowing that are marginalised by the dominant patriarchal language. Medicine, like any complex praxis, is intimately bound with metaphor. Thinking in medicine works in two ways: literally, as social-realist narrative, and figuratively or metaphorically, as expressive narrative.

문자 그대로의 모습을 형상화함으로써 은유법은 환자의 경험에 더 가까워질 수 있도록 도와줄 수 있다. 예를 들어, 빈센트 램은 할아버지의 종양에 대해 다음과 같이 설명합니다. '그의 왼쪽 옆구리가 마치 풍선이 피부 밑으로 부풀어 오르는 것처럼 부풀어 올랐다. 나는 손가락 끝으로 종양을 부드럽게 눌렀다. 차가운 플라스틱처럼 단단하고 단단했다.' '풍선이 부풀어 오르는 것처럼' '차가운 플라스틱처럼'과 같은 이 텍스트 전반에 걸친 은유와 유추는 패턴 인식을 통해 전문가의 임상 판단에 어떤 것이 채택되는지employed를 반영한다. 램(남성의사)은 할아버지의 '피묻은 오줌'을 '거친 모래와 같은 응고물'을 가진 것으로 묘사한다. 이러한 근접한 인식close noticing과 문자 그대로의 접촉은 Irigaray의 특징적으로 남성적이며 환자를 수동적인 역할에 배치하는 객관적이고 추상적인 진단 시선에 대응하기 위한 전술에 대한 반응을 분명하게 보여줍니다.

By turning the literal into an image, metaphors can help us to get closer to the experience of the patient. For example, Vincent Lam describes his grandfather’s developing tumour: ‘His left flank bulged as if a balloon was being inflated under the skin… I pressed the tumour gently with the tips of my fingers. It was firm, hard like cold plasticine.’60 The metaphors and analogies throughout this text –‘like cold plasticine’, ‘as if a balloon was being inflated’– reflect those employed in expert clinical judgement through pattern recognition. Lam (a male doctor) further describes his grandfather’s ‘bloody pee’ as having ‘clots like coarse sand’.60 This close noticing and literal contact clearly illustrate a response to Irigaray’s call for tactility59 to counter the objectifying and abstracting diagnostic gaze that is characteristically male and serves to place the patient in a passive role.

수잔 손탁은 은유가 가부장제를 대신하여 전략적으로 사용될 수 있다고 지적한다.61 결핵의 전조에 따라, 암과 후천성 면역 결핍 증후군에 대한 현대적 서술은 문자 그대로의 질병의 설명을 넘어 비난적인 은유를 제공할 수 있다. 이러한 은유들은 병을 앓고 있는 사람들에게 수치심과 죄책감을 가져오고 적절한 치료를 구하는 것을 방해할 수 있습니다. 이것은 지지와 이해보다는 수치심과 희생양으로 가득찬 문화로 울려 퍼진다. 게다가, 의학은 일반적으로 '암과 싸우는 것'과 같은 일을 묘사하기 위해 [남성적인 군사적 은유]를 사용하는 상황에서, 환자들이 질병을 다루는데 도움을 주지 못할 수도 있다. 이미 지친 환자는 자신이 싸울 수 없다고 느낄 수도 있다.  
Susan Sontag notes that metaphors can be employed strategically on behalf of a patriarchy.61 Following the precursor of tuberculosis, contemporary descriptions of cancer and acquired immune deficiency syndrome (AIDS) can move beyond accounts of literal illness to offer accusatory metaphors.61 These metaphors bring about shame and guilt in those suffering from illness and may prevent them from seeking appropriate treatment. This resonates with cultures of shaming and scapegoating rather than of supporting and understanding. In addition, medicine may fail to help patients to deal with illness in contexts in which it typically employs masculine martial metaphors to describe its work, such as ‘fighting cancer’. The already exhausted patient may feel she is not up to the fight.

아마도 [여성화된 서술적 감수성]은 (형식적인 기계학보다는) 환자를 전체적으로 파악하고, 유동적이고 역동적인 감성을 통해 환자의 복잡성을 파악할 가능성이 더 높을 것이다. Cixous52가 'écriture feminine'이라고 표현한 유동적 사고는 세상을 은유적으로 묘사하고 있는데, 이것은 [위장된 통제 형태]도 아니고 [호혜주의에 대한 요구]도 아닌, 무조건적인 보살핌에 대한 우아한 비유이다.

Perhaps a feminised narrative sensibility is more likely to read the patient holistically and to grasp the complexity of the patient through a fluid, dynamic sensibility rather than a formal mechanics. The liquid thinking that is described by Cixous52 as ‘écriture feminine’ metaphorically inscribes the world with ‘mother’s milk’, an elegant metaphor for nourishing, unconditional care that is neither a disguised form of control nor a demand for reciprocity.

젠더 텍스트로서의 커리큘럼
The curriculum as a gender text

[후기구조주의적 페미니즘]의 기본 전제를 소개한 후, 이 기사의 나머지 부분에서는 이러한 관점이 가부장제와 남성적 항의를 통해 현재 습관적으로 형성되고 있는 [의학교육을 재고하는 데 어떻게 도움을 줄 수 있는지]에 대해 논의할 것이다. 포스트 커리큘럼 페미니즘의 프레임워크를 통해 의학 커리큘럼을 어떻게 재성별할 수 있는가? 몇 가지 실례가 검토된다.

Having introduced the basic premises of post-structuralist feminism, the remainder of this article will discuss how this perspective can help us to rethink medical education that is currently habitually formed through the discourse of patriarchy and the masculine protest. How might the medicine curriculum be re-gendered through the framework of post-structuralist feminism? Several illustrative examples are considered.

커리큘럼 설계
Curriculum design

교육과정을 '성교과서gender text'로 설명하는 것은 의대에서 이례적일 것이다. 그러나 현재 커리큘럼은 남성 대 여성의 구도에서 '여성'을 열등하게 배치하는 전형적인 가부장적 장치를 통해 설계, 구현 및 평가된다. 이 기사의 첫 번째 섹션에 요약된 인구 통계에 따르면 의대생 여학생이 촉진자로서 남학생보다 뛰어나지만, 의학 교육에서 여성이 적절히 대표되지 않는다고 한다. 왜 이 미끄러짐slippage이 발생하는가? 아마도 현재의 커리큘럼 디자인은 의식적으로 또는 무의식적으로 가부장적 형태를 재현했기 때문이다.
It would be unusual in medical education to describe the curriculum as a ‘gender text’,62 yet curricula are designed, implemented and evaluated through typical patriarchal devices that gender-stereotype to place ‘woman’ as the inferior in a male versus female opposition. The demographics summarised in the first section of this article note that women are not represented adequately in medical education, although female medical students outperform male students as facilitators. Why does this slippage occur? Perhaps current curriculum design consciously or unconsciously reproduces patriarchal forms.

예를 들어, 앞서 언급했듯이, [고급 임상 기술 마네킨]은 남성의 모습을 하고 있다. 생물의학자는 사회과학처럼 'Soft' 또는 tender-minded 과목으로 인식되는 것에 대해 적대적인 것으로 악명 높다.63 (역량으로 표현되)는 행동 결과 기반 학습과 같은 커리큘럼 계획에서, 현재의 정통성orthodoxy은 [합리적, 기술적, 도구적, 목표 지향적이고 냉정]하다고 볼 수 있다,64 따라서 남성적 항의masculine protest와 권위주의적 성격의 전형적인 특징을 닮았습니다. 그러한 접근법은 과정, 직관, 그리고 합법적인 학습으로서의 영향을 부정합니다.
For example, as I have noted, advanced clinical skills manikins are gendered male. Biomedical scientists are notoriously hostile towards what they perceive as ‘soft’ or tender-minded subjects such as the social sciences.63 The current orthodoxy in curriculum planning, such as behavioural outcomes-based learning – expressed as competencies – can be seen as rational, technical, instrumental, hierarchical, goal-oriented and cold,64 thus resembling the classic profile of the masculine protest and the authoritarian personality. Such approaches deny process, intuition and affect as legitimate learning.

커리큘럼은 살아있는 경험입니다; 그것은 단순한 강의요목이나 내용목록을 넘어서고, 정체성을 형성하는 역할을 합니다. 의대 교육에서 정체성 관련 목표는 [의대생의 정체성]에서 [수련의사의 정체성]으로의 전환을 말한다. 그러나 만약 이 정체성 구축이 [불확실성과 모호성을 인정하는 것에 대한 방어적 태도]와 [냉소를 초래할 수 있는 감정의 무뎌짐]와 같은 남성적 항의의 고전적인 징후를 수반한다면 어떻게 될까? 이 두 가지 모두 의대생들 사이에서 '공감 감소' 현상이 잘 문서화되어 있다는 증거로, 남성 젠더적 현상male-gendered phenomenon로 읽힐 수 있다. 개인주의적인 '영웅적인' 의학의 시대는 끝났다고 말한 Ludmerer는 옳은가?

The curriculum is a lived experience; it extends beyond a mere syllabus or list of content, and serves to construct identities. In a medical education, the identity-associated goal refers to a transition from the identity of medical student to that of trainee doctor. But what if this identity construction carries with it the classic signs of the masculine protest such as defence against admitting uncertainty and ambiguity, and the hardening of feelings that can lead to cynicism? Both are signs of the well-documented phenomenon of ‘empathy decline’ amongst medical students, which can be read as a largely male-gendered phenomenon. Is Ludmerer24 correct to suggest that the days of individualistic ‘heroic’ medicine are over?

성인교육
Andragogy

의학 교육에서 Andragogy 또는 성인 학습 이론의 광범위한 무비판적 수용은 언어와 사상에 근거한 제도화된 성 편견을 위장한다.65 'andragogy(그리스어: andr-)'의 어원은 '남성' 또는 '남자'를 의미한다. 의학 교육이 'gynagogy'이라면 어떻게 보일까? [자율성]을 특권화하는 이론들도 마찬가지로 협력적인 접근법을 희생시키면서, 의학의 전통적으로 영웅적이고 남성적인 입장을 반영한다.

The widespread uncritical acceptance of andragogy, or adult learning theory, in medical education, disguises an institutionalised gender bias grounded in language and thought.65 The root of ‘andragogy’ (Greek: andr-) means ‘man’ or ‘male’. How might a medical education look if it were a ‘gynagogy’? Learning theories that privilege autonomy also serve to mirror medicine’s traditionally heroic, masculine stance, at the expense of more collaborative approaches.

전문성, 성찰 및 자기 지식
Professionalism, reflection and self-knowledge

의학 교육에서 전문성과 개인적 성찰의 강조가 보다 tender-minded practice을 향한 움직임을 반영하는 것처럼 보일 수 있지만, 전문직업성은 남성적 항의masculine protest의 영향 아래 놓여 있다. 여기에는 '커리큘럼 설계'로 불리는 [명시된 학습 성과를 통한 평가의 엄격한 접근 방식]을 포함한다.
Although the emphasis upon professionalism and personal reflection in medical education may seem to reflect a move towards a more tender-minded practice, professionalism is subject to the influence of the masculine protest, including the supposedly rigorous approach of assessment through stated learning outcomes, referred to under Curriculum design.

교육과정에서 [전문직업성]은 학생들이 [제도화된 형태의 성찰적 실천을 통해 자신을 알게 되는 기술]로 광고되는 경우가 많다. 그러나 이는 학습자를 [개인주의적 모델] 또는 [자율적 성찰 모델]로 유도하여 Andragogy의 교리를 확인시킴과 동시에 협력에서는 더 멀어질 수 있습니다.66 Christeva는 실제로 우리는 언제나 '자신에게 낯선 사람'이기 때문에, '나를 아는 것self-knowing'이란 것은 (마스터리의 한 측면인) 잠재적 환상이라고 비판합니다.67
Professionalism in the curriculum is often advertised as a technique by which students come to know themselves through institutionalised forms of reflective practice. However, this may drive learners into individualistic or autonomy-based models of reflection that confirm the tenets of andragogy and move away from collaboration.66 Kristeva critiques such ‘self-knowing’ as potential illusory, an aspect of ‘mastery’, when in reality we are always ‘strangers to ourselves’.67

[자신의 실천, 자기 이미지, 커리어 목표에 대해 더 불확실한 여성 동료들]과 비교했을 때, 남성 의사들은 [강한 자기 이미지]에 부합하고, [협소한 커리어 야망]에 부합하는 그들의 직업에 대해 [확고한 자신감]을 보인다.28 이 차이는 정신분석학적으로 읽힐 수 있는데, 여기서 [지나친 자신감]은 [불확실성의 인식에 대한 방어기제defence]가 되기 때문이다. Kristeva는 자기자신을 알게 되는 것은 역설적으로 '(자기 자신을) 모르는 것'을 통해서 이루어진다고 말한다. 즉, 자아 이미지의 기본적인 불안정성을 인식하는 것이다. 하지만, 다시 말하지만, 이것은 '마스터리'가 아니다('마스터리'역시 또 다른 배제적, 남성적 용어이다).
In comparison with their female colleagues, who are more uncertain about practice, self-image and career goals, male doctors show assertive confidence in their practice congruent with strong self-image and aligned with focused career ambitions.28 This difference can be read psychoanalytically, where over-confidence can offer defence against recognition of uncertainty. Kristeva suggests that it is through ‘unknowing’, or the recognition of basic instability of self-image, that we paradoxically come to know ourselves.67 But, again, this is not ‘mastery’ (another exclusive, masculine term).

또한 [전문직업적 실천]은 주로 [상황 또는 맥락적으로 민감한 윤리]보다는 [원칙 집합을 고수하는 접근법]에 기초한 윤리적 행동에 의해 정의되어 왔다(사례 참조).68 [원칙에 기초한 접근법]은 [명확성과 획일성이라는 보다 남성적인 목적]을 위해 노력하는 반면, [상황적 접근법]은 [모호성에 대한 보다 여성적인 관용]을 허용한다.

Further, professional practice has largely been defined by ethical behaviour based on an approach that adheres to the upholding of a set of principles, rather than on a situated or contextually sensitive ethics (see Cases).68 Principles-based approaches strive for the more masculine purposes of clarity and uniformity, whereas situated approaches allow for a more feminine tolerance of ambiguity.

사례
Cases

만약 의학이 '어머니 젖'으로 글을 쓰는 것이 어떤 것인지 은유적으로 묻는 Cixous(52)에 의해 모델링된 것과 같은 여성적이고 여성적인 글쓰기의 관점에 의해 인도된다면, 그러한 윤리의 '사례'는 어떻게 보일까, 아니면 어떻게 기록될까? 이것은 환자 '사례'와 같은 글을 부성애보다는 모성애로 적는 것으로 읽힐 수 있다. 씨소스가 52번이나 '어머니 젖'을 비유로 사용한 것은 남성에게도 글쓰기에 대한 참여를 열어주고, 우리 삶의 글쓰기를 자양분이면서 표현력 있는 모유처럼 (성격이나 정체성 형성의 의미로) 얼룩지는 '표현'하게 해준다.
What would such ethics ‘cases’ look like, or how would they be written up, if medicine were guided by the outlook of écriture feminine, feminine practices of writing, such as those modelled by Cixous,52 who asks, metaphorically, what it is like to write with ‘mother’s milk’? This can be read as (re)inscribing writing, such as a patient ‘case’, with maternalism rather than paternalism. Cixous’s52 use of ‘mother’s milk’ as a metaphor opens participation to men also to treat writing – and the writing out of our lives as identity performances – as nourishing and expressive, ‘expressed’ as breast milk that stains (in the sense of character or identity formation) as it sustains.

Cixous는 남성적인 문체의 지배적인 관례에 대한 저항으로 여성적인 단일한 '목소리'가 어떻게 글로 옮겨질 수 있는지를 더 자세히 설명합니다. 그녀는 어떻게 글쓰기가 지적인 글쓰기의 양식적 요구에 의해 평탄해지지 않을 수 있는지를 보여준다. 그래서 우리는 글쓰기를 숨막히게 하거나 문장과 침묵으로 만들어 낼 수 있다.69

Cixous further describes how a singular, feminine ‘voice’ might be brought into writing by resistance to the conventions of a dominant masculine style. She shows how writing might not be flattened by the stylistic demands of intellectual writing (the scientific report, the ‘case’ presentation) so that we might ‘make the text gasp or form it out of suspenses and silences’.69

돌봄
Care

Martha Nussbaum의 관점에서, 보건의료(예: 자원 분배)에는 ['돌봄'의 질에 대한 여성적 우려]보다 ['정의' 문제에 대한 중요한 남성적 우려]가 더 특권적 위치에 있다.70 우리는 이것이 2008년 영국 의학 저널에 발표된 남성 의사인 McKinstry와 여성 의사인 Dacre 사이에 펼쳐진 토론에서 볼 수 있다., 12 앞서 언급한 바와 같이, McKinstry는 의학의 여성화 지지자들이 [환자와의 의사소통(관리 품질) 향상에 중점을 두는 것]은, 의료인들이 환자와 더 많은 시간을 보내고 더 많은 의뢰를 제공하는 것을 수반하기 때문에, [자원에 대한 압박과 같은 정의 문제]와 상충된다고 제안합니다. 물론 두 가지 성향 모두 중요하지만, 반대되는 남성적 항의가 대표적이다. 그러나 누스바움은 정의의 윤리가 보살핌의 윤리보다 지속적으로 특권을 누리고 있으며, 이는 불평등을 초래하는 성 편견으로 읽힐 수 있다고 주장한다.70

For Martha Nussbaum, there is an overarching male privileging of issues of ‘justice’ in health care (such as in the distribution of resources) over a female concern with issues of quality of ‘care’.70 We see this played out in the debate published in the British Medical Journal between McKinstry, a male doctor, and Dacre, a female doctor, in 2008.7, 12 As noted earlier, McKinstry suggests that the focus placed by supporters of the feminisation of medicine on improved communication with patients (quality of care) is at odds with justice issues such as pressure on resources because it involves practitioners in spending more time with patients and offering more referrals. Of course, both orientations are important, but it is typical of the masculine protest to place them in opposition. However, Nussbaum argues that an ethic of justice is persistently privileged over an ethic of care, and this can be read as a gender bias leading to inequalities.70

가계
Household

얼마 전까지만 해도 1년차 주치의(주니어 레지던트로 인턴이 진급)를 부르는 용어로서, 병동 팀이라는 맥락에서의 '회사'라는 기술어의 의미, 'house officer'과 'houseman'의 의미를 따지려 했던 의사는 거의 없었을 것이다. 영국에서는 이제 'firm'라는 개념이 사라지고 'foundation doctor'라는 용어가 'house officer'을 대체하게 되었다. 남근적 용어인 'firm'은 이제 무기력flaccid해졌으며, 오히려 유연해지고 유동적이 되었다. 그리고 점차 주니어 의사들은 더 유목적이고 되었고, 덜 'attached'되었다.
Not so long ago, few doctors would have bothered to question the meaning of the descriptors ‘firm’ in the context of the ward team, or ‘house officer’ and ‘houseman’ with reference to the first-year junior doctor (intern progressing to junior resident). In the UK, the notion of the ‘firm’ has now disappeared and the term ‘foundation doctor’ has replaced ‘house officer’. The phallic ‘firm’ is now flaccid or, rather, flexible and ‘liquid’ as junior doctors learn to become more nomadic and less ‘attached’.

이제 대다수의 주니어 의사가 여성인 상황에서, 전형적으로 여성의 영역이었던 household를 어떻게 꾸릴 것인가? 예를 들어, 그들은 사업 가치('firm'은 일반적으로 상업적 벤처나 법률적 설립을 묘사한다)보다 Domestic한 '돌봄' 가치를 더 중요하게 여기며, 돌봄은 비지니스로, 환자는 고객으로 프레임해온 현재의 경영주의 담론에 반대하여 일할 것인가?71 병원을 무조건적 '환대hospitality'를 제공하는 장소라는 근본적 의미로 되돌릴 것인가? 'Firm'은, 우리가 알고 있듯이, 견고하고, 단단하며, 흔들리지 않는 특성을 의미하며, 이는 [상대를 뚫고 들어가는penetrating 의학적 시선]과 쉽게 연결된다. 여성 의사들이 (수적) 우위에 있을 때 그러한 전형적인 남성적, 혹은 남근phallogocentric 중심적인 가치들이 다른 가치들의 집합으로 대체될까?

How will the new female majority of junior doctors establish the household, which is, stereotypically, the woman’s domain? Will they, for example, see domestic ‘care’ values as more important than business values (the ‘firm’ typically describes a commercial venture or a legal set-up) and work against a current discourse of managerialism that frames care as a business and patients as customers?71 Will they return the hospital to its root meaning of a place that offers unconditional ‘hospitality’? ‘Firm’, as we know, also means solid, stiff, unyielding and steadfast, characteristics that are readily linked with the penetrating medical gaze. Will such archetypally masculine, or phallogocentric, values be replaced by a different set of values when women doctors are in the ascendant?

센터
Centres

의학 교육 연구는 협업보다는 자원 경쟁을 계속 강조하고 있다. 보다 민주적인 '네트워크'보다는 연구를 위한 '중심'이 여전히 가장 인기 있는 서술자인데, 이는 협업 모델이 보다 여성적인 어조로 보일 수 있는 구조를 내포하고 있다.

Medical education research continues to emphasise competition for resources rather than collaboration. A ‘centre’ for research is still the most popular descriptor, rather than the more democratic ‘network’, which implies a structure in which collaborative models can be seen to be more feminine in tone.

결론: 의학의 민주주의를 향하여
Conclusions: towards democracy in medicine

의료 교육에 대한 [후기구조주의적 페미니즘]의 기여는 의학에서의 [민주적 습관의 촉진]으로 요약될 수 있다. 의학 교육은 (아마도 논쟁의 여지는 있으나) 역사적으로 [습관적으로 남성적 시위에 근거해온, 역사적이고 끈질긴 독재적 의료 문화]에 민주주의를 도입해온 것으로 기술될 수 있다. 이러한 [민주화 프로세스]가 설득력을 확보하여 동료와의 협업과 환자 중심의 협업을 통해 환자 안전과 환자 관리를 개선할 수 있는 수단이 되도록 하는 것이 필수적입니다.
The contribution of post-structuralist feminism towards medical education can be summarised as the facilitation of democratic habits in medicine. Medical education can be described, perhaps controversially, as the means whereby democracy can be brought to a historically and persistently autocratic medical culture habitually grounded in the masculine protest. It is essential that such a democratising process gains traction so that collaborative teamwork with colleagues and patient-centred collaborations become the means through which patient safety and then patient care can be improved.

이 프로젝트는, 분명히, 후기구조주의 페미니스트 사상을 의학 교육에 고용하는 것보다 더 광범위하다. 그러나 이러한 사고방식은 [인구통계학적 경향에 국한된 여성화]를 넘어서, [민주화 프로젝트] 측면에서 의학교육을 재고할 수 있는 급진적인 플랫폼을 제공한다. 미래의 의학교육은 가부장적 프레임워크의 규약에 의해 가장 잘 알려지는 것이 아니라, 현대 성별 연구와 중요한 페미니즘 분야에 익숙한 의학교육에 의해 가장 잘 알려질 수 있다.

This project, admittedly, is wider than the employment of post-structuralist feminist thought to medical education. However, such a mode of thought offers a radical platform for rethinking medical education in terms of a democratising project that extends beyond a version of feminising that is limited to demographic trends. A future medical education may not be best informed by the conventions of a patriarchal framework, but by a medical education familiar with the fields of contemporary gender studies and critical feminisms.

Med Educ. 2013 Jan;47(1):59-70.

 doi: 10.1111/j.1365-2923.2012.04351.x.

Gender matters in medical education

Alan Bleakley 1

Affiliations collapse

Affiliation

• 1University of Plymouth, UK. alan.bleakley@pms.ac.uk

• PMID: 23278826
• DOI: 10.1111/j.1365-2923.2012.04351.xAbstract
• Context: Women are in the majority in terms of entry to medical schools worldwide and will soon represent the majority of working doctors. This has been termed the 'feminising' of medicine. In medical education, such gender issues tend to be restricted to discussions of demographic changes and structural inequalities based on a biological reading of gender. However, in contemporary social sciences, gender theory has moved beyond both biology and demography to include cultural issues of gendered ways of thinking. Can contemporary feminist thought drawn from the social sciences help medical educators to widen their appreciation and understanding of the feminising of medicine?Conclusions: Women doctors entering the medical workforce can resist and reformulate the current dominant patriarchy rather than reproducing it, supported by male feminists. Such a feminising of medicine can extend to medical education, but will require an appropriate theoretical framework to make sense of the new territory. The feminising of medical education informed by post-structuralist frameworks may provide a platform for the democratisation of medical culture and practices, further informing authentic patient-centred practices of care.
• Discussion: Post-structuralist feminist critique, drawn from the social sciences, focuses on cultural practices, such as language use, that support a dominant patriarchy. Such a critique is not exclusive to women, but may be described as supporting a tender-minded approach to practice that is shared by both women and men. The demographic feminising of medicine may have limited effect in terms of changing both medical culture and medical education practices without causing radical change to entrenched cultural habits that are best described as patriarchal. Medical education currently suffers from male biases, such as those imposed by 'andragogy', or adult learning theory, and these can be positively challenged through post-structuralist feminist critique.
• © Blackwell Publishing Ltd 2013.

임상술기와 지식의 학습과 전이에 있어서 감정의 역할(Acad Med, 2012)
The Role of Emotion in the Learning and Transfer of Clinical Skills and Knowledge

Meghan M. McConnell, PhD, and Kevin W. Eva, PhD

의사가 되기 위한 훈련은 학생들이 지식과 기술을 배우고 새로운 환경에 전이하는 방법에 영향을 미칠 수 있는 광범위한 느낌과 감정을 수반합니다. 일반적인 정서적 경험에는 시간의 압박, 불확실성 또는 비현실적인 기대, 만성적인 질병 환자 치료에 따른 절망, 실패에 대한 두려움 또는 책임감 증가, 그리고 환자의 죽음이나 인식된 성과에 대한 죄책감과 동정이 포함됩니다.1-5 이 목록과 일관되게, 의학 교육의 감정에 관한 대부분의 문헌은 부정적인 감정에 초점을 맞추고 있다. 연구자들은 그러한 부정적인 상태가 종종 의료 훈련생들의 높은 번아웃 발생률과 연관되기 때문에 이러한 초점을 정당화한다.6,7 그러나 자부심, 흥분, 감사, 행복과 같은 긍정적인 감정도 의료 훈련생들에게 중요한 경험을 동반한다.1 

Training to become a physician involves a broad range of feelings and emotions that can influence how students learn and transfer knowledge and skills to new settings. Common emotional experiences include stress from time pressures, uncertainty, or unrealistic expectations; hopelessness from treating chronically ill patients; fear of failure or increasing responsibility; and guilt and sympathy over the death of patients or perceived poor performance.1–5 Consistent with this list, most of the literature on emotion in medical education focuses on negative emotions. Researchers justify this focus because such negative states are often associated with the high incidence of burnout among medical trainees.6,7 However, positive emotions—such as pride, excitement, gratitude, and happiness—also accompany important experiences for medical trainees.1 

감정이란 무엇인가?
What Is Emotion?

감정은 정의하기가 다소 어렵다. 연구자들은 감정, 기분, 영향, 태도, 감정을 포함한 다양한 경험적 개념을 개념화했습니다. 우리는 감정이라는 용어를 가장 일반적인 의미, 즉 정서적인 내용, 상태 및 경험을 지칭하기 위해 사용했습니다. 
Emotion is somewhat difficult to define. Researchers have conceptualized a variety of experiential concepts, including emotion, mood, affect, attitudes, and feelings. We used the term emotion in its most general sense—to refer to affective contents, states, and experiences. 

연구자들은 감정을 가장 잘 정의하는 방법에 대해 논의했지만, 일반적으로 감정이 감정가valence과 각성의 두 가지 차원에 따라 다르다는 데 동의합니다.

• 발렌스는 물리학 및 화학8에서 차용한 용어로, 감정이 긍정적이거나 부정적이거나 유쾌하거나 불쾌하거나 좋거나 나쁘거나 하는 정도로 인식되는 정도를 말한다.
• 발렌스가 종종 감정 상태를 정의하는 특징으로 여겨지지만, 각성 또한 중요한 구성요소입니다.
• 각성은 감정이 활성화되거나 비활성화되는 정도를 말합니다. 예를 들어, 높은 각성 상태(예: 두려움, 불안, 흥분)는 낮은 각성 상태(예: 우울증, 침착함)와 구별됩니다.

Although researchers have debated how to best define emotion, they generally agree that emotions vary along two dimensions—valence and arousal.

• Valence is a term borrowed from physics and chemistry8 that refers to the extent to which an emotion is perceived as being positive or negative, pleasant or unpleasant, good or bad.
• Although valence is often considered the defining feature of emotional states, arousal is also an important component.
• Arousal refers to the extent to which an emotion is experienced as activating or deactivating. For example, high arousal states (e.g., fear, anxiety, excitement) are differentiated from low arousal states (e.g., depression, calmness).

방법
Method

초점을 폭넓게 고려할 때, 체계적이고 포괄적인 검토를 시도하는 것보다 다양한 관련 연구 결과의 비판적 통합이 더 적절하다고 판단했다.9 그러한 검토는 좁게 정의된 연구 질문과 관련된 근거의 완전한 요약을 생성하기보다는 넓은 주제에 관한 문헌의 선별적인 요약을 독자들에게 제공하기 위한 것이다. 

Given the breadth of focus, we decided that a critical synthesis of a variety of relevant research findings was more appropriate than attempting a systematic and comprehensive review.9 Such a review is intended to provide readers with a selective summary of the literature around a broad topic rather than generating an exhaustive summary of the evidence relevant to a narrowly defined “Does it work?” type of research question. 

결과
Results

인식과 정보 처리
Perception and information processing

[긍정적인 분위기]에 있을 때, 사람들은 상황의 보다 광범위하고 일반적인 구성 요소에 초점을 맞춤으로써 "큰 그림"을 더 잘 볼 수 있다는 것을 많은 연구가 증명했습니다. 반면에, 사람들이 [부정적인 기분]에 있을 때, 그들은 구체적인 세부사항들에 더 집중합니다.10-13 다시 말하면, 긍정적인 감정은 사람들이 숲을 볼 수 있도록 격려하는 반면 부정적인 감정은 나뭇잎에 집중하도록 이끈다. 어떤 것이 다른 것보다 나은지는 특정 업무에 가장 유용한 정보를 사용할 수 있는 수준에 따라 달라지지만, 상당히 미묘한 영향도 영향을 미칠 수 있음은 분명하다. 
A plethora of research has demonstrated that, when in positive moods, individuals are more likely to see the “big picture” by focusing on the broader, more general components of the situation (e.g., global processing). On the other hand, when people are in negative moods, they are more likely to focus on specific details (e.g., local processing).10–13 In other words, positive emotions encourage people to see the forest, whereas negative emotions lead them to focus on the leaves. Whether one is better than the other depends on the level at which the most useful information is available for a particular task, but it is clear that even fairly subtle influences can have an effect. 

예를 들어, 프레드릭슨과 브래니건 14,15는 참가자들이 감정을 불러일으키는 영화 클립을 보게 함으로써 긍정적인 감정(예: 기쁨, 평온, 놀이, 만족)과 부정적인 감정(예: 두려움, 불안, 분노, 슬픔)의 범위를 유도했다. 또한 참가자들에게 감정을 유도하지 않는 영화(즉, 색 막대기가 쌓이는 추상적 표시)를 보게 함으로써 중립적인 통제 조건도 포함시켰다. 연구자들은 국소적인 세부사항과 전체적 맥락을 분리하는 작업을 통해 감정이 기본적인 지각 처리에 영향을 미치는지 여부를 조사할 수 있었습니다. 이를 위해 참가자들에게 표적과 두 개의 비교 항목인 세 개의 기하학적 도형으로 구성된 디스플레이를 보여주었다(그림 1 참조). 
For example, Fredrickson and Branigan14,15 induced a range of positive (e.g., joy, serenity, amusement, contentment) and negative emotions (e.g., fear, anxiety, anger, sadness) by having participants watch emotionally evocative film clips. They also included a neutral control condition by having participants watch a film intended to elicit no emotion (i.e., an abstract display of colored sticks stacking up). Using a task that dissociated the local details from the global context, the researchers were able to examine whether emotion had an influence on basic perceptual processing. To do so, they showed participants a display consisting of three geometric figures—a target and two comparison items (see Figure 1). 

긍정적인 감정을 경험하는 참가자는 전체적 특징(예: 그림 대상의 삼각형 구조)에 따라 항목을 분류할 가능성이 더 높았고, 부정적이거나 중립적인 상태를 경험하는 참가자에 비해 국지적 특성에 기초하여 선택했다(Stimulus의 동그라미를 가지고 Comparison item 2를 선택)
Participants experiencing positive emotions were more likely to categorize items on the basis of their global features (e.g., the triangular structure of the illustrated target, leading to a selection of comparison item 1; see Figure 1) relative to participants experiencing negative or neutral states, who were more likely to categorize items on the basis of their local features (e.g., the circles used to create the stimulus in Figure 1, leading to selection of comparison item 2).

개인의 정보 인식 및 처리 방식에 대한 정서적 상태의 이러한 영향은 학습 및 지식의 전이에 중요한 영향을 미칠 수 있습니다. [글로벌 프로세싱 스타일](즉, "큰 그림"에 초점을 추는 것)은 서로 관련이 있는 학습 사건 사이에서 연관성 및 관계적 연결로 이어지며, 이는 개인이 새로운 작업 전반에 걸친 유사성을 감지할 수 있도록 함으로써 지식을 새로운 상황으로 이전하는 것을 촉진해야 합니다. 
This influence of emotional states on how individuals perceive and process information can have important implications for learning and knowledge transfer. Global processing styles (i.e., focusing on the “big picture”) appear to lead to more associative and relational connections between relevant learning events, which should promote the transfer of knowledge to new situations by enabling individuals to detect analogies across novel tasks. 

예를 들어 브랜드와 동료 16,17이 실시한 최근 일련의 연구에서는 긍정적 감정과 부정적 감정이 지식 전이에 서로 다른  영향을 미치는지 여부를 조사했습니다. 이러한 실험의 학습 단계에서 참가자들은 하노이의 탑(ToH)을 푸는 법을 배웠다. 
For example, a recent set of studies conducted by Brand and colleagues16,17 examined whether positive and negative emotions have differential effects on knowledge transfer. During the learning phase of these experiments, participants learned to solve the Tower of Hanoi (ToH) 

참가자들은 미리 정의된 마스터 수준에 도달할 때까지 디스크 3, 4개 ToH 퍼즐을 풀었습니다. 이후 연구원들은 참가자들에게 '행복하고 긍정적인' 혹은 '슬프고 부정적인' 인생 사건에 대해 쓰도록 함으로써 참가자들의 기분을 조작했다. 무드 인덕션에 이어 참가자들에게 근위부 문제 1개(5디스크 ToH)와 전이문제 2개 과제를 풀도록 했다. 
Participants solved three- and four-disk ToH puzzles until they reached a predefined mastery level. Afterwards, the researchers manipulated the participants’ mood by having them write about a “happy and positive” or “sad and negative” life event. Following the mood induction, they asked participants to solve one proximal (five-disk ToH) and two transfer tasks. 

그 결과는 감정적 발렌스가 전이에 있어 중요한 요소라는 것을 보여주었다. 참가자가 긍정적인 감정을 느끼도록 유도하는 2가지 전이과제의 성과가 향상되었고 부정적인 감정을 느끼는 참가자에게는 장애가 되었다. 
The results showed that emotional valence is an important factor in transfer. Performance on the two transfer tasks was improved for participants induced to experience positive emotions and was impaired for those experiencing negative emotions. 

긍정적이고 부정적인 감정(예를 들어, 세계적인 대 지역)에 스타일 처리의 차이 그nonanalytic(시스템 1)적(시스템 2)추론 과정 사이에 혼동하지 않아야 한다. 연구진은 기껏해야 시스템1에만 감정처리가 특정하며 시스템2 처리는 감정적 영향이 없다는 가설을 세워왔다.20 긍정적 감정은 전역적 세부사항의 자동처리를 부추기는 반면 부정적 감정은 국소적 세부사항의 자동처리를 유도한다. 
The differences in processing styles for positive and negative emotions (e.g., global versus local) should not be confused with those between nonanalytic (System 1) and analytic (System 2) reasoning processes. At most, researchers have hypothesized that emotional processing is specific to System 1 and that System 2 processing is free from emotional influence.20 Therefore, positive emotions likely encourage the automatic processing of global details, whereas negative emotions lead to the automatic processing of local details. 

일부 경험적 뒷받침은 감정적 발렌스에 따라 인지적 편견을 저지를 가능성에 영향을 줄 수 있다고 시사하지만, 이러한 효과의 유병률에 대한 감정의 영향은 다양한 것으로 보인다. 예를 들어, 

• 고정 편견(즉, 전체 상황을 이해하는 대신 하나의 특성이나 정보에 초점을 맞춘다)은 학습자가 부정적인 감정 상태에 있을 때 발생할 가능성이 더 높습니다. 반면, 
• 근본적인 귀인 편향(즉, 상황적 힘을 과소평가하고 처분 요인을 과대평가하려는 경향)과 정의로운 세계 편향(즉, 사람들이 받을 만한 결과를 얻는다는 믿음)은 사람들이 긍정적인 감정 상태에 있을 때 더 많이 발생한다.

Some empirical support suggests that emotional valence can influence the likelihood of committing cognitive biases, but the influence of emotion on the prevalence of this effect appears to vary. For example,

• anchoring biases (i.e., focusing on one trait or piece of information at the expense of understanding the whole situation) are more likely to occur when learners are in negative emotional states.21,22 On the other hand,
• the fundamental attribution bias (i.e., the tendency to underestimate situational forces and overestimate dispositional factors) and the just world bias (i.e., the belief that people get the outcomes they deserve) are more likely to occur when people are in positive emotional states.23,24

정보 해석
Interpreting information

인지적 유연성
Cognitive flexibility.

연구에 따르면 긍정적인 감정은 개인의 유연한 사고 능력을 촉진하고 다른 전략과 해결책을 발견하는 데 도움이 됩니다.예를 들어, Gasper28은 당면한 문제의 맥락에 따라 개인의 사고방식 전환 능력에 긍정적 감정과 부정적 감정이 서로 다른 영향을 미치는지 조사하였다.
Studies have shown that positive emotions facilitate an individual’s ability to think flexibly and discover alternative strategies and solutions.25–27 For example, Gasper28 examined whether positive and negative emotions have different influences on an individual’s ability to switch mindsets according to the context of the problem at hand.

개스퍼는 부정적인 감정을 경험하는 개인들이 그것이 부적절하다는 피드백을 받기 전까지 확립된 문제 해결 전략에 의존한다는 것을 발견했다. 반면 긍정적인 감정을 경험하는 사람들은 스스로 수립된 전략을 포기하는 경우가 훨씬 더 많았다. 
Gasper found that individuals experiencing negative emotions relied on the established problem-solving strategy until they received feedback that it was inadequate. On the other hand, those experiencing positive emotions were much more likely to abandon the established strategy on their own accord. 

개스퍼의 연구 결과는 [긍정적인 감정]이 머리 속에 떠오르는 잠재적 해결책의 수를 늘리며, 오래된 것에 대한 개인의 의존도를 낮추고, 잠재적으로 불충분한 문제 해결 전략을 줄임으로써 문제 해결을 촉진한다는 것을 시사한다. 브랜드 외 연구진에 따르면, [유연한 사고]는 "하위 구조가 동일하거나 유사한 표면 특성을 가진 서로 다른 전이 과제 간의 유사성을 감지하는 데 특히 유리하다"고 한다. 분명히, 이러한 인지적 유연성은 의학처럼 연구자들이 [조기 종결]가 진단 정확성에 대한 주요 도전과제로 지적한 분야에서 중요한 의미를 가질 수 있다. 실제로, 진단 의사결정을 연구하는 에스트라다, 이센, 그리고 동료들은 [긍정적인 감정]이 진단 정확도 증가, 호기심 증가, 그리고 정보의 통합 강화와 연관되어 있다고 보고했습니다.

The results of Gasper’s28 study suggest that positive emotions promote problem solving by increasing the number of potential solutions that come to mind and by decreasing an individual’s reliance on old, and potentially inadequate, problem-solving strategies. According to Brand et al,16 flexible thinking “should be particularly favorable for detecting analogies between different transfer tasks with similar or dissimilar surface features with identical substructure.” Clearly, such cognitive flexibility can have important implications in a field like medicine where researchers have identified premature closure as a major challenge to diagnostic accuracy.29,30 Indeed, Estrada, Isen, and colleagues,21,31,32 studying diagnostic decision making, have reported that positive emotions are associated with increased diagnostic accuracy, greater curiosity, and enhanced integration of information.

기억 인출
Memory retrieval.

모든 기억이 동등하게 만들어지는 것은 아닙니다. [고도의 감정적 경험]은 잘 기억되는 경향이 있는데, 특히 감정적 경험에 대한 강한 기억을 발생 후 수년 만에 흔히 보고하는 임상의에게는 놀라운 일이 아니다. [정서적 사건과 경험]이 [중립적 사건]보다 기억에서 더 안정적으로 인출된다는 많은 연구가 있지만, 정서적 경험이 기억 형성에 이처럼 큰 영향을 미치는 이유는 상대적으로 덜 알려져있다..
All memories are not created equal. Highly emotional experiences tend to be well remembered, which should come as no surprise to clinicians who themselves commonly report strong memories of particularly emotional experiences many years after their occurrence. Although plenty of research has shown that emotional events and experiences are retrieved more reliably from memory than neutral events,33,34 what is less recognized is why emotional experiences have such a strong impact on memory formation

감정적인 사건에 대한 기억력 향상에 대한 한 가지 가능한 설명은, 감정적인 반응을 경험하는 사람은 정신적으로 연습을 하거나 그 사건에 대해 "골똘히 생각할" 가능성이 더 높다는 것입니다.35–37 이 가설은 최근 연구에서 Ferree와 Cahill35에 의해 뒷받침되었다. 그들은 사람들이 무의식적으로 비감정적 사건과 관련된 감정적 사건을 다시 찾는 비율을 조사했다. 놀랍게도, 그들의 연구는 감정적이지 않은 것보다 [감정적인 경험]에서 의도하지 않은 사건들의 회수가 일어날 가능성이 더 높은지를 체계적으로 조사한 최초의 연구들 중 하나였다.
One potential explanation for enhanced memory of emotional events is that an individual who experiences an emotional reaction is more likely to mentally rehearse or “mull over” the event.35–37 This hypothesis was supported by Ferree and Cahill35 in recent research. They examined the rate at which people involuntarily revisit emotional events relative to nonemotional events. Surprisingly, their study was one of the first to systematically examine whether unintentional retrieval of events was more likely to occur for emotional experiences than for nonemotional ones. 

연구원들은 이 질문을 연구하기 위해 참가자들에게 일련의 감정적 혹은 중립적 영화를 보여주면서 "완전히 무감정적"에서 "극도의 감정적"에 이르는 10가지 형용사 척도를 사용하여 각 영화의 '감정성emotionality'에 대해 주관적으로 평가해 줄 것을 요청했다. 작가들은 긍정적인 감정과 부정적인 감정을 구분하지 않았다. 
To study this question, the researchers showed participants a series of either emotional or neutral films and asked them to subjectively rate each film for its “emotionality” using a 10-point adjectival scale ranging from “completely unemotional” to “extremely emotional.” The authors did not distinguish between positive and negative emotions. 

다양한 조치들에 걸쳐 참가자들은 중립적인 영화보다 감정성이 높았던 영화에 대해 더 많이 기억했다. 게다가 참가자들은 중립영화보다 감성영화에 대한 "자발적인 침입적 회상(SIR)"이 거의 3배 더 많으며, SIR의 빈도는 상기된 세부사항의 양과 긍정적으로 상관관계가 있다고 보고했다. 이러한 결과에 기초하여, Ferree와 Cahill은 SIR이 어떤 사건의 암호화된 버전에 대한 은밀한 검색을 촉진하고, 결과적으로 정서적 경험에 대한 기억을 향상시킨다고 결론지었다. 
Across the various measures, participants remembered more about the emotional films than the neutral films. Furthermore, participants reported nearly three times more “spontaneous intrusive recollections” (SIRs) for the emotional films than for the neutral films, and the frequency of SIRs was positively correlated with the amount of detail recalled (but only for emotional films). On the basis of these results, Ferree and Cahill concluded that SIRs promote covert retrieval of encoded versions of an event, which subsequently enhances memory for emotional experiences. 

다른 연구에서는 부정적인 사건이 긍정적인 사건보다 자발적으로 더 자주 기억되는 것으로 나타났다.38,39 예를 들어, Bernsten40은 대학생들의 매우 부정적인 사건과 매우 긍정적인 사건에 대해 비자발적인 기억을 비교했다. 결과는 부정적인 사건과 긍정적인 사건 모두 비자발적인 회복의 대상이라는 것을 보여주었다. 그러나, 매우 부정적인 인생 사건과 관련된 비자발적인 기억은 매우 긍정적인 사건에 대한 비자발적인 기억보다 더 우세했다. 
Other research has shown that negative events are spontaneously remembered more frequently than positive events.38,39 For example, Bernsten40 compared involuntary memories for highly negative and highly positive events among undergraduate students. The results demonstrated that both negative and positive events are subject to involuntary retrieval; however, the involuntary memories associated with highly negative life events were more prevalent than the involuntary recollections of highly positive ones. 

이처럼 [부정적으로 자극되는 감정적 사건의 반복적 인출]은 의학 교육 연구자들이 의학 훈련 중에 흔히 보고되는 [공감의 감소]를 이해하고 의사의 번아웃에 대해서도 빛을 비줘출 수 있다.6,7,42 즉, 의료연수생과 전문직 종사자가 모두 부정적인 사건(즉, 까다로운 환자, 경솔한 임상 오류 및 실패, 또는 어려운 내부 또는 전문가 간 상호작용)을 기억하고 회상할 가능성이 높다면, 그들의 인식은 시간이 지남에 따라 편향될 수 있으며, 이는 긍정적인 경험보다 부정적인 관행 측면이 훨씬 더 보편적으로 나타난다(기억하기 쉽기 때문이다). 

Such repeated retrieval of negatively arousing emotional events may help medical education researchers understand the commonly reported decline in empathy41 that occurs during medical training, as well as shed light on issues of physician burnout.6,7,42 That is, if medical trainees and professionals alike are more likely to remember and recall negative events, then their perception may be biased over time, whereby negative aspects of practice (i.e., demanding patients, imprudent clinical errors and failures, or difficult intra- or interprofessional interactions) appear to be much more common (because of the ease of recall) than positive experiences. 

동시에 이러한 연구 결과는 [부정적인 사건]이 직업에 대한 [다양한 불만족 지표]를 불러일으킬 수 있는 동시에 [학습을 유도하는 데 특히 가치가 있다]는 점에서 어려운 역설을 만들어낸다. 
At the same time, these findings establish a difficult paradox in that negative events might prompt various indications of dissatisfaction with the profession while being particularly valuable for inducing learning. 

정보에 대한 작업
Acting on information

지금까지 우리는 감정이 개인의 인식과 기억을 어떻게 조절하는지에 초점을 맞춰왔지만, 감정 또한 사람들이 다른 [학습 사건에 어떻게 행동하고 반응하는지]에 영향을 미치는 것으로 보인다. 예를 들어, 감정은 [피드백 개입]에 대응하여 개인이 피드백을 탐색하고 이에 대해서 적절하게 행동하는 정도를 변화시킬 수 있는 것처럼 보입니다.

To this point in our report, we have focused on how emotions moderate individual perceptions and memories, but emotions also appear to influence how people act and respond to different learning events.47,48 For example, emotions appear capable of altering the extent to which individuals seek out and act appropriately in response to feedback interventions. 

피드백은 의학 교육 환경에서 중요한 교육학적 개입으로 작용한다.49 학생들에게 성과 피드백을 이끌어내고 받을 기회를 제공하고, 자신의 성과에 대한 인식을 알리기 위해 외부 데이터를 찾는 것의 중요성을 강조하는 것은 일반적으로 학습과 지식 전달을 촉진하는 것으로 생각된다.그러나 긍정적인 피드백(예: 성공에 대한 정보)과 부정적인 피드백(예: 실패에 대한 정보)이 학습자의 동기 부여에 서로 다른 영향을 미치는지에 대한 연구는 긍정적인 피드백과 부정적인 피드백 모두 동기 부여와 성과를 동등하게 증가시키거나 감소시킬 수 있다는 것을 시사했습니다.50–52
Feedback serves as an important pedagogical intervention in medical education settings.49 Providing students with the opportunity to elicit and receive performance feedback and stressing on them the importance of seeking external data to inform their perceptions of their own performance is commonly thought to promote learning and knowledge transfer. However, research on whether positive (e.g., information about success) and negative (e.g., information about failure) feedback has different effects on a learner’s motivation has suggested that both positive and negative feedback can equally increase and decrease motivation and performance.50–52

자기 조절 초점 이론 53,54는 두 개의 독립된 조절 방향 또는 "마음의 상태" 즉, 촉진 시스템과 예방 시스템을 제안한다.

• 촉진 시스템 하에서, 개인은 승진 기회, 보상, 성취를 지향합니다. 반대로,
• 예방 시스템은 개인을 보안, 처벌, 부정적인 결과 회피로 향하게 합니다.
• 프로모션에 초점을 맞춘 개인은 긍정적인 결과의 유무에 민감하므로 숙련된 성과로 인한 보상에 특히 민감해야 한다.
• 그러나 예방에 초점을 맞추면 부정적인 결과의 유무에 민감하기 때문에 성과가 저조할 경우 처벌에 민감해야 한다.55–57 

Self-regulatory focus theory53,54 proposes two separate, independent regulation orientations or “states of mind”—the promotion system and the prevention system.

• Under the promotion system, individuals are oriented toward advancement opportunities, rewards, and accomplishments.
• In contrast, the prevention system orients individuals toward security, punishment, and avoiding negative outcomes.
• With a promotion focus, individuals are sensitive to the presence or absence of positive outcomes and, therefore, should be particularly sensitive to rewards that result from skilled performance.
• With a prevention focus, however, individuals are sensitive to the presence or absence of negative outcomes and, therefore, should be sensitive to punishments that accompany poor performance.55–57 

히긴스 53,54는 

• [승진 초점] 하에서 성공(예: 긍정적인 피드백)은 긍정적일 뿐만 아니라 정서적 자극(예: 흥분, 행복)이 높은 감정을 생성하는 반면, 실패(예: 부정적인 피드백)는 부정적이지만 각성(예: 무관심, 낙담)이 낮은 감정을 생성한다고 제안했다. 반면, 
• [예방 초점] 아래의 성공/긍정적 피드백은 각성이 낮은 긍정적인 느낌(예: 침묵, 이완)과 관련이 있는 반면, 실패/부정적 피드백은 각성이 높은 부정적인 느낌(예: 동요, 긴장)을 생성한다. 

따라서 히긴스의 이론은 피드백에 더 잘 수용하고 변화에 더 동기부여를 받게 하는 것은 정서적 (valence보다는) arousal이라는 것을 시사한다.

Higgins53,54 suggested that

• under a promotion focus, success (i.e., positive feedback) produces feelings that are not only positive but are also high in emotional arousal (e.g., excitement, happiness), whereas failure (i.e., negative feedback) produces feelings that are negative but are also low in arousal (e.g., apathy, discouragement).
• On the other hand, success/positive feedback under a prevention focus is associated with positive feelings that are low in arousal (e.g., quiescence, relaxation), whereas failure/negative feedback produces negative feelings that are high in arousal (e.g., agitation, tension).

Higgins’ theory, therefore, suggests that it is emotional arousal that leads to an individual being more receptive to feedback and more motivated to change rather than emotional valence. 

동기 부여에 대한 정서적 각성arousal의 잠재적 영향은 Van Dijk와 Kluger 55-57에게 피드백 가치(부정적 대 긍정적)와 규제 초점 사이의 상호작용과 이러한 상호작용이 개인이 받은 피드백에 대해 행동하도록 동기를 부여하는 정도에 영향을 미치는지 여부를 직접 검토하도록 영감을 주었다. 참가자들에게 자신의 (그리고 히긴스의) 가설을 시험하기 위해, 그들은 직장에서 일하고 있는 시나리오를 상상하게 하고 그들의 감독자는 그들의 업무 수행에 대해 논평하게 했습니다.56 
The potential influence of emotional arousal on motivation inspired Van Dijk and Kluger55–57 to directly examine the interaction between feedback valence (negative versus positive) and regulatory focus and whether this interaction influences the extent to which an individual is motivated to act on the feedback that he or she has received. To test their (and Higgins’) hypothesis, they had participants imagine a scenario in which they were working at a job and their supervisor commented on their task performance.56 

조절 초점을 조작하기 위해 참가자의 절반은 재정적 의무(예방 초점) 때문에 지켜야 할 일을 하고 있다는 말을, 나머지 절반은 항상 갖고 싶어하고 자신의 직위(승진 초점)에 진출하고 싶은 일을 하고 있다는 말을 들었다. 피드백 valence를 조작하기 위해 각 조건의 참가자 중 절반은 작업 수행에 실패했다고 랜덤하게 말했고, 나머지 절반은 성과가 뛰어났다는 말을 들었다. 
To manipulate regulatory focus, half the participants were told that they were working at a job that they had to keep because of financial obligations (prevention focus), whereas the other half were told that they were working at a job that they had always desired to have and wanted to advance at their position (promotion focus). To manipulate feedback valence, half of the participants in each condition were randomly told that they had failed in their task performance, whereas the other half were told that they had excelled in their performance. 

[동기부여 등급]은 부정적인 피드백을 받은 사람에 비해 긍정적인 피드백을 받은 사람이 더 높았지만, 참가자가 [촉진 초점]을 둔 경우에만 그러했다. [예방에 초점]을 둔 대상자에 대해서는 효과가 역전되었으며, (긍정적 피드백을 받은 대상자에 비해) 부정적인 피드백을 받은 대상자가 동기 부여가 더 높았다. 

Motivation ratings were higher for those who received positive feedback relative to those who received negative feedback, but only when participants were under promotion focus. The effects were reversed for those under prevention focus, with motivation being higher for those who received negative feedback relative to those who received positive feedback. 

고찰
Discussion

우리는 몇 가지 결론을 도출할 수 있다.
we can draw several conclusions.

1. [부정적인 감정]은 개개인이 학습 시나리오와 관련된 개별 [세부 사항]에 집중하도록 장려하며, 세부 사항에 대한 강한 주의가 필요한 작업에 도움이 될 수 있습니다. 반면에 [긍정적인 감정]은 개인들로 하여금 학습 행사의 [큰 그림]에 집중하도록 장려한다. 이러한 전체적 처리 스타일은 학습자가 관련 학습 이벤트 간의 연관성 및 관계적 연결을 만들어, 지식 및 기술을 새로운 상황으로 전이transfer할 가능성을 높일 수 있습니다.
1. Negative emotions encourage individuals to focus on the individual details associated with a learning scenario, which may be beneficial in tasks that require a strong attention to detail. On the other hand, positive emotions encourage individuals to focus on the big picture of a learning event. This global processing style may enable learners to create associative and relational connections between relevant learning events, thereby increasing the likelihood of transferring knowledge and skills to new situations.

2. [부정적인 감정]은 [익숙한 문제 해결 전략에 대한 개인의 의존도]를 높일 수 있으며, 이러한 전략이 잠재적으로 부적절할 때 적응하기가 더 어려워질 수 있습니다. [긍정적인 감정]은 정보에 대한 [인지 유연성과 개방성]을 촉진하고, 이를 통해 학생들이 과제 간의 유사성을 감지하여 임상 기술과 지식을 전이할 수 있도록 합니다. 연구자들은 이러한 유연성이 조기 종결으로 인한 [오류 발생 가능성을 줄이는 데 중요]하다고 생각합니다.59 
2. Negative emotions may increase an individual’s reliance on familiar problem-solving strategies, which may make it more difficult for him or her to adapt when such strategies are potentially inadequate. Positive emotions facilitate cognitive flexibility and openness to information, which may enable students to detect similarities between tasks, thereby enhancing the transfer of clinical skills and knowledge. Researchers believe that such flexibility is valuable for reducing the likelihood of errors attributable to premature closure.59 


3. [감정적 경험], 특히 부정적인 경험은 비감정적 경험보다 더 자주 떠오를 가능성이 높습니다. 이러한 의도하지 않은 감정적 사건과 반응의 검색은 비록 전이transfer에는 방해될 수 있지만, 개인이 긍정적인 경험에 비해 부정적인 학습 경험을 기억으로부터 더 많이 인출할 가능성을 증가시킬 수 있으며, 그러한 (부정적 경험의) 인출은 공감과 만족도를 낮추는 데 기여할 수 있습니다. 
3. Emotional experiences, particularly negative ones, are more likely to be mulled over than nonemotional experiences. This unintentional retrieval of emotional events and reactions can increase the likelihood of an individual further retrieving his or her negative learning experiences from memory relative to positive experiences, though transfer may be impeded, and such retrieval may contribute to lowering empathy and satisfaction. 

4. 긍정적 감정과 부정적 감정의 차이는 피드백 받는 사람의 심리 상태에 따라 달라집니다. 프로모션 및 예방 규제 시스템은 동기 부여 및 개선에 영향을 미치기 위해 피드백 가치(부정/실패 대 긍정/성공)와 상호 작용한다. [승진 초점] 아래서 부정적인 피드백을 받는 사람보다 긍정적인 피드백을 받는 사람이 동기부여가 더 높습니다. [예방 초점]에서는 긍정적인 피드백을 받는 사람보다 부정적인 피드백을 받는 사람이 동기부여가 더 높습니다. 
4. The difference in effects of positive and negative emotions is dependent on the feedback recipient’s state of mind. The promotion and prevention regulatory systems interact with feedback valence (negative/failure versus positive/success) to influence motivation and improvement. Under promotion focus, motivation is higher for those who receive positive feedback relative to those who receive negative feedback. Under prevention focus, motivation is higher for those who receive negative feedback relative to those who receive positive feedback. 

이러한 결과를 종합해 보면 긍정적인 감정과 부정적인 감정 모두 학습과 지식 전달에 중요한 역할을 한다는 것을 알 수 있습니다. 이러한 발견은 학생들이 복잡한 지식과 기술을 배우고 이 지식을 새로운 임상 환경으로 전이할 수 있도록 최선의 준비를 하는 방법에 대해 의학 교육자들에게 중요한 의미를 지닙니다. 담당 의사나 상급 레지던트가 후배에게 일련의 어려운 질문을 하는 일반적인 교육학적 기법을 생각해 보십시오. 이러한 핌핑pimping 경험은 굴욕감, 당황감, 흥분감, 그리고 불안감을 포함한 다양한 감정과 연관되어 있으며, 교육자들은 이러한 감정적 상태가 핌핑pimping 경험을 통한 학습을 촉진시킨다는 이론을 세워왔다.60,61 실제로, 대부분의 학생들은 이러한 핑핑 세션을 꽤 잘 기억한다 – 이는 일부 교육자들이 핌핑을 교육의 방식으로 사용하는 것을 촉진하는 사실 중 하나이다.
Taken together, these results demonstrate that both positive and negative emotions play an important role in learning and knowledge transfer. These findings have important implications for medical educators regarding how best to prepare students to learn complex knowledge and skills and to transfer this knowledge into novel clinical settings. Consider the common pedagogical technique known as “pimping,” whereby attending physicians or senior residents ask junior colleagues a series of challenging questions. These pimping experiences are associated with a variety of emotions, including humiliation, embarrassment, excitement, and anxiety, and educators have theorized that these emotive states promote learning during the pimping experience.60,61 Indeed, most students recall these pimping sessions quite well—a fact that is used by some educators to promote the use of pimping as a form of teaching. 

하지만, 우리는 핌핑이 언제, 왜, 왜 효과가 있는지 아직 완전히 이해하지 못했습니다.

• 학생들이 이런 사건들을 떠올리는 성격 때문에 머리 속에서 재현할 가능성이 더 많은가?
• 특정 핌핑 사건에 대응하여 관련 정보를 더 많이 찾을 수 있습니까?
• 포주가 지식 유지에 미치는 영향은 학생들이 긍정적 대 부정적 감정을 경험하는지 또는 자극적 대 비흥분적 상태를 경험하는지에 따라 달라지는가?
• 핌핑이 새로운 임상 사례로 지식과 기술을 이전하는 것을 촉진하거나 방해합니까?

However, we do not yet have a complete understanding of whether, why, or when pimping works.

• Are students more likely to replay these events in their heads because of their evocative nature?
• Are they more likely to look up relevant information in response to a particular pimping event?
• Does the impact of pimping on knowledge retention depend on whether students experience positive versus negative emotions or arousing versus nonarousing states?
• Does pimping promote or impede the transfer of knowledge and skills to new clinical cases?

이 글에서 검토한 문헌은 [학생들이 학습 상황을 위협적이거나 두려운 것으로 인식]할 때 인지 리허설과 정교함으로 인해 정서적 사건에 대한 기억력이 더 좋을 수 있지만, 더 넓은 연관성을 가질 가능성이 낮기 때문에 학습된 정보를 다른 임상상황에 전이하는 것을 방해할 수 있음을 시사한다. 따라서, 비록 핌핑이 특정 상황에 대한 기억을 향상시켜 영향력 있는 교육/학습의 인상을 만들 수 있더라도, 실제로 새로운 맥락에 습득한 지식을 적용하는 것을 방해할 수 있습니다. 
The literature reviewed in this article suggests that, when students perceive a learning situation as threatening or frightening, they may have better memory of the emotional event because of cognitive rehearsal and elaboration, but they may be less likely to make broader connections, thereby precluding transfer of the learned information to other clinical settings. Therefore, although pimping may enhance memory for certain situations, creating the impression of influential teaching/learning, it may actually impede the application of knowledge gained to new contexts. 

물론 그러한 지식이 훈련과 연습에 영향을 미치기 위해서는 감정과 그것이 성과에 미치는 영향이 효과적으로 조절될 수 있는지 알아야 한다. 어떤 증거는 일단 개인이 잠재적인 기분 영향을 알게 되면 감정이 그들의 수행에 영향을 미치는 정도를 조절할 수 있다는 것을 암시한다. 결과적으로, 의학 교육자들은 의사들이 그들의 [감정 상태와 그들의 감정이 어떻게 인식, 해석, 행동을 편향시킬 수 있는지를 인식하도록 훈련]시킬 수 있을 것입니다. 
Of course, for such knowledge to have an impact on training and practice, we must know whether emotion and its influence on performance can be modulated effectively. Some evidence suggests that once individuals are made aware of potential mood effects, they are able to modulate the extent to which emotion influences their performance.10,62,63 As a result, medical educators may be able to train physicians to be aware of their emotional states and how their emotions may bias perceptions, interpretations, and actions. 

• 이와 관련하여 자기 성찰 체크리스트와 포트폴리오의 구성요소로써 학습자의 정서 상태에 대한 관심을 분명히 유도하는 것이 유용할 수 있습니다. 
• 또는, 시뮬레이션된 상황을 사용하면 학생들이 언제, 어느 정도까지 감정이 결정을 통제하는지 알 수 있습니다. 학생들에게 일련의 시뮬레이션을 시킨 다음, 학생들이 어떻게 느끼는지 지속적으로 모니터링하도록 요구함으로써, 의료 훈련생들은 그들의 감정 상태를 더 잘 모니터할 수 있습니다. 
• 다양한 감정상태와 그 감정상태가 학습에 미치는 영향을 파악할 수 있는 능력을 함양함으로써, 의료전문가와 교육생은 자신이 언제 가장 잘 학습하고 있는지, 그렇지 않은지에 대한 인식을 이상적으로 발전시킬 수 있을 것이다.
• Explicitly drawing attention to learners’ emotional states by making them components of self-reflective checklists and portfolios may be useful in this regard.64
• Alternatively, the use of simulated situations may help students become aware of when and to what extent emotions regulate their decision making. By subjecting students to a series of simulations and then requiring them to continuously monitor how they are feeling, medical trainees may become better at monitoring their emotional states.
• By fostering the ability to identify different emotional states and their effects on learning, medical professionals and trainees will ideally develop an awareness of when they are learning and performing at their best and when they are not.

마지막으로 우리는 감정이 얼마나 강력해질 수 있는가에 대해 명시적으로 보강할 가치가 있다고 생각합니다. 본 리뷰에서 설명한 분위기 유도 절차는 매우 미미합니다. 짧은 필름 클립이 효과가 있다면, 의료 훈련과 관리에서 흔히 볼 수 있는 것과 같이 더 극단적인 경험을 한 후에 얼마나 더 극적인 변화가 일어날 수 있을까? 말하자면, 우리가 유도된 감정 상태에 대해 논의한 후 참가자들에게 감정적으로 중립적인 작업(예: 전역/지역 처리 작업; ToH 퍼즐)을 완료하도록 한 많은 연구들에 주목해야 한다. 

Finally, we think it is worth explicitly reinforcing just how powerful emotions can be. The mood induction procedures that we have described in this review are quite minimal. If a brief film clip has an effect, how much more dramatic might the change be after a more extreme experience, like those common in medical training and care? That being said, it is important to note that many of the studies that we discussed induced emotional states and then had participants complete emotionally neutral tasks (e.g., global/ local processing tasks; ToH puzzle). 

훈련생들이 학습 환경에 가져오는 

• 내생적 정서 상태(즉, 스트레스, 긴장, 흥분)
• 특정 학습 사건에 대응하여 발생하는 감정 상태(즉, 첫 삽관 수행과 관련된 스트레스, 유아의 탄생을 관찰함으로써 유발되는 흥분) 

...를 구별할 가치가 있을 수 있다. 

It may be worth differentiating between

• endogenous emotional states that trainees bring into a learning environment (i.e., stress, nervousness, excitement) and
• the emotional states that are brought about in response to specific learning events (i.e., stress associated with performing one’s first intubation, excitement induced by observing the birth of a infant). 

우리가 검토한 문헌들은 개인의 감정 상태가 학습/전이 사건과 얼마나 연관되어 있는지가 얼마나 중요한지에 대해 우리에게 알려주지 않았다. 의료 환경에서 두 사례가 모두 잠재적으로 높은 유행률을 보인다는 점을 고려할 때, 내인성 및 외인성 정서 경험의 구별은 의료 교육의 맥락에서 특히 중요할 수 있다.

The literature that we reviewed did not inform us about the extent to which it matters whether an individual’s emotional state is tied to the learning/transfer event. The distinction between endogenous and exogenous emotional experiences may be particularly important in the context of medical education, given the potentially high prevalence of both instances in health care settings.1 

향후 연구를 위한 권고사항
Recommendations for future research

오히려 의과대학 시절뿐만 아니라 경력 전반에 걸쳐 경험했던 감정들이 의료전문가와 연수생들의 높은 수준의 수행 능력에 상당한 영향을 미칠 수 있다. 보렐-캐리오와 엡스타인65가 최근 밝힌 것처럼 "의사들이 임상 상황에서 더 잘 기능할 수 있도록 정서적 자기 인식과 주의력 자기 조절을 습관화 할 수 있다"고 밝혔다.

Rather, the emotions experienced not only during medical school but throughout one’s career may have a significant impact on health care professionals and trainees’ capacity to perform at a high level. As Borrell-Carrió and Epstein65 recently stated, “emotional self-awareness and self-regulation of attention can be consciously cultivated as habits to help physicians function better in clinical situations.”

Acad Med. 2012 Oct;87(10):1316-22.

 doi: 10.1097/ACM.0b013e3182675af2.

The role of emotion in the learning and transfer of clinical skills and knowledge

Meghan M McConnell 1, Kevin W Eva

Affiliations collapse

Affiliation

• 1Centre for Health Education Scholarship, University of British Columbia Faculty of Medicine, Vancouver, British Columbia, Canada. meghan.mcconnell@ubc.ca

• PMID: 22914515
• DOI: 10.1097/ACM.0b013e3182675af2Abstract
• Purpose: Medical school and residency are emotional experiences for trainees. Most research examining emotion in medicine has focused on negative moods associated with physician burnout and poor quality of life. However, positive emotional states also may have important influences on student learning and performance. The authors present a review of the literature on the influence of emotion on cognition, specifically how individuals learn complex skills and knowledge and how they transfer that information to new scenarios.Results: The authors found articles that show that emotion influences various cognitive processes that are involved in the acquisition and transfer of knowledge and skills. More specifically, emotion influences how individuals identify and perceive information, how they interpret it, and how they act on the information available in learning and practice situations.
• Conclusions: There are many ways in which emotions may influence medical education. Researchers must further explore the implications of these findings to ensure that learning is not treated simply as a rational, mechanistic process but that trainees are effectively prepared to perform under a wide range of emotional conditions.
• Method: From September 2011 to February 2012, the authors searched Medline, PsycInfo, GoogleScholar, ERIC, and Web of Science, as well as the reference lists of relevant articles, for research on the interaction between emotion, learning, and knowledge transfer. They extracted representative themes and noted particularly relevant empirical findings.

동기적 & 비동기적 이러닝(EDUCAUSE Quarterly, 2008)
Asynchronous and Synchronous E-Learning

Stefan Hrastinski

e-러닝 이니셔티브가 성공하기 위해서는 조직과 교육 기관이 서로 다른 e-러닝 기술과 방법의 이점과 한계를 이해해야 합니다. 연구는 다양한 요소가 이러닝의 효율성에 미치는 영향을 연구함으로써 실무자들을 지원할 수 있습니다. 일반적으로 비동기식 및 동기식의 두 가지 기본 e-러닝 유형을 비교합니다. 최근까지 e-러닝 이니셔티브는 주로 비동기적인 교육 및 학습 수단에 의존했다.3 그러나 최근의 기술 향상과 대역폭 기능 증가로 동기식 e-러닝의 인기가 높아지고 있습니다.4

For e-learning initiatives to succeed, organizations and educational institutions must understand the benefits and limitations of different e-learning techniques and methods. Research can support practitioners by studying the impact of different factors on e-learning's effectiveness. Two basic types of e-learning are commonly compared, asynchronous and synchronous. Until recently, e-learning initiatives mainly relied on asynchronous means for teaching and learning.3 However, recent improvements in technology and increasing bandwidth capabilities have led to the growing popularity of synchronous e-learning.4

비동기식 및 동기식 이러닝 정의
Defining Asynchronous and Synchronous E-Learning

비동기식 e-러닝과 동기식 e-러닝의 유용성에 대해 지속적인 토론이 이루어집니다. 
An ongoing debate addresses the usefulness of asynchronous versus synchronous e-learning. 

[비동기식 e-러닝]은 이메일과 토론 게시판 같은 미디어에 의해서 장려되며, 참가자들이 동시에 온라인에 접속할 수 없는 경우에도 학습자와 교사 간의 업무 관계를 지원합니다. 따라서 비동기식은 유연한 e-러닝의 핵심 구성요소입니다. 사실, 많은 사람들이 일과 가족, 그리고 다른 약속들과 교육을 결합하는 비동기적인 성격 때문에 온라인 강좌를 듣는다. 비동기식 e-러닝을 통해 학습자는 언제든지 e-러닝 환경에 로그온하여 문서를 다운로드하거나 교사 또는 동료에게 메시지를 보낼 수 있습니다. 학생들은 자신의 기여contribution을 다듬는데 더 많은 시간을 할애할 수 있고, 이는 (동기식 의사소통에 비해) 일반적으로 더 사려 깊다고 여겨진다.

Asynchronous e-learning, commonly facilitated by media such as e-mail and discussion boards, supports work relations among learners and with teachers, even when participants cannot be online at the same time. It is thus a key component of flexible e-learning. In fact, many people take online courses because of their asynchronous nature, combining education with work, family, and other commitments. Asynchronous e-learning makes it possible for learners to log on to an e-learning environment at any time and download documents or send messages to teachers or peers. Students may spend more time refining their contributions, which are generally considered more thoughtful compared to synchronous communication.7

[동기식 e-러닝]은 보통 화상 회의와 채팅과 같은 미디어를 통해 지원되며, 학습 커뮤니티의 발전에 있어 e-러너를 지원할 수 있는 잠재력을 가지고 있습니다. 학습자와 교사는 동기식 e-러닝을 보다 사회적으로 경험하고 실시간으로 질문하고 답함으로써 좌절을 피할 수 있습니다.8 동기식 세션은 학습자가 스스로를 고립자isolates보다 참여자participants로 느낄 수 있도록 도와줍니다.
Synchronous e-learning, commonly supported by media such as videoconferencing and chat, has the potential to support e-learners in the development of learning communities. Learners and teachers experience synchronous e-learning as more social and avoid frustration by asking and answering questions in real time.8 Synchronous sessions help e-learners feel like participants rather than isolates:

특히 동기적으로 더 지속적인 접촉을 통해 고립이 극복될 수 있고, 컴퓨터와 통신하는 고립된 개인이 아닌 공동체의 구성원으로서 자신을 인식함으로써 극복될 수 있습니다.9
Isolation can be overcome by more continued contact, particularly synchronously, and by becoming aware of themselves as members of a community rather than as isolated individuals communicating with the computer.9

(동기식과 비동기식의 구분은) 사용자의 사용 방법에 따라 결정된다는 것이 중요하다. 예를 들어, 사용자가 로그인한 상태로 전자 메일을 계속 모니터할 때 전자 메일이 거의 동기적으로 사용되는 경우가 있습니다.11 따라서 비동기식 전자 학습과 동기식 전자 학습의 차이는 종종 [정도의 차이]일 수 있다.
Note also that the users decide how to use a medium. For example, in some instances e-mail is used near-synchronously when users remain logged in and monitor their e-mail continuously.11 Thus, the difference between asynchronous and synchronous e-learning is often a matter of degree.

세 가지 유형의 통신
Three Types of Communication

Haythornhwaite12는 특히 e-러닝 커뮤니티를 구축하고 유지하기 위해 콘텐츠 관련 커뮤니케이션, 과제 계획, 사회적 지원 등 세 가지 유형의 커뮤니케이션이 중요하다고 주장합니다(표 1 참조).

• 첫째, [수업 내용]과 관련된 의사소통은 학습에 필수적입니다. 기존 교육에서처럼 전자 학습자도 질문을 하고 정보와 아이디어를 공유할 수 있어야 합니다.
• 두 번째로, 특히 학습자들이 동료들과 협력하여 과제와 같은 종류의 제품을 생산할 때, [과제 계획]에 대한 지원은 필수적입니다.
• 마지막으로, [사회적 지지] 관계는 협력적 학습을 촉진하는 분위기 조성에 바람직합니다.

Haythornthwaite12 argues that three types of communication in particular are important for building and sustaining e-learning communities: content-related communication, planning of tasks, and social support (see Table 1).

• Firstly, communication related to the course content is essential for learning. Just as in traditional education, e-learners need to be able to ask questions and share information and ideas.
• Secondly, support for planning tasks is essential, especially when learners produce some kind of product, such as an assignment, in collaboration with peers.
• Finally, social support relations are desirable for creating an atmosphere that fosters collaborative learning.

연구 배경
Research Background

제 박사 학위 논문에서 13 저는 비동기식 및 동기식 e-러닝을 비교했습니다. 
In my PhD thesis,13 I compared asynchronous and synchronous e-learning. 

나는 모든 문장들을 표 1에 기술된 세 가지 교환 유형에 따라 분류했다. 
I classified every written sentence according to the three types of exchanges described in Table 1. 

비동기식 e-러닝의 이점 및 제한 사항
Benefits and Limitations of Asynchronous E-Learning

세미나 논의의 문장 분류는 표 2에 제시되어 있다. [소규모 집단]에서 이뤄진 비동기식 논의의 거의 모든 문장과 [대규모 집단]의 방대한 다수의 문장이 [내용 관련 문장]으로 분류되었다. 이는 놀라운 결과입니다. 캠퍼스에서 학습자가 수업 내용과 관련된 문제를 토론하는 데 시간의 90% 이상을 할애했다고 가정해 보십시오. 하지만 이런 결과는 골칫거리로 해석될 수도 있다. e-러너들이 얼굴을 거의 마주치지 않고 교사들이 주로 비동기 e-러닝에 의존한다면, 학생들은 고립감을 느낄 수 있으며, 이는 협업과 학습에 필수적인 학습 커뮤니티의 일부가 아니다.15 소규모 학급과 소수의 참가자들과 비동기식 토론을 진행하는 것은 어려워 보인다. 이전 연구에 의해 지지되었다.16
The classification of sentences from the seminar discussions is presented in Table 2. Almost every sentence in the asynchronous discussions of the smaller group, and a vast majority of sentences in the larger group, were classified as content-related. This is a remarkable result—imagine if learners on campus spent more than 90 percent of their time discussing issues related to course content. These results can also be interpreted as troublesome, however. If e-learners seldom meet face-to-face and teachers mainly rely on asynchronous e-learning, students might feel isolated and not part of learning communities, which is essential for collaboration and learning.15 When comparing the smaller to the larger class, it seems difficult to get asynchronous discussions going with few participants, a finding supported by previous research.16

로버트와 데니스17가 제안한 [미디어 선택의 인지 모델]은 비동기적 의사소통이 사람의 정보 처리 능력을 증가시킨다는 이론을 세운다. 바로 답변을 해야되는 것이 아니므로 수신자는 메시지를 이해하는 데 더 많은 시간을 쓸 수 있다. 제 인터뷰는 다음과 같은 인용구를 통해 이러한 주장을 뒷받침합니다.
The cognitive model of media choice proposed by Robert and Dennis17 theorizes that asynchronous communication increases a person's ability to process information. The receiver has more time to comprehend a message because an immediate answer is not expected. My interviews support this argument, as illustrated by the following quote:

[비동기식 토론]에서는 몇 가지 사실을 더 쉽게 찾고, 책을 보고, 더 철저한 게시물을 작성하는 것이 좋습니다.
In the [asynchronous discussions] it is easier to find some more facts, maybe have a look in a book and do more thorough postings.

실제로 Kock의 추산에 따르면, 600개의 단어를 주고받는 데, 대면 상황에서 복잡한 그룹 작업을 할 때는 약 6분이 소요되며, 같은 수의 단어를 이메일로 주고받으려면 약 1시간이 소요된다고 한다.

In fact, according to Kock's estimate,18 an exchange of 600 words requires about 6 minutes for complex group tasks in face-to-face settings, while exchanging the same number of words over e-mail would take approximately one hour.

동기식 e-Learning의 이점 및 제한 사항
Benefits and Limitations of Synchronous e-Learning

표 2를 보면, 동기식 e-러닝이 비동기식 e-러닝보다 [(내용 외의) 다른 유형의 소통]을 더 많이 지원한다는 것이 명백해집니다. 내용 관련 문장의 약 60%가 내용과 관련되어 있으며, 1/3정도는 업무 계획과 관련되어 있다. 이는 이러한 토론이 시간에 의해 제한되었다는 사실로 설명할 수 있습니다. 즉, 참가자들은 예정된 3시간 동안 예상대로 진행되었는지 확인해야 했습니다. 동시 토론에서 참가자들은 과정 작업 이외의 사항도 논의했습니다. 이것은 특히 각 논의의 시작과 끝에서 명확했다. 동기식 논의에서 작은 그룹과 큰 그룹 사이의 뚜렷한 차이는 없었다.
When studying Table 2, it becomes apparent that synchronous e-learning supports other types of communication more often than does asynchronous e-learning. Almost 60 percent of the sentences related to content, while a third of the sentences related to planning of tasks. This can be explained by the fact that these discussions were limited by time—the participants had to make sure they did what was expected during the scheduled three hours. In synchronous discussions, participants also discussed things other than course work. This was especially evident at the beginning and end of each discussion. No apparent difference could be discerned in the synchronous discussions when comparing the smaller and larger classes.

Kock의 [미디어 자연성 가설]은 [동기적인 의사소통이 심리적 자극을 증가시킨다]고 예측한다. 마찬가지로, 로버트와 데니스의 [미디어 선택 인지 모델]은 동기적인 의사소통이 동기motivation를 증가시킨다고 예측합니다. 코크는 "자연스러운" 미디어를 특징짓는 각각의 요소들(예를 들어, 얼굴 표정과 몸짓을 전달하고 관찰할 수 있는 것)이 심리적 각성arousal에 기여한다고 주장한다. 그러나 이러한 요소들이 억제된다면 심리적 자극의 감소는 예상할 수 있다.
Kock's media naturalness hypothesis19 predicts that synchronous communication increases psychological arousal. Similarly, Robert and Dennis's20 cognitive model of media choice predicts that synchronous communication increases motivation. Kock argues that each element that characterizes "natural" media (for example, the ability to convey and observe facial expressions and body language) contributes to psychological arousal. If these elements are suppressed, however, a decrease in psychological arousal can be expected.

많은 학습자들이 비동기식 커뮤니케이션에 비해 [동기식 커뮤니케이션이 "대화에 더 가깝다"고 느낀다]는 사실이 인터뷰에서 밝혀졌다. 동기식 커뮤니케이션은 [사회적 지지]를 나누거나, 덜 복잡한 문제를 논의하는 것에 더 적합한 것으로 보였다. 따라서 동기적으로 의사소통할 때 문장 수가 더 많아지는 것(표 2 참조)은 이러한 유형의 커뮤니케이션이 대면 커뮤니케이션과 더 유사하기 때문에 전자 학습자들이 심리적으로 더 자극받고 동기부여를 받았다는 사실로 설명할 수 있다. 이러한 발견은 특히 소그룹에서 두드러졌다.
The interviews revealed that many e-learners felt that synchronous communication was "more like talking" compared with asynchronous communication. It seemed more acceptable to exchange social support and discuss less "complex" issues. Consequently, the higher sentence counts when communicating synchronously (see Table 2) can be explained by the fact that the e-learners felt more psychologically aroused and motivated, since this type of communication more closely resembles face-to-face communication. This finding was especially evident in the smaller class.

동기식 커뮤니케이션은 [메시지에 대한 수신자의 반응을 모니터]할 수 있게 해주며, 이는 수신자가 메시지를 읽고 대답하는 데 더 헌신적이고 동기부여가 되도록 합니다.21 제 경험적 연구의 일환으로 실시된 인터뷰가 이러한 주장을 뒷받침했습니다:

Synchronous communication enables monitoring the receiver's reaction to a message, which makes the receiver more committed and motivated to read and answer the message.21 The interviews conducted as part of my empirical studies supported this argument:

비록 내가 그 사람을 볼 수 없더라도, 나는 그 사람과 직접 대화하고 즉각적인 답변을 얻기 위해 그렇게 글을 씁니다.
Even if I cannot see the person, I write so to speak to the person directly and get an immediate answer.

또한 발신자 입장에서도 반응이 돌아올 가능성이 높다는 것을 알기 때문에, 심리적으로 더 각성aroused되고 동기부여가 될motivated 것으로 예상할 수 있다. 동기식 e-러닝에서 학습자는 대화를 방해하지 않기 때문에 빠르게 응답합니다. 인터뷰에서 드러나는 [단점은 종종 질보다는 양에 초점을 맞춘다]는 것입니다. 즉, "다른 누군가가 내가 하려던 말을 할 것이기 때문에 무언가를 빨리 쓰려고 합니다."

It can also be expected that the sender becomes more psychologically aroused and motivated because he or she knows a response is likely. In synchronous e-learning, learners respond quickly because they do not want to disrupt the conversation. A downside revealed in the interviews is that the focus is often on quantity rather than quality—that is, trying to write something quickly because "someone else will say what I was going to say."

온라인 학습의 인지 및 개인 차원
Cognitive and Personal Dimensions of E-Learning

앞의 섹션에서 저는 동기적인 커뮤니케이션을 통해 메시지에 대한 수신자의 반응을 모니터할 수 있게 되어, 수신자가 메시지를 읽고자 하는 의욕과 의욕을 더 느낄 수 있도록 한다고 제안했습니다. 그러나 비동기식 소통에서 발신자는 [즉각적인 응답을 기대하지 않기 때문에], 수신자는 메시지를 이해하는 데 더 긴 시간을 가지게 된다. 따라서 동기식 e-러닝은 [자극과 동기]를 증가시키는 반면, 비동기식 e-러닝은 [정보 처리 능력]을 증가시킵니다.
In the previous section, I suggested that synchronous communication makes it possible to monitor the receiver's reaction to a message, making the receiver feel more committed and motivated to read it. When communicating asynchronously, however, the receiver has more time to comprehend the message, since the sender does not expect an immediate answer. Thus, synchronous e-learning increases arousal and motivation, while asynchronous e-learning increases the ability to process information.

[개인 참여]와 [인지 참여]의 개념은 비동기식 및 동기식 e-러닝에 의해 지원되는 학습의 차원을 설명한다(그림 1 참조).

• [개인 참여]는 [업무 계획 및 사회적 지원을 포함한, 덜 복잡한 정보 교환에 적합한, 보다 각성적 유형의 참여]이다
• [인지 참여]는 [복잡한 문제에 대한 논의에 적합한 더 성찰적 참여 유형]이다

The concepts of personal participation and cognitive participation describe the dimensions of learning supported by asynchronous and synchronous e-learning (see Figure 1).

• Personal participation describes a more arousing type of participation appropriate for less complex information exchanges, including the planning of tasks and social support.
• Cognitive participation describes a more reflective type of participation appropriate for discussions of complex issues.

나는 동기식 e-러닝이 개인 참여를 더 잘 지원하고 비동기식 e-러닝이 인지 참여를 더 잘 지원한다고 제안한다.
I suggest that, other things being equal, synchronous e-learning better supports personal participation and asynchronous e-learning better supports cognitive participation.

여기에서 논의된 연구는 비동기식 및 동기식 e-러닝이 서로를 보완한다는 것을 보여준다. 이것이 교수자에게 시사하는 바는 [여러 유형의 비동기 및 동기식 커뮤니케이션을 제공하여 서로 다른 학습 활동에 적절한 수단을 사용할 수 있어야 한다는 것]입니다. 이러한 두 가지 유형의 온라인 학습의 조합은 학습자와 교사가 정보를 교환하고, 업무에 대한 협업을 하며, 서로에 대해 알아갈 수 있는 여러 가지 방법을 지원합니다.
The research discussed here demonstrates that asynchronous and synchronous e-learning complement each other. An implication for instructors is to provide several types of asynchronous and synchronous communication so that appropriate means are available for different learning activities. The combination of these two types of e-learning supports several ways for learners and teachers to exchange information, collaborate on work, and get to know each other.22 

앞서 언급했듯이, 많은 학습자들이 비동기적인 특성 때문에 온라인 과정에 등록하는데, 이러한 점을 고려해야 합니다.

• 복잡한 문제를 논의하는 경우에, [화상 회의, 인스턴트 메시징 및 채팅과 같은 미디어에 의한 동기식 e-러닝과 상호 보완으로 대면 회의를 마련하는 것]은 학생들이 [서로 친해지고, 과제를 계획]할 수 있도록 지원하는 데 필수적일 수 있습니다.
• 다만 성찰할 시간을 필요로 하는 복잡한 사안을 논의할 때는, 비동기식 e러닝으로 전환해 이메일, 토론 게시판, 블로그 등 미디어를 이용하는 것이 바람직하다.

As stated earlier, many learners enroll in online courses because of their asynchronous nature, which needs to be taken into account.

• For the discussion of complex issues, synchronous e-learning, by media such as videoconferencing, instant messaging and chat, and arranging face-to-face meetings as a complement, may be essential as support for students to get to know each other and for planning the tasks at hand.
• However, when discussing complex issues, in which time for reflection is needed, it seems preferable to switch to asynchronous e-learning and use media such as e-mail, discussion boards, and blogs.

표 3은 동기식 e-러닝 대비 비동기식 e-러닝을 사용하는 시기, 이유 및 방법을 요약합니다.
Table 3 summarizes when, why, and how to use asynchronous versus synchronous e-learning.

© 2008 Stefan Hrastinski

EDUCAUSE Quarterly, vol. 31, no. 4 (October–December 2008)

대학의학에서 주임교수들의 요구 이해(Acad Med, 2013)

Understanding the Needs of Department Chairs in Academic Medicine
Susan Lieff, MD, MEd, MMan, FRCPC, Jeannine Girard-Pearlman Banack, MEd, PhD, Lindsay Baker, MEd, Martina Martimianakis, MA, MEd, PhD, Sarita Verma, LLB, MD, Catharine Whiteside, MD, PhD, FRCPC, and Scott Reeves, PhD, MSc 

학문의학에서 학과장/주임교수(department chair)의 역할은 다면적이다. 그들은 다양한 임무를 감독하고, 모집과 유지를 지도하며, 학술 인프라를 관리하고, 기금을 모금하고, 학교의 인지도를 유지한다.1 이들은 종종 자신들이 "진퇴양난between a rock and a hard place"에 있음을 깨닫게 되고, 의과대학과 병원의 리더로부터 지지를 이끌어내고, 동시에 다른 교수들로부터 신뢰를 얻고 유지해야 한다. 의료 개혁, 의료 전달 모델, 경제적 제약, 의료 및 교육 혁신, 과학 이해, 기술, 의료 교육의 미래와 발전을 위한 권고 사항의 변화에 대응하여 그들의 역할은 끊임없이 진화한다.4–10

The role of the department chair in academic medicine is multifaceted. They oversee a variety of missions, guide recruitment and retention, administer the academic infrastructure, raise funds, and maintain the school’s profile.1 They often find themselves “between a rock and a hard place,”2 eliciting support from leaders at the medical school and teaching hospitals while at the same time gaining and maintaining the confidence of faculty.3 Their role constantly evolves in response to the changing landscape of health care reform, care delivery models, economic constraints, health care and educational innovations, scientific understanding, technology, and recommendations for the future and advancement of medical education.4–10

방법 Method

주임교수/학과장의 요구에 대한 이해를 돕기 위해 탐구적 [질적 사례 연구] 접근방식을 채택했다. 개인, 그룹 또는 사건의 심층 조사에 사용되는 [사례 연구 방법론]은 연구자가 연구 중인 현상을 더 잘 이해할 목적으로 데이터를 지속적으로 분석할 수 있도록 합니다. 우리는 의과대학의 주임교수의 경험을 탐구했다. 특히, 우리는 그들이 성공을 위해 필수적이라고 느꼈거나, 특히 도전적이거나, 더 많은 지원이나 개발이 필요하다고 느꼈던 분야를 설명하고자 했습니다.

To help us understand the needs of chairs, we adopted an exploratory qualitative case study approach.18 Case study methodology, used for in-depth investigation of individuals, groups, or events, allows researchers to continuously analyze data with the purpose of better understanding the phenomenon they are studying.18 We explored the experiences of department chairs in a faculty of medicine.19 Specifically, we wanted to describe the areas they felt were essential for success, were particularly challenging, or required more support or development. 

세팅 Setting

기초과학, 임상, 재활과학, 학제간 학과 규모는 9명에서 919명까지 다양합니다. 교수진은 의과대학, 교수병원, 연구소 등 다양한 환경에 위치하고 있다.
These basic science, clinical, rehabilitation science, and interdisciplinary departments range in size from 9 to 919 faculty members. Faculty are situated in a variety of settings, including the medical school, teaching hospitals, and research institutes. 

경쟁력 있는 동료 평가 절차에 의해 선정된 주임교수는 5년 임기를 수행하며, 이는 성공적인 검토가 있을 때까지 갱신될 수 있습니다. [주임교수]는 연구, 교육, 서비스라는 학문적 사명은 담당하지만, 병원에서 [(임상)과장]의 책임인 임상 진료의 질은 담당하지 않는다.
Department chairs, selected by a competitive peer-review process, serve five-year terms, which may be renewed once pending a successful review. Chairs are responsible for the academic missions of research, education, and service, but not for quality of clinical care, which rests with the hospitals’ clinical leadership. 

자료 수집 Data collection

자료 분석 Data analysis

우리는 새로운 이슈와 주제를 탐구하기 위해 데이터에 대한 귀납적 주제 분석을 실시했습니다. 연구자 2명이 독립적으로 대본을 읽고 잠정적인 이슈와 코드를 파악해 예비 범주로 정리했다. 프로젝트 팀은 이러한 초기 코드와 카테고리에 대해 논의하고 개선하기 위해 자주 만났습니다. 결국, 팀은 코드 관련 및 그룹화를 반복하는 과정을 통해 NVivo 정성적 데이터 분석 소프트웨어를 사용하여 주요 주제와 요인으로 나누어진 코딩 구조를 식별했다.

We conducted an inductive thematic analysis of the data to explore emerging issues and themes. Two researchers independently read the transcripts and identified tentative issues and codes, organizing them into preliminary categories. The project team met frequently to discuss and refine these initial codes and categories. Eventually, through an iterative process of relating and grouping of codes, the team identified a coding structure divided into major themes and factors22 using NVivo qualitative data analysis software. 

윤리 및 연구 퀄리티 Ethical and quality issues

[연구의 rigour]는 질적 연구결과인 전달성, 신뢰성, 확인성, 신뢰성에 대해 확립된 '신뢰성'의 차원에 따라 확립되었다.23

• 조사대상 현상에 대한 풍부한 설명을 통해 데이터의 전달성을 주로 달성하였다.
• 데이터 분석에 대한 팀 접근 방식은 결과의 신뢰성을 향상시켰습니다.
• 조사과정을 처음부터 끝까지 투명하게 설명하는 감사추적을 통해 확인가능성이 향상되었습니다.
• 마지막으로, 조사자의 삼각측정이 신뢰성을 확립하는 데 도움을 주었다.

Research rigor was established according to the dimensions of “trustworthiness” established for qualitative research findings: transferability, dependability, confirmability, and credibility.23

• Transferability of the data was achieved primarily through rich description of the phenomenon under investigation.
• The team approach to data analysis enhanced the dependability of findings.
• Confirmability was improved through an audit trail which provided a transparent description of the research process from start to finish.
• Finally, investigator triangulation assisted in establishing credibility.

결과 Results

서포트의 네트워크
Network of support

참여 주임교수들은 [주임교수라는 역할에 따르는 책임]과 [자기의 커리어 및 교수 개인으로서의 책임] 사이에서 균형을 맞추는 어려움을 절실히 인식하고 있었습니다. 그들은 지원 네트워크가 이러한 과제를 해결하기 위해 필수적이라고 주장했다. 각 네트워크의 구성은 개인과 필요에 따라 달랐지만, 중요한 요소에서 공통점을 발견했습니다.
The participating chairs were acutely aware of the challenges of balancing multiple responsibilities within the role as well as responsibilities to their careers and themselves. Networks of support, they claimed, were essential to meeting these challenges. Although the makeup of each network was unique to the individual and his or her needs, we found commonalities in their critical elements.

조직 내부와 외부의 [과거 주임교수 및 다른 리더들과 관계]를 형성함으로써 주임교수들은 조언을 이끌어 내고, 정보를 교환하며, 전략을 용이하게 할 수 있었습니다. [권력층places of power]의 인맥connection을 쌓는 것은 그들의 부서에 대한 비전을 이루기 위해 필요했습니다. 주임교수들은 또한 업무량 관리를 돕기 위해 [효과적인 행정팀]을 구성하는 것의 중요성을 강조했다. [신뢰할 수 있고 위임할 수 있는 사람들]을 자신의 주변에 두는 것은 그들의 여러 책임을 관리하는 데 있어 매우 중요했습니다.
Forming relationships with past chairs and other leaders within and outside the organization allowed the chairs to elicit advice, exchange information, and facilitate strategy. Forging connections with people in places of power was necessary for accomplishing their visions for their departments. The chairs also highlighted the importance of assembling effective administrative teams to help manage the volume of work. Surrounding themselves with people they could trust and to whom they could delegate was critical to managing their multiple responsibilities.

그들의 네트워크 구축에도 [감정적 차원]이 돋보였다. 주임교수들은 네트워크가 어떻게 고립감과 외로움을 이겨내는 데 도움이 되었는지 공유했다. 소규모의 주임교수 그룹이 자발적으로 비공식 그룹을 만들어 교수진, 학생 및 시스템에 관한 어려운 문제를 논의하기 위해 정기적으로 모였습니다. 그들은 그러한 의사타진집단(sounding board)를 이상적인 네트워크에서 필수적인 요소로 인식했지만, 대부분의 주임교수들은 그러한 또래 집단을 형성하지 못했습니다. 많은 주임교수들은 또한 [가족과 친구]들에게 의지했다; 지지적인 가정 환경은 그들의 성공에 필수적인 것처럼 보였다.
An emotive dimension also stood out in the construction of their networks. The chairs shared how networks helped combat feelings of isolation and loneliness. A small group of chairs spontaneously created an informal group that met regularly to discuss difficult issues regarding faculty, students, and systems. Although they recognized such sounding boards as an essential element in their ideal network, the majority of chairs had not established such a community of peers. Many chairs also turned to their families and friends; a supportive home environment seemed essential to their success.


인프라 성장 및 개발
Infrastructure growth and development

그들은 [학생 등록, 교직원 채용, 프로그램 수, 공간, 연구 역량] 측면에서 교실의 성장을 논의했다. 많은 사람들이 [교실원의 수와 질]로 그들의 성공을 측정했다. 그들은 "적절한" 사람들이 합류시키는 것on board이 부서를 발전시키는데 도움이 될 것이라고 느꼈다. 또한 다른 부서 및 조직과의 협업 측면에서도 성장을 검토하여 귀중한 리소스에 대한 접근성을 높였습니다. 이와 관련, 더 많은 학생과 교직원 채용과 협업 기회를 활성화하기 위해서는 [소속 부서의 이미지를 홍보하고 관리하는 것]이 중요했다. 
They discussed the growth of their departments in terms of student enrollment, faculty recruitment, number of programs, space, and research capacity. Many measured their success by the number and quality of individuals in their department. They felt that having the “right” people on board would help move the department forward. They also viewed growth in terms of collaborations with other departments and organizations, which increased access to valuable resources. Related to this was the importance of promoting and managing the image of their department, through which they hoped to recruit more students and faculty members and stimulate opportunities for collaboration. 

그들은 또한 [재정적 지원]의 필요성에 대해 논의했다. 이들은 [(가용) 자금]과 [비전 달성을 위한 비용] 사이의 불일치를 인식했을 때 수익을 창출할 창의적인 방법을 제시했습니다. 외부교부금 신청, 교수진에게 성과급으로 전환하도록 설득, 이윤을 위한 교육자료 제공, 실험실 공간 이전, 등록증가, 산업계와의 유대관계 구축 등이 그것이다.
They also discussed the necessity of financial support. When they perceived a discrepancy between their funding and the cost of achieving their vision, they came up with creative ways to generate revenue. These included applying for external grants, persuading faculty to switch to merit-based salaries, providing educational materials for profit, relocating laboratory space, increasing enrollment, and forging ties to industry. 

마지막으로, [리더 양성 문제]가 주요 주제로 떠올랐다. 학과장들은 학과 내 교수들이 리더 역할을 맡도록 격려하는 것이 중요하다고 느꼈다. 특히, 그들은 승계 계획과 부서 비전을 이어갈 수 있는 사람을 갖는 것에 대해 걱정했습니다.
Finally, the cultivation of leaders emerged as a major theme. The chairs felt it important to encourage faculty within their departments to take on leadership roles. In particular, they were concerned with succession planning and having someone who could carry on their vision for the department. 

대인 관계 기술
Interpersonal skills

주임교수들은 그들의 성공에 필수적인 것으로 [대인관계 기술]을 이야기했다. 특히 어떤 이슈에 대한 교직원, 전공의, 학생 등과의 대화가 [학과의 '맥박pulse']을 감지하는 데 도움이 돼 새로운 니즈와 우선순위를 발굴하고 관리할 수 있다고 느꼈다. 그들은 특히 [사람을 소중하게 여기고, 그들의 강점을 식별하며, 그들의 성과를 인식하는 것은 물론, 잠재적인 약점을 파악하고 적절한 지원을 제공하는 것]이 중요하다고 생각했습니다. 다양한 역량으로 효과적으로 다른 사람들과 일하는 것이 매우 중요한 것으로 보였지만, 몇몇 주임교수들은 그들이 [얼마나 많은 시간을 대인 업무로 소비했는지]에 놀랐다.
The chairs discussed interpersonal skills as being essential to their success. In particular, they felt that talking to faculty members, residents, and students about their issues helped them sense the “pulse” of the department, enabling them to uncover and manage emerging needs and priorities. They found it particularly important to value people, identify their strengths, and recognize their accomplishments, as well as to identify potential weaknesses and provide appropriate supports. Although effectively working with others in various capacities was seen as critical, some chairs were surprised by how much time they spent on interpersonal work. 

주임교수들은 어려운 상황에 대처하고 갈등을 관리하는 능력을 어렵지만 필수적인 역할로 논의했다. 교수진 간 갈등, 학생·교직원의 생존 실패, 다른 교수들이 강압적인 행동을 한 사례 등을 공유했다. 많은 이들이 이런 상황에 대처하는 데 따른 정서적 부담에 대해 논의했다. 마지막으로, 주임교수들은 [의사소통의 기술]을 그들의 성공에 필수적인 것으로 명명했습니다. 여기에는 [적극적 경청, 올바른 질문, 교실 문제에 대해 명확하고 간결하게 정보를 전달하는 능력]이 포함되었습니다.

The chairs discussed the ability to deal with difficult situations and manage conflicts as an essential, though difficult, part of their role. They shared stories of conflicts between faculty, failures of students or faculty to thrive, and instances where faculty engaged in coercive behaviors. Many discussed the emotional burden of dealing with such situations. Finally, the chairs named communication skills as essential to their success. These included such capabilities as active listening, asking the right questions, and clearly and concisely conveying information about departmental issues. 

문화적, 구조적 인식
Cultural and structural awareness

주임교수의 주제는 병원, 학원, 대학뿐만 아니라 그들 [교실의 문화적 풍경cultural landscape을 탐색하는 능력]이었다. 그들은 [명시적 문화]와 [(뉘앙스적) 암묵적 문화] 둘 다에 주목했다. 여기에는 병원, 학과, 대학 내 역사, 사회규범, 가치관 등이 포함되었습니다. 문화의 이러한 측면을 받아들이는 것은 그들의 일에 매우 중요했습니다. 이는 외부 조직이나 부서에서 온 주임교수들에게 특히 어려운 일이었습니다. 그들은 변화를 위해 교실을 동원mobilize하기 위해서는, 그에 앞서 자기 스스로 교실의 중심 가치를 알아내는 "숙제를 먼저 하는 것"의 중요성을 강조했다. 
A dominant theme for the chairs was the ability to navigate the cultural landscape of their department, as well as the hospitals, institutes, and university. They noted both an explicit and an implicit culture that was nuanced. This included such things as history, social norms, and values within the hospital, their department, and the university. Appreciating these aspects of the culture was critical to their work. This proved particularly challenging for chairs coming from outside organizations or departments. They highlighted the importance of “doing their homework” and uncovering the values of the department before making any attempt to mobilize the department for change.  

또한 병원, 소속 부서, 대학 내 구조와 과정 등 전반적인 시스템에 대한 심층적인 이해와 시각이 필수적이라고 생각했습니다. 가용 리소스, 연락처 및 기존 인프라에 대한 인식은 잠재력을 최대한 발휘하는 데 필수적이었습니다. 여기에는 [채용, 검토, 테뉴어, 재무 및 인증 프로세스, 홍보 및 학술 부정 행위 문제, 인적 자원 시스템의 이해] 등이 포함되었습니다. 특히 참여자들은 [교실 밖에서 더 큰 그림을 이해하는 것]이 중요하다고 강조했다. 다수의 공동 파트너십, 학술 병원, 대학, 정부 간의 관계, 다양한 연구 기관의 역할 등이 '매트릭스'로 표현됐다. 성공하기 위해 참가자들은 이 매트릭스가 어떻게 기능하고 그 안에서 어디에 적합한지 평가하는 것이 중요하다고 강조했습니다. 
In addition, they believed it essential to have an in-depth understanding and perspective of the overall system, including the structures and processes within the hospital, their department, and university. Having an awareness of the available resources, contacts, and existing infrastructure was essential to their ability to perform to their full potential. This included understanding processes of recruitment, review, tenure, finance, and accreditation; promotional and academic misconduct issues; and human resource systems. In particular, participants highlighted the importance of understanding the bigger picture outside their department. The multitude of joint partnerships, the relationship between the academic hospitals, the university, and government, and the roles of the various research institutes were described as a “matrix.” To be successful, participants highlighted the importance of appreciating how this matrix functioned and where they fit within it. 

영향력 행사 능력
Ability to influence

많은 참가자들이 [변화를 만들기 위해] 주임교수가 되었습니다. 그들의 조직에 의미 있는 변화를 주고자 했습니다. 실제로, 대부분의 사람들은 [변화에 대해 명확하게 정의된 비전이나 아이디어]를 공유합니다. 많은 이들에게 주임교수가 되려는 동기는 일반 교수일 때보다 [그 자리에서 자신의 비전을 더 잘 이룰 수 있을 것이라는 믿음]이었다. 그들은 [성취는 필연적으로 위험을 동반하며, 때로는 대부분이 싫어하는 결정을 요구한다는 것]을 깨달았고, 이는 다시 용기를 요구하는데, 이것이야말로 주임교수라는 역할의 어려운 측면이다. 몇몇 주임교수들은 [모두를 기쁘게 하고 싶어하는 것]에서 [부서 전체의 이익을 위해 힘든 결정을 내리는 것]으로의 변화를 논의했습니다. 이것은 [리스크를 감수해야 할 필요성]과 [전반적인 지지를 얻어 교실원을 참여시켜야 할 필요성] 사이에서 균형을 이루어야 했습니다. [교실과 조직 안에서 주임교수가 신뢰를 받는 것]은 종종 shared ownership를 장려하여, 교직원과 학생들이 변화의 비전을 지지하도록 하는 데 도움을 준 것으로 보인다.
Many of the participants became departmental chairs to make a difference; they wanted to make meaningful changes to their organization. Indeed, most shared clearly defined visions or ideas for change. For many, the motivation to become chair arose from the belief that they would be better able to accomplish their visions from that position rather than as faculty members. They recognized that achievement required risky, sometimes unpopular decisions, which in turn demand courage, a difficult aspect of the role. Some chairs discussed the shift from wanting to please everyone to making tough decisions in the best interests of the department as a whole. They had to balance the need to take such risks with the need to garner overall support and engage their departments. It appeared that the credibility of the chair within the department and organization often encouraged shared ownership, helping to encourage faculty and students to support the vision of change. 

많은 이들이 [목표를 달성하기 위해 영향력이 필요하다]고 표현했다. 일부 교실 소속 교수들이 둘 이상의 기관(병원 및 대학)으로부터 책임을 요구받기 때문에, 주임교수들이 종종 상충하거나, 심지어는 양립 불가능한 여러 안건을 아울러야만 했다. 이러한 분해된 거버넌스 모델disaggregated governance model의 상황에서, 일부 주임교수들은 자기자신의 "권한의 부족lack of power"으로 인한 당혹스러움과 좌절감을 느꼈다. 이에 대응하여, 그들은 시스템 내의 힘의 원천과 종류를 파악하고, 일을 성사시키기 위해 누구에게 이야기해야 할지 알아야 할 필요성을 느꼈다.

Many expressed a need for influence to accomplish their goals. Some chairs expressed surprise and frustration over their “lack of power,” a result, they felt, of the disaggregated governance model in which faculty members are accountable to more than one institution (hospital and university) and chairs often straddle competing, even incompatible, agendas. In response, they felt the need to identify the sources and types of power within the system and to know whom to talk to in order to get things done.


고찰
Discussion

주임교수의 역할과 책임에 대한 설명에서 [리더십과 경영 기술의 개발] 및 [지지적 네트워크 구축]이 필요한 복잡하고 상호 연관된 여러 니즈의 그룹들을 확인했다. 이 네트워크 범위는 다음과 같습니다. 

• 적절한 행정적 인프라(비즈니스 세계에 주어지지만 항상 후임 의장에게 제공되는 것은 아님)
• 신뢰할 수 있는 동료, 가족 및 친구의 정서적 백업(특히 새로 온 사람에게 가치 있음, 종종 직면하게 될 고립과 압박에 대비하지 않음)
• 존경받고 신뢰받는 학술 지도자에게 조언을 구할 수 있는 기회(도전적인 상황 및 개인을 다룰 때 필수적)

From the participating chairs’ narratives about their roles and responsibilities, we highlighted complex, interrelated groups of needs that will require the development of leadership and management skills and the construction of networks of support. These networks will range

• from adequate administrative infrastructure (a given in the business world, but not always provided to incoming chairs)25
• to emotional backup from trusted colleagues, family, and friends (of particular value to newcomers, who are often unprepared for the isolation and pressures they will encounter)26,27
• to opportunities to solicit advice from respected and trusted academic leaders (essential when dealing with challenging situations and individuals).28

게다가, 성공적인 주임교수들은 효과적인 대인관계 기술을 가지고 있어야 합니다. 무엇보다 교직원, 전공의, 학생의 니즈를 파악하고 관리하고, 교실 구성원을 소중히 여기고, 효과적으로 소통하며, 갈등을 성공적으로 해결할 필요가 있다. 그들은 종종 타인의 불만, 좌절, 분노의 대상이 되기 때문에, 이러한 감정의 예측을 관리하면서 효과적인 관계를 구축해야 합니다.
In addition, successful chairs must have effective interpersonal skills. Among other things, they need to uncover and manage the needs of faculty, residents, and students, value members of their department, communicate effectively, and successfully deal with conflict. Because they are often targets of others’ dissatisfactions, frustrations, or anger, they must build effective relationships while managing the projections on them of these emotions.26,29  

또한 부서 내에서 인프라와 성장을 개발하기 위해서는 주임교수가 자원을 확보하고 다른 사람을 채용하고 육성해야 합니다. 이를 위해서는 조직의 구조와 과정을 이해하고, 사회적 규범과 가치를 높이 평가하고, 전반적인 시스템 관점을 가져야 합니다. 하버드 대학교에서 사용된 모델과 유사한 세분화된 거버넌스 모델은 회원 기관의 독특한 풍경을 감상해야 하는 복잡성을 가지고 있다.
Furthermore, to develop infrastructure and growth within their departments, chairs must secure resources and recruit and cultivate others. For this, they need to understand organizational structure and process, appreciate social norms and values, and have an overall system perspective. The disaggregated governance model, similar to the model used at Harvard University,21 has complexities that require appreciation of the unique landscapes of its member institutions. 

마지막으로, 주임교수들은 [비전을 촉진하기 위한 영향력]을 필요로 하였다. 이러한 상황에서 영향력은 특정 의제의 용역을 위해 다양한 힘의 원천을 활용할 수 있는 능력을 수반한다. 우리의 데이터는 영향력에는 용기, 타인의 참여, 전력 시스템에 대한 접근이 필요하다는 것을 암시합니다.
Finally, the need for influence to facilitate their vision emerged from our data. Influence in this circumstance involves the ability to leverage various sources of power in service of a particular agenda. Our data suggest that influence requires courage, the engagement of others, and their access to power systems. 

학술의학계 주임교수들에게 전환, 멘토링과 발전, 동료 커뮤니티를 위한 지원과 과정을 제공하는 데 관심을 기울이면 이들의 욕구를 해소하기 시작할 것임을 시사하는 자료다. 
The data suggest that if attention is paid to providing chairs in academic medicine with supports and processes for transition, mentorship and development, and communities of peers, it will begin to address their needs. 

이행 과정
Transition

우리의 연구 결과는 일반 교수가 [주임교수 역할]로 전환하기 위해서는, 오리엔테이션 프로세스와 지원을 제공하는 것이 필수적으로 필요함을 강조한다.

• 우선 해당 부서에서 사용할 수 있는 현재 리소스와 그 안에 있는 현재 인프라를 소개할 수 있습니다.
• 때로는 혼란스러운 병원, 연구소, 학과 및 대학 구조, 프로세스를 포함하기 위해서, 교실 구조에 대한 오리엔테이션을 넘어, 지역 거버넌스와 권력 구조를 포함한 시스템 개괄까지 제공해야 한다.
• 개인은 역할에 필수적인 직무와 역량을 습득하거나 학습에 전념할 수 있도록 역할에 대한 요구와 기대를 이해해야 합니다.
• 문화적 관점에서, 그들은 부서 내외의 주요 개인과 그룹과 연결될 수 있었다.
• 주임교수는 학과의 역사와 학과가 가지고 있는 사회적 규범과 가치를 이해할 수 있기 위한 지원도 필요하다.

Our findings highlight the essential need to provide chairs with orientation processes and supports to enable their transition into the role.

• An orientation could introduce them to the current resources available to their department and the current infrastructure within which they are situated.
• However, the structural orientation must go beyond their department alone to include the sometimes confusing array of hospitals, research institutes, department and university structures, and processes and provide a system overview including the local governance and power structures.
• Individuals need to understand the demands and expectations of the roles going in so that they can ensure they are either capable or commit to learning the tasks and capabilities essential to the role.
• From a cultural perspective, they could be connected with key individuals and groups within and beyond their departments.
• Effort must be made to assist chairs in appreciating the history of the department and its existing social norms and values. 

이 방향은, 이상적으로, 그들이 주임교수로 자리를 잡기 전에 이루어져야 한다. 특히, 나가는 주임교수가 제자리에 있는 동안 들어오는 주임교수가 겹치거나 여러 번 방문하는 전환을 가능하게 하는 것은 문화의 맥박을 얻고 주요 개인과의 관계를 발전시킬 수 있는 기회를 제공할 것입니다. 일단 그들이 그 자리에 앉게 되면, 좀 더 공식적인 오리엔테이션 및 자료들은 그들이 직면하게 될 일반적인 프로세스와 문제들, 그리고 그것들을 다루는 데 사용할 수 있는 전략과 자원들을 다룰 수 있습니다.
This orientation, ideally, should take place before they assume the position as chair. In particular, enabling a transition whereby the incoming chair would overlap or have multiple visits whilst the outgoing chair is still in place would provide opportunity to get the pulse of the culture as well as develop relationships with key individuals. Once they have assumed the position, a more formal orientation and/or materials might address common processes and problems that they will encounter and strategies and resources available to deal with them. 

또한, 주임교수직 인수와 성공을 위해서는 행정적 인프라가 필수적이라고 보아야 한다. 비즈니스 분야와 달리 주임교수들은 도착 전에 부서 세부사항에 대한 인식이 미미함에도 불구하고 필요한 지원을 위해 협상할 것으로 보인다. 적절한 행정 지원 기준은 들어오는 주임교수에 대한 요구 사항이어야 한다.
In addition, administrative infrastructure must be seen as essential to enable chair transition and success. In contrast to the business sector, chairs are expected to negotiate for necessary supports in spite of the fact that many have minimal awareness of departmental details prior to their arrival. An adequate standard of administrative support must be a requirement for incoming chairs. 

멘토링 및 개발
Mentorship and development

학술 의학 분야의 강좌는 가치가 있으며, 멘토의 형태를 취할 수 있는 지속적인 지원 및 조언으로부터 임기 내내 혜택을 받을 수 있습니다. 멘토에는 과거 주임교수 또는 더 많은 수석 주임교수, 교수진 내의 다른 리더, 조직 외부의 리더 또는 임원 코치가 포함될 수 있습니다. 실제로, 주임교수는 다양한 요구를 충족시키기 위해 둘 이상의 멘토나 조언자를 필요로 할 수 있으며, 장기 및 단기 관계의 조합을 선호할 수 있습니다.30,31
Chairs in academic medicine value and would benefit throughout their terms from ongoing support and advice, which could take the form of mentorship. Mentors may include past chairs or more senior chairs, other leaders within the faculty, leaders external to the organization, or executive coaches. Indeed, chairs may require more than one mentor or advisor to fulfill their various needs and may prefer a combination of longand shortterm relationships.30,31 

과거의 주임교수 또는 더 많은 고위 주임교수는 새로운 주임교수가 자신의 역할과 부서 및 조직에 고유한 사회적 규범과 가치 및 기대되는 행동을 탐색하는 데 도움을 줄 수 있습니다. 주임교수들은 문화적 이슈를 파악하고 그 [의도, 비전, 변화 노력]에 대한 함의를 고려하기 위해, [관찰된 행동, 지지된 가치, 공유된 암묵적 가정] 수준에서 문화를 받아들이는 전략을 교육해야 한다.32
A past chair, or more senior chair, would be able to help chairs navigate the social norms and values and expected behaviors that are unique to their role and specific to their department and organization. Chairs need to be educated about strategies to appreciate culture at the levels of observed behaviors, espoused values, and shared tacit assumptions in order to identify cultural issues and consider the implications for their intentions, vision, and change efforts.32 

학술문화에도 나름의 언어와 행동, 의식, 상징이 있기 때문에, 문화통역자로 활동할 수 있는, 아직 조직의 문화에 속해immersed있는 사람과 연결되는 것도 유용할 수 있다. 이는 외부 리더가 제공할 수 있는 외부인 또는 "신선한 시선"의 가치를 떨어뜨리는 것이 아니라, [국지적local 조직의 가정]을 인식하도록 하기 위한 것입니다. 멘토가 [정식으로 배정되어야 하는지] 아니면 [개인이 필요에 따라 비공식적으로 찾아내야 하는지]는 아직 논쟁이 있다.33
It may be useful to be connected with someone who is still immersed in the culture of the organization to act as a cultural interpreter, because even academic cultures have their own language, behaviors, rituals, and symbols. This is not to diminish the value of an outsider or “fresh eyes” perspective that a leader from outside the organization may provide but, rather, to enable them to perceive the local organizational assumptions. Whether a mentor should be formally assigned or whether individuals should informally seek them out on the basis of need is a debate within the literature.33 

Academic medicine 분야에서는 아직 상대적으로 미개척 분야지만, [경영진 코치executive coach]는 기업 내에서 광범위하게 사용됩니다.34 겸손, 강점과 약점에 대한 인식, 일과 삶의 균형, 협업 등 핵심 리더십 기술의 개발을 촉진할 수 있습니다.35 코치는 도전적인 아이디어와 상황을 통해 즉각적인 피드백과 지원을 제공할 수 있으며 다른 학습 기회를 보완할 수 있습니다.
Although still relatively untapped within the academic medicine landscape, executive coaches are used extensively within the corporate world.34 They can facilitate the development of key leadership skills, including humility, awareness of strengths and weaknesses, work–life balance, and collaboration.35 A coach can provide immediate feedback and support with challenging ideas and situations and can complement other learning opportunities. 

많은 주임교수들이 일찍부터 리더십 발전에 대한 열망을 표현했다. 이들 주임교수들은 자신의 '아마추어 관리자' 역할을 인정했고, 일부는 자기주도적 독서나 리더십 계발에 참석하는 등 독자적인 발전을 추구했다.36 그러나 대부분은 그러한 경험을 통해 효익을 얻을 것이라고 생각하지 않았다.

• 주임교수들이 인식하는 요구와 그 자리에서 요구받는 도전적인 대인관계를 고려한다면, 그러한 프로그램은 리더십의 대인관계 측면을 최우선 과제로 삼아야 할 것입니다.
• 또한, [자기 인식과 회복탄력성, 후계 계획, 학제 및 거버넌스, 변화, 인적 자원, 그리고 조직 업무와 영향력의 정치 및 문화적 측면]에 대한 토론이 그들의 요구를 충족시킬 것입니다.
• 한 사람이 주임교수이 될 때까지 기다리기보다는, 주임교수 역할을 열망하는 '잠재력이 높은' 교수진들이 성공을 위해 자신을 포지셔닝할 수 있는 개발 기회를 모색하도록 격려해야 한다.
• 각 부서와 교수진도 이러한 리더십 역량을 갖춘 후보자를 심사해야 합니다.

Many chairs articulated their desire for leadership development early in their position. These chairs recognized their “amateur administrator” role, and some pursued their own development by self-directed reading or attending leadership development.36 Most had not, however, and felt that they would benefit from such experiences.

• Given their perceived needs and the challenging interpersonal demands of the job, such a program would need to make interpersonal aspects of leadership a top priority.
• Additionally, discussions about self-awareness and resilience, succession planning, academic systems and governance, change, human resource, and political and cultural aspects of organizational work and influence would address their needs.
• Rather than wait until one becomes a chair, “high potential” faculty who aspire to these roles should be encouraged to seek out development opportunities that would position them for success.
• Departments and faculties should also screen candidates for these leadership capabilities.

피어 커뮤니티
Community of peers

주임교수의 복잡한 요구를 지원할 때 고려해야 할 세 번째 영역은 [동료들의 공동체] 개념이다. 코칭 및 지원 네트워크의 중요성이 데이터에서 강조되었습니다. 실제로, 일부 참가자들은 그들만의 비공식 동료 커뮤니티를 만드는 것에 대해 논의했다. 이는 [동료 코칭]이 자극되고 장려될 수 있는 기회를 창출하는 비공식적인 공간을 제공하는 것의 중요성을 보여줍니다. [동료 코칭]은 "직업적 목표를 달성하기 위해, 그 안에 있는 개개인을 지원하려는 명확한 목적을 가진, 발전적 관계"로 묘사되어 왔다. 동료 코칭은 다음을 필요로 한다.

• (1) 파트너들 간의 동등한 지위
• (2) 동료의 개인 및 전문적 발전에 초점
• (3) [집중해야 할 결정적 사건]을 식별하기 위하여 [실무에 대한 성찰reflection on practice]을 통합.
• (4) [리더십 스킬 개발]과 [가속화된 커리어 학습]을 촉진하기 위하여 [내용과 프로세스]를 둘 다 강조

A third area to consider in supporting the complex needs of chairs is the notion of communities of peers. The importance of a network of coaching and support was highlighted in the data. Indeed, some participants discussed creating their own informal community of peers. This illuminates the importance of providing informal spaces that create opportunities in which peer coaching can be stimulated and encouraged.37 Peer coaching has been described as a “developmental relationship with the clear purpose of supporting individuals within it to achieve their job objectives.”38 It requires

• (1) equal status of partners,
• (2) focus on personal and professional development of both peers,
• (3) integration of reflection on practice to identify critical incidents for focus, and
• (4) emphasis on process as well as content that facilitates leadership skill development and accelerated career learning.

정기적인 비공식 모임과 회의는 그러한 관계를 발전시킬 수 있는 사회적 기회를 제공할 수 있습니다.
Regular informal gathering and meetings can provide social opportunities whereby such relationships can develop. 

결론
Conclusions

그들이 처음 시작할 때, 주임교수들은 종종 그들의 역할의 요구에 불충분하게 준비된다. 고위 리더에게 높은 리스크와 중요한 포트폴리오를 관리하도록 하는 신뢰는 조직의 리더가 자신의 명령을 이행할 수 있는 능력과 지원을 보장할 책임이 있습니다. 역할의 복잡성과 정서적 부담을 감안할 때, 적절한 행정적 지원과 더불어 동료의 오리엔테이션, 리더십 개발, 멘토링, 지역사회 제공은 조기 성공 가능성을 높여줄 것이다. 

When they first begin, chairs are often insufficiently prepared for the demands of their roles. The trust placed in these senior leaders to manage high risk and significantly important portfolios places the responsibility on the organization to ensure their leaders are capable and supported to deliver their mandates. Given the complexities and emotional burden of the role, provision of adequate administrative support as well as opportunities for orientation, leadership development, mentorship, and communities of peers will enhance the likelihood of early success.

Acad Med. 2013 Jul;88(7):960-6.

 doi: 10.1097/ACM.0b013e318294ff36.

Understanding the needs of department chairs in academic medicine

Susan Lieff 1, Jeannine Girard-Pearlman Banack, Lindsay Baker, Maria Athina Martimianakis, Sarita Verma, Catharine Whiteside, Scott Reeves

Affiliations collapse

Affiliation

• 1Centre for Faculty Development, University of Toronto, Li Ka Shing International Healthcare Education Centre, St. Michael's Hospital, Toronto, Ontario, Canada. s.lieff@utoronto.ca

• PMID: 23702526
• DOI: 10.1097/ACM.0b013e318294ff36Abstract
• Purpose: The challenges for senior academic leadership in medicine are significant and becoming increasingly complex. Adapting to the rapidly changing environment of health care and medical education requires strong leadership and management skills. This article provides empirical evidence about the intricate needs of department chairs to provide insight into the design of support and development opportunities.Results: These participants were initially often insufficiently prepared for the demands of their roles. They identified a specific set of needs. They required cultural and structural awareness to navigate their hospital and university landscapes. A comprehensive network of support was necessary for eliciting advice and exchanging information, strategy, and emotional support. They identified a critical need for infrastructure growth and development. Finally, they stressed that they needed improvement in both effective interpersonal and influence skills in order to meet their mandate.
• Conclusions: Given the complexities and emotional burden of their role, it is necessary for chairs to have a range of supports and capabilities to succeed in their roles. Their leadership effectiveness can be enhanced by providing transitional processes and supports, development, and mentoring as well as facilitating the development of communities of peers.
• Method: In an exploratory case study, 21 of 25 (84%) department chairs within a faculty of medicine at a large Canadian university participated in semistructured interviews from December 2009 to February 2010. The authors conducted an inductive thematic analysis and identified a coding structure through an iterative process of relating and grouping of emerging themes.

CBME에 관한 가정과 근거의 상태: 비판적 내러티브 리뷰(Acad Med, 2021)

Assumptions About Competency-Based Medical Education and the State of the Underlying Evidence: A Critical Narrative Review 
Ryan Brydges, PhD, Victoria A. Boyd, MA, Walter Tavares, PhD, Shiphra Ginsburg, MD, PhD, Ayelet Kuper, MD, DPhil, Melanie Anderson, MLIS, and Lynfa Stroud, MD, MEd 

역량 기반 의학 교육(CBME) —의사 및 의사 교육 프로그램의 설계, 구현, 평가 및 평가에 대한 성과 기반 접근 방식1— 은 광범위한 논의와 논쟁을 불러일으켰다. 개념적 프레임워크, 사고 논문, 합의문, 구현 문서, 기관별 서술은 CBME의 가능성과 과제에 대해 말한다. CBME를 지원하기 위해 많은 내용이 작성되었지만, 많은 학자들은 [기존 증거가 구현 관행이나 프로그램적 연구 안건에 거의 영향을 주지 않는다는 점]에 주목하며 증거 기반evidence base을 의심해 왔다. 예를 들어, 최근 CBME 관련 위탁 전문 활동(EPA) 사용에 대한 증거를 체계적으로 검토한 결과, O'Dowd 등은 EPA의 평가 또는 이행을 평가한 49개 연구 중 12개만 발견했다. 나머지는 EPA 목록 개발에만 초점을 맞췄다.

Competency-based medical education (CBME)—an outcomes-based approach to the design, implementation, assessment, and evaluation of physicians and physician training programs1—has stirred extensive discussion and debate. Conceptual frameworks, thought papers, consensus statements, implementation documents, and institution-specific descriptions speak to the possibilities and challenges of CBME.2 While much has been written in support of CBME, many scholars have questioned its evidence base,3–6 noting that the existing evidence rarely informs either implementation practices7 or programmatic research agendas. For example, in a recent systematic review of evidence for the CBME-related use of entrustable professional activities (EPAs), O’Dowd et al found just 12 of 49 studies evaluated the assessment or implementation of EPAs; the remainder focused solely on developing lists of EPAs.8 

CBME를 구현하는 방법에 대한 초안 "공통 프레임워크"가 최근에야 제안되었다.10 따라서, 교육자들은 대부분 개념적 [논문에 요약된 원칙과 역량에 대한 자신의 암묵적 가정]을 바탕으로 CBME를 구현했다.
A draft “common framework” for how to implement CBME has been proposed only recently.10 Consequently, educators have mostly implemented CBME based on how they and their organizational leaders have interpreted the principles outlined in conceptual papers, as well as on their own tacit assumptions about competence.

우리는 [가정]을 [지속적인 증거 없이 사람들이 당연하다고 여기는 진술 또는 주장]으로 정의합니다.11 이러한 가정(예: 역량은 관찰 가능하고 측정 가능한 행동으로 분해될 수 있습니다)은 교육자와 연구자가 CBME 구현 및 연구에 대한 결정을 위해 문헌을 사용하는 렌즈를 나타냅니다.
We define an assumption as a statement or claim people take for granted as fact, without ongoing proof.11 These assumptions (e.g., competence can be broken down into observable, measurable behaviors) represent the lenses through which educators and researchers use the literature to make decisions about CBME implementation and research.

우리 팀의 구성원(V.A.B., S.G., R.B., A.K.)은 CBME의 현대적 논의의 기초가 되는 가정을 식별하고 종합하는 CDA를 이전에 완료했다.
Members of our team (V.A.B., S.G., R.B., A.K.) previously completed a CDA that identified and synthesized the assumptions underlying contemporary discussions of CBME.

그러나 CDA는 [저자들이 합성한 '가정'의 목록]을 제공하지 않았다. 즉, 의료 교육 커뮤니티는 CBME에 대한 가정과 그러한 가정의 기초가 되는 근거의 상태에 대해 완전한 인식을 가지고 있지 않다.
However, the CDA did not provide a list of the assumptions the authors had synthesized, meaning the medical education community does not have a full appreciation of the assumptions it has made about CBME nor of the state of the evidence underlying those assumptions. 

역량과 CBME에 대한 깊이 있는 가정은 교육 및 연구 관행을 밀고, 활성화 및 제한합니다. 다음 가정을 예로 들 수 있습니다. 역량 평가는 실제로 타당하고 신뢰할 수 있는 방식으로 수행되어야 한다. 이러한 가정에 대한 증거는 CBME를 이행하는 교육자가 작업장에서 모든 평가를 수행해야 하는지 또는 시뮬레이션 기반 환경(및 다른 곳)에서 일부 평가를 수행할 수 있는지를 결정하는 데 도움이 될 것이다. 
Deeply held assumptions about competence and CBME inform, enable, and limit educational and research practices. Take the following assumption as an example: Competency assessment must take place in practice to be valid and reliable. Evidence about this assumption would help educators implementing CBME decide whether they must conduct all assessments in the workplace or whether they could conduct some in simulation- based settings (and elsewhere). 

이러한 격차를 해소하기 위해 우리는 다음 질문에 대한 답변을 목표로 한 비판적 서술 검토을 실시했습니다. 의료 교육 커뮤니티가 역량과 CBME 접근법에 대해 가정해 온 근거의 상태는 어떠한가?To fill this gap, we conducted a critical narrative review15,16 that aimed to answer the following question: What is the state of the evidence for the assumptions the medical education community has made about competence and the CBME approach?

방법 Method

디자인 Design

비판적 서술 검토를 완료하면서, Grant와 Booth 15 및 Dixon-Woods et al, 16의 작업을 따랐다.

• 주제에 대한 가장 중요한 기사를 식별하고,
• (방법론적 질보다는) 판단된 기여에 따라 평가하고,
• 증거에 대한 성찰적 해석을 제공하는 것을 제안한다 (정량적, 정성적, 혼합적 데이터). 

In completing our critical narrative review, we followed the works of Grant and Booth15 and Dixon-Woods et al,16 which suggest aiming

• to identify the most significant articles on a topic,
• to evaluate them according to their judged contributions (rather than their methodological quality), and
• to offer a reflexive interpretation of the evidence (i.e., quantitative, qualitative, and mixed data).

연구팀은 지식 종합의 결과를 설계, 구현 및 분석하는 이러한 [귀납적 접근법]이 동료 검토 문헌에서 찾을 것으로 예상되는 혼합 증거를 해석하고 비판할 수 있는 가장 큰 잠재력을 제공할 것이라고 판단했다. 따라서 우리는 CBME 접근법에 대해 발견한 증거로부터 지식이 어떻게 구성되었는지를 판단하고 향후 연구 관행에 대한 함축적인 이해를 심화하면서 [반복적 접근법]을 사용하여 연구 결과를 종합하고 해석했다.  

Our team judged that this inductive approach to designing, implementing, and analyzing the results of our knowledge synthesis would yield the greatest potential for interpreting and critiquing the mixed evidence we expected to find in the peer-reviewed literature.17 Thus, we synthesized and interpreted our findings using an iterative approach, judging how knowledge has been constructed from the evidence we found about CBME approaches and deepening our understanding of the implications for future research practices.16,17 

우리는 지역 및 국가 이해관계자들을 조사하여 a와 b를 수행했다. 이로서 발표된 논문의 최종 데이터베이스 범위가 통합에 집중되고 실현 가능한지 확인하고자 하였다.

• (a) 이러한 가정을 정리하고 우선 순위를 정하며
• (b) 일부 가정을 "핵심"으로 선택했다. 

We surveyed local and national stakeholders to

• (a) organize and prioritize these assumptions and
• (b) select some assumptions as “core”

...to ensure the scope of our eventual database of published papers would be focused and feasible to synthesize. 

다양한 관점에서 증거를 평가하기 위해, 우리는 포스트 포지티브에서 인지주의자, 구성주의자, 혁신에 이르기까지 교육의 패러다임 스펙트럼을 대표하는 연구팀을 개발했다. 복수의 패러다임을 표현하면 포함된 연구에 보고된 가정과 관련 근거에 대한 존경스럽고 균형 잡힌 판단을 내릴 수 있다고 가정했다.
To appraise the evidence from multiple perspectives,19 we developed a research team that represented a spectrum of paradigms of education, from postpositivist to cognitivist to constructivist to transformative. We assumed that representing multiple paradigms would enable us to produce a respectful and balanced judgment of the assumptions and the associated evidence reported in the included studies.

이전 작업: CDA에서 식별된 가정
Prior work: Assumptions identified in the CDA

CDA 팀은 광범위한 문헌 기관 내의 강의를 탐색하면서 지배적인 CBME 프레임워크와 역량 구성을 뒷받침하는 31가지 가정을 식별했다. 
In exploring the discourses within that extensive body of literature, the CDA team identified 31 assumptions underpinning dominant CBME frameworks and the construct of competence.

1단계: 핵심 가정을 식별하기 위한 팀 조사
Phase 1: Team survey to identify core assumptions

본 검토에서 사용할 31가지 가정 각각에 대한 언어를 다듬고 완성한 후, 실증 연구에 적합한 항목을 중심으로 목록을 가장 중요한 항목으로 축소하고자 했습니다.
After refining and finalizing the language for each of the 31 assumptions for use in the present review, we sought to reduce the list to the most significant items, with a focus on those that were amenable to empirical research.

질문:

• "이러한 가정을 지지하거나 반박하기 위해 엄격한 증거를 수집하는 것이 가능합니까?" (시험 가능 여부) 및
• "이 가정은 CBME 프레임워크/구현 성공의 '핵심'입니까?" (핵심 여부)

questions:

• “Is it possible to gather rigorous evidence to support or refute this assumption?” (testable or not) and
• “Is this assumption ‘core’ to the success of CBME frameworks/implementations?” (core or not).

2단계: 정밀 검색 및 비판적 서술 검토
Phase 2: Precise search and critical narrative review

설문 조사 결과를 사용하여 문헌 검색 용어와 검토 프로세스를 구성했습니다. 우리는 사서 설계되고 정밀한 검색을 비판적 서술 검토와 결합하기로 결정했다.16 여기에는 연구 질문을 더욱 세분화하고, 데이터 소스를 식별하고, 연구 선택과 선별 기준을 지정하고, 데이터를 추출하는 작업이 포함되었다. 
We used the survey findings to inform how we constructed our literature search terminology and our review process. We chose to combine a librarian-designed, precise search with a critical narrative review.16 This involved further refining our research question, identifying data sources, specifying study selection and screening criteria, and extracting data. 

검토 질문.
Review question.

데이터 원본, 검색 전략 및 포함 기준.
Data sources, search strategy, and inclusion criteria.

보건직의 역량, 역량, 역량 기반 교육에 초점을 맞춘 영어, 경험적 연구 데이터베이스를 구축하는 것을 목표로 했습니다.
We aimed to assemble a database of English-language, empirical studies focused on competence, competency, and competency-based education in the health professions. 

선택 및 선별 프로세스를 학습합니다.
Study selection and screening process.

추상적 선별 단계에서 검토 질문과 관련된 원본 연구 보고 데이터를 식별하는 데 목적을 둔 기준을 사용하여 연구 포함을 판단했다. 
In the abstract screening step, we judged study inclusion using criteria aimed at identifying original studies reporting data relevant to our review question:  

데이터 추출.
Data extraction.

그런 다음 각 가정에 대해, 각 평가자는 증거가 가정을 뒷받침하는지, 가정을 뒷받침하지 않는지, 또는 혼합되었는지(즉, 데이터에 대한 서로 다른 해석을 시사하는 최소 2개의 근거 출처) 판단했습니다. 평가관은 또한 "불확실"을 선택할 수 있는 옵션이 있었다. 코딩 짝coding pair은 정기적으로 만나 충돌을 해결했습니다.
For each assumption, each rater then judged whether the evidence supported the assumption, did not support the assumption, or was mixed (i.e., at least 2 evidence sources suggesting different interpretations of the data). Raters also had the option to select “unsure.” Coding pairs met regularly to resolve any conflicts.

3단계: 가정의 주제 분석
Phase 3: Thematic analysis of the assumptions

비록 우리는 모든 31가지 가정에 대해 2단계에서 증거를 검토하지는 않았지만, 일련의 정제된 가정에 대한 분석은 의학 교육 커뮤니티가 앞으로의 가정을 어떻게 공식화하고 평가하는지 알려줄 것이라고 결정했다. 따라서, 우리는 공유 또는 대조적인 목적과 가정의 초점의 패턴을 식별하고 분류하기 위해 31가지 가정에 대한 간단한 전통적conventional 내용 분석을 수행하였습니다.21
Although we did not review evidence in phase 2 for all 31 assumptions, we decided that an analysis of our set of refined assumptions would inform how the medical education community formulates and evaluates its assumptions going forward. Therefore, we conducted a simple conventional content analysis of the 31 assumptions to identify and categorize patterns in the shared or contrasting purposes and foci of the assumptions.21 


결과 Results

1단계: "핵심"으로 식별된 가정
Phase 1: Assumptions identified as “core”

우리의 조사에서, 31가지 가정 중 거의 모든 가정은 [경험적으로 연구될 수 있는지]를 묻는 질문에 대해 높은 "예스" 응답을 받았습니다. 따라서, 위에서 설명한 바와 같이, 우리는 가정들이 CBME 프레임워크/구현에 핵심적이었는지를 묻는 두 번째 질문에 "그렇다"는 답변을 강조하였다. "찬성" 투표수를 최소 2 포인트 초과하여 "찬성" 투표수를 받은 가정만 "핵심"으로 정의하기로 한 우리의 결정은 [15개의 핵심 가정]을 산출했습니다.

In our survey, nearly all of the 31 assumptions received a high “yes” response to the question asking whether they could be studied empirically. Thus, as described above, we emphasized “yes” responses to the second question asking whether the assumptions were core to the success of CBME frameworks/ implementations. Our decision to define as “core” only those assumptions receiving a “yes” vote count exceeding the “no” vote count by at least 2 points yielded 15 core assumptions. (The full survey results are available in Supplemental Digital Appendix 2 at http://links.lww.com/ACADMED/B32.)

2단계: 15가지 핵심 가정에 대한 근거 합성
Phase 2: Synthesis of evidence for the 15 core assumptions

우리의 정밀한 문헌 검색 결과 8,086개의 고유 연구가 나왔고, 이를 선별 프로세스는 전체 텍스트 검토를 위한 709개의 연구와 데이터 추출에 대한 189개의 연구로 개선되었다(그림 1). 초록 스크리닝을 위하여, 평가자 쌍은 포함/제외 결정에 대해 93.3%의 일치를 보였습니다(6,885/7,377). 풀-텍스트 스크리닝에서, 평가자 쌍은 포함/제외 결정에 대해 84.5%의 일치(440/520)를 보였습니다. 

Our precise literature search yielded 8,086 unique studies, which our screening processes refined to 709 studies for full-text review and 189 studies for data extraction (Figure 1). For abstract screening, our rater pairs had 93.3% raw agreement on include/exclude decisions (6,885/7,377). For full-text screening, our rater pairs had 84.5% raw agreement on include/exclude decisions (440/520). 

스터디 특성: 분석 및 시사점.
Study characteristics: Analysis and implications.

표 1은 포함된 189개 연구에 대한 연구 특성을 요약한 것이다. 
Table 1 provides a summary of study characteristics for the 189 included studies. References and extracted data for each study are provided in Supplemental Digital Appendix 3 at http://links.lww.com/ACADMED/B33.

[직장 내 임상의사 행동]을 강조하는 것은 주목할 만한 연구 관행이지만, 프로토타입 연구의 규칙성은 CBME에 대한 근거의 일반화와 포괄성에 영향을 미칩니다. 한 예로, 절차적 기술(예: 상유화, 복강경, 내시경)에 대한 역량 기반 훈련의 "학습 곡선"에 대해 보고한 많은 연구 결과, 이러한 절차적 기술 지향 근거 기반이 교육생들이 다른 역량(예: 동정적인 종말 치료 논의)을 어떻게 학습하는지를 이해하기 위해 얼마나 일반화, 적용 가능 및 번역 가능한지에 대한 의문이 제기되었습니다.
While emphasizing clinician behaviors in the workplace is a notable research practice,23 the regularity of the prototypical study has implications for the generalizability and comprehensiveness of the evidence for CBME. As one example, many studies reported on the “learning curve” of competency-based training in procedural skills (e.g., phacoemulsification,24,25 laparoscopy,26,27 endoscopy28,29), raising the question of how generalizable, applicable, and translatable such a procedural skills–oriented evidence base will be for understanding the trajectory of how trainees learn other competencies (e.g., compassionate end-of-life care discussions).

또한 [정량적 설계]에 대한 연구자의 선호affinity가, 의료 교육 커뮤니티의 역량 이해를 구성하고 CBME의 시행 계획을 안내하는 데 사용할 수 있는 [근거의 다양성에 한계]를 나타낼 수 있다. 한 가지 유형만으로 연구를 설계하는 것은 연구자가 질문하는 유형의 질문도 제한한다. 보다 질적이고 혼합된 방법 연구는 정량적 설계를 보완할 것이며, CBME가 가장 잘 작동하는 이유, 방법 및 위치를 이해하기 위한 의학교육 연구자와 시행자의 노력에 도움이 될 것이다.

Also, researchers’ affinity for quantitative designs may signal a limitation in the diversity of the evidence available to construct the medical education community’s understanding of competence and to guide its implementation plans for CBME. Predominately using one type of study design also limits the types of questions that researchers ask. More qualitative and mixed-methods studies would complement the quantitative designs and likely serve medical education researchers’ and implementers’ efforts to understand why, how, and where CBME functions best. 

15가지 핵심 가정에 대한 근거 현황: 분석 및 시사점.
State of evidence for the 15 core assumptions: Analysis and implications.

그림 2는 각 핵심 가정과 관련된 연구의 수를 나타내며, 보고된 증거가 뒷받침되는지, 뒷받침되지 않는지, 혼합된지를 세분화한다. 본 연구에서 사용하기 위한 가정들을 개정하면서, 우리는 CBME에 대한 그들의 방향성에 긍정적이라고 썼는데, 이는 뒷받침되는 증거가 CBME 프레임워크와 구현을 지지하는 것으로 해석될 수 있다는 것을 의미한다.
Figure 2 shows the number of studies related to each core assumption, with a breakdown of whether the reported evidence was supportive, not supportive, or mixed. In revising the assumptions for use in the present study, we wrote them to be positive in their orientation toward CBME, meaning that supportive evidence can be interpreted as supportive of CBME frameworks and implementation.

가장 많이 연구된 두 가지 가정, 즉 "교육자는 역량을 달성하기 위한 여러 절차/사례를 미리 결정할 수 없다"와 "역량에 도달하기 위한 선형적이고 점진적인 경로가 있다"에 대한 연구는 [위에서 설명한 프로토타입 연구가 그 예로서] 거의 오로지 절차 기술과 정량적 연구 설계에만 초점unitary focus을 맞췄다. 우려되는 것은 34개 연구 중 6개(18%)만이 "CBME 프레임워크는 본질적으로 명확하고 직관적"이라는 가정에 대한 지지 증거를 제시했다는 연구 결과이다. 비록 우리가 그 6개 연구의 특징에서 패턴을 발견하지는 못했지만, 이 발견은 보다 일관성 있는 CBME 구현과 평가 프레임워크를 생산하기 위한 최근의 노력을 확인시켜준다. 10 또한 연구의 거의 절반(46%; n = 86/18)이 역량 프레임워크를 명시하지 않은 이유를 설명할 수 있을 것이다. 
Research on the 2 most-studied assumptions—“Educators cannot predetermine a number of procedures/ cases for achieving competence” and “There is a linear, progressive pathway to reach competence”—had an almost unitary focus on procedural skills and quantitative study designs, exemplifying the prototypical study described above. Of concern is our finding that only 6 (18%) of 34 studies produced supportive evidence for the assumption “CBME frameworks are inherently clear and intuitive.” Though we found no pattern in the characteristics of those 6 studies, this finding affirms recent efforts to produce more coherent CBME implementation and evaluation frameworks.10 It also may explain why nearly half the studies (46%; n = 86/189) did not specify a competency framework. 


또한 주목할 점은 77%의 연구(n = 27/35)가 "역량은 관찰 가능하고 측정 가능한 행동으로 분해될 수 있다"는 가정에 대한 뒷받침 증거를 제시했지만, 46%(n = 13/28)만이 "훈련생이 역량을 갖추게 될/실천 준비가 되는 분명한 시점이 있다"는 가정에 대한 뒷받침 증거를 제시했다는 점이다. 한 가지 해석은 연구자들이 특정 역량을 측정하는 데 성공했지만, 측정 가능하고 관찰 가능한 행동의 [어느 수준을 "역량있음competent"로 규정할 수 있는지 또는 표시해야 하는지를 정의하는 데 어려움]을 겪었다는 것일 수 있다. 우리는 독자들이 유용한 증거 사슬을 구축하는 추가 연구에 어떻게 정보를 제공할 수 있는지를 포함하여 가정들 사이의 그러한 연관성과 상호작용을 고려할 것을 권장한다. 예를 들어, [역량이 정의되고 측정되는 방법]과 [이러한 지표가 훈련생과 실무자의 진급career progress]에 대한 결정으로 어떻게 전환되는지를 명확히 연결짓는 연구가 필요하다.

Also notable is our finding that while 77% of studies (n = 27/35) produced supportive evidence for the assumption “Competence can be broken down into observable, measurable behaviors,” only 46% of studies (n = 13/28) produced supportive evidence for the assumption “There is a clear point when a trainee becomes competent/ready for practice.” One interpretation may be that although researchers have had success measuring certain competencies, they have had difficulty defining what level of the measurable, observable behavior can or should be labeled as “competent.” We encourage readers to consider such connections and interactions between the assumptions, including how they might inform further research that builds helpful chains of evidence; for example, research is needed to build clear connections between how competencies are defined and measured and how these metrics are translated into decisions about trainees’ and practitioners’ career progress. 

시간의 경과에 따른 핵심 가정 연구의 패턴.
Patterns in studies of the core assumptions over time.

우리는 아래와 같이 CBME를 둘러싼 담론에 영향을 주는 많은 요소들로 인해, 시간이 지남에 따라 가정에 대한 연구량이 변화할 것으로 예상했습니다. 

• 유행;
• 정치적 우선순위 
• 영향력 있는 저자, 저널 및 자금 지원 기관의 연구 및 구현 안건.

We anticipated that the volume of research on the assumptions might change over time, as conversations around CBME have evolved due to many factors, including fads30; political priorities31; and research and implementation agendas of influential authors, journals, and funding agencies.32,33

3단계: 31가지 가정에 대한 주제 분석
Phase 3: Thematic analysis of the 31 assumptions

우리는 인식된 목적과 초점의 패턴을 식별하고 분류하기 위해 31개의 정제된 가정을 분석하면서 이를 세 가지 범주의 열망, 개념화, 평가 관행(표 2)으로 분류했습니다.
In analyzing the 31 refined assumptions to identify and categorize patterns in their perceived purpose and focus, we organized them into 3 categories: 

• aspirations, 
• conceptualizations, and 
• assessment practices (Table 2).

이를 탐구하면서 우리는 [CBME의 구현을 통해 무엇을 의도하는지]와 크게 관련된 [열망적 가정aspirational assumptions]을 발견했다. 즉, 이 가정들은 CBME가 어떻게 기능하고 가장 잘 구현될 수 있는지를 명확히 하기보다는, [CBME를 정당화하는 데 초점]을 맞춘 것으로 보인다(즉, 현재 시스템과 비교하는 것). 즉, [열망적 가정]들은 개입에 대한 [수사적 주장을 발전시키는데 도움]을 주었지만, 그것들을 연구하는 것은 교육자들이 그러한 [열망이 어떻게 그리고 왜 실현되었는지 이해하는 데 일반적으로 도움이 되지 않았다].

In exploring this, we found that aspirational assumptions largely related to what implementing CBME is intended to do; thus, they appear to focus on justifying CBME (i.e., relative to the current system), instead of clarifying how CBME functions and might best be implemented.34 That is, most aspirational assumptions helped develop a rhetorical argument for an intervention, but studying them typically did not help educators understand how and why those aspirations had been realized.

고찰 Discussion

이 비판적인 서술 검토에서, 우리는 CBME에 대한 중요하고 [비교적 동질적인 문헌]을 발견했다.
In this critical narrative review, we found a significant and relatively homogeneous literature on CBME.

우리는 CBME 및 역량에 대해 이전에 식별한 의학교육 커뮤니티의 가정을 다듬고, 우선 순위를 정했으며, 그러한 가정의 핵심 부분 집합과 관련된 증거를 평가했으며, 커뮤니티가 CBME 및 역량에 대해 제시한 가정 유형을 평가했다. 구체적으로, 우리는 31가지 가정 중 15가지를 [CBME 프레임워크의 "핵심"]으로 판단했고, 검토에 포함된 189가지 연구의 대다수가 [정량적 설계를 사용]하고 절차적 기술과 같이 [관찰 가능한 역량을 강조]하여 그러한 가정을 다루었다는 것을 발견했다. 
We refined and prioritized the medical education community’s previously identified14 assumptions about CBME and competence, appraised the evidence associated with a core subset of those assumptions, and evaluated the types of assumptions the community has made about CBME and competence. Specifically, we judged 15 of the 31 assumptions as “core” to CBME frameworks and found that the majority of the 189 studies included in our review addressed those assumptions using a quantitative design and emphasizing observable competencies, like procedural skills. 

향후 CBME 연구 및 구현을 위한 권고사항
Recommendations for future CBME research and implementation

CBME의 모든 임상 기술과 비판을 포함하는 것을 연구 목표를 확대한다.
Expand research aims to include the full range of clinical skills and critiques of CBME.

첫째, 우리는 연구 관행을 절차적 기술과 같이 [가장 쉽고 직접적으로 관찰할 수 있는 기술과 관련된 가정]으로부터 [임상 기술의 전체 범위(즉, 모든 내재적 역할과 역량)와 관련된 가정]으로 전환할 것을 권고한다. 우리의 분석(특히 그림 2)에서 어떤 부분에서 근거기반이 혼재되어있거나 충분하지 못한지를 강조하였으며, 이것은 앞으로의 연구 노력을 지시direct할 수 있는 하나의 가이드 역할을 한다. 기존 CDA도 또 다른 가이드이다. 이 CDA에서는 CBME에 대한 '무단 비판unauthorized critiques'을 [CBME를 난관challenge없이 도입하려는 이들]이 최소화한 연구 질문 유형으로 파악한 바 있다. 예를 들어, 한 가지 unauthorized critique으로는 [CBME 접근방식은 능력의 환원주의 모델에 기초하기 때문에 제한적이라는 것]이 있다. 이전에 최소화되었던 사고방식을 탐구하는 미래 연구는 이 검토에서 관찰한 혼합 근거 기반을 해결할 수 있는 가능성을 가질 수 있다. 

First, we recommend shifting research practices from studying assumptions related to the most easily and directly observable skills, like procedural skills, toward those related to the full range of clinical skills (i.e., all intrinsic roles and competencies). Our analysis (especially Figure 2) highlights where the evidence base is mixed and where it is thin and thus serves as one guide for how researchers can direct their efforts. Another guide is the previous CDA,14 which identified “unauthorized critiques” about CBME as the types of research questions that have been minimized by those wanting to install CBME without challenge. For example, one unauthorized critique is that CBME approaches are limited because they are built on a reductionist model of competence.30,38–40 Future research exploring these previously minimized ways of thinking may have potential to resolve the mixed evidence base we observed in this review. 

연구 설계와 그에 따른 증거 기반을 다양화합니다.
Diversify research designs and the resulting evidence base.

둘째, 우리는 현재 [왜곡된 연구 관행]이 [왜곡된 증거 기반]을 만들어냈다는 것을 인정할 것을 권고한다. 우리는 일부 가정들이 특정 연구 설계에 더 많은 도움을 준다는 것을 인정하지만, 의료 교육 커뮤니티가 접근 방식을 표준화하려고 하기보다는 [다양한 설계, 방법 및 패러다임을 사용]하고 [여러가지 CBME의 구현에 걸친 다양성을 이용함capitalizing]으로써 이익을 얻을 것이라 생각한다. 우리는 누가, 어떻게, 무엇을 공부하느냐에 있어 다양성을 높일 것을 추천합니다. 
Second, we recommend acknowledging that the presently skewed research practices have produced a skewed evidence base. While we acknowledge that some assumptions lend themselves more to specific study designs, we suggest that the medical education community will benefit from using diverse designs, methods, and paradigms and from capitalizing on the variability across different implementations of CBME, rather than trying to standardize the approach. We recommend increasing the diversity in who, how, and what we study.

포부에서 설명으로 전환합니다.
Shift from aspirations to clarifications.

셋째, 우리는 의학교육계의 가정과 질문을 바꾸는 것을 추천한다. 

• 역량 및 CBME를 조작화하는 방향으로
• 구현의 메커니즘과 함의를 더 잘 이해하기 위한 방향으로
• CBME 평가 데이터를 어떻게 수집, 해석, 사용 및 평가할지를 결정하는 방향으로

Third, we recommend shifting the medical education community’s assumptions and inquiry

• toward operationalizing competence and CBME;
• toward gaining a greater understanding of the mechanisms and implications of implementation; and
• toward determining how to collect, interpret, use, and evaluate CBME assessment data.

이제는 [열망적 가정]을 형성하는 것에서 벗어나야 할 때가 왔으며, 이는 [정당화와 복제 연구]에서 [명확화 연구](즉, CBME의 작동 방식과 이유)로 발전하는 것을 의미한다.
We believe the time has come to shift away from forming aspirational assumptions, which means progressing from justification and replication studies toward clarification studies (i.e., how and why CBME works).34 

CBME 연구 및 구현을 위한 자금을 통합합니다.
Integrate funding for CBME research and implementation.

넷째, CBME의 [연구 및 평가에 대한 계획과 자금]을 CBME [구현 계획]과 통합할 것을 권장합니다. CBME를 채택하는 기관과 임상 전문가는 CBME의 원칙을 임상 및 비임상 환경에서 교육 실천요강으로 변환하기 위해 선택한 특정 방법의 동시 연구와 평가에 자원을 할당함으로써 이익을 얻을 수 있다.
Fourth, we recommend integrating the planning for and funding of research and evaluation of CBME with the planning of CBME implementation. Institutions and clinical specialties adopting CBME would benefit from allocating resources to concurrent research and evaluation of the specific ways they choose to translate the principles of CBME into their educational practices in the clinical and nonclinical settings.

연구 증거와 지식 사용자의 암묵적 지식의 균형을 맞추십시오.
Balance research evidence with knowledge users’ tacit knowledge.

지식 이용자들이 [증거를 기존 문화와 실천으로 변환할 때], [연구 증거를 강조하는 것]과 [숙고, 협상, 인간적 판단의 가치를 평가하는 것] 사이의 균형을 요구하는 다른 학자들의 의견에 동의한다. 따라서, [여기에서 제시된 근거 기반]은 그들의 기관에서 CBME를 어떻게 전달하고 연구연구할지 결정할 때 사용할 [광범위한 정책 결정 토론의 한 가지 구성요소]에 불과해야 한다. 
We join other scholars who call for balance between emphasizing research evidence and valuing the deliberations, negotiations, and human judgment required when knowledge users translate evidence into existing cultures and practices.41–43 Hence, the evidence base presented here should become but one component of the broader policy-making discussions program directors, educators, and researchers engage in when deciding how to deliver and how to study CBME at their institutions. 

즉, 우리는 "증거 자체만으로는 '어떻게 해야 하는가'(특히 자원을 어떻게 배분할 것인가)에 대한 윤리적 질문에 대한 해답을 제공하지 않는다"는 이전의 사고에 동의한다.

That is, we agree with previous thinking that “evidence does not in and of itself provide the answer to the ethical question of ‘what to do’ (and in particular, how to allocate resources).”41


제한사항
Limitations

둘째, 15가지 핵심 가정을 선정하기 위해 엄격한 조사 프로세스를 사용했지만, 조사 응답자는 지식 사용자보다 더 많은 연구자를 포함했고, 이는 핵심이 아닌 핵심 가정으로 판단되는 가정에 확실히 영향을 주었다(표 2).
Second, although we used a rigorous survey process to select the 15 core assumptions, the survey respondents included more researchers than knowledge users, which surely impacted which assumptions were judged as core versus not core (Table 2).

셋째, 비판적 서술 검토 접근법을 사용할 때 15,16 포함된 연구의 방법론적 품질을 평가하기 위해 데이터를 추출하지 않았으며, 이는 이용 가능한 증거에서 편향 위험에 대해 언급할 수 없다는 것을 의미한다.
Third, in using a critical narrative review approach,15,16 we did not extract data to assess the methodological quality of the included studies, which means we cannot comment on the risk of bias in the available evidence.

Acad Med. 2021 Feb 1;96(2):296-306.

 doi: 10.1097/ACM.0000000000003781.

Assumptions About Competency-Based Medical Education and the State of the Underlying Evidence: A Critical Narrative Review

Ryan Brydges 1, Victoria A Boyd 2, Walter Tavares 3, Shiphra Ginsburg 4, Ayelet Kuper 5, Melanie Anderson 6, Lynfa Stroud 7

Affiliations collapse

Affiliations

• 1R. Brydges is research director, a scientist, and professor of technology-enabled education, Allan Waters Family Simulation Centre, St. Michael's Hospital, and associate professor, Department of Medicine and Wilson Centre for Research in Education, University of Toronto and University Health Network, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0001-5203-7049.
• 2V.A. Boyd is a PhD student, Institute of Health Policy, Management and Evaluation, University of Toronto, and a research fellow, Wilson Centre for Research in Education, University of Toronto and University Health Network, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0003-3602-8964.
• 3W. Tavares is a scientist, Wilson Centre for Research in Education, University of Toronto and University Health Network, and assistant professor, Post MD Education, Department of Medicine, Institute of Health Policy Management and Evaluation, University of Toronto, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0001-8267-9448.
• 4S. Ginsburg is professor, Department of Medicine, University of Toronto, a scientist, Wilson Centre for Research in Education, University of Toronto and University Health Network, and Canada Research Chair in Health Professions Education, Mt Sinai Hospital, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0002-4595-6650.
• 5A. Kuper is associate professor and faculty co-lead, Person-Centred Care Education, Department of Medicine, University of Toronto, a scientist and associate director, Wilson Centre for Research in Education, University of Toronto and University Health Network, and a staff physician, Division of General Internal Medicine, Sunnybrook Health Sciences Centre, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0001-6399-6958.
• 6M. Anderson is an information specialist, University Health Network, Toronto, Ontario, Canada.
• 7L. Stroud is associate professor, Department of Medicine, University of Toronto, a Centre researcher, Wilson Centre for Research in Education, University of Toronto and University Health Network, and a staff physician, Division of General Internal Medicine, Sunnybrook Health Sciences Centre, Toronto, Ontario, Canada.

• PMID: 33031117
• DOI: 10.1097/ACM.0000000000003781Abstract
• Purpose: As educators have implemented competency-based medical education (CBME) as a framework for training and assessment, they have made decisions based on available evidence and on the medical education community's assumptions about CBME. This critical narrative review aimed to collect, synthesize, and judge the existing evidence underpinning assumptions the community has made about CBME.Results: From 8,086 unique articles, the authors reviewed 709 full-text articles and included 189 studies reporting evidence related to 15 core assumptions. Most studies (80%; n = 152) used a quantitative design. Many focused on procedural skills (48%; n = 90) and assessed behavior in clinical settings (37%; n = 69). On aggregate, the studies produced a mixed evidence base, reporting 362 data points related to the core assumptions (169 supportive, 138 not supportive, and 55 mixed). The 31 assumptions were organized into 3 categories: aspirations, conceptualizations, and assessment practices.
• Conclusions: The reviewed evidence base is significant but mixed, with limited diversity in research designs and the types of competencies studied. This review pinpoints tensions to resolve (where evidence is mixed) and research questions to ask (where evidence is absent). The findings will help the community make explicit its assumptions about CBME, consider the value of those assumptions, and generate timely research questions to produce evidence about how and why CBME functions (or not).
• Method: The authors searched Ovid MEDLINE to identify empirical studies published January 2000 to February 2019 reporting on competence, competency, and CBME. The knowledge synthesis focused on "core" assumptions about CBME, selected via a survey of stakeholders who judged 31 previously identified assumptions. The authors judged, independently and in pairs, whether evidence from included studies supported, did not support, or was mixed related to each of the core assumptions. Assumptions were also analyzed to categorize their shared or contrasting purposes and foci.
• Copyright © 2020 by the Association of American Medical Colleges.

위임의 핵심 용어 명확화(Med Teach, 2021)

Clarifying essential terminology in entrustment
Daniel J. Schumachera , Olle ten Cateb , Arvin Damodaranc , Denyse Richardsond,e, Stanley J. Hamstraf,g,h, Shelley Rossi , Jennie Hodgsonj, Claire Touchiek, Laura Molgaardl , Wade Goftonm, Carol Carraccion and On behalf of the ICBME Collaborators 

전 세계 보건 전문가를 위한 많은 교육 프로그램에 의해 수용된 운동인 역량 기반 의료 교육(CBME)은 종종 이정표, 역량 및 위탁의 프레임워크를 사용하여 구현된다. 실제로, 위임 프레임워크를 사용하는 널리 사용되는 CBME 접근방식인 위탁 가능한 전문 활동(EPA)은 지난 10년 동안 전 세계적으로 상당한 관심을 끌었다. 위임 프레임워크와 EPA의 신속하고 광범위한 채택의 의도하지 않은 결과는 이 접근방식의 핵심 개념에 대한 해석의 범위이다. 많은 간행물은 개인 또는 프로그램이 EPA를 개발하는 방법을 상세히 설명했지만, 개념과 원칙을 정확히 정의하는 데는 제한적인 주의를 기울였다. 그 결과 EPA가 공식화되고 위임 의사결정의 기반이 되는 핵심 개념과 원칙을 설명하는 언어의 명확성이 부족하다. 이러한 혼동을 해결하기 위한 유용한 시도가 있었지만, 이러한 노력은 종종 특정 영역에 초점을 맞추지 못했다.

Competency-based medical education (CBME), a movement embraced by many education programs for health professions worldwide, is often implemented using the frameworks of milestones, competencies, and entrustment (Licari and Chambers 2008; Bok 2015; Molgaard et al. 2018; Powell and Carraccio 2018). Indeed, entrustable professional activities (EPAs), a prevailing CBME approach using the entrustment framework, have garnered substantial interest worldwide over the past decade (Chen et al. 2015; Carraccio et al. 2017; Duijn et al. 2019; Meyer et al. 2019; Molgaard et al. 2019; O’Dowd et al. 2019; Shorey et al. 2019). An unintended consequence of the rapid, widespread adoption of the entrustment framework and EPAs is the range of interpretations of the central concepts of this approach. Many publications have detailed how individuals or programs are developing EPAs, but limited attention has been paid to precisely defining concepts and principles (O’Dowd et al. 2019; Shorey et al. 2019). The result is a lack of clarity in the language describing the key concepts and principles upon which EPAs are formulated and entrustment decision-making is based (ten Cate 2014; ten Cate et al. 2016; Taylor et al. 2017; Tekian 2017; Melvin et al. 2019). Useful attempts have been made to address this confusion; however, these efforts have often limited their focus to specific areas (Englander et al. 2013; ten Cate 2013, 2020; Sklar 2015; ten Cate et al. 2015; Post et al. 2016; Taylor et al. 2017; Tekian 2017).

본 문서는 (1) 의료 교육 전반에 걸친 위탁 의사결정 개념에 대한 공통 사전 제안 및 (2) 위탁의 맥락과 결과에 대한 공통 정신 모델을 옹호함으로써 위탁 구조에 대한 보다 포괄적인 설명을 제공하는 것을 목표로 한다. 우리는 [언어를 명확히] 하고 [용어를 보다 정확하게 정의]하는 것이 교육자, 연구자 및 저자를 위한 참조가 되어서, 혼란을 줄이고 매우 필요한 공유 정신 모델을 발전시킬 수 있다고 믿는다. 우리는 언어가 살아있는 것이라는 것을 인정하며 어떤 작가도 언어의 사용에 대해 완전한 통제권을 가질 수 없다는 것을 인정한다. 우리가 위임에 관한 명확화에 기여하고자 하는 이유는, 언어가 교육과 평가 관행을 형성할 수 있는 힘을 가지고 있다는 확신 때문이며, 이것이 현재의 글쓰기에 대한 우리의 동기를 부여한 근본적인 목적이다. 본 문서는 개념과 정의가 저자들의 관점을 반영한다는 본질적인 한계를 가지고 있지만, 우리는 모두 국제 CBME 공동작업자 그룹의 일원이며 이 주제에 대해 경험이 있을 뿐 아니라 헌신적이라는 점에 주목할 가치가 있다고 생각합니다. 

 This article aims to offer a more comprehensive clarification of the entrustment construct by (1) proposing a common lexicon for the concepts of entrustment decision-making across the continuum of medical education and (2) advocating a common mental model for the context and consequences of entrustment. We believe clarifying language and more precisely defining terminology as a reference for educators, researchers, and authors contributing to this literature can reduce confusion and advance a much-needed shared mental model. We acknowledge that language is a living thing and no authors can ever have full control over its use. The reason we want to contribute to clarification around entrustment talk is our conviction that language has the power to shape education and assessment practices, and it is this underlying purpose that has motivated us for the current writing. Although this paper has the inherent limitation that the concepts and definitions reflect the authors’ views, we believe it is worth noting that we are all members of the International CBME Collaborators group and are both dedicated to this topic as well as experienced in it.

위임체계 및 위임 가능한 전문활동
The entrustment framework and entrustable professional activities

다양한 수준의 감독활동을 할 수 있는 신뢰의 관점에서 학습과 평가를 고려하는 위임 프레임워크는 여러 가지 장점이 있습니다.

• 첫째, 위임 프레임워크는 양질의 관리를 제공하기 위해 얼마나 많은 감독이 필요하거나 필요하지 않은지를 고려하게 함으로써, [환자를 학습 및 평가 공식의 한 부분으로] 가져온다.
• 둘째, EPA를 구체적으로 사용하는 경우, 위임 프레임워크는 (학습자가 중요한 역량을 통합할 것으로 요구되는) 전문직의 진정한 활동authentic activity을 관찰하고 지도하도록 임상 감독자를 배치한다.
• 마지막으로, 그리고 아마도 가장 중요한 것으로, [EPA는 개인이 신뢰받을 수 있는 실제 전문적 실천요강의 단위를] 나타내며, 결국 [인구집단의 요구]에 따라 [감독 없이 practice하고, 다른 사람들을 감독할 수 있는 능력]으로 귀결된다(Vandewaetere et al. 2015).

The entrustment framework, which considers learning and assessment through the lens of being trusted to perform activities with various levels of supervision, has several strengths.

• First, the entrustment framework brings care of the patient into the learning and assessment equation by considering how much supervision is, or is not, needed to provide quality care.
• Second, when using EPAs specifically, the entrustment framework positions clinical supervisors to observe and coach authentic activities of the profession that require the learner to integrate critical competencies.
• Finally, and perhaps most importantly, EPAs represent actual units of professional practice that individuals can be trusted to do with varying levels of supervision, culminating in the ability to practise without supervision and to supervise others, based on the needs of populations served (Vandewaetere et al. 2015).

따라서 교육적 실무의 목적을 위해, 전문적 활동을 위임받는 과정에서 학습자를 지원할 학습 경험을 확인하고 개발하는 직업 EPA에서 역방향 비전 프로세스에 참여한다.
Thus, for educational practice purposes, one engages in a backward visioning process from the profession’s EPAs to identifying and developing learning experiences that will support learners’ in their progress toward becoming entrusted with those professional activities.

독립적 진료행위, 감독되지 않은 진료행위, 자율성, 감독 및 감독 구분
Differentiating independent practice, unsupervised practice, autonomy, supervision, and oversight

독립적 진료행위
Independent practice

EPA 및 그와 관련된 위임 감독 척도에 대한 초기 작업은 관리 제공이 궁극의 '독립적 진료행위' 수준으로 개선됨에 따라 감독을 점진적으로 축소하는 데 초점을 맞췄다(Ten Cate 등. 2010). 그러나 [독립성]을 개념화하는 것은 어려운 일이다(Schumacher et al. 2013). 교육 환경에서 독립이라는 단어는 개인이 교사나 감독자에게 의존하지 않는다는 것을 나타내기 위해 사용될 수 있지만, [직장 동료들로부터의 독립]이라는 개념으로 합해질 수 있다. [독립]을 [의사가 환자의 병을 고치는 기술이나 지혜의 고립된 원천이라는 시대착오적인 개념]과 혼동해서는 안 된다. 설령 시골에 혼자 있는 의사라도 간호사, 조수, 또는 그들이 협력할 수 있는 다른 건강 관리 동료들을 갖게 될 것이다.
Early work on EPAs and their related entrustment-supervision scales focused on gradually lessening supervision as care delivery improves to an ultimate level of ‘independent practice’ (ten Cate et al. 2010). However, the conceptualization of independence has been challenged (Schumacher et al. 2013). The word independence in an educational setting may be used to signify that an individual is not dependent on a teacher or a supervisor, but it may also be conflated with independence from co-workers. Independence should not be confused with the anachronistic notion that a medical professional is an isolated wellspring of skills or wisdom, fixing whatever ails a patient. Even a solo practitioner in a rural area will have a nurse, assistant, or other health care colleagues with whom they can collaborate. 

그들은 또한 질문에 대한 답을 찾기 위해 접근할 수 있는 자원을 갖게 될 것이다. 예를 들어, 그들은 인터넷에서 의료 문헌과 기타 자원을 검색할 수 있고, 전화나 전자적 수단을 통해 컨설턴트 및 기타 의료 기관과 연결할 수 있다. 따라서 이러한 점을 고려한다면, 의사는 독립적으로 진료하고 있지 않다. '독립'이란 단어는 의사가 전적으로 그들 자신의 지식, 기술, 능력, 그리고 수단에만 의존한다는 것을 의미한다. 따라서, 우리는 이 단어를 사용하지 않을 것이며, 대신 의료 서비스가 실제로 제공되는 방식과 일치하는 [감독되지 않은 진료행위]를 사용할 것이다.

They will also have resources that they can access to seek answers to their questions; for instance, they can search the medical literature and other resources on the Internet, and they can connect with consultants and other health care providers via telephone or electronic means. These individuals are not practising independently, which would imply they are left entirely to their own knowledge, skills, abilities, and means. Thus, our preference is to avoid this word altogether and instead speak of unsupervised practice, which is consistent with how health care is actually delivered.

자율성
Autonomy

종종 감독supervision이 자율성autonomy에 반대되는 것으로 간주하는 경우가 많다(Schumacher et al. 2013). 이 틀에서 개인은 [감독을 받거나 자율성을 부여받을] 수 있다. 우리는 이러한 관점을 지지하지 않으며, Schumacher 등이 제안한 [자기 결정 이론에서 정한 자율성의 정의]를 채택할 것이다: 자신의 의지에 따라 행동한다(Ryan and Deci 2000; Schumacher et al. 2013). 감독을 받는 안전한 환경에서 이러한 능력을 부여하면, 학습자는 [현재의 competence 수준(할 수 있는 것)]에서 [capability를 입증하는 것(할 수 있지만 아직 하지 못한 것)]으로 나아갈 수 있다.

Often supervision is thought of as the antithesis of autonomy, as if they are at opposite ends of the same spectrum (Schumacher et al. 2013). In this framing, an individual can either be supervised or be granted autonomy. We do not support this view but rather align with Schumacher and colleagues who suggest adopting the definition of autonomy set forth in self-determination theory: acting of one’s own volition (Ryan and Deci 2000; Schumacher et al. 2013). Granting this ability in the safe setting of being supervised allows individuals to progress from their current level of competence (what they can do) to demonstrating their capability (what they are able to do but have not yet done) (Fraser and Greenhalgh 2001). 

이는 학습을 발전시킬 뿐만 아니라, 감독자가 개인의 성과에 대한 leading edge를 밀고 관찰하여 감독을 줄일 수 있는 준비 상태에 대한 결정을 내릴 수 있도록 한다. 자율성은 accountability and liability을 반영하는 법적인 의미를 가지고 있지만, 많은 ealy-career autonomous medical professional들은 그들의 고품질 진료행위을 강화하기 위해 멘토링이나 코칭을 필요로 하거나 원하고 있다(Donahue et al. 2021; Duijn et al. 2020).
This not only advances their learning but also positions supervisors to push toward and observe the leading edges of individuals’ performance to make determinations about their readiness for less supervision. Autonomy has a legal connotation reflecting accountability and liability, but many early-career autonomous medical professionals need or desire mentorship or coaching to strengthen their high-quality practice (Donahue et al. 2021; Duijn et al. 2020).

감독과 감시
Supervision and oversight

감독은 일반적으로 [다른 의사의 치료와 행동을 감독하는 것]으로 임상 환경을 생각하면 이해가 쉽다. 그러나 '감독'의 정의가 달라지면서 복잡성이 발생하였다(Lingard와 Goldszmidt 2020).

• 임상 감독은 영국 심리학 저널에서 다음과 같이 정의되었다.
  • '선배/자격 보건의가 사례 중심적이고 동료(감독관)의 작업을 지원, 지시 및 안내하는 강도 높은 관계 기반 교육과 훈련을 공식적으로 제공하는 것'
  • 품질관리, 감독자의 역량과 역량 유지 및 촉진, 감독자의 효과적인 업무 지원 등의 기능을 수행한다.'(Millne 2007).
• Kilminster와 동료들은 의학교육에 대한 감독을 다르게 정의하며,
  • '[안전하고 적절한 환자 진료를 제공하는 수련생 경험]의 맥락에서 [개인, 전문적, 교육적 발달 문제에 대한 지침과 피드백을 제공]하는 것'으로 정의한다(Kilminster et al. 2007).

Supervision is generally well understood in the clinical setting as overseeing another practitioner’s care and actions. However, definitions of supervision diverge, creating complexity (Lingard and Goldszmidt 2020).

• Clinical supervision has been defined in the British Journal of Psychology as
  • ‘the formal provision, by senior/qualified health practitioners, of an intensive relationship-based education and training that is case-focused and which supports, directs, and guides the work of colleagues (supervisees).
  • Its function includes quality control, maintaining and facilitating the supervisees’ competence and capability, and helping supervisees to work effectively’ (Milne 2007).
• Kilminster and colleagues define supervision in medical education differently, as
  • ‘the provision of guidance and feedback on matters of personal, professional, and educational development in the context of a trainee’s experience of providing safe and appropriate patient care’ (Kilminster et al. 2007).

이 두 가지 정의 모두 일반적으로 국어사전에 반영되어 있는, 감독에 대한 [보다 공식적이거나 위계적인 역할 설명(말 그대로 '위에서-본다')이 부족하다. 임상 감독으로서의 감독은 의료 교육 분야에서 케네디와 동료의 작업에 의해 잘 설명된다(Kennedy et al. 2007). 감독에 대한 guidance and oversight 관점을 결합함으로써, ten Cate는 목적에 더 적합한 것으로 보이는 임상 감독을 위한 새로운 정의를 제안했다. 

• [관찰 및 지도]에 의한 [의료 관련 학습 및 효과적인 업무]에 대한 [지침 및 지원]을 제공하는 것으로서,
• 필요한 경우, [책임자의 위치]에서 [정확하고 안전하게 업무를 수행하도록 보장]하는 업무 또는 활동의 수행

Both of these definitions suffer from a lack of a more formal or hierarchical role description of supervision (literally ‘over-sight’), reflected in common dictionaries. Supervision as clinical oversight is also well elaborated by the work of Kennedy and colleagues in medical education (Kennedy et al. 2007). Combining both the guidance and oversight perspectives of supervision led ten Cate to propose a new definition for clinical supervision that seems a better fit for the purpose:

• ‘The provision of guidance and support in learning and working effectively in health care by observing and directing,
• when necessary, the execution of tasks or activities to ensure that they are done correctly and safely, from a position of being in charge’ (ten Cate 2018).

신뢰도, 신뢰, 위임, 임시 및 최종 위임 결정, 위임 가능성 및 준비 상태
Trustworthiness, trust, entrustment, ad hoc and summative entrustment decisions, entrustability, and readiness

신뢰도
Trustworthiness

신뢰성trustworthiness은 [사람들이 여러분에게 의지할 수 있도록 하는 항상 선하고 정직하고 성실한 특질(옥스포드 영어 사전)]이라는 의미를 가지며, 다른 사람이 (그 사람을) 신뢰할 수 있게 기여 하는 개개인이 보이는 일군의 특질이나 행동으로 구성된다. 그 다음에 신뢰trust를 다룬다. 신뢰성만으로는 위임 결정을 내리기에 충분하지 않기 때문이다.

Trustworthiness (‘the quality of always being good, honest, sincere, etc. so that people can rely on you’ – Oxford English Dictionary) consists of traits or behaviours that individuals demonstrate, which contribute to others trusting them. We address trust next, as trustworthiness alone is not sufficient to make entrustment decisions.

케네디와 동료들은 의학 교육의 맥락에서 학습자의 신뢰성의 네 가지 구성 요소를 보고한다. 

• (1) 지식과 기술, 
• (2) 양심(즉, 철저성과 의존가능성), 
• (3) 분별력(즉, 자신의 한계를 인식하고, 도움을 구하려는 의지), 
• (4) 진실성(Kennedy et al. 2008) 

Kennedy and colleagues report four components of trustworthiness of learners in the context of medical education:

• (1) knowledge and skill,
• (2) conscientiousness (i.e. thoroughness and dependability),
• (3) discernment (i.e. awareness of limitations and willingness to seek help), and
• (4) truthfulness (Kennedy et al. 2008).

이 작업 20년 전, 경영 문헌에서 메이어와 동료들은 신뢰성의 핵심 요소로서 [능력, 무결성 및 자비심]을 제안했다(Colquitt et al. 2007). 능력, 즉 지식과 기술은 직무에 분명히 내재되어 있지만, 신뢰성을 결정하는 다른 특성은 그렇지 않다. 이것은 [일반적general 신뢰성]이 [작업-특이적 신뢰성]과 구별되어야 하는지에 대한 의문을 제기한다. [일반적인신뢰성]은 정직, 도움을 구하는 것, 그리고 신뢰성과 같은 특징을 보이는 경향이 있는 개인을 가리키는 데 사용될 수 있습니다.

Two decades before this work, in the management literature, Mayer and colleagues proposed ability, integrity, and benevolence as key components of trustworthiness (Colquitt et al. 2007). Ability, or knowledge and skill, is obviously inherent to a task, but the other characteristics that determine trustworthiness are not (ten Cate and Chen 2020). This raises the question whether general trustworthiness should be distinguished from task-specific trustworthiness. General trustworthiness can be used to refer to an individual who tends to display features such as honesty, help-seeking, and dependability. 

그러나 이 사람조차도 주어진 작업에 필요한 지식과 기술을 갖추지 못할 수 있습니다. 따라서 [작업-특이적 신뢰성]을 입증하지 못할 수 있습니다.

• 자기자신의 한계를 알고 있는 진실되고 양심적인 소아과 의사를 떠올려보라. 그들은 일반적인 신뢰를 가지고 있는 것으로 보일 수 있다. 또한, 귀 감염이 발생한 어린이를 관리하기 위한 [과제-특이적 신뢰성]이 뛰어날 수 있습니다. 그러나 신경외과에 대한 교육을 받지 않은 이상 소아 뇌종양을 절제하는 지식과 기술은 거의 제한적입니다. 그러므로, 그들은 이 수술 절차에 대한 [작업-특이적 신뢰성]이 부족하다.

However, even this person may not possess the requisite knowledge and skill for a given task. Therefore, they may not demonstrate task-specific trustworthiness.

• Consider a truthful, conscientious pediatrician who is aware of their limitations. They may be seen as possessing general trustworthiness. They may also possess excellent task-specific trustworthiness for managing a child presenting with an ear infection. However, unless also trained in neurosurgery, they almost certainly have very limited, if any, knowledge and skill for resecting a pediatric brain tumor. Therefore, they lack task-specific trustworthiness for this surgical procedure. 

[일반적 신뢰성]과 [작업-특이적 신뢰성]의 이러한 차이는 일반적 신뢰성은 작업 특이적 신뢰성의 필요조건이지만 충분 조건은 아닌 이유를 보여준다. 마찬가지로, 일반적인 신뢰도는 특정 작업에 대한 준비 상태와 동일하지 않다.

This distinction between general and task-specific trustworthiness underscores why general trustworthiness alone is necessary but not sufficient for being trusted to perform a specific task. Similarly, general trustworthiness does not equate with readiness for a specific task.

신뢰, 위임, 임시 및 최종 위임 결정
Trust, entrustment, and ad hoc and summative entrustment decisions

신뢰trust는 명사이자 동사이다. 명사로서 trust에 대한 정의는 Mayer와 동료의 것이 가장 많이 인용된다.

• '다른 당사자를 감시하거나 통제할 수 있는 능력에 관계 없이, [신뢰자trustor에게 중요한 특정 행위]를 [다른 당사자가 수행하리라는 기대에 따라] 타 당사자의 행동에 취약해질 수 있는 의지'

Trust is both a noun (a psychological attitude) and verb (the act of relying on someone or something) (Castelfranchi and Falcone 2010). Mayer and colleagues’ definition of the noun is most cited:

• ‘the willingness of a party to be vulnerable to the actions of another party based on the expectation that the other will perform a particular action important to the trustor, irrespective of the ability to monitor or control that other party’ (Mayer et al. 1995).

동사로서 Trust보다 '위임entrustment'에 더 관련이 있는 것은 Enstruting이다.

• (누군가에게) 개인, 조직 등에 가치 있거나 중요한 것에 대한 책임을 부여하는 것

More relevant for entrustment than the verb trust is entrusting:

• ‘to assign the responsibility for something valued or important to a person, organization, etc.’ (Oxford English Dictionary).

위임은 trustor가 다른 개인(trustee)에게 부여하는 것이다. 타인을 위임하는지의 여부에 있어 인지된 신뢰성trustworthiness이 주요 요소이기는 하지만, 타인을 위임하는 과정은 다른 요인의 영향을 받고 미묘한 차이를 보인다. Dijksterhuis, Hauer 등은 작업장의 위임 결정에 영향을 미치는 다섯 가지 요소 그룹을 설명하였다. 
Entrustment is granted by a trustor to another individual (a trustee). While perceived trustworthiness is a primary factor in whether or not another individual is entrusted, the process of entrusting another is nuanced and influenced by other factors. Dijksterhuis, Hauer and others have described five groups of factors that affect entrustment decisions in the workplace:

• the trustee,
• the trustor,
• the task,
• the context, and
• the trustee–trustor relationship (Dijksterhuis et al. 2009; Hauer et al. 2014).

따라서, 한 preceptor에 의해 간접적인 감독을 받을 준비가 되어 있는 것으로 보이는 학습자라도, [연습생을 알지 못하는 다른 preceptor]에게는 신뢰를 받지 못할 수 있다. 환자의 질병의 심각성, 제공되어야 할 치료의 어려움과 위험, 낮이든 밤이든 상관의 경험과 신뢰 성향, 그리고 임상 환경의 분주함이 모두 연습생에게 맡기는 임시 결정의 역할을 한다. 위임은 학습자의 준비와 무관하게 수행될 수도 있고 발생하지 않을 수도 있습니다. 이것은 심리상태로서의 [신뢰trust]와 행위로서의 [위임entrustment]의 차이를 강조한다. 신뢰는 필요하지만 위임 결정을 내리기에는 충분하지 않다.

• 개인은 신뢰할 수 있고 신뢰자와 긍정적인 관계를 맺을 수 있지만, 관련된 상황 및 위험 때문에 trustor들이 업무를 맡기지 않을 수도 있다.
• 마찬가지로, [높은 수준의 신뢰성를 보이는 개인]일지라도, [신뢰에 대한 신뢰자의 제한된 성향]과 [다른 고려사항] 때문에 특정 업무가 위임되지 않을 수 있다.

이러한 이슈로 인해 학자들은 [위임 결정]으로부터 [신뢰]를 분리하게 되었다.

Thus, a learner who may seem ready for indirect supervision (or who is entrusted with indirect supervision) by one preceptor may not be trusted by a different preceptor who is not acquainted with the trainee. The severity of illness of the patient, the difficulty and risk of the care to be provided, the time of day or night, the experience and trust propensity of the supervisor, and the busyness of the clinical environment all play a role in ad hoc decisions to entrust trainees. Entrustment may or may not happen, even independent of the learner’s readiness for it. This underscores the differentiation between trust as a state of mind and entrustment as an act. Trust is necessary but not sufficient to make an entrustment decision.

• An individual may be trustworthy and have a positive relationship with the trustor but many not be entrusted with a task because of the context and risk involved.
• Similarly, an individual who demonstrates a high level of trustworthiness may not be entrusted with a specific task because of a trustor’s limited inclination to trust and other considerations.

These issues have led scholars to separate trust from entrustment decisions (Mayer et al. 1995; Damodaran et al. 2017; Holzhausen et al. 2017; ten Cate et al. 2020).

[신뢰trust]와 [위탁entrustment]의 관계를 복잡하게 만드는 것은, 감독자들마다 상황, 업무, 심지어 위험과 상관없이 신뢰 성향이나 신뢰 의지에 있어서 서로 다르다는 점이다. [신뢰 성향trust propensity]은 인지된 위험과 실제 위험을 고려해야 한다. [실제 위험]은 [맥락과 과제]에 내재되어 있다. 그러나 [인지된 위험]은 감독자마다 다를 수 있으며 따라서 [trustor에게 내재적instrinsic]이다. 쇼크 상태의 환자를 삽관하기 어려운 경우와 같이 위험이 높은 경우 실제 위험과 인지 위험 사이에 일반적인 합의가 있을 수 있습니다. 그러나, 한 교사가 다른 교사가 하지 못하게 하는 일을 할 수 있도록 하기 위해, 교사의 위험 관용과 경험 수준에 따라 위험에 대한 다른 인식이 있을 수 있습니다. 
Complicating the relationship between trust and entrustment, supervisors differ in their trust propensity, or their willingness to trust a person regardless of the context, task, and even risk involved (ten Cate 2017). Trust propensity necessitates consideration of perceived and actual risk. Actual risk is intrinsic to the context and task. However, perceived risk may differ across supervisors and is therefore intrinsic to the trustor. There may be general agreement between actual and perceived risk when risk is high, such as with a difficult intubation of a patient in shock. However, there may be different perceptions of risk based on a preceptor’s risk tolerance (determining their trust propensity) and experience level, such that one preceptor may allow learners to do things another preceptor would not let them do.  

마찬가지로 신뢰 성향은 [인식된 편익]과 [실제 편익]에 따라 달라질 수 있다. 예를 들어, 수탁자를 병원에 혼자 두고 집으로 돌아가 이 결정으로 인해 야간 혜택을 받는 교사를 예로 들 수 있다. 이는 또한 보다 멀리 떨어진 감독을 통해 자신감을 쌓을 기회를 원하는 수탁자에게 도움이 될 수 있으며, 그렇지 않을 경우 준비되지 않은 수탁자가 노출될 수 있다. 즉, 학습자에게 업무를 맡기는 경향은 위탁자가 인지하는 위험과 혜택에 영향을 받습니다(10개 항목 2017).

Similarly, trust propensity may vary on the basis of perceived and actual benefits. For example, a preceptor who leaves the trustee alone in the hospital and goes home for the night benefits from this decision. This may also benefit the trustee who desires the opportunity to build confidence through practising with more distant supervision or it may leave an unprepared trustee exposed. In short, the tendency to entrust learners with tasks is influenced by the trustor’s perceived risks and benefits of entrusting (ten Cate 2017).

신뢰할 수 있고, 신뢰할 수 있으며, 실무에 대한 준비 상태
Entrustable, entrustability, and readiness for practice

직장에서의 신뢰성trustworthiness이라는 단어는 지식 및 능력뿐만 아니라 성격적 특성을 떠오르게 한다. 그 결과 [일반적 신뢰성]과 [업무 특이적 신뢰성] 사이의 미묘한 차이 때문에 [(당신을) 아직 신뢰할 수 없다]는 피드백은 쉽게 오해를 받는다. 이러한 오해를 해소하기 위해, 학습자를 설명할 때 trustworthiness라는 단어를 entrustable 이라는 단어로 대체하는 경우가 많습니다. 때때로, 이것은 학습자가 가지고 있는 신뢰성의 수준을 논의함으로써 운영화된다. 그러나, '위임'이라는 단어는 학습자가 [수행하는 활동activity]을 특징지으며, 해당 활동을 [수행하는 사람the person]에게 할당되는 것이 아니다(10년, 2005년, 2020년). 

As the word trustworthiness in the workplace brings to mind character traits as well as knowledge and abilities, feedback that one is not yet trustworthy is easily misunderstood because of the nuances between general and task-specific trustworthiness. To address this misunderstanding, individuals often substitute the word trustworthiness with the word entrustable when describing learners. Sometimes, this is operationalized by discussing the level of entrustability that a learner possesses. However, the word entrustable was meant to characterize activities that a learner performs and not to be assigned to the person who is performing them (ten Cate 2005, 2020).

이러한 오용 때문에 Cate는 학습자를 enstrustable 또는 pre-entrustable로 qualifying하는 것이 부정확할 뿐만 아니라, [ordinal entrustment-supervision scale를 잘못 해석하는 것]으로 이어질 수 있다고 지적했다. [적절한 감독 수준에 대한 결정이나 권고]가 아니라, 이 scale을 [숙련도의 연속형 척도]로 볼 오해가 있다는 것이다. 이 척도는 이러한 방식으로 사용하도록 만들어진 것이 아니다. 더욱이, [상사가 물리적으로 존재하는 것]과 [물리적으로 존재하지 않는 것] 사이의 등급은 비논리적이다. 감독관은 유령과 같은 모습으로 존재할 수 없다. 감독관은 있든지 없든지 둘 중 하나다. 이러한 이유로, 당사는 학습자를 위임 또는 사전 위임으로 지칭하는 것뿐만 아니라, 위임의 정도degree of entrustability를 기술하는 척도를 사용하지 않는 것에 동의합니다. 오히려, 우리는 [practice을 위한 준비 상태]라는 용어를 사용하는 것을 지지한다.

This misuse has led ten Cate to argue that qualifying learners as entrustable or pre-entrustable (Association of American Medical Colleges 2014; Englander et al. 2016) not only is inaccurate but may also lead to a misinterpretation of ordinal entrustment-supervision scales, moving away from the discrete recommendations or decisions of a level of supervision and instead interpreting the scales as a continuous measure of proficiency (ten Cate 2020). These scales are not intended to be used in this manner. Furthermore, a rating between a supervisor being physically present and being not physically present is illogical. A supervisor cannot be present as a ghostly apparition. Either they are present or they are not present. For this reason, we agree with discouraging the use of scales that describe degrees of entrustability as well as referring to learners as entrustable or pre-entrustable. Rather, we advocate using the term readiness for practice.

다양한 단계의 교육 및 전문 분야에 대한 위임 결정 표현
Expressing entrustment decisions for various stages of training and specialties

위임의 개념은 훈련 단계와 의료 실무 분야 전반에 걸쳐 안정적이다(즉, supervision없이 practice할 준비가 되어 있다는 것은 특정 작업에 대한 감독 없이 일할 수 있다는 것을 의미하며, 이는 그 사람이 학생이든 전공의든 수의사든 치과의사든 마찬가지다). 그러나 특정 단계의 훈련 및 실무에 대해서는 위임 감독 척도에 사용되는 언어의 추가 관리 및 특수성이 보장될 수 있다(Rekman et al. 2016; 10 Kate et al. 2020). 대부분의 경우 일반적인 5단계 위임 관리 규모가 사용됩니다. 
The concept of entrustment is stable across stages of training and fields of heath care practice (i.e. readiness to practice without supervision means an individual can work without supervision for a given task whether they are a student, a resident, a veterinarian, or a dentist). However, additional levels of supervision and specificity of language used in entrustment-supervision scales may be warranted for particular stages of training and fields of practice (Rekman et al. 2016; ten Cate et al. 2020). Most often, a generic five-level entrustment-supervision scale is used:

• May be present but may not practise the EPA;
• May practise the EPA under direct, proactive supervision, with supervisor physically present in the room;
• May practise the EPA under indirect, reactive supervision, with supervisor not physically present but quickly available;
• May practise the EPA unsupervised;
• May act as supervisor for others for the EPA (ten Cate et al. 2010).

이것은 학부 의대 교육을 위해 Chen과 동료들에 의해 더욱 정교하게 설명되었습니다. 그들은 학생들이 무언가를 관찰하는 것조차 허락되지 않을 수도 있는 하위 단위에 추가적인 수준을 추가하였습니다(Chen 등. 2015).

This has been further elaborated by Chen and colleagues for undergraduate medical education; they have added additional levels at the lower end where a student may potentially not even be allowed to observe something (Chen et al. 2015).

주어진 분야 내에서 실무 분야와 전문 분야 간에 위임-감독 척도를 달리해야 할 필요성도 주목할 필요가 있다.

• Hatala와 동료들이 지적하듯이, 많은 [내과 과업]들이 [외과]와 같은 시술 전문분야의 과업들보다 less well-circumscribed되어 있다(Hatala et al. 2019). 내과에서 많은 학습자 활동을 면밀히 모니터링하지만 직접 관찰하지는 않는다. (하탈라 외. 2019; 멜빈 외. 2019)
• 또한, 마취과 의사의 핵심위임질문에 대한 Weller와 동료의 인식은 다음과 같다. '수술방을 떠나도 될까?' (그리고 담당 레지던트를 떠나도 될까?) 
• 마지막으로, 미국의 소아과 커뮤니티에서 인기 있는 Chen 위임-감독 척도의 언어는 해당 커뮤니티에서 위임 및 감독에 대한 정신적 모델의 요구를 충족하고 그에 맞게 조정되었다(Schumacher et al. 2020).

The need for differing language for entrustment-supervision scales between fields of practice and specialties within a given field is also important to note.

• As Hatala and colleagues note, many internal medicine tasks are less well-circumscribed than the tasks in procedural specialties such as surgery (Hatala et al. 2019). Much learner activity in internal medicine is closely monitored but not directly observed (Hatala et al. 2019; Melvin et al. 2019).
• Furthermore, Weller and colleagues’ perception of the core entrustment question in the minds of anesthesiology attendings is: ‘Can I leave the operation theatre?’ (and leave the resident in charge) (Weller et al. 2014).
• Finally, in the pediatric community in the United States, the language of the popular Chen entrustment-supervision scale has been adapted to meet the needs of, and align with, the mental model of entrustment and supervision in that community (Schumacher et al. 2020).

때때로 분야와 전문 분야 간의 감독에 대한 정신적 표현의 차이에서 비롯된 이러한 언어 문제는 일률적인 해결책으로는 해결될 수 없다. 우리는 감독 수준의 일반적인 프레임워크가 남아있어야 한다고 생각하지만, 그 프레임워크 내에서 수정adaptation하는 것이 유익하다. 본 문서에서는 상황에 맞는 적절한 위임-감독 척도를 도출하는 방법에 대한 지침을 제공할 수 없지만, 다양한 분야와 전문 분야의 교육자와 학자들은 가장 효과적인 언어 및 필요한 수의 감독에 대해 자세히 설명할 수 있다.

These language issues, sometimes stemming from differences in mental representations of supervision between field and specialties, cannot be resolved with a one-size-fits-all solution. We believe that the generic framework of levels of supervision should remain, but within that framework adapations are beneficial. Guidelines around how to derive contextually suitable entrustment-supervision scales cannot be offered in this paper, but educators and scholars in various fields and specialties can elaborate for their field or specialty the most effective language and the required number of supervision levels.

소급평가 대 예비위임
Retrospective evaluation versus prospective entrustment

위임-감독 척도는 두 가지 방법으로 사용되었습니다.
Entrustment-supervision scales have been used in two ways:

• (1) O-SCORE 척도의 경우처럼, 목격한 작업에 얼마나 많은 감독, 지침 및 지원이 필요했는지 보고한다. (내가 직접 해야 했다, 구두로 지시하면 되었다 등)
• (2) 아직 진행되지 않은 상황을 포함하여, 학습자가 향후 특정 활동을 수행할 때 얼마나 많은 감독을 필요로 하는지를 권고한다.
• (1) to report how much supervision, guidance, and/or assistance was needed and provided for a witnessed task, as in the case of the O-SCORE scale (with levels specified as: I had to do, I had to talk them through, etc.) (Gofton et al. 2012; Rekman et al. 2016) and
• (2) to recommend how much supervision a learner requires in the execution of specific activities in the future, including as-yet-undefined situations.

• 전자는 [발생한 관찰(즉, 후향적)을 보고하는 역할]을 하고 숙련도의 판단을 이끄는 척도이다. 
  후자는 전향적 위임 결정을 제공하기 위해 관찰자의 추가적인 추론을 필요로 한다.
• The first is a scale that serves to report on observations that have occurred (i.e. retrospectively) and that lead to a judgment of proficiency.
  The second requires additional inference by the observer to render a prospective entrustment decision.

후향적 평가는 위험, 유익성 및 결과에 대한 알려진(개인적으로는 가변적 추정치이지만) 사후 판단으로 판단되는 특정 맥락에 위치한다. 본질적으로 위임 결정은 전향적인 결정이기에, 미래의 상황, 위해성, 유익성 및 결과를 미리 알 수는 없다. [위임-감독 척도]라는 용어를 사용하여 과거에 얼마나 많은 supervision가 제공되었는지를 반영하는 것은 물론, 향후 감독 수준에 대한 권고 사항도 포함하고 있음을 강조합니다.

Retrospective evaluations are situated in a specific context with known (albeit individually variable estimates of) risks, benefits, and outcomes, judged in hindsight. With entrustment decisions, which are inherently prospective, the contexts, risks, benefits, and outcomes are unknown. We suggest using the term entrustment-supervision scale, as we have done in this paper, to stress that this scale not only reflects how much supervision was provided in the past but also includes a recommendation for a future level of supervision, implying entrustment for the future.

[전향적 위임 결정]은 [일반적 신뢰성 및 업무-특이적 신뢰성]을 모두에 기초해야 한다. 이것은 다음의 두 가지를 설명한다.

• 필요할 때 정직하고 양심적이며 도움을 구하는 학습자의 일반적인 경향과
• 아마도 이후에 수행해야 할 과제에 대한 학습자의 지식과 기술(과제별 신뢰도)

Prospective entrustment decisions should be based on considering both general and task-specific trustworthiness. This accounts for

• a learner’s general tendency to be honest, conscientious, and seek help when needed (general trustworthiness) as well as
• a learner’s knowledge and skill for the tasks they will probably be called upon to perform (task-specific trustworthiness).

이 중 후자를 고려할 때에는 학습자가 지식과 기술을 적용함에 있어, 알려진 것에서 알려지지 않은 것으로 [외삽extrapolate할 수 있는 능력에 대한 판단]을 고려해야 한다.

This latter consideration should consider judgments about a learner’s abilities to extrapolate from the known to the unknown in applying their knowledge and skills.

잠재적 위임 결정을 내릴 때 일반적인 신뢰도를 고려할 때, ten Cate 와 Chen은 의료 분야에서 위탁을 가능하게 하는 학습자 특성 연구에 기초하여 다섯 가지 요소 그룹을 기술했다. 역량, 무결성, 겸손, 신뢰성 및 대리. 이것들은 우리가 이전에 논의한 신뢰성 구조trustworthiness construct와 잘 맞아떨어진다. 우리가 위임 결정을 내릴 때, 만약 개인이 입증된 능력 이상으로 위임을 받는다면, 그 결정과 미래의 상황에 관련된 위험은 개인의 [일반적 신뢰도]에 크게 의존하는 위탁 결정에 의해 완화된다. 
When considering general trustworthiness in making a prospective entrustment decision, ten cate and Chen have delineated five groups of factors on the basis of studies of learner charcteristics that enable entrustment with tasks in health care: capability, integrity, humility, reliability, and agency (ten Cate and Chen 2020). These align well with the trustworthiness constructs we discussed previously. If we consider these features when making an entrustment decision, if and when an individual is entrusted beyond their demonstrated competence, the risk involved in that decision and the future situation is mitigated by the entrustment decision leaning heavily on the individual’s general trustworthiness.

위험을 추가로 평가하기 위해, ten Cate와 Hoff는 위임-기반 논의를 평가 툴킷의 일부로 포함할 것을 제안했다. 그러한 논의에는 위험과 합병증에 대한 인식에 대한 논의와 감독 감소의 위험을 측정하기 위한 '만약에…한다면 어떻게 했을 것인가'라는 질문을 부과하는 등의 간단한 대화가 포함된다.

To further assess risk, ten Cate and Hoff have proposed including entrustment-based discussions as part of an assessment toolkit (ten Cate and Hoff 2017). Such discussions are multiple brief conversations that include discussing awareness of risks and complications as well as imposing ‘what would you have done if…’ questions to gauge the risks of decreased oversight.

위임어 실용화
Practical use of entrustment language

엄격한 정의를 넘어 정의된 용어를 실천할 수 있는 잠재 능력까지 확대하여 일부 위임 권고는 실제 위임 결정으로 이어질 수 없다는 점을 되새김으로써 마무리하겠습니다. 예를 들어 의대생과 전공의는 종종 기준이든 법률이든 또는 두 가지 모두이든, 명시된 어느 정도의 감독을 필요로 한다. 학습자가 완전히 유능하고 감독 없이 일할 준비가 되어 있다고 하더라도, 전문 분야에 대한 면허 또는 인증을 받지 않은 사람은 법률상 금지될 수 있습니다. 이것은 현행법에 따라 훈련 중에 제정될 수 있는 위임 결정의 범위에 제한을 둔다. 어떤 전공의에게 [감독되지 않은 진료행위]을 맡길 준비가 되었다고 판단되는 경우, 그러한 진료행위이 허용되어야 합니까?

Extending beyond strictly definitions to the potential ability to put defined terms into practice, we will end by reflecting on the fact that some entrustment recommendations cannot lead to an actual entrustment decision. For example, medical students and residents often require some level of oversight that is specified in standards, laws, or both. Even if a learner is completely competent and ready to work unsupervised, law may prohibit this if the person is not licensed or certified for a specialty. This places a limit on the scope of entrustment decisions that can be enacted during training under current legislation. If individuals are deemed ready to be entrusted with unsupervised practice, should that be permitted? 

최근 보고서는 의료 직무의 '걱정스러운 진급'와 그에 따른 [교육생 책임 감소]에 주목하고 있다. 이로 인해 졸업생이 중요한 환자 진료 업무를 수행할 준비를 충분히 하지 못할 수 있다. 그러나 아직 교육 중인 개인에 대해 [감독되지 않은 의료행위]에 위임할 준비가 되어 있는 것에 대한 결정을 허용하는 것은 [유효한 위임 결정에 대한 충분한 증거가 있을 때]를 정의해야 하는 의료 교육계에 큰 책임을 지게 한다. 어렵겠지만, 우리는 이것이 우리가 성취하고자 하는 목표라고 믿는다. 
Recent reports have noted the ‘worrisome seniorization’ of tasks in health care and consequent decrease in responsibilities for trainees (Halpern and Detsky 2014; Dacey and Nasca 2019). This may jeopardize the readiness of graduates to perform critical patient care tasks (Mattar et al. 2013; Donahue et al. 2021). However, allowing decisions about readiness to be entrusted with unsupervised practice to be made for individuals who are still in training places enormous responsibility on the medical education community to define when there is sufficient evidence for valid entrustment decisions. While lofty, we believe this is a goal that we should seek to achieve. 

이를 달성하려면 연습생은 의료 기관이나 병원 내에서 자격 증명을 받아야 합니다. 그래야 감독 없이 일할 수 있습니다. 졸업 전에 위탁 결정의 제정을 가능하게 하는 조치를 취하지 않고, 이러한 결정에는 궁극적으로 충분한 의미가 있는가? 안전망이 줄어들 때까지 누군가가 practice을 시작할 때까지 기다리는 것보다, 감독자의 감독 이상의beyond 안전망이 있는 교육 프로그램의 한계 내에서 위탁 결정을 내리는 것]이 덜 위험할 수 있다.

Achieving this would also require trainees to be credentialed within a practice or hospital so that they could be permitted to work without supervision. Without taking the step of enabling enactment of entrustment decisions before graduation, is there ultimately sufficient meaning in those decisions? It is probably less risky to make entrustment decisions within the confines of a training program, where there are safety nets beyond supervisor oversight (nursing staff, colleagues, etc.) than to wait until someone goes into practice, where the possibility of a safety net lessens.

결론
Conclusion

위임은 의료 감독관이 작업장에서 학습자를 감독하는 동안 수행하는 작업을 토대로 의료진의 관리 제공에 대한 판단을 내리도록 요구하는 평가 프레임워크이다. 또한 환자와 안전한 양질의 치료 제공을 고려한다. 만약 우리가 공유된 위임 언어에 합의할 수 있다면, 이 구조의 특징은 교육생들을 보다 총체적인 교육으로 포용할 수 있는 것이다. 그러나 유용한 프레임워크로서의 위임의 모든 편익은 프로그램 내에서, 프로그램 간에, 그리고 훈련과 실습의 연속선 전체에서 합당한 일관성을 가지고 사용될 경우에만 실현될 것이다. 이것은 우리가 본 문서에서 제공하려고 시도한 위임 언어에 대한 공통의 이해가 필요합니다.

Entrustment is an assessment framework that asks clinical supervisors to make judgments about a trainee’s care delivery on the basis of what they do while supervising learners in the workplace. Moreover, it brings the patient and the provision of safe, quality care into consideration. If we can agree on a shared language of entrustment, these characteristics of this construct present the opportunity to embrace a more holistic education of trainees. However, the full benefit of entrustment as a useful framework will only be realized if it is used with reasonable consistency within programs, between programs, and across the continuum of training and practice. This requires a common understanding of the language of entrustment, which we have attempted to provide in this paper.

Med Teach. 2021 May 14;1-8.

 doi: 10.1080/0142159X.2021.1924365. Online ahead of print.

Clarifying essential terminology in entrustment

Daniel J Schumacher 1, Olle Ten Cate 2, Arvin Damodaran 3, Denyse Richardson 4 5, Stanley J Hamstra 6 7 8, Shelley Ross 9, Jennie Hodgson 10, Claire Touchie 11, Laura Molgaard 12, Wade Gofton 13, Carol Carraccio 14, ICBME Collaborators

Affiliations collapse

Affiliations

• 1Cincinnati Children's Hospital Medical Center, University of Cincinnati College of Medicine, Cincinnati, OH, USA.
• 2Center for Research Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands.
• 3Prince of Wales Clinical School, Faculty of Medicine, UNSW Sydney, Sydney, Australia.
• 4Department of Medicine, University of Toronto, Toronto, Canada.
• 5The Royal College of Physicians and Surgeons, Ottowa, Canada.
• 6Accreditation Council for Graduate Medical Education, Chicago, IL, USA.
• 7University of Ottawa, Ontario, Canada.
• 8Department of Medical Education, Feinberg School of Medicine, Northwestern University, Chicago, IL, USA.
• 9Department of Family Medicine, University of Alberta, Edmonton, Canada.
• 10Virginia-Maryland College of Veterinary Medicine, Blacksburg, VA, USA.
• 11The Medical Council of Canada, University of Ottawa, Ottawa, Canada.
• 12University of Minnesota College of Veterinary Medicine, St. Paul, MN, USA.
• 13Royal College of Physicians and Surgeons of Canada, University of Ottawa, Ottawa, Canada.
• 14American Board of Pediatrics, Chapel Hill, NC, USA.

• PMID: 33989100
• DOI: 10.1080/0142159X.2021.1924365AbstractKeywords: undergraduate education; Clinical assessment; outcomes-based; postgraduate education.
• With the rapid uptake of entrustable professional activties and entrustment decision-making as an approach in undergraduate and graduate education in medicine and other health professions, there is a risk of confusion in the use of new terminologies. The authors seek to clarify the use of many words related to the concept of entrustment, based on existing literature, with the aim to establish logical consistency in their use. The list of proposed definitions includes independence, autonomy, supervision, unsupervised practice, oversight, general and task-specific trustworthiness, trust, entrust(ment), entrustable professional activity, entrustment decision, entrustability, entrustment-supervision scale, retrospective and prospective entrustment-supervision scales, and entrustment-based discussion. The authors conclude that a shared understanding of the language around entrustment is critical to strengthen bridges among stages of training and practice, such as undergraduate medical education, graduate medical education, and continuing professional development. Shared language and understanding provide the foundation for consistency in interpretation and implementation across the educational continuum.

학술활동을 위한 역량, 마일스톤, EPA의 감독 수준 (Acad Med, 2018)

Competencies, Milestones, and a Level of Supervision Scale for Entrustable Professional Activities for Scholarship
Richard B. Mink, MD, MACM, Angela L. Myers, MD, MPH, David A. Turner, MD,
and Carol L. Carraccio, MD, MA

문제
Problem

학술활동은 학부 및 대학원 의학 교육(GME)의 중요한 요소이며, 소아과 커뮤니티가 역량 기반 평가 모델을 거주지 및 동료에 완벽하게 통합하기 위해 노력해왔기 때문에, 우리는 교육생들의 [학술활동 수행능력 수준]을 평가하기 위한 도구가 부족하다는 것을 발견했다. 모든 전문 분야의 전공의에게 학술 활동에 참여할 것을 강력히 권장하지만, 소아 세부전공에서는 필수 사항이다. 3년 과정인 소아 세부전공 각각에 대한 ACME(Acreditation Council for Graduate Medical Education) 요건에 명시된 바와 같이, "각 펠로우십 책임자 및 지정된 멘토의 지침에 따라 학술 프로젝트를 설계 및 수행해야 합니다."1  

Scholarship is an important element of both undergraduate and graduate medical education (GME), and as the pediatric community has worked to fully integrate a competency-based assessment model into its residencies and fellowships, we discovered a lack of tools for evaluating trainees’ level of performance in scholarship. Participation in scholarly activity is highly encouraged for residents in all specialties but is a requirement for pediatric subspecialty training. As noted in the Accreditation Council for Graduate Medical Education (ACGME) requirements for each of the three-year pediatric subspecialties, “Each fellow must design and conduct a scholarly project … with the guidance of the fellowship director and a designated mentor.”1 

미국 소아과 위원회(ABP)-
American Board of Pediatrics (ABP)-

EPA는 [역량 및 마일스톤 평가에 대한 맥락을 정의하고, 전체 의대 교육 연속체에 걸쳐 평가에 대한 접근방식을 통합하기 때문에] 평가에 대한 성과-기반 접근방식의 핵심 요소이다. 
EPAs are a key element of an outcomes-based approach to assessment, as they define the context for competency and milestone assessment and unify the approach to assessment across the full continuum of medical education. 

저자들이 학술활동 평가를 위한 도구 부족 문제에 접근하기 시작하면서 다른 EPA에 사용된 것과 다른 프레임워크를 사용하면 전문 활동으로서 연구research를 과대평가하거나 과소평가할 위험이 있다고 생각했다. 따라서 우리는 소아과가 EPA, 역량 및 이정표의 기존 프레임워크에 통합함으로써 학술활동 평가가 최선의 구현 전략이라고 강하게 느꼈다. 
As the authors began approaching the problem of a lack of tools to assess scholarship, we felt that using a framework different from that used for the other EPAs would run the risk of either over- or undervaluing research as a professional activity. Hence, we felt strongly that assessment of scholarship, through incorporation into pediatrics’ existing framework of EPAs, competencies, and milestones, was the best implementation strategy. 

접근법
Approach

처음에 2015년 5월에 우리는 학술활동 EPA가 개념화될 수 있는 세 가지 잠재적 패러다임 6-8을 밝히는 문헌 검색을 수행했다. 

• 그 중 첫 번째는 Glassick의 것으로, 6은 Boyer5가 제안한 모든 형태의 학술활동에 적용할 수 있는 6가지 기준을 제안했다. 그러나 이 프레임워크에는 성과 수준이 포함되지 않았다. 
• 의사-학자 특유의 역량을 포함하는 CANMED는 두 번째 잠재적 프레임워크를 제공했지만 교육 연속체에 걸친 포괄적인 일련의 이정표를 제공하지는 않았다.7 
• 세 번째 프레임워크인 Vitae Researcher Development Framework(RDF) 8은 이러한 노력의 템플릿 역할을 가장 잘 수행했습니다.

Initially, in May 2015, we performed a literature search that revealed three potential paradigms6–8 in which the scholarship EPA could be conceptualized. 

• The first of these was from Glassick,6 who proposed six standards for scholarship applicable to all of the forms of scholarship proposed by Boyer5; however, this framework did not include performance levels. 
• CanMEDS, which includes competencies specific to the physician–scholar, provided a second potential framework but did not provide a comprehensive set of milestones across the educational continuum.7  
• The third framework, the Vitae Researcher Development Framework (RDF),8 was the one that best served as a template for this effort.

RDF는 영국에서 조사관 교육을 지원하기 위해 설립되었다.8 연구자 인터뷰를 토대로 구성되었으며, 아래 4개 분야를 포함한다.

• (1) 지식과 지적 능력, 
• (2) 개인의 효과, 
• (3) 연구 거버넌스 및 조직, 
• (4) 참여, 영향력, 영향 

The RDF was created to support the training of investigators in the United Kingdom.8 It was constructed based on interviews with researchers and includes four domains: 

• (1) knowledge and intellectual abilities; 
• (2) personal effectiveness; 
• (3) research governance and organization; and 
• (4) engagement, influence, and impact.
  
  

평가 도구(표 1 및 2)를 개발하면서 2015년 6월 ACGME에서 요구하는 기술을 포함하여 장학 EPA의 핵심 역량을 확인하고 ABP의 학술활동 커리큘럼 표준에 기술하였다.

• 문헌 검토 수행 및 연구 설계의 이해, 
• 연구비 지원 방법,
• 생물 통계학
• 연구에 관련된 윤리적 원칙과 같은 것이다.

In developing the assessment tools (Tables 1 and 2), we started in June 2015 by identifying key competences for the scholarship EPA, including those skills required by the ACGME1 and described in the ABP’s scholarship curriculum standards,2 such as 

• performing a literature review and understanding study design, 
• how to apply for funding, 
• biostatistics, and 
• the ethical principles involved in research.

결과
Outcomes

평가서 최종본에서는 학술활동 [관련 위탁 결정 시 중요한 역량 8가지]를 확인하였습니다(표 1). 이러한 역량은 대부분 Glassick,6가 제안하는 내용과 유사하며, 이는 이 툴의 콘텐츠 유효성에 대한 추가 증거를 제공합니다. 각 역량에 대해 5가지 마일스톤 레벨을 개발했으며, 다른 소아과 이정표와 일관성을 유지하기 위해 [초보자에서 전문가에 이르는 단계]에 걸쳐져 있다. 
In the final version of the assessment instruments, we identified eight competencies important in making entrustment decisions related to scholarship (Table 1). These competencies largely mirror those suggested by Glassick,6 providing additional evidence for the content validity of this tool. For each competency, we created five milestone levels and, to be consistent with the other pediatric milestones, these levels span the continuum from novice to expert. 


"연구research"라는 단어는 더 전통적인 가설 중심 연구 노력과만 관련되는 경향이 있기 때문에 의도적으로 포함하지 않았습니다. 그래서 가능한 한 포괄적으로 표현하기 위해 "연구" 대신 "장학scholarship"을, "연구 과제"보다는 "학술 프로젝트scholarship project"를, "가설" 대신 "질문 또는 개입question or intervention"과 같은 용어를 사용했습니다. 우리는 또한 온라인 포털, 회의 진행, 스마트폰 애플리케이션 개발과 같은 다른 수단을 통한 지식 전파뿐만 아니라 기존의 연구 기사뿐만 아니라 대중에게 지식을 전파하는 것을 포함하는 광범위한 의미에서 "출판publication"이라는 용어를 사용했다. 
We purposely did not include the word “research” because this term tends to be associated only with more traditional hypothesis-driven research efforts. Thus, to be as inclusive as possible, we used terms such as “scholarship” in place of “research,” “scholarly project” rather than “research project,” and “question or intervention” as opposed to “hypothesis.” We also used the term “publication” in a broad sense that includes not only traditional research articles but also knowledge dissemination to the public through other means, such as online portals, conference proceedings, and the development of smartphone applications. 


8개의 역량 중 6개는 ACME와 ABP가 규정한 요건에 명시되어 있다. 명시되지 않은 두 가지는 협업과 멘토링이며, 이는 학술 활동에서 생산성을 내기 위해 이러한 역량을 통합해야 한다는 중요한 필요성을 강조한 소아 전문가들의 의견을 토대로 추가되었다.
Six of the eight competencies are explicitly addressed in requirements stipulated by the ACGME and ABP.1,2 The two that are not, collaboration and mentoring in scholarship, were added on the basis of input from the pediatric experts that emphasized the critical need to incorporate these competencies for one to be productive in scholarly activities. 


Subspecialty Pediatrics Investigator Network의 운영위원회가 개발한 학술활동 EPA의 감독 규모에는 5가지 점진적 위탁 수준이 있다(표 2). 

The level of supervision scale for the scholarship EPA that the Steering Committee of the Subspecialty Pediatrics Investigator Network developed has five progressive levels of entrustment (Table 2). 

다음 단계
Next Steps

이 EPA의 다음 단계에는 이 척도의 타당성을 연구하고 이정표와 감독 수준 간의 상관관계를 결정하기 위한 연구가 포함된다. 우리는 최근에 [모든 소아과 펠로우십 프로그램 책임자]를 대상으로 [학술활동 EPA 및 해당 세부전공과 관련된 모든 EPA]에 대해서, entrustment for unsupervised practice에 해당하는 대상 감독 수준을 선택하도록 설문 조사를 실시했다. 
Next steps for this EPA will involve a study of this scale’s validity and to determine the correlation between milestone and supervision levels. We recently administered a survey to all pediatric fellowship program directors asking them to choose a targeted supervision level expected for graduation from fellowship and a targeted level that equates with entrustment for unsupervised practice for the scholarship EPA, as well as for all EPAs relevant to that subspecialty. 

학술활동 EPA를 포함한 모든 세부전공 EPA의 커리큘럼 구성요소가 완료되었으며, ABP 웹 사이트에서 프로그램 책임자와 학습자가 교육 중에 가이드로 사용할 수 있다.3 이 보고서의 EPA 학술활동의 기반을 다음에 두고 있다.

• (1) 일부 전공의와 동료에게 요구되는 학술적 기술에 대한 평가 전략의 부족  
• (2) 역량 및 이정표가 수련생에게 제공할 수 있는 학습 로드맵과 피드백의 기질substrate

Curricular components for all the subspecialty EPAs, including the scholarship EPA, have been completed and are available on the ABP website for program directors and learners to use as a guide during training.3 We focus on the scholarship EPA in this report on the basis of

• (1) the scarcity of assessment strategies for scholarly skills, which are required in some residencies and fellowships; and
• (2) the road map for learning and the substrate for feedback that competencies and milestones can provide to trainees. 

특히 중요한 것은 MD/PhD 학생들을 포함한 의사-과학자 평가에서 이러한 기구가 할 수 있는 잠재적인 역할로서, 이들은 의대에서 박사과정을 시작하고 GME 전반에 걸쳐 그리고 실무적으로 전문적인 연구 개발을 계속한다.

Especially important is the potential role that these instruments could play in the assessment of physician–scientists, including MD/PhD students, who begin their PhD work in medical school and continue their professional research development throughout GME and into practice.

Acad Med. 2018 Nov;93(11):1668-1672.

 doi: 10.1097/ACM.0000000000002353.

Competencies, Milestones, and a Level of Supervision Scale for Entrustable Professional Activities for Scholarship

Richard B Mink 1, Angela L Myers, David A Turner, Carol L Carraccio

Affiliations collapse

Affiliation

• 1R.B. Mink is professor of pediatrics, David Geffen School of Medicine, University of California, Los Angeles (UCLA), Los Angeles, California, and director, Pediatric Critical Care Medicine Fellowship, Harbor-UCLA Medical Center, Torrance, California; ORCID: http://orcid.org/0000-0002-7998-4713. A.L. Myers is associate professor and director, Infectious Diseases Fellowship Program, Children's Mercy Hospital and University of Missouri-Kansas City School of Medicine, Kansas City, Missouri; ORCID: http://orcid.org/0000-0002-7686-0854. D.A. Turner is associate professor of pediatrics, Duke University School of Medicine, and associate director of graduate medical education, Duke University Medical Center, Durham, North Carolina. C.L. Carraccio is vice president of competency-based assessment, American Board of Pediatrics, Chapel Hill, North Carolina.

• PMID: 29995669
• DOI: 10.1097/ACM.0000000000002353Abstract
• Problem: Scholarship is an important element of both undergraduate and graduate medical education, and scholarly activity is required for all pediatric fellows. However, despite the creation of entrustable professional activities (EPAs) for scholarship, the specific progressive levels of performance and the appropriate level of supervision for a given performance level have not been defined. The authors developed competencies and milestones for the scholarship EPA to provide a framework for assessment across the continuum; a level of supervision scale was also developed.Outcomes: Eight competencies were identified as important in making entrustment decisions related to scholarship. For each competency, five milestone levels that span the continuum from novice to expert were created. A supervision scale with five progressive levels of entrustment was also created.
• Next steps: Next steps include a study to obtain validity evidence for the supervision scale and determine the correlation between milestone and supervision levels. These competencies, milestones, and supervision levels can potentially serve as a road map for trainees and junior faculty and also play a role in the assessment of physician-scientists.
• Approach: The Vitae Researcher Development Framework served as a template to create the competencies and milestones for the scholarship EPA. Beginning in September 2015 and using a modified Delphi approach, three drafts were circulated to individuals with expertise in various types of scholarship until broad agreement was achieved. Then, in October 2016, the Steering Committee of the Subspecialty Pediatrics Investigator Network created a level of supervision scale, modeled after one it had previously developed.

전문적 실천의 타당한 기술을 전달하기 위한 EPA 구성 접근법 (Teach Learn Med, 2021)

Constructing Approaches to Entrustable Professional Activity Development that Deliver Valid Descriptions of Professional Practice 
David Taylora , Yoon Soo Parkb , Christopher Smitha , Olle ten Catec , and Ara Tekianc

도입
Introduction

위임가능전문활동(EPA)은 [매우 세분화된 교육 프레임워크(예: CANMED 또는 ACGME 역량)]에서 [authentic한 임상 작업의 설명]으로 학습자 평가 방향을 변경함으로써 CBME를 발전시키는 것을 목표로 하는 의료 교육 구조로 부상했다. 
Entrustable Professional Activities (EPAs) have emerged as a construct in medical education that aims to advance CBME by re-orienting learner assessment away from highly granular educational frameworks (such as CanMEDS or ACGME competencies) toward authentic descriptions of clinical work. 

이러한 품질 보증을 신뢰할 수 있도록 하기 위해, 전문가가 채택한 EPA는 임상 실무에 필요한 필수 작업에 대한 의미 있고 정확한 설명을 구성해야 한다. 채택된 EPA와 실제 전문가 관행 작업 사이의 이러한 긴밀한 정렬이 없다면 EPA 기반 평가는 의도한 대로 실천요강 준비 상태를 포착하지 못할 수 있다. 실제로 일부 EPA에 대한 타당성 근거의 부족은 문헌에서 제기된 주요 우려사항의 기초가 된다.14–17 
In order for this quality assurance to be credible, the EPAs adopted by a specialty must constitute a meaningful and accurate description of the essential work required for clinical practice. Without this tight alignment between the EPAs adopted and the actual work of professional practice, EPA-based assessments may not capture practice readiness as intended. In fact, a lack of validity evidence for some EPAs underlies major concern raised in the literature.14–17 

특정 전공을 위한 EPA 프레임워크를 구성할 때 반드시 하나의 최적 접근방식이 있는 것은 아니다. EPA는 광범위하고 적거나 상세하고 많을 수 있다. EPA는 병렬적일 수도 있고, 위계적으로 내포될nested 수 있다(즉, 보다 세분화된 EPA는 이후 교육 단계에서 대규모 EPA의 일부를 구성할 수 있다).19 EPA 구현에 대한 이러한 접근방식은 유효할 수 있지만(즉, 목적에 적합), EPA 자체의 건설은 EPA의 실제 효과에 긍정적 또는 부정적 영향을 미칠 수 있다.20–22
When constructing a framework of EPAs for a specialty, there is not necessarily one optimal approach. EPAs may be broad and few or detailed and many; they may be parallel or hierarchically nested (i.e. more granular EPAs may constitute a subset of larger EPAs at later stages of training).19 While these approaches to implementing EPAs can be valid (i.e. fit for purpose), the construction of the EPAs themselves can positively or negatively influence their effectiveness in practice.20–22

교육 평가에서 [구인 타당도에 대한 주장]은 [특정 목적이나 결정을 위한 테스트의 결과 사용을 정당화하는 증거]를 제시하는 것이다.23
In educational assessment, arguments for construct validity present evidence that justifies the use of results from a test for a specific purpose or decision.23

재계의 업무 분석 문헌은 [구인 타당도 주장construct validity arguments]이 교육적 테스트 이상으로 얼마나 중요한지를 예시한다. 현장 분석은 다음을 이해하고 설명하는 데 초점을 맞춥니다.25 

• 작업의 수행 방식,
• 필요한 항목
• 어떻게 조직에 들어맞는지fit into 

The work analysis literature from the business world exemplifies how construct validity arguments are important beyond educational testing. The field of work analysis focuses on understanding and describing jobs:

• how they are done,
• what is required, and
• how they fit into organizations.25

[작업 지향 분석(예: 작업 인벤토리)] 또는 [근로자 지향 분석(예: 인지 작업 분석)]에 사용된 방법을 조사하는 문헌은 분석에서 나온 제품의 사용을 정당화하기 위해 타당도 주장의 사용을 이용한다. 
Literature examining methods used in both work-oriented analysis (e.g. task inventories) or worker-oriented analysis (e.g. cognitive task analysis) exploit the use of validity arguments to justify use of the product from the analysis. 

[EPA 개발]은 기본적으로 [특정 전문직의 직무tasks를 정의하는 작업 분석의 한 형태]이며, 일반적으로 확립된 합의 방법을 사용한다. 구인 타당도 증거는 개발 프로세스를 통해 생성된 [EPA가 실제 임상의사가 기대하는 전문적인 작업을 정확하고 유용하게 기술하고 있음]을 입증해야 한다. 
EPA development is fundamentally a form of work analysis in which the tasks of a profession are defined, typically using established consensus methods. Evidence of construct validity should substantiate that the EPAs generated through the process accurately and usefully describe the professional work expected of clinicians in practice. 


유능한 졸업생을 보장하는 데 있어 위험 요소를 고려할 때 EPA 개발에 대한 [구인 타당도 주장]은 적절할 뿐만 아니라 필수적이다.29 
Considering the stakes in ensuring capable graduates, construct validity arguments for EPA development are not only appropriate, but essential.29 Expanding on validity approaches used in the work analysis literature, we describe how integrating considerations from each of the five domains of Messick’s unified framework for construct validity (as described in The Standards) into commonly used methods for EPA development defends the suitability of the EPAs for their role.23

전문가 선정
Selection of experts

EPA 개발을 위한 방법을 구성할 때 프로젝트 리더는 [프로세스의 각 단계에 참여할 전문가를 선정]하기 위한 접근방식과 필요한 전문성을 고려하는 것으로 시작해야 한다. 이것은 간단해 보일 수 있지만, 전문가 참여자의 사려 깊은 선택은 EPA의 내용을 궁극적으로 결정할 것이기 때문에 매우 중요하다. 그 핵심에서 내용 타당도 증거는 콘텐츠 관련성과 대표성에 대한 확립된 전문가들의 판단을 분명히 한다.34 EPA 개발에서 내용타당도 주장은 참여한 전문가에 초점을 맞춘다. 즉, 전공이나 직업에 대해서 EPA 개발 과정에 참여한 [전문가들의 전문성] 및 [종합적인 대표성]이 중요하다. 전문가 선정의 경우 EPA가 전문가 작업profession's work의 타당한 표현이라는 것을 뒷받침하는 중요한 증거는 프로젝트에 통합된 확인된 전문성 영역, 전문가 간의 전문가 대표성의 달성 및 전문가 선정에 대한 편견 방지에서 나온다.38 
In constructing methods for developing EPAs, project leaders should begin by considering the expertise required and the approach for selecting experts to participate in each stage of the process. Although this may seem straightforward, thoughtful selection of expert participants is crucial as these people will ultimately determine the content of the EPAs. At its core, content validity evidence articulates judgments by established experts for content relevance and representativeness.34 In EPA development, content validity arguments focus on the experts involved—the relevance of their expertise and collective representativeness amongst experts for the specialty or profession. For expert selection, important evidence supporting EPAs as a valid representation of a profession’s work comes from the identified domains of expertise incorporated in the project,35 achievement of professional representativeness amongst experts,36,37 and the avoidance of bias in expert selection.38 

전문 지식 영역 식별
Identifying domains of expertise


[관련된 전문성 영역relevant domains of expertise]을 식별하는 것은 매우 중요하다. EPA는 특정 직업의 작업을 설명하지만, EPA의 구조에는 복수의 소스로부터의 입력이 필요하다.

• 위임 결정이 [감독되지 않은 의료행위]로 이어지는 경우와 같이 EPA가 고부담일 경우, 프로젝트 리더는 환자, 학습자, 제휴 보건 전문가 및 보건 규제자를 포함하기를 원할 수 있다.
• 이보다는 부담이 낮은 커리큘럼 목적을 위해 건설된 EPA의 경우, 전문가 선택은 가장 핵심적인 전문 분야인 EPA 및 평가에 대한 임상 전문성과 교육 전문성에만 초점을 맞출 수 있다.

Identifying relevant domains of expertise is crucial. Although EPAs describe the work of a particular profession, their construction requires input from multiple sources.

• For high stakes EPAs, such as those for which decisions of entrustment lead to unsupervised practice, project leaders may wish to include patients, learners, allied health professionals, and health regulators, among others.
• For EPAs constructed for lower stakes curricular purposes, expert selection may focus on only the most salient domains of expertise— clinical expertise and educational expertise for EPAs and assessment.

포함된 전문지식의 영역을 확장하여 [더 대표적인 팀]을 구성하면 최종 제품에 대한 [최종 타당도 주장이 강화]되지만 [자원 가용성과 EPA의 의도된 목적]과 균형을 이루어야 한다. 

Building a more representative team by broadening the domains of expertise included will strengthen the ultimate validity argument for the final product but must be balanced against resources availability and the intended purpose of the EPAs. 

대규모 자원 영향 없이 전문지식의 영역을 넓히는 한 가지 접근방식은 [리액터 패널reactor panel]을 사용하는 것이다.
One approach to broadening domains of expertise without large resource implications is the use reactor panels,

[리액터 패널]에는 EPA와 관련된 다양한 배경의 인력 풀을 모집할 수 있고, 이들은 제안된 EPA를 검토하고 채택 전에 피드백을 제공하는 역할을 한다.
Reactor panels enlist a pool of people from different backgrounds relevant to EPAs to review proposed EPAs and provide feedback prior to adoption.

이러한 [사후 분석 접근법]은 실제 개발 팀 자체를 관련 리소스 함의로 확장하지 않고 중요한 추가 관점을 통합하고 대표성을 확대합니다. 
This post-hoc approach incorporates important additional perspectives, broadens representativeness, without expanding the actual development team itself with the associated resource implications. 


전문가선정
Expert selection

전문가를 선정할 때 세 가지 중요한 고려 사항이 있다.

• 전문가를 정의하는 데 사용되는 기준 설정,
• 전문 분야/분야를 대표하는 팀을 구성,
• 선정 시 체계적 편견을 피하는 것

Three important considerations stand out in selection of experts: 

• setting the criteria used for defining an expert, 
• building a team that is representative for the profession/areas of expertise, and 
• avoiding systematic bias in selection.

비록 직관적이기는 하나, 참여자는 EPA 개발에 있어 자신의 역할에 대해 신뢰할 수 있는 전문가여야 한다. 이는 내용 타당도 주장의 기초가 된다. 40,41 타당도 주장을 위해서는 자격과 전문지식에 대해 잠재적 전문가를 검증하는 신중한 선정 과정이 필요하다. 선발 프로세스에서 [명확한 포함 기준]을 갖춤으로써 필요한 전문 지식을 적절하게 포착할 수 있는 중요한 보증을 제공할 수 있다.

• 임상 전문가 선정 기준에는 위원회 인증, 최소 경력 기간, 임상 실무의 양 및 전문가 또는 '마스터' 임상의사로서의 현지 인정이 포함될 수 있다.
• 교육 전문가 선정 기준에는 커리큘럼, 평가, 특히 EPA에 대한 훈련과 경험이 있어야 한다.
• 학습자 또는 환자와 같은 다른 전문가의 경우, 포함 기준은 단순히 경험이 될 수 있습니다.

Although intuitive, participants must be credible experts for their role in EPA development—this is foundational to content validity arguments.40,41 Arguments demand a careful process of selection that vets potential experts on qualifications and expertise. Clear inclusion criteria for the selection process provides important assurance that the expertise required is properly captured. 

• For clinical expertise, criteria may include board certification, minimum years of experience, volume of clinical practice, and local recognition as an expert or ‘master’ clinician. 
• Similarly, education experts would be expected to have training and experience with curriculum, assessment, and specifically EPAs. 
• For other experts, such as learners or patients, inclusion criteria may simply be experience.

EPA 타당도 주장을 위해서는 전문가 패널의 대표성이 필수적이다. EPA가 직업의 작업을 설명하려면 다양한 인구통계학적 배경을 가진 학술 및 비학술적 실무 환경의 전문가와 다양한 사회경제적 및 민족적 배경의 환자를 serve한 경험 등이 필요하다.
Representativeness of the expert panel also is essential to validity arguments for the EPAs. Ensuring that EPAs describe a profession’s work demands inclusion of experts from academic and nonacademic practices, from rural and urban practice settings, with a range of demographic background, and serving patients of diverse socioeconomic and ethnic backgrounds.


특히 전문가 선정 시 [전문가 지정designation을 방어할 만큼 엄격]하면서도, [다양한 참여가 가능할 정도로 자유로운] 포함 기준을 갖는 것은 쉽지 않은 일이다. [엄격한 기준]과 [대표성] 사이에서 이러한 균형을 이루는 것이 내용 타당도를 뒷받침하는 강력한 논쟁의 본질입니다.
Notably, expert selection can create a challenge for inclusion criteria that are sufficiently strict to defend expert designation, yet liberal enough to enable diverse participation. Achieving this balance between stringent criteria and representativeness is the essence of a strong argument supporting content validity.

전문가 선택의 편향 방지
Avoiding bias in expert selection

선발 과정의 편향은 늘 발생한다. 공통의 관점을 공유하거나, 유사한 배경에서 왔거나, 프로젝트 리더와 함께 긍정적인 사전 작업 경험이 있는 전문가에게 끌리는 것은 당연합니다. 이러한 요인 중 일부는 그룹 통합과 워크플로우에 긍정적으로 영향을 줄 수 있지만, 그 성격과 정도에 따라 이러한 편견은 전문가로부터 수집된 응답에 약간의 체계적 오류를 도입할 것이다.42 타당도 관점에서, 편견과 체계적 오류에 대한 통제는 [응답 프로세스 영역]의 타당도 증거이다.43
Biases are the norm in selection processes; it is natural to gravitate toward experts who share common perspectives, come from a similar background, or with whom there has been a positive prior work experience with project leaders. Although some of these factors can positively affect group integration and workflow, depending on their nature and extent, these biases will introduce some systematic error into responses collected from experts.42 From a validity perspective, controlling for bias and systematic error is validity evidence in the domain of response process.43

EPA 개발에 대한 [프로그램 책임자PD의 참여]는 합리적이고 적절하지만, 전문가 패널에 균질성과 관점의 제한을 초래함으로써 전문가 선발에 강력한 편향을 일으킬 위험이 있다. 
Program director involvement in EPA development is sensible and appropriate, however a strong bias toward their selection risks introducing homogeneity and restriction of perspectives on the expert panel. 

[필요한 전문성(예: 임상 전문지식, EPA에 대한 전문지식)을 식별]하고 [전문가를 선정하는 일]은 EPA 개발 및 일반적으로 합의 이니셔티브에서 가장 중요한 과제이다. "올바른" 사람이 참여한다는 보장은 직업의 진정한 표현으로서 EPA의 타당성 주장에 필수적이며 교육 프로그램의 위탁 의사결정에 유용하다.
Identifying the expertise required (e.g. clinical expertise, expertise for EPAs) and selecting experts is perhaps the most important task in EPA development, and consensus initiatives in general. Assurance that the “right” people are involved is essential to validity arguments for the EPAs as a true representation of the work of the profession and as useful for making entrustment decisions in education programs.

후보 EPA 식별
Identification of candidate EPAs

전문가 교육
Instruction of experts

EPA와 그 구조에 대한 오해는 일반적이며 최종 결과물에 쉽게 반영될 수 있다.14, 19,44,45 후보 EPA의 초기 목록이 종종 최종 제품에 큰 영향을 미친다는 사실을 인지하고, 타당도에 대한 위협을 피하기 위해서는 초기부터 전문가 교육이 중요하다. 

• EPA에 대한 공통된 이해(EPA의 정의, 표준 및 적용 포함)를 확립하면 전문가가 개발 프로젝트에서 목표와 그 역할에 대해 명확히 이해할 수 있다.
• 또한 지침은 전문가들이 사용 중인 개발 방법(예: 조사, 합의 패널)을 명확히 이해할 수 있도록 한다. 이는 전문가들이 방법(예: 도구, 조사 항목)에 적절히 참여하도록 보장하는 데 필수적이다.
• 서로 지리적으로 떨어진 전문가들에 대한 온라인 교육 방법 또는 회의에서의 직접 교육 세션 중 어느 것을 통해서든 교육(프로젝트 전반에 걸쳐 진행 중인 지침)은 매우 중요합니다. 

Misconceptions about EPAs and their construction are common and can easily work their way into the final product.14,19,44,45 Recognizing that the initial list of candidate EPAs often strongly influence the final product,31,39 expert instruction early is important to avoid this threat to validity.

• Establishing a shared understanding of EPAs (including the definition, standards, and application of EPAs) ensures experts have a clear understanding of the goals and their role in the development project.
• Additionally, instruction helps ensure experts have a clear understanding of the development methods being used (e.g. surveys, consensus panels); this is essential for ensuring experts engage with the methods (e.g. tools, survey items) appropriately.46,47
• Whether through online instructional methods for distributed experts or in-person training sessions at meetings, education (and on-going instruction throughout the project) is crucial. 

후보 EPA 식별을 위한 접근방식
Approach to identifying candidate EPAs

전문가의 선발과 교육을 하고 나면, 예비 또는 "후보" EPA의 식별을 진행한다. 후보 EPA는 여러 가지 방법으로 식별할 수 있다. 예를 들어 

• 임상 실무에서 수행한 작업의 사전 기록
• 자신의 관행을 성찰하고 전문 활동을 항목화하는 의료진(예: 명목 그룹 기법)
• 안전 점검 및 회색 문헌에 발표된 것과 같은 EPA 외부 소스를 검토.

 
Following selection and instruction of experts, EPA development proceeds with identifying preliminary or “candidate” EPAs. Candidate EPAs can be identified in several ways, including:

• prospective logging of work done in clinical practice;48
• clinicians reflecting on their own practices and itemizing professional activities (e.g. nominal group techniques);11,30,39 and
• looking to external sources for EPAs, such as those published in the peer-reviewed and gray literature.4,11,30,49 

이러한 접근법 각각은 장점을 제공하지만 나름의 한계와 편향을 가져온다. 예를 들어,

• [전향적 사건 기록]은 일일 작업의 정확한 목록을 생성하지만 드물고 중요한 작업을 놓칠 수 있습니다.
• [기존 작업 성찰]은 자원을 거의 필요로 하지 않지만 가용성 편견의 영향을 받는다.
• [다른 영역의 EPA에 의존]하면 교육 조직과 전문 실무 참여의 중요한 차이를 놓칠 수 있다. 

EPA 식별 또는 일반적인 작업 분석에 이상적인 단일 프로세스는 없다.28 

Each of these approaches offers advantages but brings its own limitations and bias. For example,

• prospective event logging generates authentic lists of daily tasks but can miss rare, important tasks.
• Reflection on prior work requires few resources but is subject to availability bias.
• Relying on EPAs from other jurisdictions may miss important differences in organization of training and entry into professional practice.

There is no single, ideal process for identifying EPAs, or for work analysis in general.28 


그룹 작업group work의 맥락에서 나타나는 편향도 특정한 주의를 요한다. 합의 패널과 같은 그룹은 몇 가지 이점을 제공할 수 있다.42 대면 회의를 통해 피드백, 해석 및 개정이 그룹 토론을 통해 유동적으로 이루어질 수 있다. 이는 이해를 명확히 하고 합의를 진전시키며 결과의 품질을 향상시킬 수 있다.42 
Bias that emerges in the context of group work warrants specific attention. Groups, such as consensus panels, can offer several advantages.42 Meeting face-to-face allows feedback, interpretation, and revision to occur fluidly through group discussion; this can clarify understanding, advance consensus, and improve the quality of the outcomes.42 


또한 집단 사고 및 토론 편향과 같은 함정에 빠질 수도 있다.50,51 예를 들어, 가장 카리스마 있거나 가장 권위 있는 사람들의 의견이 토론을 지배하고, 개정을 추진하고, 결론을 도출할 수 있다.46,52 또한 영향력 있는 리더를 가진 그룹은 상충되는 피드백이나 모순되는 의견을 다룰 가능성이 낮다.42 
It can also introduce pitfalls such as groupthink and discussion bias, among others.50,51 Here, the opinions of the most charismatic or most prestigious can dominate discussions, drive revisions, and shape conclusions.46,52 Further, groups with influential leaders are less likely to address conflicting feedback or contradictory opinions.42 


[unsupervised practice]에 대한 준비 상태 결정과 같은 고부담 의사결정에 사용할 EPA를 개발하고자 한다면, 리더는 중요한 전문적 과제를 놓치지 않도록 더욱 강력한 접근방식을 채택해야 한다. 여기에는 최소한 이전에 발표된 EPA의 통합과 대표적인 전문가에게 상당한 자원 투자가 필요하지 않은 접근방식인 전문적 작업을 설명하도록 하는 것이 포함되어야 한다.

When identifying EPAs to be used in high stakes decisions, such as determining readiness for unsupervised practice, leaders should adopt a more robust approach to ensure important professional tasks are not missed. At a minimum, this should include incorporating previously published EPAs and having representative experts describe their professional work— approaches that do not require significant resource investment.

후보 EPA 수정
Revision of candidate EPAs

EPA 후보 수정에는 피드백 수집, 해석 및 EPA 변경이 포함된다.이 [반복 프로세스]는 EPA를 해당 직업의 작업에 대한 보다 타당한 설명으로 이동시키는 것을 목표로 합니다. 그러나 오류가 발생할 수도 있습니다.
revision of candidate EPAs involves collecting feedback, interpreting it, and making changes to the EPAs.ThisiterativeprocessaimstomoveEPAstoward a more valid description of the work of the profession. However, it can also introduce error.

설문을 이용한 수정
Revisions using survey methods

Delphi와 같은 설문조사 방법에서, 퍼실리테이터는 전문가들의 조사 응답에 기초하여 매 라운드 후 EPA를 개정한다. 따라서 개정안은 수집된 평가 데이터의 품질과 개정 과제를 맡은 평가 데이터의 해석에 따라 달라집니다. EPA 개발을 위한 설문조사를 구성할 때 흔히 발생하는 실수는 초점을 [EPA 명칭으로만 제한하는 것]이다. 전문가에게 EPA에 대한 상세한 설명을 제공하지 않고 조사를 통해 수집된 피드백은 EPA의 의미에 대한 다양한 이해를 반영할 수 있다. 이것은 평가관자 간 신뢰도를 떨어뜨리고 개정안을 복잡하게 만들 것이다.
In survey methods such as Delphi, facilitators revise the EPAs after each round based on the survey responses from experts. Revisions therefore depend on both the quality of survey data collected and its interpretation by those tasked with revisions. A common mistake in constructing surveys for EPA development is to limit the focus to just the EPA title. Without providing detailed descriptions of the EPAs to experts, the feedback collected through the survey may reflect different understandings of an EPA’s meaning. This will undermine interrater reliability in the survey and complicate revisions.

양질의 설문 조사 데이터가 있더라도 수정 작업을 맡은 담당자가 데이터를 올바르게 해석하는 것이 중요합니다.
Even with good quality survey data, interpreting the data correctly by those tasked with revisions is essential.

평가 응답의 평가자 간 신뢰도를 추적하는 것도 타당도 주장을 강화하는 또 다른 방법이다.11 품질에 대한 직접적인 척도는 아니지만, 전문가 간에 서로 다른 이해 또는 관련성에 대한 의견 불일치가 있는 EPA를 식별하는 데 도움이 될 수 있다.

• [평가자 간 신뢰성이 낮다]는 것은 전문가 관점의 광범위한 가변성(가능한 이상치 의견 포함)을 나타내며, 후보 EPA의 잠재적 문제에 대한 심층 평가가 필요할 수도 있고, 이상치outlier를 응답한 패널 멤버를 추적하는 데 사용할 수 있다.
• [평가자 간 신뢰성이 높으면] 전문가가 제공한 동의에 대한 신뢰를 얻을 수 있으며, 이는 재현 가능한 합의를 나타냅니다.

Tracking interrater reliability of survey responses is another way to strengthen validity arguments.11 Although not a direct measure of quality, it can help identify EPAs for which there is different understanding among experts or disagreement regarding relevance.

• Low interrater reliability indicates wide variability in expert views (including possible outlier opinions), which can be used to trigger an in-depth evaluation for potential problems with a candidate EPA or to track outlier panel members.
• High interrater reliability can provide confidence in agreement provided by experts, representing a reproducible consensus.

[Attrition]은 또 다른 잠재적 관심사이다. 초기 및 지속적인 참여는 프로젝트에 대한 전문가들의 관심 수준, 의견의 강도 또는 리더에 대한 연관성에 의해 추진될 수 있다.57 이는 프로세스가 진행됨에 따라 나타나는 전문가 풀 구성에 잠재적인 편향을 초래한다.
Attrition is another potential concern. Initial and continuing participation may be driven by the experts’ level of interest in the project, strength of opinion, or associations to its leaders.57 This introduces a potential bias in the composition of the expert pool that emerges as the process proceeds. 

그룹 방법을 사용한 개정 
Revision using group methods 

그룹 작업과 관련된 이점과 위협은 앞에서 자세히 다루었지만 이 경우에도 동일하게 관련이 있다. [회원 점검]과 [삼각측정]과 같은 통제 수단을 도입하면(예: 제3의료 교육자가 개정을 검토하도록 하는 것) 개정 프로세스에 대한 타당성 주장을 더욱 개선할 수 있다.
The advantages and threats associated with group work were addressed in detail earlier but are equally relevant here. Introducing controls such as memberchecks and triangulation (e.g. having revisions reviewed by third party medical educators) further improves validity arguments for the revision process.

EPA 수정이 설문조사든, 그룹 작업이든, 또는 이 둘의 조합으로 이루어지든 EPA의 상당한 진화를 예상할 수 있다. 
Whether revisions are accomplished through survey-based approaches, group work, or a combination, considerable evolution of the EPAs can be expected. 

합의 과정을 통한 EPA 평가
Evaluating EPAs from consensus process

EPA 식별, 설명 및 개정 후에는 제안된 EPA가 EPA 표준에 따라 구성되고 작업장 기반 사정에 유용한지 여부를 평가하는 것이 중요하다. 
After identifying, describing, and revising the EPAs, it is important to evaluate whether the EPAs proposed accurately reflect professional practice, are constructed in line with EPA standards, and are useful for deployment in workplace-based assessment. 

전문적 실무의 정확한 반영
Accurate reflection of professional practice

개발된 EPA의 평가는 EPA가 전문적 관행을 정확하게 포착했는지 검증해야 한다. 다시 말하지만, 이는 EPA 자체의 고유 품질이 아닌 전문가들의 근거 있는 판단이다. 정확성에 대한 한 가지 근거는 EPA 식별 및 개정에 따른 대응 데이터의 [정량적 분석]에서 나온다. [EPA 평가 결과]에서 [높은 전문가 간 신뢰도]가 확인된다면, 전문가 간의 합의와 EPA가 전문적인 작업을 기술하는 데 있어 EPA의 타당성을 뒷받침한다. (높은 수준의 합의 또한 전문가 간의 균질성을 반영할 수 있다는 점을 인식하는 것이 중요하다.) 
Evaluation of the EPAs developed should affirm that they accurately capture professional practice. Again, this is a grounded judgment of experts, not an inherent quality of the EPAs themselves. One source of evidence for accuracy comes from quantitative analysis of response data from the identification and revision of the EPAs. Excellent interrater reliability in ratings of the EPAs shows agreement among experts and support for the validity of the EPAs in describing professional work. (It is important to recognize that a high level of agreement may also reflect homogeneity among experts.)