Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

서론
Introduction

거의 10년 전, 제프 노먼은 왓슨의 상업적 성공을 사설화한 "의학자가 기계를 만난다"라는 제목의 글을 썼고, 왓슨은 인공지능(AI)이 미래에 의학에 어떻게 영향을 미칠 수 있는지를 보여주는 것이라고 주장했다(노먼 2011). 그 이후로 건강 전문 교육(HPE) 분야의 학자들이 증가하고 있으며, 데이터 과학 분야에 뿌리를 둔 AI가 교육, 학습 및 평가에 혁명을 일으킬 가능성을 선전하고 있다. 미국 통계 협회(van Dyk et al. 2015)에 따르면, [데이터 과학의 학제간 분야]는 다음을 활용하는 것을 목표로 한다. 

• (1) 데이터에서 지식을 추출하기 위한 통계, 인공지능(AI), 머신러닝(ML) 등. 
  
• (2) 데이터 구성, 관리 및 저장을 위한 데이터베이스 관리, 
  
• (3) 복잡한 데이터 분석을 수행하는 데 필요한 계산 인프라를 제공하기 위한 시스템 엔지니어링. 

Almost a decade ago, Geoff Norman wrote a piece entitled, “Medicine man meets machine” where he editorialized the commercial success of Watson, arguing that Watson was a demonstration of how Artificial Intelligence (AI) may influence medicine in the future (Norman 2011). Since then, a growing body of scholarship in health professions education (HPE) has touted the potential for AI, rooted in the field of data science, to revolutionize instruction, learning, and assessment (Masters 2019; Chahine et al. 2018; Murdoch and Detsky 2013; Gruppen 2012). According to the American Statistical Association (van Dyk et al. 2015), the interdisciplinary field of data science aims to utilize:

• (1) statistics, artificial intelligence (AI), and machine learning (ML) to extract knowledge from data,
• (2) database management to organize, manage, and store data, and
• (3) systems engineering to provide the computational infrastructure needed to conduct complex data analyses.

본 논문에서는 컴퓨터 알고리즘과 수학적 모델이 HPE의 맥락에서 데이터와 그 응용에 대한 이해를 어떻게 형성했는지 강조하기 위해 데이터 과학의 ML 측면(그림 1 참조)에 초점을 맞춘다. 우리가 HPE 연구 내에서 데이터 과학과 ML의 존재 증가를 예상함에 따라, 건강 과학 교육의 발전은 데이터 과학과 HPE의 교차 분야 내에서 지식 확산을 촉진하고 중요한 대화를 가능하게 하는 데 중요한 역할을 할 수 있다.

In this paper, we focus on the ML aspect of data science (see Fig. 1) to highlight how computer algorithms and mathematical models have shaped our understanding of data and its applications in the context of HPE. As we anticipate an increasing presence of data science and ML within HPE research, Advances in Health Sciences Education can play an important role in facilitating knowledge dissemination and enabling critical conversations within the intersecting fields of data science and HPE.

용어가 익숙하지 않을 수 있는 사람들을 위해, ML은 통계를 사용하여 기계가 특정 동작을 수행하도록 프로그래밍되지 않고 데이터를 기반으로 학습하고 적응적 예측을 할 수 있도록 하는 AI의 하위 집합이다(Thakur 2020). 많은 ML 접근 방식의 기본 원칙은 [기계의 데이터 해석 능력을 지속적으로 개선하는, 반복적이고 적응적인 알고리듬을 통해, 데이터 내의 패턴을 자동으로 찾는 것]이다. 딥 러닝(DL)은 신경망 또는 노드(뇌에서 뉴런이 작동하는 방식과 유사)를 사용하여 빅데이터를 활용하여 복잡한 문제를 이해하고 해결하는 ML 기술의 새로운 하위 집합이다(MIT 2020). 자연어 처리(NLP)는 많은 양의 언어 또는 텍스트 데이터를 처리하고 분석하는 데 사용되는 일반적인 DL 접근법이다.
For those who may be unfamiliar with the terms, ML is a subset of AI that uses statistics to enable machines to learn and make adaptive predictions based on data without being programmed to perform specific actions (Thakur 2020). The fundamental principle of many ML approaches is to automatically find patterns within data through iterative and adaptive algorithms that continuously refine the machine’s ability to interpret data. Deep learning (DL) is a newer subset of ML techniques that uses neural networks or nodes (similar to the way neurons work in the human brain) to leverage big data to understand and solve complex problems (MIT 2020). Natural language processing (NLP) is a common DL approach used to process and analyze large amounts of language or text data.

최근의 연구는 ML이 HPE를 개선하고 환자 관리를 개선할 수 있는 가능성을 보여주었다. 현재 검토 기사에서 Topol(2019)은 방사선사와 병리학자가 ML을 사용하여 의료 영상(예: 흉부 X선, 심전도, 피부 병변, 망막 영상)을 진단하는 전문가 수준의 성능을 보여주는 방법을 강조했다. 예를 들어, Haensle et al.(2018)은 알려진 결과를 가진 24,000개의 피부 병변 이미지에 대해 훈련된 신경망이 흑색종 진단 시 민감도와 특이성 측면에서 대부분의 인간 피부과 의사보다 우수하다는 것을 입증했다. 또한, 의학에서 NLP의 적용에는 전자 건강 기록 및 임상 기록의 데이터를 사용하여 환자 정보를 효율적으로 분류하고 요약하는 음성 인식 및 감정 분석이 포함된다.

Recent research showcased the potential for ML to enhance HPE and improve patient care. In a current review article, Topol (2019) highlighted how radiologists and pathologists use ML to display expert-level performance in diagnosing medical images (e.g., chest X-rays, electrocardiograms, skin lesions, retinal images). For instance, Haenssle et al. (2018) demonstrated that a neural network trained on 24,000 skin lesion images with known outcomes outperformed most human dermatologists in terms of sensitivity and specificity when diagnosing melanomas. Furthermore, applications of NLP in medicine include speech recognition and sentiment analyses that use data from electronic health records and clinical notes to efficiently classify and summarize patient information (Koleck et al. 2019).

이러한 예에서 알 수 있듯이, 의료 분야의 ML은 주로 분류 및 예측 목적으로 사용되어 왔다. 어떤 사람들은 그것이 그것을 [서포트]하기보다는, 의사들이 하는 일을 [모방]하는 경향이 있다고 주장한다. ML 기술은 의사 성과를 대체하는 대신 개선하는 데 중점을 두기 때문에, [HPE에 상당한 가치를 추가할 수 있는 잠재력]을 가지고 있다. 일반적으로 ML은 보건 전문가의 교육, 학습 및 평가를 지원하기 위해 대량의 임상 및 교육 데이터를 자동화, 관리 및 결합하는 데 적합할 수 있다(Chan 및 Zary 2019).

As these examples suggest, ML in healthcare has been used primarily for classification and/or prediction purposes. Some argue that it tends to mimic the work being done by physicians rather than support it (Masters 2019). With a focus on improving physician performances as opposed to replacing them, ML techniques have the potential to add substantial value in HPE. In general, ML may be well-suited for automating, managing, and combining large amounts of clinical and educational data to support the instruction, learning, and assessment of health professionals (Chan and Zary 2019).

그러나 이 약속은 데이터 과학과 ML이 보건 분야의 연구와 실무에 미치는 장기적인 영향에 대한 우려가 커짐에 따라 완화될 수 있다. 교육 과학자들은 ML 기술이 HPE의 맥락적 뉘앙스를 인식하지 못할 수 있기 때문에 "복잡한 문제에 대한 포괄적인 해결책"으로 홍보하는 것을 경계했다. 일반 교육 문헌에서 제기된 한 가지 구체적인 우려는, 데이터 과학과 ML의 초기 적용은, 주로 [특정한 과학적 사고 방식에 뿌리를 둔 학문]인, [인지 심리학과 신경 과학]에서 비롯되었다는 것이다. 얼리 어답터로서, 이러한 특정 분야는 일반적으로 교육 및 특히 HPE 내에서 데이터 과학과 ML의 현재 사용을 알리는 이론적 입장과 인식론적 믿음에 과도하게 영향을 미쳤을 수 있다. 이러한 유형의 영역 영향은 HPE 연구에서 이러한 새로운 분석 접근법의 범위와 유용성을 제한할 수 있다.
This promise, however, may be tempered by growing concerns about the long-term impact of data science and ML on research and practice in the health professions (van der Niet and Bleakley 2020; Imran and Jawaid 2020; Wartman and Combs 2019). Education scientists have cautioned against promoting ML technology as an “all-encompassing answer to complex problems” as it might fail to recognize the contextual nuances of HPE (van der Niet and Bleakley, 2020). One specific concern raised in the general education literature is that early applications of data science and ML stemmed primarily from cognitive psychology and neuroscience, disciplines rooted in certain scientific ways of thinking (Williamson 2017). As early adopters, these specific disciplines may have unduly affected the theoretical positions and epistemic beliefs that inform the current use of data science and ML within education in general and HPE specifically. This type of domain influence has the potential to limit the scope and utility of these new analytic approaches in HPE research.

지난 10년간 데이터 과학과 ML의 발전은 교육 연구에서 [가설 검증에서 이론의 관련성과 사용에 대한 논의]를 이끌었다. 일부 학자들은 데이터 과학과 ML의 출현을 인간의 주관성과 편견의 영향 없이 데이터가 "스스로를 대변"할 수 있게 했다고 칭찬한다(Kitch 2014). 이러한 프레임워크는 교육에서 확립된 많은 전통적인 연구 관행에서 벗어난다. 전통적 연구 관행에서는 [이론의 사용]이 지식 생성을 위한 [가설 생성과 검증에 중심적인 역할]을 하기 때문이다. 교육 및 HPE에서 데이터 과학과 ML을 사용하는 이론 중심 접근법이 아직 충분히 구체화되지 않았지만(Kitch in 2014), [데이터 과학]은 [경험적 증거], [과학 이론], [계산 과학]에 합류하여 과학에서 네 번째 패러다임으로 언급되었다. 그러나 데이터 과학이 개념적으로나 운영적으로 과학적 패러다임으로서 어떻게 작동할지는 불분명하다. 이는 HPE에서 ML을 사용하는 경우에도 마찬가지입니다. 이러한 논의를 고려하여, 우리는 HPE 문헌 내에서 ML과 관련된 연구의 실제 적용, 이론적 기여 및 인식론적 믿음을 비판적으로 평가했다.

Advances in data science and ML over the past decade have led to discussions regarding the relevance and use of theory in hypothesis testing in educational research (Williamson 2017; Kitchin 2014). Some scholars praise the emergence of data science and ML for allowing data to “speak for itself” without the influence of human subjectivity and bias (Kitchin 2014). Such a framework strays from many traditional research practices established in education, where the use of theory takes a central role in hypothesis generation and testing for the purpose of knowledge generation (Laksov et al., 2017). Although a theory-driven approach to using data science and ML in education and HPE has not been sufficiently articulated yet (Kitchin 2014), data science has been referred to as the fourth paradigm in science, joining empirical evidence, scientific theory, and computational science (Hey et al. 2009). Yet, it is unclear how data science might operate as a scientific paradigm both conceptually and operationally. This is also true for the use of ML in HPE. In light of these discussions, we critically evaluated the practical applications, theoretical contributions, and epistemic beliefs of studies involving ML within the HPE literature.

방법들
Methods

결과.
Results

HPE 연구에서 데이터 과학 및 ML의 실용적 적용
Practical applications of data science and ML in HPE research

HPE에서 데이터 과학과 ML을 사용한 연구의 대부분은 [실제 문제]를 해결하는 것을 목표로 했으며, 이론적 이해를 증진시키기 위한 몇 가지 연구만 명시적으로 시작했다. 확인된 다수의 논문은 기술적 효율성을 입증한 "정당화" 연구 또는 [개념 증명]으로 분류될 수 있으며, 이는 "순수 응용 연구" 범주와 일치한다. 이것은 어떤 것이 어떻게, 누구를 위해, 왜 작동하는지에 대한 질문을 던지는 [명확화 연구]와 구별된다.

The majority of research using data science and ML in HPE aimed to solve practical problems, with only a few studies explicitly setting out to advance theoretical understanding. A large number of papers identified (Dias et al. 2019; Masters 2019; van der Niet and Bleakley 2020; Chan and Zary 2019; Topol 2019) could be classified as “justification” studies that demonstrated technological efficiency or a proof-of-concept (Cook et al. 2008), which coincides with the “Pure Applied Research” category. This is distinct from clarification research (Cook et al. 2008), which asks questions about how, for whom and why something works.

시뮬레이션 및 의료 영상과 같은 영역은 주로 성능 평가 자동화, 피드백 제공 및 환자 결과 예측을 위해 ML의 실용적인 응용 프로그램을 사용했다(표 1 참조). 많은 경우, 저자는 ML 접근 방식을 사용하는 이유로 기존 한계(예: 전문가 인간 평가자의 직접 관찰과 피드백에 의존하는 간헐적이고 무작위적인 작업장 기반 평가)를 해결할 수 있는 능력을 인용했다(Oquendo et al. 2018). 실제로, 여러 연구는 [평가자 기반 점수]를 [ML 기반 예측]으로 대체하여, 수술 기술 평가의 효율성을 향상시키기 위해 ML 알고리듬을 사용하는 방법을 설명했다. 예를 들어, 한 연구는 외과의사의 경험 수준을 사용하여 ML 알고리즘을 훈련시켜 서로 다른 수준의 수술 기술을 구별했습니다.

Areas such as simulation and medical imaging predominantly used practical applications of ML for automating performance assessment, providing feedback, and predicting patient outcomes (see Table 1). In many cases, authors cited the ability to address existing limitations (e.g., infrequent and haphazard workplace-based assessments that rely on direct observation and feedback by expert human raters) as the rationale for using a ML approach (Oquendo et al. 2018). Indeed, several studies described how ML algorithms could be used to improve the efficiency of assessing surgical skills by replacing rater-based scores with ML-based predictions (Winkler-Schwartz et al. 2019; Alonso-Silverio et al. 2018; Oquendo et al. 2018; Ismail Fawaz et al. 2019; Wang and Fey  2018; Uemura et al. 2018; Bissonnette et al. 2019; Khalid et al. 2020; Andrew et al. 2018). For example, one study used surgeons’ experience levels to train a ML algorithm to distinguish between different levels of operative skills (Uemura et al. 2018).

 

 

전통적인 교육 방법을 보강하는 지능형 튜터링 시스템(ITS)은 HPE 내에서 ML의 실용적인 유용성을 입증한 문헌의 또 다른 영역을 대표했다. 한 연구에서는 복통 임상사례 208건을 바탕으로 임상추리력을 높이는 이러닝 툴을 개발하기 위해 ML 기법을 사용하였다. 이 도구를 사용하여 학생들은 가상 환자와 상호작용하고 학습자가 요청한 특정 환자 정보를 기반으로 개인화된 피드백을 받았다(Khumrin et al. 2017). 또 다른 연구에서는 ML 기술을 사용하여 임상 데이터를 수집하고 실제 임상 환경을 시뮬레이션하는 마취에서 몰입적이고 대화형 가상 훈련 플랫폼을 만들었다. 마지막으로 ML 기반 평가의 타당성을 탐구하는 대다수의 연구는 교육적 프레임워크가 없거나 시대에 뒤떨어진 타당성 프레임워크를 사용했다(Dias et al. 일반적으로, 이 연구의 하위 집합은 평가와 교육 내에서 실질적인 교육 문제를 다루었지만, 교육 이론이나 인식론에 대한 제한된 고려나 참고를 제공했다.
Intelligent tutoring systems (ITS) augmenting traditional instruction methods represented another area in the literature that demonstrated the practical utility of ML within HPE. In one study, ML techniques were used to develop an e-learning tool that increased clinical reasoning skills based on 208 clinical cases of abdominal pain. Using this tool, students interacted with a virtual patient and received personalized feedback based on the specific patient information requested by the learner (Khumrin et al. 2017). In another study, ML techniques were employed to collect clinical data and create an immersive and interactive virtual training platform in anesthesia that simulated an authentic clinical environment (Cao et al. 2015). Lastly, the majority of studies exploring the validity of ML-based assessments, either used no educational framework or outdated validity frameworks (Dias et al. 2019). In general, this subset of studies addressed practical educational problems within assessment and instruction, but offered limited consideration or reference to educational theory or epistemology.

HPE 연구에서 데이터 과학과 ML의 이론적 기여
Theoretical contributions of data science and ML in HPE research

이번 심사를 위해 선정된 논문의 대다수가 '순수응용연구' 범주에 속하지만 모두 이론적이 없는 것은 아니었다. 통계이론, 계산이론, 방법론적 고려사항 측면에서 데이터 과학이론을 충분히 활용한 연구가 몇 개 있었는데, 이는 ML 모델을 선택하고 활용하는 방법을 안내하였다. 예를 들어, [설명 가능한 AI]의 개념은 모델이 특정 결과에 도달하는 방법이 불분명한 ML 연구에서 '블랙박스' 문제를 해결하기 위한 이론으로 도입되었다. 이러한 연구는 "사용에 영감을 받은 기초 연구" 범주에 속합니다.
Although the majority of papers selected for this review fall into the “Pure Applied Research” category, not all of them were atheoretical. There were a few studies with sufficient use of data science theory, in terms of statistical theory, computational theory, and methodological considerations, which guided how ML models were selected and utilized (Bisonette et al. 2019; Uemura et al. 2018; Wang and Fey 2018). For example, the concept of Explainable AI was introduced as a theory (Winkler-Schwartz et al. 2019) to address the ‘black box’ problem in ML research, where it is unclear how a model arrives at a certain result. These studies fell into the “Use-inspired Basic Research” category.

또한 역량 또는 성과 평가를 다루는 몇 개의 논문은 [이론이 데이터 분석 및 해석을 가이드하는 데 어떻게 사용되는지]를 보여주었다.

• 특별수술팀 구성원 간의 사회적 유대가 환자 만족도에 어떤 영향을 미치는지 탐구하기 위한 연구에서, 앤더슨 외 연구진(2020)은 ML 분석을 사용하여 기존의 통계로는 불가능했을 몇 가지 이론 기반 가설을 탐구했다. 소셜 네트워크 이론을 기반으로, 저자들은 수술팀의 서로 다른 하위 그룹을 대표하는 노드로 구성된 네트워크를 사용하여 환자 만족도의 예측 변수로서 하위 팀 간의 정서적, 전문적, 개인적 유대를 해부했다.
• 또 다른 연구에서, 기븐스 외 연구진(2017)은 가설 유도 코딩을 사용하고 의사의 성과에 대한 핵심 지표로 다중 소스 피드백을 기반으로 실행 가능한 통찰력을 수집하는 ML 알고리듬을 훈련시켰다. 이 두 연구에서, 저자들은 크고 복잡한 데이터 세트를 탐구하기 위해 이론 기반 접근 방식을 사용했다.
• 마지막으로, ITS에 초점을 맞춘 연구는 이러한 시스템이 도메인 모델에 그러한 통찰력을 포함하도록 설계되었기 때문에 학습 이론의 중요성을 강조했다. 예를 들어, Crowley와 Medbedeva(2003)는 병리학 슬라이드의 분류를 평가하는 연구에서 자신의 도메인 모델의 설계를 알리기 위해 시각적 전문지식을 개발하기 위해 이론적 프레임워크인 통합 문제 해결 방법을 사용했다.

Additionally, a few papers dealing with assessment of competence or performance demonstrated how theory was used to guide data analysis and interpretation.

• In a study aimed at exploring how social ties between members of ad hoc surgical teams influenced patient satisfaction, Andersen et al. (2020) used ML analytics to explore several theory-based hypotheses, which would not have been possible using traditional statistics. Building on social network theory, the authors dissected affective, professional, and personal ties between sub-teams as predictors of patient satisfaction using a network consisting of nodes representing different sub-groups of the surgical team.
• In another study, Gibbons et al. (2017) used hypotheses-guided coding and trained a ML algorithm that gleaned actionable insights based on multi-source feedback as key indicators of physicians’ performance. In both of these studies, the authors used theory-based approaches to explore large and complex datasets.
• Lastly, studies that focused on ITS stressed the importance of learning theory, as these systems were engineered to include such insights in their domain model. For example, Crowley and Medvedeva (2003) used a theoretical framework, the unified problem-solving method, for developing visual expertise to inform the design of their domain model in a study evaluating the classification of pathology slides.

위에서 예시한 바와 같이, 우리가 확인한 대부분의 연구는 "순수 응용 연구" 범주에 속하며, 몇 가지 예외는 "사용에 영감을 받은 기초 연구" 그룹에 속하는 것으로 분류되었다. 우리는 오로지 이론적 연구의 부족과 패턴 이해에만 초점을 맞춘 연구의 부족을 반영하여 "순수 기초 연구" 또는 "예측, 탐색적 또는 평가" 범주에서 0개의 연구를 분류했다.
As exemplified above, most of the studies we identified fell into the “Pure Applied Research” category, with a few exceptions classified as belonging in the “Use-inspired Basic Research” group. We classified zero studies in either the “Pure Basic Research” or “Predictive, Exploratory, or Evaluative” categories, reflecting a dearth of solely theoretical work and a lack of studies focused exclusively on understanding patterns.

데이터 과학 및 ML 기반 HPE 연구에 대한 인식론적 신념
Epistemic beliefs in data science and ML driven HPE research

HPE 문헌에서 교육 이론의 일반적인 부재는 데이터 과학과 ML이 역사적으로 등장한 분야를 반영할 수 있다. 여기에는 [이론 구축과 테스트]보다는 [실제 적용과 문제 해결에 중점]을 두는 경향이 있는 컴퓨터 과학, 통계 및 공학이 포함된다(Pea 2014). 같은 이유로, [교육 데이터 과학]은 기술자, 도구자, 기능주의자로 인식되어 왔다. 이러한 생각은 "과학적인 관점에서 학습을 정량화, 측정, 실행이 가능하고, 따라서 최적화가 가능하다고 보는 과학적 사고방식"라는 표현에서 잘 드러난다.

To some degree, the general absence of educational theory in HPE literature may reflect the disciplines from which data science and ML emerged historically (Pea 2014). These include computer science, statistics, and engineering which tend to focus on practical applications and problem solving rather than theory building and testing (Pea 2014). For the same reasons, educational data science has been perceived as technicist, instrumentalist, and functionalist (Kitchin 2014) as it reflects “a scientific style of thinking that views learning in scientific terms as quantifiable, measurable, actionable, and therefore optimizable” (Williamson 2017).

이러한 프레임으로, 일부 일반 교육 학자들은 데이터 과학과 ML에서 비롯된 새로운 [경험주의 인식론]의 출현은, [이론을 불필요하게 만들고, 지식 생산을 인간 편향의 영향으로부터 자유로운 상황으로 만들 수 있다]고 제안했다. 예를 들어, 앤더슨(2008)은 "과학은 모델, 통일된 이론, 또는 정말로 어떠한 기계론적 설명 없이도 진보할 수 있다"고 주장하면서 "이론의 종말"을 선언했다. HPE 연구에 대한 우리의 검토에서, 일부 학자들은 교육, 학습 및 평가를 진전시키기 위한 데이터 과학과 ML의 잠재적인 사용에 대해 논의할 때 유사한 인식론적 신념의 목소리를 냈다.

• 예를 들어 쇼텐 외 연구진(2018)은 의사의 기술력 향상을 위한 ML의 잠재적 사용을 요약하고 다음과 같이 주장했다. "[...] 환자 수준의 관찰은, 기계 학습 알고리즘을 통해 데이터가 스스로 말할 수 있도록 함으로써, 고품질 또는 낮은 품질의 성능(효율 및 오류 회피)과 임상 결과를 예측하고 평가할 수 있는 수단을 제공합니다." 
  
• Uemura et al(2018)의 또 다른 연구는 외과의사의 전문성 수준 분류를 위한 신경망의 사용을 조사했고 "분류 중 인간의 개입은 없었으며, 이는 이 결과가 객관적이고 양적으로 간주될 수 있음을 의미한다"고 강조했다.
• 비슷한 맥락에서 솔트 외 연구진(2019)은 USMLE 2단계 임상 기술 점수를 평가하기 위해 NLP를 사용할 수 있는 방법을 연구했고 다음과 같이 진술했다. "잘 설계된 컴퓨터 기반 채점 시스템은 피로나 인간의 편견의 영향을 받지 않기 때문에 일관성, 객관성 및 효율성에 있어 인간의 판단보다 우수하다." 

따라서 일부 연구자의 경우 HPE에서 데이터 과학과 ML의 사용을 지원하는 가치 제안에서 [객관성에 대한 강조]와 [인간 편향이 없는 것]이 높은 우선 순위를 갖는 것으로 보였다.

With this framing, some general education scholars suggested that the emergence of a new empiricist epistemology stemming from data science and ML may render theory unnecessary and situate knowledge production as free from the influence of human bias (Kitchin 2014). For instance, Anderson (2008) proclaimed the “end of theory” arguing that “science can advance even without models, unified theories, or really any mechanistic explanation at all.” In our review of HPE research, some scholars voiced similar epistemic beliefs when discussing the potential uses of data science and ML for advancing instruction, learning, and assessment.

• Shorten et al. (2018), for example, summarized potential uses of ML for improving physicians’ technical skills and argued that “by letting the data speak for themselves through a machine-learning algorithm, [...] patient level observations offer a means to predict and assess high- or low-quality performance (efficiency and error avoidance) and clinical outcome.”
• Another study by Uemura et al. (2018) examined the use of neural networks for classification of surgeons’ expertise levels and highlighted that “there were no human interventions during classification, meaning that this result can be considered objective and quantitative.”
• On a similar note, Salt et al. (2019) explored how NLP can be used to assess USMLE Step 2 Clinical Skills scores and stated that a “well-designed computer-based scoring system is superior to human judgment with respect to consistency, objectivity, and efficiency because it is not susceptible to the effects of fatigue or human biases.”

Hence, for some researchers, the emphasis on objectivity and perceived lack of human bias seemed to have high priority in the value proposition supporting the use of data science and ML in HPE.

[인간 편향의 감소를 통한 객관성 달성에 관한 이러한 인식론적 믿음]에 대해서나, [맥락의 역할]에 대해서 반대 의견이 없는 것은 아니다.

• Salt et al(2019)에 대한 답변에서, Spadafore와 Monrad(2019)는 ML의 알고리듬이 본질적으로 훈련하기 위해 선택한 데이터 유형에 따라 편향되기 때문에 [점수 매김의 일관성]과 [객관성]을 동일시하는 개념에 대해 우려를 제기했다.
  • 솔트 외 연구진(2019)도 이것을 인정했지만, 그들은 다음과 같이 언급했다. "자동 채점 시스템은 이상적인 인간 평가자보다 우수할 수 없겠지만, 실제 일반적인 인간 평가자보다 사전 정의된 채점 기준을 따를 수는 있다." 
    
• 여기에 더하여 지얼 외 연구진(2014)은 NLP 기반 점수가 신뢰성 측면에서 인간 평가자가 산출한 것과 같거나 그 이상이라고 강조했다. 그러나 그들은 또한 점수가 매겨지는 구조에 의미를 부여하고 시험의 비인간화를 피할 수 있는 방법을 제공하기 위해 [전문가의 판단을 통합할 필요]가 있다고 강조했다.
• 엘라웨이(2014)는 "의학과 의학 교육의 기술은 [인간으로부터 벗어나는 것]으로 보여서는 안 된다. [인간이 되는 것]은 [기술을 사용하는 것]이다. "
  마지막으로, Bijker(1997)는 다음과 같이 말했다. "[하나는] 기술 아티팩트 또는 기술 시스템의 의미가 [기술 자체에 존재하는 것]으로 간주해서는 안 됩니다. 대신, 테크놀로지가 어떻게 형성되는지 연구하고, 사회적 상호 작용의 이질성 속에서 그 의미를 획득해야 한다."

These emerging epistemic beliefs around achievement of objectivity through reduction of human bias, and the role of context are not unopposed.

• In a reply to Salt et al. (2019), Spadafore and Monrad (2019) raised concerns about the notion of equating consistency in scoring with objectivity, as algorithms in ML are inherently biased based on the type of data we choose to train them with.
  • Although this was acknowledged in a reply by Salt et al. (2019), they noted that “while an automated scoring system cannot be superior to the ideal human rater, it can be more adherent to predefined scoring rubrics than the typical human rater in practice”.
• Adding to this, Gierl et al. (2014) emphasized that NLP-based scorings were equal to (or better than) those produced by human raters in terms of their reliability; however, they also stressed the need for incorporating expert judgments to provide meaning to the constructs being scored as well as a way to avoid dehumanization of examinations.
• Another view offered by Ellaway (2014) argued that “technology in medicine and medical education should not be seen as a distraction or deviation from being human; to be human is to use technology”.
• Finally, Bijker (1997) stated that, “[one] should never take the meaning of a technical artifact or technical system as residing in the technology itself. Instead, one must study how the technologies are shaped and acquire their meaning in the heterogeneity of social interactions.”

논의
Discussion

The role of data science and machine learning in Health Professions Education: practical applications, theoretical contributions, and epistemic beliefs

PMID: 33141345

DOI: 10.1007/s10459-020-10009-8

Abstract

Keywords: Artificial intelligence; Machine learning; Medical education research; Research in Health Professions Education; data science.

이 절에서 우리는 현상이 과학에서 이론 발전을 제약한다고 주장하지만, 심리학에서는 충분한 제약을 가할 만큼 강력한 현상에 대한 지식이 충분하지 않다. 우선 과학철학에서는 [데이터, 현상, 이론]을 구분하는 것이 일반적이다. [데이터]는 실험 또는 데이터 수집을 기반으로 하는 원시 관측치입니다. 심리학의 경우, 예를 들어 설문지나 행동의 관찰에 대한 반응일 수 있다. [데이터]는 세계의 비교적 안정적인 특징인 현상에 대한 증거로 작용한다. 예를 들어, 서로 다른 Stroop 작업 실험의 데이터는 Stroop 효과에 대한 증거를 제공합니다. 만약 우리가 그 현상들을 설명하고 싶다면, 우리는 그것들이 어떻게 발생하는지 설명하는 이론이 필요하다.
In this section, we argue that phenomena constrain theory development in science, but that in psychological science, there is not enough knowledge of robust phenomena to impose sufficient constraints. To start with, in philosophy of science, it is common to distinguish among data, phenomena, and theories (Bogen & Woodward, 1988; Haig, 2013; Woodward, 1989). Data are the raw observations based on experiments or data collection: In the case of psychological science, they can be, for example, responses to questionnaires or observations of behavior. Data serve as evidence for phenomena, which are relatively stable features of the world: For example, the data from different Stroop task experiments provide evidence for the Stroop effect. If we then want to explain the phenomena, we need theories that describe how they come about.2

이 프레임워크는 잘 확립되었고 심리학에 적용되었다(Borsboom et al., 2021; Haig, 2013). 그러나 [이론과 현상] 사이의 관계는 일반적으로 "일방향 트래픽"으로만 논의된다. [이론]은 [현상]을 설명하기 위해 [공식화formulated]되며, 따라서 [이론]으로부터 관련 [현상]을 [도출derive]하거나 [예측predict]하는 것이 가능해야 한다. 예를 들어, 심리학 이론 논쟁에서 심리학 이론이 너무 모호하게 공식화되어 현상에 대한 정확한 예측을 하지 못한다는 것이 핵심이다. 이 논쟁에서 훨씬 덜 주목받은 것은 이 관계가 양방향이라는 것이다. 현상들은 또한 가능한 이론들에 제약을 가한다. 즉, 이론은 가능한 이론의 공간을 좁히는 현장의 모든 관련 현상과 일치해야 한다.
This framework is well established and has been applied to psychological science (Borsboom et al., 2021; Haig, 2013). However, the relationships between theories and phenomena are usually discussed only as “one-way traffic”: A theory is formulated to explain phenomena, and therefore it should be possible to derive or predict the relevant phenomena from the theory. For example, a central (and, in our view, valid) argument in the theory debate in psychological science is that psychological theories are so vaguely formulated that they do not make precise predictions regarding phenomena (e.g., Oberauer & Lewandowsky, 2019). What has received far less attention in this debate is that this relationship is bidirectional: Phenomena also impose constraints on the possible theories (Bechtel & Richardson, 1993; Craver & Darden, 2013). In other words, a theory has to be consistent with all the relevant phenomena of the field, which narrows the space of possible theories.

이것을 예로 들어 설명하겠습니다. 진화론을 도입하기 전에 찰스 다윈은 엄청난 양의 설명적 증거를 수집했다. 그는 H.M.S. 비글호를 타고 유명한 항해를 하는 동안 (거의 5년 동안 지속되었다) 수많은 관찰을 하고 노트에 기록했는데, 위에서 설명한 프레임워크는 데이터와 일치한다. 이 자료로부터 그는 갈라파고스 섬에 서로 다르지만 매우 유사한 새 종의 분포와 같은 흥미로운 패턴을 도출했다. 다윈은 돌아온 후 몇 년 동안 선택적 번식, 화석 기록, 항해 중에 수집한 표본을 포함한 광범위한 주제를 집중적으로 연구했다. 이 모든 영역에서 그는 종들이 공통의 조상을 가지고 있고 선택적인 번식과 유사한 방식으로 자연에 의해 선택된다는 것을 암시하는 [현상]을 발견했다. 그는 이러한 발견을 바탕으로 다양한 증거의 상세한 설명으로 구성된 종의 기원을 썼다(브라운, 2006; 다윈, 1859).
Let us illustrate this with an example. Before introducing the theory of evolution, Charles Darwin had gathered an immense amount of descriptive evidence (Browne, 2006; Darwin, 1859; Rozin, 2001). During his famous voyage on the H.M.S. Beagle (lasting nearly 5 years), he made numerous observations and wrote them down in his notebooks, which in the framework described above correspond to data. From these data he derived interesting patterns, such as the distribution of different but very similar bird species on the islands of the Galapagos. Over the years after his return, Darwin intensively studied a broad range of topics, including selective breeding, the fossil record, and the samples he had collected during the voyage. In all of these areas, he found phenomena suggesting that species have common ancestors and are selected by nature in a manner analogous to selective breeding. He wrote the Origin of Species, a large part of which consists of detailed descriptions of the various lines of evidence, on the basis of these findings (Browne, 2006; Darwin, 1859).

중요한 것은 이 증거가 다양할 뿐만 아니라 매우 강력하다는 것입니다. 이 [현상]은 몇 가지 독립적인 방법으로 검증 및 탐지 가능하며 특정 이론적 틀이나 관찰 방법에 의존하지 않았다. 예를 들어, 비둘기, 소, 개의 선택적 사육에서 형질의 진화의 패턴을 관찰할 수 있었고, 다른 연구자는 원칙적으로 이러한 패턴을 확인할 수 있었다. 그러므로 이러한 [현상]들은 과학계에서 일반적으로 동의되었고 [가능한 이론possible theories]의 공간에 [매우 강한 제약]을 가했다. 진화론은 이러한 강력한 패턴들 중 한두 개에만 해당되는 것이 아니라, [모든 것]과 일치해야 했습니다.
Importantly, this evidence was not only diverse but also highly robust: The phenomena were verifiable and detectable in several independent ways and not dependent on a specific theoretical framework or observation method (Eronen, 2015, 2019; Kuorikoski & Marchionni, 2016; Munafò & Smith, 2018; Wimsatt, 2007). For example, the patterns of the evolution of traits could be observed in the selective breeding of pigeons, cattle, and dogs, and any other researcher could in principle confirm these patterns. These phenomena were therefore generally agreed on in the scientific community and imposed very strong constraints on the space of possible theories. A theory of evolution had to fit with not just one or two of these robust patterns but with all of them.

천문학의 역사는 [현상이 이론에 강요하는 제약]의 훨씬 더 놀라운 예를 제공한다. 이 경우 관련 [현상]은 천체(가장 중요한 것은 달과 행성)의 운동 패턴이었다. 이러한 패턴은 수세기에 걸친 관찰에 기초했으며 매우 강력했다. 문제는 현상에 의해 부과된 엄격한 제약을 만족시키는 이론을 생각해내고 있었다(호스킨, 1997). 행성들이 복잡한 에피사이클 기반 궤적을 따른다는 프톨레마이오스의 지구중심적 모델은 부분적으로 현상에 더 적합하거나 동등하게 잘 맞을 이론을 내놓기가 매우 어려웠기 때문에 수세기 동안 살아남았다. 그러므로, 코페르니쿠스와 갈릴레오가 그들의 태양 중심 이론을 발전시켰을 때, 가능한 이론의 공간은 현상에 의해 매우 강하게 제약을 받았다. 현대의 [이론 물리학에 대한 제약]은 훨씬 더 극단적이다. 입자 물리학에서 천문학에 이르는 강력하고 논쟁의 여지가 없는 패턴의 방대한 본체가 있으며, 물리학에 대한 새로운 이론은 이 [모든 패턴]과 일치할 필요가 있다.
The history of astronomy provides an even more striking example of the constraints that phenomena impose on theories. In this case, the relevant phenomena were the patterns in the movement of celestial objects (most importantly the moon and the planets). These patterns were based on centuries of observations and highly robust; the problem was coming up with a theory that satisfied the stringent constraint imposed by the phenomena (Hoskin, 1997). Ptolemy’s geocentric model, according to which planets followed complex epicycle-based trajectories, survived for centuries partly because it was extremely difficult to come up with a theory that would have fit the phenomena better or equally well (Hoskin, 1997). Thus, when Copernicus and Galileo developed their heliocentric theories, the space of possible theories was very strongly constrained by the phenomena. The constraints on contemporary theoretical physics are even more extreme: There is a vast body of robust and undisputed patterns ranging from particle physics to astronomy, and any new theory of physics needs to be consistent with all of these patterns.

심리학에서의 상황은 매우 다르다. 이를 보기 위해 데이터와 현상의 구분을 상기해 보자. 심리학에서는 설문지, 웨어러블 기기, 인터넷 행동 등에서 사용할 수 있는 데이터의 양이 증가하고 있다. 그러나 이러한 데이터는 종종 의심스러운 품질(다음 절 참조)이며, 심리 과학의 많은 분야는 여전히 생물학이나 물리학에 필적할 만한 강력한 현상의 큰 본체를 가지고 있지 않다.

The situation in psychological science is very different. To see this, let us recall the distinction between data and phenomena. In psychological science, there is an increasing amount of data available from questionnaires, wearable devices, Internet behavior, and so on. However, these data are often of questionable quality (see the next section), and many areas of psychological science still have no large body of robust phenomena comparable to that of biology or physics.

예를 들어, [자아 고갈 효과]를 고려해보자. 이전에 자제력이 필요한 작업에 참여한 후(예: 쿠키를 먹고 싶은 유혹에 저항하는) 사람들이 자제력이 필요한 작업(예: 어려운 퍼즐 풀기)에서 더 나쁜 성과를 거두는 현상. 이 현상을 설명하는 독창적이고 매우 영향력 있는 이론은 자기 통제의 힘(또는 근육 또는 자원) 모델이며, 이에 따르면 [자기 통제]는 자기 통제가 필요하고 고갈될 수 있는 모든 작업에 사용되는 제한적이고 도메인-일반적인 자원이다.

As an example, consider the ego-depletion effect (Baumeister et al., 1998, 2000): the phenomenon that people perform worse on a task requiring self-control (e.g., solving a difficult puzzle) after having previously engaged in a task requiring self-control (e.g., resisting the temptation to eat cookies). The original and highly influential theory explaining this phenomenon is the strength (or muscle, or resource) model of self-control, according to which self-control is a limited and domain-general resource that is used by any tasks that require self-control and can be depleted (Baumeister et al., 1998, 2000).

이 이론을 지지하는 것으로 보이는 수백 개의 연구가 발표되었다(Inzlicht & Friese, 2019). 그러나 최근 몇 년 동안 자아 고갈 효과 자체와 그 이면에 있는 이론 모두에 의문이 제기되었다. 멀티랩 사전 등록 복제 연구에서 자아 고갈에 대한 증거는 거의 발견되지 않았다. 전체 효과 크기는 작았고(d = 0.04) 대부분의 참여 실험실의 경우 효과 크기의 95% 신뢰 구간이 0을 포함했다. 저자들은 "만약 어떤 효과가 있다면, 그것은 0에 가깝다" 더욱이 효과가 실제적이라 하더라도, 이용 가능한 근거는 자기통제의 강도모델 외에 다른 이론과도 양립할 수 있다는 지적이 있었다(Inzlicht & Friese, 2019). 예를 들어, Inzlicht와 Schmeichel(2012)이 제안한 프로세스 모델에서는 고갈된 일반적인 자원 대신 동기부여 감소와 관심의 이동에 의해 자아 고갈 효과가 설명된다.

Hundreds of studies that seem to support this theory have been published (Inzlicht & Friese, 2019). However, in recent years, both the ego-depletion effect itself and the theory behind it have been called into question (Friese et al., 2019). In a multilab preregistered replication study (Hagger et al., 2016), little evidence for ego depletion was found: The overall effect size was small (d = 0.04), and for most of the participating laboratories, the 95% confidence intervals of the effect size included zero. The authors concluded that “if there is any effect, it is close to zero” (p. 558). Moreover, it has been pointed out that even if the effect is real, the available evidence is compatible with other theories in addition to the strength model of self-control (Inzlicht & Friese, 2019). For example, in the process model proposed by Inzlicht and Schmeichel (2012), the ego-depletion effect is explained by reduced motivation and shifts in attention instead of a generic resource that is depleted.

중요한 것은 이것이 유일한 예가 아니라는 것이다. 심리학에서 발견의 수많은 복제 실패는 [심지어 잘 확립되었다고 생각되었던 현상]들(예: 고정관념 위협, 신생아 모방, 다양한 프라이밍 효과)도 심리학의 다른 영역에서도 상황은 비슷하다는 것을 시사한다. 다시 말해, 심리학 분야에서는 이론에 강한 제약을 가하는 광범위한 강력한 현상이 존재하지 않는다. 이는 가능한 이론들이 증거에 의해 [과소 결정]된다는 것을 의미한다. 즉, 사용 가능한 증거(즉, 관련 현상)는 우리가 어떤 이론을 진실이라고 믿어야 하는지 결정하기에 충분하지 않다(Stanford, 2017). 이런 점에서 [비교적 강력한 현상]이 거의 확립되지 않은 심리학 분야에서 [이론적인 진보]가 거의 이루어지지 않은 것은 놀라운 일이 아니다.

Importantly, this is not an isolated example. The numerous replication failures of findings in psychology, even phenomena that were thought to be well established (e.g., stereotype threat, neonatal imitation, various priming effects; Bird, 2018), suggest that the situation is similar in other areas of psychology (Inzlicht & Friese, 2019). In other words, in many areas of psychology, there is no broad range of robust phenomena that would impose strong constraints on theories. This means that the possible theories are underdetermined by evidence: The available evidence (i.e., the relevant phenomena) is not sufficient to determine which theory we should believe to be true (Stanford, 2017).3 In this light, it is not surprising that little theoretical progress has been made in areas of psychology in which relatively few robust phenomena have been established.

심리학에서 좋은 이론이 왜 그렇게 적은지를 설명하는 또 다른 중요한 요소는 심리 구조를 개선하고 검증하는 데 관심이 부족하다는 것이다. 심리학 문헌에서 우리는 점점 더 많은 수의 심리학 구조를 발견한다. 새로운 구조와 그에 상응하는 척도가 지속적으로 도입되고, 오래된 구조처럼 보이는 것에 대해 새로운 용어가 발명되며, 명백히 다른 구조에 대해 동일한 용어가 사용된다(Hagger, 2014). 예를 들어, 엘렌 스키너(1996)는 통제 심리학 문헌의 구조에 대한 리뷰에서 [인식된 통제]와 관련된 구조만 30개 이상 발견했으며, 그 이후로 더 많은 구조물이 소개되었다(Hagger, 2014).
Another important factor explaining why there are so few good theories in psychology is the lack of attention on improving and validating psychological constructs. In the psychological literature, we find a large and increasing number of psychological constructs. New constructs and corresponding scales are constantly introduced, new terms are invented for what seem to be old constructs, the same term is used for apparently different constructs, and so on (Hagger, 2014). For example, in her review of constructs in the psychological literature on control, Ellen Skinner (1996) found more than 30 constructs related to perceived control alone, and since then many more have been introduced (Hagger, 2014).

원칙적으로, 수용 가능한 과학적 구조가 되기 위해서는, 이러한 모든 심리적 구조가 타당성을 가져야 한다. 구인 타당성의 개념은 Cronbach와 Meehl(1955)에 의해 도입되었으며, 그 의미는 그 후 수십 년 동안 크게 진화 및 영향을 받았다. 핵심 아이디어 중 일부는 구조가 [이론적 프레임워크](또는 Cronbach & Meehl의 처음 표현에 따르자면 "노몰로지 네트워크")에 포함되어야 하며, [구인의 측정]은 [측정하려는 것을 측정한다]는 의미에서 타당해야 한다는 것이다.
In principle, to be acceptable scientific constructs, all of these psychological constructs should have construct validity. The notion of construct validity was introduced by Cronbach and Meehl (1955), and its meaning has greatly evolved and ramified in the decades that followed (Newton & Shaw, 2013). Some of the core ideas are that the construct should be embedded in a theoretical framework (or a “nomological network” as originally phrased by Cronbach & Meehl, 1955) and that measurements of the construct should be valid in the sense that they measure what they are intended to measure (Borsboom et al., 2004).

문제는 구인 타당성이 결정적으로 중요하다는 데 널리 동의하지만, 실제로 심리학자들은 신뢰성과 같은 척도에 비교하자면, 구인 타당도에는 거의 주의를 기울이지 않는다는 것이다. 예를 들어, Flake et al(2017)은 Journal of Personality and Social Psychology에 게재된 논문의 무작위 샘플을 검토한 결과, 검토한 논문의 대부분이 사용된 구조에 대한 타당성 증거를 전혀 보고하지 않았다는 것을 발견했다. 증거가 보고되었을 때, 그것은 일반적으로 다른 기사에 대한 인용만으로 구성되었다. 마찬가지로 Zumbo와 Chan(2014)에 수집된 논문은 심리학자들이 상대적으로 타당성 증거를 적게 보고하고 다른 심리측정학적 특성, (가장 주요하게는) [신뢰성에 훨씬 더 집중하는 경향]이 있음을 보여준다. 이에 대한 가장 간단한 설명은 신뢰성 증거를 제공하는 것이 비교적 쉬운 반면, 타당성 증거를 제공하는 것은 매우 어렵다는 것이다. 전자의 경우 크론바흐의 α와 같이 잘 확립되고 정량화된 측정값이 있다. 후자의 경우 단순한 정량적 측정이 없으며, 구성 타당성이 무엇인지 또는 타당성 증거가 어느 정도여야 하는지에 대한 합의조차 이루어지지 않았다(Newton & Shaw, 2013). 구성 타당성이 교과서 및 지침서에 자주 등장하는 "시험은 측정하고자 하는 것을 측정해야 한다"는 문구로 이해된다면, 타당성을 확립하려면 관심 속성의 변동이 실제로 시험 점수의 변동을 야기하고 있음을 보여줄 필요가 있다. 이런 종류의 구조 검증은 거의 이루어지지 않기 때문에, 그 결과 심리학은 타당성을 알 수 없는 수많은 심리 구조들에 의해 스며들고 있다.

The problem is that although it is widely agreed that construct validity is crucially important, in practice psychological scientists give it very little attention compared with measures such as reliability. For example, Flake et al. (2017) reviewed a random sample of articles published in Journal of Personality and Social Psychology and found that most of the articles reviewed reported no validity evidence whatsoever for the constructs used. When evidence was reported, it typically consisted only of a citation to another article. Likewise, the articles collected in Zumbo and Chan (2014) show that psychological scientists tend to report relatively little validity evidence and focus much more on other psychometric properties, most importantly reliability. The simplest explanation for this is that providing reliability evidence is relatively easy, whereas providing validity evidence is very hard. For the former, there are well-established and quantified measures, such as Cronbach’s α. For the latter, there is no simple quantitative measure, and there is not even agreement on what construct validity is or what validity evidence should amount to (Newton & Shaw, 2013). If construct validity is understood in terms of the phrase “the test should measure what it is intended to measure,” which often appears in textbooks and guidelines, then establishing validity requires showing that variation in the attribute of interest is actually causing the variation in the test scores (Bringmann & Eronen, 2016; Borsboom et al., 2004). As construct validation of this kind is hardly ever done, the result is that psychological science is permeated by numerous psychological constructs of unknown validity (Flake et al., 2017; Fried & Flake, 2018).

자아 고갈 연구는 이것의 대표적인 예이다. 루르퀸과 미야케(2017)가 지적하듯이 핵심 개념인 '자기통제'가 명확하게 정의되거나 운용된 적은 없다. 종종 이 통제의 성격을 더 구체적으로 명시하지 않고 생각, 감정 또는 행동에 대한 모든 종류의 (억제적) 통제를 지칭하기 위해 매우 광범위하게 사용된다(Lurquin & Miyake, 2017). 또한 자아 고갈 연구에서 자기 통제를 측정하거나 조작하는 데 사용되는 설정은 검증되지 않았다. 최근 연구에서 윔머 외 연구진(2019)은 자아 고갈을 유도하기 위해 가장 널리 사용되는 작업 중 하나인 [편지 취소 작업]을 체계적으로 테스트했는데, 참가자들은 복잡한 규칙에 따라 문자를 지워야 한다. 그들은 이 작업이 자기 통제나 억제 통제에 영향을 미친다는 어떤 증거도 발견하지 못했다.

Ego-depletion research is a prime example of this. As Lurquin and Miyake (2017) point out, the key concept “self-control” has never been clearly defined or operationalized. It is often used very broadly to refer to any kind of (inhibitory) control over thoughts, emotions, or actions without further specifying the nature of this control (Lurquin & Miyake, 2017). Moreover, the setups that are used to measure or manipulate self-control in ego-depletion studies have never been validated (Inzlicht & Friese, 2019). In a recent study, Wimmer et al. (2019) systematically tested one of the most widely used tasks to induce ego depletion, the letter-cancellation task, in which participants have to cross off letters following complex rules. They did not find any evidence that this task would affect self-control or inhibitory control (Wimmer et al. 2019).

임상심리학에서 예로 주요 우울증(MDD)을 들 수 있다. MDD의 정의는 1970년대부터 시작되었으며, 그 이후로는 근본적으로 바뀌지 않았다. 예를 들어, MDD의 다른 경우에 큰 이질성이 있기 때문이다. (예를 들어, 두 사람이 단일 증상을 공유하지 않고 MDD를 가질 수 있다.) MDD 자체가 잘 정의된 카테고리인지 의심스럽다. 또한, MDD를 측정하는 데 사용되는 수많은 척도는 내용이 중복되지 않는 경우가 많아 실제로 하나의 동일한 구조를 측정하는 것인지 불분명하다.

As an example from clinical psychology, consider major depressive disorder (MDD). The definition of MDD stems from the 1970s and has not essentially changed since then, although it is increasingly clear that the validity of the construct is problematic (De Jonge et al., 2015; Fried, 2017). For example, because there is great heterogeneity in different cases of MDD (e.g., two individuals can have MDD without sharing a single symptom), it is doubtful that MDD in itself is a well-defined category (Fried, 2017). In addition, the numerous scales that are used to measure MDD often have little content overlap, making it unclear whether they are really measuring one and the same construct (Fried, 2017; Fried & Flake, 2018).

이러한 예들을 자연과학과 대조하는 것은 명확하다. 자연과학의 개념이나 분류는 추가 실험과 관찰을 통해 그리고 그것들이 내재된 이론적 틀을 개선함으로써 지속적으로 정제된다. 초기에 거칠고 잘못 정의된 개념(예: 상식적인 개념 "물고기fish")은 정제되고 재개념화된다. (예를 들어, 린네의 전통적인 종 분류법에서 물고기Pisces라는 개념으로, 대략 물 속에서 영원히 사는 지느러미 동물로 정의된다.) 그리고 새로운 버전은 새로운 이론과 증거에 기초하여 다시 테스트되고 조정된다. (예를 들어, 물고기는 더 이상 과학적 범주로 간주되지 않고 진화적 관계에 기초하여 몇 개의 다른 부류로 나뉘었다.)
It is illuminating to contrast these examples with the natural sciences. Concepts or classifications in the natural sciences are constantly refined through further experiments and observations and by improving the theoretical framework in which they are embedded. A concept that is initially rough and poorly defined (e.g., the commonsense notion “fish”) is refined and reconceptualized (e.g., into the concept “Pisces” in the traditional Linnaean taxonomy of species, defined roughly as finned animals perpetually living in water), and then the new version is again tested and adjusted on the basis of new theories and evidence (e.g., “Pisces” is no longer considered a scientific category but has been divided into several distinct classes on the basis of evolutionary relationships).

이것의 예는 과학에 많이 있다. 예를 들어, "전자"라는 개념은 1890년대에 물리학에 도입되었고, 처음에는 전하의 기본 단위를 의미했지만, 그 이후 양자 이론과 같은 실험과 이론적 발전을 통해 그 의미가 진화했고, 현재 "전자"는 페르미온이고, 전하가 -1인 소립자를 가리킨다. 1/2 등등.  Chang(2004, 2016)은 이 과정을 "인식적 반복"이라고 부르며, "특정 인식론적 목표의 달성을 강화하기 위해, 각각에 선행한 것 위에 구축되는, 지식의 연속적인 단계가 만들어지는 과정"이라고 특징짓는다(Chang, 2004, p.224).

Examples of this are abundant in the sciences: For example, the concept “electron” was introduced to physics in the 1890s, and it initially meant an elementary unit of electric charge, but since then its meaning has evolved through experiments and theoretical advances such as the quantum theory, and now “electron” refers to an elementary particle that is a fermion, has a charge of −1, spin of 1/2, and so on. Chang (2004, 2016) calls this process “epistemic iteration” and characterizes it as “a process in which successive stages of knowledge, each building on the preceding one, are created in order to enhance the achievement of certain epistemic goals” (Chang, 2004, p. 224)

이와는 대조적으로 심리학에서는 공식 지침이 검증의 중요성과 진행 중인 프로세스로 어떻게 봐야 하는지를 강조하지만, 이러한 반복은 표준이 아니다(Flake et al., 2017). 그러나 몇 가지 긍정적인 예외가 있다. 예를 들어, 에빙하우스가 1880년대에 기억의 과학적 연구를 개척했을 때, 그는 "기억"을 하나의 상식적인 개념으로 취급하고 있었고, 다른 종류의 기억들을 구별하지 않았다. 이후 연구, 특히 1950년대부터 시작된 [비선언적 기억]과 [선언적 기억]과 같은 많은 종류의 기억들이 도입되었으며, 그 중 [후자(선언적 기억)]는 [에피소드적 기억]과 [의미적 기억]으로 더 나눌 수 있다. 기억의 다른 범주와 종류는 고정되어 있지 않지만 새로운 증거와 주장에 비추어 여전히 정제되고 논의되고 있다(Tulving, 2007).
In contrast, in psychology, this kind of iteration is not the norm, although official guidelines emphasize the importance of validation and how it should be seen as an ongoing process (Flake et al., 2017). There are, however, some positive exceptions (see also Kendler, 2012). For example, when Ebbinghaus pioneered the scientific study of memory in the 1880s, he was treating “memory” as a monolithic commonsense notion and did not distinguish between different kinds of memory (Tulving, 2007). In subsequent research, especially starting from the 1950s, many different kinds of memory have been introduced, such as nondeclarative and declarative memory, the latter of which can be further divided into episodic and semantic memory (Michaelian & Sutton, 2017). The different categories and kinds of memory are not fixed but are still refined and debated in light of new evidence and arguments (Tulving, 2007).

심리학적 구조가 종종 변화에 그렇게 저항하는 실용적인 이유 중 하나는, 윌리엄 윔샛에 의해 만들어지고 개발된 개념인 , "생성적 고착(알박기)"이다. 일단 어떤 개념이 그것에 따라 다른 많은 개념, 이론, 또는 실천을 가지면, 그것은 "고착"이 되고, 그것이 부족하거나 문제가 있다고 알려져도 바꾸기가 매우 어려울 것이다. 개념을 바꾸면 그에 따라 구조가 무너져 재앙이나 혁명으로 이어질 수 있기 때문이다. 심리학적 구조(특히 임상심리학)는 다른 이론과 모델뿐만 아니라 사회 전반에서도 적용되기 때문에 시간이 지남에 따라 깊이 자리 잡게 되는 경우가 많다. 예를 들어, MDD와 같은 구조는 환자를 진단하거나 건강보험에 대한 결정을 내리는 데 중요한 역할을 한다.
One practical reason why psychological constructs are often so resistant to change is “generative entrenchment,” a concept coined and developed by William Wimsatt (1986, 2007). Once a concept has many other concepts, theories, or practices depending on it, it becomes “entrenched” and will be very difficult to change, even if it is known to be deficient or problematic. This is because changing the concept could collapse the structures depending on it, leading either to a disaster or a revolution (Wimsatt, 2007, p. 140). Psychological constructs (especially in clinical psychology) often become deeply entrenched over time, as they have applications not only in other theories and models but also in society at large. For example, constructs such as MDD play an important role in diagnosing patients or in making decisions about health insurance.

그러나 인식론적 반복과 심리적 구조의 검증은 이론의 위기에서 벗어나는 방법을 찾는 데 결정적으로 중요하다. 앞 절에서 주장했듯이 [좋은 이론의 근거]는 [강력한 현상]이다. 결국, 현상은 데이터에서 추론되며, 데이터가 대부분 잘 이해되거나 검증되지 않은 구성과 측정을 기반으로 한다면, 추론된 현상은 강력하지 않을 것이다. 다시 말해, 심리학에서 강력한 현상이 없는 한 가지 원천은 구성 검증 과정에 대한 강조의 부족이다.
However, epistemic iteration and validation of psychological constructs is crucially important for finding a way out of the theory crisis. As we argued in the previous section, the basis for good theories is robust phenomena. Phenomena, in turn, are inferred from data, and if the data are based on constructs and measurements that for the most part have not been well understood or validated, the phenomena that are inferred are unlikely to be robust. In other words, one source for the lack of robust phenomena in psychology is the lack of emphasis on the process of construct validation.

심리학에서 좋은 이론이 그렇게 적은 세 번째 이유는 심리적 원인을 찾는 것이 매우 어렵기 때문이다. 좋은 이론의 주요 특징은 어떤 식으로든 인과관계를 추적해야 한다는 데 널리 동의되고 있다. 예를 들어 다윈의 진화론은 진화의 원인(자연선택)을 기술했고, DNA 이론은 유전의 인과적 메커니즘을 기술했다. 이러한 관점에서, 심리학적 이론들이 정신이 어떻게 작용하는지를 설명하는 것을 목표로 하는 한, 정신의 인과적 메커니즘을 또한 반영해야 한다고 요구하는 것은 타당하다. 즉, 심리적 변수들 간의 인과관계를 포착해야 한다.
The third reason why there are so few good theories in psychology is that finding psychological causes is extremely challenging. It is widely agreed that a key feature of good theories is that they should, in one way or another, track causal relationships (e.g., Craver, 2007; Pearl, 2000; Woodward, 2003). For example, Darwin’s theory of evolution described the causes of evolution (natural selection), and the DNA theory describes the causal mechanism of inheritance. In this light, it is reasonable to require that psychological theories, insofar as they aim to explain how the mind works, should also reflect the causal mechanisms of the mind (Bechtel, 2008; Thomas & Sharp, 2019). In other words, they should capture causal relationships between psychological variables.

그러나 문제는 Eronen(2020)에서 광범위하게 주장되었듯이 심리적 변수들 간의 인과관계를 발견하는 것이 종종 극도로 어렵거나 불가능하다는 것이다. 그 이유를 설명하기 위해 인과관계를 명확하고 일반적인 방법으로 추론할 수 있는 조건을 제시하는 개입주의적 인과관계의 틀에 의존한다. 
The problem, however, is that discovering causal relationships between psychological variables is often extremely difficult or impossible, as extensively argued in Eronen (2020). To explain why, we rely on the framework of the interventionist theory of causation (Woodward, 2003, 2015; see also Pearl, 2000, 2009), which lays out the conditions for inferring causal relationships in a clear and general way.

[인과관계]의 특징은 (상관관계와 달리) 조작과 통제에 이용될 수 있는 관계라는 것이다. [원인에 개입]하는 것은 [효과의 변화]를 가져오는 방법이다. 개입주의 이론은 이것을 출발점으로 삼아 다음과 같이 인과관계를 정의한다. 다른 변수가 해당 값에 고정되어 있을 때 X에 개입하여 Y를 변경할 수 있는 경우에만 X가 Y의 원인입니다. [개입]은 [Y에 대한 X의 교란 없는unconfounded 조작]이어야 한다: 즉, 'X를 조작'했을 때, [X를 거치지 않는 다른 경로]를 통해 Y를 변화시켜서는 안 된다. (더 정확한 정의는 Eronen, 2020; Woodward, 2003 참조). 실제로 개입을 수행할 필요가 항상 있는 것은 아닙니다. 
때때로 예를 들어 관찰 데이터를 기반으로 간접적으로 개입의 효과에 대한 지식을 얻는 것이 가능하다. 또한, 루빈의 인과관계 모델(예: 루빈, 2005)이나 캠벨의 인과관계 모델(예: 샤디쉬 외, 2002)과 같이 심리과학자들에게 더 친숙한 인과관계에 대한 다른 접근법에서도 동일한 생각이 다른 형태로 나타난다.

The characteristic feature of causal relationships is that (unlike correlations) they are relationships that are exploitable for manipulation and control: Intervening on the cause is a way of bringing about a change in the effect. The interventionist theory takes this as the starting point and defines causation (roughly) as follows: X is a cause of Y if (and only if) it is possible to intervene on X to change Y when other variables are held fixed to their values. The intervention should be an unconfounded manipulation of X with respect to Y: The manipulation of X should not change Y via any other route that does not go through X (for more precise definitions, see Eronen, 2020; Woodward, 2003). It is not always necessary to actually perform an intervention; sometimes it is possible to gain knowledge about the effects of interventions indirectly, for example, on the basis of observational data. The same ideas also appear in different forms in other approaches to causation that are more familiar to psychological scientists, such as Rubin’s causal model (e.g., Rubin, 2005) or Campbell’s causal model (e.g., Shadish et al., 2002).

무작위 대조 시험은 일반적으로 인과 추론을 위한 "금본위제"로 간주되며 위의 조건을 만족시킨다. 예를 들어, 약물 실험에서 참가자는 무작위로 치료 및 대조군에 할당되며, 이 무작위화는 원인(약물)과 효과(회복)가 아닌 다른 변수를 "고정"하는 효과를 생성한다. 치료 그룹의 참가자에게 약물을 투여하는 개입은 근거가 없어야 한다. 예를 들어, 알약에는 약물 자체를 순환하는 원인 경로를 통해 회복에 영향을 미치는 다른 성분이 있어서는 안 된다.
Randomized controlled trials are usually taken to be the “gold standard” for causal inference and for satisfying the above conditions. For example, in a drug trial, participants are randomly assigned to treatment and control groups, and this randomization generates the effect of “holding fixed” other variables than the cause (the drug) and the effect (recovery). The intervention of administering the drug to participants in the treatment group should be unconfounded: For example, there should not be other ingredients in the pill that would affect recovery through a causal route that goes around the drug itself.

많은 [심리 실험]은 약물, 교육 자료 또는 시각 및 청각 자극과 같은 비심리적 원인의 조작을 포함한다(Eronen, 2020). 이러한 경우, 올바른 종류의 개입을 수행하는 것은 원칙적으로 다른 분야보다 어렵지 않다. 따라서 다음의 주장은 외적 독립 변수를 조작하고 심리적 영향을 추적하는 빌헬름 분트까지 거슬러 올라가는 오래된 실험 전통과 관련이 없다. 그러나 정신의 [인과적 메커니즘]을 기술하는 [실체적인 심리학 이론substantive psychological theory]을 개발하는 것이 목적이라면, [외부 독립 변수]와 [심리적 변수] 사이의 인과 관계를 확립하는 것만으로는 충분하지 않다. 우리는 또한 [심리적 변수]들 사이의 인과관계를 배울 필요가 있다. 그리고 이것을 하기 위해서, 우리는 개입이 심리적 변수에 미치는 영향에 대해 배울 필요가 있다.

Many psychological experiments involve the manipulation of nonpsychological causes, such as drugs, educational materials, or visual and auditory stimuli (Eronen, 2020). In such cases, performing the right kinds of interventions is in principle not more difficult than in other fields. Therefore, the following arguments do not concern the venerable experimental tradition, going all the way back to Wilhelm Wundt, of manipulating external independent variables and tracking their psychological effects. However, if the aim is to develop substantive psychological theories that describe causal mechanisms of the mind, establishing causal relationships between external independent variables and psychological variables is not enough: We also need to learn causal relationships between psychological variables. And to do this, we need to learn about the effects of interventions on psychological variables.

[심리적 변수]에 대한 개입의 문제는 일반적으로 "뚱뚱한 손"이라는 것이다. 이 variable는 대상 variable 하나만 변경하는 것이 아니라 여러 다른 variable도 바꿔놓습니다. 생각이나 영향 등 심리적 변수를 직접 조작할 방법이 없기 때문이다. 대신, 그들은 구두 지시나 다른 외부 자극을 통해 간접적으로 조작되어야 하며, 그러한 기술은 일반적으로 하나의 변수만 변경할 정도로 정확하지 않다. 예를 들어, (적어도 현재) 동기, 주의 또는 불안감과 같은 다른 심리 상태를 변경하지 않고 [통제력 상실의 감정을 조작하는 것]은 불가능하다. 또한 심리적 변수는 예를 들어 자기 보고서나 행동 대용물을 기반으로 간접적으로만 측정할 수 있다(De Houwer, 2011). 따라서 개입이 정확히 어떤 변수를 변경했는지, 따라서 어느 정도까지 뚱뚱했는지 검증하거나 확인하는 것이 매우 어렵습니다.

The problem with interventions on psychological variables is that they are typically “fat-handed” (Eronen, 2020)4: They do not change just the one variable that is targeted but several other variables as well. This is because there is no direct way of manipulating psychological variables such as thoughts or affects (Chiesa, 1992; Hughes et al., 2016). Instead, they have to be manipulated indirectly via verbal instruction or other external stimuli, and such techniques are typically not precise enough to change just one variable. For example, it is (at least currently) impossible to manipulate feelings of loss of control without changing any other psychological states, such as motivation, attention, or feelings of anxiety. Moreover, psychological variables can be measured only indirectly, for example, on the basis of self-reports or behavioral proxies (De Houwer, 2011). This makes it very difficult to verify or check what variables the intervention precisely changed and therefore to what extent it was fat-handed.

이것은 심리적인 원인을 찾는 데 문제를 일으키는데, 왜냐하면 개입이 뚱뚱할 때, 우리는 그것들이 [인과적 추론]을 할 수 있게 만들어주는 [교란 없는unconfounded 조작manipulation]이라고 가정할 수 없기 때문이다. 보다 구체적으로, 우리는 그것들이 추정 원인 X를 통과하는 경로를 통해서만 추정 효과 Y를 변화시킨다고 가정할 수 없다. 이것을 설명하기 위해, 다시 한번 자아 고갈 연구에 초점을 맞추자. 자아 고갈 실험에서, 자기 통제는 매우 다양한 방식으로 조작된다(예: 참가자가 복잡하거나 좌절하는 작업이나 게임에 참여하게 하거나 맛있는 음식을 먹고 싶은 유혹을 뿌리치게 함으로써). Friese et al., 2019. 두 번째 작업에서 자기 통제가 성능 저하의 원인이라는 결론을 보증하기 위해, 이러한 개입은 추정 효과(즉, 두 번째 작업에서 성능 저하)와 관련하여 근거 없는 자기 통제의 조작이어야 한다. 다시 말해, 그들은 효과의 다른 가능한 원인(예: 동기, 주의, 분노의 감정)에 영향을 미치지 않는 방식으로 자기 통제를 변화시켜야 한다. 그러나 개입의 다소 일반적인 성격과 자기 통제 및 관련 구성(동기, 주의 등)의 인과 구조에 대한 우리의 지식이 부족하다는 점을 고려할 때, 
우리는 현실적으로 이것이 사실이라고 가정할 수 없다. 예를 들어, 쿠키를 먹고 싶은 유혹에 저항하는 것은 또한 동기부여에 영향을 미치거나 분노와 좌절의 감정을 유발시킬 수 있다. 이는 자아 고갈 실험이 감소된 자기 통제 자원이 두 번째 작업에서 성능 저하에 대한 원인이라는 충분한 증거를 제공하지 않는다는 것을 의미하며, 이는 실제로 최근 연구 상태에 대한 검토에서 도달한 결론과 일치한다.

This creates a problem for finding psychological causes because when interventions are fat-handed, we cannot assume that they are unconfounded manipulations that license causal inferences. More specifically, we cannot assume that they change putative effect Y only via a route that goes through the putative cause X. To illustrate this, let us again focus on ego-depletion research. In ego-depletion experiments, self-control is manipulated in very diverse ways (e.g., by letting participants engage in a complex or frustrating task or game or by letting them resist the temptation to eat delicious food; Friese et al., 2019). To warrant the conclusion that self-control is the cause of impaired performance in the second task, these interventions should be unconfounded manipulations of self-control with respect to the putative effect (i.e., impaired performance in the second task). In other words, they should change self-control in such a way that other possible causes of the effect are not affected (e.g., motivation, attention, feelings of anger). However, given the rather general nature of the interventions and our lack of knowledge of the causal structure of self-control and related constructs (motivation, attention, etc.), we cannot realistically assume that this is the case (Friese et al., 2019). For example, resisting the temptation to eat cookies might also affect motivation or induce feelings of anger and frustration. This means that ego-depletion experiments do not provide sufficient evidence that a diminished self-control resource is the cause for the impaired performance in the second task which is indeed in line with the conclusion reached in recent reviews of the state of the research (Friese et al., 2019; Inzlicht & Friese, 2019).

요약하면, [심리 변수에 대한 개입]은 [뚱뚱한 손]일 가능성이 높으며, 그러한 개입은 인과 추론의 [신뢰할 수 있는 근거를 제공하지 못한다]. 심리변수에 대한 개입은 종류가 완전히 다르고 외부변수에 대한 개입보다 훨씬 어렵기 때문에 외부요인을 조작하고 그 심리적 영향을 추적하는 실험적 전통은 단순히 심리변수를 조작하는 것으로 확장될 수 없다(Chiesa, 1992; De Houwer, 2011 참조). 심리학 이론이 인과관계를 추적해야 하는 한, 이는 심리학에서 좋은 이론이 왜 그렇게 적은지, 그리고 왜 그렇게 발전하기 어려운지를 설명하는 데 중요한 요소이다.
In sum, interventions on psychological variables are likely to be fat-handed, and such interventions do not provide a reliable basis for causal inference. The experimental tradition of manipulating external factors and tracking their psychological effects cannot simply be extended to manipulate psychological variables, as interventions on psychological variables are entirely different in kind and far more difficult than interventions on external variables (see also Chiesa, 1992; De Houwer, 2011). Insofar as psychological theories should track causal relationships, this is an important factor in explaining why there are so few good theories in psychology and why they are so difficult to develop.

이 글에서는 좋은 심리이론을 개발하는 데 있어 세 가지 근본적인 어려움에 대해 논의하였다. 

• (충분한) 강력한 현상의 부족,
• 심리적 구조에 대한 타당성과 인식론적 반복의 부족,
• 심리적 원인 정립의 문제 등

이러한 문제들은 이론 위기 해결에 진전을 이루기 위해 다루어지고 논의되어야 한다. 우리는 이제 이러한 문제에 기초하여 심리 연구에 대한 몇 가지 권장 사항을 개략적으로 설명한다.

In this article, we have discussed three fundamental difficulties in developing good psychological theories:

• the lack of (sufficient) robust phenomena,
• the lack of validity and epistemic iteration for psychological constructs, and
• the problem of establishing psychological causes.

These issues should be addressed and discussed to make progress in resolving the theory crisis. We now outline several recommendations for psychological research on the basis of these issues.

첫째, 우리의 논의는 심리학에서 최근 더 많은 "현상 감지" 또는 "현상 주도 연구"에 대한 요구를 지지한다. [새로운 현상을 발견]하고, 이미 발견된 것에 대한 보다 강력한 증거를 수집함으로써 가능한 이론의 공간은 제한될 것이다. 

First, our discussion supports the recent calls for more “phenomena detection” or “phenomenon-driven research” in psychology (Borsboom et al., 2021; De Houwer, 2011; Haig, 2013; see also Trafimow & Earp, 2016). By discovering new phenomena and gathering more robust evidence for those already discovered, the space of possible theories will be constrained.

[현상 주도 연구]를 지지하는 또 다른 중요한 이유는 현상이 과학과 사회에 매우 중요할 수 있기 때문이다(Eronen, 2020). 
예를 들어 확증편향과 같이 심리학자들이 발견한 광범위한 인지편향은 대부분 매우 강력한 현상이다(길로비치 외, 2002). 이러한 현상을 설명하기 위해 다양한 이론이 제안되었는데, 예를 들어, 사람들이 간단한 휴리스틱으로 어려운 계산을 대체한다고 보는 [속성-대체 이론]이나, 이것보다 훨씬 일반적인 [이중 시스템 이론](Kaneman & Frederick, 2002) 등이 있다. 그러나 이러한 이론들은 현상 자체보다 훨씬 더 논란이 많다. 더욱이, 이러한 [현상들이 존재한다는 것]을 아는 것은 비록 우리가 그 이면의 이론이나 메커니즘을 알지 못하더라도 과학과 사회에 매우 중요하다. 심리학에서 발견된 광범위한 다른 강력한 현상, 예를 들어, 사람들이 [익숙하지 않은 자극]보다 [익숙한 자극]을 선호하는 경향이 있는 현상도 마찬가지다(즉, 단순한 노출 효과; Bornstein, 1989). 이러한 [현상이 존재한다는 것]을 [아는 것, 그리고 그것을 기술하는 것]은 그것들을 설명할 수 있는 받아들여진 이론이 없는 경우에도 유용하다. 

Another important reason to support phenomenon-driven research is that phenomena can also be extremely important for science and society as such (https://doi.org/10.1016/j.newideapsych.2020.100785" data-mce-href="https://journals.sagepub.com/doi/10.1177/1745691620970586#">Eronen, 2020): Consider, for example, the broad range of cognitive biases that psychologists have discovered, such as confirmation bias, most of which are very robust phenomena (Gilovich et al., 2002). Various theories have been proposed to explain these phenomena, such as the attribute-substitution theory, according to which people substitute difficult computations with simple heuristics, or the more general dual-system theory (Kahneman & Frederick, 2002). However, these theories are far more controversial than the phenomena themselves. Moreover, knowing that these phenomena exist is extremely important for science and society, even if we do not know the theory or mechanism behind them. The same holds for a broad range of other robust phenomena discovered in psychology, for example, the phenomenon that people tend to prefer familiar stimuli to unfamiliar ones (i.e., the mere-exposure effect; Bornstein, 1989). Simply knowing that these phenomena exist and describing them is useful, even in the absence of an accepted theory that would explain them.

발견되고 기술되는 것 외에도, [서로 다른 현상들에서 공유된 추상적 구조]를 찾아냄으로써 현상을 더욱 분석할 수 있다(Hughes et al., 2016). 예를 들어, 추상적 수준에서, [끊임없이 전화기를 확인]하고 [사탕으로 아이들의 좋은 행동을 보상하는 것]이라는 이 두 가지 서로 다른 현상들은 둘 다 (긍정적) 강화의 사례로 볼 수 있다(Hughes et al., 2016). 이러한 모든 이유로, [현상 탐지]는 그 자체로 중요한 목표이자 심리 연구의 중심적인 부분으로 간주되어야 한다(Fiedler, 2017; Haig, 2013; Rozin, 2001 참조).
In addition to being discovered and being described, phenomena can also be further analyzed by looking for shared abstract structures in different phenomena (Hughes et al., 2016). For example, at an abstract level, phenomena as different as constantly checking your phone and rewarding the good behavior of children with candy can both be seen as instances of (positive) reinforcement (Hughes et al., 2016). For all of these reasons, phenomena detection should be seen as an important goal in itself and as a central part of psychological research (see also Fiedler, 2017; Haig, 2013; Rozin, 2001).

그러나 우리는 결코 심리학에서의 이론화가 절망적이거나 자원의 낭비이거나 정신적 과정에 대한 이론이 비과학적이라고 거부되는 일종의 행동주의로 돌아가야 한다고 제안할 생각은 없다. 우리가 제기한 문제는 극복할 수 없는 장애물이 아니라 주어진 영역에서 좋은 심리학 이론이 개발되기 전에 충족되어야 할 도전으로 보아야 한다.
However, we by no means intend to suggest that theorizing in psychology is hopeless or a waste of resources or that we should return to a kind of behaviorism in which theories about mental processes are rejected as unscientific. The issues we have raised should not be seen as insurmountable obstacles but rather as challenges that need to be met before good psychological theories can be developed in a given domain.

이제 다음 사항을 살펴보겠습니다. 최근 문헌에서 공통적으로 다루어지는 주제인 [심리이론을 좀 더 수학적으로, 형식적으로 만드는 것]이 과학으로서 심리학의 상당한 발전으로 이어질지 의문이다.5 우리가 논의한 문제들 중 어떤 것도 심리학 이론을 공식화하는 것으로 해결되지 않는다. (심리 이론을 formalize하더라도) 여전히 [이론을 제약할 강력한 현상]은 많이 나타나지 않을 것이며, 따라서 [사용된 구인]이 더 유효해지지도 않을 것이며, 공식적인 처치formal treatment만으로는 [인과관계와 뚱뚱한 개입의 문제]를 해결할 수 없다. 또한 생명과학에서 많은 성공적이고 매우 중요한 이론들은 형식화되거나 수학적인 이론이 아니다. (예: 발효 이론 또는 시냅스 전달 이론; Bechtel & Richardson, 1993; Machamer, Darden & Craver, 2000) Rozin(2001; Morey et al., 2018 참조)이 지적한 바와 같이, 복잡한 통계 및 계산 모델을 사용한다고 해서 심리학이 더 과학적이지는 않으며, [개념 및 경험적 기초(예: 강력한 현상)]가 아직 견고하지 않다면 오히려 역효과를 낼 수 있다.

This brings us to our next point: It is doubtful whether making psychological theories more mathematical or formal, which is a common theme in the recent literature (e.g., Borsboom et al., 2021; Muthukrishna & Henrich, 2019; Oberauer & Lewandowsky, 2019; van Rooij & Baggio, 2021), will lead to significant advances in psychology as a science.5 None of the problems we have discussed is solved by formalizing psychological theories: There will still be no large body of robust phenomena to constrain the theories, the constructs used do not become more valid, and a formal treatment alone does not solve the problem of causality and fat-handed interventions. Moreover, many successful and extremely important theories in the life sciences are not formalized or mathematical theories (e.g., the fermentation theory or the theory of synaptic transmission; Bechtel & Richardson, 1993; Machamer, Darden & Craver, 2000). As pointed out by Rozin (2001; see also Morey et al., 2018), using complex statistical and computational models does not make psychology more scientific and can be even counterproductive if the conceptual and empirical basis (e.g., robust phenomena) is not yet solid.

마지막으로, [이론의 기초]로서 [명확하고 투명하게 정의된 개념을 갖는 것]의 중요성을 아무리 강조해도 지나치지 않다. 이는 이론의 공식화와는 다르다. 개념은 [정성적으로 공식화된 이론]에서도 잘 정의될 수 있으며(예: 다윈의 진화론), 형식 이론은 제대로 정의되지 않은 개념을 요소로 가질 수 있다(예: 명확한 수학적 구조를 가지고 있지만 중심 개념 "밈"이 잘 정의되지 않은 밈학 모델; Kronfeldner, 2011). [개념적 명확화]와 [구인 타당화construct validation]은 연구의 중요하고 가치 있는 부분으로 간주되어야 하며, validation은 단지 넘어야 할 장애물이 아닌 반복적이고 지속적인 과정으로 간주되어야 한다. 우리가 볼 때, 심리학 이론의 개념적 기초를 강화하는 것은 적어도 심리학 연구에서 통계적 기법과 관행을 향상시키는 것만큼 중요하다.

Finally, it is hard to overemphasize the importance of having clearly and transparently defined concepts as the basis for theories. Note that this is not the same as formalization of theories: Concepts can be well defined in qualitatively formulated theories as well (e.g., Darwin’s theory of evolution), and formal theories can have poorly defined concepts as their elements (e.g., models in memetics that have a clear mathematical structure but for which the central concept “meme” is not well defined; Kronfeldner, 2011). Conceptual clarification and construct validation should be seen as an important and valuable parts of research, and validation should be taken to be an iterative and ongoing process instead of just a hurdle that needs be crossed. In our view, strengthening the conceptual basis of psychological theories is at least as important as improving statistical techniques and practices in psychological research.

장기적으로, 이것은 [명확하게 정의되고, 명확하게 측정 가능한 구인]을 가지게 해줌으로써, [표적 개입]을 수행하고 그 영향을 추적하는 것을 더 쉽게 만들어주고, 궁극적으로 [인과 추론] 문제에 도움이 될 것이다. 충분히 [잘 정의된 구조]와 [타당한 측정]으로, 순수한 [관측 데이터로부터 인과 관계를 추론]할 수도 있다(예: Eronen, 2020; Roher, 2018 참조). 심리학적 원인을 찾는 문제에 대한 또 다른 가능한 반응은, 예를 들어, 현상으로부터 추출된 추상적 기능 원리의 형태로 [비인과 이론noncausal theory]을 개발하는 것이지만, [비인과 이론]이 진정으로 설명될 수 있는지는 현재 진행 중인 논쟁의 문제이다.

In the long run, this will also help with the problem of causal inference, as having clearly defined and clearly measurable constructs makes it easier to perform targeted interventions and to track their effects. With sufficiently well-defined constructs and valid measurements, it may also be possible to eventually infer causal relationships from purely observational data (for more, see, e.g., Eronen, 2020; Rohrer, 2018). Another possible reaction to the problem of finding psychological causes is to develop noncausal theories, for example, in the form of abstract functional principles extracted from phenomena (De Houwer, 2011; Hughes et al., 2016), although whether noncausal theories can be truly explanatory is a matter of ongoing debate (see, e.g., Reutlinger & Saatsi, 2018).

다행히도, 우리가 위에서 설명한 좋은 관행을 예시하는 심리학의 지속적인 연구 프로그램들이 있다. 예를 들어, 최근 [자아 고갈 연구]에서 실망한 이후, [자기 통제 및 관련 개념]과 같은 핵심 구조를 더 잘 정의하고 이를 측정하는 다양한 방법을 검증하려는 노력이 증가하고 있다. 더 넓은 예는 먼저 [환경-행동 관계(강력한 현상)]를 확립한 후 [매개자 역할]을 하는 명확하게 정의된 정신적 구조의 관점에서 이에 대한 설명을 공식화하는 것을 목표로 하는 기능-인지 패러다임이다. 마지막으로, 보다 구체적인 예로서, Robinaugh 외 연구진(2020)은 이러한 특정 장애에 맞춤화되어 현상에 의해 제약을 받는 공황 장애에 대한 이론을 제안하고, 저자들은 또한 핵심 개념을 정의하는 데 명시적으로 초점을 맞추고 있다.
Fortunately, there are ongoing research programs in psychology that exemplify the good practices we have describe above. For example, after the recent disappointments in ego-depletion research, there are now increasing efforts to better define the key constructs, such as self-control and related concepts, and to validate different ways of measuring them (Friese et al., 2019; Inzlicht & Friese, 2019; Lurquin & Miyake, 2017). A broader example is the functional-cognitive paradigm (De Houwer, 2011; Hughes et al., 2016) that aims at first establishing environment-behavior relations (robust phenomena) and then formulating explanations for them in terms of clearly defined mental constructs that act as mediators. Finally, as a more concrete example, Robinaugh et al. (2020) propose a theory for panic disorder that is tailored to this specific disorder and thereby constrained by phenomena (there is robust evidence for many central phenomena related to panic attacks), and the authors also explicitly focus on defining the key concepts.

결론적으로, 우리는 이론 위기의 근저에 있는 가장 근본적인 요인은 주제 그 자체인 심리학이 좋은 이론을 개발하는 것을 매우 어렵게 만든다는 것이라고 믿는다(Meehl, 1978). 현대 과학 철학을 바탕으로, 우리는 심리학적 이론을 발전시키기 위한 세 가지 핵심 과제에 대해 논의했습니다. 이론을 제약할 만큼 [강력한 현상]이 없는 경우가 많고, [구인를 정의하고 검증]하는 데 충분한 주의를 기울이지 않으며, 심리적 [원인을 규명]하는 것은 매우 어렵다. 우리는 이 기사가 이러한 중요한 문제들에 더 많은 관심을 가져옴으로써 심리학의 이론적 토대를 위한 보다 견고한 구성 요소를 제공하는 데 도움이 되기를 바란다.

To conclude, we believe that the most fundamental factor underlying the theory crisis is that the subject matter itself, psychology, makes it very hard to develop good theories (https://doi.org/10.1037/0022-006X.46.4.806" data-mce-href="https://journals.sagepub.com/doi/10.1177/1745691620970586#">Meehl, 1978). Drawing on contemporary philosophy of science, we have discussed three central challenges to developing psychological theories: There are often not enough robust phenomena to constrain theories, not enough attention is paid to defining and validating constructs, and establishing psychological causes is very hard. We hope that this article brings more attention to these crucial issues and thereby helps to provide more solid building blocks for the theoretical foundations of psychology.

Abstract

Keywords: causation; phenomena; robustness; theory; validity.

1. What theories are being given an explicit role?
2. What tasks and roles are being assigned to theory?
3. What impact does the way theory is presented in the research story have on the reader?

성인 학습 이론의 적용은, 학습자 중심의 접근에 중점을 두고 있으며, 의학 교육에서 수십 년 동안 더 깊은 학습을 촉진하기 위해 필수적인 것으로 간주되어 왔다. 
The application of adult learning theory, with its emphasis on a learner-centred approach, has for some decades in medical education been considered essential to facilitate deeper learning.47

이러한 행동은 학습자 중심의 성인 교육 접근법과 일치한다.
This behaviour is consistent with a learner-centred adult education approach.47

이 연구는 상징적 상호작용주의의 전통을 바탕으로 현실과 자아가 상호작용을 통해 알려지고 의사소통과 언어를 통해 표현된다는 기본적 가정을 가지고 있다. 
This study is grounded in the symbolic interactionism tradition with its fundamental assumption that reality and the self are known through interaction and expressed through communication and language.55

이 연구는 또한 개인들이 주요 긴장을 관리하는 데 있어 그들의 편안함의 한계를 확장하기 위해 감독관에 의해 스트레칭될 수 있다는 것을 보여주었다. 이 발견은 사람들을 그들의 "지식의 가장자리"로 데려가는 것이 성장을 가져올 수 있다는 것을 인식하는 메지로의 변형적 학습 이론과 일치한다.58
This study also demonstrated that individuals can be stretched by supervisors to expand their limits of comfort at managing the key tensions. This finding is consistent with Mezirow's transformative learning theory which recognises that taking people to their “edge of knowing” can result in growth.58

왕은 매우 진지하게 "처음부터 시작해서 끝까지 계속하세요. 그리고 나서 멈추세요."라고 말했다.
“Begin at the beginning,” the King said, very gravely, “and go on till you come to the end: then stop.” (Alice in Wonderland, Lewis Carroll)1

Theory, a lost character? As presented in general practice education research papers

PMID: 30723929

DOI: 10.1111/medu.13793

Abstract

Teaching Medical Students to Teach: A Narrative Review and Literature-Informed Recommendations for Student-as-Teacher Curricula

PMID: 35108235

DOI: 10.1097/ACM.0000000000004608

Abstract

현상
Phenomenon

의사로서의 숙련도는 환자를 가르치고, 훈련생을 가르치고, 동료들을 가르치는 것을 필요로 한다. 이러한 필요를 충족시키기 위해, 많은 의과대학들은 의대생들의 교사 자격 프로그램을 제공한다. MSAT 프로그램은 의과대학에서 니어피어neer-peer 튜터링과 가르침을 통해 그들이 임상 실습에 도달했을 때 이 중요한 역할을 맡을 수 있는 지식, 기술 및 태도를 의대 학생들이 준비하도록 돕는다. 소수의 리뷰 또는 여러 기관 연구는 교육자들이 그러한 프로그램을 알릴 수 있는 증거를 제공하는 이러한 이니셔티브에 대한 문헌을 종합했다. 그러나 이러한 원고는 가치가 있지만 특정 국가 또는 출판 유형(예: 개입을 특징으로 하는 기사)에 초점을 맞춘 범위가 좁다. 우리가 아는 한, MSAT 프로그램에 대한 체계적인 검토, 경험적 연구, 논평 및 서술적 연구를 포함하는 풍부하고 성장하는 문학 본체의 전체적인 합성은 없다. 이것은 이 주제에 대해 널리 알려진 것을 실천으로 옮기려는 교육자들에게 불리할 수 있는 격차를 나타낸다. MSAT 프로그램을 시작하거나 운영하는 교육자는 이 검토 없이 시대에 뒤떨어지고 대조되지 않은 증거를 구현할 위험이 있습니다. 따라서 본 범위 검토는 모든 출판 유형을 고려하여 현재 문헌을 매핑하여 교육자, 연구자 및 의료 전문가에게 문헌의 전체적 합성을 제공하는 것을 목표로 한다.
Proficiency as a physician requires teaching: teaching patients, teaching trainees, and teaching colleagues.1 To meet this need, many medical schools offer medical students’ as teachers (MSAT) programs. MSAT programs help prepare medical students with the knowledge, skills, and attitudes to take on this critical role through near-peer tutoring and teaching in medical school and when they reach clinical practice. A small number of reviews or multi-institutional studies have synthesized the literature on these initiatives providing educators with evidence to inform such programs.2–4 However, while valuable, these manuscripts are narrow in scope focusing on a specific country2 or publication type (e.g., articles featuring interventions).3 To our knowledge, there is no holistic synthesis of the rich and growing body of literature that includes systematic reviews, empirical research, commentaries, and descriptive studies on MSAT programs. This indicates a gap that may disadvantage educators seeking to translate what is broadly known about this topic into practice. Educators starting or running an MSAT program risk implementing outdated and uncollated evidence without this review. Thus, this scoping review aims to map the current literature, taking into consideration all publication types, to provide educators, researchers, and medical professionals with a holistic synthesis of the literature.

많은 의과대학들이 MSAT 프로그램을 교과과정에 통합했다. 이 프로그램들은 전달 방식이 다양하지만 [의대생들의 교육 역량을 향상시킨다]는 공통의 목표를 가지고 있다. 전달은 피어 또는 니어피어 튜터링 프로그램, 워크샵 또는 종방향 교육 과정, 그리고 지역사회 서비스 교육(예: 고등학생에게 보건 교육을 가르치거나 개발도상국의 지역사회 구성원을 가르치는 것)과 같은 다른 다양한 접근 방식을 포함한 여러 가지 형태를 취한다. 프로그램은 다양한 교수법 활용, 평가 개발, 프로그램 평가 참여, 커리큘럼 작성, 목표 제작 등 의대 학생들의 능력 개발을 돕기 위해 다양한 교수 지식과 기술을 우선시합니다.
Many medical schools have integrated an MSAT program into their curriculum.5 These programs vary in delivery but share a common goal: to improve the medical students’ teaching competency. Delivery takes several forms including

• peer or near-peer tutoring programs,6–11 
• workshops or longitudinal teaching courses,12–19 
• other varied approaches such as community service teaching (e.g., teaching health education to high school students or teaching community members of a developing country).20,21 

Programs prioritize a variety of teaching knowledge and skills to help develop medical students’ abilities including utilizing varied teaching methods, developing assessments, engaging in program evaluation, creating curriculum, and crafting objectives.

새로운 프로그램의 성장을 촉진하고 기존 프로그램에 대한 실습에 대한 공유 지식을 제공하기 위해 의대생들에게 가르치는 방법에 대한 문헌 검토가 필요하다. MSAT 또는 니어피어 튜터링 프로그램은 [교수 역량 향상]과 [가르침teaching이 의사의 중심 업무임을 인식하게 함]을 포함한 다양한 혜택과 관련이 있다. 그 프로그램들은 가르치는 법을 배우는 사람들과 의대생-선생님이 가르치는 사람들- 의대생들에게 모두 혜택을 준다. 의료계 종사자들에게, 교육에 대한 노출은 평생의 교육 문화, 강화된 의사소통 기술을 통한 환자 치료 개선, 그리고 교육자 역할에 더 잘 준비된 노동력으로 이어질 수 있다. 기관은 교직원이 채우지 못하는 교육과정 내 격차를 해소하는 등 교직원의 교육부담 완화를 도모할 수 있다1. 의대생들의 경우, 교수 기술 훈련을 받는 사람들은 

• (1) 더 자립적이고 지략이 풍부하고 
  
• (2) 개인적으로나 직업적으로 성장하고 성숙하다. 
  
• (3) 교육 전략을 습득한다.
  
• (4) 지속적인 노출과 자료 참여를 통해 학문적으로 이익을 얻는다. 
  
• (5) GMC에서 정한 교육자 요건을 충족시키다. 

A review of the literature on teaching medical students how to teach is necessary to facilitate the growth of new programs and to provide a shared knowledge of practices for existing programs. MSAT or near-peer tutoring programs have been associated with a variety of benefits including improved teaching competency and identification of teaching as a central task of physicians.22 The programs benefit the medical profession, institutions, and medical students - both those learning to teach and those taught by the medical student-teacher. For the medical profession, exposure to teaching could lead to a lifelong culture of teaching,23 improved patient care through enhanced communication skills,3 and a workforce better prepared for educator roles.3 Institutions may benefit from alleviating the teaching burden of faculty members1 including closing gaps within the curriculum that faculty members are unable to fill.24 For medical students, those who receive training in teaching skills are

• (1) more self-reliant and resourceful,1 
• (2) grow and mature personally and professionally,25 
• (3) acquire teaching strategies,3 
• (4) benefit academically through continual exposure and engagement with material,2 and
• (5) fulfill educator requirements established by the General Medical Council.26–28 

교육 프로그램의 필요성은

• [의료 면허 규정에 따른 요구 사항],
• ["온더잡" 훈련 이상의 교육 기술에 대한 추가 지원],
• [동료 튜터링 프로그램에서 튜터를 양성해야 하는 확인된 필요성]

..등 여러 가지 출처에서 비롯된다. 그러므로, 의대생들에게 가르치는 것의 이점은 의대생들에게 가르치는 기술을 구축하는 것 이상으로 확장된다.

The need for teaching programs stems from several sources, including

• requirements according to the medical licensure regulations,29 
• additional support of teaching skills beyond “on the job” training,30 
• and the identified need to train tutors in peer tutoring programs.2 

Benefits of teaching medical students to teach, therefore, extend beyond building medical student teaching skills.

MSAT 프로그램에 대한 문헌은 빠르게 성장하고 있다. 그러나, 지적한 바와 같이, 이전의 검토들은 이 주제에 다소 좁게 접근했다. 예를 들어, Marton 등은 동료 교수, 교수 워크숍 및 아웃리치 프로그램에 초점을 맞춘 20개의 연구를 기술한 리뷰를 발표했다. Marton 등은 보다 객관적인 이니셔티브의 조치가 필요하다는 점을 유의하면서 다양한 프로그램을 통해 의대생들의 교육능력이 주관적으로 향상되었음을 확인하였다. 가치가 있지만 2013년까지의 연구를 포함한 이 연구는 대규모 조사 연구, 문헌 검토, 델파이 연구와 같은 더 최근의 문헌 및 비간섭 연구를 제외했다. 델파이 연구는 MSAT 프로그램이 다룰 수 있는 매우 다양한 주제를 우선시하는 데 도움이 되는 프레임워크를 설명한다. 우리는 이러한 연구가 무엇보다도 의학 교육자들에게 이 주제에 대한 문헌에 대한 포괄적이고 전체적인 이해를 제공하는 데 중요하다고 주장한다.

The literature on MSAT programs is growing rapidly. However, as noted, previous reviews have somewhat narrowly approached the topic. For example, Marton et al.4 published a review that described 20 studies focused on peer teaching, teaching workshops, and outreach programs. Marton et al. found that medical student’s teaching skills subjectively improved through a variety of programs with the caveat that more objective measures of the initiatives are needed. While valuable, this work which included studies until 2013 excluded more recent literature and nonintervention studies such as a large survey study,2 literature reviews,3,4 and a Delphi study.5 The Delphi study describes a helpful framework for prioritizing the large variety of topics that MSAT programs can cover.5 We contend that these studies, among others, are critical in providing medical educators with a comprehensive and holistic understanding of the literature on this topic.

본 연구는 MSAT 프로그램을 시작하는 이유, 이점과 장벽, 누가 가르치고 어떤 내용을 가르치는지를 설명하는 것을 목적으로 한다. 이를 위해, 우리는 개입을 넘어 개입, 검토 및 주석과 같은 보다 포괄적인 범위의 출판물을 포함하도록 확장함으로써 MSAT 프로그램의 적용 범위를 넓힐 계획이다. 이전 연구의 연장선상에서, 우리는 또한 Marton 등의 작업을 구축하고 교수 개입이 효과를 극대화하기 위한 프로그램에 필수적인 실질적인 수업을 만드는 데 초점을 맞췄다.
This study aims to describe why MSAT programs are started, the benefits and barriers, who teaches them, and what content is taught. To this end, we intend to broaden the scope of coverage of MSAT programs by extending beyond interventions to include a more comprehensive range of publications: interventions, reviews, and commentaries. As an extension of earlier works, we also focused on building off of Marton et al.’s work and creating practical lessons that are essential for programs to ensure teaching interventions maximize effectiveness.

접근
Approach

우리는 Arcsey와 O'Malley의 5단계 프레임워크에 따라 스코핑 리뷰를 수행했다. 우리는 연구의 격차를 파악하고 향후 연구와 적용에 대한 정보를 제공하기 위해 이 방법론을 선택했다. 우리의 설계에서, 우리는 다른 지식 합성 유형(예: 체계적인 검토)을 고려했다. 그러나, 문헌의 이질성과 급속한 성장으로 인해, 그리고 프로그램 평가 메커니즘과 관련된 Marton et al.4의 요청에 응답하기 위해, 우리는 스코핑 리뷰가 가장 적절하다고 판단했다. 이 범위 검토는 Marton 등을 기반으로 작성되었습니다. 1990년부터 2013년까지 출판물을 검토했으며 2014년부터 2020년까지의 기사를 포함했다. 이 범위조사의 두 번째 목적은 향후 체계적 검토의 적절성을 결정하는 것이었다.
We conducted a scoping review guided by Arksey and O’Malley’s five-stage framework.31 We selected this methodology to identify gaps in the research and make suggestions to inform future research and application.31 In our design, we considered other knowledge synthesis types (e.g., a systematic review). However, due to the heterogeneity and rapid growth of the literature, and to answer the call from Marton et al.4 regarding program evaluation mechanisms, we determined that a scoping review was most appropriate. This scoping review was built on Marton et al. (which reviewed publications from 1990 to 2013) and included articles from 2014 to 2020. A secondary aim of this scoping study was to determine the appropriateness of a future systematic review.

소견
Findings

우리의 검색 전략은 1,644개의 결과를 반환했고, 1,587개의 기사가 무관한 것으로 표시되었고, 57개의 기사가 전문 검토 대상으로 남았고, 27개의 기사가 포함되었습니다.1-19,34-40 포함된 기사를 시각화하기 위해 두 개의 그림이 포함되었습니다. 1) PRISMA 흐름도 그림 1 및 2) 포함된 기사의 특성 요약 그림 2. 2014년과 2020년 사이에 출판되었으며, 미국에서 가장 많이 출판된 9개국의 기관(n = 10, 39.1%), 5,6,8,9,13,15,17,19,36,38 영국(n = 5,34,39,40,42), 호주(n = 4,17.4%)를 대표한다.s 모래 동료 과외 프로그램, n = 20, 74.1%), 1,6-19, 35–39 리뷰/세션 합성(n = 3, 11.1%), 3,4,30 의견 조각(n = 3, 11.1%), 34,40,42 및 하나의 서술적 연구. (3.7%)5 표 1은 연구에 포함된 모든 논문의 개요를 제공한다.
Our search strategy returned 1,644 results, with 1,587 articles marked as irrelevant, leaving 57 articles for full-text review, and resulting in 27 included articles.1–19,34–40 Two figures have been included to visualize the articles included: 1) Figure 1 for a PRISMA flow diagram41 and 2) Figure 2 for a summary of the characteristics of included articles. Articles were published between 2014 and 2020 and represent institutions from nine countries with most published in the United States (n = 10, 39.1%),5,6,8,9,13,15,17,19,36,38 United Kingdom (n = 5, 13%),10,34,39,40,42 and Australia (n = 4, 17.4%).2,3,12,35 We identified four general publication types: intervention studies (e.g., teaching workshops and peer tutoring programs, n = 20, 74.1%),1,6–19,35–39 reviews/knowledge syntheses (n = 3, 11.1%),3,4,30 opinion pieces (n = 3, 11.1%),34,40,42 and one descriptive study. (3.7%)5 Table 1 provides an overview of all articles included in the study.

개입은 [동료 튜터링 프로그램]과 [강의실/과정으로 사용하도록 설계된 것]으로 균등하게 나뉘었다. 개입의 과반수(n = 18, 90%)가 [선택 사항]으로 제공되었다. 두 표는 개입 전반에 걸친 일반적인 특성(표 2)과 특정 개입의 특성(표 3)을 구분한다.

• 표 2는 개입을 시작해야 하는 이유, 개입을 가르치는 개인, 가르치는 내용 등을 포함한 [개입의 특성]을 설명한다.
• 표 3은 각 [개입의 데이터를 분류]하여 특정 개입이 선택적 또는 의무적이었는지, 누구를 가르쳤는지(예: 1학년 대 3학년 의대 학생), 학생들에게 가르치는 방법을 가르치는 데 소비한 시간, 개입 유형(예: 동료 교수 대 강의실/과정) 등을 보여준다.

이 표들은 함께 각 개입에 대한 자세한 보기와 여러 개입에 걸친 일반적인 특성을 제공한다.
The interventions were evenly split between those designed to serve as peer tutoring programs and teaching workshops/courses. A majority (n = 18, 90%) of the interventions were offered as electives. Two tables breakdown general characteristics across interventions (Table 2) and characteristics of specific interventions (Table 3). 

• Table 2 describes characteristics of interventions including reasons to start an intervention, individuals teaching an intervention, content taught, etc. 
• Table 3 breaks down the data from each intervention to show if the specific intervention was elective or mandatory, who they taught (e.g., 1st year vs 3rd-year medical students), time spent teaching students how to teach, type of intervention (e.g., peer teaching vs teaching workshop/course), etc.

Together, these tables provide a detailed view of each intervention and of general characteristics across multiple interventions.

가르칠 내용
Content to teach

라나 등은 학생-교사 프로그램이 다룰 수 있는 매우 다양한 주제를 우선시하기 위한 유용한 프레임워크를 제공했다.5 우리의 리뷰는 의대생-교사들에게 일반적으로 가르치는 10가지 주제를 확인했다. 라나 등의 분류를 사용하여 각 주제(예: 소규모 그룹을 촉진하는 방법)를 필수, 중요, 중요하지 않거나 합의에 도달하지 않은 것으로 분류했다(표 4 참조). 이 틀을 적용하면 10개 주제 중 5개가 필수, 2개가 중요, 3개가 합의에 이르지 못했다. 우리의 연구에 따르면, 가르치는 콘텐츠의 [상위 세 영역]에는 다음이 포함되어 있었다

• 소규모 그룹을 촉진하는 방법(n = 16, 80%),
• 피드백을 주는 방법(n = 15, 75%)
• 세션 설계/교육 자료 작성 방법(n = 10, 50%).

Rana et al. provided a helpful framework for prioritizing the large variety of topics that students-as-teachers programs can cover.5 Our review identified 10 topics commonly taught to medical student-teachers about teaching. Using Rana’s et al. classifications, each topic (e.g., how to facilitate small groups) was categorized as either essential, important, not important or did not reach consensus (see Table 4). Applying this framework, five of the ten topics were essential, two were important, and three did not reach consensus. According to our study, the top three areas of content taught included

• how to facilitate small groups (n = 16, 80%),
• how to give feedback (n = 15, 75%), and
• how to design sessions/create instructional materials (n = 10, 50%).

이 세 가지 콘텐츠 영역은 Rana 등이 각각 필수, 필수, 중요로 분류하였다. 네 번째로 널리 보급된 주제는 성인 학습 이론/교육 이론(n = 8, 40%)이었다. 라나 등의 연구에서 [경험적 학습 이론의 가치]를 두고는 합의에 도달하지 못했으며, 아무도 그것을 필수적이고 중요하지 않은 것으로 파악하지 않았다.
These three content areas were categorized by Rana et al. as essential, essential, and important, respectively. The fourth most prevalent topic was adult learning theory/educational theory (n = 8, 40%). Rana et al.’s study did not reach a consensus on the value of experiential learning theory with no one identifying it as essential and a split between important and not important.

니아즈와 미스트리(Mistry)는 [동료 및 니어피어 교수 프로그램]을 촉진하는 데 특히 도움이 되는 작품을 제공했다. 이들은 주요 교육 분야를 파악했습니다. 

• 명확한 목표 보유, 
• 학생에게 맞춤
• 프레임워크 사용, 
• 수많은 자원 활용, 
• 임상 관련성 및 개인적 경험 기반 구축, 
• 건설적인 피드백 제공, 
• 학생 실습 장려, 
• 현장 최신 정보 제공, 
• 명확한 기대치 설정, 
• 동료 관찰 참여, 
• 자기 성찰 참여.

Niaz and Mistry40 provided a particularly helpful piece to facilitate peer and near-peer teaching programs. They identified the key areas of instruction:

• having clear objectives,
• adapting to students,
• using a framework,
• utilizing numerous resources,
• building on clinical relevance and personal experience,
• offering constructive feedback,
• encouraging student practice,
• keeping up to date with the field,
• setting clear expectations,
• participating in peer observation, and
• engaging in self-reflection.

통찰력
Insights

교수법을 배우는 의대생들에 대한 국제적인 대화는 독창적인 연구, 논평, 그리고 지식 종합의 출판과 함께 계속해서 성장하고 있다. 본 연구는 이 선행 연구의 중요한 기여를 바탕으로 7년 동안 27개의 논문을 확인함으로써 사용된 교수법, 평가 관행 및 의대생 편익에 대한 현재 추세를 설명할 수 있었다. Marton 등은 1990년부터 2013년까지의 기사를 검토했으며, 이 23년 동안 20개의 기사, 즉 연간 평균 0.87개의 기사를 발견했다. 우리의 연구는 Marton 등의 연구를 6년 연장하고 27개의 추가 기사를 분석했는데, 이 중 20개가 포함 기준을 충족하여 연간 평균 4.6개(440% 증가)의 기사를 낳았다.
The international conversation around medical students learning to teach has continued to grow with the publication of original research, commentaries, and knowledge syntheses. Building on the important contributions of this prior research, our study identified 27 articles over a 7-year period enabling us to describe current trends in teaching methods used, evaluative practices, and benefits for medical students. Marton et al.4 reviewed articles from 1990 to 2013, and over this 23-year period found 20 articles, an average of 0.87 articles per year. Our study extended Marton et al.’s4 study by six years and analyzed an additional 27 articles, with 20 of these articles meeting their inclusion criteria, resulting in an average of 4.6 articles per year (a 440% increase).

결론
Conclusion

의과대학은 의대 학생들, 특히 더 많은 상급생들에게 교사가 되기 위한 지식과 기술을 제공하기 위한 노력을 증가시켰다. 이러한 교사로서의 학생 프로그램은 종종 근거리 교육 프로그램의 형태로 제공되지만, 또한 학생들이 상주 교사, 환자 교육자 및 임상의-교육자로서의 역할을 준비하도록 설계된 보다 집중적인 과정을 포함한다. 이 범위 검토는 문헌이 [객관적인 교육 프로그램 평가에 대한 요구에 답하기 시작했다는 것]을 입증함으로써 Marton 등이 2014년에 발표한 이전 검토에 기초한다. 그러나 증거의 품질을 결정하기 위해서는 향후 체계적인 검토가 필요하다. 함께, 이러한 연구는 의대 학생들에게 제공되는 교수 기술과 기회를 확대할 것이다.

Medical schools have increased efforts to provide medical students, especially more senior students, with the knowledge and skills to become teachers. These student-as-teacher programs are often provided in the form of near-peer teaching programs but also include more intensive courses designed to prepare students for their roles as resident teachers, patient educators, and clinician-educators. This scoping review builds on a prior review published in 2014 by Marton et al. by demonstrating the literature has begun to answer the call for objective educational program evaluations; however, a future systematic review is needed to determine the quality of evidence. Together, these studies will expand the teaching skills and opportunities afforded to medical students.

Teaching Medical Students How to Teach: A Scoping Review

PMID: 34618654

DOI: 10.1080/10401334.2021.1979006

Abstract

우리의 논문은 최근에 출판을 위해 동료 검토를 받았고 피드백의 많은 부분이 건설적이고 공정했지만, 그것에 대한 비판 중 하나는 우리가 [샘플의 포화]를 언급하지 않았다는 것이다. 자세히 살펴본 결과, 그러한 세부 사항에 대한 요청은 저널 자체의 품질 기준에 포함되었습니다. 검토 중인 논문은 대화 분석 방법을 사용했기 때문에 우리는 모든 질적 조사에 대한 일반적인 요구 사항에 동요했다. 이에 대한 우리의 설명은 [서로 다른 질적 관점이 품질 보증을 위한 서로 다른 지표를 가지고 있으며], 이러한 점에서 [일부 질적 접근 방식]은 [표본 크기 적정성을 위한 지표]로서 [포화]에 의존하지 않는다는 것이다. 또한, [포화] 개념은 원래 구체적이고 이론 중심적인 의미를 가진 [근거 이론]과 결부되어 있었으며, 이것이 다른 질적 접근에 유용하게 번역되었지만, 모든 경우에 그것을 부과하는 것은 적절하지 않다. 이론적/주제적/데이터 포화에 대한 가치가 증가하고 있기 때문에 이 문제는 면밀한 검토가 필요하다고 생각합니다. 따라서 이 글에서 우리는 이 개념을 둘러싼 논쟁을 분리하고 토론을 더 개방하고 복잡성의 일부를 해명하는 데 도움이 될 수 있는 비판적인 평가를 제공하는 것을 목표로 한다.

A paper of ours was recently peer reviewed for publication and while much of the feedback was constructive and fair, one of the criticisms of it was that we had failed to mention saturation of the sample. On closer inspection the request for such detail was embedded in the journal’s own quality criteria. The paper under review had utilised the conversation analytic method and we were thus perturbed by this generic requirement for all qualitative inquiry. Our reasoning for this is that different qualitative perspectives have different indices for quality assurance and in this respect some qualitative approaches do not rely on saturation as a marker for sample size adequacy. Furthermore, the notion of saturation was originally tied to grounded theory with a specific and theory driven meaning, and while this has been helpfully translated for other qualitative approaches it is not appropriate to impose it in all instances. Because of the increasing value being placed on theoretical/thematic/data saturation we believe this issue requires closer examination. In this article, therefore, we aim to disentangle the debates surrounding this notion and provide a critical evaluation that will hopefully lead to opening up the debate further and to help demystify some of the complexities.

만약 우리가 '모든 것에 맞는 하나의 크기' 해결책의 유혹에 굴복한다면, 우리는 꼬리(체크리스트)가 개(질적 연구)를 흔들고 있는 상황에 빠질 위험이 있다. (바버, 2001: 1115)

정성적 방법론적 논의에서, 문헌은 모든 정성적 연구에 일반적 품질 기준이 있어야 하는지에 대한 논쟁으로 가득 차 있다(Caeelli et al., 2003; Mays and Pope, 2000; Tracy, 2010). 품질기준 체크리스트가 질적 조사의 타당성에 대한 신뢰도를 높이고 질적 방법을 일반적으로 더 폭넓게 수용하는 데 기여했다는 것은 인정되지만, 이를 규범처럼 따를 경우 역효과를 낼 수 있다(Barbour, 2001). 바버는 다양한 기준을 무비판적으로 채택하는 것 자체가 엄격함과 동일하지 않다고 주장한다. 또한 질적 연구의 질적 수준은 매우 다양하기 때문에 측정할 수 있는 단일한 방법이 없다(Guba and Lincoln, 2005; Mays and Pope, 2000). 따라서 [모든 정성적 접근법에 적용할 수 있는 품질 기준을 개발하려고 시도하는 것은 문제가 있다]고 주장하는데, 이는 정성적 작업의 영향을 받는 광범위한 방법론을 존중하지 않으며, 이로 인해 각 접근 방식은 다음과 같은 품질 지표에 대해 특이적으로 평가되어야 하기 때문이며, 이것이 질적 연구의 인식론적 기원과도 부합한다(Caeelli et al., 2003).

Within qualitative methodological discussions, the literature is littered with debates about whether there should be generic quality criteria for all qualitative research (Caelli et al., 2003; Mays and Pope, 2000; Tracy, 2010). While it is accepted that quality criteria checklists have contributed to increased confidence in the validity of qualitative inquiry and the wider acceptance of qualitative methods generally, these can be counterproductive if followed prescriptively (Barbour, 2001). Barbour argues that an uncritical adoption of a range of criteria does not in itself equate with rigour. Furthermore, there is no singular way to measure the quality of qualitative research because it is so diverse (Guba and Lincoln, 2005; Mays and Pope, 2000). It is argued, therefore, that it is problematic to attempt to develop quality criteria applicable to all qualitative approaches as this would not respectfully value the wide range of methodologies that fall under the rubric of qualitative work and because of this each approach should be idiosyncratically evaluated against quality markers that are congruent with their epistemological origins (Caelli et al., 2003).

모든 정성적 접근법과 잠재적으로 관련이 있는 품질 영역이 있으며, 트레이시(2010)는 그러한 8개의 보편적 품질 마커를 주장하지만, 다른 마커는 포괄적 접근법에 적합하지 않다. 문헌에서 혼란스러워진 것으로 보이는 그러한 문제 중 하나는 표본 추출, 특히 포화 개념과 관련이 있다. [포화]는 샘플의 다양성이 결정되는 금본위제가 된 것 같다(Guest et al., 2006). 그러나 포화는 여러 가지 의미와 제한된 투명성을 가지고 있다. 질적 연구의 [질적 방어가능성]은 상당 부분 조사 결과의 [전달가능성을 위한 깊이와 최대 기회를 제공해야 하는 [표본 추출 적정성]과 관련이 있다(Spencer 등, 2003).

While there are areas of quality that potentially relate to all qualitative approaches, and Tracy (2010) argues for eight such universal quality markers, other markers are less suitable for a blanket approach. One such issue that seems to have become confused in the literature relates to sampling, particularly the notion of saturation. Saturation seems to have become the gold standard against which the diversity of samples is determined (Guest et al., 2006) and yet saturation has multiple meanings and limited transparency. Defensibility of the quality of qualitative research, to a considerable extent, relates to sampling adequacy that should provide depth and maximum opportunity for transferability of findings (Spencer et al., 2003).

[표본 추출]은 연구자들이 프로젝트의 성공을 결정하기 위한 핵심 관심사이며 지속적인 검토가 필요하다(Tucket, 2004). 질적 연구에서 [응답자 선정]은 의견이나 사람을 세는 것이 아니라, [의견의 범위와 이슈의 다른 표현을 탐구하는 것]이 목적이기 때문에 정량적 표본 추출 절차를 따를 수 없다(Gaskell, 2000). 따라서 질적 연구에서의 표본 추출은 [정보의 풍부성]과 관련이 있으며(Kuzel, 1992), 따라서 필요한 참가자 수는 주제의 성격과 이용 가능한 자원에 따라 달라진다(Gaskell, 2000). 정성적 연구에서 표본 추출 방법을 안내하는 두 가지 주요 고려사항이 있는데, 적합성appropriateness과 적절성adequecy이다(Morse and Field, 1995). 따라서 연구자는 표본 추출에 대한 접근 방식에 있어 실용적이고 유연해야 하며 적절한 표본 크기는 연구 질문에 충분히 답할 수 있는 크기여야 한다고 주장한다(Marshall, 1996).
Sampling is a core concern for researchers to determine the success of a project and continual examination is required (Tucket, 2004). In qualitative research the selection of respondents cannot follow the procedures of quantitative sampling because the purpose is not to count opinions or people but explore the range of opinions and different representations of an issue (Gaskell, 2000). Thus, sampling in qualitative research is concerned with the richness of information (Kuzel, 1992) and the number of participants required, therefore, depends on the nature of the topic and the resources available (Gaskell, 2000). There are two key considerations that guide the sampling methods in qualitative research, appropriateness and adequacy (Morse and Field, 1995). It is argued, therefore, that the researcher should be pragmatic and flexible in their approach to sampling and that an adequate sample size is one that sufficiently answers the research question (Marshall, 1996).

이러한 의미에서 (질적연구의) 연구자는 [일반화 가능성]을 추구하지 않으며, 표본 크기가 아니라 [표본 적합성sample adequecy]에 더 중점을 둔다(Bowen, 2008). Bowen은 표본 추출의 적절성adequecy은 포화에 도달했다는 증명과 관련이 있으며, 이는 [정보의 깊이]는 물론 [정보의 폭]이 달성된다는 것을 의미한다. 질적 연구자들은 종종 포화 개념을 기반으로 표본의 적절성과 관련된 결정을 내린다. 그러나, 연구자들에 의해 포화도가 이해되고 활용되는 방법의 발전이 있었다. 그 결과, 포화도가 무엇을 의미하는지, 포화도를 어떻게 사용해야 하는지, 언제 적용할 수 있는지에 대한 혼란이 생겼다.
In this sense then generalizability is not sought by the researcher and the focus is less on sample size and more on sample adequacy (Bowen, 2008). Bowen argues that adequacy of sampling relates to the demonstration that saturation has been reached, which means that depth as well as breadth of information is achieved. Qualitative researchers often make decisions related to the adequacy of their sample based on the notion of saturation. There has been, however, a development of the ways in which saturation is understood and utilised by researchers. The consequence of this has been that there is now some confusion in terms of what saturation means, how it should be used and when it is applicable.

[포화]에는 다양한 형태가 있으며, 원본은 근거 이론의 접근 방식으로 개발된 [이론적 포화]이다(Guest et al., 2006). 다른 정성적 방법에 대한 개념의 다른 변형으로는 데이터 포화(Francis et al., 2010; Guest et al., 2006), 주제 포화(Guest et al., 2006) 및 일부 경우에는 단순 포화(Starks and Trinidian, 2007)가 있다. 이러한 용어(Guest et al., 2006)를 둘러싼 약간의 확산과 모호함이 있지만, 그것들은 뚜렷한 의미를 가지고 있으며 일반적으로 모든 정성적 방법에 적용된다. 그러나 일반적으로 [주제/데이터 포화]는 [새로운 정보가 생성되지 않을 때까지 데이터가 계속 수집되어야 한다]는 의미로 간주된다(Green and Thorogood, 2004). 즉, 데이터에 놀라움이 적고 더 이상 새로운 패턴이 나타나지 않는 시점(Gaskell, 2000). 이것은 근거 이론가들이 사용하는 포화 형태인 [이론적 포화]와는 상당히 다르다.
There are various forms of saturation, with the original being theoretical saturation developed in the approach of grounded theory (Guest et al., 2006). Other variations of the concept for other qualitative methods include, data saturation (Francis et al., 2010; Guest et al., 2006), thematic saturation (Guest et al., 2006) and in some cases simply saturation (Starks and Trinidad, 2007). While there is some diffusion and vagueness surrounding these terms (Guest et al., 2006) they do have distinct meanings and are typically applied to all qualitative methods. Generally, however, thematic/data saturation are normatively taken to mean that data should continue to be collected until nothing new is generated (Green and Thorogood, 2004); the point at which there are fewer surprises and there are no more emergent patterns in the data (Gaskell, 2000). This is quite different to theoretical saturation, the form of saturation used by grounded theorists.

[이론적 포화]라는 근거 이론 내에서 개척된 포화라는 원래 의미는 현재 연구에서 여전히 이 접근법 내에서 사용되고 있으며 그 중심적 중요성을 유지하고 있다. 근거이론에서 포화 개념은 새로운 아이디어가 나오지 않는 시점을 가리키는 것이 아니라,

• 범주가 완전히 설명되고,
• 범주의 variability이 설명되며,
• 범주의 관계가 검증되고, 따라서
• 이론이 나타날 수 있다는 것을 의미한다(Green and Thorogood, 2004).

이는 그들이 [(사회적 과정이) 발생한 환경에서 연구되는 사회적 과정에 대한 설명 이론을 개발하는 것]을 목적으로 하는 인식론적 입장과 근거이론의 목표와 일치한다(Glaser and Strauss, 1967; Starks and Trinidate, 2007).
The original meaning of saturation pioneered within grounded theory, of theoretical saturation, is still used within this approach in current work and has retained its central importance. In grounded theory the notion of saturation does not refer to the point at which no new ideas emerge, but rather means that

• categories are fully accounted for,
• the variability between them are explained and
• the relationships between them are tested and validated and
• thus a theory can emerge (Green and Thorogood, 2004).

This is congruent with the underpinning epistemological position and the goals of grounded theory, which are to develop an explanatory theory of the social processes that are studied in the environments in which they have taken place (Glaser and Strauss, 1967; Starks and Trinidad, 2007).

포화에 적용된 다른 의미들, 시간에 따른 의미들의 변화들, 그리고 새로운 의미들의 일반적인 수용에도 불구하고, 그것은 실질적인 적용과 보급의 투명성 측면에서 상당한 영향을 미치고 어느 정도 논쟁을 불러 일으켰다. 우리는 [한 가지 형태의 포화만을 품질 지표로 사용하는 균일한 수용]이 [상당한 단점]을 가지고 있다는 것을 인식하고 있지만, 우리는 그 사용을 보장하는 접근 방식에 대해 [투명한 실천]에 대한 책임이 있다는 것에 주목하고, 따라서 포화에 대한 문제 있는 기대치에 대한 논의에 앞서 이러한 중요한 논쟁을 먼저 탐구한다.

Despite the different meanings that have been applied to saturation, the changes of those meanings over time and the general acceptance of the new meaning, it has significant influence and has attracted some debate in terms of its practical application and transparency in dissemination. While we recognize that uniform acceptance of using one form of saturation as a quality marker has considerable drawbacks, we note that for those approaches that warrant its use, there is an onus on transparent practice and, thus, prior to discussions regarding problematic expectations of saturation we explore these important debates first.

질적 연구에서 [투명성]은 품질의 인정된 마커이다(Spencer 등, 2003). 즉, 데이터 수집 방법에 대한 충분한 세부 정보가 포함되어야 한다(Meyrick, 2006). 정성적 연구에서 [표본 크기의 충분성]은 [빈도]보다는 [데이터 깊이]에 의해 측정되므로 표본은 [연구 주제를 가장 잘 대표하는 참여자]로 구성되어야 한다(Morse et al., 2002). 일부 정성적 작업의 목적은 일반화 가능성 또는 전달 가능성을 갖는 것이므로 표본 크기가 중요하다(Onwuegbuzie, 2003). Corpus는 다양한 경험을 포착할 수 있을 만큼 충분히 커야 하지만 반복적일 정도로 커서는 안 되며, 일반적인 지침 원리는 포화이다(Mason, 2010). 특히 문헌 내에서 포화 샘플의 개념은 품질의 지표로 사용되는 경향이 있지만(Guest et al., 2006), 샘플 크기의 적절성과 관련하여 [투명성]만으로는 일반적으로 보급에 불충분하다는 주장이 제기되었다(Bowen, 2008). 보웬은 연구자들이 포화가 어떻게 결정되었는지에 대한 세부 사항을 얼버무리는 경향이 있었다고 주장한다.
In qualitative research transparency is a recognized marker of quality (Spencer et al., 2003), which means that sufficient detail should be included about how the data were collected (Meyrick, 2006). Within qualitative research, sufficiency of sample size is measured by depth of data rather than frequencies and, therefore, samples should consist of participants who best represent the research topic (Morse et al., 2002). The aim of some qualitative work is to have generalizability or transferability and, thus, sample size is important (Onwuegbuzie, 2003). The corpus needs to be large enough to capture a range of experiences but not so large as to be repetitious, and the common guiding principle is saturation (Mason, 2010). Notably, within the literature the notion of saturated samples tends to be used as an indication of quality (Guest et al., 2006), and yet it has been argued that transparency, with regards to adequacy of sample sizes, is generally inadequate in dissemination (Bowen, 2008). Bowen argues that researchers have tended to gloss over the details about how saturation was determined.

그러나 연구 커뮤니티가 활용할 수 있는 제한된 가이드라인(Francis et al., 2010; Ziebland and McPherson, 2006)과 용어의 의미가 다르다는 점에서 투명성 달성은 연구자들에게 복잡한 요구 사항이다. 포화상태에 대한 지침의 필요성과 관련하여 중요한 두 가지 영역이 있다.

• 첫째, 설계 단계에서 제안된 표본 크기를 미리 명시하는 것이 계획, 자금 조달 및 윤리적 검토를 위한 점점 더 일반적인 요구 사항이 되고 있다. 연구자들이 표본 크기 충분성에 대한 제안을 꺼리고(Mason, 2010) 일부 접근 방식에서 선행 추정은 부적절하다는 점을 감안할 때 이는 잠재적으로 문제가 될 수 있다(Morse, 1995).
• 둘째, 포화상태에 이르렀을 때를 보여주기 위한 실질적인 지침이 제한적이다(Bowen, 2008; Guest et al., 2006). 이는 연구자와 검토자가 언제 포화 상태에 도달했는지 결정하기 위해 [사용할 수 있는 원칙]에 대해 연구 커뮤니티가 어떻게 합의할 수 있는지, 그리고 독자에게 투명한 방식으로 판단을 가장 잘 방어할 수 있는 방법에 대한 질문을 유발한다(Francis et al., 2010). 이는 실제로 연구자들이 [표본 적정성]보다는 [자원이 제한되고 시간과 돈에 의해 주도될 때 모집을 중단하는 경우]가 많다는 점을 감안할 때 특히 중요하다(Green and Thorogood, 2004).

Achieving transparency is, however, a complex requirement for researchers given that there are limited guidelines for the research community to utilise (Francis et al., 2010; Ziebland and McPherson, 2006) and differing meanings of the term. There are two areas of importance in relation to the need for guidance about saturation.

• First, it is becoming an increasingly common requirement at the design stage, for planning, funding and ethical review, to state in advance the proposed size of the sample. This is potentially problematic given that researchers shy away from making suggestions about sample size sufficiency (Mason, 2010) and in some approaches a priori estimations are inappropriate (Morse, 1995).
• Second, there is limited practical guidance or help to show researchers when saturation has been reached (Bowen, 2008; Guest et al., 2006). This prompts questions about how the research community might agree on principles that researchers and reviewers can use to determine when saturation has been reached and how to best defend judgements in a way that is transparent to readers (Francis et al., 2010). This is particularly important given that in reality, researchers often stop recruitment when resources become limited and are driven by time and money, rather than sample adequacy (Green and Thorogood, 2004).

흥미롭게도, 질적 작업에서는 종종 [어떻게 또는 왜 포화를 달성하였는지]에 대해서 [독자]가 [투명성이 거의 없는 방법론이나 증거]를 생성하기 위해 데이터 수집과 분석을 풀어내야 한다(Caeelli 등, 2003). 이는 16개월 동안 18개의 기사가 포화에 대해 언급했지만, 그 중 어느 것도 그것이 어떻게 달성되었는지에 대해 투명하지 않다는 것을 발견한 선도 저널의 리뷰를 통해 입증된다(Francis et al., 2010). 이는 연구자들이 보급 중 포화의 과정을 명시하는 것이 기대치라는 점에서 문제가 있다(Bowen, 2008). 실제로는 예상치 못한 참가자 감소(Tuckett, 2004)와 시간과 자원(Green and Thorogood, 2004) 측면에서 연구자에게 실질적인 제약이 있다. 이는 각 인터뷰 내에서 포화도와 품질에 관한 논쟁이 있기 때문에 특히 중요하며, 따라서 연구자들은 인터뷰의 길이와 인터뷰 횟수에 모두 주의를 기울일 필요가 있다(Onwuegbuzie and Leech, 2005). 포화 도달에 대한 이러한 제한에 대한 투명성이 반드시 결과를 무효화하지는 않는다. 포화에 도달하지 못하면 이는 [발견이 유효하지 않다]는 의미라기보다는, [현상이 아직 완전히 조사되지 않았다]는 것을 의미한다(Morse, 1995). 따라서 표본 추출 적정성에 대한 어떠한 제한도 투명하게 보고되는 것은 허용된다. 따라서 연구자들은 포화에 도달했는지, 포화에 도달했는지, 어떻게 도달했는지, 채용 중에 어떤 문제에 직면했는지에 대해 명확히 할 필요가 있다.

Interestingly, in qualitative work it is often left to the reader to unpack the data collection and analysis to generate clues as to the methodology with little transparency or evidence to how or why saturation was achieved (Caelli et al., 2003). This is evidenced by a review of a leading journal that found that during a 16-month period, 18 articles mentioned saturation and yet none of them were transparent about how it was achieved (Francis et al., 2010). This is problematic given that it is an expectation that researchers make explicit the process of saturation during dissemination (Bowen, 2008). In reality there are practical constraints on the researcher in terms of unforeseen participant attrition (Tuckett, 2004) and in terms of time and resources (Green and Thorogood, 2004). This is particularly important as there are arguments relating to saturation and quality within each interview and, therefore, researchers need to pay attention to both the length of interviews as well as the number of interviews (Onwuegbuzie and Leech, 2005). Transparency about these limitations on reaching saturation does not necessarily invalidate the findings. If saturation is not reached this simply means that the phenomenon has not yet been fully explored rather than that the findings are invalid (Morse, 1995). It is acceptable, therefore, that any limitations of sampling adequacy are transparently reported. Researchers thus need to be clear in dissemination if they reached saturation, how they reached it and what issues they faced during recruitment.

포화는 설득력 있는 개념이지만, 특히 어떤 경우에는 [새로운 테마의 수가 잠재적으로 무한할 수 있기 때문에] 많은 실질적인 약점을 가지고 있다(Green and Thorogood, 2004). 이는 각 삶이 독특하고, 이러한 의미에서 [데이터는 항상 새로운 발견이 있을 것]이기 때문에 결코 진정으로 포화되지 않기 때문이다(Ray et al., 2007). 질적 탐구에서 연구자들은 귀납적 접근이나 연역적 접근을 취할 수 있다. [귀납적 추론]을 사용하는 사람은 데이터를 사용하여 아이디어를 생성하고, [연역적 추론]을 사용하는 사람은 아이디어에서 시작하여 데이터를 사용하여 이를 확인한다(Thorne, 2000). 따라서 이론적으로,

• 초점이 명확한 생각focused idea을 가진 사람들은 관련 연구 의제를 가지고 있고, 따라서 이것은 데이터 수집의 방향을 안내한다. 이러한 방식으로 매개변수가 생성되고 포화 상태에 도달할 수 있는 특정 관심 영역이 추구됩니다.
• 반면에 [연역적 접근]은 훨씬 더 광범위하고 연구원은 데이터 수집에서 나올 수 있는 범주의 유형에 대해 알지 못한다. 이런 의미에서 포화를 달성할 수 있는 잠재력은 비현실적인 목표가 된다.

Saturation is a convincing concept but has a number of practical weaknesses, especially as in some cases the number of emergent themes are potentially limitless (Green and Thorogood, 2004). This is because each life is unique and in this sense data are never truly saturated as there will always be new things to discover (Wray et al., 2007). In qualitative inquiry researchers can take an inductive approach or deductive approach. Those who use inductive reasoning use the data to generate ideas and those who use deductive reasoning begin with an idea and then use the data to confirm it (Thorne, 2000). In theory, therefore,

• those who have a focused idea have a related research agenda, and, thus, this guides the direction of the data collection. In this way parameters are created and particular areas of interest pursued within which saturation can be achieved.
• On the other hand a deductive approach is much broader and the researcher is unaware of the types of categories that may emerge from data collection. In this sense, the potential for achieving saturation becomes an unrealistic target.

이 절에서 강조한 것은 질적 연구의 품질을 보장하기 위해 배포 중에 [프로세스의 투명성]이 필수적이라는 것이다. 그러나 [품질을 달성하는 것]은 (저자가 전체 접근 방식의 장점을 입증할 책임이 있기 때문에) [포화도의 투명성]을 초월한다. 카엘리 등은 나아가 연구자들이 자신들의 이론적 입장을 밝히고, 방법론과 방법 사이의 일치성을 입증하며, 엄격함을 확립하기 위해 사용한 전략을 강조해야 한다고 주장한다. 이것이 의미하는 바는 포화 개념이 모든 질적 접근법에 걸쳐 품질을 확립하는 데 [항상 적절한 기준은 아니라는 것]이다. [이론적 위치와 방법 간의 일치성을 확립하는 것]은 서로 다른 데이터 수집 방법이 선호되고 서로 다른 품질 마커가 사용된다는 것을 의미한다. 예를 들어, [인터뷰]가 일반적이고 대중적인 데이터 수집 방법이고 일부 접근법에 적합하다고 간주되지만(Gaskell, 2000), 모든 사람이 보편적으로 선호하는 것은 아니다. 이는 포화 상태에 대한 토론과 토론의 대부분이 거의 전적으로 인터뷰와 포커스 그룹 연구에 집중한다는 점을 감안할 때 특히 주목할 만하다. 따라서 자연적으로 발생하는 데이터, 일지 입력diary entries 또는 관찰과 같은 수집 방법에 적용할 때 그 다양성에 대한 비판적 사고의 누락이 있는 것으로 보인다.
What this section has highlighted is that transparency of process is essential during dissemination to ensure quality in qualitative research. Achieving quality, however, transcends transparency of saturation as authors have a responsibility for evidencing the merits of the overall approach (Caelli et al., 2003). Caelli et al. further argue that researchers must address their theoretical position, evidence the congruence between methodology and methods, and highlight the strategies they used to establish rigour. What this means is that the concept of saturation is not always an appropriate criterion for establishing quality across all qualitative approaches. Theoretical position and establishing congruence between methods means that differing data collection methods are favoured and different quality markers are utilised. For example, although interviews are a common and popular method of data collection and deemed suitable for some approaches (Gaskell, 2000), they are not universally favoured by all. This is particularly noteworthy given that the majority of debate and discussion around saturation almost exclusively focuses on interview and focus group studies. Thus, there seems to be an omission of critical thinking about its versatility when applied to collection methods such as naturally occurring data, diary entries or observations.

지금까지의 주장으로 볼 때 포화를 고려하는 것이 문헌이 제시한 것보다 더 복잡하다는 것은 분명하다. 서로 다른 데이터 수집 방법은 서로 다른 방식으로 데이터 양의 충분성을 프레임화하며, 이로 인해 모든 경우에 포화도를 적용할 수 있을지 의문이다. 양적 과학의 유산은 더 많은 수의 문화적 잔재가 더 큰 영향을 미친 것으로 보인다. 데이터가 많을수록 반드시 정보가 많아지는 것은 아니기 때문에 질적 작업에는 적용되지 않는다(Mason, 2010). [연구에 추가 참여자를 모집하고 이들이 제공하는 데이터를 충분히 활용하지 않는 것은 불필요할 뿐만 아니라 잠재적으로 비윤리적]이기 때문에 이것은 특히 중요한 문제이다(Francis et al., 2010). 질적 조사에서 목표는 고정된 수의 참가자를 획득하는 것이 아니라 연구 중인 현상을 완전히 설명하는 방법으로 충분한 깊이의 정보를 수집하는 것이다(Fossey 등, 2002). 이와 같이 다양한 접근 방식이 풍부한 분석과 심층 분석을 달성하기 위해 연구 질문을 프레임화하고, 참가자를 표본화하고, 데이터를 수집하는 방법에 차이가 있다(Starks and Trinidian, 2007).

It is clear from the argument thus far that considering saturation is more complex than the literature has suggested. Differing data collection methods frame the sufficiency of data quantity in different ways and because of this it is questionable whether saturation can be applied in all cases. The legacy of quantitative science appears to have left a cultural residue of larger numbers having greater impact. This is not applicable to qualitative work as more data does not necessarily lead to more information (http://www.qualitative-research.net/index.php/fqs/article/view/1428/3027" data-mce-href="https://journals-sagepub-com-ssl.access.hanyang.ac.kr/doi/10.1177/1468794112446106#">Mason, 2010). This is a particularly important issue as it is not just unnecessary but also potentially unethical to recruit further participants to a study and not make full use of the data they provide (Francis et al., 2010). In qualitative inquiry, the aim is not to acquire a fixed number of participants rather it aims to gather sufficient depth of information as a way of fully describing the phenomenon being studied (Fossey et al., 2002). As such, there are differences in how various approaches frame research questions, sample participants and collect data (Starks and Trinidad, 2007) in order to achieve richness and depth of analysis.

연구의 중심 목표는 지식을 확장하고 발전시키는 것이지만(Caeelli et al., 2003), 그러나 획득의 본질과 메커니즘에 대한 근본적인 주장은 다양하다. 따라서 [지식에 대한 다른 가정]은 [연구의 인식론적 출발점]을 알려주며, 따라서 주어진 [프로젝트의 목적과 목표]를 결정한다. 이러한 목적과 목표가 전체 연구 과정의 궤적을 안내할 것이다. 우리는 이것이 표본 추출 적정성에 포화 개념을 적용할 때 특히 중요하다고 주장한다. 따라서 [표본의 적절성adequecy]은 [참가자 수]만을 기준으로 결정되는 것이 아니라 [데이터의 적절성appropriateness]에 따라 결정된다. 예를 들어, 대화 분석가는 고유한 조사 방식에 더 적합한 자연 발생 데이터의 작은 데이터 세트를 선호합니다(Potter, 2002). 이는 품질 지표로서의 포화도가 불필요해지는redundant 한 가지 접근법이다. 대화 분석을 사용하여 연구 과정에서 의사 결정을 관리하는 방법에 대한 정교한 문헌이 있으며, 그 안에 품질을 보장하기 위한 강력한 메커니즘이 있다(Hutchby and Woffit, 2008; ten Have, 2007).

The central aim of research is to extend and advance knowledge (Caelli et al., 2003) and yet fundamental arguments about the nature of and mechanisms for its acquisition are diverse. Different assumptions about knowledge thus inform the epistemological starting point of research and, therefore, also determine the aims and objectives of any given project. It is these aims and objectives that will guide the trajectory of the whole research process. We argue that this is particularly important when applying the notion of saturation to sampling adequacy. The adequacy of the sample is, therefore, not determined solely on the basis of the number of participants but the appropriateness of the data. For example, conversation analysts have a preference for small data sets of naturally occurring data as more appropriate for their unique mode of inquiry (Potter, 2002). This is one approach where saturation as a marker for quality becomes redundant. There is a sophisticated literature about how to manage decisions in the research process using conversation analysis and there are robust mechanisms for ensuring quality within it (Hutchby and Wooffitt, 2008; ten Have, 2007).

그러나 포화의 무관성은 대화 분석에 국한되지 않으며, [인식론적 및 방법론적 프레임워크]는 연구자가 품질 기준을 결정하고 적용하는 데 있어 지침을 제공해야 한다. 문제는 모든 경우에 포화와 같은 마커를 엄격하게 적용할 때 발생한다. 포화와 같은 개념을 [의심의 여지 없이 수용]하면, 결과적으로 [최적의 표본 추출 적절성]에 대한 [도움이 되지 않는 신화]를 영구화하는, [품질에 대한 제도적 담론]의 일부가 되고, 동시에 이러한 기대에 부합하지 않는 연구의 가치를 훼손한다. 이는 연구자들이 자신의 연구 커뮤니티와 관련된 언어와 개념을 사용하는 데 익숙하기 때문에 이해할 수 있다(Caeelli et al., 2003). 그럼에도 불구하고, 다른 전통에 대한 존중은 중요하고 쓰기, 복습, 교수와 같은 학문적인 활동에서는 성찰적 태도가 필수적이다. 특정 전통 내에서 [방법론적 무결성]을 유지하는 동시에, 다른 정성적 방법을 자체 품질 측정과 비교하여 공정하게 평가할 수 있다. 따라서 포화의 측면에서 [이론적 일치성]은 그 유용성을 희석시키지 않도록 유지되어야 한다. 카엘리 외. (2003:9) 제안:
The irrelevance of saturation is not limited to conversation analysis, however, and the epistemological and methodological frameworks should guide researchers in their decision making and application of quality criteria. The problem arises when markers such as saturation are rigidly applied in all cases. The unquestioned acceptance of concepts like saturation consequently become part of an institutional discourse of quality that perpetuate unhelpful myths about optimum sampling adequacy and simultaneously undermine the value of research not conforming to these expectations. This is understandable as researchers are accustomed to using language and concepts that are relevant for their own research community (Caelli et al., 2003). Nonetheless, respect for other traditions is important and in academic activities such as writing, reviewing and teaching, a reflexive attitude is essential. It is possible to maintain methodological integrity within a particular tradition, while fairly assessing other qualitative methods against their own measures of quality. In terms of saturation, therefore, theoretical congruence should be maintained so as to not dilute its usefulness. As Caelli et al. (2003: 9) propose:

이 논의에서 분명한 것은 [근거 이론의 기원을 넘어선 포화의 적용]에 관한 논쟁에 대한 관심이 부족했다는 것이다. [근거이론]은 이론적 포화도를 구성하는 것이 무엇인지, 그것을 적용하는 방법과 언제 사용할지에 대한 명확한 지침을 가지고 있지만, [다른 질적 접근법]과 관련된 새로운 의미는 덜 발달되어 있다. 이 기사에서 우리의 잠정적인 주장은 개념의 전환 이후 나타난 핵심 쟁점 중 일부를 분리하고 토론을 열기 위해 고안되었다. 포화가 의심받지 않고 기대되기 때문에 이것이 실제로 연구실습에 어떤 의미가 있는지 성찰하는 시간을 가질 필요가 있다. 학술지가 검토 과정에서 포화에 대한 질문을 통합하기 시작한 만큼 연구계가 현실에 안주하기 전에 문제 제기가 절실하다. 서로 다른 전통의 학자들이 이 문제에 대해 흥미롭고 다양한 의견을 가지고 있다는 점에 주목하고, 이 글이 토론을 자극하여 학계와 질적 연구가 진전될 수 있기를 기대한다.

What is evident from this discussion is that the debates around the application of saturation beyond its origins in grounded theory, have received limited attention. While grounded theory has clear guidance about what constitutes theoretical saturation, how to apply it and when to use it, the new meanings in relation to other qualitative approaches are less developed. Our tentative arguments in this article are designed to disentangle some of the key issues that have emerged since the transformation of the concept and to open up debates. As saturation becomes unquestioned and expected, it is necessary to take time to reflect on what this actually means for research practice. As journals are starting to incorporate questions about saturation in the process of review, it is imperative that questions are raised before the research community becomes complacent. We note that different academics from different traditions hold interesting and diverse opinions on this issue and we hope that this article will stimulate debate so that academia and qualitative research can progress.

최근 걸작을 제출한 저널에서 흥미로운 의료 교육 혁신을 설명하는 원고인 이메일이 뜬다. 당신이 이 서사시 작품을 출품한 지 꽤 된 것 같아요. 두려움으로 당신은 이메일을 엽니다. 그것은 광범위하다: 수정이 요청된다. 당신은 그 논문이 거절당하지 않아서 기쁘지만, 이메일이 길다는 것은 여전히 상당한 노력이 필요하다는 것을 나타낸다. 더 많은 데이터, 분석, 토론, 제한 및 참조에 대한 많은 의견과 요청을 읽으면 기분이 가라앉습니다. 당신은 걱정한다: 검토자들이 당신의 논문을 이해했나요? 모든 댓글에 응답해 주실 수 있나요? 응답할 시간을 어디서 찾을 것인가?
An e-mail pops up from the journal to which you submitted your recent masterpiece, a manuscript describing an exciting medical education innovation. It feels like a long time since you submitted this epic work. With trepidation you open the e-mail. It is extensive: a revision is requested. You are elated that the paper has not been rejected, but the length of the e-mail indicates that considerable efforts are still required. As you read the many comments and requests for more data, analyses, discussion, limitations, and references, your spirits sink. You worry: Did the reviewers understand your paper? Can you respond to all of the comments? Where will you find the time to respond?

절망하지 마세요. JGME(Journal of Graduate Medical Education) 편집자들이 여러분의 논문에 대해 편집자들이 "네"라고 대답하는 데 도움이 되는 훌륭한 작가 응답 편지를 만드는 것을 돕기 위해 여기에 있습니다.
Do not despair. The Journal of Graduate Medical Education (JGME) editors are here to help you craft a stellar author response letter, one that will help editors say “yes” to your paper.

좋은 소식은 수정 및 재제출 결정이 첫 번째 제출이 이 장소에 적합할 수 있음을 나타낸다는 것입니다. 범위를 벗어나거나 저널에서 이미 많은 보도를 받은 주제에 관한 기사는 첫 번째 검토에서 거부될 것이다. 따라서, 당신의 논문은 유망합니다. 당신의 목표는 당신의 수정된 원고에 첨부할 강력한 저자 응답서를 만드는 것이다.

심사숙고 끝에 검토자의 의견이 적절하지 않은 어조로 나타날 경우 작성자 답변서와 별도로 편집자에게 문의하십시오. 대부분의 편집자와 평론가들은 작가들을 돕기 위해 열심히 노력하지만, 우리는 틀리기 쉽다. 그러나 편집자와 평론가의 의도가 긍정적이라는 비방어적 입장과 사고방식을 채택하는 것은 여러분에게 도움이 될 것입니다.

매년 편집자들은 수천 개의 논문과 심지어 더 많은 개정판들을 읽는다. 작성자 답변서를 가능한 한 명확하면서도 간략하게 작성하십시오. 주석, 주석에 대한 응답 및 원고 변경(표 2)과 구별하기 위해 표 접근법(표 1) 또는 다른 글꼴 또는 색상을 사용하여 원고의 주석, 주석에 대한 응답 및 변경 위치를 쉽게 시각화할 수 있습니다. 문서철에서 작성자 응답 서신에 대한 작성자 지시사항에 템플리트를 제공하는 경우, 템플리트를 자세히 따르십시오.

Each year editors read thousands of papers and even more revisions. Make your author response letter crystal clear—as clear yet as brief as possible. Make the comments, response to comments, and location of changes in the manuscript easy to visualize by using a table approach (table 1) or different fonts or colors, to differentiate comments from responses and manuscript changes (table 2). If the journal provides a template in the author instructions for the author response letter, follow the template closely.

때때로 검토자들은 논문이 단어 수나 그래픽 한계를 넘도록 하는 추가 정보나 표를 요청한다. 단어를 다듬을 다른 영역이 없다면, 원고가 아닌 작성자 답변서에 요청한 정보를 제공하는 것이 가장 좋습니다. 분개장에 따라 온라인 전용 부록에 추가 정보를 넣을 수 있습니다. 또는, 작성자는 응답서에 요청된 답변을 제공하고 편집자가 원할 경우 이 정보를 논문에 추가할 수 있다고 진술할 수 있다. "용지가 단어 수 제한을 초과할 것이기 때문에 응답할 수 없습니다"를 응답하지 않는 이유로 사용하지 마십시오. 까다로운 검토자 및 편집자 의견과 작성자를 위한 잠재적인 해결책은 표 3을 참조하십시오.

Sometimes reviewers request additional information or tables that will make the paper go over word count or graphics limits. If there are no other areas in which to trim words, it is best to provide the requested information in the author response letter rather than in the manuscript. Depending on the journal, additional information can be placed in online-only appendices. Alternatively, authors can provide the requested answers in the response letter and state that this information can be added to the paper, if the editors prefer. Do not use “we cannot respond as it will put the paper over the word count limit” as a reason for nonresponse. See table 3 for tricky reviewer and editor comments and potential solutions for authors.

현상
Phenomenon

협업 연구 프로젝트의 수가 증가함에 따라 authorship의 순서에 대한 의문이 제기되고 있다. 저자 순서는 연구팀 리더십, 연구 참여 수준, 협업 능력, 학술 생산성, 연공서열, 연구 분야의 전문성을 위한 대용물로 일상적으로 사용되기 때문에 중요한 주제이다. 따라서, 저자 순서는 고용, 급여, 자원 할당, 승진 및 재직권과 관련된 중요한 결정을 내릴 때 종종 사용된다. 작가 순서가 어떻게 결정되는지는 항상 투명하거나 직관적인 것은 아니다. authorship은 누가 저자로 포함되어야 하는지에 대한 결정과 그에 따라 저자가 나열되어야 하는 순서에 대한 결정이 필요하다. 여러 공동작업자가 참여한 연구의 경우, 이전 연구는 저자 순서를 정하는 방법에 대한 학문분야별 관행의 일관성이 거의 없다는 것을 발견했다.
The rise in the number of collaborative research projects brings with it questions about the order of authorship.1 This is an important topic because author order routinely is used as a proxy for research team leadership, level of involvement in a study, collaboration skills, scholarly productivity, seniority, and expertise in a field of investigation. Thus, author order is often used when making important decisions related to hiring, salary, resource allocation, promotion, and tenure.1–9 How author order is decided is not always transparent or intuitive. Authorship requires decisions about who should be included as an author followed by decisions about the order in which authors should be listed. For studies with multiple collaborators, prior work has found that there is little consistency in practices across disciplines on how to order authors.3,10

우리의 연구는 일반적으로 누구를 저자로 포함시켜야 하는지, 작가의 순서를 결정하는 방법과 관련된 후배들의 빈번한 저자 질문의 결과로 이루어졌다. 증거에 기초한 접근은 신중해 보였지만, 문헌을 검토한 결과, 자신의 학문적 전통에 따라 authorship에 대한 의견과 관행이 크게 엇갈리는 것으로 나타났다. 그 후 우리는 구체적인 지침의 부족과 이러한 명확성의 부족과 함께 나타나는 긴장과 우려를 모두 인정한 그 분야의 몇몇 선도적인 학자들과 이야기를 나누었다.
Our research came about as a result of frequent authorship questions from junior colleagues, typically related to who to include as an author and how to decide on the order of authors. Although taking an evidence-based approach seemed prudent, a review of the literature suggested that depending on one’s academic tradition, there were widely divergent opinions and practices on the subject of authorship. We subsequently spoke with several leading scholars in the field who acknowledged both the lack of specific guidance and tensions and concerns that emerged with this lack of clarity.

의학 교육계는 대체로 학자들과 교육자들의 "이민자들"의 공동체이다. 역사적으로, 의학 교육의 대부분의 학자들은 기초 과학, 사회 과학 또는 임상 분야에서 왔다. 우리는 이러한 풍부하고 다양한 배경을 의료 교육 공동체를 강화하는 것으로 본다. 하지만, 학술활동에 관한 한, 우리는 종종 저자와 저자의 순서에 대해 어떻게 생각하는지 등 우리 자신의 분야에서의 관행을 연구에 도입한다. 최근 30개 이상의 학술지를 발간할 수 있는 의학 교육 연구의 성장과 보건 전문 교육(HPE) 분야의 대학원 프로그램의 수가 증가하고 있음에도 불구하고, 의학 교육 연구자에 대한 저작자 지령에 관한 인정된 커뮤니티 표준이나 지침은 없다. 실제로, 저자 결정은 지역 제도 표준 및 우리 자신의 학문적 전통의 관행에 의해 형성될 수 있습니다. 이런 점에서 우리는 다른 학술 출판계와 다를 바 없다.
The medical education community is largely an “immigrant” community of scholars and educators.11 Historically, most scholars in medical education have come from the basic sciences, social sciences, or clinical disciplines; we view these rich and diverse backgrounds as strengthening the medical education community. However, when it comes to scholarship, we often bring our own disciplinary practices to our research, including how we think about authorship and author order. Despite the recent growth of medical education research with now more than 30 journals available for publishing our work and increasing numbers of graduate programs in health professions education (HPE),12 there are no accepted community standards or guidelines for medical education researchers regarding authorship order. In practice, authorship decisions likely are shaped by local institutional standards and/or the practices of our own academic tradition. In this respect, we are no different from other scholarly publishing communities.3

우리는 저자 순서라는 주제에 대한 문헌 검색을 수행했고 연구자들을 위한 일반적인 지침을 찾았지만 의학 교육 연구라는 주제에 대한 구체적인 내용은 찾지 못했다. 리에센베르크와 룬드베르크는 작가 질서에 대해 작가에게 주어지는 "상식" 기준의 전형이다. 

• (a) 누가 작가인지 아닌지를 결정한다. 
  
• (b) 저자의 지위는 기여에 기초하며, 첫 번째 저자가 가장 많이 기여하고 나머지는 기여의 내림차순으로 나열된다. 
  
• (c) 프로젝트 내내 필요에 따라 작성자 주문에 대해 조기에 합의에 도달하고 재고합니다.

We conducted a literature search on the topic of authorship order and found general guidance for researchers but nothing specifically on the topic of medical education research. Riesenberg and Lundberg13 is typical of the “commonsense” criteria given to authors about the author order:

• (a) decide who is and is not an author;
• (b) authorship is based on contribution, with the first author contributing the most and the rest listed in descending order of contribution; and
• (c) reach agreement early about authorship order and reconsider as needed throughout the project.

234개 생물의학 저널의 저자 가이드라인을 검토한 결과 41%가 저자에 대한 기준을 제시하지 않았고, 29%가 국제 의학 저널 편집자 위원회가 제공한 기준에서 도출된 저자 기준을 지지했으며, 28%가 자체 기준을 제공한 것으로 나타났다. 그러나 이러한 기준은 일반적으로 누가 저자의 자격을 갖췄는지 다루지만 저자의 순서를 결정하는 방법은 다루지 않는다. 다저자 논문의 경우, 작성자 순서에 대한 구체적인 지침이 없음에도 불구하고, 한 사람의 기여의 크기를 기준선에서 추론하는 것이 일반적인 관행이다. 
A review of the authorship guidelines of 234 biomedical journals found that 41% did not provide any criteria for authorship, 29% endorsed authorship criteria derived from those provided by the International Committee of Medical Journal Editors, and 28% provided their own criteria.10 However, these criteria generally address who qualifies as an author but not how to determine the order of authors.14 On multiauthored papers, it is common practice to infer the magnitude of a person’s contribution from their place in the byline, despite the lack of specific guidance on authorship order.3

광범위한 분야의 저자들은 저자 순서를 결정하기 위해 알고리즘이나 기여 등급 체계를 제안했다. 이들은 일반적으로 프로젝트의 여러 측면에 대한 [개별 기여도를 정량화]하려고 시도하며, 이 기여도를 종합하여 전체 상대적 기여도를 결정한다. 이 방법들이 널리 사용되고 있다는 증거는 거의 없다. 한 알고리즘만 일상적으로 사용되었고 다른 알고리즘은 전문 기관의 승인을 받은 것으로 보인다. 
Authors from a wide range of disciplines have proposed algorithms or contribution rating schemes to determine author order.6,15–22 They generally attempt to quantify individual contributions to multiple aspects of a project, which are then aggregated to determine overall relative contribution. There is little evidence of any widespread use of these methods. Only one algorithm appears to have be used routinely8 and another has been endorsed by a professional organization.23

authorship은 연구 과정 초기에 최적으로 발생하는 2단계 결정 과정을 포함한다. 첫 번째이자 근본적인 결정은 연구팀에서 누가 저자의 자격을 갖는지에 관한 것이다. 다음으로, 연구팀은 저자들이 출판물에 등재되는 순서에 동의한다. 저자 자격 기준은 일반적으로 저널에 열거되며 일반적으로 국제 의학 저널 편집자 위원회의 권고에 기초한다. 이러한 기준은 연구자들의 연구 전통에 관계없이 일관되게 적용되어야 한다. 사실, Teaching and Learning in Medicine을 포함한 많은 저널들은 저자들이 이러한 기준을 충족한다는 것을 증명하도록 요구한다. 따라서 저자가 저자권 기준을 충족한다는 것을 증명하는 것은 의견의 문제라기보다는, 윤리적인 문제이며 조사자들의 연구 배경 때문에 달라져서는 안 된다. 그러나 최근 연구에서, 우리는 저자 결정에 대한 광범위한 경험을 가진 가장 고위 HPE 학자와 사상 지도자조차도 연구에 기여한 사람들에게 적절한 크레딧을 주면서(그러나 기술적으로 저자 기준을 충족하지 못함) 저자 기준을 적용하는 데 어려움을 겪을 수 있다는 것을 발견했다.
Authorship involves a two-stage decision process that optimally occurs early on in a research process. The first and fundamental decision involves who in a research team qualifies for authorship. Next, the research team agrees on the order in which the authors are listed on a publication. Authorship criteria are typically enumerated in journals and commonly based on recommendations by International Committee of Medical Journal Editors; these criteria must be consistently applied regardless of the research tradition of the investigators. In fact many journals, including Teaching and Learning in Medicine, require authors attest that they meet these criteria. Therefore, attesting that authors meet authorship criteria is an ethical issue rather than a matter of opinion and should not vary because of the research backgrounds of the investigators. However, in a recent study,24 we found that even the most senior HPE scholars and thought leaders who had extensive experience with authorship decisions can struggle with applying authorship criteria while giving adequate credit to those who contributed to the research (but technically fail to meet author criteria).

저자 순서와 관련된 두 번째 결정 지점에 초점을 맞추고 있으며, 여기에 대해서는 현재 연구는 공식적인 지침이 거의 제공되지 않고 있다. 누가 저자의 자격을 갖는지에 대한 결정과 달리, [저자가 나열되는 순서]와 관련된 의학 교육 외의 선행 연구는 [저자의 순서]가 학문분야마다 다르며 전통의 적용을 받는다는 것을 발견했다. 본 연구의 목적은 의학교육논문이라는 맥락 안에서 저자순서 결정에 적용되는 원칙과 관행을 기술하는 데 있다. 우리는 또한 의견 수렴이 있는 영역과 어느 정도의 불확실성이 남아있는 영역을 염두에 두고 저자 질서의 중요성에 대한 교육자들의 의견을 기술하고자 했다. HPE 연구자들 사이의 다양성을 고려할 때, 우리는 다양한 관행과 의견을 기대했고, 따라서 다양한 배경, 학위 및 국적을 포함하는 광범위한 샘플을 포함했다.
The current study focuses on the second decision point regarding the author order, for which little formal guidance is available. In contrast with the decision of who qualifies as author, prior work outside of medical education related to the order in which authors are listed has found that author order varies among disciplines and is subject to tradition. The purpose of the current study is to describe the principles and practices applied to authorship order decisions within the context of medical education scholarship. We also sought to describe educators’ opinions about the significance of author order, with an eye to areas where there is a convergence of opinion and to areas where a degree of uncertainty remains. Given the diversity among HPE researchers, we expected a range of practices and opinions, and therefore involved a broad sample to include variety of backgrounds, degrees, and nationalities.

접근
Approach

소견
Findings

응답자
Respondents

391개의 이메일 주소의 초기 샘플에서 54개의 이메일 연락처가 배달 불가능으로 반환되어 337개의 유효한 이메일 주소가 생성되었습니다. 퀄트릭스 플랫폼에 따르면 141명의 응답자가 설문을 열었고 109명의 응답자가 설문을 완료해 전체 응답률 32.3%(109/337명)를 나타냈다. 이 조사 결과들의 오차범위는 ±9%이다.28
From the initial sample of 391 e-mail addresses, 54 e-mail contacts were returned as undeliverable, yielding 337 valid e-mail addresses. According to the Qualtrics platform, 141 respondents opened the survey and 109 respondents completed it, representing an overall response rate of 32.3% (109/337). The margin of error for these survey results is ±9%.28

응답자들은 평균 19년(SD = 11.1년) 의학교육 경험(Mdn = 16.5년)을 보고하였다. 그들은 지난 2년 동안 의료 교육에서 4.5개의 동료 평가 출판물(Mdn = 3, 모드 = 2)을 보고했다. 응답자 특성 요약은 표 1에 제시되어 있다. 연구 분야별로는 임상(38%, n=41), 사회과학(24%, n=26), 기초과학(10%, n=11), 인문(3%, n=3), '기타'(25%, n=27) 순이었다. 연구 분야가 교육인 일부 응답자들은 자신을 사회과학 분야로 분류한 반면, 다른 응답자들은 "기타"라고 말했다. 응답자의 절반 이상(57%, n=62)이 미국 출신이어서 본 연구의 표본 추출과 일치한다. 1차 조사 응답자와 3차 조사 응답자의 인구통계학적 특성을 비교한 결과, 수년 간의 의료 교육 경험, 지난 2년 동안의 동료 검토 간행물 또는 표 1에 나열된 속성과 관련하여 유의미한 차이가 발견되지 않았다(p > 0.05).

The respondents reported an average of 19 years (SD = 11.1) of experience in medical education (Mdn = 16.5 years). They reported a mean of 4.5 peer-reviewed publications in medical education (Mdn = 3, mode =2) in the prior 2 years. A summary of the respondent characteristics is presented in Table 1. In terms of fields of study, the breakdown was clinical sciences (38%, n = 41), social sciences (24%, n = 26), basic sciences (10%, n = 11), humanities (3%, n = 3), and “other” (25%, n = 27), which included business and organizational leadership. Some respondents whose field of study was education classified themselves within social sciences, whereas others indicated “other.” Just over half of the respondents (57%, n = 62) were from the United States, which is consistent with the sampling for this study. A comparison of the demographic characteristics of first-wave and third-wave survey respondents found no significant differences (p > .05) with regards to years of experience in medical education, peer-reviewed publications in the past 2 years or any of the attributes listed in Table 1.

저작권과 관련된 현재 관행 및 바람직한 관행
Current practices and desirable practices related to authorship

응답자의 현재 경험을 이상적이거나 바람직한 관행이라고 믿는 것과 비교한 결과, 항목의 세 가지 그룹이 나왔다.

• 흔하고 바람직한 것으로 높은 지지율을 가진 항목(표 2: 파트 A),
• 드물고 바람직하지 않은 관행을 시사하는 낮은 지지율을 가진 항목(표 2: 파트 B),
• 현재 관행과 바람직한 관행 사이에 상당한 차이가 있다(표 2: 파트 C).

Comparing respondents’ current experiences with what they believed to be ideal or desirable practice resulted in three groups of items:

• those with a high rate of endorsement as both common and desirable (Table 2: Part A),
• items with a low endorsement rate suggesting practices that were both infrequent and undesirable (Table 2: Part B), and
• the items with a significant gap between the ratings of current practice and desirable practice (Table 2: Part C).

흔하고 바람직한 것으로 인정된 네 가지 항목이 있었다(표 2: 파트 A).

• 기여 감소 순서대로 작성자 나열(A1),
  
• 학생 프로젝트(A2)에서 파생된 논문의 제1저자로 작성자로 학생을 등록합니다.
  
• 제1저자가 원고의 무결성에 대한 최종 보증할 책임을 갖고(A3) 교신저자(A4) 역할을 수행합니다.

There were four items endorsed as both common and desirable (Table 2: Part A). Respondents support

• listing authors in order of decreasing contribution (A1),
• listing a student as first author for papers derived from a student project (A2), and
• the responsibility of the first author for final assurance of the integrity of the manuscript (A3) and
• serving as the corresponding author (A4).

공동 연구팀의 리더를 논문(A5)에 마지막 저자로 등재하는 것에 대한 응답자들의 지지도는 현재와 이상적인 관행 모두에서 50%에 가까웠다. 이는 실무에 대한 양면성이나 불확실성을 반영할 수 있으며, 실무는 상황에 따라 달라질 수 있다.
Respondents’ endorsement of listing the leader of a collaborative research team as last author on a paper (A5) was close to 50% for both current and ideal practice. This could reflect ambivalence or uncertainty about the practice, or that the practice is context dependent.

표 2의 파트 B는 낮은 지지율을 가진 네 가지 항목을 나열하여 이러한 관행이 드물고 바람직하지 않음을 나타낸다. 이 항목들은 다음의 것들이 바람직하지 않다는 점을 강화한다.

• 알파벳 순서대로 저자 정하기(B2)
  
• 프로젝트에 대한 기여(B3) 또는 협업 팀 간의 논의(B4)를 기반으로 하지 않는 저자 순서 결정
• 마지막 저자가 원고의 무결성에 대한 최종적인 책임을 지는 것(B1)에 대한 지지가 낮은 것은 이것이 첫 번째 저자의 책임이라는 높은 지지율(A3)과 일치한다.

Part B of Table 2 lists four items with a low endorsement rate indicating that these practices were both infrequent and undesirable. These items reinforce the undesirability of

• alphabetical listings of authors (B2), as well as
• author ordering strategies not based on contribution to the project (B3) or discussions among the collaborating team (B4).
• The low endorsement rate for the last author having final responsibility for the integrity of the manuscript (B1) is consistent with the high endorsement rate for this being the responsibility of the first author (A3).

7개 항목의 경우 현행 실무와 바람직한 실무 사이에 상당한 차이가 있었다(표 2: 파트 C). 처음 5개 항목은 [동일한 기여도를 가진 여러 공동저자]를 식별하기 위해 기준선에 각주를 사용하는 것과 같이 현재 실행이 이상적인 실행으로 생각되었던 것에 미치지 못한 전략을 나타낸다(C1). 다른 바람직하지만 덜 빈번한 관행은

• 모든 기여자들이 저자 순서에 대해 사전에 동의하나, 협업 중에 이 결정을 재검토하는 것(C2).
• 여러 출판물이 계획될 때 팀 구성원 사이에서 첫 번째 저자의 역할을 돌아가면서 맡는 것(C3).
• 다중 사이트 연구의 저자 자격은 부록(C4)에 제공된 개별 기여에 대한 더 많은 정보를 가진 연구 그룹에 귀속되는 것.
• 작가와 마지막에 크레딧에 등재된 그들의 기여가 있는 영화처럼 연구 논문을 검토해야 한다는 베거의 새로운 제안(C5)은 대체로 불확실하게 여겨졌다.

For seven items, there was a significant gap between current practice and desirable practice (Table 2: Part C). The first five items represent strategies where current practice fell short of what was thought to be ideal practice, such as the use of a footnote in the byline to identify multiple coauthors with equal contributions (C1). Other desirable but less frequent practices were

• all contributors agreeing about the order of authorship in advance and revisiting this decision during the collaboration (C2),
• rotating the role of the first author rotates among the team members when multiple publications are planned (C3),
• authorship for multisite studies is attributed to a study group with more information about individual contributions provided in an appendix (C4).

The novel suggestion (C5) by Wager14 that we should consider research papers like a film with authors and their contributions listed in the credits at the end was largely regarded with uncertainty.

나머지 두 항목의 경우, 현재 관행은 바람직한 것으로 생각되는 것보다 더 빈번했다. (즉, 아래 행위를 덜 해야한다)

• M.D./D.O. 또는 박사 학위를 가진 저자가 항상 다른 기여자보다 먼저 나열되는 것(C6)
• 첫 번째 저자는 원고의 무결성과 내용에 대한 단독 책임이 있는 것(C7).

For the remaining two items, current practice was more frequent than thought desirable:

• authors with M.D./D.O. or Ph.D. degrees should always be listed before other contributors in medical education scholarship (C6), and
• the first author has the sole responsibility for the integrity and content of the manuscript (C7).

저자순서와 관련된 태도
Attitudes related to authorship order

설문에는 첫 번째 저자 이후 저자의 순서를 결정하기 위한 전략에 대한 세 가지 질문이 포함되었다. '의학교육장학에서 저자순서가 상대적 기여도에 따른 것일 때 [첫 번째 저자 다음으로 좋은 순위]는 …'라는 질문에 응답자들은 선호 순위로 마지막 저자(47%)와 두 번째 저자(46%)로 나뉘었다. 다른 선택지를 선택한 응답자는 거의 없었다: 알파벳을 순서로 저자를 나열하는 것(1%), 첫 번째 작성자 이후에는 상관없다(6%) 등.

The survey included three questions about strategies for determining the ordering of authors after the first author. When presented with the question, “In medical education scholarship when authorship order is based on relative contribution, after the first author the next best place in authorship order is …” respondents split between last author (47%) and second author (46%) as the preferred order. Few respondents selected the other options: alphabetized by last name (1%) and after first author, it does not matter (6%).

후속 질문인 "의학 교육 장학금에서, 첫 번째 저자에 이어, 저자의 질서에 대한 최선의 접근은 …"에 대한 것이다. 
많은 응답자들은 모든 저자를 기여도에 따른 내림차순으로 하되 시니어 저자를 마지막에 뒀고(43%), 알파벳 순서(2%), 또는 가장 고위 저자에 대한 내림차순(2%)에 따라 내림차순을 나열하는 것에 비해, 마지막에 나열된 상위 저자에 대한 내림차순(51%)을 선호했다. 비록 두 개의 상위 승인 전략이 기여도에 따른 내림차순의 사용을 지지하지만, [마지막 저자 지위]의 중요성은 다시 의학교육계를 분열시켰다. 

In response to the follow-up question, “In medical education scholarship, after the first author the best approach to author order is …” many respondents preferred the strategy of descending order based on contribution with the senior author listed last (51%), compared to listing all authors in descending order based on contribution (43%), alphabetical order (2%), or ascending order based on seniority with the most senior author listed last (2%).

이 현상을 더 탐구하기 위해 마지막 저자로 등재되는 것의 중요성에 대한 세 번째 질문이 나왔다. "교육 장학금에서 마지막 저자로 등재되는 것은 중요하게 여겨집니다." 응답자들은 다음과 같은 여러 가지 옵션을 선택할 수 있었다. 대부분의 응답자들은 그것이 모든 의학 교육자들에게 중요하다고 생각했다(58%). 응답자의 중요성에 대한 지지도는 상급 교육자(36%), 의료 교육에 참여하는 기초 과학자(18%), 의료 교육에 참여하는 임상의(8%)에 비해 감소했다.

Although the two top endorsed strategies support the use of descending order based on contribution, the importance of the last author position again split the medical education community. To further explore this phenomenon, a third question asked about the importance of being listed as last author: “Being listed as last author in educational scholarship is considered important.” Respondents could choose multiple options: Most respondents thought it important for all medical educators (58%). Respondents’ endorsements of importance decreased in reference to senior educators (36%), basic scientists involved in medical education (18%), and clinicians involved in medical education (8%).

표 3은 작성자 순서의 중요성과 관련된 여러 진술을 보여줍니다. 응답 범주는 비교를 용이하게 하고 각 진술에 대해 일반적으로 동의하거나 동의하지 않거나 불확실한 응답자 간의 차이를 강조하기 위해 결합되었다. 지지율이 높은 성명서, 지지율이 낮은 성명서, 공감대가 부족한 성명서 등 3개 섹션으로 나눠 표를 구성한다. 많은 의견제출자들은 저자(A1)의 알파벳 순서의 불공정성에 대한 진술에 동의하였다. 또한, 많은 항목들은 첫 번째 저자의 위치(A2, A3)의 중요성과 많은 교육자들이 후속 저자에 대한 귀속에 대해 가지고 있는 상대적 불확실성을 반영한다. 또한 하위 교수진이 제1저자 자격을 얻을 수 있는 더 낮은 기준을 갖는 것에 대한 일반적인 지지도 부족했다.

Table 3 presents multiple statements related to the significance of author order. The response categories were combined to facilitate comparisons and highlight the differences among respondents who generally agreed, disagreed, or were uncertain about each statement. The table is arranged in three sections: statements with high endorsement rates, statements with low endorsements rates, and statements where there was a lack of consensus. Many respondents agreed with statements about the unfairness of alphabetical listing of authors (A1). In addition, many of the items reflect the importance of the position of first author (A2, A3) and the relative uncertainty many educators have about attributions to subsequent authors. There also was general lack of support for having lower standards for junior faculty to qualify as first author (B3).

의견제출자들은 많은 저널의 실무관행을 지지하여 [저자들이 기여사항을 공시하도록 요구]하였으며, 이는 [승진 및 재직권 위원회(A4)에 유용한 정보를 제공한다]는 데 동의하였다. 그러나 의견제출자들은 [공시된 기여사항이 작성자(C8)의 순서에 어떻게 반영되는지에 대한 불확실성]이 있기 때문에 이러한 [공시가 작성자 질서를 목적적합하게 한다고 생각하지 않았다(B1)].
Respondents supported the practice of many journals to require authors to disclose their contributions, agreeing that it provides useful information for promotion and tenure committees (A4). However, respondents did not believe that these disclosures make author order irrelevant (B1), as there is uncertainty about how disclosed contributions are reflected in the order of authors (C8).

[저자 순서의 의미]에 대한 진술의 절반은 응답자들 사이에 명확한 합의(표 3, 파트 C)가 없었으며, 이는 의학 교육에 대한 학문적 노력을 둘러싼 불확실성의 정도를 보여준다. 다시 말하지만, [첫 번째 저자의 중요성은 논란의 여지가 없어] 보이지만, 의견제출자들은 [후속 저자들(C1과 C2) 또는 교신저자로 지정된 사람(C3)의 기여를 어떻게 해석해야 할 지 명확하지 않았다]. 리더십 측면에서 [마지막 저자의 기여(C7)]와 [이 관행이 선물 저자(연구에서 거의 역할을 하지 않았지만 저자로 포함되는 것)을 장려하는 정도(C6)]를 둘러싼 많은 불확실성이 있었다. 이와 유사하게, 의견제출자들은 [바꿔야 할 실천] 중에서 [마지막 작성자가 최소기여를 나타내는지(C9)]에 대해 대체로 불확실해하였다..

For half of the statements about the meaning of author order, there was no clear consensus among respondents (Table 3, Part C), revealing the extent of uncertainty surrounding scholarly endeavors in medical education. Again, although the importance of first authorship seems noncontroversial, respondents were unclear how to interpret the contributions of subsequent authors (C1 and C2), or the person designated as corresponding author (C3). Many uncertainties surround the contributions of the last author in terms of leadership (C7) and the extent to which this practice encourages gift authorships (C6), that is, individuals added as authors and who had little or no role in the research.29 Similarly, respondents were largely uncertain about suggested changes in practice so that the last author represents the least contribution (C9).

나머지 두 항목은 [선배 저자가 경력 향상을 촉진하기 위해 후배 교수진에게 1차 저작권을 부여하는 관행(C5)]과 [저자로 포함할 가치가 있는 기준을 충족하지 않는 저자를 포함하는 논문 발표 빈도(C4)]로 불확실성을 드러낸다.
The remaining two items reveal uncertainty with the practice of senior authors giving first authorship to junior faculty to facilitate their career advancement (C5), and the frequency with which papers are published that include authors who do not meet criteria to merit inclusion as an author (C4).

통찰력
Insights

[저자 순서]는 학문적 경력에 영향을 미치는 결정에 일상적으로 고려되는 많은 학문적 측면 중 하나이다. 승진 및 재직권 결정을 둘러싼 프로세스는 그 자체가 복잡하고 기관마다 다릅니다. [저자 순서]를 고려하는 방법에 대한 의학 교육자의 명시적 지침이 부족하면 이 과정이 더욱 복잡해진다. 이 연구는 이 과정의 한 차원에 초점을 맞추고 있다. 의학교육연구에서 저자 순서 결정에 대한 일반적인 접근법과 이러한 일반적인 관행의 바람직함에 대한 교육자의 의견을 설명한다. 우리의 부차적인 목표는 일반적인 합의 영역과 불확실성이 남아 있는 영역을 식별하기 위한 노력으로 저자 순서의 중요성에 대한 교육자들의 의견을 설명하는 것이었다.

Author order is one of many dimensions of scholarship that is routinely factored into decisions that impact an academic career. Processes surrounding promotion and tenure decisions are themselves complex and vary among institutions. The lack of explicit guidance for medical educators about how to consider authorship order further complicates this process. This study focuses on one dimension of this process: to describe common approaches to author order decisions in medical education scholarship, as well as educators’ opinions about the desirability of these common practices. Our secondary goal was to describe educators’ opinions about the significance of authorship order in an effort to identify areas of general agreement and areas where uncertainty remains.

우리의 연구는 저자 결정에 대해 HPE 학자들 사이에 많은 혼란과 불확실성이 존재한다는 것을 시사한다. 이전 연구에서, 고위 HPE 연구진에게 [누가 저자의 자격을 갖췄는지]에 대한 경험에 대해 질문했습니다. 저작권에 관한 첫 번째이자 근본적인 결정점 우리는 모범적인 역할 모델로 간주하는 이 지도자 그룹조차도 [바람직하지 않은 authorship 관행]과 마주쳤을 뿐만 아니라, 때때로 authorship 기준을 적용하는 데 어려움을 겪었다는 사실을 알고 놀랐다. 누가 authorship 자격을 갖는지에 대한 결정이 간단하지 않다면, 적절한 순서에 author들을 배치하는 것은 훨씬 더 어려워지고 연구 분야들이 작가 질서에 맞지 않는 전통을 가지고 있다는 사실로 인해 복잡해진다. 실제로, 현재 연구는 응답자들 사이에서 [많은 불확실성 영역]을 시사한다. 이 작업의 결과를 고려할 때, 우리는 우리의 데이터가 현재의 저자 관행이 처음에 인식된 것보다 더 복잡하고 미묘한 차이를 보이고 있음을 시사하기 때문에 추가적인 조사가 필요하다고 믿는다. 저자 결정에 대한 이해와 명확성을 높이고 조사자가 모범 사례를 수립할 수 있도록 지원해야 합니다. 특히 저자의 기여와 역할, 책임을 적절하고 공정하게 반영하는 순서로 저자를 배치하는 것은 해명이 필요한 분야로 보인다.

Our work suggests that a great deal of confusion and uncertainty exists among HPE scholars around authorship decisions. In a previous study,24 we asked a group of senior HPE researchers about their experiences with determining who qualifies for authorship—the first and fundamental decision point regarding authorship. We were surprised to learn that even this group of leaders, who we consider exemplary role models, had not only encountered undesirable authorship practices but also struggled at times with applying authorship criteria themselves. If the decision of who qualifies as author is not straightforward, then placing authors in the appropriate order becomes even more challenging and is compounded by the fact that research disciplines have incongruous traditions for author order. Indeed, the current study suggests many areas of uncertainty among the respondents. Given the results of this work, we believe that additional investigation is needed as our data suggest that current authorship practices are more complex and nuanced than initially appreciated. Enhancing understanding and clarity surrounding authorship decisions and assisting investigators with establishing best practices is needed. In particular, placing authors in an order that appropriately and fairly reflects their contributions, roles, and responsibilities appears to be an area in need of clarification.

응답자들은 기여도가 줄어드는 순서로 저자를 나열하는 것의 중요성을 강하게 지지했다. 그들은 이 전략이 상대적인 기여에 대한 정보를 제공하지 않기 때문에 [알파벳 순서로 나열하는 것]이 문제가 된다는 것을 발견했다. 중요한 논문들은 종종 첫 번째 저자의 이름으로 비공식적으로 언급된다. 많은 저널은 인용문에 포함된 저자의 수를 제한한다. 국립 의학 도서관은 [처음 여섯 명]의 저자를 나열하고 그 뒤에 "기타"를 붙일 것을 제안한다. 이 관행은 마지막 저자로 나열된 선임 연구자뿐만 아니라 알파벳 뒤쪽에 시작하는 성을 가진 공동 저자에게 불리하며, 특정 연구에 기여하고 일반적으로 학자로서 그들의 인식에 영향을 미칠 수 있다. 심지어 알파벳 목록을 일상적으로 사용하는 학문에서도, 이 전략은 알파벳의 초기 이름을 가진 작가들의 학문적 성공을 유리하게 하는 것으로 밝혀졌다. 

Respondents strongly endorsed the importance of listing authors in order of decreasing contribution. They found alphabetical author listings to be problematic because this strategy provides no information about relative contribution. Important papers are often informally referred to by the name of the first and sometimes second author. Many journals limit the number of authors included in a reference citation; the National Library of Medicine suggests listing the first six authors followed by “et al.”30 This practice disadvantages senior investigators listed as last author, as well as coauthors with last names that fall later in the alphabet, potentially affecting their recognition as contributors to a specific study and as scholars in general.31 Even in disciplines that routinely use alphabetical listings, this strategy has been found to advantage the academic success of authors with names earlier in the alphabet.32

아마도 가장 흥미로운 발견은 두 번째 저자와 마지막 저자의 '차선의 지위'에 대한 의학교육계의 분명한 분열일 것이다. 기초과학 분야에서는 1등 작가와 최종 저자 모두 '1등'으로 평가받는 경우가 많다. 많은 분야의 전통은 선임 과학자, 연구소장 또는 부서장에게 [마지막 저자]의 지위를 수여하며, 이는 [명예 저자]의 수상을 장려해 왔다. 이러한 관행에서 벗어나는 움직임은 느렸고, 많은 응답자들은 이러한 관행의 변화에 대해 불확실했다. 점점 더 [마지막 저자] 자리는 기여도가 가장 낮거나 선임 저자가 마지막으로 나열되고, 다른 저자 기준을 충족하는 경우 각주에 의해 역할이 지정된다. 
Perhaps the most interesting finding is the clear division within the medical education community about the significance of second author versus last author as the “next best position.” Within the basic sciences, both first and last author are often valued as “first prize.”33 The tradition in many fields awards the position of last author to the senior scientist, lab director or division director, which has encouraged the award of honorary authorships.34 Movement away from this practice has been slow, and a large proportion of respondents were uncertain about this change in practice. Increasingly the last author position is reserved for the person who has contributed least34 or the senior author is listed last and their role is specifically designated by a footnote providing they meet other authorship criteria.35

우리의 연구 결과는 기여 이상의 authorship 순서를 둘러싼 결정의 복잡성을 말해준다. [학술적 기여 이외의 요소들]이 종종 작가 질서가 결정되는 방법에 영향을 미치며, 이러한 결정들 중 일부는 상황에 따라 달라진다. 우리의 응답자들은 저자 기여에 대한 기준 기반 기대를 지지했다. [authorship의 기대]는 주니어 교수진과 시니어 교수진에 대해 동일합니다. 그러나, 많은 사람들은 [상급 교직원]이 [더 하급 교직원에게 그들의 경력을 발전시키기 위해 주도적인 권한을 부여]할 수 있는 때가 있다고 느꼈다.
Our findings speak to the complexity of decisions around authorship order beyond contribution. Factors other than scholarly contribution often play a role in how author order is determined, and some of these decisions are context dependent. Our respondents supported criterion-based expectations for author contributions4; the authorship expectations are the same for junior and senior faculty. However, many felt there were times when a senior faculty member could give lead authorship to a more junior faculty member to advance his or her career.

응답자들은 많은 저널이 [각 저자의 기여도를 명시적으로 공개하도록 요구하는 것]이 승진 결정에 중요한 정보를 제공하는 것으로 평가하였다. 의과대학 진흥 및 테뉴어 위원회 의장을 대상으로 조사한 결과, [제1저자 등재 중요성]은 [전체 저자 수]에 달려 있으며, [마지막 저자]를 제외한 [나머지 저자의 credit]는 열거되는 이름 순서일 것으로 나타났다. 그들은 또한 [저자 기여 진술]의 사용을 지지했다. 우리 표본의 경우, 이러한 명시적 기여 공개는 저자 순서의 중요성을 배제하지 않았다. 많은 응답자들에게 [공개된 기여]가 어떻게 [실제 저자 순서]로 변환되는지는 불분명했다. 프로젝트 CRediT(기여자 역할 분류법)의 연구는 발표된 연구를 위해 기여자 역할의 분류법을 만드는 데 초점을 맞추고 있다. 이 접근 방식은 각 저자의 작업에 대한 보다 명시적인 정보를 제공하지만 실제 authorship practice에는 아직 영향을 미치지 않았다.
The requirement of many journals to provide explicit disclosure of each author’s contribution was valued by respondents as providing important information for promotion decisions. A study9 of medical school promotion and tenure committee chairs found that the importance of being listed as first author depended on the total number of authors and that except for last authors, author credit decreased the later in the byline their name appeared. They also supported the use of author contribution statements. For our sample, these explicit contribution disclosures did not obviate the importance of author order; it was unclear to many respondents how the disclosed contributions translated to actual authorship order. Work by Project CRediT (contributor roles taxonomy) has focused on creating a taxonomy of contributor roles for published research.36 This approach provides more explicit information about the work of each author but has not yet had an impact on actual authorship practices.

우리의 연구는 많은 한계를 가지고 있다. 가장 중요한 것은 응답률이 차선의 수준이라는 것입니다. 141명이 설문을 열었지만 109명만이 설문을 완성했다. 낮은 응답률은 자동으로 응답 편향을 의미하지 않습니다. 응답하지 않은 이유가 설문 조사 내용과 구체적으로 관련이 있는 경우 편향이 존재합니다. 첫 번째 응답자와 마지막 응답자 코호트의 파동 분석에서는 주요 인구통계 지표에서 유의미한 차이가 나타나지 않았다. 우리의 응답자들은 많은 국가와 학문을 대표하지만, 응답자들이 의학 교육계를 대표하는 정도는 알 수 없다. 또 다른 한계는 응답자들이 기관 홍보 및 테뉴어 위원회의 기대를 알고 있었다는 가정이다. 응답자들은 [승진 위원회가 어떻게 저자순서을 사용할 수 있다고 생각하느냐]는 질문을 받았지만, [승진 expectation에 대한 구체적인 지식]이나 [승진 심사 위원회에서의 최근 경험]에 대해서는 질문을 받지 않았다. 마찬가지로, 최근 출판물에 대한 질문을 받았음에도 불구하고, 그들은 초저자, 선임저자, 또는 그에 상응하는 저자가 얼마나 자주 있었는지를 묻지 않았다. 또한 표본 크기를 고려할 때 부분군 분석을 수행할 수 없었고, 그러한 부분군을 탐색하는 것이 향후 연구의 주제가 될 수 있다.

Our study has a number of limitations. Most important, the response rate is suboptimal. Although 141 individuals opened the questionnaire, only 109 completed it. A low response rate does not automatically imply response bias; bias is present if the reason for nonresponse is specifically related to the survey content.27 A wave analysis of first and last respondent cohorts did not reveal any significant differences in key demographic indicators. Our respondents represent many countries and academic disciplines, but the extent to which the respondents are representative of the medical education community is unknown. Another limitation is the assumption that respondents knew the expectations of their institutional promotion and tenure committees. Respondents were asked about how they thought promotion committees might use authorship order but were not asked about their specific knowledge of promotion expectations or recent experience with promotion review committees. Similarly, although they were asked about recent publications, they were not asked how often they had been a first author, senior author, or corresponding author. We were also unable to perform a subgroup analysis given our sample size, and exploring such subgroups could be the topic of future investigations.

의료교육공동체를 위한 모범사례 또는 예비지도를 파악하기 위한 노력의 일환으로, 의학교육학술활동을 서포트하기 위한 best practice의 출발점이 될 수 있는 의료교육 외부의 최근 모델을 하나 찾았다. 연방 연구소를 위해 작성된 이 문서는 모든 협력자 간의 공통된 기대를 촉진하기 위한 서면 지침을 제공하는 잠재적 협력자 간의 배포를 목적으로 작성되었다. 이 문서는 [저자 순서의 주요 요소]로서 [기여도]를 지지하며, 일부 분야에서는 [종종 마지막 저자로 나열된 "선배" 저자를 인정하는 전략]을 개략적으로 설명한다. 이 문서는 [작성자 순서를 변경할 수 있는 이유]를 명확하게 제시하고, 공유된 최초 작성자, 선임 작성자, 그룹 작성자 등과 같은 공동 작성 문제를 논의하였다.
In an effort to identify best practices or even preliminary guidance for the medical education community, we found one recent model outside of medical education that could serve as a starting point for outlining best practices to support medical education scholarship.35 Created for a federal research laboratory, the document is intended for distribution among potential collaborators, providing written guidance to facilitate common expectations among all collaborators. The document endorses contribution as a primary factor in ordering authors and outlines a strategy for recognizing “senior” authors often listed as last author in some disciplines. The document makes plain possible reasons for changing author order and discussed coauthorship issues such as shared first authorship, senior authorship, and group authorship.

[35]

우리의 연구 결과가 의견과 실천의 수렴을 보여주는 한, 우리는 우리 공동체를 위한 접근법을 공식화할 수 있는 출발점을 가지고 있다. [두 번째 저자와 마지막 저자의 중요성]은 여전히 분열의 영역으로 남아 있기에, 개인의 기관 및 학문적 학문의 지역적 기대의 대상이 될 가능성이 높지만, [기여도를 감소시키는 순서대로 저자를 나열하는 것의 중요성]에 대한 합의가 있는 것으로 보인다. 또한 [알파벳 순으로 저자를 나열하는 것]에 대해서는 미적지근하다. 지속적인 조사, 토론 및 토론에 적합한 수많은 난제와 불확실성의 영역이 남아 있습니다. Flotemersch와 Rhodus가 설명한 지침에서 알 수 있듯이, 첫 번째 단계는 이러한 합의 영역을 명시하는 것일 수 있으며, 지금까지는 우리 커뮤니티 내에서 대체로 비공식적이고 일관성이 없었다.

To the extent that our findings show convergences of opinion and practice, we have a starting point to formalize an approach for our community. There seems to be agreement about the importance of listing authors in order of decreasing contribution, although the importance of second author versus last author remains an area of division and is likely subject to local expectations of an individual’s institution and/or academic discipline. There also is a clear lack of enthusiasm for listing authors alphabetically. There remain numerous sticking points and areas of uncertainty that are well suited to continued investigation, discussion, and debate. As the guidance described by Flotemersch and Rhodus35 suggests, the first step might be to make these areas of consensus explicit, in what has largely been informal and inconsistent approaches to authorship within our community.

Authorship Order in Medical Education Publications: In Search of Practical Guidance for the Community

PMID: 30556420

DOI: 10.1080/10401334.2018.1533836

Abstract

Keywords: Authorship; research ethics; research practice; survey research.

인사이더에게, 저는 이제 막 임상 교육자로서 제 경력을 시작하는 중입니다. 나는 우리 분야의 학회에 참여하는 것이 중요하다고 들었다. 컨퍼런스 경험을 최대한 활용할 수 있는 팁이 있습니까?
Dear Insider, I am just starting my career as a clinician educator. I am told that participating in our field’s academic conferences is important. Any tips for how I can get the most out of my conference experience?

학회는 학자들이 그들의 연구를 발표하고 다른 사람들이 그들의 연구를 발표하는 것을 듣는 장소 그 이상이다. 학술회의는 특별한 행사이다. 학계의 많은 구성원들과 거리를 두는 것은 보통 일이 아니다. 참석자들이 오랜 협력자들과 인사를 나누고 새로운 협력자들을 만나는 것을 목표로 하는 믹서기에 참석하는 것은 흔한 일이 아니다. 몇 년 동안 글을 읽고 있는 사람들과 직접 대화를 나누거나 글을 읽고 있는 사람들이 다가가는 것은 보통 일이 아니다. 당신의 질문에서 알 수 있듯이, 요령은 이러한 특별한 상황을 어떻게 활용할지를 알아내는 것입니다.
Conferences are more than just a place where scholars present their research and listen to others present theirs. Academic conferences are extraordinary events. It is not ordinary to be within an arm’s length of so many members of your academic community. It is not ordinary to attend mixers where attendees aim to greet long-standing collaborators and to meet new ones. It is not ordinary to engage in direct conversations with those whose work you have been reading for years or to be approached by those who have been reading your work. As your question suggests, the trick is to figure out how to take advantage of these extraordinary circumstances.

본격적으로 시작하기 전에, 우리는 "학회 참석 잘 하기"가 무엇을 의미하는지에 대한 우리의 생각을 안내하는 몇 가지 전제를 제공한다. 첫째, 회의에 대한 우리의 접근 방식은 대부분 우리 자신의 경험에 의해 형성되었습니다. 일상생활의 많은 측면과 마찬가지로, 코로나19 범유행은 지역사회의 회의 모델을 근본적으로 변화시켰다. 이것이 영구적인 변화인지 아니면 단순히 직접 만나는 전통적인 접근 방식에 대한 잠깐의 혼란인지는 두고 봐야 한다. 하지만 사실, 우리는 여전히 웹 기반 회의에 효과적으로 참여하는 방법을 배우고 있다. 따라서 여기서 공유하는 "회의 잘하기"에 대한 접근 방식은 직접 회의 경험에서 도출되며, 회의 형식이 변화함에 따라 관행도 진화해야 한다는 것을 인식한다.
Before we dive in, we offer a few premises that guide our thinking about what it means to “conference well”. First, our approach to conferencing has largely been shaped by our own experiences. As it has with so many aspects of daily life, the Covid-19 pandemic has radically altered the community’s model of conferencing. Whether this is a permanent change or merely a brief disruption to the traditional approach of in-person conferencing remains to be seen. But, in truth, we are still learning how to effectively engage in web-based conferences. Thus, the approaches for “conferencing well” that we share here are derived from in-person conference experiences, recognizing that as conference formats change, practices will also have to evolve.

둘째, 컨퍼런스의 공식 프로그램은 컨퍼런스 경험의 중요한 구성 요소이며, 프로그램을 검토하여 듣고 싶은 세션과 사람을 파악하는 것은 좋은 시간을 보내는 것이라고 생각합니다. 그러나 이러한 프로그램은 규모가 크고 복잡하며 탐색하기 어려운 경우가 많습니다. 프로그램 설명에서 어떤 세션이 특별히 계몽적이라고 생각하는지, 어떤 세션이 "꼭 봐야"하는지 구별하는 것은 쉽지 않습니다. 우리는 몇 가지 유망한 세션을 찾고 그들이 특히 유망하다고 생각하는 것을 보기 위해 다른 사람들과 함께 체크하는 것을 제안한다. 그러나 컨퍼런스에서 얻을 수 있는 모든 것이 몇 개의 훌륭한 공식 세션이었다면, 컨퍼런스의 상황이 제공하는 것을 충분히 활용하지 못했을 것입니다.
Second, we believe that the conference’s formal program is an important component of the conference experience, and reviewing the program to identify the sessions and people that you want to hear is time well spent. However, these programs are often large, complicated, and difficult to navigate. It isn’t easy to tell from the program descriptions which sessions you will find particularly enlightening nor which will be “must see” sessions. We suggest looking for a few promising sessions and checking in with others to see what they think is particularly promising. However, if all you get out of the conference are a few great formal sessions, then you will not have taken full advantage of what the conferencing situation affords.

그렇다면, (대면) 학회는 무엇을 제공할 수 있을까요? 과학은 사회적 기업이고, 회의는 사회적 활동이다. 콘퍼런스는 학계에서 일반적으로 매우 느리게 하는 것들을 빠르게 할 수 있게 해줍니다. 예를 들어, 멋진 아이디어에서 저널 출판까지의 여정은 오랜 시간이 걸릴 수 있습니다. 따라서, 만약 여러분이 최신 정보를 유지하는 방법으로 저널을 읽고 있다면, 여러분은 사람들이 진정으로 생각하는 것에 대해 적어도 2~3년은 시대에 뒤떨어진 것입니다. 회의는 사람들이 그들이 현재 고려하고 있는 것에 대해 이야기하는 곳이다. 그러나 그 회의에서 공식적인 회담을 듣는 것조차 당신이 적어도 1년은 시대에 뒤떨어졌다는 것을 의미할 것이다. 지금 사람들이 진화하고 있는 아이디어는 복도나 카페에서 비공식적인 대화를 통해 개별적으로 참여해야만 발견할 수 있다. 따라서 이러한 일상적인 회의 대화는 해당 분야의 최신 아이디어를 최신 상태로 유지하기 위한 핵심 메커니즘입니다.
So, then, what do (in-person) conferences afford? Science is a social enterprise, and a conference is a social activity. Conferences enable you to do quickly the things that academia generally does very slowly. For example, the journey from cool idea to journal publication can take a long time. So, if you are reading the journals as your way of staying current, then you are at least two to three years out of date regarding what people are really thinking about. Conferences are where people are talking about what they are presently considering. But even listening to the formal talks at the conference likely means you are at least a year out of date. The ideas that people are evolving right now can only be discovered if you engage with them individually through informal conversations in hallways or cafés. So, these casual conference conversations are a key mechanism to stay current with the cutting-edge ideas in the field.

또한 이러한 비공식적인 컨퍼런스 대화를 통해 자신만의 최신 아이디어를 보다 신속하게 개발하고 배포할 수 있습니다. 학문적 검토 과정은 느리고 얼룩질 수 있다. 제출된 논문의 리뷰를 3~6개월 동안 기다린 후 말이 안 되는 것 같거나 실행 가능한 상태로 만들기 위해 추가적인 설명이 필요한 막연한 우려를 나타내는 리뷰만 받는 것은 답답할 수 있습니다. 그러므로, 회의에서 동료들과 비공식적인 대화를 나누는 것은 여러분의 아이디어를 빠르고 효과적으로 공유하고 여러분의 최근 생각과 일에 대한 다른 사람들의 반응에 대한 즉각적인 통찰력을 얻는 좋은 방법입니다. 다른 사람들은 당신의 설명을 어떻게 해석할까요? 그들이 당신의 프레임에 어떻게 반응할까요? 또 누가 비슷한 일에 관심을 갖거나 할 수 있을까요? 컨퍼런스의 비공식 대화는 동료들로부터 이러한 종류의 질문에 대한 즉각적인 답변을 얻을 수 있는 곳입니다.
Such informal conference conversations also allow you to develop and disseminate your own cutting-edge ideas more rapidly. The academic review process is slow and can be spotty. It can be frustrating to wait 3–6 months on the review of your submitted paper only to receive reviews expressing vague concerns that don’t seem to make sense or that require further clarification to make actionable. Thus, having informal conversations with colleagues at conferences is a great way to quickly and effectively share your ideas and get immediate insight into others’ reactions to your latest thinking and work. How will others interpret your explanations? How will they react to your framings? Who else might be interested in or doing similar work? The informal conversations at a conference are where you can get immediate answers to these kinds of questions from your peers.

게다가, 사려 깊은 학자로서의 명성을 발전시키는 것은 글만으로는 성취하기 어렵다. 단순히 좋은 과학을 하고 좋은 논문을 쓰는 것만으로는 주목을 받고 사회에 영향을 미치기에 충분하지 않을 수 있다. 만약 당신이 사람들이 당신의 작품을 집어 들기를 원한다면, 그들에게 그것을 찾을 이유를 주고 그것이 그들의 아이디어와 어떻게 관련이 있는지 이해하도록 돕는 것이 도움이 된다. 이것은 활발한 대화에서 직접 대면하는 것이 가장 좋으며, 컨퍼런스는 여러분이 학문적으로 영향을 미치고 참여하기를 원하는 사람들과 이러한 대화를 할 수 있는 좋은 장소입니다. 그리고, 결론적으로, 다른 사람의 초기 아이디어에 대한 사려 깊은 참여를 통해, 당신은 다른 사람들의 일을 지원하고 향상시키는 것에 대한 명성을 키울 수 있다. (그나저나, 그것은 당신이 사람들의 현재 사고에 대해 들을 가능성을 증가시킬 수 있을 뿐만 아니라, 연구 협력의 문을 열 수 있다.) 
그래서 새로운 사람들을 만나기 위해 노력하는 것은 여러분의 우정 그룹을 확장하는 것일 뿐만 아니라 여러분의 네트워크와 영향 범위를 확장하는 것과도 관련이 있습니다.

Further, developing your reputation as a thoughtful scholar is difficult to accomplish through the written word alone. Simply doing good science and writing good papers may not be sufficient to get noticed and influence the community. If you want people to pick up your work, it is helpful to give them a reason to look for it and to help them understand how it is relevant to their ideas. This is best done face-to-face in active discourse, and conferences are a great place to have these conversations with people you want to influence and engage with academically. And, as a corollary, through thoughtful engagement with people about their early ideas, you can develop a reputation for supporting and enhancing others’ work (which, by the way, may increase the likelihood that you will hear about people’s current thinking, as well as open the door for research collaborations). So going out of your way to meet new people is not only about extending your friendship group, but it is also about extending your network and sphere of influence.

마지막으로, 회의는 재미있고 신선한 장소여야 하지만, 또한 여러분이 전문적인 이미지를 구축하는 장소이기도 합니다. 학계라는 왕국의 동전은 당신의 이름, 당신의 명성입니다. 자신의 이미지를 지키고 의도적으로 육성하는 것이 근본적으로 중요하다. 그러므로 반드시 개인적인 시간을 내서 관광을 하고 그 장소를 즐기세요 (한 동료가 말했듯이, "더 잘 쉬고 옷을 더 잘 입어야 한다"). 그리고 물론, 친구들과 동료들과 함께 저녁이나 술을 마시러 회의에 나가기도 합니다. 하지만 그 컨퍼런스는 당신이 당신 자신, 당신의 일, 그리고 당신의 기관을 대표하는 전문적인 행사라는 것을 기억하는 것 또한 중요하다.

Finally, conferences should be fun and refreshing places, but they are also where you are constructing your professional image. In academia, the coin of the realm is your name, your reputation. It is fundamentally important to guard your image and to nurture it intentionally. So absolutely take some personal time to see the sights and enjoy the location (as one colleague says, “one should return from a conference better rested and better dressed”). And, of course, go out for social dinners and drinks with friends and colleagues at the conference. But it is also important to remember that the conference is a professional event where you represent yourself, your work, and your institution.

그렇다면 이러한 아이디어들은 실제 회의 준비와 활동에서 어떻게 발휘될까요? 컨퍼런스 활동의 효과를 극대화하기 위해 무엇을 할 수 있습니까?
So how do these ideas play out in actual conference preparations and activities? What can you do to maximize the effectiveness of your conference activities?

좋은 시작은 특정한 사람들을 만날 계획을 갖는 것이다. 우리는 모두 직접 연결하고자 하는 사람들이 있습니다. 어떤 사람들은 우리가 적극적으로 함께 일하고 있는 공동 작업자이거나 우리가 한동안 보지 못했던 친구입니다. 다른 사람들은 우리가 우리 자신을 소개하고 싶은 사람들이다. 컨퍼런스에서 만나고 싶은 사람들의 목록을 가지는 것은 이러한 관계를 맺기 위한 훌륭한 첫 단계이다. 이벤트 전에 이러한 사용자에게 연락하여 특정 미팅 시간을 계획하는 것이 좋습니다. 회의 일정이 나온 후 비교적 빨리 연락하는 것이 가장 좋습니다. 이것은 그들이 프로그램 의무(즉, 그들이 참석해야 하는 세션)를 아는 기간이다. 하지만 아직 의무가 아닌 컨퍼런스 시간은 비어 있을 것이다.
A good start is having a plan to meet specific people. We all have people we want to connect with in person—some are collaborators we are actively working with or friends we haven’t seen for a while. Others are people we’d like to introduce ourselves to. Having a list of the people you want to meet at the conference is a great first step to making these connections. You might wish to contact some of these individuals ahead of the event and plan a specific meeting time. Ideally, this works best if you contact them relatively soon after the conference schedule has come out. This is the window during which they know their program obligations (i.e., sessions they must attend), but their non-obligatory conference time will not have filled up yet.

친구들과 기성 동료들을 위해, 당신은 함께 식사를 준비할 수 있습니다. 지인들을 위해, 당신은 회의를 더 짧게 하기 위해 식사 사이의 시간을 정할 수 있다. 처음 만나기를 원하는 사용자는 간단한 미팅을 위한 일정에서 약간의 자유 시간을 가질 수 있는지 물어보는 등 요청을 좀 더 열어둘 수 있습니다. 특히, 만약 당신이 특정 사람들을 처음으로 만나기를 원한다면, 이러한 회의에 대한 구체적인 의제를 갖는 것이 바람직하다. 합리적인 의제는 단순히 상대방에게 당신의 일을 알리고 그들의 반응을 묻는 것일 수 있다. 다음과 같은 어젠다는 실패할 가능성이 높다. "내가 누군지 알아줬으면 해"

For friends and established colleagues, you might arrange meals together. For acquaintances, you might arrange times between meals to keep the meetings shorter. For those you are hoping to meet for the first time, you might leave the request more open, simply asking if they might have a bit of free time in their schedule for a brief meeting. Notably, if you are hoping to meet people for the first time, it is advisable to have a specific agenda for these meetings. A reasonable agenda can be simply to make the other person aware of your work and to ask for their reaction. An agenda that tends to fall flat is: “I just want you to know who I am.”

다른 사람들을 위해, 당신은 컨퍼런스에서 그들과 마주칠 수 있는 방법을 찾으면서 좀 더 비공식적으로 연결하기를 원할 수도 있다. 비록 여러분이 세션이 끝날 때 또는 복도의 세션 사이에 그들에게 접근할 수 있지만, 그러한 임시 회의는 일상적인 소셜 네트워킹을 위해 특별히 계획된 회의 활동에서 가장 쉽게 일어날 수 있다. 리셉션, 뷔페식 아침식사, 비정형 포스터 세션 및 기타 만남 행사는 종종 여러분이 자신을 소개하기를 원하는 사람들이 이러한 자발적인 연결을 특별히 기대하는 경우입니다. 만약 이런 식으로 사람들에게 다가가는 것이 위협적으로 느껴진다면, 한 가지 방법은 당신을 대신해서 서로 아는 사람이 소개하도록 주선하는 것이다. 

For other people, you may wish to make the connection more informally, finding a way to bump into them at the conference. Although you might approach them at the end of a session or between sessions in the hallways, such ad hoc meetings can happen most easily at the conference activities specifically planned for casual social networking. The receptions, buffet breakfasts, unstructured poster sessions, and other meet-and-greet events are often when those you are hoping to introduce yourself to are specifically expecting these spontaneous connections. If it feels intimidating to walk up to people in this way, then one option is to arrange for a mutual acquaintance to make introductions on your behalf.

그리고 이것은 또 다른 주목할 만한 점을 제기한다: 여러분이 그 분야에 처음 발을 들여놓았을 때, 회의에서 여러분을 후원하고 여러분이 다른 지역 사회 구성원들과 관계를 맺을 수 있도록 도와줄 선배가 있는 것은 진정한 이점입니다. 이를 위해, (컨퍼런스에 앞서) 특정 Mixer 행사에서 선배 동료나 멘토와 함께 시간을 보내도록 주선하고 주요 인사들을 소개해 달라고 부탁하는 것은 여러분이 "만날" 계획에 있는 사람들과 그리고 여러분이 중요한 인맥으로 인식하지 못했던 다른 사람들과 연결하는 데 도움이 될 수 있습니다. 이 분야의 더 많은 선배들에게 주는 부기 사항으로서, 우리가 컨퍼런스에서 느끼는 가장 가치 있는 일 중 하나는 한두 명의 초기 직장 동료들을 후원하고 승진시키는 것이다. 그래서, 우리가 회의를 계획하면서, 우리는 만남과 환영 행사에서 우리를 따라올 사람이 누구인지 자문한다.

And this raises another noteworthy point: When you’re new to the field, having someone senior to sponsor you at the conference and help you make connections with other community members is a real advantage. To that end, arranging (in advance of the conference) to spend time beside a senior colleague or mentor at a particular mixer event and asking them to introduce you to key individuals can help you connect with people on your “to meet” plan and with others you hadn’t recognized as important connections. As a side note to more senior members of the field: one of the most valuable things we feel we do at a conference is sponsor and promote one or two early-career colleagues. So, as we plan for our conference, we ask ourselves who will be shadowing us at the meet-and-greet events.

이러한 비공식 미ㅣㅇ를 유리하게 활용하려면 준비가 필요합니다. 예를 들어, 피할 수 없는 질문에 대한 답변을 준비하려고 합니다. "너에 대해 말해줄 수 있니? "무슨 일을 하세요?" 종종 엘리베이터 피치라고 불리는, 이러한 질문에 대해 매우 짧은(30초)와 조금 긴(2분) 대답을 연습하고 전달할 준비가 되어 있으면 엄청나게 도움이 될 수 있습니다. 콘퍼런스의 바쁜 사회적 맥락 속에서, 여러분은 현장에 자신을 배치하고 청중에게 여러분의 작품이 독특하고 흥미로운 것에 대한 감각을 줄 수 있는 작은 시간의 창을 갖게 될 것입니다. "복잡하다"는 식의 애매한 답변으로 비틀거리거나 시작할 때가 아니다. 컨퍼런스에 도착하기 전에 이러한 답을 연습하는 것은 여러분이 만나고 싶었던 누군가를 소개받을 때 망설이지 않도록 보장할 것입니다. 기억하라, 학회는 일이 빨리 일어나는 곳이다. 당신은 짧은 비공식 대화에서 당신의 사회적 자본을 만들 것이다. 몇 분 안에, 청자는 여러분과 여러분의 작품에 대한 그들의 인상을 형성할 것입니다. 회의 참석을 위해 떠나기 전에 신뢰할 수 있는 동료들과 함께 답변을 연습하고, 이 짧은 시간을 의미있게 만드십시오. 제가 한 말에서 당신이 이해한 것을 요약할 수 있나요? 재미있게 봤어요? 제가 이 일이 왜 중요한지 잘 전달했나요?

Harnessing these more informal meetings to your advantage requires preparation. For example, you will want to have answers prepared for the inevitable questions: “Can you tell me about yourself? What do you do?” Often called the elevator pitch, having a very short (30 second) and a little longer (2 minute) answer for these questions practiced and ready for delivery can be incredibly helpful. In the busy social context of conferences, you will have a small window of time to situate yourself in the field and give the listener a sense of what is unique and interesting about your work. This is not the time to stumble or start with a vague reply like, “it’s complicated.” Practicing these answers before you get to the conference will ensure you don’t stumble when you are introduced to someone you’ve wanted to meet. Remember, conferences are where things happen quickly. You will be crafting your social capital in those short informal conversations. In a matter of minutes, the listener will form their impressions of you and your work. Make those minutes count by practicing your answers with trusted colleagues before you leave for the conference and ask for feedback: Can you summarize what you understood from what I said? Was it interesting? Did I manage to convey why this work is important?

하지만 자신을 소개하고 아이디어를 공유하는 것에 초점을 맞추는 것 외에도, 다른 사람들에게도 유용한 것을 잊지 마세요. 다른 사람들이 테스트하려고 하는 아이디어에 대해 도움이 되는 청중이 되십시오. 그들의 작업과 관련이 있을 수 있는 이론, 관점 또는 아이디어를 제공합니다. 그들이 아직 접하지 못했을 수도 있는 다른 문헌들을 공유하세요. 관련 아이디어를 탐색하는 것을 알고 있는 다른 사람과 연결합니다(예: 소개 제안). 이러한 상호작용이 누군가와의 비공식적인 만남의 맥락에서 일어나든, 그들의 포스터의 맥락에서 짧은 대화를 통해 일어나든, 또는 그들의 공식 발표 후 연단에서 1분간의 짧은 교환으로든, 흥미로운 단서를 제공하고 관련 아이디어를 주는 것은 관대하고 관대하다는 평판을 만들 수 있다. 그것은 발전을 시작하기에는 결코 이르지 않은 종류의 평판이다.
In addition to this focus on introducing yourself and sharing your ideas, however, don’t forget to be useful to others as well. Be a helpful audience for the ideas that others are trying to test. Offer theories, perspectives, or ideas that might be relevant to their work. Share other literature they might not have come across yet. Connect them with (e.g., offer to introduce them to) others you know exploring related ideas. Whether these interactions happen in the context of an informal meeting with someone, through a brief conversation in the context of their poster, or as a quick one-minute exchange following their formal presentation on the podium, offering interesting leads and giving away related ideas can create a reputation for being generous and generative, which is the sort of reputation that is never too early to start developing.

마지막으로, 학회 후(또는 학회 중에) 관계를 유지하기 위해 어떤 형태의 전자적 연결을 통해 후속 조치를 취해야 한다는 것을 기억하십시오. 고객이 읽고 싶어할 만한 기사나 조사하고자 하는 저자를 언급했다면 논문의 전자 버전(또는 관련 저자의 특정 참조)을 보내십시오. 만약 당신이 누군가와 관계를 맺기로 약속했다면, 가능한 한 빨리 전자 소개를 보내라. 만약 당신이 당신의 작업의 일부를 그들과 공유하고 있다면, 그들에게 당신의 기사의 전자 버전을 보내거나, 당신(그리고 당신의 감독관이나 멘토)이 그것이 외부의 눈이 볼 수 있을 만큼 가깝다고 느낀다면 초안도 보내라. 만약 그들이 당신에게 무언가를 제안했다면, 그들에게 상기시키는 방법으로 그 제안에 대해 감사하기 위해 이메일을 보내세요. 아니면 그냥 좋은 대화였다면, 그들을 만난 것이 얼마나 반가웠는지 짧은 메모로 따라오세요. 

Finally, remember to follow up after (or during) the conference with some form of electronic connection to keep the relationship alive. If you mentioned an article they might wish to read or an author whose work they might wish to explore, send them an electronic version of the paper (or a few specific references of the relevant author). If you promised to make a connection with someone, send the e‑introduction as soon as you can. If you were sharing some of your work with them, send them an electronic version of your article, or even a draft if you (and your supervisor or mentor) feel it is close enough for external eyes to see. If they offered you something, email them to thank them for the offer as a way of reminding them. Or if it was just a nice conversation, just follow up with a quick note to say how nice it was to meet them.

이 때 트릭은 어떤 사람과 어떤 이야기를 나눴는지, 어떤 제안을 했는지에 대해 사람을 만난 후 바로 메모해두는 것입니다. 우리 모두는 학회에서 약속을 하는데, 많은 약속들은 그것이 만들어진 후 거의 즉시 잊혀진다. 따라서 이러한 소중한 대화를 기억하고 후속 조치를 취할 수 있는 전략을 수립하는 것이 이러한 연결을 유지하려면 필수적입니다. 우리는 이러한 대화를 그 사람의 명함 뒷면에 메모하곤 했다. 요즘, 우리는 휴대폰으로 메모와 알림을 만든다. 당신이 어떻게 후속 조치를 취하느냐는 당신에게 달려 있습니다. 단지 당신이 그것을 하도록 확실히 하세요.

A quick trick in this regard, by the way, is to make a note to yourself immediately after meeting with a person regarding what you discussed and what you offered. We all make conference promises, many of which get forgotten almost immediately after they were made. So having a strategy to ensure you remember and follow up on these valuable conversations is essential if you wish to maintain that connection. We used to make notes of these conversations on the back of the person’s business card; nowadays, we make notes and reminders in our phones. How you follow up is up to you; just make sure you do it.

There are many potential positive outcomes of “conferencing well”:

• having refined and revised your thinking about a project;
• having new ideas that you hadn’t previously considered and new authors to explore;
• having given away a few ideas that others are more likely to follow up on than you;
• having reconnected with old colleagues and made some new connections; as well as
• having some new pictures in your phone from places visited;
• having more energy because you are better rested than when you arrived; and
• having luggage that is a little heavier with souvenirs and other purchases.

Conferencing well is an art that can take some time to hone, but it is well worth the effort to ensure that you can take advantage of these extraordinary events.

할스테드 학교
The Halsted School

할스테드가 뉴욕에서 볼티모어 시대로 수술 스타일을 극적으로 바꾼 것은 그의 중독과 동물 연구를 통해 얻은 보수적이고 생리적인 수술의 중요성에 대한 그의 증가하는 인식의 결과였을 것이다. 아이러니컬하게도, [대담하고 뛰어난 외과의가 될 수 없는 그의 신체적, 정신적 무능]은 그가 조직과 피를 보존하는 것이 속도보다 더 중요한 더 사색적이고 생리적인 스타일이 더 나은 결과를 얻도록 도왔다. 이러한 경향은 다른 곳에서는 초기 단계에 있었지만, Halsted의 허약함이 Halsted의 새로운 운영 방식으로의 전환을 더욱 강화시킨 Halsted School, 11, 12에서 완전히 발전했다. 다니엘 B. Nunn은 "Halsted Society의 역사가는 "Halsted는 정확하고 안전하며 철저한 수행에 영특함과 실행 속도가 종속된 학교인 '수술 안전 학교의 아버지'로 적절히 인정받고 있다"고 언급했다.

Halsted’s dramatic change in surgical style from his New York to his Baltimore days was likely a consequence of both his addiction and his increasing appreciation of the importance of conservative, physiologic surgery gained through his animal studies. Ironically, his physical and mental inability to continue to be a bold and brilliant surgeon helped him realize that a more contemplative, physiologic style, in which conserving tissue and blood was more important than speed, achieved better results. This trend was in its infancy elsewhere, but fully developed within the Halsted School at Hopkins,11,12 where Halsted’s frailty further reinforced his transition to this new operative style. Daniel B. Nunn, while Historian of The Halsted Society, noted that “Halsted is properly credited as the ‘father of a school of safety in surgery,’ a school in which brilliance and speed of execution were subordinated to accurate, safe, and thorough performance ...”13

그러나 지금 우리가 알고 있는 것을 알고 있는 그는, 자신의 반사신경, 속도, 정밀도가 악화됨에 따라 정확성, 안전성 및 철저한 수행을 강조하면서 레지던트에게 일을 위임함으로써 이를 커버할 수 있었기 때문에, 이 새로운 스타일의 수술을 가르치는 데 앞장서는 것은 아마도 자기 잇속을 차리기 위한 것이었다. 그것은 또한 그가 수술대에서 보내는 시간을 줄이고 사적인 생각에 더 많은 시간을 보낼 수 있게 해주었다. 할스테드가 방문 외과 의사들 앞에서 수술을 했을 때, 그는 너무 느려서 관객들이 보기에 고통스러웠다. 윌리엄 메이요(1861–1931)는 할스테드가 자신의 특징적인 근치적 유방절제술을 하는 것을 불안하게 지켜보면서 "나는 바닥이 이미 치유된 동안 위에서 수술된 상처를 본 적이 없다"고 농담을 한 적이 있다.

However, knowing what we know now, it was possibly self-serving to be at the forefront of teaching this new style of surgery because, as his own reflexes, speed, and precision deteriorated, he could cover this by delegating work to his resident while stressing accuracy, safety and thorough performance. It also allowed him to spend less time at the operating table and more time in private contemplation. When Halsted operated in front of visiting surgeons, he was so slow that it was painful for the audience to watch. William Mayo (1861–1931), while restlessly watching Halsted perform his signature radical mastectomy, once quipped “I have never seen a wound operated at the top while the bottom was already healed.”7

Halsted School은 또한 대부분의 임상 교수들이 FFS 요금을 유지하는 것을 선호했음에도 불구하고, Hopkins에서 시행되고 있는 지리적 풀타임(GFT) 지불 모델을 수용했습니다. 전 거주자 사무엘 J. 크로우는 보수에 대한 할스테드의 생각을 다음과 같이 설명한다.
The Halsted School also embraced the geographic full time (GFT) payment model that was being implemented at Hopkins, even though most clinical faculty preferred to remain fee-for-service.8 Former resident Samuel J. Crowe provides Halsted’s thoughts on remuneration:

[금전적 보상]은 의사가 가족을 돌보고, 새로운 생각을 습득하기 위해 여행을 할 수 있고, 그의 일생 동안 생각하고, 읽고, 의학에 지속적인 가치를 더하기 위해 노력할 수 있는 여가와 마음의 평화를 가질 수 있는 범위에서만 필요하거나 바람직했다. 이것은 1905년의 일입니다. 의심할 여지 없이 [Halsted]는 1913년에 풀타임 계획이 나왔을 때 열정적으로 환영했다.
Monetary rewards were necessary or advisable only to the extent of allowing the doctor to care for his family, to travel in order to acquire new ideas, and to have the leisure and peace of mind to think and read and try to add something during his lifetime of lasting value to medicine. This was in 1905. No doubt it was for these reasons that [Halsted] enthusiastically welcomed the Full Time Plan when it came along in 1913.14

홉킨스의 GFT 시스템 구현에 대한 완전한 역사적 분석은 다른 곳에서 제공된다. GFT 모델에 의해 촉진된 연구는 할스테드 학파의 또 다른 중요한 요소였다.
A complete historical analysis of the implementation of the GFT system at Hopkins is provided elsewhere.15 Research, which was facilitated by the GFT model, was another important element of the Halsted School.

중단된 레지던스의 구조
Structure of the halsted residency

할스테드의 레지던트 프로그램은 외과 수련자들에게 [형식적이고 구조적인 형태의 교육]을 제공했고, 이전에 존재했던 견습 훈련 모델을 대체했다. 할스테드는 독일에서 관찰한 외과적 훈련의 요소들을 바탕으로 훈련 모델을 만들었다. Halsted 모델의 기본 요소 중 하나는 티어가 있다는 것이었다. 단, 초급 및 중간급 직위는 여러 개가 있지만, 시니어 직위는 1개뿐이라는 것이었다. 후배 연수생들은 교수보다는 선배 레지던트들의 지도 아래 실전 환자 관리와 수술 기술을 배웠다. 전공의들이 경험이 많아지면서 책임감과 독립성이 높아졌다. 또한, 전공의들은 외과적 질병의 [과학적 근거]에 대한 이해를 높이고 [연구를 수행]할 것으로 기대되었다. 훈련 기간은 무기한이었고, 다음 단계로 진출하기 위한 경쟁이 치열한 피라미드 구조가 존재했기 때문에 다음 단계로 진출하는 것은 불확실했다. 인턴십이나 레지던트 보조 역할만 마치고 떠나는 연수생이 많았다. Halsted의 훈련 프로그램인 레지던트 포지션에서 정상에 오른 사람들에게 그것은 특별한 학문적, 임상적 훈련이었다. 레지던트는 임상 서비스를 운영했을 뿐만 아니라 훈련 프로그램 전체를 감독하여 현재의 레지던트 프로그램 감독PD처럼 기능했다.
Halsted’s residency program provided a formal and structured form of education for surgical trainees, replacing the apprenticeship training model that had existed before it. Halsted based his training model on elements of surgical training he had observed in Germany. One fundamental element to Halsted’s model was that there were tiers, including multiple entry- and midlevel positions, but only 1 senior position. Junior trainees learned hands-on patient management and operative skills under the supervision of a more senior resident rather than the professor. As residents became more experienced, they were given increased responsibility and independence. Furthermore, residents were expected to develop an understanding of the scientific basis of surgical disease and to perform research. The duration of training was indefinite, and advancement to the next level was uncertain, as there was a pyramidal structure with intense competition for advancement to the next level. Many trainees left after completing only an internship or an assistant resident role. For those making it to the top of Halsted’s training program, the resident position, it was exceptional academic and clinical training. The resident not only ran the clinical services, but also oversaw the entire training program, functioning like a current day residency program director.

그러나 이러한 구조는 할스테드가 요구하는 우수한 수술 결과를 얻기 위해 항상 최선을 다하는 것에 의존하지 않았기 때문에, 그의 중독을 숨기는 외과의사에게는 자기 잇속만 차린 것이라는 점에 주목해야 한다. 또한 프로그램의 [피라미드적 성격]은 할스테드가 훈련생, 의료 및 외과 동료, 환자들과 매일 상호작용할 필요성을 최소화하여 그의 장애를 숨길 수 있게 하였다. 활기찬 외과 수련생들 집단은 할스테드에게 그를 기쁘게 하고 싶어했고, [그가 임금을 지불할 필요가 없는 동기부여된 노동력을 제공]했다. 그러한 모델은 대부분의 북미 훈련병원에서 작동할 수 없었을 것이다. 왜냐하면 그렇게 많은 house staff을 두는 것은 비용이 너무 많이 들었을 것이기 때문이다. 다른 저자들이 지적한 바와 같이, 이것은 오로지 존스 홉킨스 병원에서만 가능했을 것이다. 존스 홉킨스 병원은 기부금과 무엇보다 GFT 지불 모델 덕분에 주머니가 두둑했기 때문이다.
It should be noted, however, that this structure was self-serving for a surgeon hiding his addiction, as the clinical service did not depend on Halsted always being at his best in order to achieve the excellent surgical results he demanded. The pyramidal nature of the program also minimized Halsted’s need for day-to-day interaction with trainees, medical and surgical colleagues and patients, thus allowing him to hide his impairment. The energetic cadre of surgical trainees provided Halsted a motivated workforce that was anxious to please him and that he did not need to pay. Such a model could not have worked in most North American training hospitals, as it would have been far too costly to have so many house staff. As noted by other authors,16,17 this was likely only possible in one place — the Johns Hopkins Hospital — which, because of its endowments and eventually its GFT payment model, had deep pockets.

다행히 단단한 피라미드 구조는 다른 곳에서는 구현에 중요하지 않은 것으로 입증되었다. 조지 J 호이어(1882년 ~ 1950년)는 신시내티에서 이것을 증명하였다.
Fortunately, a rigid pyramidal structure proved not to be critical for its implementation elsewhere. George J. Heuer (1882–1950) proved this in Cincinnati.

조지 J 휴에와 제자들
George J. Heuer and the disciples

호이어는 할스테드에 의해 훈련받은 13번째 전공의였다. 그는 1911년부터 1914년까지 이 역할을 맡았다. 그 후 그는 존스 홉킨스의 외과 부교수와 외과 부교수로 임명되었다. 제1차 세계 대전에서 복무한 후, 호이어는 홉킨스로 돌아와 할스테드가 자신의 뒤를 따라 훈련했던 전공의 월터 댄디 (1886년-1946년)를 신경외과 서비스 책임자로 임명했다는 것을 알게 되었다. 호이어는 다른 할스테드 레지던트였던 하비 쿠싱(1869–1939)이 1912년 보스턴의 피터 벤트 브리검 병원으로 영입된 이후 이 직책에 관심이 있었다. 호이어는 크리스천 R의 첫 수혜자로서 신시내티로 영입되었다. 홈즈는 1922년 외과 의장을 맡았고, 그곳에서 그는 외과 레지던트를 설립했다. 이때 다른 할스테디안 프로그램은 하비 쿠싱이 보스턴에서 운영하는 프로그램이 유일하다는 점에 주목해야 한다. 호이어는 몽 리드 (1889년–1943년)와 버 놀랜드 (닉) 카터 (1894년–1980년)를 포함한 몇몇의 저명한 홉킨스 훈련 외과 의사들을 데리고 왔다. 호이어는 "일반 환자의 병실을 호이어 교수를 위한 개인 병실로 전환하는 것은 납세자에게 부도덕한 일"이라며 해당지역 외과의들의 즉각적인 저항을 맞았고, 이를 '수수료 분할' 문제로 바꾸려 했다. 이는 미국외과의사대학의 정책에 위배되는 행동이었다. 이 문제는 홈즈 병원이라는 이름의 새로운 개인 전시관을 지음으로써 결국 해결되었다.

Heuer was the 13th resident trained by Halsted. He served in this role from 1911 to 1914. He was then appointed associate professor of surgery and associate surgeon at Johns Hopkins. After serving in the First World War, Heuer returned to Hopkins only to find that Halsted had appointed Walter Dandy (1886–1946), a resident who had trained after him, to the position of chief of the neurosurgical service. Heuer had been interested in this position since Harvey Cushing (1869–1939), another former Halsted resident, had been recruited to the Peter Bent Brigham Hospital in Boston in 1912. Heuer was recruited to Cincinnati as the first recipient of the Christian R. Holmes Chair in Surgery in 1922, where he established a surgical residency.16,18,19 At this time, it should be noted that the only other Halstedian program was the one in Boston run by Harvey Cushing. Heuer brought several prominent Hopkins-trained surgeons with him, including Mont Reid (1889–1943) and Burr Noland (Nick) Carter (1894–1980). Heuer met immediate resistance from the local surgeons, who stated that “the conversion of a ward of the general patients into private rooms for Professor Heuer was an immorality to the tax payer” and tried to turn it into an issue about “dividing fees,” which was against the policies of the American College of Surgeons.16 This problem was eventually resolved by building a new private pavilion named Holmes Hospital.

데이비드 W. 맥패든에 따르면, 호이어의 "Halstedian 레지던트 훈련 프로그램의 채택은 오늘날 모든 좋은 훈련 프로그램이 존재하는 기초로 묘사되었다." 전공의보다 피라미드의 아래에 있는 여러 층의 house staff을 위해 지불할 충분한 돈이 없었기 때문에, 다른 곳에서 홉킨스 모델을 복제하는 것은 불가능했기 때문에 이것은 확실히 사실이다. 호이어가 1932년 뉴욕 병원과 코넬로 채용되었을 때, 그는 신시내티에서와 비슷한 어려움에 직면했다. 최근의 논문은 1930년대와 1950년대 사이에 할스테디안 외과 레지던트 모델이 "엘리트 의사들을 위한 흔치 않은 독특한 경험에서 모든 미국 외과 의사들을 위한 표준화된 의무 교육"으로 어떻게 진화했는지 설명한다.
According to David W. MacFadden, Heuer’s “adaption of the Halstedian residency training program has been described as the basis on which all good training programs exist today.”16 This is certainly true, because it would not have been possible to duplicate the Hopkins model elsewhere as there would have been insufficient money to pay for multiple tiers of house staff at the base of the pyramid below the resident. When Heuer was recruited to New York Hospital and Cornell in 1932, he encountered difficulties similar to those at Cincinnati.19 A recent paper describes how the Halstedian surgical residency model further evolved “from an uncommon, idiosyncratic experience for elite practitioners to a standardized mandatory education for all American surgeons” between the 1930s and the 1950s.20

호이어에 의해 모집되었고 신시내티에서 그의 레지던트를 마친 또다른 홉킨스 출신의 보조 외과의사 닉 카터는 1952년 할스테드의 탄생 100주년을 기념하는 놀라운 조사를 발표했다. 할스테드는 33년 동안 외과 레지던트를 맡았고 17명의 레지던트들과 55명의 보조 레지던트들을 임명했다. 카터는 이 훈련생들 중 얼마나 많은 사람들이 최고의 학문적 외과의가 되었고 다음 세대의 학문적 외과의들을 훈련시켰는지를 요약한다.  이들은 할스테드의 광범위한 외과 제자들의 간부가 되었다. 두 번째 연구에서 카터는 또한 신시내티에서 25년 동안 외과 레지던트 프로그램이 운영된 후 높은 수준의 학업 성공을 발견했다. 교육생 중 약 3분의 2가 교수직을 맡아서 더 많은 제자를 배출했다. 할스테드의 많은 제자들의 자손들은 북아메리카의 거의 모든 레지던트 훈련 프로그램에 영향을 미쳤을 것이다.
Another Hopkins-trained assistant surgeon who had been recruited by Heuer and who completed his residency in Cincinnati, Nick Carter, published a remarkable survey in 1952 on the centenary of Halsted’s birth. Halsted had directed his surgical residency for 33 years and appointed 17 residents and 55 assistant residents. Carter summarizes how many of these trainees became top academic surgeons and trained the next generation of academic surgeons. 21 These became Halsted’s extensive cadre of surgical disciples. In a second study, Carter also found a high level of academic success in Cincinnati after its surgery residency program had been in operation there for 25 years.22 Approximately two-thirds of its trainees held faculty positions, thus generating more disciples. Likely, the offspring of Halsted’s many disciples and their disciples have influenced almost all residency training programs in North America.

할스테드 중독의 결과
Consequences of Halsted’s addiction

할스테드의 중독이 그의 경력에 끼친 가장 분명한 영향은 "그는 과학 조사, 외과 레지던트 조직, 개선된 수술 기술의 개발, 그리고 외과적 문제에 대한 집중적인 연구에 그의 삶을 바친 느리고 고된 외과의사가 되었다. 본질적으로, 그는 많은 수술의 수행보다는 사색과 성찰에 집중했습니다." 

The most obvious effect of Halsted’s addiction on his career was that “he became a slow, painstaking surgeon who devoted his life to scientific investigation, organization of a surgical residency, development of improved operative techniques, and intense study of surgical problems; in essence, he concentrated on contemplation and reflection rather than the performance of many operations.”23

하워드 마켈은 부정적인 결과에 주목한다.
Howard Markel notes negative consequences:

수술실에서 할스테드의 변덕스러운 행동 외에도, 그의 행방이 묘연할 때 자주 병원에 가지 않는 것에서부터, 병실을 걸을 때 가까운 동료들을 피하는 것까지 (아마도 그가 영향을 받고 있었고, 그가 인지할 수 있는 사람들에 의해 정밀하게 조사 받기를 원하지 않았기 때문일 것이다),그는 매일 오후 4시 30분에 집에 가서 저녁 식사 전에 90분 동안 서재에 틀어박혀, 더러운 린넨을 파리의 전용 세탁소에 보내는 그의 이상한 습관(깨끗한 셔츠보다 더 많은 것을 돌려보냈을지도 모른다)이 있었다. 그리고 가장 골치 아픈 것은 수술실에서 사용된 모르핀과 코카인에 쉽게 접근할 수 있다는 것이다. — 엔도르핀과 코카인을 목숨이 다할 때까지 계속 남용한 것 같다.
…in addition to Halsted’s erratic behaviour in the operating room, circumstantial evidence — ranging from his frequent absences from the hospital when his whereabouts were unknown to his avoidance of close colleagues when he was walking the wards (perhaps because he was under the influence and did not wish to be scrutinized by those who might recognize this), his going home daily at 4:30 p.m. and locking himself in his study for 90 minutes before dinner, his curious habit of sending his soiled linen to an exclusive laundry in Paris (which may have sent back more than clean shirts), and, most troubling, his easy access to morphine and to the cocaine that was used in the operating room... — suggests that he continued to abuse morphine and, I suspect, cocaine until the end of his life.24

실제로 할스테드는 1895년 ~ 6월에 5 ~ 6개월의 결석을 포함하여 다수의 설명되지 않은 결석을 가지고 있었는데, 그가 그를 돌아오게 하려는 신탁 위원회의 반복적인 시도를 무시하고 규율을 위하여 의료 위원회에 회부되었다. 1893년 이후 할스테드의 세 번째 전공의인 조지프 콜트 블러드굿(1867-1935)은 하비 쿠싱과 함께 보조 전공의로 지냈다. 이것은 본질적으로 그의 부재를 커버하는 올스타 팀이었다. 얼마 지나지 않아 블러드굿은 할스테드의 첫 조수로 일하면서 외과 의사로 승진했고, 하비 쿠싱은 레지던트로 승진했다. 폴 프리드먼이 정확하게 지적한 바와 같이: "만약 할스테드가 오늘날 의사를 하고 있었다면, 그는 아마도 그의 자리에서 즉결 해고되고 의사 개업 면허를 잃게 될 것입니다." 사실, 이 행동이 잘 알려졌더라면, 그때도 받아들여질 것 같지는 않다. 의심했을 법한 사람들은 그들의 의심을 추구하지 않았다. 오슬러와 웰치도 일단 알게 되더라도 그를 신고하지 않았다. 의심할 여지 없이, 그들은 이것을 정당화할 수 있었다. 당시에 중독에 대한 이해는 불완전했고, 할스테드는 안전하고 세계적인 수준의 외과 서비스를 운영하고 있었기 때문이다. 물론 권력 차이를 고려할 때 엽기적인 행동을 관찰한 그의 훈련생들은 그를 자수할 처지가 아니었다. 게다가, 대부분은 그에게 신세를 졌다. Halsted의 중독에 대한 자세한 내용은 canjsurg.ca/003319-a1의 부록 1을 참조하십시오.

In fact, Halsted had multiple unexplained absences, including a 5–6 month absence in 1895–6, when he ignored the Board of Trustees’ repeated attempts to get him to return and was referred to the medical board for discipline.23 Conveniently, Joseph Colt Bloodgood (1867–1935), Halsted’s third resident (since 1893),8 simply stayed on with Harvey Cushing as an assistant resident. This was essentially an all-star team covering his absence. Shortly after this, Bloodgood was promoted to associate in surgery, serving as Halsted’s first assistant, and Harvey Cushing was promoted to resident.8 As Paul Friedman correctly notes: “If Halsted were practising today, he would probably be summarily fired from his position and lose his license to practise medicine.”25 In fact, it is unlikely that this behaviour would have been accepted even then, had it been well known. Those who might have suspected did not pursue their suspicions. Even Osler and Welch did not turn him in once they knew; undoubtedly they could justify this, as addiction was poorly understood and Halsted was running a safe, world-class surgical service. Certainly, considering the power differential, his trainees who observed bizarre behaviours were not in a position to turn him in; furthermore, most were beholden to him. For additional details on Halsted’s addiction, see Appendix 1 at canjsurg.ca/003319-a1.

듀크 대학 외과 레지던트였던 전 할스테드 레지던트인 데릴 하트에 따르면, 할스테드 박사의 레지던트 시스템 개발에 그 어떤 사건보다도 영향을 준 것으로 보이는 두 사건은 그의 유럽 경험이었는데, 특히 [처음 2년간의 연구 경험]과 [코카인에 대한 우연한 중독]이었다. 하트의 논평은 우리의 전제를 지지하는 것처럼 보이지만, 그는 이 진술의 후반부에 대해 확장하기로 선택하지 않았다.

According to Deryl Hart, a former Halsted resident who went on to start the Duke University surgical residency, “The two events that seem to have influenced Dr. Halsted more than any others in the development of his residency system were his European experiences, particularly the first two years of study, and his accidental addiction to cocaine.”26 While it appears that Hart’s comment supports our premise, he did not choose to expand on the latter part of this statement.

독일의 체제와 그것이 할스테드에 미치는 영향.
The German system and its influence on Halsted

유럽, 특히 독일은 19세기 후반 추가 의학 및 외과 수련의 메카였고, 유학 수단을 갖춘 새로운 의학 졸업생들이 몰려들었다. 의대를 졸업한 후, 할스테드는 1878년부터 1880년까지 유럽으로 가서 기초 과학, 주로 해부학과 외과학을 공부하였다. 뉴욕의 부유한 사업가의 아들로서, 그는 적어도 19명의 다른 유럽의 의학/외과 학자들과 함께 공부할 수 있는 수단을 가지고 있었다. 러트코우가 지적했듯이, 이것은 그가 "나중의 삶에 매우 중요한 지적, 문화적 절충주의"를 획득할 수 있게 해주었다. 외과 교육과 훈련에 대한 할스테드의 생각은 이 여행에 의해 깊은 영향을 받았다. 루트코프는 "할스테드는 많은 자료로부터 이끌어냈지만, 가장 중요한 것은 1878년부터 1880년까지 유럽을 처음 방문했을 때의 집단적 교육 경험이었다"고 결론짓는다. 

Europe, particularly Germany, was the Mecca for additional medical and surgical training in the latter half of the 19th century, and new medical graduates with the means to study abroad flocked there. After graduating from medical school, Halsted went to Europe from 1878 to 1880 to study both basic sciences, primarily anatomy, and surgery. As the son of a well-to-do businessman in New York, he had the means to study with at least 19 different European medical/surgical scholars. As noted by Rutkow, this allowed him to acquire “an intellectual and cultural eclecticism so important to his work of later life.”27 Halsted’s ideas about surgical education and training were profoundly influenced by this trip. Rutkow concludes that “Halsted drew from many sources, but the most important was the collective educational experience of his first visit to Europe in 1878–1880.”27

Halsted가 홉킨스에서 만든 레지던트 훈련 프로그램은 독일 시스템을 명확하게 모델링했습니다. 특히 기초과학과 실기임상훈련의 통합, 전임교원의 존재감, 그리고 최고의 실력자만이 정상에 오를 수 있었던 선진화 경쟁력에 감탄했다. 러트코프에 따르면
Halsted clearly modelled his residency training program at Hopkins on the German system. In particular, he admired its integration of basic sciences and practical clinical training, the presence of full-time faculty, and the competitiveness for advancement, which allowed only the very best to rise to the top. According to Rutkow,

그러나 그의 외과 레지던스 시스템은 독일인의 접근 방식을 정확히 모방한 것이 아니라 근접한 절충안이었다. 그는 보다 명확하게 정의된 조직과 직무 분담을 주장했다. 전공의가 마음대로 결정할 수 있는 수술 재료가 더 많았고, 실제 임상문제와의 친밀한 접촉이 많았으며, 순수 기초과학에 대한 집착이 적었으며, 교수자보다는 전공의에게 책임과 권위가 집중되어 있었다. 
His surgical residency system, though, was not an exact duplicate of the German approach, but instead a close compromise. He insisted on a more clearly defined pattern of organization and division of duties. There was a larger volume of operative material at the disposal of the residents, a more intimate contact with practical clinical problems, less preoccupation with pure basic sciences and a concentration of responsibility and authority in the resident rather than the teacher.27

이 모든 차이는 그의 주위에 높은 수준의 질서를 유지하려고 노력하는 고기능 중독자에게 예측할 수 있을 것이다. 다른 사람들은 그가 중독된 동안 기능했던 방법 중 하나는 직장에서나 집에서나 고도로 질서 있는 생활방식을 유지하는 것이었다고 언급했다. 고도로 숙련되고 동기부여가 된 전공의들에게 많은 수술과 임상 문제의 해결을 맡기고, 그의 전공의들에게 더 많은 책임을 부여한 것은 분명히 전공의 교육을 촉진시켰지만, 이러한 경향은 또한 Halsted가 낮은 일일 업무량을 유지하여 많은 시간을 사색에 보낼 수 있도록 해주었기 때문에 이기적인 것이었다. 심지어 그의 전체 작전의 성공에 결정적인 주민 선발과 승진은 때때로 할스테드보다 할스테드의 노동력과 더 많은 시간을 보낸 상급 전공의에게 위임되었고, 따라서 이러한 중요한 결정을 내리기에 더 좋은 위치에 있었다.

All of these differences might be predictable for a high-functioning addict striving to maintain a high degree of order around him. Others have noted that one of the ways he functioned while addicted was by maintaining a highly ordered lifestyle, both at work and at home.6,24 Leaving much of the operative work and resolution of clinical problems to his highly skilled and motivated cadre of residents and giving his residents increased responsibility clearly promoted resident education, but these tendencies were also self-serving as delegation of these responsibilities allowed Halsted to maintain a lower day-to-day profile and spend much of his time in contemplation. Even selection and promotion of residents, which was critical to the success of his whole operation, was sometimes delegated to the senior resident, who spent more time with Halsted’s workforce than Halsted did and, thus, was in a better position to make these important decisions.

Halsted의 레지던트 프로그램 프로그램은 Hopkins의 다른 프로그램들과 어떻게 비교되었습니까?
How did Halsted’s residency progrgam compare with others at Hopkins?

3개의 다른 현대 홉킨스 레지던트 프로그램과 직접 비교함으로써 할스테드의 외과 레지던트 프로그램 설계에 그의 중독을 숨길 필요가 있었다는 설득력 있는 사례를 구축하는 데 도움이 된다. 앞서 언급했듯이, 오슬러는 최초의 현대적 전공의 훈련 프로그램을 개발했다. 직후에, Halsted, Howard A. 켈리(1958-1943)와 웰치는 각각 외과, 산부인과, 병리학과 프로그램을 개발했다. 10 초기 홉킨스의 모든 전공의 프로그램은 적어도 독일 모델을 기반으로 한 것으로 생각된다. 사실 홉킨스 의과대학의 전반적인 교육 프로그램도 마찬가지였다. 모든 임상 분야가 인턴십을 했지만, 이 다른 3명의 홉킨스 창립 교수들 중 누구도 엄격한 피라미드 레지던트 모델을 개발하지 않은 것으로 보이며, 따라서 그들이 제공한 교육은 더 개인적이고 실제적이었다. 오슬러는 홉킨스에서 15년 동안 5명의 전공의를 훈련시켰다. 몇몇 보조 전공의들이 있었을 가능성이 있지만, 그들에 대해 알려진 것은 거의 없다. 오슬러의 5명의 레지던트들은 병원에서 "house officers"로 생활하면서 오슬러의 생활 욕구를 충족시켜주었고, 오슬러가 여행을 할 수 있게 해주었다. 오슬러의 전공의들은 그의 집에 자주 손님이었고, 그들 중 몇 명은 그가 없을 때 그의 도서관에 있는 책을 접할 수 있도록 그의 집 열쇠를 가지고 있었다.28 이것은 할스테드가 전공의들과의 먼 관계를 유지하고, 비밀스러운 생활 방식을 영유한 것과 극명한 대조를 이루었다. 켈리는 현대 부인과 레지던트 훈련의 아버지로 여겨지지만, 그 구조에 대해서는 거의 기록되어 있지 않다. 컬렌(1868-1953)은 1896년에 레지던트를 시작했고 1897년에 하급 직원으로 고용되었다. 웰치의 병리학 레지던시는 피라미드가 아니었다.31 이러한 프로그램들은 각 멘토들의 필요를 충족시키기 위해 부분적으로 설계되었을 가능성이 높았지만, Halsted의 프로그램의 높은 수준의 중복성을 가지고 있거나 매일의 조사로부터 교수를 보호하는 방식으로 설계된 것은 없었다.

A direct comparison with the 3 other contemporary Hopkins residency programs helps build a compelling case that a need to hide his addiction played a role in the design of Halsted’s surgical residency program. As noted earlier, Osler developed the first modern residency training program; shortly after this, Halsted, Howard A. Kelly (1958–1943) and Welch developed programs in surgery, gynecology and pathology, respectively. 10 All early Hopkins’ residencies are thought to be at least loosely based on German models; in fact, the overall educational program at Hopkins Medical School was as well. While all clinical disciplines had internships, none of these other 3 founding Hopkins professors appear to have developed a rigidly pyramidal residency model and, therefore, the training they offered was more personal and hands-on. Osler trained 5 residents during his 15 years at Hopkins; their tenures ranged from 15 months to 7 years. While there were likely some assistant residents, little is known about them. The lengthy tenure of Osler’s 5 residents, who as “house officers” lived in the hospital, met Osler’s lifestyle needs and allowed him to travel. Osler’s residents were frequently guests at his house, and several of them had keys to his house so that they could access books in his library when he was away.28 This was in stark contrast with Halsted’s distant relationship with his residents and his secretive lifestyle. While Kelly is considered to be the father of modern gynecology residency training,29 little has been written about its structure; however, it was clearly not a rigid pyramid, since it is known that Thomas S. Cullen (1868–1953) began his residency in 1896 and was hired into a junior staff position in 1897.30 Welch’s pathology residency was not a pyramid.31 While each of these programs was likely designed in part to meet the needs of each mentor, none had the high level of redundancy of Halsted’s program or were designed in such a way as to protect its professor from day-to-day scrutiny.

특히 임상적 수입을 얻을 수 있는 다른 두 명의 임상의인 오슬러와 켈리는 GFT 보수 제도에 강하게 반대했다. 사실 켈리는 이 문제로 홉킨스를 사임하고 볼티모어 병원으로 진료소를 옮겼으며 개인 진료도 허용했다. 오슬러는 거의 10년 전에 옥스포드로 이사했지만, 그는 GFT 시스템이 발표되었을 때 홉킨스의 구현에 반대했다. 반면에 할스테드는 GFT를 받아들였고, 그는 독립적으로 부유했고, 그것은 그의 residency을 보조했다. 오슬러와 켈리 둘 다 trainee들은 참여시키지 않으며 운영한, 수익성 높는 개인 진료실이 있었다.

Notably, the 2 other clinicians capable of earning clinical incomes, Osler and Kelly, were strongly opposed to the GFT remuneration system. In fact, Kelly resigned from Hopkins over this issue, moving his practice to Baltimore hospitals allowing fee-for-service private practice.29 Although Osler had moved to Oxford almost 10 years earlier, he vocally opposed the implementation of the GFT system at Hopkins when it was announced.32,33 Halsted, on the other hand, embraced it, as he was independently wealthy and it subsidized his residency. Both Osler and Kelly had lucrative private practices that they managed without involving trainees.

결론
Conclusion

외과 레지던트 모델은 19세기에 Halsted와 함께 시작되었다. 그것은 부분적으로 독일 모델을 기반으로 했지만, Halsted의 프로그램의 많은 측면들은 그가 그의 중독을 숨기는 것을 돕고, 동시에 그의 환자들을 위한 치료를 최적화하기 위해 신중하게 설계되었다. 중요한 요소는 Halsted에게 충분한 사색 시간을 제공하는 것이었는데, 이는 위에서 언급한 바와 같이 다른 현대 홉킨스 레지던트 프로그램에서는 볼 수 없는 독특한 요소였다.

The surgical residency model originated with Halsted in the 19th century; it was partially based on a German model, but many aspects of Halsted’s program were carefully designed to help him hide his addiction and simultaneously optimize care for his patients. A critical element was providing Halsted with ample time for contemplation, which was possible only because of the extreme delegation of clinical and educational work to his trainees, which as noted above, was a unique element not seen in the other contemporary Hopkins residency programs.

Halsted의 모델은 Hoeer에 의해 홉킨스 환경 밖에서 작동하도록 수정되었으며, 이 모델은 본질적으로 북미 표준이 되었다. 현재의 북미 시스템에서 전공의의 진급은 예측 가능하고 "사각형"인 반면, 일부 [피라미드형] 프로그램은 20세기 전반의 4분의 3 동안 지속되었다. 마지막으로, Halsted의 레지던트 개념의 탁월함은 20세기 전반의 외과적 리더십이 되었을 때 그의 초기 레지던트들에 의해 처음부터 인정받았다는affirmed 점에 주목해야 한다. 게다가, 그의 가장 큰 업적은 그의 레지던트 프로그램이라는 것에 동의함으로써, 그의 초기 전공의들은 각각 12-14년 동안 훈련(대부분 무료로 일함)에 투자했고, 동시에 그의 가장 큰 업적 중 하나라는 지위를 스스로에게 주었다. 이것은 어떤 면에서는 이기적이지만, 여러 면에서는 정말로 그랬다.
Halsted’s model was modified by Heuer to work outside of the Hopkins environment, and this model essentially became the North American standard. While resident advancement in the current North American system is predictable and “square-shaped,” some pyramidal programs persisted for the first three-quarters of the 20th century. Finally, it should be noted that the brilliance of Halsted’s residency concept was initially affirmed by his former residents, when they became the surgical leadership of the first half of the 20th century.17 Furthermore, by agreeing that his greatest accomplishment was his residency program, his former residents, who had each invested 12–14 years in training (much of it working for free),34 simultaneously conferred upon themselves the status being one of his greatest accomplishments. While in some ways this is self-serving, in many ways, they really were.5

외과 레지던스가 급진적이고 극적인 변화를 겪고 있는 지금, 우리는 외과 레지던시 프로그램의 역사와 이러한 프로그램을 형성한 영향을 반성해야 한다. 우리의 분석은 Halsted의 중독을 중요한 요소로 식별하고 강조합니다. 우리는 할스테드를 비난하지는 않지만, 할스테드 외과 레지던트의 구조에 대한 동기를 면밀히 분석하고 비판한다면 그의 중독이 주요 영향요인이었음을 시사하고 있다.

At a time when surgical residencies are undergoing radical and dramatic changes, we should reflect on the history of surgical residency programs and the influencing factors that shaped these programs. Our analysis identifies and highlights Halsted’s addiction as an important factor. While we are not condemning Halsted, we are suggesting that if one carefully analyzes and critiques the motivation for the structure of the Halsted surgical residency, his addiction was a major influencing factor.