OSCE에서 합격선 설정: 경계선 접근법(Clin Teach. 2014)
Standard setting in OSCEs: a borderline approach
Kingston Rajiah , Sajesh Kalkandi Veettil and Suresh Kumar , Department of Pharmacy Practice , International Medical University , Kuala Lumpur , Malaysia 

 

 

소개
Introduction

임상 술기 및 역량 평가는 응시자에게 중대한 결과를 초래하는 중요한 과정입니다.1 따라서 타당하고 신뢰할 수 있는 객관적 구조화 임상시험(OSCE)을 유지하기 위해서는 합격 점수를 정당화할 수 있는 강력한 방법이 필수적입니다.2 그러나 합격 점수가 부적절하게 설정되면 이러한 성취는 거의 의미가 없습니다.3
The evaluation of clinical skills and competencies is a high-stakes process carrying significant consequences for the candidate.1 Hence, it is mandatory to have a robust method to justify the pass score in order to maintain a valid and reliable objective structured clinical examination (OSCE).2 These attainments are of little significance if the passing score is set inadequately, however.3

임상 시험에서 표준을 설정하는 방법은 여전히 어려운 과제입니다.1 표준 설정에는 여러 가지 방법이 있으며, 각 방법에는 장점과 단점이 있으며, 각 방법마다 합격 점수가 다릅니다.4 표준 설정 방법은 시험 항목 또는 응시자의 성과에 따라 설정되는 상대적 또는 절대적 방법(경계선 방법)이 있습니다.5 표준 설정의 두 가지 광범위한 접근 방식 중 임상 역량 테스트에는 절대적 방법이 선호되었습니다.6, 7 
The methods for setting standards in clinical examinations remain challenging.1 There are different methods for standard setting, each with benefits as well as drawbacks; each method gives a dissimilar pass mark.4 Standard-setting methods can be relative or absolute, established on either the test item or on the performance of the candidate (borderline methods).5 Of the two broad approaches in standard setting, the absolute method has been preferred for testing clinical competencies.6, 7

표준 설정에는 여러 가지 방법이 있으며, 각 방법에는 장점과 단점이 있습니다.
There are different methods for standard setting, each with benefits as well as drawbacks


현재 많은 기관에서 경계선 및 회귀 접근법을 선호하는데, 이는 글로벌 등급과 체크리스트 점수 간의 관계 및 학생 간의 변별 수준을 관찰할 수 있는 이점을 제공합니다.5 이 접근법은 시험관이 각 스테이션에서 경계선에 있는 학생을 식별하는 데 도움이 되며 경계선 점수의 평균을 반영하여 각 스테이션의 합격 점수로 설정할 수 있습니다.4, 8 OSCE의 합격 점수는 각 스테이션의 합격 점수에 1 표준 오차를 더한 값입니다.8 이 방법은 다른 기존 방식과 비교할 때 평가자의 시간을 절약할 수 있는 방법입니다. 따라서 OSCE의 표준 설정을 위해 두 가지 영역의 글로벌 평가 척도를 사용하여 경계선 접근법을 시험해 보는 것이 목표였습니다.  
Presently, many institutions favour borderline and regression approaches, which can offer the advantage of observing the relationship between global rating and checklist scores, and also the level of discrimination between the students.5 This approach helps examiners to identify the borderline students at each station and also reflects the mean of the borderline marks, which can be set as the pass mark for each station.4, 8 The pass mark for the OSCE is the sum of the pass marks for each station plus one standard error of measurement.8 Compared with the other established approaches, this method is a time saver for the assessors. Hence, the aim was to trial the borderline approach using a two-domain global rating scale for standard setting in the OSCE.

우리의 일반적인 목표는 작업 기반 체크리스트 점수와 글로벌 등급 간의 상관관계를 분석하는 것이었습니다. 
Our general objective was to analyse the correlation between the task-based checklist score and the global rating.

구체적인 목표는 경계선 방식에 따라 각 OSCE 스테이션에서 최소 합격 점수를 결정하는 것이었습니다. 
Our specific objective was to determine the minimum pass mark in each OSCE station according to the borderline method.

연구 방법
Methods

이 연구는 약학 학부 2학년 학생들을 대상으로 횡단면 연구를 수행했습니다. 2013년 학기 말에 실시된 OSCE가 본 연구의 연구 대상이었습니다. Raosoft 표본 크기 계산기를 사용하여 표본 크기 계산을 수행했습니다. 필요한 최소 표본 크기는 116명이었으며 오차 범위는 5%, 신뢰 수준은 95%였습니다. 표본을 수집하기 위해 편의 표본 추출 기법을 사용했습니다. 약대생 164명의 결과가 분석에 사용되었는데, 이는 계산된 필수 표본 크기보다 많았습니다. 
This was a cross-sectional study carried out with second-year undergraduate pharmacy students. The OSCE conducted at the end of the semester in 2013 was the research subject of this study. A sample size calculation was performed using the Raosoft sample size calculator. The minimum required sample size was 116 with a 5 per cent margin of error and 95 per cent confidence level. A convenience sampling technique was used to collect the sample. The results for 164 pharmacy students were used in the analysis, which was more than the required calculated sample size.

2학년 OSCE는 총 14개의 스테이션이 직렬로 연결된 회로로 구성되었습니다. 각 스테이션에 할당된 시간은 5분이었습니다. 스테이션은 활동, 준비, 휴식으로 분류되었습니다(표 1). 학생들은 스테이션의 회로를 돌며 각 활성 스테이션에서 과제를 수행했습니다.9 학생들이 활성 스테이션에 들어가기 전에 과제를 준비할 수 있도록 준비 스테이션이 포함되었습니다. 시험이 진행되는 15분마다 학생들을 위한 휴식 스테이션이 포함되었습니다. 시험관은 표준화된 과제 기반 체크리스트를 사용하여 각 활성 스테이션에서 표준화된 모의 환자에 대한 학생의 수행을 관찰하고 평가한 후 두 가지 영역의 글로벌 등급 척도를 사용하여 평가했습니다. 
The second-year OSCE had a circuit of 14 stations in total, which were connected in a series. The time allotted for each station was 5 minutes. The stations were categorised as active, preparatory and rest (Table 1). Students rotate around the circuit of stations, and perform the tasks at each active station.9 A preparatory station was included for the students to prepare for the task before entering into the active station. A rest station for the students was incorporated after every 15 minutes in the exam. The student's performance with a standardised simulated patient in each active station was observed and evaluated by an examiner using a standardised task-based checklist, followed by a two-domain global rating scale.

OSCE에 사용된 모든 시나리오는 새로운 스크립트였기 때문에 학생들이 이전에 접해본 적이 없었습니다. 체크리스트와 글로벌 평가 척도는 모두 시험관들 사이에서 검증되고 표준화된 후 OSCE에서 사용되었습니다. 다양한 분야의 표준화된 임상 교수진이 시험관으로 참여했습니다. 
All the scenarios used in the OSCE were new scripts, and therefore had not been encountered by the students previously. Both checklists and the global rating scales were validated and standardised among examiners before using them in the OSCE. Standardised clinical faculty members from a variety of disciplines served as examiners.


각 스테이션의 임상 시나리오와 과제 기반 체크리스트는 약학 실습 교수진이 모듈의 학습 결과와 학생의 학습 수준에 따라 구성했습니다. 시험 콘텐츠는 기본적인 '블루프린팅'를 통해 학습 목표에 맞게 계획되었습니다. 모듈 결과와 과제 기반 체크리스트를 기반으로 핵심 역량을 파악하여 체크리스트의 전반적인 기준을 나타내는 두 가지 영역글로벌 평가 척도로 개발했습니다. 각 영역에 대해 6점 척도 세트를 사용하여 높고 낮은 부분을 반영했습니다(5점, 우수 합격, 4점, 만족 합격, 3점, 합격' 2점, 경계 합격, 1점, 불합격, 0점, 명백한 불합격). 두 개별 영역의 점수를 합산하여 '합산된 글로벌 등급'을 만들었습니다. 개별 스테이션에 대한 작업 기반 체크리스트 점수는 14점 만점으로 채점되었습니다. 활성 스테이션이 5개였으므로 작업 기반 체크리스트의 총 점수는 70점이었습니다. 따라서 35점(70점의 50% 임의로)을 합격 점수로 유지했습니다(상자 1). SPSS 18을 사용하여 과제 기반 체크리스트 점수와 두 영역의 글로벌 평가 척도 간의 상관관계를 Pearson의 상관관계 테스트를 통해 분석했습니다. 유의 수준은 p <0.05로 설정했습니다. 각 스테이션의 체크리스트 점수와 글로벌 등급 간의 (선형) 상관관계를 결정하기 위해 R2 계수를 사용했으며, 일반적으로 전체 글로벌 등급이 높을수록 체크리스트 점수도 높을 것으로 예상했습니다. 이 R2 값으로부터 OSCE의 최소 합격 점수가 결정되었습니다. 경계선 등급은 시험관이 스테이션을 통과하기에는 성적이 부족하다고 생각하지만 명백하게 불합격하지는 않은 학생을 나타냅니다. 그런 다음 학생들의 체크리스트 점수와 글로벌 등급이 집계되었습니다. 그런 다음 시험관이 부여한 해당 글로벌 성적에 대해 스테이션 체크리스트 점수 집합을 회귀시켜 스테이션의 각 개별 합격 점수를 계산했습니다. 이 과정을 통해 합격 또는 불합격 점수가 도출되었습니다. 연구의 전체 절차는 그림 1에 흐름도로 나와 있습니다. 

Clinical scenarios and task-based checklists for each station were formulated by pharmacy practice faculty members, based on the learning outcomes of the module and the students’ level of learning. The test content was planned against the learning objectives through basic ‘blueprinting’. Based on the module outcomes and the task-based checklists, key competencies were identified and developed into a two-domain global rating scale, which generally represented the overall criteria in the checklists. For each domain a set of six-point scales were used to reflect high and low divisions (5, excellent pass; 4, satisfactory pass; 3, pass’ 2, borderline pass; 1, fail; 0, clear fail). Scores on the two individual domains were summed to create a ‘summed global rating’. Task-based checklist scores for individual stations were scored out of 14 marks. There were five active stations, and hence the total score of the task-based checklists was 70 marks. Therefore, a pass mark of 35 (arbitrarily 50% of 70) was kept as pass mark (Box 1). spss 18 was used to analyse the correlation between the task-based checklist scoring and the two-domain global rating scale by Pearson's correlation test. The level of significance was set at p < 0.05. The R2 coefficient was used to determine the degree of (linear) correlation between the checklist score and the global rating at each station, with the expectation that higher overall global ratings should generally correspond with higher checklist scores. From these R2 values the minimum pass mark for the OSCE was determined. The borderline grade represented students whose performances the examiner thought insufficient to pass the station, but equally who did not clearly fail. Following this, the students’ checklist scores and global ratings were gathered. Each individual pass mark for the station was then calculated by regressing the set of station checklist scores on the corresponding global grades given by the examiners. This process then derived the pass or fail score. The entire procedure of the study is given as a flow chart in Figure 1

 

 

다양한 분야의 교수진이 시험관으로 참여했습니다.
Faculty members from a variety of disciplines served as examiners

시험 결과
Results

총 164명의 응시자가 참여했으며, 이 중 126명이 여성, 38명이 남성이었습니다. 전체 글로벌 평가 점수의 신뢰도 계수(크론바흐 알파)는 모든 현역 스테이션에서 0.722~0.741로 체크리스트 점수(현역 스테이션의 항목별 0.601~0.686)보다 높은 값을 보였습니다. 과제 기반 체크리스트 점수와 두 가지 영역의 글로벌 평가 척도 간의 피어슨 상관관계는 중간 정도이며 유의미했습니다. 스테이션 7의 R2 계수가 0.479로 가장 높았고 스테이션 14의 계수가 0.241로 가장 낮았습니다(표 2). 총 14개 중 각각 5개의 활성 스테이션이 있었으므로 모든 활성 스테이션의 총 체크리스트 점수는 70점, 평균 점수는 52.5점이었습니다(표 3). 마찬가지로 전체 글로벌 등급의 평균 점수는 50점 만점에 29.7점이었습니다. 
There were 164 participating candidates, of which 126 were women and 38 were men. The reliability coefficient (Cronbach's alpha) for overall global rating scores showed a value ranging from 0.722 to 0.741 across all active stations, which was higher than the checklist scoring (0.601–0.686 across items for active stations). The Pearson's correlation between the task-based checklist scoring and the two-domain global rating scale were moderate and significant. A highest R2 coefficient of 0.479 was obtained for station 7, and the lowest value of 0.241 was obtained for station 14 (Table 2). There were total of five active stations, each marked out of 14, so the total possible checklist score for all active stations was 70, with the mean score of 52.5 (Table 3). Similarly, the mean score for the total global grade was 29.7 out of 50.

 

그림 2-6은 시험장 합격 점수에 대한 경계선 방법 계산을 개략적으로 보여 주며, 시험관의 체크리스트 점수를 시험관의 글로벌 등급 점수에 회귀시키는 선형 회귀 기법을 사용하여 각 활성 시험장의 합격 점수를 계산한 방법을 나타냅니다. 합격 점수는 경계선 평균에 1 표준 오차(0.67)를 더한 값의 합계였습니다: 44.9점 또는 64퍼센트. 
Figures 2-6 present the borderline method calculation for the station pass mark in schematic terms, indicating how the linear regression technique of the examiners’ checklist scores regressed on the examiners’ global rating scores was used to calculate the pass mark at each active station. The pass mark was the sum of the borderline means plus one standard error of measurement (0.67): 44.9 or 64 per cent.

두 척도 사이에는 유의미한 양의 상관관계가 있었습니다.
There was a significant positive correlation between the two scales

 

토론
Discussion

두 척도 간에는 유의미한 양의 상관관계가 있었지만, 7번 문항을 제외하고는 R2 값이 만족스럽지 않았습니다. 경계선 방식에 따른 OSCE의 합격 점수는 64%로 임의로 설정한 점수인 50%보다 높았습니다. 
There was a significant positive correlation between the two scales; however, the R2 value was not satisfactory, except for station 7. The pass mark for the OSCE according to the borderline method was 64 per cent, which is higher than the arbitrarily set mark of 50 per cent.

각 활성 스테이션의 합격 점수 차이는 작았지만, 14번 스테이션은 약물 상담 스테이션으로 합격 점수가 6.99/14에 불과하여 다른 활성 스테이션보다 낮았습니다(그림 2-6). 이는 종속 변수(체크리스트 점수)와 독립 변수(글로벌 등급) 사이에 반비례 관계가 있음을 분명히 나타냅니다.5
The variation in pass marks for each active station was small, except for station 14: it was a drug-counselling station, and the pass mark was only 6.99/14, which is lower than the other active stations (Figures 2-6). This clearly indicates an inverse proportionality between the dependent variable (checklist score) and the independent variable (global rating).5

일부 학생은 두 영역의 글로벌 등급에서 더 높은 점수를 받았지만 체크리스트 점수는 기대 수준에 미치지 못했습니다. 경계선 응시자의 점수가 이렇게 큰 차이를 보인다는 것은 시험관마다 체크리스트 또는 글로벌 등급 기준을 다르게 해석하고 있음을 시사하며, 시험관 표준화가 필요하다는 것을 나타냅니다. 체크리스트 점수와 글로벌 등급 사이의 불만족스러운 연관성은 대부분의 스테이션에서 볼 수 있으며, 이로 인해 어느 정도의 비선형성이 발생했습니다. 일부 스테이션에서는 경계선 이하로 평가된 학생 수가 더 많았으며, 이는 이러한 스테이션에 대한 평가가 필요하다는 것을 나타냅니다. 
Some students acquired higher marks from the two-domain global grade, but their checklist marks did not attain the expected level. This wide variation in marks for borderline candidates suggests that different examiners are interpreting the checklists or the global rating criteria differently, and indicates the need for examiner standardisation, which is challenging. This unsatisfactory association between checklist marks and global ratings can be seen in most of the stations, which has caused some degree of nonlinearity. Some stations had a greater number of students who were rated as borderline or below, which indicates that there is a need for an appraisal of these stations.

일부 스테이션의 R2 값이 낮았지만, 글로벌 평가 척도는 체크리스트의 전반적인 기준을 정확하게 나타내도록 설계되었습니다. 따라서 불만족스러운 상관관계는 심사자 간에 글로벌 등급 척도와 체크리스트의 표준화가 제대로 이루어지지 않았거나 글로벌 등급 시스템 사용법에 대한 이해가 부족하기 때문에 발생할 수 있습니다. 이 분석 과정을 통해 표준 설정에 대한 경계선 접근 방식이 실현 가능하고 평가 중에 사용할 수 있으며 다른 방법보다 훨씬 적은 시간이 필요하다는 것이 입증되었습니다. 그러나 여기서 확인된 문제점을 해결해야 하며, 스테이션 체크리스트의 표시 체계와 글로벌 등급 기준을 재평가해야 합니다. 향후 OSCE에서 표준 설정 절차를 구현하기 전에 이러한 문제를 해결하는 것이 중요합니다. 
Although the R2 value at some stations was low, the global rating scale was designed to represent the overall criteria of the checklists exactly. Hence, the unsatisfactory correlation may arise from the improper standardisation of the global scale and the checklist among examiners, or from a poor understanding of how to use the global rating system. The process of this analysis demonstrated that the borderline approach to standard setting is feasible and can be used during the assessment, thereby requiring much less time than the other methods. But the problems identified here must be addressed, and the marking schemes for the station checklists and criteria for the global rating should be reassessed. It is important to resolve these problems before implementing the standard setting procedure in future OSCEs.

여기서 확인된 문제점을 해결해야 합니다.
Problems identified here must be addressed

결론
Conclusions

글로벌 등급 척도를 사용하면 많은 이점이 있습니다. 글로벌 등급 척도는 체크리스트보다 다양한 수준의 숙련도를 더 잘 파악할 수 있고 시험관이 사용하기 쉽다는 증거가 있습니다. 이 연구는 두 영역의 글로벌 평가 척도가 OSCE의 틀에서 학생들의 능력을 평가하는 데 적합하다는 것을 확인시켜 줍니다. 두 영역 글로벌 평가 척도와 과제 기반 체크리스트 간의 강력한 관계는 두 영역 글로벌 평가 척도가 학생의 숙련도를 진정으로 평가하는 데 사용될 수 있다는 증거를 제공합니다.
The use of a global rating scale has numerous benefits. There is evidence that global rating scales capture diverse levels of proficiencies better than checklists, and are easy for examiners to use. This study confirms that the two-domain global rating scale is appropriate to assess the abilities of students in the framework of OSCEs. The strong relationship between the two-domain global rating scale and the task-based checklists provide evidence that the two-domain global rating scale can be used to genuinely assess students’ proficiencies.

두 영역 글로벌 평가 척도는 OSCE의 틀에서 학생의 능력을 평가하는 데 적합합니다.
The two-domain global rating scale is appropriate to assess the abilities of students in the framework of OSCEs

 


Clin Teach. 2014 Dec;11(7):551-6. doi: 10.1111/tct.12213.

Standard setting in OSCEs: a borderline approach

Affiliations collapse

Affiliation

1Department of Pharmacy Practice, International Medical University, Kuala Lumpur, Malaysia.

PMID: 25417986

DOI: 10.1111/tct.12213

Abstract

Background: The evaluation of clinical skills and competencies is a high-stakes process carrying significant consequences for the candidate. Hence, it is mandatory to have a robust method to justify the pass score in order to maintain a valid and reliable objective structured clinical examination (OSCE). The aim was to trial the borderline approach using the two-domain global rating scale for standard setting in the OSCE.

Methods: For each domain, a set of six-point (from 5 to 0) scales were used to reflect high and low divisions within the 'pass', 'borderline' and 'fail' categories. Scores on the two individual global scales were summed to create a 'summed global rating'. Similarly task-based checklists for individual stations were summed to get a total score. It is mandatory to have a robust method to justify the pass score in order to maintain a valid and reliable OSCE RESULTS: The Pearson's correlation between task-based checklist scoring and the two-domain global rating scale were moderate and significant. The highest R(2) coefficient of 0.479 was obtained for station 7, and the lowest R(2) value was 0.241 for station 14.

Discussion: There was a significant positive correlation between the two scales; however, the R(2) value was not satisfactory except for station 7. The pass mark for the OSCE according to the borderline method was 64 per cent, which is higher than the arbitrarily set pass mark of 50 per cent.

Conclusions: This study confirms that the two-domain global rating scale is appropriate to assess the abilities of students within the framework of an OSCE. The strong relationships between the two-domain global rating scale and task-based checklists provide evidence that the two-domain global rating scale can be used to genuinely assess students' proficiencies.

의과대학 선발: 여기서 어디로 가야 하는가? (AAMC)
Interviews in UME: Where Do We Go From Here?

2020년 이전에는 대부분의 의과대학에서 가상으로 입학 절차를 진행하는 것을 고려하지 않았을 것입니다. 하지만 세상이 바뀌면서 의과대학 교육(UME)이 도전에 나섰습니다. 혁신, 창의성, 열린 마음으로 학교는 가상 면접 형식을 효과적으로 채택할 수 있었습니다. 이제 코로나19 이후 시대에 교육기관은 각각 장단점이 있는 면접 형식 중에서 선택할 수 있습니다. 그렇다면 이제 어디로 가야 할까요? 
Before 2020, most medical schools wouldn’t have considered conducting their admissions process virtually. Then, the world changed, and undergraduate medical education (UME) rose to the challenge. With innovation, creativity, and open minds, schools were able to effectively adopt virtual interview formats. Now, in the post-COVID-19 era, institutions have a choice between interview formats that each have pros and cons. So where do we go from here?

AAMC는 의과대학이 가상 면접 형식을 사용하고, 가능하면 합격 후 방문 옵션을 제공할 것을 권장합니다.* 면접 비용을 줄이는 것은 접근성을 넓히고 형평성을 개선하는 데 중요한 단계이며, 설문조사에 따르면 지원자들은 가상 면접을 선호하며, 가상 면접은 환경에 미치는 영향을 줄이기 위한 노력과도 일치합니다. 
The AAMC recommends that medical schools use a virtual interview format and, when feasible, offer the option to visit after acceptance.* Reducing the cost of interviewing is a critical step in widening access and improving equity, our surveys indicate that applicants prefer virtual interviews, and virtual interviewing is consistent with our commitment to reduce environmental impact.

모든 의과대학은 고유한 사명, 목표, 맥락을 가지고 있으며, 따라서 정당한 이유에 따라 서로 다른 접근 방식을 취할 수 있습니다. 우리는 한 학교에 가장 적합한 방식이 다른 학교에는 적합하지 않을 수 있음을 잘 알고 있습니다. 각 교육기관은 고유한 맥락에서 면접 형식의 장단점을 평가하여 해당 학교에 가장 적합한 방식을 결정해야 합니다. 
Every medical school has their own unique mission, goals, and context, and thus may take different approaches for sound reasons. We recognize that what is best for one school may not be best for another. Each institution should evaluate the pros and cons of interview formats in their unique context to determine what is best for their school.

교육기관에 가장 적합한 면접 형식을 결정할 때 검토해야 할 5가지 주요 고려 사항을 요약했습니다. 표 1에는 한 형식을 다른 형식보다 선택하는 이유와 각 형식의 성공을 위한 단계가 요약되어 있습니다. 교육기관이 선택할 수 있는 모든 면접 형식을 지원하기 위해 지원자와 의과대학이 모두 사용할 수 있는 면접 리소스를 업데이트하기 위해 노력하고 있습니다. 
As you decide what interview format is best for your institution, we have summarized five key considerations for review. Table 1 summarizes reasons why you might choose one format over another and steps for success for each format. In support of all possible interview formats an institution may choose to conduct, we are working to update the interview resources available to applicants and medical schools alike.

*이 옵션은 TMDSAS 매치에 참여하는 교육기관에는 적용되지 않을 수 있습니다.
*This option may not be feasible for institutions that participate in a TMDSAS match. (Texas Medical & Dental Schools
Application Services)

주요 고려 사항 1: 의대 면접과 관련된 재정적 비용이 높습니다.
Key Consideration 1: The financial costs associated with interviewing for medical school are high.

지원자 설문조사에 따르면 면접과 관련된 비용은 지원 과정에서 비용이 많이 드는 부분입니다.1 지원자마다 상황은 다르지만 이러한 비용은 수백에서 수천 달러에 달할 수 있습니다. 최근 설문조사에서 의과 대학 지원자의 96%는 대면 면접에 비해 가상 면접을 통해 비용을 절감했다는 데 동의하거나 매우 동의했으며, 지원자의 85%는 가상 면접의 가장 큰 장점으로 재정적 영향 감소를 꼽았습니다. 재정적 제약은 지원자, 특히 사회경제적 배경이 낮은 학습자의 면접을 방해하는 장벽이 될 수 있습니다. 이러한 장벽은 가상 면접, 유연성이 필요한 지원자를 위한 하이브리드 옵션 또는 대면 면접에 대한 재정 지원 제공을 통해 완화할 수 있습니다. 
According to applicant surveys, the costs associated with interviewing are an expensive aspect of the application process.1 While every applicant’s situation is unique, these costs can range from hundreds to thousands of dollars. In our recent survey, 96% of medical school applicants agreed or strongly agreed that they saved money interviewing virtually compared to what they might have spent on in-person interviews, and 85% of applicants named reduced financial impact as the top advantage of interviewing virtually. Financial constraints can be a barrier that prevent applicants from interviewing, especially learners from lower socioeconomic backgrounds. This barrier can be mitigated through virtual interviews, a hybrid option for applicants who need flexibility, or offering financial support for in-person interviewing.

"가상 면접 형식은 축복과도 같았습니다. 재정적, 일정상의 이유로 참석하지 못했을 면접에 참석할 수 있었기 때문입니다. 덕분에 지원 절차가 더 공평해졌다고 생각합니다. 의대 지원뿐만 아니라 레지던트 지원에서도 모든 학교의 표준이 되어야 한다고 생각합니다."
“The virtual interview format was a blessing in disguise. I was able to attend interviews that I otherwise would not have been able to attend due to financial and scheduling reasons. This makes the application process more equitable in my opinion. I believe it should be a standard across all schools for not only medical school applications, but also residency applications.”

2023 AMCAS® applicant

주요 고려 사항 2: 의과대학, 교육 병원 및 의료 시스템, AAMC는 탄소 발자국을 줄이기 위해 노력해 왔습니다. 
Key Consideration 2: Medical schools, teaching hospitals and health systems, and the AAMC have made commitments to reduce their carbon footprints. 

의료 부문은 미국 온실가스 배출량의 8~10%2, 전 세계 온실가스 배출량의 4분의 1을 담당하고 있습니다. 전 세계인의 건강 증진을 사명으로 하는 학술 의학은 21세기 최대의 건강 위협인 기후 위기에 큰 기여를 하고 있으며, 따라서 기후 위기 해결에 중요한 역할을 담당하고 있습니다. 
The health care sector is responsible for 8%-10% of greenhouse gas (GHG) emissions in the United States2 and a quarter of all global GHG emissions. Academic medicine, whose mission is to improve the health of people everywhere, makes a major contribution to the climate crisis — the greatest health threat of the 21st century — and therefore has an important role to play in resolving it.

가상 인터뷰 옵션을 늘리면 학계가 커뮤니티의 탄소 발자국을 줄임으로써 지속 가능성에 집중할 수 있는 기회를 제공합니다. 초기 연구2,3에 따르면 가상 면접은 학술 의학이 기후에 미치는 영향을 줄일 수 있는 잠재력을 가지고 있습니다. 
Increasing options for virtual interviews offers the opportunity for academic medicine to focus on sustainability by reducing our community’s carbon footprint. Early studies2,3 support that virtual interviews have the potential to reduce the climate impact of academic medicine.

"온라인/가상 형식으로 면접을 진행하게 되어 재정적, 환경적으로 비용을 절감할 수 있어서 정말 감사하게 생각합니다. 전 세계에 대한 탄소 배출 관련 기여를 줄이기 위해 가능한 한 가상 행사로 전환함으로써 세계와 경제에 더 많은 혜택을 줄 수 있다고 믿습니다."
“I truly appreciated the interview format commencing through an online/virtual format because I was grateful for the reduced cost — financially and environmentally speaking. I believe that the world and economy can benefit more — so long as it's done right — from transitioning into virtual events as much as possible to mitigate some of our carbon emission-related contributions to the world.”

2023 AMCAS applicant

주요 고려사항 3: 대부분의 지원자가 가상 면접을 선호합니다.
Key Consideration 3: Most applicants prefer virtual interviews.

의과대학 지원자를 대상으로 한 설문조사에 따르면 지원자의 90%가 가상 면접 또는 가상 면접 형식을 선호했습니다. 응답자들은 가상 면접의 3대 장점으로 재정적 영향 감소, 이동 시간 단축, 일정 유연성을 꼽았습니다. 포커스 그룹에서는 의과대학과 레지던트 지원자 모두 가상 면접이 이동 시간과 비용을 줄여주기 때문에 선호되는 형식이라고 강조했습니다. 
Our survey of medical school applicants showed that 90% of applicants preferred virtual or the option of virtual interview format. Respondents named reduced financial impact, reduced travel time, and scheduling flexibility as the top three advantages of interviewing virtually. In focus groups, both medical school and residency applicants emphasized that virtual interviews reduced travel time and cost and therefore were considered the favorable format.

"가상 면접을 쉽게 일정조율할 수 있다는 점과 이 방식의 재정적 효과는 학생들이 가상 환경에서 놓치는 것보다 훨씬 더 큽니다. 면접은 원격으로 진행하되 '세컨드 룩 위크엔드'는 직접 대면하는 모델은 합격한 학생들이 캠퍼스를 직접 방문하는 데 필요한 투자로부터 가장 큰 혜택을 볼 수 있기 때문에 합리적입니다. 전반적으로 이 방식은 학생들에게 더 공평하고 재정적 장벽을 낮추기 때문에 앞으로도 계속 유지되어야 한다고 생각합니다."
“The ease with which virtual interviews can be scheduled and the financial implications of this modality far outweigh what the students miss in the virtual environment. A model in which interviews are remote but "Second Look Weekends" are in-person makes sense since accepted students may benefit most from the investment necessary to physically visit the campus. Overall, I believe this modality should remain in the future, as it seems more equitable for students and reduces financial barriers.”

2023 AMCAS applicant

주요 고려사항 4: 대면 면접과 관련된 이동으로 인해 학교, 직장 및/또는 기타 약속을 떠나 보내는 시간은 지원자가 감당하기에는 지나친 부담입니다.
Key Consideration 4: Time spent away from school, work, and/or other commitments due to travel associated with in-person interviews is an undue burden for applicants to bear.

면접은 재정적으로 부담이 될 뿐만 아니라 선발 과정에서 시간이 많이 소요되는 부분입니다. 대면 면접과 관련된 이동은 다양한 수준의 스트레스를 수반하는 부담이며, 지원자의 사회경제적 지위, 가족 구조, 소셜 네트워크 등에 따라 지원자가 이용할 수 있는 기회를 제한할 가능성이 있습니다.
In addition to being financially taxing, interviewing is notably a time-consuming part of the selection process. Travel associated with in-person interviews is a burden with varying levels of stress and has the potential to limit the opportunities available to applicants depending on their socioeconomic status, family structures, social networks, etc.

"저소득층 1세대 학생으로서 가상으로 면접을 볼 수 있다는 것은 저에게 큰 도움이 되었습니다. 며칠씩 휴가를 내거나 숙박비로 과도한 비용을 지출할 필요가 없었죠."
“As a low-income first-generation student, being able to interview virtually was a big help to me. I did not have to take multiple days off work and spend an excessive amount of money on accommodations.”

2023 AMCAS applicant

주요 고려사항 5: 평가와 채용 노력을 분리하는 것은 지원자가 선호하는 방법이자 면접 평가의 편향성 위험을 완화하는 중요한 단계입니다.
Key Consideration 5: Separating assessment and recruitment efforts is both an applicant preference and an important step to mitigating the risk of bias in interview ratings.

인터뷰에 초대된 AMCAS 지원자를 대상으로 한 설문조사에서 지원자들은 의과대학과 해당 커뮤니티를 방문하여 문화와 적합성을 이해하고 평가하고 싶다고 답했습니다. 의과대학 역시 같은 이유로 지원자들을 캠퍼스와 커뮤니티로 초대하고 싶어한다는 것을 알고 있습니다. 그러나 지원자들은 합격이 결정된 후 관심 있는 의과대학을 방문함으로써 문화와 적합성을 합리적으로 평가할 수 있다고 언급했습니다.
In our survey of AMCAS applicants invited to interview, applicants expressed that they do want to visit medical schools and their communities to understand and appreciate culture and fit. And we know that medical schools wish to welcome applicants to their campuses and communities for the same reasons. However, applicants noted that they could reasonably assess culture and fit by visiting medical schools of interest after acceptance is offered.

모범 사례로, 면접과 같은 평가 활동은 학교의 채용 노력과 별도로 진행하여 면접 이외의 상호작용이 면접 평가에 편견이나 관련 없는 정보를 도입하지 않도록 해야 합니다.
As a best practice, assessment activities, such as the interview, should be conducted separately from a school’s recruitment efforts to ensure that interactions outside the interview do not introduce bias or irrelevant information into your interview evaluation.

합격 후 제공되는 선택적 대면 행사의 경우, 대면 행사의 접근성을 높이기 위해 교육기관에서 학비 지원 프로그램 수혜자에게 여행 및 숙박 비용을 상쇄할 수 있는 장학금을 제공할 수 있는지 고려하는 것이 좋습니다.
For optional in-person events offered after acceptance, we suggest considering whether your institution can offer stipends to Fee Assistance Program recipients to offset the cost of travel and accommodations, to make in-person events more accessible.

"의대에 지원하는 데 드는 재정적 부담은 일부 학생들에게는 큰 장애물이 될 수 있습니다. 가상 형식이 제공되지 않았다면 저는 많은 면접에 참여할 수 없었을 것이고, 결국 합격의 기회도 제한되었을 것입니다. 가상 형식을 통해 프로그램 문화와 환경을 판단하는 데 더 어려움을 겪었지만, 방문일(상위 몇 명의 합격자)에 선택적으로 참석할 수 있었기 때문에 나중에 결정을 내리는 데 도움이 되었습니다."
“The financial burden of applying to medical school can be a great obstacle for some. I would not have been able to participate in as many interviews (in turn limiting my opportunities for acceptance), if it had not been for the virtual format provided. Even though I had a harder time determining the program culture and environment through the virtual format, I was able to selectively attend visit days (top few acceptances) to help me make that decision later on in the cycle.”

2023 AMCAS applicant

표 1. 특정 면접 형식을 다른 형식보다 선택하는 이유와 각 형식별 성공 단계.
Table 1. Reasons you might choose one interview format over another and steps to success for each.

Interview Format Reasons You Might Choose an Interview Format Steps to Success
Virtual Only
  • Many applicants are out-of-state or require travel.
  • Commitment to reducing carbon footprint. 
  • Flexibility in scheduling. 
  • Offer virtual recruiting activities to all applicants.
  • Offer in-person visit days for accepted applicants only.†
  • Develop technology standards and training for faculty conducting virtual interviews.
Hybrid (i.e., an applicant can select either in-person or virtual interviews)
  • Mix of local and out-of-state applicant pool.
  • Need to showcase less well-known or rural area.
  • Flexibility in scheduling.
  • Gives applicants and faculty choice.
  • Implement policies, procedures, and interviewer training to ensure standardization across formats and to mitigate risk of bias.
  • Ensure admissions/selection committees are blinded to interview format.
  • Inform applicants about steps taken to make the hybrid approach equitable.
  • Offer virtual recruiting activities to all applicants.
  • Offer in-person visit day for accepted applicants only.†
In-Person Only
  • Most applicants are not out-of-state or do not require extended travel plans.
  • Limited financial resources to purchase virtual interview software.
  • Need to showcase less well-known or rural area.
  • Offer financial support to Fee Assistance Program or other applicants who need it for travel.

†This option may not be feasible for medical schools that participate in a TMDSAS match.

 

출처: https://www.aamc.org/about-us/mission-areas/medical-education/interviews-ume-where-do-we-go-here

혁신 - 의학교육원고의 핵심 특징 정의하기 (J Grad Med Educ. 2022)
Innovation—Defining Key Features for Medical Education Manuscripts
Arianne ‘‘Cuff’’ Baker, MD (@CuffBaker)
Halah Ibrahim, MD, MEHP (@HalahIbrahimMD)
Deborah Simpson, PhD (@debsimpson3)

레지던트 프로그램에 구현된 새로운 피드백 기법을 설명하는 원고에 대한 저널로부터 거부 이메일을 받았습니다. 실망한 당신은 혁신 원고에 대한 제출 지침을 검토한다. 작성자 지침에서 요청한 대로, 원고에는 새로운 접근 방식이 불충분한 피드백의 문제를 어떻게 해결하는지, 거주자와 교수진이 이 접근 방식을 중시했는지에 대한 데이터, 그리고 개입을 수행하는 데 필요한 시간과 자료가 포함되어 있다. 편집자의 거부 설명은 "피드백은 필수적이고 도전적이지만, 이 접근법에 대해 혁신적이고 새로운 것이 무엇인지는 불분명하다"고 말한다. 아이디어를 출판하기에 충분히 참신하거나 혁신적으로 만드는 것은 무엇인가? 
You have just received a rejection email from a journal about your manuscript describing a new feedback technique implemented in your residency program. Disappointed, you review the submission guidelines for innovation manuscripts. As requested in the author instructions, the manuscript includes information on how the new approach addresses the problem of inadequate feedback, data on whether residents and faculty valued this approach, and the time and materials required to carry out the intervention. The editor's rejection explanation states, “While feedback is vital and challenging, it is unclear what is innovative or novel about this approach.” You wonder, what makes an idea sufficiently novel or innovative enough for publication?

혁신이나 새로움 등의 용어는 의학 교육에서 자주 사용되지만, 그 의미를 명확히 하는 것은 그들의 작품을 출판하려는 작가들과 원고를 평가하는 저널 리뷰어들을 지원할 수 있다. 고품질 혁신은 우리 분야를 발전시킬 수 있습니다. 새로운 아이디어는 "아이디어, 트렌드 또는 사회적 행동이 문턱을 넘어서고, 팁을 주고, 들불처럼 퍼지는 마법의 순간"을 촉발시킬 수 있다. 

Though the terms innovation, novel, and new are used often in medical education, clarifying their meaning could support authors seeking to publish their work and journal reviewers evaluating manuscripts. High-quality innovations can drive our field forward. A new idea may precipitate a tipping point, “that magic moment when an idea, trend, or social behavior crosses a threshold, tips, and spreads like wildfire.”1 

많은 저널들이 의학 교육의 혁신을 발표하는데, 각각 특정한 제출 범주 및 포함 기준을 가지고 있지만, 구조와 세부 사항에는 상당한 차이가 있다. 보건 전문 교육 저널에 게재된 의료 교육 혁신에 대한 최근 체계적인 개요에서, 감사된 39개의 혁신 기사 중 90% 이상(13개의 의료 교육 저널에서 각각 3개씩)에 오직 2개의 특징만 존재했다. 혁신 보고서는 문제를 기술하고 혁신의 실제 또는 권장 구현을 기술했다. 
Many journals publish innovations in medical education, each with specific submission categories and inclusion criteria,2  but there is considerable variation in structure and details. In a recent systematic overview of published medical education innovations in health professional education journals, only 2 features were present in more than 90% of the 39 innovation articles audited (3 each from 13 medical education journals):

  • the innovation report
    • described a problem and
    • described the actual or recommended implementation of the innovation.3 

이 개요의 출판에 앞서, 우리는 의학 교육에 관한 원고를 게재하는 50개 이상의 저널에 대한 저자 지침을 분석하였다.  범주 제목이나 저자 지침에서 새로운, 참신함, 혁신성, 혁신성 또는 첨단성과 같은 용어를 사용한 언어를 찾았습니다. 우리 결과요? 많은 저널이 저자 지침에서 혁신적이거나 참신한 용어를 사용했지만, 절반 미만이 혁신을 위한 특정 범주를 포함했으며 단어 한계, 구조 및 지침(표)에서 상당한 가변성을 보였다.
Prior to the publication of this overview, we analyzed the author instructions for more than 50 journals that publish manuscripts on medical education.4  We looked for any language in the category title or author instructions that used terms such as new, novel, innovation, innovative, or leading/cutting-edge. Our results? Although many journals used the terms innovative or novel in the author instructions, fewer than half included specific categories for innovation, with substantial variability in word limits, structure, and guidelines (Table).

의료 교육의 혁신 정의
Defining Innovation in Medical Education

모든 저널에서 일관되게 사용되는 혁신에 대한 공유된 이해를 갖는 것은 저자와 검토자가 원고를 평가할 때 지침을 줄 것이다. JGME(Journal of Graduate Medical Education)의 경우, [혁신]은 [실현 가능성] 및 [지속 가능성]을 포함하여 [성공 및 일반화 가능성]에 대한 데이터와 함께, 다른 [사람들이 관심]을 가질 수 있는, 대학원 의학 교육의 [기존 문제에 대한 새로운 해결책]을 제시한다. 새로운 아이디어는 화려함 그 이상이다. 그들은 다른 사람들이 현실적으로 채택할 수 있는 방법으로 실제 문제를 해결할 수 있는 잠재력을 가지고 있어야 한다.
Having a shared understanding of innovation, one that is consistently used across all journals, would guide authors and reviewers in their assessments of manuscripts. For the Journal of Graduate Medical Education (JGME), innovations present a new solution to an existing problem in graduate medical education, of interest to others, with data on success and generalizability, including feasibility and sustainability. New ideas are more than something flashy; they should have the potential to solve real problems in ways that others might realistically be able to adopt.

혁신은 새로운 인구 또는 환경에서 [기존 작업의 수정]만이 아니라, [문제 해결에 대한 새로운 아이디어 또는 접근 방식]을 입증해야 한다. 예를 들어, 새로운 의사소통 모델을 설명하는 피드백 기술은 참신할 수 있다. 동일한 기법에 대한 약간의 개선 또는 다른 훈련생 그룹(예: 레지던트 대 펠로우, 수술 대 내과 레지던트)과 함께 사용하는 것은 중요한 복제 연구일 수 있지만 더 이상 혁신이 아니다. 새로운 기술은 흥미로울 수 있지만, 프로젝트에서 그 역할이 단순히 이전의 논문 기반 작업을 복제하는 것이라면, 그것은 아마도 새로운 해결책을 나타내지 않을 것이다.

Innovations must demonstrate new ideas or approaches to solving a problem, not just modifications of previous work in a new population or environment. For example, a feedback technique that describes a new communication model may be novel. Slight improvements to the same technique, or using it with a different group of trainees (eg, residents vs fellows; surgery vs internal medicine residents), may be an important replication study, but it is no longer an innovation. A new technology may be exciting, but if its role in a project simply duplicates prior paper-based work, it probably does not represent a novel solution.

고품질 혁신 원고의 특징은 전형적인 연구 논문의 특징과 겹친다. 그들은 원래의 연구 논문들이 보통 큰 표본 크기, 엄격한 방법론, 표준 측정 기구, 그리고 통계 분석을 필요로 한다는 점에서 다르다. 교육 혁신은 더 작은 표본 크기, 단일 사이트 또는 특수 설정 또는 더 짧은 연구 시간으로 더 제한적인 결과를 가질 수 있다. 혁신 원고는 혁신이 어떻게 새로운 방식으로 문제를 해결하고, 이해관계자들에게 가치와 수용성을 보여주며, 실현 가능하고 지속 가능하며 다른 사람들과 관련이 있는지를 강조해야 한다.
The characteristics of high-quality innovation manuscripts overlap with those of typical research articles. They differ in that original research papers usually require large sample sizes, rigorous methodology, standard measurement instruments, and statistical analysis. Education innovations may have more limited outcomes with smaller sample sizes, single site or specialty settings, or shorter time of study. Innovation manuscripts should emphasize how the innovation solves a problem in a new way, shows value and acceptability to stakeholders, and is feasible, sustainable, and relevant to others.

우리의 분석에 기초하여, 우리는 의료 교육 관련 혁신 원고의 작성과 검토에서 고려해야 할 6가지 공통 특징을 제안한다(그림 참조).
Based on our analysis, we propose 6 common features to be considered in the writing and reviewing of any medical education–related innovation manuscript (see the Figure).

혁신원고 작성 및 검토에 관한 연구
An Approach to Writing and Reviewing Innovation Manuscripts

  1. 필요성: 저자는 혁신이 다루는 문제를 설명하고 의료 교육계에 그 중요성을 설명해야 한다. 연구 기사가 문헌의 격차를 해소하는 것처럼, 혁신은 의학 교육자들이 직면한 문제를 해결해야 한다. 신규성 요인이 실제 필요성 평가에서 주의를 분산시킬 수 있기 때문에 저자는 이 단계를 간과할 수 있다.
    Need:
     Authors should describe the problem that the innovation addresses and explain its importance to the medical education community. Just as research articles address a gap in the literature, innovations must address a problem faced by medical educators. Authors can overlook this step, as the novelty factor may distract from a true needs assessment.
  2. 문헌 검토: 여느 학술적 저작과 마찬가지로 문학평론도 매우 중요하다. 교육자들은 그들의 혁신이 기존 문헌에 어떻게 들어맞는지 탐구해야 한다. 개인적인 경험을 통해, 우리는 이미 수행된 것을 검토하기 전에 새롭고 흥미로운 아이디어가 우리를 행동으로 이끌 수 있다는 것을 알고 있으며, 따라서 이전 보고서를 바탕으로 작업을 강화할 기회를 놓치고 있다.
    Literature Review: As with any scholarly work, a literature review is crucial. Educators should explore how their innovation fits into the existing literature. Through personal experience, we know that a new and exciting idea may propel us into action before we have reviewed what has already been done, thus missing the opportunity for strengthening our work by building upon prior reports.
  3. 데이터 = 가치: (정성적 방법 또는 정량적 방법에서 도출된) 증거가 모든 연구 및 혁신 기사의 핵심입니다. 특히 기술혁신의 경우, 새로운 접근법이 문제를 해결하고 기존 또는 과거의 접근법에 가치를 추가합니까? 데이터에는 수용성이 포함되어야 한다: 학습자, 교사 및 기타 관련 이해관계자 관점. 혁신이 효과적인 것처럼 보이지만 참가자들이 그것을 싫어한다면, 그것은 지속가능하지 않을 것이다.
    Data = Value:
     Evidence, whether derived from qualitative or quantitative methods, is key for all research and innovation articles. For innovations in particular, does the new approach solve the problem and add value to existing or past approaches? Data should include acceptability: learner, teacher, and other relevant stakeholder perspectives. If an innovation appears effective but participants hate it, it is unlikely to be sustainable.
  4. 다른 사람들에게 관심: 의료 교육에서 다른 사람들에게 관심 있는 프로젝트는 관행을 바꾸거나 학문을 발전시킬 수 있는 잠재력을 가지고 있다.
    Interest to Others:
     Projects that are of interest to others in medical education have the potential to change practice or move a discipline forward.
  5. 일반화 가능: 만약 혁신이 하나의 지역적 환경에서만 활용될 수 있다면, 그것은 다른 것에 대한 제한된 가치를 갖는다. 예를 들어, 저자는 한 전문 분야에서 새로운 외과적 절차를 시뮬레이션하는 것이 다른 절차 지향적 전문 분야에 어떻게 적용되는지를 다루어야 한다.
    Generalizable:
     If the innovation can be utilized in only one local setting, it has limited value to others. For example, authors should address how simulating a novel surgical procedure in one specialty is applicable to other procedure-oriented specialties.
  6. 실현 가능 및 지속 가능: 혁신은 실현 가능하지 않다면 지속될 가능성이 적다. 상당한 시간, 인력 또는 비용이 필요한 혁신은 시간이 지남에 따라 자원 요구가 감소하지 않는 한 다른 기술로는 불가능할 수 있습니다. 구체적인 자원 지출을 보고하는 것은 새로운 아이디어의 실현 가능성을 평가하는 데 매우 중요하다.
    Feasible and Sustainable:
     Innovations are less likely to last if they are not feasible. An innovation that requires significant time, human resources, or costs may be out of reach for others unless the resource needs decrease over time. Reporting specific resources expenditures is crucial for evaluating the feasibility of a new idea.

이러한 기능은 출판 가치가 있는 혁신 원고를 작성하는 데 도움이 될 것입니다. JGME에는 의학 교육에 대한 새로운 아이디어를 명시적으로 요구하는 두 가지 기사 범주가 있습니다. 교육 혁신 및 간략한 보고서. 우리는 또한 매년 새로운 아이디어(<600단어)를 출판한다. 위에 나열된 6가지 기능을 사용하여 혁신 관련 제출 지침 및 검토 지침을 강화할 것입니다. 의학교육학자로서, 우리는 또한 이러한 권고안을 혁신 작업과 글쓰기를 지도하는 데 사용할 것이며, 그 분야를 발전시킬 다음 분기점을 찾을 것이다.
These features should guide you in writing a publication-worthy innovation manuscript. At JGME we have 2 article categories that explicitly call for novel ideas in medical education: Educational Innovation and Brief Report. We also publish an annual collection of New Ideas (<600 words). We will be using the 6 features listed above to strengthen our innovation-related submission instructions and reviewer guidelines. As medical education scholars, we will also use these recommendations to guide our innovation work and writing as we seek to find the next tipping point to advance the field.

 

 


J Grad Med Educ. 2022 Apr;14(2):133-135. doi: 10.4300/JGME-D-22-00071.1. Epub 2022 Apr 14.

Innovation-Defining Key Features for Medical Education Manuscripts

Affiliations collapse

Affiliations

1is a Pediatric Emergency Medicine Fellow, Boston Children's Hospital, and a Resident Editor, Journal of Graduate Medical Education (JGME).

2is Assistant Dean for Learning Communities and Associate Professor of Medicine, Khalifa University College of Medicine and Health Sciences, Abu Dhabi, United Arab Emirates, and Associate Editor, JGME.

3is Director of Education-Academic Affairs Advocate Aurora Health, Adjunct Clinical Professor of Family Medicine, University of Wisconsin School of Medicine and Public Health and Medical College of Wisconsin, and Deputy Editor, JGME.

PMID: 35463170

PMCID: PMC9017250 (available on 2023-04-01)

DOI: 10.4300/JGME-D-22-00071.1

질적연구를 할 때 성찰성적(reflexive)으로 하는 방법(Clin Teach. 2020)
How to ... be reflexive when conducting qualitative research
Aileen Barrett1 , Anu Kajamaa2 and Jenny Johnston3

 

 

서론
Introduction

위의 반사적 진술은 이 일련의 '어떻게…' 기사의 저자로서 우리의 위치를 설명합니다. 우리의 관점에서 반사적인 것은 무엇보다도 질적인 연구와 임상 실습의 질을 향상시키는 중요한 과정이다. 연구의 신뢰도를 높이고, 신뢰도, 신뢰성, 이전성, 확인성 등 출판의 5가지 품질 기준 중 하나로 꼽힌다. 이 기사에서는 반사 및 반사성의 개념을 살펴보고, 연구자 및 임상의로서 연구 과정을 살펴보고 반사성이 연구와 실천의 질에 미치는 영향을 고려할 수 있는 방법에 초점을 맞출 것이다.
The reflexive statement above describes where we are positioned as authors of this series of ‘How to …’ articles. Being reflexive is, from our perspective, first and foremost a critical process for enhancing the quality of qualitative research and clinical practice. It enhances the trustworthiness of the study and is considered one of five quality criteria for publishing, including credibility, dependability, transferability and confirmability.1 In this article, we will explore the concepts of reflection and reflexivity, and focus on how you as a researcher and a clinician can examine your research process and consider the impact of reflexivity on the quality of your research and practice.

성찰인가, 성찰성인가?
Reflection or reflexivity?

[성찰]은 교육 문헌, 조직적 학습과 변화, 그리고 건강 관리에서 흔히 언급되는 개념이다. 미국의 교육개혁가 존 듀이는 성찰을 '성찰을 뒷받침하는 근거와 그 근거가 되는 추가적인 결론에 비추어 어떤 신념이나 가정된 형태의 지식에 대한 적극적이고 지속적이며 신중한 고려'라고 정의했다. 반성을 통해, practitioner은 실천의 반복적인 경험에 대한 암묵적인 이해를 재고하도록 장려되고, 상황에 대한 새로운 감각을 만들 수 있으며, 이는 결국 그들이 새로운 경험을 얻을 수 있게 한다.
Reflection is a common concept in educational literature, organisational learning and change, and in health care. John Dewey, an American educational reformer, defined reflection as ‘active, persistent and careful consideration of any belief or supposed form of knowledge in the light of the grounds that support it, and the further conclusions to which it tends’.2 Through reflection practitioners are encouraged to rethink their tacit understanding of the repetitive experiences of a practice, and can make new sense of situations, which in turn may allow them to gain new experience.3

쇤의 행동과 성찰의 세 가지 수준은 의료 전문가들에게 친숙하다.
Schön's three levels of action and reflection are familiar to health care professionals:3, 4

  • '행동 중의 앎'은 직관적으로 행하는 실무자를 나타낸다.
  • '행동 중 성찰'은 무언가를 하는 때에 실천(함doing)의 변화 과정과 실천에 대한 성찰이다.
  • '행동 후 성찰'은 소급적 과정입니다. 우리는 실천 밖에 서서 강점과 개발 영역을 검토합니다.
  • ‘knowing in action’ represents the intuitively acting practitioner;
  • ‘reflecting in action’ is a change process of practising (doing) and reflecting upon practice when doing it; and
  • ‘reflection on action’ is a retrospective process – we stand outside our practice and review it for strengths and areas for development.

의식적으로, 집단적 성찰은 직장에서 발전과 학습의 필수적인 부분이며, 임상 작업장과 연구 맥락 모두에서 업무의 공동 구축과 재구성의 일부로 볼 수 있다. 성찰은 언제나 [일이 일어나는 맥락]과 관련하여 고려된다는 것을 강조할 가치가 있다.
Conscious, collective reflection is a necessary part of development and learning at work5 and can be seen as part of the co-construction and re-construction of work,6 both in clinical workplaces and in research contexts. It is worth emphasising that reflection is always considered in relation to the context in which the work takes place.6, 7

그러나 [반사성]은 우리가 다른 사람들과 교류하고 경험에 대해 이야기할 때, [우리의 이해와 사회적 현실을 지속적으로 구성(그리고 전환)하기 위한 반성을 포함하는 지속적인 과정]이다. [반사성]은 우리의 [태도, 가정, 관점 및 역할]에 대해 [질문하고, 검토하고, 수용하고, 명확히 하는] 이 [연속적인 과정]을 통해 현상에 도전한다.
Reflexivity, however, is an ongoing process that involves reflection to continuously construct (and shift) our understanding and social realities as we interact with others and talk about experience.8 Reflexivity challenges the status quo through this continuous process of questioning, examining, accepting and articulating our attitudes, assumptions, perspectives and roles.9

반성의 개념은 종종 '반사성'의 개념과 동의어로 사용된다. 그러나 반사성은 실제로는 [성찰(그리고 그 결과, 즉 그 반사의 결과로 발생하는 정의된 행동)과 재귀성]의 조합이며, 여기서 우리는 맥락 속에서 그 결과를 고려한다. 예를 들어, 우리는 설정, 조치를 수행하는 사람들, 그리고 팀 역학이 연구 결과를 형성하는 방법을 고려한다. 

The notion of reflection is often used synonymously with the concept of ‘reflexivity’; however, reflexivity is actually a combination of reflection (and its outcome, i.e. a defined action that comes about as a result of that reflection) and recursivity, where we consider those outcomes in context. For example, we consider the setting, those performing the action and how team dynamics shape the outcomes of a research study.6, 10

무엇을 반사적으로 생각해야 할까요?
What should i be reflexive about?

연구는 항상 연구과정 전반에 관련된 요소들과 이러한 맥락에서 연구자의 입장과 영향력을 포함하여 많은 요소들에 의해 영향을 받는다. 이러한 [영향과 가정]의 [의도된 결과와 의도하지 않은 결과]와 함께, 이를 [명시적으로 설명하는 것]은 연구 과정에 대한 [숙고적이고 반사적인considered and reflexive 접근법]의 특징이다. 정량적 연구에서 그러한 영향은 때때로 [편향]이라고 불린다. 질적 연구에서, 우리는 biases가 [반사적으로 연구에 포함되는 한 그것을 환영]한다. 모든 연구자는 다음과 같은 의제agenda를 제시합니다. 즉, 답해야 할 연구 질문을 말한다. 당신이 이것을 어떻게 하기로 선택했는지와 당신이 사용하는 방법은 당신이 지식과 세상을 보는 방식과 크게 관련이 있다.

  • 당신은 하나의 현실(실증주의)이 존재하는 상황의 '진실'을 찾기 위해 연구가 필요하다고 느끼는가,
  • 아니면 현실과 사람들의 경험의 상대적인 회색 영역 안에서 살 수 있는가?

후자의 경우, [사회적 구성주의]는 지식이 다른 문화적, 역사적 맥락 안에서 다르게 '구성'된다는 것을 인정한다.
Research is always influenced by a number of factors, including those related to the research process as a whole and the researcher's position and influence in this context. Explicitly describing this, along with the intended and unintended consequences of these influences and assumptions, is the mark of a considered and reflexive approach to the research process. In quantitative research, such influences are sometimes labelled biases; in qualitative research, we welcome them so long as they are reflexively included in the research. Every researcher sets out with an agenda: that is, a research question that needs to be answered. How you choose to go about this and the methods you use are to a large extent related how you view knowledge and the world.

  • Do you feel that research is needed to find the ‘truth’ of a situation, in which there is one reality (positivism),
  • or can you live within a grey area in which reality is relative to the experiences of a group of people?

In the latter case, social constructivism acknowledges that knowledge is ‘constructed’ differently within different cultural and historical contexts.11

[위치Position]는 연구 참여자 또는 연구 맥락과 관련된 연구자의 위치position를 말한다. 예를 들어, 당신이 어떤 현상에 대한 GP 연수생의 관점을 탐구하는 일반의(GP) 연수생(등록관 또는 거주자)이고, 이것이 당신이 직접 경험한 것이라면, 당신은 '내부 연구자'로 간주될 것이다. 그러나 동일한 현상에 대한 자격을 갖춘 GP의 관점을 탐구하는 GP 훈련생으로서, 당신은 '외부자' 연구원이지만, 예를 들어, 비의료 연구자보다 그 현상이 경험하는 맥락을 더 깊이 이해한다. 특정 현상과 그 현상에 대한 심오한 이해가 연구의 이론적 부분과 경험적 부분을 연결하는데 장점이 될 수 있기 때문에 이러한 내부자 입장은 진정한 강점이 될 수 있다. 연구 그룹의 참가자들과 임상의들은 또한 다른 입장을 가질 수 있다. 질적 연구에서, 우리는 이러한 다양한 목소리를 인식하고 환영하며, 종종 우리의 연구에서 그들이 들을 수 있도록 돕기 위해 열심히 노력한다.
Position refers to the researcher's position relative to the research participants or the research context.12 For example, if you are a general practitioner (GP) trainee (registrar or resident) exploring GP trainees’ perspectives on a phenomenon, and this is something that you have experienced yourself, you would be considered an ‘insider researcher’. As a GP trainee exploring qualified GPs’ perspectives on the same phenomenon, however, you are an ‘outsider’ researcher, but with a deeper understanding of the context in which the phenomenon is experienced than, for example, a non-medical researcher. This insider position can be a real strength, as profound understanding of a particular phenomenon and the context in which it occurs can be an advantage in connecting the theoretical and the empirical parts of the study. The participants of a research group and clinicians may also have different positions. In qualitative research, we recognise and welcome this multiplicity of voices, and often work hard to help them to be heard in our research.

왜 특정 연구문제와 이론적 렌즈, 그리고 이와 관련된 방법들을 선택했는지 되돌아보는 것도 중요하다. 당신은 당신의 학문적 훈련을 바탕으로 이 주제에 대해 확실한 견해를 가지고 있습니까? 기본 원칙으로서, 우리의 [기본 가정]은 항상 우리의 [입장]을 명확히 하는 일부로서 [독자에게 설명]되어야 한다. 만약 우리가 특정한 이론을 사용하고 있다면(교육 연구에서 이론으로 시작하는 방법에 대한 우리의 이전 기사를 참조하라) 우리는 이것을 간단한 용어로 소개할 필요가 있다. 렌즈와 위치가 다르면 데이터 세트, 분석 절차, 결과에 대한 해석도 달라진다. 또한, 독자는 해석이라는 또 다른 레이어를 추가할 것이다. '최종 제품'을 출판하는 것은 실제로 또 다른 대화의 시작에 불과하다. 이것은 임상 연구에서와 마찬가지로 [환자와 대중의 참여]가 의학 교육에서 동등하게 중요한 한 가지 중요한 이유이다. 
It is also important to reflect on why you've chosen a particular research question, theoretical lens and its associated methods. Do you have a certain view on this topic based on your academic training? As a ground rule, our underlying assumptions should always be explicated to the reader, as part of making our position clear. If we are using a particular theory (see our previous article on how to get started with theory in education research) then we need to introduce this in simple terms.13 Different lenses and positions will give different sets of data, different analytical procedures and different interpretations of results. Additionally, the reader will add another layer of interpretation; publishing the ‘final product’ is really just the start of another conversation. This is one important reason why patient and public involvement is equally as important in medical education as it is in clinical research.

반사성은 우리의 입장이 항상 명확하지 않을 수 있고, 때때로 우리는 우리 자신의 편견과 문화적 맥락과 환경과의 관계에 대해 알지 못하기 때문에 필수적이다. 따라서 끊임없이 반사적인 자세를 갖고, 우리 자신의 근본적인 관점을 이해하고 명확히 하기 위해 도전하는 것은 질적 연구에서 엄격함의 중요한 부분이다. 라마니 등은 연구자가 연구를 수행할 때 선택하는 주요 요점과 연구자가 이러한 결정에 영향을 고려하도록 보장하는 방법을 보여주는 유용한 인포그래픽을 제작했다. 
Reflexivity is essential because our own position might not always be clear to us, and because we are sometimes unaware of our own prejudices and relationship with our cultural contexts and settings.9 Thus, being continually reflexive and challenging ourselves to understand and make clear our own underlying perspectives is an important part of rigour in qualitative research. Ramani et al. have produced a helpful infographic that illustrates the key points at which researchers make choices when conducting a study and how to ensure that researchers consider the influences in those decisions.14

우리는 반사적인 글쓰기를 보여주는 두 가지 참고 자료를 포함했다. 첫 번째 글에서 주요 저자는 의료 교육생의 직장 기반 평가(WBA) 경험을 탐구할 때 '내부 연구자'로서의 그녀의 위치를 자세히 설명한다. 이 경우, 그녀의 업무는 대학원 교육에서 새로운 WBA 도구를 구현하는 것을 포함했다. 그녀의 연구 관심은 훈련생의 학습 궤적에 대한 이러한 이니셔티브의 영향에 집중되었다. 
We have included two references demonstrating reflexive writing.15, 16 In the first article the lead author details her position as an ‘insider researcher’ when exploring the workplace-based assessment (WBA) experiences of medical trainees.15 In this case her job involved implementing new WBA tools in postgraduate training; her research interest centred around the effect of these initiatives on the learning trajectory of trainees.


[반사적reflexively]으로 글을 쓸 때는 반사적 연구 일지를 쓰고, 팀원들과 정기적으로 만나 반사적 토론을 하는 것이 중요하다. 최종 연구 보고서에서 독자에게 자신의 연구에 대한 '이야기'와, 연구팀의 positionality를 알려줄 수 있습니다. 또한 독자들에게 어떻게 해석이 형성되었는지, 예를 들어 필드 노트에 대한 성찰이 연구의 작성과 결론에 영향을 미쳤는지 말하는 것도 중요합니다. 두 번째 기사는 연구 과정 전반에 걸쳐 짜여진 반사성의 예를 제공한다. 방법론적 선택의 이유가 논의되고, 연구에 앞서, 주요 저자는 자신의 입장과 가정을 고려하고 기록하여, 그녀가 전체 연구와 작성 과정 동안 지속적으로 해당 문서를 참조할 수 있도록 했다.
In writing reflexively, it is important to keep a reflexive research diary, and to meet regularly with team members for reflexive discussion. In the final research report, you may choose to tell the reader the ‘story’ of your research and the positionality of the research team. It is also important to tell your reader how interpretations were formed and any reflections, for example, on your field notes, that influenced the write-up and conclusions of your study. The second article provides an example of reflexivity woven throughout the research process: reasons for the methodological choices are discussed and, prior to the study, the lead author considered and wrote down her own position and presumptions, allowing her to continually refer to that document throughout the entire research and writing process.16

결론들
Conclusions

우리는 질적 연구의 질을 높이기 위한 지속적인 과정으로서 반사성을 증진시키고자 한다. 반사적인 연구자가 되는 것은 여러분이 연구 과정의 각 단계에서 여러분의 [선택을 신중히 고려]하고, [독자들에게 분명히 말]하고, 또한 여러분 자신과 [상충될 수 있는 대안적인 관점을 고려]한다는 것을 보장한다. 어떤 패러다임에서든 좋은 연구의 특징은 [방법론적 엄격함]이다. 질적 연구의 경우, 우리는 [반사적으로 행동하는 것being reflexive]이 그 엄격함에서 강인하고 중요한 요소라고 제안한다. 
We wish to promote reflexivity as a continual process for enhancing quality in qualitative research. Being a reflexive researcher ensures that you carefully consider, and articulate to the reader, your choices at each stage of the research process, and that you also consider alternative perspectives that may be at odds with your own. The hallmark of good research – in any paradigm – is methodological rigour. In the case of qualitative research, we suggest that being reflexive is a strength and critical factor in that rigour.

 


Clin Teach. 2020 Feb;17(1):9-12. doi: 10.1111/tct.13133.

How to … be reflexive when conducting qualitative research

Affiliations collapse

Affiliations

1Irish College of General Practitioners, Dublin, Ireland.

2Faculty of Educational Sciences, University of Helsinki, Helsinki, Finland.

3Centre for Medical Education, Queen's University, Belfast, UK.

PMID: 31970937

DOI: 10.1111/tct.13133

Abstract

Reflexivity can be a complex concept to grasp when entering the world of qualitative research. In this article, we aim to encourage new qualitative researchers to become reflexive as they develop their critical research skills, differentiating between the familiar concept of reflection and reflective practice and that of reflexivity. Although reflection is, to all intents and purposes, a goal-oriented action with the aim of improving practice, reflexivity is a continual process of engaging with and articulating the place of the researcher and the context of the research. It also involves challenging and articulating social and cultural influences and dynamics that affect this context. As a hallmark of high-quality qualitative research, reflexivity is not only an individual process but one that needs to be considered a collective process within a research team, and communicated throughout the research process. In keeping with our previous articles in this series, we have illustrated the theoretical concept of reflexivity using practical examples of published research.

학회 참석 잘 하기(Perspect Med Educ, 2022)
Conferencing well
Glenn Regehr · Lara Varpio

 

인사이더에게, 저는 이제 막 임상 교육자로서 제 경력을 시작하는 중입니다. 나는 우리 분야의 학회에 참여하는 것이 중요하다고 들었다. 컨퍼런스 경험을 최대한 활용할 수 있는 팁이 있습니까?
Dear Insider, I am just starting my career as a clinician educator. I am told that participating in our field’s academic conferences is important. Any tips for how I can get the most out of my conference experience?

 

학회는 학자들이 그들의 연구를 발표하고 다른 사람들이 그들의 연구를 발표하는 것을 듣는 장소 그 이상이다. 학술회의는 특별한 행사이다. 학계의 많은 구성원들과 거리를 두는 것은 보통 일이 아니다. 참석자들이 오랜 협력자들과 인사를 나누고 새로운 협력자들을 만나는 것을 목표로 하는 믹서기에 참석하는 것은 흔한 일이 아니다. 몇 년 동안 글을 읽고 있는 사람들과 직접 대화를 나누거나 글을 읽고 있는 사람들이 다가가는 것은 보통 일이 아니다. 당신의 질문에서 알 수 있듯이, 요령은 이러한 특별한 상황을 어떻게 활용할지를 알아내는 것입니다.
Conferences are more than just a place where scholars present their research and listen to others present theirs. Academic conferences are extraordinary events. It is not ordinary to be within an arm’s length of so many members of your academic community. It is not ordinary to attend mixers where attendees aim to greet long-standing collaborators and to meet new ones. It is not ordinary to engage in direct conversations with those whose work you have been reading for years or to be approached by those who have been reading your work. As your question suggests, the trick is to figure out how to take advantage of these extraordinary circumstances.

본격적으로 시작하기 전에, 우리는 "학회 참석 잘 하기"가 무엇을 의미하는지에 대한 우리의 생각을 안내하는 몇 가지 전제를 제공한다. 첫째, 회의에 대한 우리의 접근 방식은 대부분 우리 자신의 경험에 의해 형성되었습니다. 일상생활의 많은 측면과 마찬가지로, 코로나19 범유행은 지역사회의 회의 모델을 근본적으로 변화시켰다. 이것이 영구적인 변화인지 아니면 단순히 직접 만나는 전통적인 접근 방식에 대한 잠깐의 혼란인지는 두고 봐야 한다. 하지만 사실, 우리는 여전히 웹 기반 회의에 효과적으로 참여하는 방법을 배우고 있다. 따라서 여기서 공유하는 "회의 잘하기"에 대한 접근 방식은 직접 회의 경험에서 도출되며, 회의 형식이 변화함에 따라 관행도 진화해야 한다는 것을 인식한다.
Before we dive in, we offer a few premises that guide our thinking about what it means to “conference well”. First, our approach to conferencing has largely been shaped by our own experiences. As it has with so many aspects of daily life, the Covid-19 pandemic has radically altered the community’s model of conferencing. Whether this is a permanent change or merely a brief disruption to the traditional approach of in-person conferencing remains to be seen. But, in truth, we are still learning how to effectively engage in web-based conferences. Thus, the approaches for “conferencing well” that we share here are derived from in-person conference experiences, recognizing that as conference formats change, practices will also have to evolve.

둘째, 컨퍼런스의 공식 프로그램은 컨퍼런스 경험의 중요한 구성 요소이며, 프로그램을 검토하여 듣고 싶은 세션과 사람을 파악하는 것은 좋은 시간을 보내는 것이라고 생각합니다. 그러나 이러한 프로그램은 규모가 크고 복잡하며 탐색하기 어려운 경우가 많습니다. 프로그램 설명에서 어떤 세션이 특별히 계몽적이라고 생각하는지, 어떤 세션이 "꼭 봐야"하는지 구별하는 것은 쉽지 않습니다. 우리는 몇 가지 유망한 세션을 찾고 그들이 특히 유망하다고 생각하는 것을 보기 위해 다른 사람들과 함께 체크하는 것을 제안한다. 그러나 컨퍼런스에서 얻을 수 있는 모든 것이 몇 개의 훌륭한 공식 세션이었다면, 컨퍼런스의 상황이 제공하는 것을 충분히 활용하지 못했을 것입니다.
Second, we believe that the conference’s formal program is an important component of the conference experience, and reviewing the program to identify the sessions and people that you want to hear is time well spent. However, these programs are often large, complicated, and difficult to navigate. It isn’t easy to tell from the program descriptions which sessions you will find particularly enlightening nor which will be “must see” sessions. We suggest looking for a few promising sessions and checking in with others to see what they think is particularly promising. However, if all you get out of the conference are a few great formal sessions, then you will not have taken full advantage of what the conferencing situation affords.

그렇다면, (대면) 학회는 무엇을 제공할 수 있을까요? 과학은 사회적 기업이고, 회의는 사회적 활동이다. 콘퍼런스는 학계에서 일반적으로 매우 느리게 하는 것들을 빠르게 할 수 있게 해줍니다. 예를 들어, 멋진 아이디어에서 저널 출판까지의 여정은 오랜 시간이 걸릴 수 있습니다. 따라서, 만약 여러분이 최신 정보를 유지하는 방법으로 저널을 읽고 있다면, 여러분은 사람들이 진정으로 생각하는 것에 대해 적어도 2~3년은 시대에 뒤떨어진 것입니다. 회의는 사람들이 그들이 현재 고려하고 있는 것에 대해 이야기하는 곳이다. 그러나 그 회의에서 공식적인 회담을 듣는 것조차 당신이 적어도 1년은 시대에 뒤떨어졌다는 것을 의미할 것이다. 지금 사람들이 진화하고 있는 아이디어는 복도나 카페에서 비공식적인 대화를 통해 개별적으로 참여해야만 발견할 수 있다. 따라서 이러한 일상적인 회의 대화는 해당 분야의 최신 아이디어를 최신 상태로 유지하기 위한 핵심 메커니즘입니다.
So, then, what do (in-person) conferences afford? Science is a social enterprise, and a conference is a social activity. Conferences enable you to do quickly the things that academia generally does very slowly. For example, the journey from cool idea to journal publication can take a long time. So, if you are reading the journals as your way of staying current, then you are at least two to three years out of date regarding what people are really thinking about. Conferences are where people are talking about what they are presently considering. But even listening to the formal talks at the conference likely means you are at least a year out of date. The ideas that people are evolving right now can only be discovered if you engage with them individually through informal conversations in hallways or cafés. So, these casual conference conversations are a key mechanism to stay current with the cutting-edge ideas in the field.

또한 이러한 비공식적인 컨퍼런스 대화를 통해 자신만의 최신 아이디어를 보다 신속하게 개발하고 배포할 수 있습니다. 학문적 검토 과정은 느리고 얼룩질 수 있다. 제출된 논문의 리뷰를 3~6개월 동안 기다린 후 말이 안 되는 것 같거나 실행 가능한 상태로 만들기 위해 추가적인 설명이 필요한 막연한 우려를 나타내는 리뷰만 받는 것은 답답할 수 있습니다. 그러므로, 회의에서 동료들과 비공식적인 대화를 나누는 것은 여러분의 아이디어를 빠르고 효과적으로 공유하고 여러분의 최근 생각과 일에 대한 다른 사람들의 반응에 대한 즉각적인 통찰력을 얻는 좋은 방법입니다. 다른 사람들은 당신의 설명을 어떻게 해석할까요? 그들이 당신의 프레임에 어떻게 반응할까요? 또 누가 비슷한 일에 관심을 갖거나 할 수 있을까요? 컨퍼런스의 비공식 대화는 동료들로부터 이러한 종류의 질문에 대한 즉각적인 답변을 얻을 수 있는 곳입니다.
Such informal conference conversations also allow you to develop and disseminate your own cutting-edge ideas more rapidly. The academic review process is slow and can be spotty. It can be frustrating to wait 3–6 months on the review of your submitted paper only to receive reviews expressing vague concerns that don’t seem to make sense or that require further clarification to make actionable. Thus, having informal conversations with colleagues at conferences is a great way to quickly and effectively share your ideas and get immediate insight into others’ reactions to your latest thinking and work. How will others interpret your explanations? How will they react to your framings? Who else might be interested in or doing similar work? The informal conversations at a conference are where you can get immediate answers to these kinds of questions from your peers.

게다가, 사려 깊은 학자로서의 명성을 발전시키는 것은 글만으로는 성취하기 어렵다. 단순히 좋은 과학을 하고 좋은 논문을 쓰는 것만으로는 주목을 받고 사회에 영향을 미치기에 충분하지 않을 수 있다. 만약 당신이 사람들이 당신의 작품을 집어 들기를 원한다면, 그들에게 그것을 찾을 이유를 주고 그것이 그들의 아이디어와 어떻게 관련이 있는지 이해하도록 돕는 것이 도움이 된다. 이것은 활발한 대화에서 직접 대면하는 것이 가장 좋으며, 컨퍼런스는 여러분이 학문적으로 영향을 미치고 참여하기를 원하는 사람들과 이러한 대화를 할 수 있는 좋은 장소입니다. 그리고, 결론적으로, 다른 사람의 초기 아이디어에 대한 사려 깊은 참여를 통해, 당신은 다른 사람들의 일을 지원하고 향상시키는 것에 대한 명성을 키울 수 있다. (그나저나, 그것은 당신이 사람들의 현재 사고에 대해 들을 가능성을 증가시킬 수 있을 뿐만 아니라, 연구 협력의 문을 열 수 있다.) 
그래서 새로운 사람들을 만나기 위해 노력하는 것은 여러분의 우정 그룹을 확장하는 것일 뿐만 아니라 여러분의 네트워크와 영향 범위를 확장하는 것과도 관련이 있습니다.

Further, developing your reputation as a thoughtful scholar is difficult to accomplish through the written word alone. Simply doing good science and writing good papers may not be sufficient to get noticed and influence the community. If you want people to pick up your work, it is helpful to give them a reason to look for it and to help them understand how it is relevant to their ideas. This is best done face-to-face in active discourse, and conferences are a great place to have these conversations with people you want to influence and engage with academically. And, as a corollary, through thoughtful engagement with people about their early ideas, you can develop a reputation for supporting and enhancing others’ work (which, by the way, may increase the likelihood that you will hear about people’s current thinking, as well as open the door for research collaborations). So going out of your way to meet new people is not only about extending your friendship group, but it is also about extending your network and sphere of influence.

마지막으로, 회의는 재미있고 신선한 장소여야 하지만, 또한 여러분이 전문적인 이미지를 구축하는 장소이기도 합니다. 학계라는 왕국의 동전은 당신의 이름, 당신의 명성입니다. 자신의 이미지를 지키고 의도적으로 육성하는 것이 근본적으로 중요하다. 그러므로 반드시 개인적인 시간을 내서 관광을 하고 그 장소를 즐기세요 (한 동료가 말했듯이, "더 잘 쉬고 옷을 더 잘 입어야 한다"). 그리고 물론, 친구들과 동료들과 함께 저녁이나 술을 마시러 회의에 나가기도 합니다. 하지만 그 컨퍼런스는 당신이 당신 자신, 당신의 일, 그리고 당신의 기관을 대표하는 전문적인 행사라는 것을 기억하는 것 또한 중요하다.

Finally, conferences should be fun and refreshing places, but they are also where you are constructing your professional image. In academia, the coin of the realm is your name, your reputation. It is fundamentally important to guard your image and to nurture it intentionally. So absolutely take some personal time to see the sights and enjoy the location (as one colleague says, “one should return from a conference better rested and better dressed”). And, of course, go out for social dinners and drinks with friends and colleagues at the conference. But it is also important to remember that the conference is a professional event where you represent yourself, your work, and your institution.

그렇다면 이러한 아이디어들은 실제 회의 준비와 활동에서 어떻게 발휘될까요? 컨퍼런스 활동의 효과를 극대화하기 위해 무엇을 할 수 있습니까?
So how do these ideas play out in actual conference preparations and activities? What can you do to maximize the effectiveness of your conference activities?

좋은 시작은 특정한 사람들을 만날 계획을 갖는 것이다. 우리는 모두 직접 연결하고자 하는 사람들이 있습니다. 어떤 사람들은 우리가 적극적으로 함께 일하고 있는 공동 작업자이거나 우리가 한동안 보지 못했던 친구입니다. 다른 사람들은 우리가 우리 자신을 소개하고 싶은 사람들이다. 컨퍼런스에서 만나고 싶은 사람들의 목록을 가지는 것은 이러한 관계를 맺기 위한 훌륭한 첫 단계이다. 이벤트 전에 이러한 사용자에게 연락하여 특정 미팅 시간을 계획하는 것이 좋습니다. 회의 일정이 나온 후 비교적 빨리 연락하는 것이 가장 좋습니다. 이것은 그들이 프로그램 의무(즉, 그들이 참석해야 하는 세션)를 아는 기간이다. 하지만 아직 의무가 아닌 컨퍼런스 시간은 비어 있을 것이다.
A good start is having a plan to meet specific people. We all have people we want to connect with in person—some are collaborators we are actively working with or friends we haven’t seen for a while. Others are people we’d like to introduce ourselves to. Having a list of the people you want to meet at the conference is a great first step to making these connections. You might wish to contact some of these individuals ahead of the event and plan a specific meeting time. Ideally, this works best if you contact them relatively soon after the conference schedule has come out. This is the window during which they know their program obligations (i.e., sessions they must attend), but their non-obligatory conference time will not have filled up yet.

친구들과 기성 동료들을 위해, 당신은 함께 식사를 준비할 수 있습니다. 지인들을 위해, 당신은 회의를 더 짧게 하기 위해 식사 사이의 시간을 정할 수 있다. 처음 만나기를 원하는 사용자는 간단한 미팅을 위한 일정에서 약간의 자유 시간을 가질 수 있는지 물어보는 등 요청을 좀 더 열어둘 수 있습니다. 특히, 만약 당신이 특정 사람들을 처음으로 만나기를 원한다면, 이러한 회의에 대한 구체적인 의제를 갖는 것이 바람직하다. 합리적인 의제는 단순히 상대방에게 당신의 일을 알리고 그들의 반응을 묻는 것일 수 있다. 다음과 같은 어젠다는 실패할 가능성이 높다. "내가 누군지 알아줬으면 해"

For friends and established colleagues, you might arrange meals together. For acquaintances, you might arrange times between meals to keep the meetings shorter. For those you are hoping to meet for the first time, you might leave the request more open, simply asking if they might have a bit of free time in their schedule for a brief meeting. Notably, if you are hoping to meet people for the first time, it is advisable to have a specific agenda for these meetings. A reasonable agenda can be simply to make the other person aware of your work and to ask for their reaction. An agenda that tends to fall flat is: “I just want you to know who I am.”

다른 사람들을 위해, 당신은 컨퍼런스에서 그들과 마주칠 수 있는 방법을 찾으면서 좀 더 비공식적으로 연결하기를 원할 수도 있다. 비록 여러분이 세션이 끝날 때 또는 복도의 세션 사이에 그들에게 접근할 수 있지만, 그러한 임시 회의는 일상적인 소셜 네트워킹을 위해 특별히 계획된 회의 활동에서 가장 쉽게 일어날 수 있다. 리셉션, 뷔페식 아침식사, 비정형 포스터 세션 및 기타 만남 행사는 종종 여러분이 자신을 소개하기를 원하는 사람들이 이러한 자발적인 연결을 특별히 기대하는 경우입니다. 만약 이런 식으로 사람들에게 다가가는 것이 위협적으로 느껴진다면, 한 가지 방법은 당신을 대신해서 서로 아는 사람이 소개하도록 주선하는 것이다. 

For other people, you may wish to make the connection more informally, finding a way to bump into them at the conference. Although you might approach them at the end of a session or between sessions in the hallways, such ad hoc meetings can happen most easily at the conference activities specifically planned for casual social networking. The receptions, buffet breakfasts, unstructured poster sessions, and other meet-and-greet events are often when those you are hoping to introduce yourself to are specifically expecting these spontaneous connections. If it feels intimidating to walk up to people in this way, then one option is to arrange for a mutual acquaintance to make introductions on your behalf.

그리고 이것은 또 다른 주목할 만한 점을 제기한다: 여러분이 그 분야에 처음 발을 들여놓았을 때, 회의에서 여러분을 후원하고 여러분이 다른 지역 사회 구성원들과 관계를 맺을 수 있도록 도와줄 선배가 있는 것은 진정한 이점입니다. 이를 위해, (컨퍼런스에 앞서) 특정 Mixer 행사에서 선배 동료나 멘토와 함께 시간을 보내도록 주선하고 주요 인사들을 소개해 달라고 부탁하는 것은 여러분이 "만날" 계획에 있는 사람들과 그리고 여러분이 중요한 인맥으로 인식하지 못했던 다른 사람들과 연결하는 데 도움이 될 수 있습니다. 이 분야의 더 많은 선배들에게 주는 부기 사항으로서, 우리가 컨퍼런스에서 느끼는 가장 가치 있는 일 중 하나는 한두 명의 초기 직장 동료들을 후원하고 승진시키는 것이다. 그래서, 우리가 회의를 계획하면서, 우리는 만남과 환영 행사에서 우리를 따라올 사람이 누구인지 자문한다.

And this raises another noteworthy point: When you’re new to the field, having someone senior to sponsor you at the conference and help you make connections with other community members is a real advantage. To that end, arranging (in advance of the conference) to spend time beside a senior colleague or mentor at a particular mixer event and asking them to introduce you to key individuals can help you connect with people on your “to meet” plan and with others you hadn’t recognized as important connections. As a side note to more senior members of the field: one of the most valuable things we feel we do at a conference is sponsor and promote one or two early-career colleagues. So, as we plan for our conference, we ask ourselves who will be shadowing us at the meet-and-greet events.

이러한 비공식 미ㅣㅇ를 유리하게 활용하려면 준비가 필요합니다. 예를 들어, 피할 수 없는 질문에 대한 답변을 준비하려고 합니다. "너에 대해 말해줄 수 있니? "무슨 일을 하세요?" 종종 엘리베이터 피치라고 불리는, 이러한 질문에 대해 매우 짧은(30초)와 조금 긴(2분) 대답을 연습하고 전달할 준비가 되어 있으면 엄청나게 도움이 될 수 있습니다. 콘퍼런스의 바쁜 사회적 맥락 속에서, 여러분은 현장에 자신을 배치하고 청중에게 여러분의 작품이 독특하고 흥미로운 것에 대한 감각을 줄 수 있는 작은 시간의 창을 갖게 될 것입니다. "복잡하다"는 식의 애매한 답변으로 비틀거리거나 시작할 때가 아니다. 컨퍼런스에 도착하기 전에 이러한 답을 연습하는 것은 여러분이 만나고 싶었던 누군가를 소개받을 때 망설이지 않도록 보장할 것입니다. 기억하라, 학회는 일이 빨리 일어나는 곳이다. 당신은 짧은 비공식 대화에서 당신의 사회적 자본을 만들 것이다. 몇 분 안에, 청자는 여러분과 여러분의 작품에 대한 그들의 인상을 형성할 것입니다. 회의 참석을 위해 떠나기 전에 신뢰할 수 있는 동료들과 함께 답변을 연습하고, 이 짧은 시간을 의미있게 만드십시오. 제가 한 말에서 당신이 이해한 것을 요약할 수 있나요? 재미있게 봤어요? 제가 이 일이 왜 중요한지 잘 전달했나요?

Harnessing these more informal meetings to your advantage requires preparation. For example, you will want to have answers prepared for the inevitable questions: “Can you tell me about yourself? What do you do?” Often called the elevator pitch, having a very short (30 second) and a little longer (2 minute) answer for these questions practiced and ready for delivery can be incredibly helpful. In the busy social context of conferences, you will have a small window of time to situate yourself in the field and give the listener a sense of what is unique and interesting about your work. This is not the time to stumble or start with a vague reply like, “it’s complicated.” Practicing these answers before you get to the conference will ensure you don’t stumble when you are introduced to someone you’ve wanted to meet. Remember, conferences are where things happen quickly. You will be crafting your social capital in those short informal conversations. In a matter of minutes, the listener will form their impressions of you and your work. Make those minutes count by practicing your answers with trusted colleagues before you leave for the conference and ask for feedback: Can you summarize what you understood from what I said? Was it interesting? Did I manage to convey why this work is important?

하지만 자신을 소개하고 아이디어를 공유하는 것에 초점을 맞추는 것 외에도, 다른 사람들에게도 유용한 것을 잊지 마세요. 다른 사람들이 테스트하려고 하는 아이디어에 대해 도움이 되는 청중이 되십시오. 그들의 작업과 관련이 있을 수 있는 이론, 관점 또는 아이디어를 제공합니다. 그들이 아직 접하지 못했을 수도 있는 다른 문헌들을 공유하세요. 관련 아이디어를 탐색하는 것을 알고 있는 다른 사람과 연결합니다(예: 소개 제안). 이러한 상호작용이 누군가와의 비공식적인 만남의 맥락에서 일어나든, 그들의 포스터의 맥락에서 짧은 대화를 통해 일어나든, 또는 그들의 공식 발표 후 연단에서 1분간의 짧은 교환으로든, 흥미로운 단서를 제공하고 관련 아이디어를 주는 것은 관대하고 관대하다는 평판을 만들 수 있다. 그것은 발전을 시작하기에는 결코 이르지 않은 종류의 평판이다.
In addition to this focus on introducing yourself and sharing your ideas, however, don’t forget to be useful to others as well. Be a helpful audience for the ideas that others are trying to test. Offer theories, perspectives, or ideas that might be relevant to their work. Share other literature they might not have come across yet. Connect them with (e.g., offer to introduce them to) others you know exploring related ideas. Whether these interactions happen in the context of an informal meeting with someone, through a brief conversation in the context of their poster, or as a quick one-minute exchange following their formal presentation on the podium, offering interesting leads and giving away related ideas can create a reputation for being generous and generative, which is the sort of reputation that is never too early to start developing.

마지막으로, 학회 후(또는 학회 중에) 관계를 유지하기 위해 어떤 형태의 전자적 연결을 통해 후속 조치를 취해야 한다는 것을 기억하십시오. 고객이 읽고 싶어할 만한 기사나 조사하고자 하는 저자를 언급했다면 논문의 전자 버전(또는 관련 저자의 특정 참조)을 보내십시오. 만약 당신이 누군가와 관계를 맺기로 약속했다면, 가능한 한 빨리 전자 소개를 보내라. 만약 당신이 당신의 작업의 일부를 그들과 공유하고 있다면, 그들에게 당신의 기사의 전자 버전을 보내거나, 당신(그리고 당신의 감독관이나 멘토)이 그것이 외부의 눈이 볼 수 있을 만큼 가깝다고 느낀다면 초안도 보내라. 만약 그들이 당신에게 무언가를 제안했다면, 그들에게 상기시키는 방법으로 그 제안에 대해 감사하기 위해 이메일을 보내세요. 아니면 그냥 좋은 대화였다면, 그들을 만난 것이 얼마나 반가웠는지 짧은 메모로 따라오세요. 

Finally, remember to follow up after (or during) the conference with some form of electronic connection to keep the relationship alive. If you mentioned an article they might wish to read or an author whose work they might wish to explore, send them an electronic version of the paper (or a few specific references of the relevant author). If you promised to make a connection with someone, send the e‑introduction as soon as you can. If you were sharing some of your work with them, send them an electronic version of your article, or even a draft if you (and your supervisor or mentor) feel it is close enough for external eyes to see. If they offered you something, email them to thank them for the offer as a way of reminding them. Or if it was just a nice conversation, just follow up with a quick note to say how nice it was to meet them.

이 때 트릭은 어떤 사람과 어떤 이야기를 나눴는지, 어떤 제안을 했는지에 대해 사람을 만난 후 바로 메모해두는 것입니다. 우리 모두는 학회에서 약속을 하는데, 많은 약속들은 그것이 만들어진 후 거의 즉시 잊혀진다. 따라서 이러한 소중한 대화를 기억하고 후속 조치를 취할 수 있는 전략을 수립하는 것이 이러한 연결을 유지하려면 필수적입니다. 우리는 이러한 대화를 그 사람의 명함 뒷면에 메모하곤 했다. 요즘, 우리는 휴대폰으로 메모와 알림을 만든다. 당신이 어떻게 후속 조치를 취하느냐는 당신에게 달려 있습니다. 단지 당신이 그것을 하도록 확실히 하세요.

A quick trick in this regard, by the way, is to make a note to yourself immediately after meeting with a person regarding what you discussed and what you offered. We all make conference promises, many of which get forgotten almost immediately after they were made. So having a strategy to ensure you remember and follow up on these valuable conversations is essential if you wish to maintain that connection. We used to make notes of these conversations on the back of the person’s business card; nowadays, we make notes and reminders in our phones. How you follow up is up to you; just make sure you do it.

"학회 잘하기"에는 많은 긍정적인 결과가 있을 수 있습니다.

  • 프로젝트에 대한 생각을 다듬고 수정했습니다.
  • 이전에 고려하지 않았던 새로운 아이디어와 탐구해야 할 새로운 작가들이 있습니다.
  • 다른 사람들이 당신보다 후속 조치를 취할 가능성이 더 높은 몇 가지 아이디어를 제시했습니다.
  • 옛 동료들과 다시 연락하고 새로운 인맥을 만들었다.
  • 방문한 장소의 휴대폰에 새로운 사진이 몇 장 있습니다.
  • 당신이 도착했을 때보다 더 잘 쉬었기 때문에 더 많은 에너지를 가지고 있다; 그리고.
  • 기념품이나 다른 물건들과 함께 조금 더 무거운 짐을 가지고 있다.

회의를 잘 하는 것은 연마하는 데 시간이 걸릴 수 있는 예술이지만, 이러한 특별한 사건들을 이용할 수 있도록 하는 것은 충분히 노력할 가치가 있다.

There are many potential positive outcomes of “conferencing well”:

  • having refined and revised your thinking about a project;
  • having new ideas that you hadn’t previously considered and new authors to explore;
  • having given away a few ideas that others are more likely to follow up on than you;
  • having reconnected with old colleagues and made some new connections; as well as
  • having some new pictures in your phone from places visited;
  • having more energy because you are better rested than when you arrived; and
  • having luggage that is a little heavier with souvenirs and other purchases.

Conferencing well is an art that can take some time to hone, but it is well worth the effort to ensure that you can take advantage of these extraordinary events.

 

 


Perspect Med Educ. 2022 Mar;11(2):101-103. doi: 10.1007/s40037-022-00704-0. Epub 2022 Mar 3.

Conferencing well

Affiliations collapse

Affiliations

1Centre for Health Education Scholarship, Faculty of Medicine, University of British Columbia, Vancouver, Canada. glenn.regehr@ubc.ca.

2Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.

PMID: 35239163

PMCID: PMC8892396

DOI: 10.1007/s40037-022-00704-0

필요는 발명의 어머니: 윌리엄 할스테드의 중독과 그것이 북미 의학교육에 미친 영향(Can J Surg, 2020)
Necessity is the mother of invention: William Stewart Halsted’s addiction and its influence on the development of residency training in North America

James R. Wright Jr., MD, PhD
Norman S. Schachar, MD

 

외과교육자들이 대학원 외과 레지던시 교육의 구조와 내용에 대한 변화를 고려하고 있는 상황에서 고전적인 외과 레지던시 프로그램 원형을 형성하게 된 요인과 영향을 되돌아보는 것이 흥미롭고 중요하다. 현대 북미 전공의 프로그램의 구조는 19세기 마지막 10년 동안 존스 홉킨스 병원에서 비롯되었다. 이 논문은 윌리엄 스튜어트 할스테드(1852–1922)의 지원 하에 개발된 최초의 현대 외과 레지던트 프로그램을 살펴본다.

At a time when surgical educators are considering changes to the structure and content of postgraduate surgical residency education,13 it is interesting and important to reflect on the factors and influences that formed the classical surgical residency program prototype. The structure of modern residency programs in North America originated at Johns Hopkins Hospital during the last decade of the 19th century. This article examines the first modern surgical residency program that developed under the aegis and influence of William Stewart Halsted (1852–1922).

Halsted는 20세기에 외과적 실습surgical practice을 크게 형성한 외과적 혁신가였다. 그는 일반적으로 급진적인 유방절제술을 완성하고 전파한 것으로 기억되지만, 그의 직업 내에서는 그의 업적이 무수히 많았다. 아마도 수술 분야에 대한 그의 가장 중요한 공헌은 교육적이었을 것이다. Halsted는 존스 홉킨스 병원에 있는 동안 새로운 레지던트 훈련 프로그램을 개발했고, 약간의 수정으로 북미에서 외과 및 의학 레지던트 훈련의 모델이 되었다. 그러나, Halsted의 전공의 프로그램이 미국에서 처음은 아니었음을 주목해야 한다. 사실, 그것은 심지어 존스 홉킨스 병원에서는 처음도 아니었다. 루드메러는 레지던트 훈련의 역사에 관한 그의 책에서 윌리엄 오슬러(1849-1919)가 최초의 현대적 북아메리카 레지던시를 시작했다고 생각한다. 할스테드의 외과 레지던트는 두 번째였고, 곧 산부인과와 병리학 레지던스가 뒤를 이었다. 존스 홉킨스 병원은 분명히 북미의 현대 레지던트 훈련 개념의 원천이었다.

Halsted was a surgical innovator who greatly shaped surgical practice in the 20th century.47 While he is generally remembered for perfecting and disseminating the radical mastectomy,8 within his profession his accomplishments were legion. Perhaps his most important contribution to the field of surgery was educational. Halsted developed a novel residency training program while at Johns Hopkins Hospital that, with some modifications, became the model for surgical and medical residency training in North America.9 However, it should be noted that Halsted’s residency was not the first in America; in fact, it was not even the first at Johns Hopkins Hospital. Ludmerer, in his book on the history of residency training, considers William Osler (1849–1919) to have started the first modern North American residency. Halsted’s surgical residency was second, and this was soon followed by residencies in gynecology and pathology. Johns Hopkins Hospital was clearly the source of the modern residency training concept in North America.10

할스테드의 외과 경력은 보통 뉴욕에서 보낸 초기와 볼티모어에서 보낸 말년으로 나뉜다. 뉴욕에서 젊은 외과의사로서 할스테드는 카리스마와 사교성을 지녔고 의대생들을 가르치는 데 뛰어났던 매우 숙련되고 대담하며, 빠르고 대담한 외과의사였다. 볼티모어에서 그는 느리고 꼼꼼한 외과의사였고 은둔자였고 가능하면 의대생들을 가르치는 것을 피했다. 이 두 시기 사이에, 할스테드와 몇몇 동료들은 우연히 코카인에 중독되었고, 1884년 말에 그들은 코카인이 국소 마취제로 사용될 수 있다는 새로운 보고서를 알고 스스로 실험을 했다. 뉴욕에서 할스테드의 경력은 급격히 악화되었고, 그는 중독 치료 시설을 들락날락했다. 할스테드는 곧 코카인 중독을 치료하기 위해 사용한 모르핀에 중독되었다.
Halsted’s surgical career is usually divided into his early years in New York and his later years in Baltimore. As a young surgeon in New York, Halsted was a highly skilled, bold, fast and daring surgeon who was charismatic and sociable and excelled at teaching medical students. In Baltimore, he was a slow and meticulous surgeon who was a recluse and who avoided teaching medical students when possible. Between these 2 periods, Halsted and some colleagues accidentally became addicted to cocaine, when in late 1884 they, being aware of a new report that cocaine could be used as local anesthesia, experimented upon themselves. Halsted’s career in New York rapidly deteriorated, and he was in and out of addiction treatment facilities. Halsted soon became addicted to morphine, which he used to treat his cocaine addiction.

Halsted는 볼티모어로 이주하여 홉킨스에 있는 William Welch의 실험실에서 개에 대한 외과적 연구를 시작했다. 장내 문합에 대한 뛰어난 동물 연구의 결과로, 할스테드는 외래 환자 부서의 책임자로 임명되었고, 존스 홉킨스 병원의 외과 의사 대행과 외과 부교수로 임명되었다. 지속적인 성공은 1890년 오슬러와 윌리엄 웰치(1850–1934)가 할스테드를 외과 의사로 추천하고 1892년 홉킨스의 첫 외과 교수가 되는 결과를 낳았다. 비록 모든 사람들이 이러한 유망한 시기에 할스테드의 중독이 치료되었다고 믿었지만, 나중에 그것은 사실이 아니며 그가 괴팍함의 베일과 거주민들의 피라미드 아래서 그의 중독을 숨길 수 있었다는 것이 분명해졌다.

Halsted moved to Baltimore and began surgical research on dogs in William Welch’s laboratory at Hopkins. In the wake of some brilliant animal research on intestinal anastomoses, Halsted was appointed head of the outpatient department, acting surgeon to Johns Hopkins Hospital, and associate professor of surgery. Continued success resulted in Osler and William Welch (1850–1934) recommending Halsted to be surgeon-in-chief in 1890 and Hopkins’ first professor of surgery in 1892.6,7 Though everyone believed that Halsted’s addiction was cured at the time of these appointments, it later became clear that wasn’t the case and that he was able to hide his addiction under a veil of eccentricity and a pyramid of residents.

이 논문은 존스 홉킨스 병원에서 그의 외과 레지던트 훈련 프로그램의 개발과 진화에 있어, 그의 중독을 숨기려는 Halsted의 시도의 가능한 역할을 탐구한다. 우리는 또한 그의 훈련생들에 의한 Halsted 학교의 보급과 북미 거주를 위한 표준 모델로 후속 진화를 다룬다. 우리의 에세이는 알려진 사실 및 (Halsted, 그의 이전 훈련생 및 Halsted에 대해 쓴 다른 외과 학자들의) 출판된 인용문 대한 "미묘한 재해석"에 광범위하게 의존하고 있다.
This paper explores the possible role of Halsted’s attempts to hide his addiction in the development and evolution of his surgical residency training program at Johns Hopkins Hospital. We also address the dissemination of the Halsted School by his trainees, and its subsequent evolution into the standard model for residency in North America. Our essay relies extensively upon “nuanced reinterpretation” of known facts and published quotes from Halsted, his former trainees, and other surgical scholars who have written about Halsted.

할스테드 학교
The Halsted School

할스테드가 뉴욕에서 볼티모어 시대로 수술 스타일을 극적으로 바꾼 것은 그의 중독과 동물 연구를 통해 얻은 보수적이고 생리적인 수술의 중요성에 대한 그의 증가하는 인식의 결과였을 것이다. 아이러니컬하게도, [대담하고 뛰어난 외과의가 될 수 없는 그의 신체적, 정신적 무능]은 그가 조직과 피를 보존하는 것이 속도보다 더 중요한 더 사색적이고 생리적인 스타일이 더 나은 결과를 얻도록 도왔다. 이러한 경향은 다른 곳에서는 초기 단계에 있었지만, Halsted의 허약함이 Halsted의 새로운 운영 방식으로의 전환을 더욱 강화시킨 Halsted School, 11, 12에서 완전히 발전했다. 다니엘 B. Nunn은 "Halsted Society의 역사가는 "Halsted는 정확하고 안전하며 철저한 수행에 영특함과 실행 속도가 종속된 학교인 '수술 안전 학교의 아버지'로 적절히 인정받고 있다"고 언급했다.

Halsted’s dramatic change in surgical style from his New York to his Baltimore days was likely a consequence of both his addiction and his increasing appreciation of the importance of conservative, physiologic surgery gained through his animal studies. Ironically, his physical and mental inability to continue to be a bold and brilliant surgeon helped him realize that a more contemplative, physiologic style, in which conserving tissue and blood was more important than speed, achieved better results. This trend was in its infancy elsewhere, but fully developed within the Halsted School at Hopkins,11,12 where Halsted’s frailty further reinforced his transition to this new operative style. Daniel B. Nunn, while Historian of The Halsted Society, noted that “Halsted is properly credited as the ‘father of a school of safety in surgery,’ a school in which brilliance and speed of execution were subordinated to accurate, safe, and thorough performance ...”13

그러나 지금 우리가 알고 있는 것을 알고 있는 그는, 자신의 반사신경, 속도, 정밀도가 악화됨에 따라 정확성, 안전성 및 철저한 수행을 강조하면서 레지던트에게 일을 위임함으로써 이를 커버할 수 있었기 때문에, 이 새로운 스타일의 수술을 가르치는 데 앞장서는 것은 아마도 자기 잇속을 차리기 위한 것이었다. 그것은 또한 그가 수술대에서 보내는 시간을 줄이고 사적인 생각에 더 많은 시간을 보낼 수 있게 해주었다. 할스테드가 방문 외과 의사들 앞에서 수술을 했을 때, 그는 너무 느려서 관객들이 보기에 고통스러웠다. 윌리엄 메이요(1861–1931)는 할스테드가 자신의 특징적인 근치적 유방절제술을 하는 것을 불안하게 지켜보면서 "나는 바닥이 이미 치유된 동안 위에서 수술된 상처를 본 적이 없다"고 농담을 한 적이 있다.

However, knowing what we know now, it was possibly self-serving to be at the forefront of teaching this new style of surgery because, as his own reflexes, speed, and precision deteriorated, he could cover this by delegating work to his resident while stressing accuracy, safety and thorough performance. It also allowed him to spend less time at the operating table and more time in private contemplation. When Halsted operated in front of visiting surgeons, he was so slow that it was painful for the audience to watch. William Mayo (1861–1931), while restlessly watching Halsted perform his signature radical mastectomy, once quipped “I have never seen a wound operated at the top while the bottom was already healed.”7

Halsted School은 또한 대부분의 임상 교수들이 FFS 요금을 유지하는 것을 선호했음에도 불구하고, Hopkins에서 시행되고 있는 지리적 풀타임(GFT) 지불 모델을 수용했습니다. 전 거주자 사무엘 J. 크로우는 보수에 대한 할스테드의 생각을 다음과 같이 설명한다.
The Halsted School also embraced the geographic full time (GFT) payment model that was being implemented at Hopkins, even though most clinical faculty preferred to remain fee-for-service.8 Former resident Samuel J. Crowe provides Halsted’s thoughts on remuneration:

[금전적 보상]은 의사가 가족을 돌보고, 새로운 생각을 습득하기 위해 여행을 할 수 있고, 그의 일생 동안 생각하고, 읽고, 의학에 지속적인 가치를 더하기 위해 노력할 수 있는 여가와 마음의 평화를 가질 수 있는 범위에서만 필요하거나 바람직했다. 이것은 1905년의 일입니다. 의심할 여지 없이 [Halsted]는 1913년에 풀타임 계획이 나왔을 때 열정적으로 환영했다.
Monetary rewards were necessary or advisable only to the extent of allowing the doctor to care for his family, to travel in order to acquire new ideas, and to have the leisure and peace of mind to think and read and try to add something during his lifetime of lasting value to medicine. This was in 1905. No doubt it was for these reasons that [Halsted] enthusiastically welcomed the Full Time Plan when it came along in 1913.14

 

홉킨스의 GFT 시스템 구현에 대한 완전한 역사적 분석은 다른 곳에서 제공된다. GFT 모델에 의해 촉진된 연구는 할스테드 학파의 또 다른 중요한 요소였다.
A complete historical analysis of the implementation of the GFT system at Hopkins is provided elsewhere.15 Research, which was facilitated by the GFT model, was another important element of the Halsted School.

중단된 레지던스의 구조
Structure of the halsted residency

할스테드의 레지던트 프로그램은 외과 수련자들에게 [형식적이고 구조적인 형태의 교육]을 제공했고, 이전에 존재했던 견습 훈련 모델을 대체했다. 할스테드는 독일에서 관찰한 외과적 훈련의 요소들을 바탕으로 훈련 모델을 만들었다. Halsted 모델의 기본 요소 중 하나는 티어가 있다는 것이었다. 단, 초급 및 중간급 직위는 여러 개가 있지만, 시니어 직위는 1개뿐이라는 것이었다. 후배 연수생들은 교수보다는 선배 레지던트들의 지도 아래 실전 환자 관리와 수술 기술을 배웠다. 전공의들이 경험이 많아지면서 책임감과 독립성이 높아졌다. 또한, 전공의들은 외과적 질병의 [과학적 근거]에 대한 이해를 높이고 [연구를 수행]할 것으로 기대되었다. 훈련 기간은 무기한이었고, 다음 단계로 진출하기 위한 경쟁이 치열한 피라미드 구조가 존재했기 때문에 다음 단계로 진출하는 것은 불확실했다. 인턴십이나 레지던트 보조 역할만 마치고 떠나는 연수생이 많았다. Halsted의 훈련 프로그램인 레지던트 포지션에서 정상에 오른 사람들에게 그것은 특별한 학문적, 임상적 훈련이었다. 레지던트는 임상 서비스를 운영했을 뿐만 아니라 훈련 프로그램 전체를 감독하여 현재의 레지던트 프로그램 감독PD처럼 기능했다.
Halsted’s residency program provided a formal and structured form of education for surgical trainees, replacing the apprenticeship training model that had existed before it. Halsted based his training model on elements of surgical training he had observed in Germany. One fundamental element to Halsted’s model was that there were tiers, including multiple entry- and midlevel positions, but only 1 senior position. Junior trainees learned hands-on patient management and operative skills under the supervision of a more senior resident rather than the professor. As residents became more experienced, they were given increased responsibility and independence. Furthermore, residents were expected to develop an understanding of the scientific basis of surgical disease and to perform research. The duration of training was indefinite, and advancement to the next level was uncertain, as there was a pyramidal structure with intense competition for advancement to the next level. Many trainees left after completing only an internship or an assistant resident role. For those making it to the top of Halsted’s training program, the resident position, it was exceptional academic and clinical training. The resident not only ran the clinical services, but also oversaw the entire training program, functioning like a current day residency program director.

그러나 이러한 구조는 할스테드가 요구하는 우수한 수술 결과를 얻기 위해 항상 최선을 다하는 것에 의존하지 않았기 때문에, 그의 중독을 숨기는 외과의사에게는 자기 잇속만 차린 것이라는 점에 주목해야 한다. 또한 프로그램의 [피라미드적 성격]은 할스테드가 훈련생, 의료 및 외과 동료, 환자들과 매일 상호작용할 필요성을 최소화하여 그의 장애를 숨길 수 있게 하였다. 활기찬 외과 수련생들 집단은 할스테드에게 그를 기쁘게 하고 싶어했고, [그가 임금을 지불할 필요가 없는 동기부여된 노동력을 제공]했다. 그러한 모델은 대부분의 북미 훈련병원에서 작동할 수 없었을 것이다. 왜냐하면 그렇게 많은 house staff을 두는 것은 비용이 너무 많이 들었을 것이기 때문이다. 다른 저자들이 지적한 바와 같이, 이것은 오로지 존스 홉킨스 병원에서만 가능했을 것이다. 존스 홉킨스 병원은 기부금과 무엇보다 GFT 지불 모델 덕분에 주머니가 두둑했기 때문이다.
It should be noted, however, that this structure was self-serving for a surgeon hiding his addiction, as the clinical service did not depend on Halsted always being at his best in order to achieve the excellent surgical results he demanded. The pyramidal nature of the program also minimized Halsted’s need for day-to-day interaction with trainees, medical and surgical colleagues and patients, thus allowing him to hide his impairment. The energetic cadre of surgical trainees provided Halsted a motivated workforce that was anxious to please him and that he did not need to pay. Such a model could not have worked in most North American training hospitals, as it would have been far too costly to have so many house staff. As noted by other authors,16,17 this was likely only possible in one place — the Johns Hopkins Hospital — which, because of its endowments and eventually its GFT payment model, had deep pockets.

다행히 단단한 피라미드 구조는 다른 곳에서는 구현에 중요하지 않은 것으로 입증되었다. 조지 J 호이어(1882년 ~ 1950년)는 신시내티에서 이것을 증명하였다.
Fortunately, a rigid pyramidal structure proved not to be critical for its implementation elsewhere. George J. Heuer (1882–1950) proved this in Cincinnati.

조지 J 휴에와 제자들
George J. Heuer and the disciples

호이어는 할스테드에 의해 훈련받은 13번째 전공의였다. 그는 1911년부터 1914년까지 이 역할을 맡았다. 그 후 그는 존스 홉킨스의 외과 부교수와 외과 부교수로 임명되었다. 제1차 세계 대전에서 복무한 후, 호이어는 홉킨스로 돌아와 할스테드가 자신의 뒤를 따라 훈련했던 전공의 월터 댄디 (1886년-1946년)를 신경외과 서비스 책임자로 임명했다는 것을 알게 되었다. 호이어는 다른 할스테드 레지던트였던 하비 쿠싱(1869–1939)이 1912년 보스턴의 피터 벤트 브리검 병원으로 영입된 이후 이 직책에 관심이 있었다. 호이어는 크리스천 R의 첫 수혜자로서 신시내티로 영입되었다. 홈즈는 1922년 외과 의장을 맡았고, 그곳에서 그는 외과 레지던트를 설립했다. 이때 다른 할스테디안 프로그램은 하비 쿠싱이 보스턴에서 운영하는 프로그램이 유일하다는 점에 주목해야 한다. 호이어는 몽 리드 (1889년–1943년)와 버 놀랜드 (닉) 카터 (1894년–1980년)를 포함한 몇몇의 저명한 홉킨스 훈련 외과 의사들을 데리고 왔다. 호이어는 "일반 환자의 병실을 호이어 교수를 위한 개인 병실로 전환하는 것은 납세자에게 부도덕한 일"이라며 해당지역 외과의들의 즉각적인 저항을 맞았고, 이를 '수수료 분할' 문제로 바꾸려 했다. 이는 미국외과의사대학의 정책에 위배되는 행동이었다. 이 문제는 홈즈 병원이라는 이름의 새로운 개인 전시관을 지음으로써 결국 해결되었다.

Heuer was the 13th resident trained by Halsted. He served in this role from 1911 to 1914. He was then appointed associate professor of surgery and associate surgeon at Johns Hopkins. After serving in the First World War, Heuer returned to Hopkins only to find that Halsted had appointed Walter Dandy (1886–1946), a resident who had trained after him, to the position of chief of the neurosurgical service. Heuer had been interested in this position since Harvey Cushing (1869–1939), another former Halsted resident, had been recruited to the Peter Bent Brigham Hospital in Boston in 1912. Heuer was recruited to Cincinnati as the first recipient of the Christian R. Holmes Chair in Surgery in 1922, where he established a surgical residency.16,18,19 At this time, it should be noted that the only other Halstedian program was the one in Boston run by Harvey Cushing. Heuer brought several prominent Hopkins-trained surgeons with him, including Mont Reid (1889–1943) and Burr Noland (Nick) Carter (1894–1980). Heuer met immediate resistance from the local surgeons, who stated that “the conversion of a ward of the general patients into private rooms for Professor Heuer was an immorality to the tax payer” and tried to turn it into an issue about “dividing fees,” which was against the policies of the American College of Surgeons.16 This problem was eventually resolved by building a new private pavilion named Holmes Hospital.

데이비드 W. 맥패든에 따르면, 호이어의 "Halstedian 레지던트 훈련 프로그램의 채택은 오늘날 모든 좋은 훈련 프로그램이 존재하는 기초로 묘사되었다." 전공의보다 피라미드의 아래에 있는 여러 층의 house staff을 위해 지불할 충분한 돈이 없었기 때문에, 다른 곳에서 홉킨스 모델을 복제하는 것은 불가능했기 때문에 이것은 확실히 사실이다. 호이어가 1932년 뉴욕 병원과 코넬로 채용되었을 때, 그는 신시내티에서와 비슷한 어려움에 직면했다. 최근의 논문은 1930년대와 1950년대 사이에 할스테디안 외과 레지던트 모델이 "엘리트 의사들을 위한 흔치 않은 독특한 경험에서 모든 미국 외과 의사들을 위한 표준화된 의무 교육"으로 어떻게 진화했는지 설명한다.
According to David W. MacFadden, Heuer’s “adaption of the Halstedian residency training program has been described as the basis on which all good training programs exist today.”16 This is certainly true, because it would not have been possible to duplicate the Hopkins model elsewhere as there would have been insufficient money to pay for multiple tiers of house staff at the base of the pyramid below the resident. When Heuer was recruited to New York Hospital and Cornell in 1932, he encountered difficulties similar to those at Cincinnati.19 A recent paper describes how the Halstedian surgical residency model further evolved “from an uncommon, idiosyncratic experience for elite practitioners to a standardized mandatory education for all American surgeons” between the 1930s and the 1950s.20

호이어에 의해 모집되었고 신시내티에서 그의 레지던트를 마친 또다른 홉킨스 출신의 보조 외과의사 닉 카터는 1952년 할스테드의 탄생 100주년을 기념하는 놀라운 조사를 발표했다. 할스테드는 33년 동안 외과 레지던트를 맡았고 17명의 레지던트들과 55명의 보조 레지던트들을 임명했다. 카터는 이 훈련생들 중 얼마나 많은 사람들이 최고의 학문적 외과의가 되었고 다음 세대의 학문적 외과의들을 훈련시켰는지를 요약한다.  이들은 할스테드의 광범위한 외과 제자들의 간부가 되었다. 두 번째 연구에서 카터는 또한 신시내티에서 25년 동안 외과 레지던트 프로그램이 운영된 후 높은 수준의 학업 성공을 발견했다. 교육생 중 약 3분의 2가 교수직을 맡아서 더 많은 제자를 배출했다. 할스테드의 많은 제자들의 자손들은 북아메리카의 거의 모든 레지던트 훈련 프로그램에 영향을 미쳤을 것이다.
Another Hopkins-trained assistant surgeon who had been recruited by Heuer and who completed his residency in Cincinnati, Nick Carter, published a remarkable survey in 1952 on the centenary of Halsted’s birth. Halsted had directed his surgical residency for 33 years and appointed 17 residents and 55 assistant residents. Carter summarizes how many of these trainees became top academic surgeons and trained the next generation of academic surgeons. 21 These became Halsted’s extensive cadre of surgical disciples. In a second study, Carter also found a high level of academic success in Cincinnati after its surgery residency program had been in operation there for 25 years.22 Approximately two-thirds of its trainees held faculty positions, thus generating more disciples. Likely, the offspring of Halsted’s many disciples and their disciples have influenced almost all residency training programs in North America.

할스테드 중독의 결과
Consequences of Halsted’s addiction

할스테드의 중독이 그의 경력에 끼친 가장 분명한 영향은 "그는 과학 조사, 외과 레지던트 조직, 개선된 수술 기술의 개발, 그리고 외과적 문제에 대한 집중적인 연구에 그의 삶을 바친 느리고 고된 외과의사가 되었다. 본질적으로, 그는 많은 수술의 수행보다는 사색과 성찰에 집중했습니다." 

The most obvious effect of Halsted’s addiction on his career was that “he became a slow, painstaking surgeon who devoted his life to scientific investigation, organization of a surgical residency, development of improved operative techniques, and intense study of surgical problems; in essence, he concentrated on contemplation and reflection rather than the performance of many operations.”23

하워드 마켈은 부정적인 결과에 주목한다.
Howard Markel notes negative consequences:

수술실에서 할스테드의 변덕스러운 행동 외에도, 그의 행방이 묘연할 때 자주 병원에 가지 않는 것에서부터, 병실을 걸을 때 가까운 동료들을 피하는 것까지 (아마도 그가 영향을 받고 있었고, 그가 인지할 수 있는 사람들에 의해 정밀하게 조사 받기를 원하지 않았기 때문일 것이다),그는 매일 오후 4시 30분에 집에 가서 저녁 식사 전에 90분 동안 서재에 틀어박혀, 더러운 린넨을 파리의 전용 세탁소에 보내는 그의 이상한 습관(깨끗한 셔츠보다 더 많은 것을 돌려보냈을지도 모른다)이 있었다. 그리고 가장 골치 아픈 것은 수술실에서 사용된 모르핀과 코카인에 쉽게 접근할 수 있다는 것이다. — 엔도르핀과 코카인을 목숨이 다할 때까지 계속 남용한 것 같다.
…in addition to Halsted’s erratic behaviour in the operating room, circumstantial evidence — ranging from his frequent absences from the hospital when his whereabouts were unknown to his avoidance of close colleagues when he was walking the wards (perhaps because he was under the influence and did not wish to be scrutinized by those who might recognize this), his going home daily at 4:30 p.m. and locking himself in his study for 90 minutes before dinner, his curious habit of sending his soiled linen to an exclusive laundry in Paris (which may have sent back more than clean shirts), and, most troubling, his easy access to morphine and to the cocaine that was used in the operating room... — suggests that he continued to abuse morphine and, I suspect, cocaine until the end of his life.24

실제로 할스테드는 1895년 ~ 6월에 5 ~ 6개월의 결석을 포함하여 다수의 설명되지 않은 결석을 가지고 있었는데, 그가 그를 돌아오게 하려는 신탁 위원회의 반복적인 시도를 무시하고 규율을 위하여 의료 위원회에 회부되었다. 1893년 이후 할스테드의 세 번째 전공의인 조지프 콜트 블러드굿(1867-1935)은 하비 쿠싱과 함께 보조 전공의로 지냈다. 이것은 본질적으로 그의 부재를 커버하는 올스타 팀이었다. 얼마 지나지 않아 블러드굿은 할스테드의 첫 조수로 일하면서 외과 의사로 승진했고, 하비 쿠싱은 레지던트로 승진했다. 폴 프리드먼이 정확하게 지적한 바와 같이: "만약 할스테드가 오늘날 의사를 하고 있었다면, 그는 아마도 그의 자리에서 즉결 해고되고 의사 개업 면허를 잃게 될 것입니다." 사실, 이 행동이 잘 알려졌더라면, 그때도 받아들여질 것 같지는 않다. 의심했을 법한 사람들은 그들의 의심을 추구하지 않았다. 오슬러와 웰치도 일단 알게 되더라도 그를 신고하지 않았다. 의심할 여지 없이, 그들은 이것을 정당화할 수 있었다. 당시에 중독에 대한 이해는 불완전했고, 할스테드는 안전하고 세계적인 수준의 외과 서비스를 운영하고 있었기 때문이다. 물론 권력 차이를 고려할 때 엽기적인 행동을 관찰한 그의 훈련생들은 그를 자수할 처지가 아니었다. 게다가, 대부분은 그에게 신세를 졌다. Halsted의 중독에 대한 자세한 내용은 canjsurg.ca/003319-a1의 부록 1을 참조하십시오.

In fact, Halsted had multiple unexplained absences, including a 5–6 month absence in 1895–6, when he ignored the Board of Trustees’ repeated attempts to get him to return and was referred to the medical board for discipline.23 Conveniently, Joseph Colt Bloodgood (1867–1935), Halsted’s third resident (since 1893),8 simply stayed on with Harvey Cushing as an assistant resident. This was essentially an all-star team covering his absence. Shortly after this, Bloodgood was promoted to associate in surgery, serving as Halsted’s first assistant, and Harvey Cushing was promoted to resident.8 As Paul Friedman correctly notes: “If Halsted were practising today, he would probably be summarily fired from his position and lose his license to practise medicine.”25 In fact, it is unlikely that this behaviour would have been accepted even then, had it been well known. Those who might have suspected did not pursue their suspicions. Even Osler and Welch did not turn him in once they knew; undoubtedly they could justify this, as addiction was poorly understood and Halsted was running a safe, world-class surgical service. Certainly, considering the power differential, his trainees who observed bizarre behaviours were not in a position to turn him in; furthermore, most were beholden to him. For additional details on Halsted’s addiction, see Appendix 1 at canjsurg.ca/003319-a1.

듀크 대학 외과 레지던트였던 전 할스테드 레지던트인 데릴 하트에 따르면, 할스테드 박사의 레지던트 시스템 개발에 그 어떤 사건보다도 영향을 준 것으로 보이는 두 사건은 그의 유럽 경험이었는데, 특히 [처음 2년간의 연구 경험]과 [코카인에 대한 우연한 중독]이었다. 하트의 논평은 우리의 전제를 지지하는 것처럼 보이지만, 그는 이 진술의 후반부에 대해 확장하기로 선택하지 않았다.

According to Deryl Hart, a former Halsted resident who went on to start the Duke University surgical residency, “The two events that seem to have influenced Dr. Halsted more than any others in the development of his residency system were his European experiences, particularly the first two years of study, and his accidental addiction to cocaine.”26 While it appears that Hart’s comment supports our premise, he did not choose to expand on the latter part of this statement.

독일의 체제와 그것이 할스테드에 미치는 영향.
The German system and its influence on Halsted

유럽, 특히 독일은 19세기 후반 추가 의학 및 외과 수련의 메카였고, 유학 수단을 갖춘 새로운 의학 졸업생들이 몰려들었다. 의대를 졸업한 후, 할스테드는 1878년부터 1880년까지 유럽으로 가서 기초 과학, 주로 해부학과 외과학을 공부하였다. 뉴욕의 부유한 사업가의 아들로서, 그는 적어도 19명의 다른 유럽의 의학/외과 학자들과 함께 공부할 수 있는 수단을 가지고 있었다. 러트코우가 지적했듯이, 이것은 그가 "나중의 삶에 매우 중요한 지적, 문화적 절충주의"를 획득할 수 있게 해주었다. 외과 교육과 훈련에 대한 할스테드의 생각은 이 여행에 의해 깊은 영향을 받았다. 루트코프는 "할스테드는 많은 자료로부터 이끌어냈지만, 가장 중요한 것은 1878년부터 1880년까지 유럽을 처음 방문했을 때의 집단적 교육 경험이었다"고 결론짓는다. 

Europe, particularly Germany, was the Mecca for additional medical and surgical training in the latter half of the 19th century, and new medical graduates with the means to study abroad flocked there. After graduating from medical school, Halsted went to Europe from 1878 to 1880 to study both basic sciences, primarily anatomy, and surgery. As the son of a well-to-do businessman in New York, he had the means to study with at least 19 different European medical/surgical scholars. As noted by Rutkow, this allowed him to acquire “an intellectual and cultural eclecticism so important to his work of later life.”27 Halsted’s ideas about surgical education and training were profoundly influenced by this trip. Rutkow concludes that “Halsted drew from many sources, but the most important was the collective educational experience of his first visit to Europe in 1878–1880.”27

Halsted가 홉킨스에서 만든 레지던트 훈련 프로그램은 독일 시스템을 명확하게 모델링했습니다. 특히 기초과학과 실기임상훈련의 통합, 전임교원의 존재감, 그리고 최고의 실력자만이 정상에 오를 수 있었던 선진화 경쟁력에 감탄했다. 러트코프에 따르면
Halsted clearly modelled his residency training program at Hopkins on the German system. In particular, he admired its integration of basic sciences and practical clinical training, the presence of full-time faculty, and the competitiveness for advancement, which allowed only the very best to rise to the top. According to Rutkow,

그러나 그의 외과 레지던스 시스템은 독일인의 접근 방식을 정확히 모방한 것이 아니라 근접한 절충안이었다. 그는 보다 명확하게 정의된 조직과 직무 분담을 주장했다. 전공의가 마음대로 결정할 수 있는 수술 재료가 더 많았고, 실제 임상문제와의 친밀한 접촉이 많았으며, 순수 기초과학에 대한 집착이 적었으며, 교수자보다는 전공의에게 책임과 권위가 집중되어 있었다. 
His surgical residency system, though, was not an exact duplicate of the German approach, but instead a close compromise. He insisted on a more clearly defined pattern of organization and division of duties. There was a larger volume of operative material at the disposal of the residents, a more intimate contact with practical clinical problems, less preoccupation with pure basic sciences and a concentration of responsibility and authority in the resident rather than the teacher.27

이 모든 차이는 그의 주위에 높은 수준의 질서를 유지하려고 노력하는 고기능 중독자에게 예측할 수 있을 것이다. 다른 사람들은 그가 중독된 동안 기능했던 방법 중 하나는 직장에서나 집에서나 고도로 질서 있는 생활방식을 유지하는 것이었다고 언급했다. 고도로 숙련되고 동기부여가 된 전공의들에게 많은 수술과 임상 문제의 해결을 맡기고, 그의 전공의들에게 더 많은 책임을 부여한 것은 분명히 전공의 교육을 촉진시켰지만, 이러한 경향은 또한 Halsted가 낮은 일일 업무량을 유지하여 많은 시간을 사색에 보낼 수 있도록 해주었기 때문에 이기적인 것이었다. 심지어 그의 전체 작전의 성공에 결정적인 주민 선발과 승진은 때때로 할스테드보다 할스테드의 노동력과 더 많은 시간을 보낸 상급 전공의에게 위임되었고, 따라서 이러한 중요한 결정을 내리기에 더 좋은 위치에 있었다.

All of these differences might be predictable for a high-functioning addict striving to maintain a high degree of order around him. Others have noted that one of the ways he functioned while addicted was by maintaining a highly ordered lifestyle, both at work and at home.6,24 Leaving much of the operative work and resolution of clinical problems to his highly skilled and motivated cadre of residents and giving his residents increased responsibility clearly promoted resident education, but these tendencies were also self-serving as delegation of these responsibilities allowed Halsted to maintain a lower day-to-day profile and spend much of his time in contemplation. Even selection and promotion of residents, which was critical to the success of his whole operation, was sometimes delegated to the senior resident, who spent more time with Halsted’s workforce than Halsted did and, thus, was in a better position to make these important decisions.

Halsted의 레지던트 프로그램 프로그램은 Hopkins의 다른 프로그램들과 어떻게 비교되었습니까?
How did Halsted’s residency progrgam compare with others at Hopkins?


3개의 다른 현대 홉킨스 레지던트 프로그램과 직접 비교함으로써 할스테드의 외과 레지던트 프로그램 설계에 그의 중독을 숨길 필요가 있었다는 설득력 있는 사례를 구축하는 데 도움이 된다. 앞서 언급했듯이, 오슬러는 최초의 현대적 전공의 훈련 프로그램을 개발했다. 직후에, Halsted, Howard A. 켈리(1958-1943)와 웰치는 각각 외과, 산부인과, 병리학과 프로그램을 개발했다. 10 초기 홉킨스의 모든 전공의 프로그램은 적어도 독일 모델을 기반으로 한 것으로 생각된다. 사실 홉킨스 의과대학의 전반적인 교육 프로그램도 마찬가지였다. 모든 임상 분야가 인턴십을 했지만, 이 다른 3명의 홉킨스 창립 교수들 중 누구도 엄격한 피라미드 레지던트 모델을 개발하지 않은 것으로 보이며, 따라서 그들이 제공한 교육은 더 개인적이고 실제적이었다. 오슬러는 홉킨스에서 15년 동안 5명의 전공의를 훈련시켰다. 몇몇 보조 전공의들이 있었을 가능성이 있지만, 그들에 대해 알려진 것은 거의 없다. 오슬러의 5명의 레지던트들은 병원에서 "house officers"로 생활하면서 오슬러의 생활 욕구를 충족시켜주었고, 오슬러가 여행을 할 수 있게 해주었다. 오슬러의 전공의들은 그의 집에 자주 손님이었고, 그들 중 몇 명은 그가 없을 때 그의 도서관에 있는 책을 접할 수 있도록 그의 집 열쇠를 가지고 있었다.28 이것은 할스테드가 전공의들과의 먼 관계를 유지하고, 비밀스러운 생활 방식을 영유한 것과 극명한 대조를 이루었다. 켈리는 현대 부인과 레지던트 훈련의 아버지로 여겨지지만, 그 구조에 대해서는 거의 기록되어 있지 않다. 컬렌(1868-1953)은 1896년에 레지던트를 시작했고 1897년에 하급 직원으로 고용되었다. 웰치의 병리학 레지던시는 피라미드가 아니었다.31 이러한 프로그램들은 각 멘토들의 필요를 충족시키기 위해 부분적으로 설계되었을 가능성이 높았지만, Halsted의 프로그램의 높은 수준의 중복성을 가지고 있거나 매일의 조사로부터 교수를 보호하는 방식으로 설계된 것은 없었다.

A direct comparison with the 3 other contemporary Hopkins residency programs helps build a compelling case that a need to hide his addiction played a role in the design of Halsted’s surgical residency program. As noted earlier, Osler developed the first modern residency training program; shortly after this, Halsted, Howard A. Kelly (1958–1943) and Welch developed programs in surgery, gynecology and pathology, respectively. 10 All early Hopkins’ residencies are thought to be at least loosely based on German models; in fact, the overall educational program at Hopkins Medical School was as well. While all clinical disciplines had internships, none of these other 3 founding Hopkins professors appear to have developed a rigidly pyramidal residency model and, therefore, the training they offered was more personal and hands-on. Osler trained 5 residents during his 15 years at Hopkins; their tenures ranged from 15 months to 7 years. While there were likely some assistant residents, little is known about them. The lengthy tenure of Osler’s 5 residents, who as “house officers” lived in the hospital, met Osler’s lifestyle needs and allowed him to travel. Osler’s residents were frequently guests at his house, and several of them had keys to his house so that they could access books in his library when he was away.28 This was in stark contrast with Halsted’s distant relationship with his residents and his secretive lifestyle. While Kelly is considered to be the father of modern gynecology residency training,29 little has been written about its structure; however, it was clearly not a rigid pyramid, since it is known that Thomas S. Cullen (1868–1953) began his residency in 1896 and was hired into a junior staff position in 1897.30 Welch’s pathology residency was not a pyramid.31 While each of these programs was likely designed in part to meet the needs of each mentor, none had the high level of redundancy of Halsted’s program or were designed in such a way as to protect its professor from day-to-day scrutiny.


특히 임상적 수입을 얻을 수 있는 다른 두 명의 임상의인 오슬러와 켈리는 GFT 보수 제도에 강하게 반대했다. 사실 켈리는 이 문제로 홉킨스를 사임하고 볼티모어 병원으로 진료소를 옮겼으며 개인 진료도 허용했다. 오슬러는 거의 10년 전에 옥스포드로 이사했지만, 그는 GFT 시스템이 발표되었을 때 홉킨스의 구현에 반대했다. 반면에 할스테드는 GFT를 받아들였고, 그는 독립적으로 부유했고, 그것은 그의 residency을 보조했다. 오슬러와 켈리 둘 다 trainee들은 참여시키지 않으며 운영한, 수익성 높는 개인 진료실이 있었다.

Notably, the 2 other clinicians capable of earning clinical incomes, Osler and Kelly, were strongly opposed to the GFT remuneration system. In fact, Kelly resigned from Hopkins over this issue, moving his practice to Baltimore hospitals allowing fee-for-service private practice.29 Although Osler had moved to Oxford almost 10 years earlier, he vocally opposed the implementation of the GFT system at Hopkins when it was announced.32,33 Halsted, on the other hand, embraced it, as he was independently wealthy and it subsidized his residency. Both Osler and Kelly had lucrative private practices that they managed without involving trainees.

결론
Conclusion

외과 레지던트 모델은 19세기에 Halsted와 함께 시작되었다. 그것은 부분적으로 독일 모델을 기반으로 했지만, Halsted의 프로그램의 많은 측면들은 그가 그의 중독을 숨기는 것을 돕고, 동시에 그의 환자들을 위한 치료를 최적화하기 위해 신중하게 설계되었다. 중요한 요소는 Halsted에게 충분한 사색 시간을 제공하는 것이었는데, 이는 위에서 언급한 바와 같이 다른 현대 홉킨스 레지던트 프로그램에서는 볼 수 없는 독특한 요소였다.

The surgical residency model originated with Halsted in the 19th century; it was partially based on a German model, but many aspects of Halsted’s program were carefully designed to help him hide his addiction and simultaneously optimize care for his patients. A critical element was providing Halsted with ample time for contemplation, which was possible only because of the extreme delegation of clinical and educational work to his trainees, which as noted above, was a unique element not seen in the other contemporary Hopkins residency programs.

Halsted의 모델은 Hoeer에 의해 홉킨스 환경 밖에서 작동하도록 수정되었으며, 이 모델은 본질적으로 북미 표준이 되었다. 현재의 북미 시스템에서 전공의의 진급은 예측 가능하고 "사각형"인 반면, 일부 [피라미드형] 프로그램은 20세기 전반의 4분의 3 동안 지속되었다. 마지막으로, Halsted의 레지던트 개념의 탁월함은 20세기 전반의 외과적 리더십이 되었을 때 그의 초기 레지던트들에 의해 처음부터 인정받았다는affirmed 점에 주목해야 한다. 게다가, 그의 가장 큰 업적은 그의 레지던트 프로그램이라는 것에 동의함으로써, 그의 초기 전공의들은 각각 12-14년 동안 훈련(대부분 무료로 일함)에 투자했고, 동시에 그의 가장 큰 업적 중 하나라는 지위를 스스로에게 주었다. 이것은 어떤 면에서는 이기적이지만, 여러 면에서는 정말로 그랬다.
Halsted’s model was modified by Heuer to work outside of the Hopkins environment, and this model essentially became the North American standard. While resident advancement in the current North American system is predictable and “square-shaped,” some pyramidal programs persisted for the first three-quarters of the 20th century. Finally, it should be noted that the brilliance of Halsted’s residency concept was initially affirmed by his former residents, when they became the surgical leadership of the first half of the 20th century.17 Furthermore, by agreeing that his greatest accomplishment was his residency program, his former residents, who had each invested 12–14 years in training (much of it working for free),34 simultaneously conferred upon themselves the status being one of his greatest accomplishments. While in some ways this is self-serving, in many ways, they really were.5

외과 레지던스가 급진적이고 극적인 변화를 겪고 있는 지금, 우리는 외과 레지던시 프로그램의 역사와 이러한 프로그램을 형성한 영향을 반성해야 한다. 우리의 분석은 Halsted의 중독을 중요한 요소로 식별하고 강조합니다. 우리는 할스테드를 비난하지는 않지만, 할스테드 외과 레지던트의 구조에 대한 동기를 면밀히 분석하고 비판한다면 그의 중독이 주요 영향요인이었음을 시사하고 있다.

At a time when surgical residencies are undergoing radical and dramatic changes, we should reflect on the history of surgical residency programs and the influencing factors that shaped these programs. Our analysis identifies and highlights Halsted’s addiction as an important factor. While we are not condemning Halsted, we are suggesting that if one carefully analyzes and critiques the motivation for the structure of the Halsted surgical residency, his addiction was a major influencing factor.


Can J Surg. 2020 Jan 16;63(1):E13-E19. doi: 10.1503/cjs.003319.

Necessity is the mother of invention: William Stewart Halsted’s addiction and its influence on the development of residency training in North America

Affiliations collapse

Affiliation

1From the Departments of Pathology & Laboratory Medicine, Paediatrics, and Surgery, University of Calgary Cumming School of Medicine, Calgary, Alta. (Wright, Schachar).

PMID: 31944636

PMCID: PMC7828946

DOI: 10.1503/cjs.003319

Free PMC article

Abstract

William Stewart Halsted developed a novel residency training program at Johns Hopkins Hospital that, with some modifications, became the model for surgical and medical residency training in North America. While performing anesthesia research early in his career, Halsted became addicted to cocaine and morphine. This paper dissects how his innovative multi-tier residency program helped him hide his addiction while simultaneously providing outstanding patient care and academic training.

집단적 역량: 개인적 전문성에서 협력적 전문성으로 (Perspect Med Educ, 2020)
Collective competence: Moving from individual to collaborative expertise
Sylvia Langlois

 

다면적인 건강 문제를 가진 개인은 보다 총체적이고 환자 중심적인 대응에 도전하는 접근 방식인 단일 질병 패러다임 내의 전문화에 초점을 맞추어 점점 더 단편화된 의료 시스템 내에서 관리되고 있다[1,2,3]. 뛰어난 치료를 제공하기 위해서는 전문적 전문 지식이 필요합니다. 그러나 복잡성이 증가함에 따라 집단적, 팀 기반 전문성을 고려해야 합니다. 그러나 교육 내에서는 의료 실무 환경 및 전문 조직 개인의 전문적 성과가 집단적 팀 역량보다 중요시되는 경우가 많습니다 [4].

Individuals with multi-faceted health issues are being managed within healthcare systems that have become increasingly fragmented, often with a focus on specialization within single-disease paradigms, an approach that challenges a more holistic, patient-centred response [1,2,3]. Specialized profession-specific proficiency is required to deliver excellent care; however, with growing complexity comes the additional need to consider collective, team-based expertise. Yet, within education, healthcare practice settings, and professional organizations individual professional performance is often valued over collective team competence [4].

의료 전문 교육 프로그램에서는 원하는 성과와 결과를 설명하는 [역량 기반 접근 방식]이 탄력을 받고 있다. 캐나다 왕립 내과 및 외과의사 협회가 개략적으로 설명한 CanMEDs 프레임워크와 캐나다 직업치료사 협회[6]가 사용하는 유사한 프레임워크와 같은 이러한 직업별 역량은 해당 직업에서 교육, 실습 및 지속적인 직업 개발을 안내한다. 인용된 두 프레임워크에 공동작업자Collaborator 역할이 포함되었음에도 불구하고, 이 영역의 역량은 공동작업 관행을 다루는 시나리오(예: [7])에서 측정된 경우에서 조차 일반적으로 [개인별 성과]를 기반으로 한다. 새로운 팀 기반 평가 도구를 통해 일부 환경에서 의료 서비스 제공이 최적의 접근 방식과 전체론적 관리를 보장하기 위한 [협업 초점]의 고려로 전환되기 시작했습니다[8].
In health professions educational programs, a competency-based approach outlining desired performance and outcomes, has been gaining momentum. These profession-specific competencies, such as the CanMEDS framework outlined by the Royal College of Physicians and Surgeons of Canada [5] and a similar framework used by the Canadian Association of Occupational Therapists [6], guide education, practice, and continuing professional development in their corresponding professions. Despite the inclusion of the Collaborator role in both frameworks cited, competence in this domain is typically based on individual performance, even when measured in scenarios addressing collaborative practice (e.g. [7]). With emerging team-based assessment tools, healthcare delivery in some settings is beginning to see a shift to consideration of a collaborative focus to ensure optimal approaches and holistic care [8].

본 호에 게재된 Matus 등의 논문에서, 저자는 전문적 역할을 발전시키고 이행하기 위해 어려운 의사 결정 과정에 직면하여 복잡한 능력을 필요로 하는 직업 치료사의 학습을 지원하는 헌신적인 전문가의 가치를 다룬다[9]. 많은 직업별 역량과 마찬가지로, 저자들은 평가와 최적의 환자 관리를 개선하기 위한 목적으로 개별 전문가 수준에서 이러한 역량을 다룬다. 그러나 이러한 전문적 역량을 넘어서는 것은 집단적 역량으로, 환자 시나리오의 전체적인 관리에 필요한 팀 성과를 반영한다. 그들의 논문의 초점은 아니지만, 팀 기반 평가를 지원하는 추가 접근 방식은 의도된 전체론적 대응에 크게 기여할 수 있다.
In the paper by Matus et al., published in this issue, the authors address the value of dedicated experts supporting the learning of occupational therapists who require complex capabilities in the face of challenging decision-making processes to advance and fulfill their professional roles [9]. As with many profession-specific competencies, the authors address these capabilities on the individual professional level with the intent of enhancing the provision of assessment and optimal patient care. However, extending beyond these profession-specific competencies are collective competencies, reflecting team performance needed for holistic management of patient scenarios. While not the focus of their paper, additional approaches that support team-based assessments may significantly contribute to the intended enhanced holistic response.

[개인의 전문적 역량]이 필요하다고 인정되지만, 그것만으로 [집단적 역량]을 보장하기는 역부족이다. 집단적 또는 팀적 역량은 단순히 [전문 조직이 정의한 대로 역량을 입증하는 개별 전문가의 합]을 나타내는 것이 아닙니다. 오히려 집단적 역량은 임상의사, 환자 및 가족 구성원과 조직 환경 간의 [복잡한 상호 작용 네트워크] 내에 위치하며 [현저하게 맥락화]된다. 팀에 대한 광범위한 연구에서, 링가드는 집단 역량의 흥미로운 특징들을 관찰했는데, 특히 어떤 팀이 무능력할 때 여전히 개인은 유능할 수 있고, 한 팀이 한 시나리오에서는 유능할 수 있지만 다른 시나리오에서는 반드시 유능할 수 없다는 점이 두드러졌다[10]. 또한, Lingard는 공동 작업, 팀 기반 실습의 세계에서 일반적으로 가지고 있는 몇 가지 신념을 탐구합니다 [10, 11]. 예를 들어 팀워크를 강화하기 위해 자주 참조되는 접근법은

  • [임상의가 다른 사람의 역할과 책임을 잘 이해한다]면 팀은 유능할 것이고,
  • [모든 팀 구성원이 개별 환자의 요구에 공통적으로 초점을 맞추면] 팀은 잘 기능할 것이라는 믿음이다.

비록 중요하지만, 이 접근법만으로는 집단적 역량을 창출하기에 충분하지 않다.
While individual professional competence is recognized as necessary, it is not sufficient to ensure collective competence. Collective or team competence does not simply represent a collection of individual professionals who demonstrate competency, as defined by their professional organizations. Rather, collective competence is situated within a network of complex interactions among clinicians, the patient and family members, and the organizational setting, and is markedly contextualized. In her extensive study of teams, Lingard has observed interesting characteristics of collective competence, notably that teams can still be competent when a member is incompetent, and that a team may be competent in one scenario but not necessarily in another [10]. Additionally, Lingard explores several commonly held beliefs in the world of collaborative, team-based practice [10, 11]. For example, an oft referenced approach to enhance teamwork is the belief that

  • if clinicians have a good understanding of the roles and responsibilities of others then the team would be competent, or
  • if all team members had a common focus on the individual patient needs, then the team would function well.

Although important, this approach alone is not sufficient to create collective competence.

이 개념을 더 탐구할 때, 우리는 보어햄과 [집단적 역량 이론]의 발견물들의 합성을 살펴볼 수 있다.

  • 직장 내 사건에 대한 집단적 이해
  • 집단적 지식기반의 개발 및 활용
  • 상호의존감의 조성 [12, 페이지 5].

In exploring this notion further, we can look to Boreham and his synthesis of findings in the theory of collective competence, where he notes the following three foundational elements:

  • Making collective sense of events in the workplace;
  • Developing and using a collective knowledge base;
  • Developing a sense of interdependency [12, p. 5].

 

의료 분야에서는 자신의 특정 직장 요구사항, 조직 및 정부 지침의 영향, 더 광범위한 사회적 상황 및 건강 결정 요인을 이해하기 위해 집단적으로 일하는 팀 구성원이 직장 환경과 기대치를 집단적으로 이해할 수 있는 위치에 배치된다. 집단 지식 기반의 개발은 팀 구성원 간의 협업, 커뮤니케이션 및 이해를 증진시킵니다. 그러한 예 중 하나는 캐나다 병원에 기반을 둔 외래 환자 프로그램인 관절염 프로그램에 있다. 수상 경력이 있는 이 전문가 간 프로그램은 다양한 형태의 관절염 진단을 받은 개인에게 팀 기반 치료를 제공한다[13]. 활동성 관절에 대한 평가는 질병 상태와 환자 경험 모두를 이해하는 데 중요하기 때문에, 연구팀은 모든 구성원이 이러한 공통 지식과 기술을 공유해야 한다는 데 동의했다. 이를 달성하기 위해, 그들은 환자를 평가하도록 집단적으로 훈련되어 결과 보고에서 높은 수준의 일치성을 보장한다. 팀 구성원은 여전히 자신의 전문 지식에 대한 책임을 지지만, 공유된 지식과 평가는 협력적인 접근 방식을 촉진합니다. 따라서 팀 역학에 의도적으로 초점을 맞추고 구성원 간의 작업 관계를 공유하여 예외적인 환자 중심 프로그램을 제공한다. 마지막으로, 서로의 역할과 책임에 대한 상호의존감이 중요합니다. 팀에서 한 전문가가 한 선택과 권고는 다른 임상의의 의사 결정 과정과 궁극적으로 치료를 받는 환자에게 영향을 미칠 수 있다.
Within healthcare, team members who work collectively to understand their specific workplace requirements, impact of organizational and government directives, as well as broader societal circumstances and determinants of health are positioned to make collective sense of their workplace environment and its expectations. The development of a collective knowledge base enhances collaboration, communication, and understanding among team members. One such example is situated in a Canadian hospital-based outpatient program, the Arthritis Program. This award-winning interprofessional program offers team-based care to individuals diagnosed with various forms of arthritis [13]. Since assessment of active joints is critical to understanding both the disease state and patient experience, the team has agreed that all members should share this common knowledge and skillset. To achieve this, they are trained collectively to assess the patient, ensuring a high degree of congruence in resulting reports. Team members still assume responsibility for their own professional expertise, but shared knowledge and assessments foster a collaborative approach. Congruently, they have an intentional focus on team dynamics and shared working relationships among members, resulting in offering an exceptional patient-centred program. Finally, a sense of interdependency regarding each other’s roles and responsibilities is critical. Choices and recommendations made by one professional on the team may have an impact on the decision-making process of other clinicians, and ultimately on the patient receiving care.

팀 프로세스 고려에 대한 지침은 [전문가 간 역량 프레임워크]에서 찾을 수 있습니다. 몇 가지 국제적 사례가 있지만, 캐나다 국제전문의료협력이 개발한 사례를 참고하겠다[14]. 역할 명확화, 전문가 간 갈등 해결, 팀 기능, 전문가 간 커뮤니케이션, 환자/고객/가족/지역사회 중심 의료 및 협업 리더십의 차원으로 설명되며, 각 차원은 구성원이 상호 작용하는 방식의 성장을 지원하는 팀의 가이드 역할을 합니다. 
Guidance on considering team processes can be found in interprofessional competency frameworks. Although there are several international examples, I will reference the one developed by the Canadian Interprofessional Health Collaborative [14]. The following dimensions of Interprofessionalism are described as:

  • Role Clarification,
  • Interprofessional Conflict Resolution,
  • Team Functioning,
  • Interprofessional Communication,
  • Patient/Client/Family/Community-Centred Care, and
  • Collaborative Leadership;

each serves as a guide for teams to support growth in how members interact with each other.

팀 기반의 비판적 사고, 문제 해결 및 성찰은 이러한 차원의 집단적 개발을 가능하게 한다. 이전 시나리오에서 설명한 바와 같이, (기술된 전문직 간 역량에 의해 결정되는 상호 작용 및 팀 역학을 포함한) 프로세스와, (작업 지향적이고 임상적으로 관련성이 있는) 환자 중심 콘텐츠에 주의를 기울인 균형잡힌 팀 학습이 팀 기반 학습과 최적의 성과를 가능하게 할 것이다. 점점 더 많은 교육 환경에서, 전문직 간 교육 커리큘럼에 참여하는 보건 전문직 학생들의 협업 역량 개발에 초점을 맞추고 있으며, 개인 및 팀 기반 기술을 모두 다루고 있다. 예를 들어 토론토 대학교 전문직 간 교육 커리큘럼[15]이 있다. [협력적 역량]에 대한 평가는 [개인별 획득]에 고정되어 있지만, 학생들이 오랜 시간 동안 함께 일할 때 집단 역량이 측정되므로 이러한 관행을 향후 작업 환경으로 전환할 수 있다.

Team-based critical thinking, problem-solving, and reflection enable collective development of these dimensions. In practice settings, as described in the earlier scenario, the balance of explicit attention to team learning of task-oriented, clinically relevant, patient-focused content, as well as process, including interactions and team dynamics as determined by the interprofessional competencies described, will enable team-based learning and optimal performance. In a growing number of educational settings, a focus on collaborative competency development of health profession students, participating in interprofessional education curricula, addresses both individual and team-based skills; an example is the University of Toronto Interprofessional Education curriculum [15]. Although assessment of collaborative competencies is anchored in individual acquisition, collective competence is measured when students work together for an extended time, enabling them to translate the practice to future work settings.

결론적으로, 전문직-특이적 과제 수행을 위한 개인 역량은 효과적인 의료 행위의 중요한 구성요소이다. 그러나 집단적 팀 기반 역량의 맥락에서 집행enact되어야 한다. 이러한 [집단적 역량]을 개발하려면, 팀은 [의료행위 영역과 관련된 전문 지식]과 그것들이 집단적으로 작동하는 방식을 다루는 [프로세스 구성요소] 모두를 명시적으로 다루어야 한다. 직장에서의 팀 기반 학습은 총체적이고 환자 중심의 개입과 관리에 필요한 관련 기술과 업무를 육성하여 개인과 집단적 역량을 포용하는 중요한 문화적 변화를 가능하게 할 것이다.

In conclusion, individual competency in profession-specific tasks is indeed a critical component of effective healthcare practice; however, it must be enacted within the context of collective team-based competency. To develop these collective competencies, teams must explicitly address both expertise relevant to the area of practice and process components that address how they function collectively. Team-based learning in the workplace will foster pertinent skills and tasks required for holistic, patient-centred interventions and management, enabling the important cultural shift that embraces individual as well as collective competence.


 

Perspect Med Educ. 2020 Apr;9(2):71-73. doi: 10.1007/s40037-020-00575-3.

Collective competence: Moving from individual to collaborative expertise

Affiliations collapse

Affiliations

1Centre for Interprofessional Education, University of Toronto and University Health Network, Toronto, Canada. s.langlois@utoronto.ca.

2Department of Occupational Science and Occupational Therapy, University of Toronto, Toronto, Canada. s.langlois@utoronto.ca.

PMID: 32246405

PMCID: PMC7138779

DOI: 10.1007/s40037-020-00575-3

내리막길로 깡통 차기 - 의과대학이 자기조절에 실패한다면 (NEJM, 2019)
Kicking the Can Down the Road — When Medical Schools Fail to Self-Regulate
Sally A. Santen, M.D., Ph.D., Jennifer Christner, M.D., George Mejicano, M.D., and Robin R. Hemphill, M.D., M.P.H.

 

 


매년 봄 미국 의대 졸업식에서는 학생문제와 교과과정이 무대에 올라 졸업생들과 함께 학생들에게 해를 끼치지 않고 두건을 씌우고 악수를 하며 의학박사 학위를 수여한다. 그러는 동안, 그들은 마음속으로 그들이 가족을 돌보는 것을 허락하지 않는 이런 새로운 의사들 중 한 두 명(혹은 그 이상)이 있다는 것을 알고 있다. 이러한 학생들의 학업 한계나 비전문적인 행동을 알고 있는 학장들은 그럼에도 불구하고 그들이 졸업하도록 허용한다. 우리는 부적절하거나 부적절한 후보자들이 의사가 되는 것을 허용하는 것은 용납될 수 없다고 생각하며, 이런 식으로 우리의 책임을 계속 소홀히 할 수 없다. 
Every spring at U.S. medical school commencements, deans of student affairs and curriculum stand on stage, pledge along with the graduating class to do no harm and hood their students, shake their hands, and confer their medical doctorate degrees. All the while, they know in their hearts that there are one or two (or possibly more) of these new doctors whom they would not allow to care for their family. Aware of these students’ academic limitations or unprofessional behavior, the deans nonetheless allow them to graduate. We believe that allowing inadequate or inappropriate candidates to become doctors is unacceptable, and we cannot continue to neglect our responsibility in this way.

물론 일부 학생들이 고군분투하고 의과대학이 학업이나 전문성으로 어려움을 극복하기 위해 그들과 함께 일하는 것은 자연스러운 일이다. 학생에 대한 데이터는 없지만, 의사들이 범하는 일부 비전문적인 행동이 교정될 수 있다는 증거가 있다.1 그러나, 드물게, 비전문적인 행동에도 불구하고 졸업이 허용된 학생들은 파괴적이거나 무능한 임상의가 된다.  
It’s natural, of course, for some students to struggle and for medical schools to work with them to overcome their difficulties with academics or professionalism. Though there are no data on students, there is evidence that some unprofessional behavior on the part of practicing physicians can be remediated.1 In rare cases, however, students who are permitted to graduate despite unprofessional behavior go on to become disruptive or incompetent clinicians.2,3

환자를 돌보는 것은 의사로서 우리의 책임이고, 안전하고 인정 많은 보살핌을 제공할 수 있는 유능한 인력을 개발하는 것은 의료 교육의 지도자로서 우리의 의무입니다. 의료 실수는 지속적으로 저지르고 위해를 초래하며, 대부분은 주로 시스템적 문제에 기인하지만, 일부는 의료진의 시스템 작업 어려움, 의사소통 불능, 지식 부족 또는 전문적이지 못한 행동에서 비롯된다.4 
It is our responsibility as physicians to care for our patients, and our duty as leaders in medical education to develop a competent workforce that will provide safe and compassionate care. Medical errors continue to be committed and to cause harm, and though most are attributable primarily to systemic problems, some result from a physician’s difficulty working in the system, inability to communicate, lack of knowledge, or unprofessional actions.4

게다가, 몇몇 의사들은 범죄나 악의적인 행위를 저지른다; 그러한 사건들은 다른 화이트칼라 분야와 비슷한 비율로 의학에서 발생한다. 이 의사들이 전문적이지 않은 행동을 할 것이라고 더 빨리 예측할 수 있을까요? 증거는 우리가 할 수 있다는 것을 시사한다; 주 의료 위원회에 의해 승인을 받은 의사들은 이전에 그들의 전문성에 대해 질문을 받았고, 승진 위원회에 의해 문제가 있는 것으로 확인되었으며, 시험에서 좋지 않은 성적을 거둔 다른 의사들보다 더 가능성이 높다. 2,3 그러나 의과대학은 계속해서 졸업해야만 하는 학생들을 배출한다. 문제가 있는 학생의 제적을 장려하는 인센티브 혹은 그것을 가로막는 장벽은 무엇인가? 
In addition, a few physicians commit criminal or malicious acts; such incidents occur in medicine at a rate similar to that in other white-collar fields. Could we predict sooner that these doctors will behave unprofessionally? Evidence suggests that we could; physicians who are sanctioned by state medical boards are more likely than other physicians to have had their professionalism questioned previously, to have been identified as problematic by promotions committees, and to have performed poorly on tests.2,3 Yet medical schools continue to graduate students who should not be physicians. What are the incentives for promoting — and the barriers to dismissing — problematic students?

의사들은 일반적으로 사람들을 돕고 학생들에게 유사한 자질을 배양하는 것을 목표로 하는 직업에 들어가는 동정심 많은 치료사이다. 우리가 행정적인 역할을 맡을 때, 우리는 학생들을 돕고자 하는 열망을 간직하고 있다. 그리고 학생들이 힘들어 할 때, 우리의 성향은 그들에게 투자하고 그들이 더 나은 의사가 되도록 돕는 것입니다.
Physicians are generally compassionate healers who enter the profession aiming to help people and to foster similar qualities in students. When we take on administrative roles, we retain the desire to help our students. And when students struggle, our inclination is to invest in them, working to help them become better doctors.

만약 문제의 학생들이 환자의 사생활, 학생들의 사생활, 그리고 장애가 있는 학생들의 권리에 대한 고려를 도입하는 정신 건강 문제를 가지고 있다면 이러한 상황은 더 복잡해질 수 있다. 그러한 학생들에 대한 [우리의 동정심과 존경심] 때문에, 우리는 종종 뒤로 물러서서, [그들이 의사가 되어서는 안 되고, 그들이 그렇게 하도록 우리가 더 이상 도와서는 안 될 때]를 인식하는데 어려움을 겪는다 - 환자들을 보호하는 우리의 주된 역할이 학생들에 대한 우리의 의무를 능가할 때.
These situations may be further complicated if the students in question have mental health problems, which introduce considerations of patient privacy, student privacy, and the rights of students with disabilities. Because of our sympathy and respect for such students, we often have a hard time stepping back and recognizing when they should not become physicians and we should no longer help them do so — when our primary role of protecting patients trumps our duty to students.

우리의 동정심 너머에는 학자금 빚이라는 끈끈한 문제가 있다. 종종 우리가 학생들을 제적시켜야 한다고 말할 수 있을 때쯤, 그들은 의과대학에 잘 들어갔고 수십만 달러의 빚이 있을지도 모른다. 우리는 해고된 학생들이 의사의 수입으로 이어질 의학 학위를 받지 못한다면 어떻게 그 빚을 갚을 수 있을지 궁금하다. 
Beyond our compassion, there is the sticky matter of student debt. Often by the time we can tell that students should be dismissed, they are well into medical school and may be hundreds of thousands of dollars in debt. We wonder how dismissed students can pay off that debt if they don’t come away with a medical degree that will lead to a physician’s income.

외부 요인도 관련되어 있습니다. 부학장들은 의과대학의 지도부가 학생들을 제적시키는 결정에 있어서 그들을 지지할 것이라고 항상 믿지는 않는다. 이러한 결정은 일반적으로 학술 검토 위원회에 의해 이루어지며 부학장에 의해 관리된다; 그것들은 종종 학장, 집행 위원회, 대학 총장 또는 다른 지도자들에게 호소된다. 이 지도자들은 학생 문제의 세부 사항에서 다소 벗어나고, 그들 자신의 압력을 가지고 있기 때문에 해고를 지지하지 않을 수도 있다. 그들은 또한 해고가 학교가 학생들을 지원하지 않는다는 신호로 인식될 것을 두려워할지도 모른다. 
External factors are also involved. Associate deans of education don’t always believe that the leadership of their medical school will support them in decisions to dismiss students. Such decisions are generally made by an academic review committee and managed by associate deans; they are often appealed to the dean, an executive committee, the university president, or other leaders, who may confirm or reverse them. These leaders may be rather removed from the details of student issues and, having their own pressures to contend with, may not endorse dismissal. They may also fear that dismissal will be perceived as a sign of the school’s failure to support its students.

의과대학 인가 과정에서는 학생들의 attrition rate을 보고해야 한다. 전반적으로, 미국의 의과대학은 약 3%의 학생들만이 학문적, 전문적, 개인적, 또는 의학적인 이유로 졸업하지 못할 정도로 낮은 편이다(NEJM.org에서 제공되는 보충 부록 참조). 평균보다 높은 감원 또는 해직률은 인증 및 채용에 영향을 미칠 수 있습니다. 미국 밖의 의과대학에서는 다소 높은 비율(평균 9%)이 학위를 마치지 못하고 있으며, 다른 전문학교의 attrition rate도 상당히 높다. 로스쿨(평균 20% 감소), 간호대(10~50%), 약대(10~14%), 박사과정(최대 50%)의 학생, 교직원, 행정관 등은 전문학교 지원자 선발이 불완전한 과정임을 인식하고 있는 것으로 보인다(보충 부록 참조). 그럼에도 불구하고, 전통적으로 미국 의과대학들의 낮은 attrition rate에 비추어 볼 때, attrition rate가 높은 학교는 스스로 명성을 위협하는 것이 된다.
The medical school accreditation process requires reporting student attrition rates. Overall, the U.S. medical school attrition rate is low, with only about 3% of students failing to graduate for any reason, whether academic, professional, personal, or medical (see the Supplementary Appendix, available at NEJM.org). A higher-than-average rate of attrition or dismissal might raise red flags, affecting accreditation and recruitment. In medical schools outside the United States, a somewhat higher proportion of students (9% on average, internationally) do not finish their degrees, and attrition in other professional schools is quite a bit higher; students, faculty, and administrators of law schools (20% attrition, on average), nursing schools (10 to 50%), pharmacy schools (10 to 14%), and Ph.D. programs (up to 50%) seem to recognize that selection of candidates for professional schools is an imperfect process (see the Supplementary Appendix). Still, in light of the traditionally low attrition in U.S. medical schools, higher rates at a given school could well threaten its reputation.

제적에 대한 추가적인 강한 의욕은 [법적 책임의 문제]이다. 의과대학이 제적 관련 소송에서 패소한 것은 드문 일인데, 일반적으로 법원은 전문직이 학생을 포함한 자신의 구성원들을 제재할 권리와 책임이 있다고 판결했다. 법원이 파면 결정을 지지하지 않은 사건은 학교가 자체적인 적법절차, 회피, 항소 방침에서 벗어난 것과 관련이 있다. 그럼에도 불구하고, 학교가 학생을 해고하는 것을 고려할 때마다, 소송의 위험은 학생들과 그들의 옹호자들이 그들의 법적 선택권을 탐구할 수 있기 때문에, 그 기관의 법률 상담에 의한 개입을 촉발한다. 어떠한 소송도 법적 변호를 위해 학교 비용을 들일 뿐만 아니라 교직원들과 관리자들에게 장기적인 개인 피해를 줄 수 있다.
An additional strong disincentive to dismissal is the question of legal liability. It is rare for a medical school to lose a lawsuit related to dismissal; in general, the courts have decided that professions have the right and responsibility to sanction their own members, including students. The cases in which courts have not upheld dismissal decisions have involved schools’ deviation from their own due-process, recusal, and appeals policies. Nevertheless, each time a school considers dismissing a student, the risk of a lawsuit triggers involvement by the institution’s legal counsel, since students and their advocates may explore their legal options. Any litigation can take a protracted personal toll on faculty members and administrators, in addition to costing the school money for legal defense.

마지막으로, 우리는 측정의 불확실성에 대해 불편함을 피할 수 없다. 학생들을 제적시키는 데 데 있어 가장 어려운 문제 중 하나는 그러한 결정의 기초가 되는 상세한 데이터의 부족과 존재하는 데이터의 논쟁의 여지가 있는 정확성과 타당성이다. 종종, 교수진들은 학생들의 경력을 손상시킬 수 있는 비전문적인 행동을 기록하기를 원하지 않는다. 그들은 비전문적인 행동의 단일 사례가 단지 단일 사례라고 합리화한다. 그들은 그 학생이 다른 곳에서 그러한 행동의 패턴을 보였음을 모를 수도 있다. 동정심에서, 교육자들은 그 행동이 단지 미성숙하거나 평균보다 느린 학생의 성장 궤적을 반영한다고 믿기로 선택할 수도 있다. 교직원들이 발생하는 문제를 문서화하는 것을 자제할 때, 학문적 검토 위원회가 결정을 내릴 수 있도록 충분한 의견을 모으기 어렵다.
Finally, we are inevitably uncomfortable about the degree of uncertainty in measurement. One of the most difficult problems with dismissing students is a lack of detailed data on which to base such decisions and the debatable accuracy and validity of the data that do exist. Often, faculty do not want to document unprofessional behavior that might hurt a student’s career. They rationalize that a single instance of unprofessional behavior is just a single instance. They may not know that the student has exhibited a pattern of such behavior elsewhere. Out of compassion, educators may choose to believe that the behavior merely reflects immaturity or a student’s slower-than-average growth trajectory. When faculty members refrain from documenting the problems that arise, it is difficult to amass adequate input for academic review committees to make decisions.

고군분투하고 재교육을 받는 사람들을 포함하여, 대다수의 미국 의대생들은 성공한다. 하지만 학생들이 의사가 되어서는 안 될 때, 졸업까지 재촉하는 것은 결과를 낳는다. 일부 레지던트 프로그램 담당자들은 의대생들의 학업성취도 평가와 성적표가 학생들의 성적을 정확하게 반영하지 못한다는 것을 알고 의대에 대한 신뢰를 잃었다. 부정적인 코멘트가 포함되지 않을 수 있고, 전문성 문제가 숨겨질 수 있으며, 학생이 교정 조치를 받거나 재수강할 때 과정 실패를 "합격"으로 대체할 수 있기 때문이다.
The vast majority of U.S. medical students succeed, including those who struggle and undergo remediation. But when students clearly should not become doctors, shuttling them through to graduation has consequences. Some residency program directors have lost their trust in medical schools, knowing that their Medical Student Performance Evaluations and academic transcripts don’t accurately reflect students’ performance because negative comments may not be included, professionalism issues may be hidden, and a course failure may be replaced with a “pass” when the student receives remediation or retakes the course.

우리는 의과대학이 인증기관과 협력하고, 학위 수여 오프 램프(Off-ramp)를 만들고, 몇 가지 어려운 결정을 내려야 한다고 믿는다. 만약 의학 교육자들이 그들의 양심을 조사한다면, 그들은 우리가 졸업하는 모든 학생들이 환자와 우리 가족을 돌보는 것을 허락할 수 있는 사람이라는 것을 확실히 할 필요성을 인식하게 될 것이다. 직업으로서, 우리는 우리의 전문적 가치에 더 큰 헌신을 할 수 있고, 전문성의 발전을 지원하고 요구하는 학습 환경을 만들 수 있다. 비록 그것이 학생들이 더 적합한 직업을 찾도록 돕는 것을 의미할지라도, 학생들을 돕는 것은 우리의 책임이다.5 우리가 지망하는 의사들이 그들의 잠재력을 성취하도록 도울지라도, 학생이 우리의 직업적인 가치와 역량에 부응하지 못할 때를 정직하게 인정하는 것은 필수적이다. 그렇게 하는 것은 의료 전문가로서 우리의 사회적 합의를 지지하는 데 필수적이다.

We believe that medical schools will need to partner with accreditation bodies, create degree-granting off-ramps, and make some tough decisions. If medical educators examine their consciences, they will recognize the need to ensure that every student we graduate is someone we would allow to care for patients and our own families. As a profession, we can make a greater commitment to our professional values, and we can create learning environments that support and require the development of professionalism. It is our responsibility to help students, even if that means helping them find a more suitable career.5 Even as we help aspiring physicians achieve their potential, it’s essential to honestly acknowledge when a student will not live up to our professional values and competencies. Doing so is integral to upholding our social compact as medical professionals.

 


N Engl J Med. 2019 Dec 12;381(24):2287-2289.

 doi: 10.1056/NEJMp1908940.

Kicking the Can Down the Road - When Medical Schools Fail to Self-Regulate

Affiliations collapse

Affiliation

1From Virginia Commonwealth University School of Medicine, Richmond (S.A.S., R.R.H.); Baylor School of Medicine, Houston (J.C.); and Oregon Health and Science University School of Medicine, Portland (G.M.).

PMID: 31826338

DOI: 10.1056/NEJMp1908940

친절한 학습환경과 고약한 학습환경의 두 가지 세팅(Current Directions in Psychological Science, 2015)
The Two Settings of Kind and Wicked Learning Environments
Robin M. Hogarth1, Tomás Lejarraga2, and Emre Soyer3

 

의학 작가 루이스 토마스는 장티푸스를 초기에 정확하게 진단한 것으로 명성을 얻은 뉴욕의 한 병원 의사의 이야기를 20세기 초로 거슬러 올라간다. 의사는 혀의 생김새가 매우 진단적이라고 믿었다. 따라서 그의 임상 기술은 비관적인 예측을 하기 전에 환자의 혀를 촉진하는 것을 포함했다. 불행하게도, 그는 변함없이 옳았다. 하지만, 토마스가 말했듯이, "그는 티푸스 메리보다 손만 사용하여 더 효과적인 보균자였다." (토마스, 1983, 페이지 22)

Medical author Lewis Thomas recounted a story, dating from the early 20th century, of a physician in a New York hospital who acquired a reputation for accurately diagnosing typhoid fever in its early stages. The physician believed that the appearance of the tongue was highly diagnostic. Hence, his clinical technique included palpating patients’ tongues before making his pessimistic forecasts. Unfortunately, he was invariably correct. But, as Thomas stated, “He was a more effective carrier, using only his hands, than Typhoid Mary” (Thomas, 1983, p. 22).

Hogarth(2001)는 [고약한 학습 환경]의 개념을 도입하는 데 이 예를 사용했다. 그는 이러한 상황을 [행동이나 관찰의 결과 형태의 피드백이 빈약poor하거나, 오해의 소지가 있거나, 심지어 누락되는 상황]이라고 설명했다. 이와는 대조적으로 [친절한 학습 환경]에서 [피드백은 결과를 적절한 행동이나 판단과 직접 연결하며 정확하고 풍부]합니다. 사람들의 직관이 언제 정확할지를 결정할 때, 이 프레임워크는 학습이 이루어진 조건의 중요성을 강조한다. [친절한 학습 환경]은 정확한 직관적 판단을 위한 필수 조건이지만, [고약한 학습 환경]에서 획득한 직관은 잘못될 수 있습니다.

Hogarth (2001) used this example in introducing the concept of wicked learning environments. He described these as situations in which feedback in the form of outcomes of actions or observations is poor, misleading, or even missing. In contrast, in kind learning environments, feedback links outcomes directly to the appropriate actions or judgments and is both accurate and plentiful. In determining when people’s intuitions are likely to be accurate, this framework emphasizes the importance of the conditions under which learning has taken place. Kind learning environments are a necessary condition for accurate intuitive judgments, whereas intuitions acquired in wicked environments are likely to be mistaken.

이 기사의 목표는 이 차이를 자세히 설명하고 학습 환경의 유형을 보다 완벽하게 분류하는 것입니다. 그렇게 함으로써, 우리는 인간을 주로 이용 가능한 정보를 반영하는 순진한 직관적인 통계학자로 모델화할 수 있다는 견해를 채택한다(Fiedler & Juslin, 2006). (또한 Kaneman의 "당신이 보는 것이 거기 있는 전부이다" 은유도 참조). 따라서, 학습 환경의 특성에 대한 세심한 관심은 교정 절차를 제안할 뿐만 아니라 판단 편견의 원천을 식별하는 데 중요하다.

Our goal in this article is to elaborate on this distinction and to provide a more complete classification of types of learning environments. In doing so, we adopt the view that humans can be modeled as naive intuitive statisticians (Fiedler & Juslin, 2006) whose judgments mainly reflect the information available to them (see also the “what you see is all there is” metaphor of Kahneman, 2011). Thus, careful attention to the characteristics of learning environments is important for identifying sources of judgmental biases as well as suggesting corrective procedures.

2개의 설정 프레임워크
The Two-Settings Framework

확률론적 예측의 렌즈를 통해 추론을 개념화한다. 표본을 관측하고 통계량을 계산한 다음 모집단 또는 다른 표본에서 해당 통계량을 추정합니다(예: 평균을 추정하는 경우). 이론적 정당성은 단순한 가정에 의존합니다. 즉, 표본은 동일한 기본 모집단에서 무작위로 추출됩니다. 
We conceptualize inference through the lens of probabilistic prediction. One observes a sample, calculates a statistic, and then estimates that statistic in the population or a different sample (as when, e.g., one estimates a mean). The theoretical justification relies on a simple assumption: Samples are randomly drawn from the same underlying population.

이 공식은 판단 및 의사결정 연구에서 매우 중요했습니다. 규범적인 벤치마크를 제공하고(Tversky & Kaneman, 1974), 기술 모델을 제안한다(Gigerenzer, 1991). 그러나 우리는 의사결정의 기초가 되는 심리적 문제를 고려하기에는 적합하지 않다고 주장한다. 왜냐하면 사람들은 하나의 기초가 되는 모집단 대신에 두 개의 모집단, 즉 우리가 말하는 것처럼 두 개의 상황settings을 다루어야 하기 때문이다. 
This formulation has been critical in judgment and decision-making research. It provides normative benchmarks (Tversky & Kahneman, 1974) and suggests descriptive models (Gigerenzer, 1991). However, we contend that it is ill-suited for considering the psychological issues underlying decision making because, instead of one underlying population, people have to deal with two populations, or as we shall say, two settings.

첫 번째 설정에서는 상황(예: 두 변수가 어떻게 공변covary하는지)에 대해 학습한다. 두 번째는 첫 번째에서 습득한 지식을 사용하여 행동을 취하거나 예측을 합니다. 하나는 [학습]으로, 다른 하나는 [선택 또는 예측]으로 특징지어집니다. 예를 들어, 당신이 테스트를 사용하여 입사 지원자를 선택하는 인사 관리자라고 가정해 보십시오. 이 시험은 과거에도 정확했다. 따라서 현재 결정(예측)의 경우 두 설정(과거 및 현재)의 특징이 일치할 때 검정이 정확할 것으로 기대할 수 있습니다. 예를 들어, 현재 후보들은 과거와 비슷한가요? 우리는 이 과정에서 관리자가 (암시적 또는 명시적으로) 관련 인스턴스의 참조 클래스reference class , 즉 추론이 참조하는 특정 그룹을 염두에 두어야 한다고 강조한다. 참조 클래스가 다르면 추론이 다를 수 있습니다.
In the first setting, people learn about a situation (e.g., how two variables covary). In the second, they take an action or make a prediction using the knowledge acquired in the first. One setting is characterized by learning and the other by choice or prediction. To illustrate, imagine you are a personnel manager who uses a test to select job candidates. This test has been accurate in the past (learning). Thus, for current decisions (predictions), the test can be expected to be accurate when the features of the two settings (past and present) match. For example, are the present candidates similar to those in the past? We emphasize that in this process, the manager must also have in mind (implicitly or explicitly) a reference class of relevant instances—that is, the specific group to which the inference refers. Different reference classes can imply different inferences.

두 상황(예: 과거와 현재)이 동일한 기본 모집단에서 무작위로 추출된 샘플이라고 가정하기보다는 두 가지 다른 설정을 가정한다. 첫 번째를 L(학습용)이라고 하고 두 번째를 T(타깃용)라고 하고 이 두 가지가 어떻게 일치하는지 묻습니다. 그림 1의 왼쪽에서는 L과 T의 정보 요소가 일치하거나 일치하지 않는 6가지 방법을 고려하며, 이를 통해 [친절한 학습 환경]과 [고약한 학습 환경]에 대해 서로 다른 태스크 구조를 정의할 수 있습니다. 친절함이나 사악함 정도는 분명 다를 수 있습니다. 다만, 여기서의 의도는 분류에 한정되어 있습니다.

Rather than assuming that both situations (e.g., past and present) are random samples from the same underlying population, we posit two distinct settings. We refer to the first as L (for learning) and the second as T (for target) and ask how these match. On the left-hand side of Figure 1, we consider six ways in which the elements of information in L and T do or do not match, and these, in turn, allow us to define different task structures for kind and wicked learning environments. Clearly, kindness or wickedness can vary in degree. However, our intention here is limited to classification.

 

 

 

 

 

그림 1의 오른쪽은 작업 선택 시나리오를 사용하여 왼쪽의 사례를 보여 줍니다. 각 산점도에는 관리자가 과거 지원자의 시험 점수와 직무 성과 간의 관계에 대해 학습할 때 경험한 데이터가 표시됩니다(L). 그 후, 이 정보를 이용해 새로운 후보의 성과를 예측한다(T).

The right-hand side of Figure 1 illustrates the cases on the left using the job-selection scenario. Each scatter plot shows the data experienced by the manager in learning about the relation between test scores and job performance from past applicants (L). Subsequently, this information is used to predict the performance of new candidates (T).

[사례 A와 B는 친절한 학습 환경]을 나타냅니다. A에서는 L과 T의 요소가 완벽하게 일치합니다. 오른쪽 예제에서 X와 Y의 상관 관계는 1.0입니다. 검정에서 성능을 완벽하게 예측할 수 있습니다.
Cases A and B represent kind learning environments. In A, there is a perfect match between the elements of L and T. In the example on the right, the correlation between X and Y is 1.0. Performance can be predicted perfectly from the test.


[사례 B]에서 랜덤오차의 존재는 매칭이 기껏해야 근사치임을 것을 의미합니다. 오른쪽의 X와 Y의 관계는 직선이 아닌 타원으로 표시됩니다. 기술적으로 이러한 불일치는 L과 T 사이의 교차점을 의미한다(아래 설명되는 E와 동일). 
그러나 B는 E와 다르다. 전자의 경우 불일치는 전적으로 무작위 요인에 기인한다.)

Case B reflects that the presence of random error means that matches are at best approximate. The relation between X and Y on the right is represented by an ellipse as opposed to a straight line. Technically, such mismatches imply an intersection between L and T (as does E, explained below; however, B differs from E in that in the former, the mismatch is entirely due to random factors).

[사례 C ~ F는 고약한 학습 환경]을 나타냅니다. C에서 L은 T의 서브셋이다. T에는 L에서 추론할 수 없는 요소가 있다. 예로는 사건이나 작용에 의해 데이터가 체계적으로 제한되는 생존자 편향이 있다(Einhorn & Hogarth, 1978). 오른쪽 예에서는 테스트에서 낮은 점수를 받은 사람(X < 10)은 작업에 선택되지 않았기 때문에 성능 데이터를 사용할 수 없습니다.
Cases C through F represent wicked learning environments. In C, L is a subset of T. There are elements in T that cannot be inferred from L. Examples include the survivorship bias, in which data have been systematically restricted by events or actions (Einhorn & Hogarth, 1978). In the example on the right, performance data are not available for people scoring low on the test (X < 10) because they were not selected for the job.


D에서 T는 L의 서브셋이다. 이는 학습과 예측 사이의 참조 클라스reference class 구성에 변화가 있다는 사실을 모르는 경우에 발생할 수 있다. 예를 들어, 지역 대학이 입학 기준을 낮췄기 때문에 지원자 풀이 바뀌었다고 가정해 봅시다. 그 때문에, 그 자리에 지원하는 졸업생 가운데, 높은 자격을 갖춘 지원자가 없습니다. 그러나 인사담당자는 이를 깨닫지 못하고 있다.

In D, T is a subset of L. This can occur when the person is unaware that there has been a change in the composition of the reference class between learning and prediction. For example, imagine that the applicant pool changes because the local university has lowered its admission standards, such that there are no highly qualified candidates among the graduates applying for the job. However, the personnel manager does not realize this.

E에서는 체계적인 요인 때문에 L과 T의 원소가 교차하고 T에서 예측 능력이 제한됩니다. 이 사례는 자기충족적 예언 또는 소위 치료 효과를 포착합니다. 선발 모델에서는, [선발된 사람(X > 10)]은, 조직적으로 업무 성과를 긍정적으로 평가하는 특별한 「대우」를 받는다(예를 들면, 훌륭한 멘토가 있다). 인사담당자는 편향된 학습표본에 노출되어 있다.
In E, the elements of L and T intersect because of systematic factors, and the ability to predict in T is limited. This case captures self-fulfilling prophecies or so-called treatment effects. In terms of the selection model, those chosen (X > 10) receive special “treatment” that systematically biases job performance positively (e.g., they have excellent mentors). The personnel manager is exposed to a biased learning sample.

사례 E는 또한 C와 D의 조건을 포착한다. 이 예에서 고용주는 시험 점수가 낮은 후보자에 대한 성과 측정치를 준수하지 않으며(X < 10), 학습 표본은 관리자가 알지 못하는 지원자 풀의 변화에 의해 편향된다.
Case E also captures the conditions of both C and D, where, in our example, an employer does not observe performance measures for candidates with low test scores (X < 10) and the learning sample is biased by the change in the applicant pool, of which the manager is unaware.

마지막으로 케이스 F에서는 T와 L은 공통 요소가 없습니다. 이 경우 성능 예측에 사용되는 변수는 이와 관련이 없습니다(예: 물리적 외관).

Finally, we note Case F, in which T and L have no elements in common. In this case, the variable used to predict performance is not related to it (e.g., physical appearance).

사악함의 특징
Features of Wickedness

나쁜 학습 환경은 환경의 특성일 뿐만 아니라 추론(자기충족적 예언, 사례 E 등)을 하는 사람이 취한 행동의 결과로 나타날 수 있다. 예를 들어, 과거에 관측된 데이터 범위를 초과하는 예측을 요청받은 경우 Case C 상황이 발생할 수 있다(Feiler, Tong, Larrick, 2012). 여기서 불일치는 개인의 행동에 의해 유발되지 않는다.
A wicked learning environment can emerge as a result of actions taken by the person making the inferences (as in self-fulfilling prophecies, Case E) as well as the characteristics of the environment. For example, a Case C situation could arise if someone were asked to make predictions beyond the range of data observed in the past (Feiler, Tong, & Larrick, 2012). Here, the mismatch is not triggered by the individual’s actions.

우리의 분류 체계에서는 별개이지만 친절과 사악함은 연속체처럼 정도가 다를 수 있다. 예를 들어, 케이스 A는 B보다 친절하고, 케이스 A는 E나 F보다 친절합니다. 하지만 미스매치가 무작위 요인에 의한 것이라면 어떻게 될까요? 예를 들어 B에서는 노이즈가 예측 능력을 감쇠시킵니다. 실제로 노이즈가 많으면 케이스 B의 예측능력은 케이스 C와 같은 일부 악질적인 환경보다 본질적으로 저하될 수 있습니다. 그러나 우리의 프레임워크는 불일치의 근본적인 원인이 전자의 경우 [무작위random]이지만 후자의 경우 [체계적systematic]이라는 것을 분명히 보여준다.
Although discrete in our classification scheme, kindness and wickedness can vary in degree as on a continuum. For instance, Case A is kinder than B, which is kinder than E or F. But what happens when mismatches are due to random factors? In B, for example, noise attenuates predictive ability. In fact, with much noise, predictive ability could be inherently lower in Case B than in some wicked environments, such as Case C. However, our framework clearly indicates that whereas the underlying cause of mismatch is random in the former, it is systematic in the latter.

우리는 특히 샘플이 작을 때 샘플의 크기와 다양성도 중요한 역할을 하도록 학습이 정보의 순차적 축적을 수반하는 것으로 예상한다. 그러나 종종 불일치mismatch에는 체계적 요인과 무작위적 요인이 모두 포함되며 더 큰 표본을 관측하는 것은 도움이 되지 않을 수 있습니다.
We envisage learning as involving the sequential accumulation of information, such that the size and variability of samples also play important roles—particularly when samples are small. Often, however, mismatches involve both systematic and random factors, and observing larger samples might not help.

우리의 프레임워크는 L과 T의 정보 요소만을 다루고 있습니다. 예를 들어 개인이 외부정보(예: 프라이밍)를 고려하는 이유나 추론을 할 때 정보가 어떻게 통합되는지는 설명하지 않는다. 이러한 문제는 많은 오류가 외부 정보(Kahneman, 2011) 및 부적절한 집계 규칙(예: 곱셈multiplicative 집계여야 할 때 덧셈additive 집계를 사용; Larrick & Soll, 2008)에 주의를 기울이는 데 기인할 수 있기 때문에 중요하다. 그러나, L과 T 사이의 정보 일치를 구별함으로써, 우리는 특이한 심리 과정 대신에 업무 특징에 기인하는 판단 오류의 근본적인 원인을 더 잘 분리할 수 있다.

Our framework deals only with the elements of information in L and T. It does not explain, for example, the reasons why individuals consider extraneous information (e.g., as in priming) or how information is aggregated in making inferences. These issues are important because many errors can be attributed to attention paid to extraneous information (Kahneman, 2011) and/or inappropriate aggregation rules (e.g., using additive aggregation when it should be multiplicative; Larrick & Soll, 2008). However, by distinguishing information matches between L and T, we can better isolate the underlying sources of judgmental errors that are due to task features as opposed to idiosyncratic psychological processes.

우리의 프레임워크는 문헌의 특정 레이블에 의해 식별된 일부 편견이 여러 원인을 가질 수 있다는 것을 보여준다. 예를 들어 환상 상관illusory correlation 을 생각해 봅시다. 한편, 이는 필터링된 관찰을 경험함으로써 유도될 수 있다. 즉, 이변량 분포의 일부가 관측치에서 가려지기 때문에 L에 대한 개인의 경험은 치우쳐 있습니다. 반면, 채프먼과 채프먼(1969)에 의해 조사된 현상은 인식된 상관관계에 대한 이전의 믿음의 역할에 관한 것이다. (Denrell & Le Mens, 2011도 참조).

Our framework reveals that some biases identified by specific labels in the literature can have multiple causes. Consider, for example, illusory correlation (Fiedler, 2000b). On the one hand, this can be induced by experiencing filtered observations. That is, the individual’s experience in L is biased because part of a bivariate distribution is obscured from observation. On the other hand, the phenomenon investigated by Chapman and Chapman (1969) is about the role of prior beliefs on perceived correlations. (See also Denrell & Le Mens, 2011.)


또, 우리의 견해는, 일반적으로 정보를 무시해, 단순한 의사결정 룰을 수반하는 휴리스틱 의사결정 프로세스의 예측의 정확성을 나타내고 있습니다(Gigerenzer & Gaissmaier, 2011). 성공적인 휴리스틱스는 환경의 두 가지 주요 기능인 정보의 집약 방법과 redundancy을 활용합니다(Hogarth & Karelaia, 2007). 이와 같이 L과 T의 교차로에서 동작한다. 예를 들어, 사람들이 두 가지 대안 중 하나를 선택하기 위해 인식 휴리스틱을 사용할 때(Goldstein & Gigerenzer, 2002), 
그들은 그들이 예측하려고 하는 것과 관련이 있는 기억 속에서 이용 가능한 정보에 근거하여 판단한다.

Our perspective also speaks to the predictive accuracy of some heuristic decision processes that typically ignore information and involve simple decision rules (Gigerenzer & Gaissmaier, 2011). Successful heuristics exploit two key features of the environment: how information is aggregated and redundancy (Hogarth & Karelaia, 2007). As such, they operate in the intersection of L and T. For example, when people employ the recognition heuristic to select one of two alternatives (Goldstein & Gigerenzer, 2002), they base their judgments on information available in memory that happens to be correlated with what they are trying to predict.

디폴트로서의 매칭
Matching as a Default

사람들은 종종 L에서의 match를 T로 투영하는 것을 디폴트 전략으로 사용한다(Kahneman & Tversky, 1973). 여기에는 여러 가지 이유가 있을 수 있습니다. 첫째, 추론은 종종 정확한 답을 제공하는 것이 아니라 방향을 제시하기만 하면 된다(Hogarth, 1981).
People often use a default strategy that projects a match from L to T (Kahneman & Tversky, 1973). There could be several reasons for this. First, inferences often need only to suggest a direction as opposed to providing precise answers (Hogarth, 1981).

둘째, L에서 요소가 누락된 것을 알고 있다고 가정합니다. 어떻게 해야 할까요? 많은 것이 누락된 것으로 알려진 것에 달려 있다(Elwin, 2013). 그러나 규범적 관점에서, 누락된 관측치(사례 C)와 비대표적인 학습 세트(사례 D)에 대해 수정하는 방법은 불분명하다. 
Second, assume that a person knows that elements are missing from L. What should be done? Much depends on what is known to be missing (Elwin, 2013). However, from a normative perspective, it is unclear how to correct for missing observations (Case C) and unrepresentative learning sets (Case D).

셋째, 디폴트 매칭 전략은 인지적으로 단순합니다. 디폴트를 조정하려면 메타인지 능력이 필요합니다(Fiedler & Kutzner, 프레스).1 
Third, default matching strategies are cognitively simple. Adjusting defaults requires meta-cognitive ability that people may not possess (Fiedler & Kutzner, in press).1

다른 프레임워크와의 관계
Relationships to Other Frameworks

다른 학자들은 편견을 설명하기 위해 두 가지 설정 사이의 차이를 이용했다. Gilbert와 Wilson(2007)은 정서적 예측에 대한 연구에서 미래의 결과에 대한 사람들의 이미지와 실제로 일어나는 일을 비교했다. 예를 들어, 컨버터블을 살 때, 사람들은 아름다운 날씨에서 운전하는 즐거움을 상상할 수 있지만, 악천후와 관련된 다른 시나리오는 고려하지 못한다.
Other scholars have used differences between two settings to explain bias. In their work on affective forecasting, Gilbert and Wilson (2007) contrasted people’s images of future outcomes with what actually happens. For example, when buying a convertible, a person may imagine the joys of driving in beautiful weather but fail to consider other scenarios involving bad weather.

두 설정 간 일치의 중요성은 [학습 전이transfer]에 관한 문헌에서 받아들여지고 있다. 흥미롭게도, 손다이크(1903)의 영향력 있는 이론은 "동일한 요소"와 배움이 획득되고 적용되는 환경에서 이들 요소 간의 일치라는 관점에서 틀을 짰다. 하지만 그의 관심사는 사실이나 기술을 배우는 것이었다. (예: 테니스를 배우는 것이 다른 라켓 스포츠로 옮겨지는가?)

The importance of matches between two settings is acknowledged in the literature on transfer of learning (Barnett & Ceci, 2002). Interestingly, Thorndike’s (1903) influential theory was framed in terms of “identical elements” and the match between these elements in the settings where learning is acquired and applied. However, his concern was with learning facts or skills (e.g., does learning to play tennis transfer to other racquet sports?).

다른 사회과학자들은 데이터 세트를 이용할 때 두 설정 간의 일치에 대해 우려를 표합니다. 예를 들어, 통계학자와 기계학습 전문가는 표본에서 얻은 결과가 반드시 일반화되지는 않는다는 것을 알고, 표본 외 추론을 테스트하기 위한 기술을 개발했다.
Other social scientists show concern about the matches between two settings when exploiting data sets. For example, statisticians and machine-learning experts know that results obtained in samples do not necessarily generalize and have developed techniques for testing out-of-sample inferences.

역동적인 환경이나 비안정적 환경에 대해서는 명확하게 고려하지 않았습니다. 어느 레벨에서는, 그러한 환경은 악질적입니다(케이스 E 의 가능성이 있습니다). 그러나 첫 번째 세팅에서 역동적 변화의 특성을 추론할 수 있다면 [친절한 환경]이 될 수도 있습니다. 예를 들어 경험을 통해 계절의 사이클을 배우는 것을 고려해 보십시오.

We have not explicitly considered dynamic or nonstationary environments. At one level, such environments are wicked (a likely Case E). However, if the nature of the dynamic change can be inferred from the first setting, these environments can be kind. Consider, for example, learning seasonal cycles from experience.

시사점
Implications

우리의 프레임워크는 기술적이고 규범적인 의미를 가지고 있다. 특정 업무에서 추리적인 판단을 검토하는 맥락에서, 우선 이 맥락이 친절한 환경인지 고약한 환경인지에 관심을 갖는다.

  • 만약 친절환 환경이라면, 우리는 정확한 추론을 위해 필요한 조건을 가지고 있다. 따라서 모든 오류는 개인에게 귀속되어야 한다(예: 부적절한 정보 집계).
  • 만약 고약한 환경이라면, 작업 기능에서 오류가 발생하는 방식을 식별할 수 있습니다. 단, 작업 기능은 사람의 행동에 의해 영향을 받을 수도 있습니다. 즉, 우리의 프레임워크는 오류의 원인을 특정하는 데 도움이 됩니다(태스크 구조 또는 사람). 

Our framework has descriptive and prescriptive implications. In the context of examining inferential judgments in a particular task, it first draws our attention to whether this is kind or wicked.

  • If kind, we have the necessary conditions for accurate inference. Therefore, any errors must be attributed to the person (e.g., inappropriate information aggregation).
  • If wicked, we can identify how error results from task features, although these can also be affected by human actions. In short, our framework facilitates pinpointing the sources of errors (task structure and/or person).

표 1은 이러한 관점에서 본 문헌의 몇 가지 현상을 나열한다. 예를 들어, 네 번째 항목인 "온풍로" 효과를 생각해 보십시오. 여기서, 과거의 결과(학습)에 대한 개인의 경험은 그녀가 현재 선택하는 것(목표)을 결정하지만, 그 결과는 이후의 학습을 편향시킨다.

Table 1 lists some phenomena in the literature viewed from this perspective. For example, consider the “hot stove” effect, the fourth entry. Here, a person’s experience of past outcomes (learning) determines what she selects currently (target), but then the outcome of this biases her subsequent learning.

 

 

판단의 편견을 바로잡기 위한 많은 시도가 있었다. 친절한 환경은 정확한 판단을 위한 필수 조건이기 때문에, 우리의 프레임워크는 의도적으로 친절한 환경을 만드는 것을 제안합니다. 실제로, 이 추론은 사람들이 확률론적 과정의 순차적 결과를 경험하게 함으로써 친절한 환경을 설계하고(Hogarth & Soyer, 2011) 적절한 확률론적 진술을 할 수 있는 능력을 조사했던 시뮬레이션 경험에 대한 우리의 작업에 동기를 부여했다. 일반적으로 잘못 대답하는 문제에 직면했을 때, 이러한 친절한 환경에서 참가자들의 판단은 매우 정확했습니다. 게다가, 참가자들은 그들의 반응에 자신감을 가지고 있었다.

There have been many attempts to correct judgmental biases (Soll, Milkman, & Payne, in press). Since kind environments are a necessary condition for accurate judgments, our framework suggests deliberately creating kind environments. Indeed, this reasoning motivated our work on simulated experience, in which we engineered kind environments by letting people experience sequential outcomes of probabilistic processes (Hogarth & Soyer, 2011) and investigated their ability to make appropriate probabilistic statements. Facing problems that are typically answered erroneously, participants’ judgments in these kind environments were quite accurate. Moreover, the participants were confident in their responses.

시뮬레이션 방법론을 제안하는 것은 우리뿐만이 아니다. 이러한 방법은 예를 들어 재정 결정 및 기후변화의 영향을 이해하는 데 유용한 것으로 입증되었다(Sterman, 2011). 우리의 프레임워크는 시뮬레이션 방법이 유용할 것 같은 시기를 지정하는 데 기여할 수 있다. 
We are not alone in suggesting simulation methodology. These methods have proven useful, for example, in financial decisions (Goldstein, Johnson, & Sharpe, 2008; Kaufmann, Weber, & Haisley, 2013) and understanding the implications of climate change (Sterman, 2011). Our framework can contribute to specifying when simulation methods are likely to be useful. 

환경을 친절하게 만드는 것의 이점을 강조하지만, 때로는 나쁜 환경을 악용하는 것이 이득이 될 수도 있습니다. 예를 들어, 플라시보를 제공함에 있어서, 목표는 [사람들이 경험으로부터 잘못된 교훈을 얻어야 한다]는 것이다. 우리의 프레임워크는 그러한 개입을 개념화하는데 사용될 수 있다.
Although we highlight the advantages of making environments kind, we note that it may sometimes also pay to exploit wicked environments. In providing placebos, for example, the goal is that people should draw the wrong lesson from experience. Our framework can be used to conceptualize such interventions.

최근, Erev와 Roth(2014)는 학습 행동의 관점에서 경제적 합리성으로부터의 편차를 조사했다. 그들은 학습환경이 에이전트를 "모든 에이전트에 대해 평균적이고 대부분의 시간 동안 최고의 성과"로 이끌 때 행동을 극대화할 가능성이 높다고 주장했다. Erev와 Roth는 종래의 최대화 모델을 사용하는 것을 가정하는 대신, 행동 최대화의 성공과 실패를 에이전트가 무엇을 어떻게 학습했는지에 기인하고, 따라서 암묵적으로 그들이 종류의 학습 환경에 노출되었는지 또는 사악한 학습 환경에 노출되었는지에 기인하기 때문에 그들의 기여는 중요하다.
Recently, Erev and Roth (2014) examined deviations from economic rationality from the perspective of learning behavior. They argued that maximizing behavior is likely when the learning environment leads agents to “the best payoff for all agents on average, and most of the time” (p. 10818). Their contribution is important because, instead of postulating the use of conventional maximization models, Erev and Roth attributed successes and failures in maximizing behavior to what and how agents have learned and thus, implicitly, to whether they have been exposed to kind or wicked learning environments.

이러한 생각들은 친절하고 사악한 학습 환경의 개념이 경제적 인센티브 계획의 설계에 유용할 수 있다는 것을 암시한다. 즉, 경제 주체들이 솔루션을 극대화할 수 있다고 가정하는 대신 적절한 대응, 즉 현물 환경에서 적절한 대응을 이끌어낼 수 있는 경험을 제공해야 한다. 이를 달성하는 방법은 아직 불확실하지만, 이러한 관점에서 문제를 제기하는 것은 큰 진전이다.

These ideas suggest that the concepts of kind and wicked learning environments can be useful in the design of economic incentive schemes. That is, instead of assuming that economic agents can calculate maximizing solutions, one should provide experiences that lead to appropriate responses—that is, in kind environments. Although the way to achieve this remains uncertain, posing the problem in these terms is a major step forward.

 

 


Abstract

Inference involves two settings: In the first, information is acquired (learning); in the second, it is applied (predictions or choices). Kind learning environments involve close matches between the informational elements in the two settings and are a necessary condition for accurate inferences. Wicked learning environments involve mismatches. This conceptual framework facilitates identifying sources of inferential errors and can be used, among other things, to suggest how to target corrective procedures. For example, structuring learning environments to be kind improves probabilistic judgments. Potentially, it could also enable economic agents to exhibit maximizing behavior.

대학에서 지속가능성교육 제작을 위한 일곱가지 권고: 변화주도자를 위한 가이드(International Journal of Sustainability in Higher Education, 2005)

Seven recommendations for creating sustainability education at the university level: A guide for change agents
Janet Moore

 

도입
Introduction

대학은 연구 및 기술, 교수 및 학습, 지역사회 참여 분야의 리더가 될 수 있는 잠재력을 가지고 있습니다. 아이디어를 자유롭게 표현하고, 패러다임을 도전하고, 창의성을 고취하고, 새로운 지식을 생산하는 공간이 되기 위한 것이다. 지구 생태계의 현주소에 대해 학계가 알고 있는 것을 감안하면 대학들이 지구 생태계의 붕괴를 막기 위한 운동의 리더가 되어야 할 의무가 있다. "세계가 지속 가능하지 않은 발전의 길에 있다는 것은 의심의 여지가 거의 없습니다. "과잉 에너지와 물질 소비가 문제의 핵심이라는 데 다양한 분야의 과학자들 사이에 공감대가 형성되고 있다." (리스, 2003, 페이지 88) 대학들이 어떻게 과소비, 환경 파괴, 사회적 불공정 문제를 다루는데 있어서 그들의 강력한 역할을 실현할 수 있을까? 
Universities have the potential to be leaders in research and technology, teaching and learning, and community engagement. They are intended to be spaces where ideas are expressed freely, paradigms are challenged, creativity is promoted and newknowledge is produced. Given what academics know about the current ecological condition of the planet, there is an obligation for universities to become leaders in the movement to prevent global ecological collapse. “There is little question that the world is on an unsustainable development path. There is even a consensus among scientists in various fields that excess energy and material consumption is at the heart of the problem” (Rees, 2003, p. 88). Howcan universities realise their powerful role in dealing with issues of over-consumption, environmental degradation and social injustice? 

지속가능성 교육 프로그램과 지속가능한 대학 커뮤니티에 대한 비전을 포함하여 "지속가능한" 대학이 어떤 모습일지 구상할 필요가 있다. 
There is a need to envision what a “sustainable” university might look like, including visions of sustainability education programs and sustainable university communities. 

본 논문은 브리티시컬럼비아 대학교(UBC)의 교수진, 직원 및 학생 그룹이 고등교육의 미래를 고려한 촉진된 과정을 제시한다. UBC는 대학이 모든 행동과 의무에서 지속가능성을 보장하는 정책을 입안하고 서명했다(UBC, 1997, 지속가능 개발 정책 5). UBC는 또한 지속가능성에 대한 Taloires 및 Halifax 선언에 서명하고 지속가능한 미래를 위한 University Leaders for a Sustainable Future(ULSF, 2004)에 가입함으로써 국제적인 약속을 했습니다. 본 논문은 지속가능성 운동의 리더가 되기 위해 헌신하는 대학들에 대한 구체적인 권고안을 개략적으로 제시한다. 

This paper presents a facilitated process by which a group of faculty, staff and students at the University of British Columbia (UBC) considered the future of higher education. The UBC drafted and signed a policy committing the university to sustainability in all of its actions and mandates (UBC, 1997, Sustainable Development Policy 5). UBC has also made international commitments by signing the Talloires and Halifax declarations on sustainability and by joining the organization University Leaders for a Sustainable Future (ULSF, 2004). The paper outlines a concrete set of recommendations for universities committed to becoming leaders of the sustainability movement.  



작업장 프로세스 및 결과
Workshop process and results


최근 고등교육 지속가능성 운동에 대한 인식을 감안할 때, Fien(2002)은 지속가능성 연구가 어떻게 진행되는지를 고려하는 것이 중요하다고 요약하고 있다. 그는 지속가능성에 대한 교육연구에서 대안적 연구 패러다임을 고려하고 조사할 필요가 있다고 제안한다. 지속가능성은 개념, 목표, 전략입니다

  • 이 개념은 사회 정의, 생태학적 청렴성, 지구상의 모든 생물체계의 안녕의 화해를 말해준다. 
  • 미래 세대를 훼손하지 않고 자연적 수단 안에서 생태적, 사회적으로 정의로운 세상을 만드는 것이 목표다. 
  • 지속가능성(Sustainability)은 또한 지속 가능한 미래를 향해 나아가는 과정이나 전략을 말합니다. 

Given the recent awareness of the higher education sustainability movement, Fien (2002) outlines the importance of considering howsustainability research is conducted. He suggests that alternative research paradigms need to be considered and investigated in educational research about sustainability. Sustainability is a concept, a goal, and a strategy.

  • The concept speaks to the reconciliation of social justice, ecological integrity and the well being of all living systems on the planet.
  • The goal is to create an ecologically and socially just world within the means of nature without compromising future generations.
  • Sustainability also refers to the process or strategy of moving towards a sustainable future. 


지속가능성에 대한 대화는 궁극적으로 개인 및 집합적 가치에 대한 논의이다(Van Wynsberghe et al., 2002). [가치 중심 사고 모델]은 참가자들이 목표를 강조하는 가치를 고려하고 이러한 가치를 의사결정을 위한 입력으로 사용할 수 있도록 돕는다(Keeney, 1992). 예를 들어, 누군가가 커뮤니티를 [객관적인 것]으로 인식하는 경우, [가치 중심 사고 프로세스]는 "커뮤니티가 왜 당신에게 중요한가?"라는 질문을 던집니다. 개인은 이것을 뒷받침하는 것이 다른 사람들과 연결되고 존중받는 것이라고 제안할 수 있다. "공동체"에 대한 열망은 [존경]이라는 근본적인 가치와 관련이 있습니다. 가치 중심적 사고 과정은 참가자들이 가치와 목표 사이의 명확한 연관성을 이끌어냄으로써 사람들에게 중요한 것이 무엇인지 결정할 수 있게 합니다. 
Dialogues about sustainability are ultimately a discussion of individual and collective values (VanWynsberghe et al., 2002). The value-focused thinking model helps participants consider the values that underscore objectives and uses these values as input for decision-making (Keeney, 1992). For example, if someone identifies community as an objective, value-focused thinking processes asks the question “why is community important to you?” The individual might suggest that underlying this a desire to be connected with other people and being treated with respect. The desire for “community” is related to the underlying value of respect. The value-focused thinking process allows participants to determine what is important to people by eliciting clear connections between values and objectives. 

2003년 1월 11일 토요일에 열린 첫 번째 워크숍에는 교수진, 직원, 관리자 등 총 24명이 참가했다. 워크숍은 지속가능성 교육과 지속가능성 연구에 대한 인터페이스 프로그램 제작에 관심을 보였던 사람들을 대상으로 실시되었습니다. UBC의 50명 이상의 팀에 초청장이 보내졌다. 두 번째 워크숍에서는 지속 가능성과 관련하여 고등 교육의 미래에 대해 토론하는 데 관심이 있는 학부생 그룹을 모았습니다. 워크샵은 캠퍼스의 포스터를 사용하고 다양한 부서 목록을 통해 이메일을 전송하여 광고되었습니다. 2003년 1월 25일 토요일에 열린 워크숍에는 총 25명의 학부생이 참석했습니다. 참석한 학생들은 지속가능성 문제에 관심이 많았으며 학부생들의 무작위 표본 추출이 의도된 것은 아니었다. [워크숍의 목표]는 UBC에서 지속가능성 교육을 위한 대안을 만들고, 대안 이행을 위한 모멘텀을 창출하며, 지속가능성 연구의 인터페이스 프로그램 아이디어에 대한 동의를 얻는 것이었습니다. 이 두 워크샵은 심층 인터뷰(이 문서의 뒷부분)와 함께 지속가능성 교육에 대한 권고의 틀을 만드는 데 도움이 되었습니다. 다음은 워크숍에서 사용되는 6단계의 개요입니다. 
The first workshop held on Saturday, 11 January 2003 had a total of 24 participants including faculty, staff and administrators. The workshop was advertised to people who had shown interest in sustainability education and the creation of an interfaculty program in sustainability studies. Invitations were sent to over 50 individuals at the UBC who were identified by the team. The second workshop involved gathering a group of undergraduate students who would be interested in discussing the future of higher education with relation to sustainability. The workshops were advertised using posters on campus and by sending e-mails through a range of departmental lists. In total we had 25 undergraduate students attend the workshop held on Saturday, 25 January 2003. The students who attended were keen on sustainability issues and were not intended to be a random sampling of undergraduates. The goals of the workshop were to create alternatives for sustainability education at UBC, to create momentumfor the implementation of alternatives and to gain buy-in for the idea of an interfaculty program in sustainability studies. These two workshops, along with in-depth interviews (outlined later in the paper), helped to create a framework of recommendations for sustainability education. The following outlines the six steps used in the workshops: 

(1) 현재의 상황에 대한 이야기. 대학의 지속가능성 교육에 대한 이야기(현재까지)와 워크숍의 목표가 개략적으로 설명되었습니다. 
(1) Story of present day situation. The story of sustainability education at the university (up to present day) and the objectives of the workshop were outlined. 

(2) Brainstorming하여 값 목록을 작성한다. 뭐가 중요한가? 지속가능성 교육, 생태사회정의 교육, 글로벌 시민정신 교육과 관련된 당신의 개인의 가치는 무엇입니까?
(2) Brainstormand create a list of values. What matters? What are your individual values that relate to sustainability education, ecological and social justice education and global citizenship education? 

(3) Brainstorming하여 대안 목록을 작성한다. 이러한 가치들이 고등교육에서 실제로 어떻게 발휘될 수 있을까요? 이러한 유형의 교육(즉, 다른 기관이 하는 것에 대해 들은 것)의 현재 관행과 가능한 미래 관행은 무엇입니까? 
(3) Brainstorm and create a list of alternatives. How might these values play-out in practice in higher education? What are the current practices and possible future practices of this kind of education (i.e. things you have dreamed of doing, things you have heard of other institutions doing)? 

(4) 대안을 배치할 연속체 목록을 브레인스토밍하고 작성한다. 이러한 관행 사이의 관계는 무엇입니까? 참가자들은 이 분야의 가장 뚜렷한 두 가지 연속성에 대해 투표한다. 2개의 연속선과 4개의 사분면을 나타내는 다이어그램을 그립니다. 
(4) Brainstorm and create a list of continuums on which to place the alternatives. What are the relationships among these practices? Participants vote on the two most distinct continuums for the sector. Draw diagram to represent two continuums and four quadrants. 

(5) 브레인스토밍을 통해 다이어그램의 사분면에 맞는 4가지 미래 시나리오를 작성합니다. 다른 대안이 연속선에 적합한지에 대해 어려운 질문을 합니다. 
(5) Brainstorm and create four future scenarios that fit within the quadrants of the diagram. Ask hard questions about where the alternatives would fit on the continuums. 

(6) 다음 단계와 새로운 이야기. 참가자들은 대안과 가치 목록의 구체적인 예를 사용하여 네 가지 미래 시나리오를 자세히 설명합니다. 

(6) Next steps and new stories. Participants describe in detail four future scenarios using specific examples from the list of alternatives and values. 

  • 워크숍은 프로세스에 대한 소개와 설명으로 시작되었습니다. 워크숍의 분위기를 조성하기 위해 진행자 중 한 명이 UBC의 지속가능성 교육 현황에 대한 짧은 이야기를 낭독했습니다. 이 이야기의 의도는 지속가능성을 위한 UBC의 헌신을 사람들에게 상기시키고, 잠재적인 갈등을 줄이며, 사람들이 창의적으로 생각할 수 있도록 하기 위한 것이었다.
  • The workshop began with introductions and an explanation of the process. To set the tone for the workshop one of the facilitators read a short story about the present situation of sustainability education at UBC. The intention of the story was to remind people about UBC’s commitment to sustainability, reduce potential conflict and to get people thinking creatively.

 

  • 워크숍의 두 번째 중요한 단계는 [가치 목록]을 작성하는 것입니다. 그런 다음 워크숍 참가자들에게 지속가능성 교육, 생태 및 사회 정의 교육, 글로벌 시민 의식 교육과 관련된 개인의 가치는 무엇인가라는 질문을 던졌습니다. 참가자들은 소규모 그룹으로 나뉘어 작업했고 진행자들은 차트 페이퍼에서 응답을 수집했습니다. 열거된 가치의 예는 자유, 관계, 사랑, 동정, 창의성, 상상력, 자연의 일부가 되는 것, 그리고 책임입니다.  
  • The second important step of the workshop involved creating a list of values. Workshop participants were then asked to consider the question – what are your individual values that relate to sustainability education, ecological and social justice education and global citizenship education? Participants worked in small groups and facilitators collated responses on chart paper. Examples of the values listed included; freedom, relationships, love, compassion, creativity, imagination, being a part of nature, and responsibility (both individual and collective).

 

  • 세 번째 단계는 대학에서 사람들이 친숙하거나 꿈꿔왔던 [실천practice]의 목록을 작성하는 것이었다. 이 대안 목록에는 제약이 없었고, 그룹에는 (2단계의) 값이 고등교육에서 실제로 어떻게 발휘될 수 있는가라는 질문이 제시되었다. 이런 종류의 교육의 현재 실천과 가능한 미래 실천은 무엇인가요? 세계 다른 곳에서 일어나는 연습과 개발 단계에 있는 아이디어를 포함하여 모든 아이디어가 차트 페이퍼에 작성되었습니다. 대안 실습의 예로는 학생 코호트, 블록 교수, 입학 기준 변경, 캠퍼스 내 커뮤니티/지역 학습(단순히 오프가 아님), 캠퍼스를 생활/학습 연구소로 활용, 성찰 학습 보상, 문화 세계관을 뛰어넘기, 소규모 수업 창출 방법 찾기 등이 있습니다.
  • The third step was to create a list of practices that people were familiar with or had only dreamed about considering at the university. There were no constraints to this list of alternatives and the groups were prompted with questions: how might the values (from step two) play-out in practice in higher education? What are the current practices and possible future practices of this kind of education? All ideas were written on the chart paper, including practices happening elsewhere in the world, and ideas that were in the development stage. Examples of alternative practices included; student cohorts, block teaching, changing admission criteria, community/local learning on campus (not just off), using the campus as a living/learning lab, rewarding reflective learning, moving beyond our cultural worldviews, and finding ways to create smaller classes. 

 

  • 네 번째 단계는 일련의 연속된 아이디어 목록(가치 및 대안)을 배열하는 것입니다. 이 그룹은 가치와 관행 목록에서 긴장이나 양극성을 설명하는 연속적인 아이디어를 내도록 요청받았다. 이상적으로, 최종 두 연속선은 반대되는 것을 나타내며 구별되어 4개의 사분면 또는 시나리오를 만듭니다. 표 I는 연속체의 여러 예를 간략히 보여줍니다.  
  • The fourth step involved arranging the first two lists of ideas (values and alternatives) in a series of continuums. The group was asked to brainstorm continuums that described the tensions or polarities in the lists of values and practices. Ideally, the final two continuums would represent opposites and be distinct so that they would create four quadrants or scenarios. Table I outlines a number of the examples of the continuums. 



 

  • 워크숍의 마지막 단계에서는 2개의 연속체(x축 및 y축)를 다이어그램에 배치하여 4개의 사분면을 작성합니다. 그런 다음 참가자들은 사분면에 대한 대안을 마련하기 위해 그룹별로 작업하도록 요청 받았습니다. Van Wynsberghe 등에 설명된 바와 같이. (2002) 이것은 어려운 단계이며 각 사분면의 가장 극단적인 특성부터 시작하는 데 도움이 됩니다. 3시간 워크샵의 마지막 20분 동안 참가자들은 4개의 사분면 각각에 대해 자세히 설명하고 각 사분면에 대해 가능한 미래 시나리오를 설명하도록 요청받았다. 그 의도는 UBC가 지속가능성 연구 프로그램을 향해 어떻게 나아가야 하는지를 고려하는 것이었다. 4개의 사분면은 다양한 옵션과 기회를 보여주었고 시나리오의 최종 비전화 과정에서 창의적인 아이디어가 등장할 수 있었습니다. 미래를 위한 하나의 비전을 만드는 것이 아니라 지속가능성과 대학 교육과 관련된 가치를 공유한다는 것을 참가자들이 인식할 수 있는 다양한 시나리오를 만드는 것이 목표였다.  
  • The final stage of the workshop involved placing the two continuums (as x- and y-axes) onto a diagram to create four quadrants. Participants were then asked to work in groups in order to place alternatives onto the quadrants. As explained in VanWynsberghe et al. (2002), this is a difficult step and it helps to start with the most extreme properties of each the quadrant. In the last 20 minutes of the three-hour workshop, participants were asked to describe in detail each of the four quadrants and describe possible future scenarios for each. The intention was to consider how UBC should move toward a programin sustainability studies. The four quadrants displayed a range of options and opportunities as well as allowed creative ideas to emerge during the final visioning of scenarios. The goal was not to create one vision for the future but instead to creating a range of scenarios that would allow participants to recognize that they shared values related to sustainability and university education.

 

인터뷰
Interviews


대부분의 인터뷰에서 마지막 질문은 "만약 당신이 마법 지팡이를 가지고 있고 UBC에 대한 어떤 것이든 바꿀 수 있다면, 무엇을 바꾸고 싶습니까?"였습니다. 이 열린 질문은 희망적인 답변을 낳아 참가자들이 고등교육의 장점에 대한 강한 신념을 가지고 있음을 시사했다. 

The final question during most interviews was “If you had a magic wand and could change anything about UBC – what would you change?” This open-ended question generated hopeful answers, suggesting participants had a strong beliefs in the merits of higher education. 

결과
Results


다음의 권고사항은 대학이 지속가능성에 대한 장기적인 비전을 향한 변혁에 도움이 될 7가지로 나누어집니다. 표 II 

The following recommendations are divided into seven categories that will aid universities in a transformation towards a long-term vision of sustainability. Table II 

 



모든 의사결정에 지속 가능성 주입
Infuse sustainability in all decisions


첫번째 권고는 지속가능성이 UBC의 근본적인 우선순위가 되어야 한다는 것이다. 지속가능발전정책은 캠퍼스 건물과 운영의 지속가능한 발전과 지속가능성과 관련된 교육의 필요성을 개략적으로 보여준다. 유감스럽게도 지속가능발전정책은 이 기관의 많은 정책과 우선순위 중 하나입니다. 이 정책은 1997년에 완료되었고 이미 많은 변화가 일어났으며 이는 시대에 뒤떨어졌다는 것을 암시한다. 전체 졸업생과 직원에게 '지속가능한 발전 가치 심어주기' 등 정책 내 많은 가이드라인을 구현하기 위한 뚜렷한 전략이 없다. 최근 업데이트된 학술 계획에 맞게 정책을 업데이트할 필요가 있습니다. 이러한 통합은 지속가능성을 학술 계획 과정에 주입하는 것을 장려하고 지속가능성을 운영하기 위한 캠퍼스 전체의 대화를 수반할 것입니다. 

The first recommendation is that sustainability must become a fundamental priority for the UBC. The Sustainable Development Policy outlines the need for sustainable development of campus buildings and operations and education related to sustainability. Unfortunately, the Sustainable Development Policy is one of many policies and priorities of the institution. The policy was completed in 1997 and already many changes have occurred that suggest it is out of date. There is no clear strategy for the implementation of many of the guidelines in the policy including “instilling sustainable development values” in all of its graduates and employees. There is a need to update the policy to coordinate it with the recently updated academic plan. This integration would encourage the infusion of sustainability into the academic planning process, and would entail a campus-wide dialogue to operationalize sustainability. 

협력을 촉진하고 실천하기
Promote and practice collaboration


대학 환경에서 경쟁은 혁신과 흥분의 기회를 창출할 뿐만 아니라, 기관이 자신의 분야에서 최고의 학자들을 기릴 수 있도록 하기 때문에 종종 장려된다. 불행하게도, 이러한 압도적인 경쟁 풍토는 [입학 요건, 교실 역학, 그리고 종신 재직권 획득과 진급에 대한 스트레스]에 이르기까지 모든 것에 대한 논의로 이어졌다. 다음 참가자는 UBC가 성적 평균과 시험 점수의 기준을 벗어나는 더 넓은 기준의 입학 기준을 고려해야 한다고 제안했다.

Competition, in the university setting, is often encouraged as it creates opportunities for innovation and excitement as well as allowing the institution to honour scholars at the top of their field. Unfortunately, this overwhelming climate of competition found its way into discussions about everything from entrance requirements, classroom dynamics and the stress of attaining tenure and promotion for junior academics. The following participant suggested that UBC should consider broader based admissions standards that move beyond the criteria of grade point averages and test scores. 

학문 간 융합을 촉진하고 실천하기
Promote and practice transdisciplinarity


세 번째 추천 분야는 대학의 학문단위displinarity 구조를 둘러싼 폭넓은 대화에서 나왔다. 많은 사람들은 discipline이 창의성과 문제에 대한 혁신적인 해결을 억누른다고 주장했다. displine 구조는 또한 학생들이 학부 프로그램에서 대학 전체를 이동할 수 있는 방법을 제한한다. 한 참가자는 이들이 어떻게 하면 보다 뛰어난 문제-기반 기관을 만들고 교수진에게 학문 간 이동을 용이하도록 인정해 줄 수 있을지를 설명했다. 현재의 대학 구조는 교수들이 학과 밖에서 가르치도록 장려하지 않으며, 학제 간 융합성을 적극적으로 장려하지도 않는다. 학제간 연구와 교육에 참여할 교직원과 학과를 유치하기 위한 인센티브가 필요하다. 한 교직원이 설명했듯이 부서와 교수진의 경계는 인위적인 장벽에 불과합니다. 

The third area of recommendations came from extensive conversations around the structure of disciplinarity at the university. Many people argued that disciplines are stifling creativity and innovative solutions to problems. The disciplinary structure also limits how students can move throughout the university in their undergraduate programs. One participant explained how they would create more prominent problem-based institutes and give faculty members credit for moving easily between disciplines. The current structure of the university does not encourage faculty to teach outside of their departments, nor does it actively promote interdisciplinarity. There is a need for incentives to attract faculty members and departments to be involved in interdisciplinary research and teaching. Department and faculty boundaries are merely artificial barriers as one faculty member explained: 

개인 및 사회적 지속가능성에 집중
Focus on personal and social sustainability


대학들은 적은 예산으로 생존하는 법을 배우면서 들어오는 학생, 연구 자금 및 명성을 놓고 경쟁할 수 있는 방법을 찾습니다. 참가자들은 작업량 감소, 일정표 재구성, 교육에 대한 커뮤니티 참여 확대, 세션에 대한 직업 안정성 향상 등 [대학 환경이 보다 사회적으로 지속가능한 직장이 될 수 있는 여러 가지 권고사항]을 제시했습니다. 대학 시스템에서 시간강사(교육의 책임을 갖는 non-faculty)의 역할에 대한 대화가 더 필요하다. 시간강사는 학부 교수 프로그램의 기능에서 필수적인 부분이기 때문에 대학에서 수행하는 중요한 역할을 고려할 필요가 있다(Mullens, 2001). 시간강사는 대학이 지역사회의 전문가를 불러와 전문 지식을 강의실에 통합할 수 있는 기회를 제공한다. 현재 많은 세션sessionals들이 고용 안정이나 경제적 보상이 거의 없는 상태에서 계약직으로 대학에서 풀타임으로 일하고 있다. 

As universities learn to survive on smaller budgets they find ways to compete for incoming students, research funding, and prestige. Participants presented a number of recommendations that could lead to a university environment becoming a more socially sustainable workplace including; reduced work loads, reconfiguring timetables, more community involvement in teaching, and increased job security for sessionals. There is a need for more dialogue on the role of sessional lecturers (non-faculty with teaching responsibilities) in the university system. As sessional lecturers are an integral part of the functioning of undergraduate teaching programs there is a need to consider the important role they perform at the university (Mullens, 2001). Sessional lecturers offer an opportunity for the university to bring in experts from the community to integrate their expertise into the classroom. Currently, many sessionals are working full time at the university on a contract basis with little job security or financial reward. 

계획, 의사결정 및 평가의 통합
Integration of planning, decision-making and evaluation


대학 교육의 지속가능성 분석에서 끊임없이 제기되는 질문은 "UBC가 자신의 프로그램과 정책이 차이를 만드는지를 어떻게 알 수 있는가?"였다. 대학의 위상을 평가하는 데 사용되는 성과 지표 중 하나는 졸업 후 졸업생들의 취업률과 함께 학력에 '만족하는지'를 묻는 것이다. UBC 연례 보고서(2002년)에 따르면, 31%의 학생들만이 그들의 교육 경험에 매우 만족했고 65%는 그들의 경험에 만족했다. UBC를 위한 지속가능 개발 정책에서 언급한 것처럼, 학생들이 지속가능성과 지속가능한 개발에 대한 이해를 높일 수 있는지 묻는 설문조사는 어디에서도 찾아볼 수 없었습니다. 이 문제에 대해서는 오로지 소수의 졸업생만이 출구조사exit survey를 완료하도록 요청받았다. 
A question that constantly arose in the analysis of sustainability in university education was “how does UBC know if its programs and policies are making a difference?” One of the performance indicators used to assess the status of the university is the employment rate of the graduates after completion of their degree as well as asking if they were “satisfied” with their education. According to the UBC Annual Report (2002) only 31 percent of students were very satisfied with their educational experience and 65 percent were satisfied with the experience. Nowhere did the surveys ask if the students increase their understanding about sustainability and sustainable development – as stated in the Sustainable Development Policy for UBC. For that matter only a small percentage of graduates were even asked to complete exit surveys. 

연구, 서비스 및 교육 통합
Integration of research, service and teaching


UBC의 현재 구조는 대부분의 교직원이 세 가지 활동, 즉 연구, 교수 및 서비스 활동을 하는 것으로 가정하고 있습니다. 테뉴어 및 승진을 위한 의사결정 과정에서, [봉사]는 거의 주요 요소로 간주되지 않으며, [교육]은 연구에 밀려 부차적인 기준으로 간주된다. 많은 응답자가 [연구 우수성에 대한 과도한 강조]와 [학부 교육 우수성에 대한 강조 부족]을 느꼈습니다. 한 참가자는 교수직이 결국 대학에서 두드러진 역할을 하게 될 것이라고 상상했다. 

The current structure at UBC assumes that most faculty members will engage in three activities as part of their working career – research, teaching and service. In the decision-making process for tenure and promotion, service is rarely considered as a major factor and teaching records are considered second to the dominant criterion of peer-reviewed research publications. A number of respondents felt there was an overemphasis on research excellence and a lack of emphasis on excellence in undergraduate teaching. One participant imagined that teaching would eventually have a preeminent role at the university. 

교육학적 변환을 위한 공간 만들기
Create space for pedagogical transformation


최종 권고사항은 UBC가 학부 교육을 혁신할 수 있는 방법에 대한 워크숍 및 인터뷰 중 제안사항의 긴 리스트에서 나온 것입니다. 대학은 캠퍼스에 혁신적이고 학제전환적 학습이 지원되고 장려되는 '공간'을 만들 필요가 있다. 이러한 변혁적transformative 공간은 물리적 공간일 뿐만 아니라 성찰, 대화, 행동을 위한 헌신적인 시간이기도 합니다. 대학들은 성찰적이고 협력적인 조사를 위해 시간과 공간을 요구할 필요가 있다. 이러한 공간은 개인, 교실, 학습 커뮤니티의 변화를 가능하게 할 수 있다. 
The final recommendation comes froma long list of suggestions during the workshops and interviews about howUBC can transformundergraduate teaching. There is a need for universities to create “spaces” on campus where transformative and transdisciplinary learning is supported and encouraged. This transformative space is not only a physical space, but also dedicated time for reflection, dialogue and action. Universities need to mandate time and space for reflective and collaborative inquiry. These spaces could allow for the transformation of individuals, classrooms and learning communities.

다른 이들은 학생 간, 학생과 강사 간의 더 많은 상호작용을 촉진하기 위해 교육pedagogy을 혁신할 것을 제안했다. 학생 집단(비슷한 프로그램을 수행하는 학생 그룹), 또래 과외, 협동 그룹 작업 모두 학생들 간의 상호작용을 증가시킵니다. 전달 방식의 변화는 학생 중심 학습(Donald, 1997), 성찰 학습(Brockbank and McGill, 1998), 문제 기반 학습(Evensen and Hmelo, 2000), 협업 그룹 작업(Bruffee, 1993)을 장려할 수 있다. 이 모든 교육학은 탐구, 경험, 성찰을 학부 교실에 주입하는 기본 목표를 공유합니다. 
Others suggested transforming pedagogy to facilitate more interactions between students and between students and instructors. Student cohorts (student groups undertaking similar programs), peer tutoring and collaborative group work all promote increased interactions between students. A shift in delivery could encourage more student-centred learning (Donald, 1997), reflective learning (Brockbank and McGill, 1998), problem-based learning (Evensen and Hmelo, 2000) and collaborative group work (Bruffee, 1993). All of these pedagogies share the underlying goal of injecting inquiry, experience and reflection into the undergraduate classroom. 

미래 방향
Future directions


본 문서에서 개괄적으로 설명하는 워크숍은 지속가능성 및 지속가능성 교육 프로그램 분야의 대화를 제도적 차원에서 촉진하기 위한 이상적인 과정입니다. 안타깝게도 권장 사항 목록을 작성하는 것이 권장 사항의 구현 방법을 찾는 것보다 훨씬 간단한 작업입니다. 참가자들은 기막힌 대안들의 긴 목록을 구상한 후, 재빨리 태도를 바꾸고 예산 부족, 학생 수 증가, 정부 지원 감소의 현실에 대해 논의했다. 지속가능성에 대한 국제적, 지역적 약속에도 불구하고, 소수의 사람들이 UBC 캠퍼스에서 지속가능성 교육이나 지속가능성 연구에 종사하고 있습니다.

The facilitated workshop outlined in this paper is an ideal process for promoting dialogue in the area of sustainability and sustainability education programs at an institutional level. Unfortunately, creating a list of recommendations is a much simpler task than finding ways to implement them. After participants had brainstormed a long list of wonderful alternatives, they were quick to change tone and discuss the realities of lean budgets, increasing student numbers and reduced government support. Despite international and local commitments to sustainability, a small percentage of people are engaged in sustainability education or sustainability research at the UBC campus. 

 

 


Abstract

Purpose

This paper describes a set of recommendations that will aid universities planning to create sustainability education programs. These recommendations are not specific to curriculum or programs but are instead recommendations for academic institutions considering a shift towards “sustainability education” in the broadest sense. The purpose of this research was to consider the possible directions for the future of sustainability education at the university level.

Design/methodology/approach

Through a series of workshops using a “value focused thinking” framework, a small team of researchers engaged a large number of stakeholders in a dialogue about sustainability education at the University of British Columbia (UBC), Vancouver, Canada. Recommendations were compiled from workshop data as well as data from 30 interviews of participants connected with decision‐making and sustainability at UBC.

Findings

The recommendations include infusing sustainability into all university decisions, promoting and practicing collaboration and transdisciplinarity and focusing on personal and social sustainability. Other recommendations included an integration of university plans, decision‐making structures and evaluative measures and the integration of the research, service and teaching components of the university. There is a need for members of the university community to create space for reflection and pedagogical transformation.

Originality/value

The intention of the paper is to outline the details of a participatory workshop that uses value‐focused thinking in order to engage university faculty and administration in a dialogue about sustainability education. Students, faculty and staff working towards sustainability education will be able to adapt the workshop to their own institutions.

위임에서 신뢰를 찾기: EPA의 계획부터 도입까지 (Med Educ, 2019)

Seeking trust in entrustment: shifting from the planning of entrustable professional activities to implementation 
Karen E Hauer

 

텐 케이트가 정의한 EPA는 [관찰 가능하고 측정 가능하며 감독자가 일정량의 자율성을 가진 수습생에게 맡길 수 있는 의사 업무의 핵심 활동]을 구성한다.1
As defined by ten Cate, EPAs constitute the core activities of physicians’ work that are observable and measurable and can be entrusted by a supervisor to a trainee with a certain amount of autonomy.1

이 논평은 EPA 계획에서 EPA의 구현으로 이동할 때 고려해야 할 여러 현안을 강조한다. 

  • 첫째, 활동의 선택에 초점을 맞추고 
  • 둘째, 신뢰의 배정 및 집계에 초점을 맞춘다.

This commentary highlights a number of issues that must be considered as we move from the planning of EPAs to their implementation, focusing

  • firstly on the choice of activities and
  • secondly on the assignment and aggregation of trust. 

그러나 프로그램 간 협업은 각 프로그램에서 학습 목표의 [표준화 및 개별화의 균형]에 주의를 기울여야 한다. 즉, 프로그램은 공유된 EPA 목록을 사용하도록 선택할 수 있지만, 현지 환자 모집단, 실무적 상황practice setting, 프로그램의 사명에 고유한 EPA를 활용하여, 공유된 EPA 목록을 보완해야 할 필요성도 고려해야 한다. 
Cross-programme collaboration, however, requires that attention is paid to the balance of the standardisation and individualisation of goals for learning at each programme. That is, a programme may elect to use a shared list of EPAs, but it should also consider the need to supplement such a list with EPAs unique to the local patient population, practice setting or programme mission. 

특정 전문직의 작업work을 대표하고, 학습자의 성과 평가를 가능하게 하려면, 프로그램의 EPA를 list of titles이 아니라 [특정 practitioner에게 요구되는 관찰 및 평가에 대한 지식, 행동, 태도 및 접근방식에 대한 상세한 설명]으로 취급하는 것이 중요하다.2,3 
To represent the work of a profession, and enable assessment of learners’ performance, it is important that a programme’s EPAs be treated not as a list of titles, but, rather, as detailed descriptions of the knowledge, behaviours, attitudes and approaches to observation and assessment required by particular practitioners.2,3 

위임의 개념은 [평가자의 사고방식과 일치하는 평가 전략]으로서의 초기 가능성을 제공했다.4 필요한 감독량에 초점을 맞춤으로써, 위탁은 학습자의 성과를 판단하는 데 있어 크게 다른 해석을 가능하게 하는 '양호' 및 '탁월'과 같은 용어를 더 개선하게 된다.
The concept of entrustment offered early promise as a rating strategy that aligned with how evaluators think.4 By focusing on the amount of supervision required, entrustment improves upon terminology such as ‘good’ and ‘outstanding’ that is open to widely discrepant interpretation in the judging of a learner’s performance.

감독자는 위임 결정을 내릴 때 학습자와의 관계뿐만 아니라 학습자, 상황 및 과제의 여러 측면을 고려하고, 의식적으로 인식되는 경우 자신의 견해와 편견을 고려한다.4–6 또한 수술실에서의 임시 위임 수준은 쉽게 결정할 수 있지만, 전체 입원 기간 동안 또는 지속적인 외래 환자 진료 중에 환자를 돌보기 위한 수습 직원의 위임 수준을 구분하는 것은 모호하게 느껴질 수 있다. 관리자가 위임을 고려할 때 사용해야 하는 정보는 정확히 무엇이며(환자 치료 또는 팀 참여의 일부), 어떤 것이 있습니까? 
In forming entrustment decisions, supervisors weigh multiple facets of the learner, context and task, as well as their relationship with the learner, and, if consciously recognised, their own perspectives and biases.4–6 Further, although ad hoc entrustment may be readily identified in the operating room, discerning the level of entrustment of a trainee to provide care for a patient during an entire hospital stay or ongoing outpatient care can feel ambiguous. What exactly is being entrusted – a portion of patient care, or team participation – and what information should a supervisor use in considering entrustment? 

마찬가지로, 학습자 모두가 학습 격차와 위임을 새로운 맥락으로 이전할 수 있는 방식으로 [임시 위임 등급을 전체 학습 경험에 걸쳐 어떻게 집계할 것인가]에 관한 질문이 남아 있다.7 학습자가 '위임'된다는 사실을 받아들이려면 감독관들의 신뢰가 필요하다. 감독관은 자신의 전문 분야에서 수습생을 신뢰하는 것이 어떤 의미인지에 대한 공통적이해를 바탕으로, 동료(감독관)의 사전 위임 판단을 전적으로 신뢰하기 위해 새로운 방식으로 협력해야 합니다. 
Similarly, questions remain with regard to how ad hoc entrustment ratings can be aggregated across learning experiences in a manner that enables both the learner to address learning gaps and entrustment to be transferred to new contexts.7 Accepting that a learner is ‘entrusted’ requires trust among supervisors. Supervisors must work together in new ways to ensure common understanding of what it means to trust a trainee within their specialty and to trust fully their colleagues’ prior judgements of entrustment. 

개별 임상실습 또는 로테이션으로 엄격하게 조직된 교육 프로그램이 이 문제를 부채질한다.8 바쁜 임상환경에서, 'JIT(Just-in-Time)' 위임을 위하여 [학습자 일정 또는 환자 배정을 조정]할 수 있는 [유연성은 거의 존재하지 않을 것]이다.9 특정 로테이션이 아닌 전체 프로그램 내에서 학습자의 궤적을 종방향으로 관찰하면, 학습자 개발에 적합한 학습 활동이 배정될 가능성이 높아집니다. 
Education programmes that are rigidly organised within discrete clerkships or rotations fuel this problem.8 The flexibility to adjust a learner’s schedule or patient assignments based on ‘just-in-time’ entrustment may not exist in many busy clinical services.9 A longitudinal view of the learner and his or her trajectory within a whole programme rather than within a particular rotation enables greater probability that the learning activity appropriate for a learner’s development will be assigned. 


이러한 과제를 해결할 수 있다면 EPA는 마침내 학부 및 대학원 의학 교육 간의 연속성을 연결할 수 있을 것이다. 현재, 적어도 미국에서는 UME-GME 이행이 고부담high stake 성격을 가져서, '뛰어난 성과', '함께 일하는 즐거움', '계속 읽읽어갈' 필요가 있다 등과 같은 표현들이 정보를 뒤덮고 있다. 그 결과, 학습자의 현재 강점과 다음 학습 단계에 대한 정보가 정직하게honest 전달되는 것이 거의 불가능해진다. 위임 언어가 협력적으로 사용된다면, 학생 교육자와 전공의 교육자 사이의 신뢰를 강화할 수 있다. 
If these challenges can be solved, EPAs may finally bridge the continuum between undergraduate and graduate medical education. Currently, the high-stakes nature of this transition, at least in the USA, shrouds information in a sea of language about ‘outstanding performance’, ‘pleasure to work with’ and a need to ‘keep reading’, which altogether inhibit the honest transmission of information about a learner’s current strengths and next steps in learning. The language of entrustment, used collaboratively, could enhance trust between educators of students and educators of residents. 

교육자가 다양한 커리큘럼(학부, 대학원 의학 교육, 의사 및 기타 보건 전문가 교육)에 걸쳐 EPA를 사용하고 이러한 사용이 소규모 및 단일 기관 출판물의 확산을 초래한 것은 고무적이다. 이 분야는 현재 기관 전반에서 학부 의료 교육 또는 대학원 전문 분야에 대한 EPA를 정의하기 위해 발전하고 있다. 우리가 시행을 향해 나아가면서, 교육자로서 우리가 당면한 과제는 학습자와 그 교사들이 학습자의 진도와 진보에 관한 사려 깊은 결정을 내릴 수 있도록 하는 강력한 평가 데이터 수집을 포함하는 것이다.

It is encouraging that educators have used EPAs across diverse curricula (undergraduate, postgraduate medical education; physician and other health professional training) and that this use has resulted in a proliferation of small and single-institution publications. The field is now advancing to define EPAs for undergraduate medical education or postgraduate specialties across institutions. As we move towards implementation, the challenges before us as educators include committing to the robust collection of assessment data that enables learners and their teachers to make thoughtful decisions regarding learners’ progress and advancement.


Med Educ. 2019 Aug;53(8):752-754.

 doi: 10.1111/medu.13920.

Seeking trust in entrustment: shifting from the planning of entrustable professional activities to implementation

Karen E Hauer 1

Affiliations collapse

Affiliation

  • 1Department of Medicine, Faculty of Medicine, University of California San Francisco, San Francisco, California, USA.

 

 

1과 0: 인공지능의 시대에 의학교육과 이론(Med Educ, 2020)

Ones and zeros: Medical education and theory in the age of intelligent machines
Brian D. Hodges

 

 

 

처음에는 의학교육의 이론 활용이 다소 희박하다는 사실에 놀랐다. 나는 'T' 단어가 어떤 사람들에게는 알레르기 반응을 유발할 수 있다는 것을 관찰했다. 내가 들은 [응용 분야]에서는, 단지 일을 완수하는 데 더 큰 가치가 부여된다.
At first, I was surprised to find medical education's use of theory rather sparse. I observed that the ‘T’ word could induce an allergic reaction for some. In an applied field I was told, greater value is given to just getting things done.

요소들이 무엇이든 간에, 의학 교육은 '(어떤 이론적, 개념적인 틀이 아니라) 전통, 의식, 문화, 그리고 역사의 결과'였던 분야가 더 이상 아니다. 
Whatever the factors, medical education is moving away from being a field that has been more often ‘the result of tradition, ritual, culture, and history than of any easily expressed theoretical or conceptual framework.’4

나는 누군가의 이론적 관점을 밝히는 가장 빠른 방법은 '왜 당신은 _____가 진실이라고 믿는가?'라고 묻는것임을 발견했다. 장소가 회의 패널일 때 대화는 더욱 풍성해진다. 이 세상을 이해하려고 노력하는 사람들 사이의 논의에서 이론이 살아난다.
I discovered the quickest way to illuminate someone's theoretical perspective is to ask ‘Why do you believe that _______ is true’? The dialogue becomes even richer when the venue is a conference panel. Theory comes to life in the discussions between people who are trying to make sense of the world.

내가 [의학교육에 고정된 진실은 없다고 믿고 있으며, 모든 '진실'은 그것이 말해지는 장소와 역사적 시대의 산물]이라고 말한다면, 이를 받아들일 준비가 되어 있는 청중들이 30년 전보다 더 많이 있을 것이라고 생각한다. 헌신적인 구성주의자로서, 제 견해는, 예를 들어, '전문직업성'이라고 불리는 것이, 모든 장소와 시대에 사실이라고 말할 수 있는 것은 없다는 것입니다. 전문가의 이미지는 시간, 장소, 문화에 맞게 구성되고 재구성됩니다.5
I suspect there is a larger audience than three decades ago prepared to accept me saying that I believe there are no fixed truths in medical education; that every ‘truth’ is a product of the place and historical era in which it is uttered. As a committed constructivist, my view is that there is no one thing called ‘professionalism’, for example, that can be said to be true in all places and times. The image of a professional is constructed and reconstructed to fit time, place and culture.5

마찬가지로, 양적 영역에서는 [숫자가 사물을 아름답게 나타낼 수 있지만 숫자가 진실이라고 말할 수 없다]는 것이 더 널리 받아들여지고 있다. 자연적, 물질적, 특히 행동적 현상을 숫자로 변환하는 것은 부정확한 행위이다. 정보가 손실되는 것이다. 객관성을 전달함에도 불구하고 숫자는 진실의 하나의 가능한 표현일 뿐이다.
Similarly, in the quantitative domain, there is greater acceptance that, although numbers can beautifully represent things, numbers cannot be said to be truth. The conversion of natural, material and especially behavioural phenomena to numbers is an imprecise act. Information is lost. Numbers, despite conveying a sense of objectivity, are only one possible representation of truth.

오늘날 나는 우리의 분야에 걸쳐 이론적인 프레임워크가 견고하게 배치되는 것을 보게 되어 자랑스럽다. 치료 방식을 선택하는 임상의처럼, 의학 교육자들은 다른 문제들이 다른 관점을 필요로 한다는 생각에 익숙해지고 있다. 여러 종류의 못에다 대고 하나의 망치를 계속 휘두르려는 시도가 줄어든 것 같다
Today I am proud to see theoretical frameworks deployed robustly across our field. Like clinicians choosing treatment modalities, medical educators are becoming comfortable with the idea that different problems require different perspectives. I see fewer attempts to keep swinging at different kinds of nails with just one hammer ‒

 

그러나 최근까지 나는 이론에 대한 이해력이 있는 것이 우리 분야에서 '좋다'고 생각했다. 그러나 의학교육은 변곡점에 이르고 있다: 변곡점이란 [진실의 위기]이다.7 이 위기는 두 가지 기원을 가지고 있다: 하나는 정치적이고 하나는 기술적이다. 첫 번째 예로, 진실을 구성하는 데 큰 능력을 가진 정치 지도자들의 등장은 진리 이후의 시대를 이끌었다.
Until recently, however, I thought that having a grasp of theory was ‘nice to have’ in our field. But medical education is reaching an inflexion point: that inflexion point is a crisis of truth.7 This crisis has two origins: one is political and one is technological. In the first instance, the rise of political leaders with great facility for constructing truths has ushered in a post-truth era.


네덜란드 위트레흐트대 전 총장인 프랭크 미데마 교수는 발표된 전체 과학연구의 75%가 거짓일 수 있다고 지적하며 가짜뉴스의 출현을 규탄했다.8 그는 이것을 발견의 조기발표를 하는 중매화된 출판업계와 소시지 제조에 보상을 주는 학술진흥 문화 탓으로 돌린다. 진실의 위기의 이런 차원이 의학교육에서 우리에게 도달한 것일까? 의과대학과 교수진들은 미디어에서 그들의 이미지를 큐레이션 해야 한다는 압력을 확실히 알고 있다. 
Professor Frank Miedema, former President of Utrecht University in the Netherlands has decried the rise of fake news in science, noting that up to 75% of all published scientific research may be false.8 He blames this on a mediatised publication industry that prizes premature announcements of discoveries and a culture of academic promotion that rewards sausage making. Has this dimension of the crisis of truth reached us in medical education? Medical schools and faculty members are certainly aware of the pressure to curate their images in the media. 


하지만, 진실의 위기의 또 다른 근원인 인공지능과 빅데이터의 출현은 이미 우리에게 영향을 미치고 있다. 우리의 시대는 진실을 판가름할 알고리즘의 기준점을 만들기 위해 거대한 데이터베이스가 모여들고 있는 시대이다. 예를 들어 피부 병변이 있는 경우 오늘날 AI 기반 알고리즘은 병변이 악성일 가능성을 높은 정확도로 알려줄 수 있다. 즉, 만약 당신이 백인이라면, 그리고 하얀 피부를 가진 사람들로부터 데이타베이스를 축적했다면, 그것은 높은 정확도를 가질 것입니다. 하지만, 피부가 검다면 진단의 정확성은 다를 것이다. 
However, the other origin of the crisis of truth ‒ the rise of artificial intelligence and big data ‒ is already affecting us. Ours is an era in which huge databases are being amassed to create the reference points for algorithms that will adjudicate truth. For example, if one has a skin lesion, an AI-driven algorithm today can tell you with a high degree of accuracy the probability that the lesion is malignant. That is, it will have a high degree of accuracy if you are white and the database was amassed from people with white skin. If you have dark skin, the accuracy (dare I say truth) of the diagnosis will be something else. 

우리가 시험을 분석하고, 의사소통 기술을 이해하거나, 학습과 개발을 연구하기 위해 사용한 많은 이론들 중, 기계 시대의 진실은 말할 것도 없고, 진실의 의미를 심문하는 일에 부응하는 것은 거의 없다. 백신 반대 운동, 과학에 대한 불신, 입시 산업에 대한 믿음의 붕괴 또는 소셜 미디어에서의 가짜 뉴스의 전파에 직면하여, 보다 강력한 이론적 도구가 필요하다.

Of the many theories that we have used to help us analyse examinations, to understand communication skills or to study learning and development, very few are up to the task of interrogating the meaning of truth, let alone truth in a machine age. Faced with the anti-vaccination movement, the discrediting of science, the collapse of faith in the entrance examination industry or the propagation of fake news in social media, more powerful theoretical tools are needed.



 


Med Educ. 2020 Aug;54(8):691-693.

 doi: 10.1111/medu.14149. Epub 2020 Apr 22.

Ones and zeros: Medical education and theory in the age of intelligent machines

Brian D Hodges 1

Affiliations collapse

Affiliation

  • 1Wilson Centre for Research in Education, Toronto General Hospital, University of Toronto, Toronto, ON, Canada.
    • PMID: 32160340

 

새로운 의과대학 인증평가 항목 ASK 2019(Med J Chosun Univ, 2019)
최효선, 안영준
조선대학교 의과대학 의학교육학교실

 

 

 

서론

의과대학/의학전문대학원은 수준 높은 의학교육을 통해 의료 의 질적 향상과 사회가 요구하는 의료인을 양성하는 사회적 책무 가 있다(1). 지난 30여 년 동안 우리나라 의과대학은 시대가 요구 하는 의료인을 양성하기 위해서 의과대학의 교육환경과 수준을 향 상시키기 위한 자발적 노력을 지속해 왔다. 그 일환으로 1998년 한국의과대학인정평가위원회(ABMEK; Accreditation Board for Medical Education in Korea)가 발족되었고, 지금까지 대학교육 협의회(대교협)에서 해오던 의학교육평가를 의학계 자체적으로 전문성을 발휘하여 2000년부터 제 1주기 의학교육 평가인증을 시작 하였다(2-4). 사실 대교협의 평가는 평가 당시의 단기적 성과에 중 심을 두고 정량적으로 지표적 평가를 중심으로 하였다. 그런데 의 학교육평가인증의 목적은 의과대학/의학전문대학원의 기본의학 교육의 질을 평가하여 의학교육의 질적 향상과 의학교육의 수월성 을 추구하는 것으로(5-7) 정성적으로 교육프로그램 및 앞으로 어 떻게 할 것인가에 대한 내용을 포함하고 있다. 1주기 평가영역은 6개영역으로 교육목표, 교육과정, 학생, 교수, 시설 설비, 행정 재 정이었으며 18개 필수항목, 46개 권장항목으로 평가하였다. 이후 재단법인 한국의학교육평가원(이하 의평원)이 설립됨에 따라 의학교육평가인증 체제가 보다 체계화 되었다.

 

각 의과대학/의학전문대학원은 의학교육평가인증을 준비하는 것이 어려웠지만 평가인증을 통해 거듭할수록 대학의 평가 준비하 는 측면에서 재원과 시설의 외적인 요소의 확보에서 발전하여 교육 절차와 교육과정의 내실화에 중점을 두는 방향으로 발전하였다. 이러한 과정에서 의과대학 평가인증이 교육환경과 교육과정을 개선하고, 궁극적으로는 의학교육의 질을 향상시키는데 필요한 제도라는 인식이 전환되었다(8).

  • 한국의학교육평가원(Korean Institute of Medical Education and Evaluation, KIMEE)은 국가 적으로도 고등교육기관의 평가인증을 위한 인정기관의 필요성이 인식되었고, 2014년 교육부 고등교육 프로그램 평가인증 인정기 관으로 지정되었다.
  • 2016년에는 한국의학교육평가원이 세계의학 교육연합회(World Federation for Medical Education, WFME) 평가인증기관으로 인정을 받았다.
  • 나아가 평가기준 항목은 세계 의학교육연합회(WFME)의 글로벌 기준(Global Standards)을 기반으로(9) 우리나라 의학교육 상황에 적절히 부합되며, 의학교육 의 수월성과 다양성이 존중되고, 정량적 기준이 아닌 정성적 기준 이 되도록 새롭게 개발되었다. 개정된 의학교육 평가인증 기준을 ASK 2019 (Accreditation Standards of KIMEE 2019)로 칭하고, 2019년부터 모든 대학에 본격적으로 적용될 예정이다(10). 평가 를 통한 인증 결과는 6년, 4년 또는 2년 인증, 인증유예, 불인증 등 으로 차별화하고 있다. 

 

의과대학/의학전문대학원 평가인증 기준항목들은 2주기, Post 2주기를 거치면서 주기별로 평가인증 기본기준 항목을 각 75문항, 97문항으로 꾸준히 개정하여 왔다.

  • 모든 의과대학/의학전문대 학원은 Post 2주기 평가인증 기준 항목으로 평가인증을 받았으며, 평가영역은 대학운영체계, 기본의학교육과정, 학생, 교수, 시설·설 비, 졸업 후 교육의 6개 영역과 97개 기본항목으로 구성되어 있다 (11).
  • 2019년부터 모든 의과대학/의학전문대학원은 ‘사명과 성과, 교육과정, 학생평가, 학생, 교수, 교육자원, 교육평가, 대학운영체 계와 행정, 지속적 개선’의 9개 영역, 36개 평가부문, 92개 기본항 목으로 세계의학교육연합회의 세계적 기준으로 구성된 ASK 2019 로 의학교육평가를 받게 되었다.

그런데 ASK 2019부터 새로운 용어들이 많이 등장하고, 기준항목들이 정량에서 정성으로 바뀜으로 해석에 혼란을 초래할 수 있다. 이에 Post 2주기 평가인증 기준항 목을 기본으로 ASK 2019 항목들은 어떻게 변화되었는지 살펴보 고자 한다.

 

본론

평가영역과 평가항목의 변화

  • 우리나라 평가인증은 1주기에 교육목표와 교육과정, 학생, 교 수, 시설설비, 행정재정의 5개 영영과 필수항목 18개, 권장항목 46개로 평가를 진행했으며, 
  • 2주기에는 필수, 권장 항목이라는 용 어가 기본항목으로 통합되었으며 ‘대학운영체계, 기본의학교육과 정, 학생, 교수, 시설 설비, 졸업 후교육’으로 6개 영역과 75개 기 본항목, 34개 우수항목으로 평가하였다. 
  • Post 2주기에는 대학운영 체계, 기본의학교육과정, 학생, 교수, 시설 설비, 졸업 후교육의 6 개 영역과 97개 기본항목, 44개 우수항목으로 평가하였다. 
  • 그런데 ASK 2019에서는 사명과 성과, 교육과정, 학생평가, 학생, 교수, 교육자원, 교육평가, 대학운영체계와 행정, 지속적 개선 등의 9개 영역과 92개 기본항목, 51개의 우수항목으로 구성되어있다. 

Post 2주기의 기본의학교육과정영역이 ASK 2019에서는 교육과정, 학 생평가, 교육자원, 교육평가, 지속적 개선 등의 항목으로 분화되어 독립적인 영역이 되었고 대학운영체계 영역은 사명과 성과, 지속 적 개선을 영역을 포함하게 되었고 졸업 후 교육영역이 사라졌다 (Table 1).

 

 

Post 2주기와 ASK 2019의 평가영역, 평가부문과기준 수 

Post  2주기는  평가영역으로  대학운영체계,  기본의학교육과정, 학생, 교수, 시설 설비, 졸업 후 교육의 6개 영역, 20개 평가부문, 기본항목  97개,  우수항목  44개로  구성되었으나  ASK  2019에서는 평가영역으로 사명과 성과, 교육과정, 학생평가, 학생, 교수, 교 육자원, 교육평가, 대학운영체계와 행정, 지속적 개선 등의 9개 영역, 36개 평가부문, 기본항목 92개, 우수항목 51개로 구성되어 전체적인  항목의  수는  크게  변화가  없으며  평가영역과  평가부문이 좀  더  다양화,  구체화되고  독립된  항목으로  구성되어  있다(Table 2-1).

 




기본의학교육과정  영역에서  평가부문은 기존내용을 각 전문영역별로 나누어 구체화시켰으며 이해관계자의 참여, 교육적 교류 등 관리에 관심을 보이고 있으며 학생영역, 교수영역은 축소화하여 선발 및 활동에 중점을 두고 있다. 시설, 설비 영역은 기존과 비슷하며 졸업 후 교육이 기본의학교육과정에 속하지 않기 때문에 기본의학교육과정 평가항목에는 다루어지지 않고 있다(Table 2-2)

 



새로운 용어 및 항목 

학생영역에서는 크게 달라진 것은 없으나 학습 부진학생을 관리 및 지도, 학년별 유급율 변동에 대한 문제점을 분석하거나 유급학 생 구제 방안, 조언자 및 조언자 양성 프로그램을 권면하고 있다. 시설설비 영역에서는 전 기준과 특별히 달라진 항목이 보이지 않 으며 졸업 후 교육영역은 내용이 생략 되었다(Table 3).

 



ASK 2019 준비를 위한 제언

첫째, 예산을 미리 확인하여 집행해야 한다. 행정, 교육, 교육운 영, 교수개발, 학생 활동, 시설 등에는 반드시 예산이 필요하며 집 행해야 한다. 특히 교육과정 위원회 예산은 3,000만원 이상, 학생 교육관련 직접비용은 등록금의 5% 이상, 교수활동지원은 개인당 200만원 이상, 도서비는 교수와 학생 1인당 50만원 이상, 질관리 위원회, 발전기금 관리 위원회, 학생 교류활동, 장학금지급 등의 예산을 확보하여 집행해야 하며 반드시 증빙자료를 구비해야 한 다. 정성평가 항목으로 바뀌었음에도 실제 평가에서는 정량적 기 준을 근거로 평가되기 때문에 신경을 써야 하는 내용이다.

둘째, 인력을 확보해야 한다. 행정지원으로 직원은 분야별로 5 명 이상 직원, 학생 지원과 관련된 전담직원이 있어야 하고 보직 자도 5개 분야 이상, 기초교수 25명 이상, 임상교수 85명 이상 등 이 있어야 한다. 특히 행정 지원 인력은 각 교실별 1명 이상 있어 야 한다. 갈수록 인증평가와 관련된 업무가 중요함으로 매년 실시 해야 하는 교육과정평가, 의도한 교육성과평가, 졸업성과 평가, 시 설, 복지 만족도 등을 주기적으로 평가해야 하는 전담할 인력, 센 터, 혹은 교육지원실이 필요하며, 재정적 지원과 함께 의학교육학 교실이 일부 내용을 감당하는 것도 고려해 볼 필요성이 있다. 더 나아가 인증평가에 관심을 갖고 실제 다른 의과대학 현장 평가에 참여하는 전임교원 양성이 필요하다.

셋째, 교육과 관련된 교수개발, 직원, 학생교육이 필요하다. 신임교수는 임용 1년 이내 15시간 교육과 관련된 교육을 받아야 하 고, 전임교수는 50% 이상이 연간 3시간 이상 의학교육과 관련된 연수 및 교육을 받아야 한다. 학장, 보직자에게 의과대학 인증평 가 및 의학교육과 관련된 전문적인 시각을 위해 관련교육이 필요 하다. 학생들은 기본 전공과 관련된 교육뿐만 아니라 새롭게 환자, 보호자 안전에 관련된 교육, 감염 예방 및 치료와 관련된 교육, 성, 폭력 등과 관련된 교육 등이 필요하고 직원들에게도 새롭게 교육 적 교류, 성, 학교 정책 등과 관련된 교육이 필요하므로 이에 대한 프로그램 개발이 필요하다. 뿐만 아니라 주기적인 교수개발을 위 한 프로그램개발을 의학교육학교실과 함께 진행하는 것이 도움이 될 것이다.

넷째, 절차적 정당성을 확보하고 근거 자료를 남겨야 한다. 모든 일에 관련된 규정 및 지침이 있어야 하고 이를 진행함에 있어 지침 에 따른 절차적 정당성을 확보해야 한다. 여기에는 교원뿐만 아니라 직원, 학생, 이해관계자 및 관련자 참여의 공간도 필수적이다. 지리적으로 떨어진 교육병원에 연간 2회 이상의 학장과 보직자 방문실적이 있어야 하고 해당병원 담당자에게도 교육이 필요하다. 학생평가에 있어서도 형성평가를 권장하고 모든 평가에 피드백과 근거자료를 남겨야 한다. 특히 임상 실습평가에 있어서 지식적 항목뿐만 아니라 술기적 항목의 평가와 이에 대한 피드백, 근거자료를 남겨야 한다. 이를 관리하기 위해 필요한 위원회(질 관리 위원 회 혹은 자체 평가 위원회 등)가 조직되어 이를 학기마다 점검하고 조언 받는 것이 필요하다.

다섯째, 새로운 교육과정 개발과 강의, 평가의 다양성 확보가 필요하다. 시대에 맞는 새로운 교육과정 개발이 필요하며, 이를 위해 의학 전공과정이 4년의 틀보다는 4년 6개월, 혹은 5년 교육과정으 로 확대되어 교육하는 것이 필요하며, 교수학습법에서 강의뿐만 아니라 학생들의 학습 능력을 향상 시키는 다양한 강의법이 도입 되어야 한다. 학년별 학생 수준에 따른 교육성과 기준을 개발하여 그에 맞는 다양한 평가법, 특히 지식 영역뿐만 아니라 술기, 태도 영역 등을 평가하는 다양한 방법들이 도입되어야 한다. 평가영역 을 교수 각 개인의 고유의 영역으로 두면서 무관심하기보다 다양 한 평가를 유도 하는 정책이 필요하다.

결론

ASK2019은 내용을 살펴보면 의과대학/의학전문대학원 인증 평가 근거나 규정 없이 일회적, 단기적으로 끝나는 것이 아니라 행정, 사명, 교육, 운영, 평가 등 모든 내용에 대한 근거, 관련 규정이 있어야 하며 이에 따른 주기적인 평가와 지속적인 개선을 행정, 교육, 시설에 반영하고 있는지를 평가하도록 요구하고 있다. 평가하면 학생들 성적 평가만 생각했는데 앞으로는 성적평가 뿐만 아니 라 사명, 졸업성과, 의도한 교육성과인 교육과정, 교육과정 운영, 시설, 복지 등 모든 분야에 걸쳐 확대되었고 그 평가에 대한 원칙 및 관련 규정, 더불어 분석, 개선한 것까지 근거자료를 만들고 평가를 해야 할 상황인 것이다. 대상도 학생을 넘어 전임교원, 직원, 이해 관계자, 관련 전문가, 외부 기관까지도 아우르는 정책 및 운 영이 필요할 것이다. 따라서 많은 사람들이 검토하고 미리 준비하는 것이 필요하며 적극 동참하는 것이 아주 중요하다고 생각된다.

 

 


The ASK 2019 in the accreditation of medical school
Hyoseon Choi, Youngjoon Ahn
Department of Medical Education, Chosun University College of Medicine, Gwangju, Korea
Corresponding author
Youngjoon Ahn
Department of Medical Education,College of Medicine, Chosun University, 309 Philmun-daero, Dong-gu, Gwangju 61452, Korea
Tel: +82-62-220-3981 
Fax: +82-62-220-3981
E-mail: yjoon@chosun.ac.kr
ORCID: https://orcid.org/0000-0003-2602-8004
Medical schools have a social accountability to educate competent medical trainees and to improve the quality of medicine. Accreditation Board for Medical Education in Korea was established as an accreditation board in 1993. Now, Korean Institute of Medical Education and Evaluation (KIMEE) was opened and assessed the medical curricula and environments of each medical school which included medical educational contents, teaching-learning methods, assessment, students’ elections, medical facilities and the supporting system. KIMEE will assess each medical school with new items, called ‘ASK 2019’ starting from Year 2019. According to ASK 2019, KIMEE will assess 92 basic items and 51 excellence items which are 9 domains of mission and outcome, educational curriculum, students’ assessment, students, medical professors, educational resources, educational assessment, administration and management of school, continual improvement. We will actively prepare the budget, human resources, new medical curriculum, various teaching-learning and assessment methods, administration supporting system and medical facilities to pass the accreditation of medical education and evaluation.

Keywords: Accreditation, ASK 2019, Evaluation

 

 

의학 수련생과 더닝-크루거 효과: 모른다는 것을 모르는 때(J Grad Med Educ. 2020)

Medical Trainees and the Dunning–Kruger Effect: When They Don’t Know What They Don’t Know
Mariam Rahmani, MD

 

 

 

1999년 심리학자인 데이비드 더닝 박사와 저스틴 크루거 박사는 '미숙련과 그것을 알지 못하는 것: 자신의 무능력을 인식하는 것의 어려움이 부풀려진 자기 평가를 초래하는 방법'이라는 제목의 세미나 기사를 썼다. 그들은 대학생들에게 유머, 문법, 논리와 관련된 시험에서 그들의 성과를 추정하도록 요구했던 4가지 실험을 설명했습니다. 그들은 성적이 좋지 않은 학생들이 종종 그들의 성적을 지나치게 과대평가한다는 사실에 놀랐다. 그들은 또한 객관적으로 좋은 성적을 낸 학생들이 종종 주관적으로 그들의 성과를 과소평가한다는 것을 알아챘다. 이 현상은 일반적으로 더닝-크루거 곡선 또는 더닝-크루거 효과로 알려져 있다.

In 1999, psychologists David Dunning, PhD, and Justin Kruger, PhD, wrote a seminal article titled ‘‘Unskilled and Unaware of It: How Difficulties in Recognizing One’s Own Incompetence Lead to Inflated Self-Assessments.’’1 They described 4 experiments in which they asked college students to estimate their performance on tests involving humor, grammar, and logic. They were struck by the finding that students who performed poorly often grossly overestimated their performance. They also noticed that students who objectively performed well often subjectively underestimated their performance. This phenomenon is commonly known as the Dunning– Kruger Curve or the Dunning–Kruger Effect. 


사람들은 많은 사회적 및 지적 영역에서 자신의 능력에 대해 지나치게 호의적인 견해를 가지고 있다. 이러한 과대평가는 부분적으로 이러한 영역에서 미숙련한 사람들이 이중의 부담을 겪기 때문에 발생한다. 이 사람들은 잘못된 결론에 도달하고 불행한 선택을 할 뿐만 아니라, 그들의 무능함은 그것을 실현하는 메타인지 능력을 빼앗는다
People hold overly favorable views of their abilities in many social and intellectual domains . . . this overestimation occurs, in part, because people who are unskilled in these domains suffer a dual burden: Not only do these people reach erroneous conclusions and make unfortunate choices, but their incompetence robs them of the metacognitive ability to realize it.1 



그림에는 더닝-크루저 효과의 그래픽 설명이 나와 있습니다. A 지점에서 경험이 부족한 사람들은 종종 자신의 성과에 대해 그릇된 자신감을 갖게 됩니다. 시간과 경험을 통해, 그들은 그들이 그 일의 몇 가지 복잡한 측면을 알지 못했다는 것을 깨닫는다. 이 깨달음은 그들의 신뢰감을 떨어뜨린다. 그들이 그 일에 더 많은 시간을 보낼수록, 그들은 더 많은 경험과 지혜를 얻게 되고, 결국 그들의 얻은 신뢰(점 C)를 얻게 된다. 하지만 처음처럼 자신감이 높지는 않다. 
A graphic depiction of the Dunning–Kruger Effect is shown in the FIGURE. At point A, inexperienced people often have a falsely elevated sense of confidence about their performance. With time and experience, they realize that they had been unaware of some intricate aspects of the job. This realization plunges their confidence (point B). As they continue to spend more time on the job, they acquire more experience and wisdom, ultimately gaining their earned confidence (point C). However, the confidence is never as high as it was at in the beginning. 

역설적으로, 성과가 낮은 개인이 자기 평가에서 정확성을 달성할 때까지, 그들의 성과는 향상되었다. 간단히 말해서, 무능력 영역을 식별하기 위해서는 역량이 필요하다.

Paradoxically, by the time low-performing individuals achieve accuracy in their self-assessments, their performance has improved. In a nutshell, competence is required to identify areas of incompetency.

 




레지던트 교육 적용 가능성
Applicability to Residency Training


일반외과, 가정의학과, 정신과 등에서 의대생, 인턴, 레지던트 등의 자기평가는 성과에 대한 객관적이고 타당한 척도가 되지 못한다는 연구 결과가 나왔다.5–9 
studies have demonstrated that self-assessments by medical students, interns, and residents in general surgery, family medicine, and psychiatry are invalid measures of their objective performance.5–9 

여러 의학 연구가 더닝-크루저 곡선의 다른 부분을 지원한다. 예를 들어, 1개의 연구에 따르면, 능력이 떨어지는 후대의 의사들은 자신의 효능을 증명된 것보다 더 높게 평가하는 경향이 있었다(점 A).10 
Several medical studies support different portions of the Dunning–Kruger Curve. For example, 1 study found that junior physicians who were less competent tended to self-rate their efficacy higher than it was demonstrated (point A).10 

한 연구에 따르면 성능이 가장 낮은 의사는 성과에 대한 객관적인 피드백을 가장 적게 받아들일 가능성이 있는 것으로 나타났다.12 다른 연구에서 의사는 부정적인 피드백을 정확하거나 유용한 것으로 인식하지 않았으며, 의료 행위를 변경하기 위해 사용할 계획도 없었다.13 
A study showed that the lowest-performing physicians are the least likely to accept objective feedback on their performance.12 In another study, physicians did not perceive negative feedback as accurate or helpful and did not plan to use it to change their practice.13 

연구자들은 또한 더 유능한 주니어 내과의사들이 자신의 효능을 덜 유능한 의사들보다 낮게 평가하는 경향이 있다는 것을 발견했다(점 B). 이것은 특히 여성들에게 해당되었다. 기술을 배우고 연습하는 데 소요되는 시간이 많을수록 객관적인 개선과 관계없이 해당 스킬(점 C)에 대한 자신감도 높아지는 것으로 나타났다.
Researchers have also found that more competent junior physicians tended to self-rate their efficacy lower than less competent ones (point B).10 This was especially true of women.14 It has also been shown that the more the time spent in learning and practicing a skill, the higher one’s self-confidence about those skills (point C), regardless of objective improvement. 

 

실용적 제안

Practical Suggestions

 

1. 프로그램 디렉터는 자신의 성과에 대한 훈련생이 예측한 자신감과 인식은 그들의 성과를 과소평가하거나 과대평가하는 훈련생들에게서 모두 실제 성과를 반영하지 못할 수 있다는 것을 알아야 한다.19–21 

1. Program directors should be aware that trainees’ projected self-confidence and perception of their own performance may not reflect their actual performance, both in trainees who underand overvalue their performance.19–21 


2. 프로그램 책임자는, 자기평가보다, 다양한 교수, 동료, 환자 및 직원이 수행한 평가에 더 많은 신뢰를 부여하는 것을 고려해야 한다. 이러한 평가는 자기 평가보다 더 정확할 수 있다. 
2. Rather than self-assessments, program directors should consider giving more credence to assessments completed by a variety of faculty, peers, patients, and staff. These assessments taken together may be more accurate than resident self-assessments alone. 

3. 지나치게 자신만만해 보이는 미숙한 주민을 위한 멘토링 시 여러 출처에서 사실과 피드백을 전달하는 것이 필요하지만, 성과 개선을 이끌어내기에는 미흡한 경우가 많다. 그러한 표준이 충족되지 않을 경우 역량과 잠재적 결과에 대한 명확한 기대치를 설정하는 것이 필요할 수 있다. 
3. When mentoring underperforming residents who appear overconfident, delivering facts and feedback from multiple sources is necessary, but often not sufficient to lead to improvement in performance. Setting clear expectations for measures of competence and potential consequences if those standards are not met may be required. 

4. 자신의 역량에 대해 불안감을 느끼는 전공의를 적절히 멘토링할 때 프로그램 책임자는 자기 의심을 허용하는 것이 성과 향상에 따라 결정되는 단계에서 중요한 단계임을 명심해야 한다. 피상적인 reassurance은 전공의의 개선을 유도하지 않습니다. 전공의는 수행능력을 향상시키고 긍정적인 자아상을 재구축하기 위해 의심과 낮은 자신감을 견뎌야 합니다. 프로그램 디렉터는 레지던트 교육 프로그램의 궁극적인 목표가 되어야 하는 학습 과정을 전공의에게 상기시키고 시간과 끈기로 개선에 대한 희망을 장려할 수 있다.
4. When mentoring adequately performing residents who remain insecure about their competence, program directors should remember that allowing for self-doubt is a critical step in the phase marked by improved performance. Superficial reassurance will not drive a resident to improve—a resident must tolerate periods of doubt and low self-confidence in order to improve performance and rebuild a positive self-image. Program directors can remind residents of the learning process and encourage hope for improvement with time and perseverance, which should be the ultimate goal of any residency training program. 

 



 


J Grad Med Educ. 2020 Oct;12(5):532-534.

 doi: 10.4300/JGME-D-20-00134.1.

Medical Trainees and the Dunning-Kruger Effect: When They Don't Know What They Don't Know

Mariam Rahmani

    • PMID: 33149817

 

    • PMCID: PMC7594774 (available on 2021-10-01)

 

No abstract available

펜데믹 시기의 교육 ( J Grad Med Educ, 2020)

Teaching During a Pandemic

Jeffrey W. Redinger, MD Paul B. Cornia, MD Tyler J. Albert, MD




현재 이런 의대교육 교란에는 역사적 선례가 있다. 2003년 초, 심각한 급성 호흡기 증후군 관련 코로나바이러스(SARS-CoV)가 캐나다 온타리오 전역과 아시아의 수많은 국가에 확산되어 교육자들은 직접 교육과정을 포기해야 했다.3 캐나다 지수 사건 몇 주 후, 토론토 대학교는 학부 과정을 중단하고 모든 의대생 임상 로테이션을 취소했으며, 많은 외래 환자 레지던시 로테이션이 축소되거나 중단되었다.4,5 질병이 확산됨에 따라 대학 교수진들은 리더십과 임상 의무를 위해서 비필수적 활동에서 제외되었다. 우리의 현재 위기에서처럼, 제공자들은 거대한 임상적 도전뿐만 아니라 전통적인 교육 활동의 격변에도 직면했다. 

There is historical precedent for this current disruption to medical education. In early 2003, severe acute respiratory syndrome-associated coronavirus(SARS-CoV) spread throughout Ontario, Canada,and numerous countries in Asia, forcing educators to abandon in-person curricula.3 Just weeks after the Canadian index case, the University of Toronto suspended its undergraduate courses and canceled all medical student clinical rotations, while many outpatient residency rotations were truncated or halted.4,5 As illness spread, university faculty werepulled from nonessential activities in favor of leadership and clinical duties. As in our current crisis,providers faced not only immense clinical challenges but also the upheaval of traditional teaching activities. 


전염성 위기 동안의 의학 교육에 대한 장벽은 의심할 여지 없이 많다: 높은 임상량, 정보 과부하, 교수진 또는 훈련생 질병, 그리고 스트레스가 많은 시간 동안 발생하는 심리적 부담. 

Undoubtedly, the barriers to medical education during an infectious crisis are numerous: high clinical volume, information overload, faculty or trainee illnesses, and psychological burden incurred during a stressful time. 


가상 강의실에 적응

Adapt to a Virtual Classroom


사회적 거리 두기가 필수적이 됨에 따라, 우리는 교수 방법을 채택하고 이전에 예정된 회의를 가상 커리큘럼으로 대체했다. 이제 가상 교실을 통해 아침 보고를 하고 화상 회의로 전문가 연자를 초대합니다.

As social distancing has become imperative, we have adapted our teaching methods and replaced previously scheduled conferences with virtual curricula. We now conduct morning report via virtual classroom and invite expert speakers to join by video conference.


오늘날의 학습자들은 교육자들이 교실에서 정보 기술을 효과적으로 사용하기를 기대합니다.6

Today’s learners expect educators to effectively use information technologies in the classroom.6


  • 연습: 가상 강의실에 익숙해지고 불가피한 결함이나 오류를 발견하기 위해 미리 연습 세션을 실시합니다. 동료 교육자들로부터 실시간 피드백을 받을 수 있는 라이브 채팅이 가능한 상태에서 이 세션을 교수진 전용으로 수행할 것을 권장합니다. 

Practice: Conduct a practice session beforehand to familiarize yourself with the virtual classroom and uncover inevitable glitches or errors. We recommend conducting this session as faculty-only with live chat enabled to obtain real-time feedback from fellow educators. 


  • 기대치 설정: 각 세션의 시작 부분에 대한 기대를 명확히 하여 잘못된 의사소통과 혼란을 예방합니다. 예를 들어, 세션 중에 사용할 가상 학습 도구에 대해 설명하고, 세션이 대화형interactive인지 여부를 명확히 하며, verbal을 선호하는지, 채팅을 통한 typed 커뮤니케이션을 선호하는지 여부를 명시적으로 설명하십시오. 

Set expectations: Make expectations clear at the beginning of each session to prevent miscommunication and confusion. For example, describe the virtual learning tools that you will use during the session, clarify whether the session will be interactive, and explicitly state whether verbal or typed communication via chat box is preferred. 


  • 학습자 참여: 라이브 비디오 컨퍼런스를 통해 슬라이드 기반 강의를 진행하는 것은 교육생들이 녹화된 교육 과정을 시청하도록 하는 것과 다를 바 없습니다. 게다가, 음소거 마이크와 카메라가 꺼진 학습자는 산만함에 굴복할 가능성이 있다. 우리는 협업적이고 상호 작용적인 교실을 유지하기 위해 가능한 경우 사회 학습 이론에 기반을 둔 건설주의적 교육 기법을 통합하려고 노력한다. 따라서 카메라를 활성화하고 가상 소그룹 브레이크아웃, 화면 공유 또는 가상 칠판을 사용하여 직접 강의실의 능동적 학습 환경을 모방할 것을 권장한다.

Engage learners: Delivering a slide-based lecture via live video conference is no different than having trainees watch a recorded didactic.Moreover, a learner with a muted microphone and camera turned off is likely to succumb to distraction. We strive to integrate constructivist teaching techniques grounded in social learning theory when possible in order to maintain a collaborative and interactive classroom. Thus,we recommend enabling cameras and using virtual small group breakouts, screen sharing,or virtual chalkboards to mimic the active learning environment of an in-person classroom.


  • 피드백 요청: 특히 대규모 강의에서는 여러 학습자의 경험을 측정하기가 어려울 수 있습니다. 초기 피드백과 빈번한 피드백을 통해 가상 컨퍼런스의 구조, 컨텐츠 및 제공이 반복적으로 개선됩니다. 우리는 각 세션이 끝날 때마다 5분씩 피드백을 받을 수 있도록 예약하고 다음 수업 계획에 제안사항을 이행합니다. 

Solicit feedback: It may be difficult to gauge the experience of multiple learners, especially in larger teaching sessions. Early and frequent feedback facilitates iterative improvement ofthe structure, content, and delivery of virtual conferences. We reserve 5 minutes for feedback at the end of each session and implement suggestions into our next lesson plan. 


비공식적인 가르침 수용

Embrace Informal Teaching


임상 활동에 압도당할 경우 공식적인 교육을 우선시하지 마십시오. 경험적 교육은 고유한 학습 목표를 달성하는 효과적인 방법이 될 수 있으며, 경험적 학습은 GME의 중요한 구성요소입니다.8 전염병 중, 훈련생들은 질병에 대한 직접 관찰을 통해 배우고 멘토들이 도전을 탐색하는 것을 관찰함으로써 배웁니다. 발병의 연습생들이 일을 하면서 위기의 흐름을 경험하고 사고 과정을 투명하게 할 수 있도록 한다.

Don’t prioritize formal teaching if you are overwhelmed by clinical activities—experiential teaching can be an effective way to accomplish unique learning objectives, and experiential learning is an important component of GME.8 During pandemics, trainees learn through first-hand observation of illness and by watching mentors navigate the challenges of an outbreak. As you work, allow your trainees to experience the flow of a crisis and be transparent with your thought processes.


전염병 업데이트 통합

Incorporate Pandemic Updates


전자 메일 과부하는 대유행 중에 빠르게 문제가 된다. 정기적으로 예정된 구두 업데이트는 전자 통신의 쉽고, 중요하고, 휴머니즘적인 부가물이며, 가상 교실을 통해 수행될 수 있습니다.

Email overload quickly becomes problematic during a pandemic. Regularly scheduled verbal updates are an easy, important, and humanistic adjunct to electronic communication and can be accomplished via a virtual classroom


비COVID-19 티칭 포함

Include Non-COVID-19 Teaching


유행병에 특화된 교육이 필요하지만, 학습과 가르침을 하나의 주제에 집중하는 것은 지칠 수 있다. 반대로,  non-COVID-19 주제에 대한 교육은 전염병으로부터 정신적 휴식mental break을 제공하며 전체적인 환자 안전성을 향상시킬 수 있다.

While pandemic-specific education is necessary, it can be exhausting to focus both learning and teaching around a single topic. Conversely, education about non-COVID-19 topics offers a mental break from the pandemic and likely improves overall patient safety.


연습생 정신건강 지원

Support Trainee Mental Health


모든 의료 전문가와 마찬가지로 훈련생들도 전염병의 정신적 고통에 취약하다.9,10 이러한 효과를 인정하고 훈련생들에게 특정한 웰빙 자원을 제공하면 안전하고, 환영하며, 진정한 환경을 조성할 수 있다.주요 거주자들은 가용 자원을 육성하는 데 있어 귀중한 동맹국이며, 아침 보고서는 이들을 홍보하기 위한 이상적인 장소이다.

Trainees, like all health care professionals, are susceptible to the mental toll of a pandemic.9,10 Acknowledging these effects and providing specific well-being resources for trainees can foster an environment that is safe, welcoming, and genuine.Chief residents are invaluable allies in cultivating available resources, and morning report is an ideal venue to promote them. 







. 2020 Aug;12(4):403-405.
 doi: 10.4300/JGME-D-20-00241.1.

Teaching During a Pandemic


근거이론(When I say…) (Med Educ, 2014)

When I say… grounded theory

Lorelei Lingard




84세의 어머니는 심장마비와 뇌졸중으로 지난 봄에 병원에 입원하셨다.

My 84-year-old mother was hospitalised this past spring following a heart attack and stroke.


내가 '근거 이론'이라고 말할 때, 나는 [설명 이론을 발전시키는 것을 목표]로 한 [사회 현상에 대한 조사]를 의미한다. 

  • 내가 '이론'이라는 말을 쓰는 것은, 소문자 t를 의미한다. 뇌졸중 재활치료실에서의 진료전달 관행에서 '평범한' 역할과 같은 중간의 설명을 의미한다. 나는 인간의 인식에서 패턴 인식의 역할과 같은 웅대한 설명, 대문자 'T'를 의미하는 것이 아니다

  • 내가 '근거'라고 말할 때, 나는 [경험적 자료로부터 귀납적으로 파생된 것]을 의미하지만, 사전 지식으로 도색되지 않은 발견의 과정을 암시하는 것은 아니

  • 그러므로 내가 '구성주의자'라고 말할 때, 나는 밝혀지기를 기다리고 있는 세상에 이미 '저기 어디 존재하는' 이론보다는, 오리엔테이션을 가진 사람들(나의 경우 의학교육 연구원과 연약한 노인 환자의 딸)이 만들어 내는 [이론 형성의 해석적 성격]을 인정할 생각이다.

When I say ‘grounded theory’, I mean inquiry into a social phenomenon with the goal of developing an explanatory theory. 

  • By ‘theory’, I mean small ‘t’, middle-range explanations, such as the role of ‘the usual’ in care delivery practices on a stroke rehabilitation unit. I do not mean capital ‘T’, grand explanations, such as the role of pattern recognition in human cognition. 

  • When I say ‘grounded’, I mean inductively derived from empirical data, but I don’t intend to imply a process of discovery untainted by prior knowledge. 

  • Therefore, when I say ‘constructivist’, I intend to acknowledge the interpretive nature of theory generation,1 which is created by people with orientations (in my case, those of a medical education researcher and the daughter of a frail elderly patient), rather than a theory that is already ‘out there’ in the world waiting to be revealed.


근거이론은 반복, 지속적인 비교, 이론적 샘플링의 세 가지 상호 지지적 특징으로 다른 질적 접근법과 구별할 수 있다.2

Grounded theory is distinguishable from other qualitative approaches by three mutually supportive features: 

  • iteration; 

  • constant comparison, and 

  • theoretical sampling.2


반복은 [후속 데이터 수집을 세분화하기 위해 수집되는 즉시 새로운 데이터를 분석에 종속시키는 관행]이다. 반복하려면 연구를 사전에 설계하고 재진입re-entry을 수용할 수 있도록 설정해야 한다.

Iteration is the practice of subjecting new data to analysis as soon as they are collected in order to refine subsequent data collection. Iteration requires a study to be proactively designed and its setting to accommodate re-entry.


나는 의대생들의 새로운 전문가간 협업 스테이션 경험에 대한 기초 이론 연구를 객관적인 구조 임상 시험에서 수행할 수 없었다. 왜냐하면 연구 타임프레임상 반복할 여유가 없기 때문이다.

I could not conduct a grounded theory study of medical students’ experiences of a new interprofessional collaboration station in an objective structured clinical examination because the study timeframe would not afford iteration.


근거 이론 분석의 중심은 '끊임없는 비교'이다. 진술은 진술, 스토리와 이야기, 참여자와 참여자, 주제와 함께 주제와 비교된다. 지속적인 비교과정의 중심은 유도적 추론과 연역적 추론의 균형이다. 이 추론은 기초 이론 연구자가 데이터의 새로운 패턴에 대한 추측을 형성하고, 이러한 추측들을 들어오는 데이터로부터 체계적으로 확인함으로써 이를 조정하고 정교하게 한다.

The backbone of grounded theory analysis is ‘constant comparison’: statement is compared with statement, story with story, participant with participant, theme with theme.1 Central to the constant comparative process is the balance of inductive and deductive reasoning, in which the grounded theory researcher formulates conjectures regarding emerging patterns in the data, and refines and elaborates these conjectures by systematically checking them against incoming data.


'평범한'에 대한 나의 연구에서는, 끊임없이 비교하는 것은 새로운 패턴과 불일치를 파악하고 예비적인 추측을 형성하기 위해, 내가 이전 방문visit에서 보고 들은 것을 고려하여 매일의 관찰과 대화를 고려하는considering 것을 포함할 수 있다.

In my study of ‘the usual’, constant comparison might involve considering each day’s observations and conversations in light of what I’ve seen and heard on previous visits, in order to identify emerging patterns and discrepancies and to formulate preliminary conjectures.


후속 데이터 수집을 통해 이러한 추측을 탐구하고 구체화하기 위해, 나는 간호원 중 한 명에게, 간호원들의 업무의 많은 부분을 명시적인 프로토콜을 참조하는 것처럼 보이는, 그들이 어떻게 나의 어머니를 돌보는 데 이러한 표준 프로토콜을 적용하는지에 대해 물어볼 수도 있다.

In order to explore and refine this conjecture through subsequent data collection, I might ask one of the student nurses, who appear to reference explicit protocols for much of their work, how they apply these standard protocols in their care of my mother.


이론적 샘플링에서 데이터 수집 절차는 분석에서 나타나는 주요 주제에 점점 더 날카롭게 초점을 맞출 수 있도록 진화한다. 이는 병동에서 다른 활동, 면접 참가자에게서 추구되는 특정 특성 또는 인터뷰 프로토콜에 추가된 새로운 프로브가 모두 포화 주장을 뒷받침하기에 충분한 핵심 차원에 대한 이해 또는 핵심 주제의 철저한 이해를 목적으로 관찰된다는 것을 의미할 수 있다.

In theoretical sampling, data collection procedures evolve to allow an increasingly sharp focus on key themes emerging in the analysis. This may mean that different activities are observed on the ward, specific characteristics sought in interview participants, or new probes added to the interview protocol, all with the aim of achieving an understanding of key dimensions sufficient to support a claim of saturation – or thorough understanding – of key themes.


물론 표본 추출 전략에 대한 모든 refinement는 연구자의 주의를 select하기도 하고 deflect하기도 한다. 이는 이론적 표본 추출이 조사의 범위를 좁히고, 통찰의 일부 영역을 잘라내기도 하고, 다른 영역을 무심코 닫는 과정임을 의미한다. [연역적 추측]과 [이론적 샘플링]의 보다 미세한 지점은 근거이론에서 논쟁의 원천이다; 이러한 절차는 이론을 특정 방향으로 '강제'하지 않도록 주의하여 다루어야 한다.3

Of course, every refinement to the sampling strategy both selects and deflects the researcher’s attention, meaning that theoretical sampling is a process of narrowing the line of inquiry, rounding out some areas of insight and inadvertently closing off others. The finer points of deductive conjecturing and theoretical sampling are a source of debate in grounded theory circles; these procedures need to be handled with care to avoid ‘forcing’ the theory prematurely in a particular direction.3







. 2014 Aug;48(8):748-9.
 doi: 10.1111/medu.12394.

When I Say…grounded Theory

Affiliations 

Affiliation

  • 1London, Ontario, Canada.


활동이론의 도구가 학부의학교육에서 조직변화를 이해하는데 도움이 될 수 있을까? (Adv in Health Sci Educ, 2014)

Can the tools of activity theory help us in advancing understanding and organisational change in undergraduate medical education?

Anne-Marie Reid • Alison Ledger • Sue Kilminster • Richard Fuller




개요와 맥락

Overview and context


의대생에서 주니어 의사로의 전환은 많은 관심의 초점이 되어 왔으며, 대부분의 경우 누구나 어려움을 겪는다고 언급하고 있다.

The transition from medical student to junior doctor has been the focus of much attention, with most accounts presenting this transition as problematic for all concerned.


영국의 전문 규제 기관인 종합의료위원회(GMC)는 주니어 의사들의 '준비성'에 대한 우려에 대해, 최종년도의 의대생이 주니어 의사를 보조하는 학생 '보조성assistantships'에 대한 요건을 도입하고, 학생이, 감독하에, 주니어 의사의 통상적인 의무(GMC 2009b)를 실시하는 것으로 대응해 왔다. 그러나 의료 학부 프로그램과 임상 배치의 복잡한 요구를 충족시켜야 하는 이러한 assistantships의 구조와 형식에 대한 지침은 거의 없다. 이와 관련된 요구사항은 중 하나는, 졸업반 의대생들이 4일 동안 그들이 맡게 될 주니어 의사와 함께 일하도록 요구받는 '섀도잉'이다(Keoh 2012). 이는 학기말 시험 후 그리고 새 직장에 취업하기 전에 발생한다. 주니어 의사(GMC 2012)의 역할과 책임, 그리고 그들이 감독해야 할 학생들의 활동에는 전국적으로 상당한 변화가 있다.

In the UK, the professional regulatory body, the General Medical Council (GMC) has responded to concerns about junior doctors’ ‘preparedness’ by introducing a requirement for student ‘assistantships’ in which a final year medical student assists a junior doctor, and, under supervision, performs the usual duties of a junior doctor (GMC 2009b). However, there is little guidance about the structure and format of these assistantships which need to meet the complex needs of both the medical undergraduate programme and the clinical placement. A related requirement is for ‘shadowing’ when graduating medical students are required to spend 4 days working alongside the junior doctor whose post they will take over (Keogh 2012). This occurs after the final year exams and before employment in the new post commences. There is considerable variation nationally in both the roles and responsibilities of the junior doctors (GMC 2012), and the activities of the students they are required to supervise.


이 연구는 의대생들이 임상 실습으로 전환하기 위해 이동함에 따라 학습 문화, 특히 assistantships와 관련된 변화에 영향을 미치는 방법을 탐구하기 위해 고안되었다. 이 연구는 이전 연구(Kilminster 등 2011)에서 개발되었으며, 이전 연구에서 전환transition은 의사들이 [환경의 특수성에 engage하고, 다른 동료들과 작업 관계를 설정하는] 극도로 집약적인 학습 기간(CILP)으로 재구성될 수 있다는 의견을 제시했다.

This study was designed to explore ways of influencing changes in learning cultures, particularly around assistantships, as final year medical students move towards their transition to clinical practice. The study developed from our previous work (Kilminster et al. 2011) which suggested that transitions could be reframed as critically intensive learning periods (CILPs) in which doctors engage with the particularities of the setting and establish working relationships with other colleagues.


프로젝트의 프레임워크는 Engestro ̈m(1987년; 2001년; 2005년; 2007년)에 의해 개발된 활동 이론 구조에 기초한 개발 작업 연구(DWR)에서 도출되었다. 이러한 개입주의적 방법론은 실무자들이 실천의 문제를 해결하기 위해 중요한 접근법을 취할 것을 권장한다. 참여자들은 함께 협력하여 기존 관행에 대한 새로운 통찰력을 만들고 그들의 특정한 사회역사적 맥락 안에서 새로운 해결책을 질문하고 모델링함으로써 결과적인 변화를 개발한다. DWR에서, 연구원들은 실무자들과 협력하여 일하는 조력자 역할을 한다. 이 방법론은 전문 지식과 전문지식이 조직 전체에 분포되어 있음을 인식한다. 이 연구에서 지식과 전문지식은 의대와 임상 환경 사이에 분포되었다.

The framework of the project drew from Developmental Work Research (DWR) which is based on the activity theory construct developed by Engestro¨m(1987; 2001; 2005; 2007). This interventionist methodology encourages practitioners to take a critical approach to solving problems of practice -participants work together to create new insights into existing practices and develop consequent changes by questioning and modelling new solutions within their specific socio-historical contexts. In DWR, researchers act as facilitators who work collaboratively with practitioners. This methodology recognises that specialist knowledge and expertise is distributed across organisations; in this study, knowledge and expertise was distributed between the medical school and clinical settings.


DWR와 조직변화

Developmental Work Research (DWR) and organisational change


DWR 접근법은 Engestro rom에 의해 조직변화를 위한 개입 전략으로서 개발되었다. DWR은 활동 이론 프레임워크에 기초한다(Engestro ̈m 1987; 2001; 2005; 2007). 문화역사활동이론(CHAT)은 본질적으로 사람과 요소 사이의 역동적인 상호작용 시스템 분석과 관련이 있다. 즉, 사물들이 어떻게 진화하고 있는지, 어떻게 그것들이 있는 그대로 이해되는지, 그리고 ...물질적 요소들 간의 관계, 그리고 노동, 문화적 규범, 규칙과 시스템에 얽힌 관점의 분열." (Fenwick et al. 2011 페이지 9). 

The DWR approach was developed by Engestro¨m as an interventionist strategy for organisational change; it is based on the activity theory framework (Engestro¨m 1987; 2001; 2005; 2007). Cultural Historical Activity Theory (CHAT) is essentially concerned with analysing systems of dynamic interaction between people and artefacts: how things have evolved as they are, how they are understood as they are and, ‘‘relations among …material artefacts, as well as divisions of labour, cultural norms, rules and perspectives enmeshed in the system’’ (Fenwick et al. 2011 p. 9). 


(CHAT에서) 학습은 특정 사회-문화적 역사적 맥락 안에서 조직적 또는 시스템 수준에서 발생하는 것으로 이해된다. 모든 활동은, 모든 상황에서, 활동이 일어나고 있는 시스템의 실행의 '분업'과 '규칙' 내에서 일어난다(Engestro ̈m 2001; 2007; Roth and Lee 2007).

Learning is understood as occurring at an organisational or systems level within specific socio-cultural historical contexts; all activity, in every setting, occurs within the ‘divisions of labour’ and the ‘rules’ of practice of the system within which the activity is taking place (Engestro¨m 2001; 2007; Roth and Lee 2007).


CHAT에서, [확장적expansive 학습]은 활동 시스템(예: 병동, 외래 환자 클리닉, 병원 또는 규제 시스템일 수 있음)의 내재적 모순에 대응함으로써 이루어진다. 모순은 '실제 활동 시스템에서 감지하여 처리할 수 있는 역사적으로 진화하는 긴장'이다(Engestro ̈m과 Sannino 2010, p. 4). 이러한 모순은 시스템에 관계된 '다수의 목소리'로부터의 상충하는 요구, 조직변화의 도입, 동기의 차이, 그리고 기대의 차이와 같은 여러 요인에 의해 발생한다. 이러한 모순이 충분히 골치 아프게 되면 그들은 딜레마, 도전과 질문을 만들어낸다; DWR 개입을 통해 이것들을 해결하면 새로운 실천요강이 나타날 가능성이 있다.

In CHAT, expansive learning results from responding to the inherent contradictions in an activity system (which may be a ward, out-patient clinic, hospital or regulatory system for example). Contradictions are ‘historically evolving tensions that can be detected and dealt with in real activity systems’ (Engestro¨m and Sannino 2010, p. 4). These contradictions arise due to a number of factors such as competing demands from the ‘multiple voices’ involved in the system, the introduction of organisational change, differences in motivation and different expectations. When these contradictions become sufficiently troublesome they create dilemmas, challenges and questions; addressing these through a DWR intervention allows the possibility for new practices to emerge.


예를 들어, 한 DWR 연구는 노인들의 충족되지 않은 요구와 관련된 문제를 해결하기 위해 노력하는 다양한 보건 및 사회 복지사들을 포함했다(Engestro ̈m 및 Sannino 2010). 이러한 충족되지 않은 요구는 시스템 내 활동의 '객체'의 모순으로 이해되었다. 즉, 가정 관리 근로자들은 특정 관리 업무를 신속하게 완료하는 데 집중하는 경향이 있는 반면, 노인들은 자신의 독립성을 유지할 필요성에 초점을 맞추고 있었다. DWR 개입은 이러한 다른 대상들을 새로운 해결책(즉, 새로운 치료협적)의 개발을 통해 더 가깝게 모일 수 있게 하였다. 즉, 노인들의 요구와 관리팀의 과제를 보다 잘 조화시키는 매개 도구 역할을 하였다.

For example, one DWR study involved a range of health and social care practitioners working to resolve issues regarding the unmet needs of older people (Engestro¨m and Sannino 2010). The unmet needs were understood as contradictions in the ‘objects’ of activity in the system— home care workers tended to focus on completing specific care tasks quickly, whilst older people were focused on the need to maintain their independence. The DWR intervention enabled these different objects to be brought closer together through the development of a new solution—a new care agreement—which acted as a mediating tool to better align the older persons’ needs and the care teams’ tasks.


그러한 연구는 [활동 이론에서 모순의 역할]을 증명한다; 모순은 활동 시스템에서 근본적으로 경쟁하는 요구 안에 있고 해결책으로 이어질 수 있는 광범위한 학습 과정을 자극할 잠재력을 가지고 있다. Engestro ̈m은 모순은 타협에 도달함으로써가 아니라, 모순은 '질적으로 새로운 기능 방식을 구성하고 실행하는 것'에 의해서만 해결할 수 있다고 강조한다.

Such studies demonstrate the role of contradiction in activity theory; contradictions lie within the fundamentally competing demands in the activity system and have the potential to stimulate an expansive learning process which can lead to a solution. Engestro¨m emphasises that contradictions can only be addressed by ‘constructing and implementing a qualitatively new way of functioning’ rather than by reaching a compromise (2007 p. 24).


CHAT는 의료 및 교육 연구를 포함한 조직변화 연구에서 광범위하게 개발되었다. 좀 더 최근에는 의학 교육에 관심이 있었다. 예를 들어, 모리스(2012년)는 의과대학의 교육학 실습 연구에서 활동 이론을 그리고 페이터 외 연구진(2011년)은 대학원 훈련으로 전환하는 동안 환자 안전에 대한 학부생들의 인식을 탐구했다. 우리의 연구에서 우리는 보조 배치의 개발을 위해 CHAT의 개념적 도구를 가져오려고 했다.

CHAT has been extensively developed in organisational change research, including healthcare, and educational research. More recently, there has been some interest specifically in medical education; for example, Morris (2012) drew upon activity theory in researching pedagogic practice in a medical school and Feijter et al. (2011) explored undergraduate student perceptions of patient safety during the transition to postgraduate training. In our study we sought to bring the conceptual tools of CHAT to develop assistantship placements.


주요한 모순들 중 하나는 [교육에서 직장으로의 이행에 대한 이해]에 있다. 이 때 '학습'과 '일'을 이분법적으로 취급하는 것이 어떻게 상충하는 요구를 만들어내고 어떻게 이러한 변화를 방해하는지에 있다.

One of the major contradictions lay in understandings of the transition from education to work and the ways in which treating ‘learning’ and ‘work’ as a dichotomy creates competing demands and hampers this transition.


두 번째 모순은 대학과 병원 활동 시스템 사이의 상충하는 시간표 작성 요건에 있었다. 병원 내에서 일주일에 24시간, 7일 근무 패턴에도 불구하고 학생들은 보통 평일 근무 시간에 임상 환경에 참석했다. 대학 시간표 작성이란 병원 배치 시간에 거의 참석하지 않았거나 병원 팀과 장기간 연락을 주고 받은 적이 없다는 것을 의미한다.

A second contradiction lay in competing timetabling requirements between the university and the hospital activity systems; despite a 24 h, 7 days per week working pattern within hospitals, students typically attended clinical settings in office hours during weekdays. University timetabling meant that they rarely attended hospital placements’ out of hours’ or had prolonged contact with hospital teams.


방법론

Methodology


DWR 접근법의 기초는 진행 중인 대화와 토론에 이어 기존의 관행에 의문을 제기하는 과정이다. 전제는 이를 통해 광범위한 학습 주기를 통해 연습 문제를 해결할 수 있다는 것이다. '변화 실험실' 세션(예를 들어, Engestro mm 2001)에서, 참가자는 연구자와 협력하여, 조직의 사회-역사적 맥락에서 그들을 질문함으로써 그들의 현재 관행을 분석한다(즉, 관행이 특정한 방식으로 어떻게 그리고 왜 발전해 왔는지 조사).

The basis of the DWR approach is a process of questioning existing practices followed by ongoing dialogue and debate; the premise is that this allows problems of practice to be addressed through expansive learning cycles. In ‘change laboratory’ sessions (for example, Engestro¨m 2001) participants, working with researchers, analyse their current practices by questioning them in the socio-historical context of their organisation (in other words, examining how and why practices have evolved in certain ways).


연구결과

Findings


병원 A

Hospital A


이 병원은 새로 단장된 종합병원으로 큰 옛 공업도시를 서비스하고 있다. 워크숍 참가자들은 4주 중 3주 동안 일부 최종 학년 학생들이 이미 후배 의사에게 애착을 갖고 있었기 때문에 이미 자리 개발에 진전을 이룬 열정적인 팀으로 자신을 내세웠다. 그들의 인식은 첫 번째 워크숍에서 '이 의대생들은 꽤 유용하고, 많은 일을 하고 있고, 그들은 여기서 재미있는 밤 시간에 지원한다!'라고 말했을 때 설명되었다.

This is a newly refurbished general hospital serving a large old industrial town. The workshop participants presented themselves as an enthusiastic team who had already made advances in developing placements because some final year students were already attached to a junior doctor for three out of four placement weeks. Their perceptions were illustrated early in the first workshop when the consultant said, ‘‘they’re pretty useful these medical students, they’re doing a lot of stuff, they’re here and supporting at funny times of the nightwow!’’


이 팀은 이미 조력자 설립을 위한 새로운 해결책을 모델링하는 과정에 있다고 판단했다(그림 1).

This team considered that they were already in the process of modelling a new solution to establishing assistantships (Fig. 1).



조직문화

Organisational culture


학생에 대한 이해와 직장에서의 학습

Understandings about students and learning in the workplace


요약

Summary


A병원에서는 환자를 돌보는 데 기여하는 '훈련자 의사'로 학생들을 설립하려는 시도가 여러 차례 있었다. 특히 유니폼을 입고 (감독을 받는) 필기와 처방전을 쓰는 것은 팀 멤버십을 상징하는 것이었다. 그 부서에 보조 모델을 배치할 준비가 확실히 되어 있었다. 마지막 학년 학생들은 비교적 협력적인 팀 구조에서 그 일에 귀중한 공헌을 하고 있는 것으로 여겨졌다. 학생들에게 '훈련의 의사'로 인정되는 것은 책임에 대한 기대와 함께 팀원으로서의 일정한 권리를 부여한다는 것을 분명히 했다. 참가자들은 보조 경험을 제공하는 것은 학생뿐 아니라 팀 전체와 환자 모두에게 이익이 된다고 생각했다. 그들의 의도는 병원의 다른 부서에서 보조 업무를 수행하려는 것이다. 이 일은 현재 진행 중이다.

At Hospital A there were a number of attempts to establish students as ‘trainee doctors’ contributing to patient care. In particular, wearing uniforms and writing (under supervision) notes and prescriptions were symbolic of team membership. There was a definite readiness to embed an assistantship model in the department. Final year students were considered to be making a valuable contribution to the work in a relatively collaborative team structure. It was made clear to students that being acknowledged as ‘doctors in training’ gave them certain rights as a member of the team alongside expectations of responsibilities. The participants considered that providing assistantship experience had benefits not only for students, but for the whole team and for patients. Their intention is to implement aspects of assistantship in other departments in the hospital; this work is currently in progress.


병원 B

Hospital B


이곳은 도시와 농촌 인구가 혼합된 넓은 지리적 지역에 서비스를 제공하는 작은 지역 병원이다. 워크숍은 위에 설명된 구조를 따랐다. 병원 B의 팀은 그들이 광범위한 학습 주기의 맨 처음 단계(그림 1)에 있으며, 조수 모델을 향해 나아갈 준비가 되어 있고 열심이지만, 이것이 무엇을 필요로 하는지 정확히 고려하는 데 시간이 좀 필요하다고 생각했다. 첫 번째 워크숍 동안, 마지막 학년 학생들이 이미 저녁과 밤 동안 후배 의사들을 '그림자'로 그리고 '시간 외'에 참석하고 있었기 때문에, 병원 B의 기존 자리들이 보조의 일부 측면을 분명히 지원했다는 것이 명백해졌다.

This is a small regional hospital which serves a large geographical area with a mixed urban and rural population. The workshops followed the structure outlined above. The team in Hospital B considered that they were at the very beginning of the expansive learning cycle (Fig. 1), ready and keen to move towards an assistantship model, but requiring some time to consider exactly what this would involve. During the first workshop it became apparent that existing placements at Hospital B clearly supported some aspects of assistantships as final year students were already ‘shadowing’ junior doctors and attending placements ‘out of hours’ during evenings and nights.


조직 문화

Organisational culture


근무지에서 학생과 학습에 대한 이해

Understandings about students and learning in the workplace


모순과 매개 심볼

Contradictions and mediating symbols


요약

Summary


병원 B의 지역 문화는 '하향식'과 '상향식'의 변화를 지지하는 것으로 보여, local assistantship arrangements 가 이루어질 가능성을 나타냈다. 워크숍에서의 논의를 통해 배치 팀은 학생 학습과 조교들을 연습 환경에서 활동적인 팀원으로 취급하는 것 사이의 긴장을 인식했지만 완전히 해결하지는 못했다. 이 팀은, 최종 학년 학생들이 새로운 활동을 할 수 있도록 지원하고, 배치 중인 직원들이 그들이 하급 의사 역할을 하도록 격려하기 위해 assistantship 기간 동안 새로운 정체성이 필요하다는 것을 인정했다.

The local culture in Hospital B appeared to support ‘bottom up’ as well as ‘top-down’ changes, thus indicating the potential for local assistantship arrangements to be made. Through discussions in the workshops placement teams recognised, but did not fully resolve, a tension between student learning, and treating assistants as active team members in the practice setting. The team recognised that final year students needed a new identity during the assistantship period to support them in taking on new activities and to encourage staff in the placement to expect them to act as junior doctors.


또한 워크숍은 일정표에 내재된 모순을 표면화했으며, 이는 활동의 대상으로서 다양한 장소에서 다양한 경험을 가진 원활한 대학 시간표를 강조하였다. 대학 연구팀과 배치팀 사이의 상호 작용은 지원 보조 업무에서 활동 대상을 확대하기 위해 데이터베이스 재구성을 통해 활동 시스템 간의 경계 교차에서 매개되었다.

The workshops also surfaced the contradictions inherent in timetabling which emphasised a smooth running university timetable with a breadth of experience in different placements as the object of activity. The interaction between the university research team and placement team mediated in boundary crossing between activity systems with a reconfiguration of the database to expand the object of activity in supporting assistantship.


고찰

Discussion


assistantship 모델의 개발은 [일에 대한 이해]와 [학습] 사이의 긴장을 강조하였다. 모리스(2012년)의 이전 연구에서는 이것이 명시되지 않는 한, 의대생들이 직장에서 배우는 것을 식별하는 데 있어서 종종 겪는 어려움을 지적하고 있다. 어느 정도 우리는 직장에서 그들의 감독관들도 같은 말을 할 수 있다고 느꼈다. 이러한 긴장감은 이 수정된 DWR 접근방식으로 완전히 해결되지는 않았다. 우리는 '베이컨 샌드위치'와 '유니폼'과 같은 몇 가지 주요 중재적 요소들, 그리고 병원 A의 '최종 학생'에서 '보조자'로 정체성의 발전을 나타내는 '스크럽'과 같은 상징들을 확인했다. 이러한 기호는 학습자의 신분 변화를 나타내며, 환자 치료에 기여하는 팀의 일원으로 활동할 수 있는 사람, 즉 '보조인'으로서의 자신의 신분을 가시화한다. '실제 일'을 수행함으로써 마지막 학년의 학생은 인정받고 가치 있게 되며, 이는 결과적으로 더 많은 유용한 기여를 장려한다.

The development of these assistantship models highlighted the tensions between understandings about work and learning. Previous work by Morris (2012) points out the difficulties medical students often have in identifying the learning in work unless this is made explicit. To some extent we felt that the same could be said of their supervisors in the workplace. These tensions were not entirely resolved by this modified DWR approach. We did identify some key mediating factors—symbols such as the ‘bacon sandwiches’ and the uniforms, the ‘scrubs’ which denoted the development of identity from ‘final year student’ to ‘assistant’ in Hospital A. Such symbols denote a change in identity for the learner, making visible their identity as an ‘assistant’, a person who is available to act as a member of the team contributing to patient care. By performing ‘real work’ the final year student becomes acknowledged and valued, which in turn encourages further useful contribution.


병원 B에서도 마찬가지로 신분증당직콜은 매우 중요했다. 처음에 병원 B팀은 A병원의 팀과 같이 조력을 개발할 준비가 되어 있지 않은 것 같았다. 비록 병원 B의 직원들이 때때로 그들의 관행이 그들을 주변으로 유지시켜준다는 것을 인식하기 전에 도전을 받았지만, 마지막 학년 학생들은 긍정적인 평가를 받았다. 이를 수용한 병원 B팀은 제약요인으로 인식된 현재의 [대학 시간표 작성] 관행에 의문을 제기했다. 그 연장된 시간은 관계를 발전시키고 팀에 assistantship를 포함시킬 기회를 제공했다.

Similarly in Hospital B identity badges and the night on call were critical. At first it seemed that the Hospital B team were not quite at the same point of readiness to develop assistantships as the team in Hospital A. Final year students were viewed positively, although staff in Hospital B were challenged before recognising that at times their practices kept them on the periphery. Having accepted this, the Hospital B team questioned current practice in university timetabling which was recognised as a constraining factor. The extended time made available presented opportunities for relationships to be developed and inclusion of assistants within teams.


우리는 수정된 DWR 접근방식이 지역 병원 상황에 적합한 이론 정보 보조 배치 개발에 도움이 될 수 있는지 검토하기 시작했다. 활동 이론의 도구를 사용함으로써 우리는 병원 사이트와 대학 시스템 모두에서 몇몇 상충하는 활동 객체objects을 밝힐 수 있었다. 이것은 기존의 작업 방식의 모순을 해결하는 광범위한 학습의 기회를 보여주었다. 이 워크숍은 각 병원 현장의 보조원 배치 준비에 영향을 미치는 것으로 보이는 상징적이고 문화적 요인을 밝히는 데 도움이 되었다. 이러한 긍정적인 지표의 존재는 팀들이 기존 관행practice을 반성하고 새로운 가능성을 수용하도록 재구성할 수 있는 학습 환경을 의미한다.

We set out to explore whether a modified DWR approach could be helpful in developing theory-informed assistantship placements appropriate to local hospital contexts. Employing the tools of activity theory helped us to reveal some competing objects of activity in both hospital sites and in the university system. This revealed opportunities for expansive learning which addressed contradictions in existing ways of working. The workshops were helpful in revealing symbolic and cultural factors that seemed to influence the readiness for development of assistantship placements at each of the hospital sites. The presence of these positive indicators signifies a learning environment in which teams are open to reflecting on existing practices and reconfiguring these to accommodate new possibilities.


결론

Conclusion


본 논문은 효과적인 assistantship 모델을 개발함에 있어 조직변화에 대한 준비성을 탐구하는 데 있어 수정된 DWR 접근방식의 가치를 평가하기 위해 작성되었다. 우리의 연구결과는 활동 이론의 도구가 혁신적인 해결책을 지원할 가능성이 높은 조직적 실천을 밝히고, assistantship 을 구현할 수 있는 임상작업장을 식별하는 데 유용하다는 것을 시사한다. 졸업반을 assistantship 배치로 전환하기 위한 준비는 문화적, 물질적 상징을 포함하는 중재적 요소가 존재함에 따라 나타난다. 이러한 긍정적인 지표의 존재는 기존의 관행을 반성하고, 새로운 가능성을 수용하도록 재구성할 수 있는 학습 환경을 의미한다. 그러한 기호는 '학생'에서 '보조'로 이행하는 과정을 중재하며, [학생 학습]이 [환자 치료 실천]에 내재된 것이 아니라 환자 치료와 별개의 것으로 이해되는 근본적인 모순을 해결하는 데 도움이 된다. 이것은 그림 2와 3에 도표로 표시되어 있다.

This paper set out to assess the value of a modified DWR approach in exploring organisational readiness for change in developing an effective assistantship model. Our findings suggest that the tools of activity theory are valuable in revealing organisational practices which are likely to support innovative solutions and in identifying clinical workplaces ‘ready’ to implement an assistantship model. Readiness for transforming the final year placement to an assistantship placement is indicated by the presence of mediating artefacts which include cultural and material symbols. The presence of these positive indicators signifies a learning environment in which teams are open to reflecting on existing practices and to reconfiguring these to accommodate new possibilities. Such symbols mediate in the transition from ‘student’ to ‘assistant’ and help address the underlying contradiction where student learning is understood as separate to patient care, rather than as inherent in the practice of patient care. This is shown diagrammatically in Fig. 2 and 3.





수정된 DWR 워크숍은 최종 학년 학생에서 주니어 의사로 전환에 대한 이해를 학생의 '준비성preparedness'에 초점을 맞추는 것 이상으로, [이 전환을 효과적으로 수용하기 위한 연습의 준비 상태]에 초점을 맞추기 위한 것이었다. 이러한 발견은 실제 학습의 내재적이고 국지적으로 맥락화된 성격을 부각시키고 '준비성'을 강조함에 내재된 가정을 밝힌 이전의 연구와 반향을 일으킨다(킬민스터 외 2011). 연구팀은 의료 파트너와 협력하여 '활동 대상을 재고하거나 확장할 수 있는 페다고그적 지원'을 제공하기 위해 활동 이론을 도출했다(Guile 2009 p. 770). 

The modified DWR workshops were intended to shift understandings of the transition from final year student to junior doctor beyond a focus on ‘preparedness’ of the student to a focus on the readiness of the practice to accommodate this effectively. These findings resonate with our previous work which highlighted the embedded and locally contextualised nature of learning in practice, and revealed assumptions inherent in the emphasis on ‘preparedness’ (Kilminster et al. 2011). The research team drew on activity theory in working with our healthcare partners to provide ‘pedagogic support that will enable them to re-think or expand the object of activity’ (Guile 2009 p. 770). 


본 논문은 정책 및 전문 규제 기관과 협력하여 조력자 및 기타 전환을 지원하기 위해 전문 규제 기관과 협력해야 할 명확한 필요성을 가진 실천요강에 대한 함의를 가지고 있다. 우리가 이러한 개발을 계속 진행함에 따라, 수정된 DWR 접근방식은 우리가 무엇을 어떻게 변화시킬지 평가하고 식별하는 데 배치 작업을 할 수 있게 해줄 것이다. 이 방법론은 한계가 있지만, 우리는 우리의 연구 결과가 의료실무에서 적절히 활용될 때 조직의 변화를 이해하고 촉진하는 모델의 가치를 보여준다고 생각한다.

This paper has implications for policy as well as practice with a clear need to work with professional regulatory bodies in addressing issues of workplace organisation and culture in order to support assistantship and other transitions. As we continue working on these developments, the modified DWR approach will enable us to work with placements in assessing and identifying what, and how, to change. Although this methodology has limitations, we consider that our findings show the value of the model in advancing understanding and promoting organisational change in healthcare practice when utilised appropriately.















, 20 (3), 655-68
 

Can the Tools of Activity Theory Help Us in Advancing Understanding and Organisational Change in Undergraduate Medical Education?

Affiliations 

Affiliation

  • 1Leeds Institute of Medical Education, University of Leeds, Worsley Building, Clarendon Way, Leeds, LS2 9NL, UK, a.m.reid@leeds.ac.uk.

Abstract

Continued changes to healthcare delivery in the UK, and an increasing focus on patient safety and quality improvement, require a radical rethink on how we enable graduates to begin work in challenging, complex environments. Professional regulatory bodies now require undergraduate medical schools to implement an 'assistantship' period in the final year of study, where senior medical students 'shadow' the work of junior doctors, with an expectation that they will be better 'prepared' for work. However, there is little guidance about what an 'assistantship' entails and the current emphasis on preparedness of students arguably underplays the importance of contextualised learning within the workplace environment. This paper will describe a modified Development Work Research (DWR) (Engeström in Developmental work research: activity theory in practice. Lehmanns Media, Berlin, 2005) approach to organisational change, enabling academic, clinical and administrative partners to develop assistantship placements in different hospitals. Our findings indicate that a modified DWR approach can reveal factors indicating organisational readiness to support change within a locally contextualised framework. The process has significant practical applications across a range of healthcare disciplines, as all professions seek to engage with the challenge of enabling successful transitions of graduates to the workplace.


인지행동 코칭 원칙과 기초 도구(Educ Prim Care, 2016)

Cognitive Behavioural Coaching principles and basic tools to support trainees

Jenny Gavriel

Milton Keynes GP STP, Milton Keynes Hospital, Milton Keynes, UK





인지행동치료(CBT)

Cognitive Behavioural Therapy (CBT)


또한 CBT에 사용되는 도구는 비임상 상황에서 더 폭넓게 사용된다. – 개인이 낮은 수준의 스트레스와 낮은 자기 효율성과 같은 어려움을 처리할 수 있도록 돕는다. 이를 인지행동코칭(CBC)이라고 하며, 늑장, 주장부족, 리스크 테이크/의사결정능력 개발 등과 같은 문제에 도움이 되도록 개발되었다.[1]

the tools used in CBT also have a wider use in non-clinical situations – helping individuals to deal with difficulties like low level stress and low self-efficacy. This is called Cognitive Behavioural Coaching (CBC) and has been developed to help with problems like procrastination, lack of assertiveness, risk-taking/decision-making skills development and so on.[1]


역사

History


인지 행동 접근법의 논리는 아마도 "우리가 생각하는 것이 우리가 행동하는 방식에 영향을 미친다"일 것이다. 그러나, [인지 세계]와 [행동 세계] 사이의 이러한 협력이 항상 존재했던 것은 아니다.

The logic of the cognitive behavioural approach seems perhaps obvious – what we think effects how we behave. However, this collaboration between the cognitive world and the behavioural world has not always existed.


인지 기반 치료법은 심리역동적이다정신의 깊숙한 곳에서 일어날지도 모르는 일을 노출시키는 데 초점을 맞춘 치료법으로, 무의식에 집중하기 때문이다. 행동 요법은 자극 – 결과 모델에 기초하고, 보상은 원하는 행동을 강화하기 위해 사용된다.

Cognitive based therapies are psychodynamic – concentrating on the unconscious mind with therapies focused on exposing what might be happening deep down in the mind. Whereas behavioural therapies are based on a stimulus – outcome model; rewards are used to reinforce the desired behaviours.


이러한 요법이 요건을 충족하지 못하는 상황이 증가함에 따라, 치료사들은 순수한 인지적 접근법과 순수한 행동 접근법 둘 다에 불만족스러워하고 있었다. 이것은 그 둘을 결합시킨 새로운 치료법의 기초를 닦았다.

Therapists were becoming dissatisfied with both the pure cognitive approach and the pure behavioural approach as there were increasing situations where these therapies did not meet requirements. This laid the foundations for a new therapy that combined the two.


CBC의 가장 중요한 원칙은 우리가 어떤 것에 대해 생각하는 방식이 그것에 대해 어떻게 생각하는지에 영향을 미친다는 것이다. 우리가 생각을 통제할 수 있기 때문에, 따라서 우리는 우리의 반응과 행동에도 영향을 미칠 수 있다.

The overriding principle of CBC is that the way we think about something affects how we feel about it. Since we are able to control our thoughts we can therefore effect our reactions and behaviours.



ABC 

ABC


ABC 모델(알베르트 엘리스 박사가 개발한, 그림 1 참조)은 사건, 신념 및 결과(행동)의 연관성을 설명한다. 활성화된 사건(A)은 자동적 사고, 감정 또는 행동이 될 수 있는 개인으로부터 반응(C)을 유발하는 실제적이거나 상상된 사건일 수 있다. 하지만, 우리는 [사건에서 결과로 가는 단순한 단계]보다 더 복잡하다; 우리는 모두 우리의 경험이 처리되는 일련의 핵심 신념을 가지고 있다. 같은 사건이 다른 개인에게 다른 생각, 감정, 행동을 야기할 수 있는 이유다.

The ABC model (developed by Dr Albert Ellis, see Figure 1) describes the link between events, beliefs and consequences (behaviours). The activating event (A) may be a real or imagined event that provokes a response (C) from the individual which could be an automatic thought, an emotion or a behaviour. However, we are more complex than this simple step from event to outcome; we all have a set of core beliefs through which our experiences are processed. This is why the same event can result in different thoughts, emotions and behaviours in different individuals.




기본 신념과 기본 요구 

Basic beliefs and basic demands


우리의 핵심 신념은 일반적으로 우리 자신, 다른 사람, 그리고 세계에 대한 guiding principle이다. 때때로 이러한 핵심 신념들은 또한 우리가 우리 자신이나 다른 사람들 또는 세계의 요구의 형태를 취할 수 있다.

Our core beliefs are guiding principles about ourselves, about other people and about the world more generally. Sometimes these core beliefs can also take the form of demands that we make of ourselves or of other people or of the world.


부정적 자동사고

Negative automatic thoughts


어떤 사건이 일어난 직후, 건강하지 못한 핵심 신념은 수행을 방해할 가능성이 있는 생각을 불러일으킬 것이다. 이것들은 종종 부정적인 자동 사고라고 불리며 도움이 되지 않는 행동을 초래하는 경향이 있는 여러 가지 다른 유형으로 떨어진다(표 1 [3] 참조).

In the immediate moments following an event, unhealthy core beliefs will give rise to thoughts that are likely to be performance inhibiting. These are often called negative automatic thoughts and they fall into a number of different types that tend to result in unhelpful behaviours (see Table 1 [3]).



이러한 유형의 생각을 하기 쉬운 훈련생들은 불안을 줄이거나 당면한 과제에 대한 집중을 촉진함으로써 성과를 향상시키기 위해 이들을 인식하고 도전하는 데 도움을 받을 수 있다. 여기서 CBT 도구는 이러한 부정적인 자동적 사고를 식별하고 변화시키고 핵심 신념에 도전하는 데 유용하다.

Trainees who are prone to these types of thoughts can be helped to recognise and challenge them in order to improve performance by reducing anxiety or promoting focus on the task at hand. It is here that the tools of CBT are useful to help identify and alter these negative automatic thoughts and challenge the core beliefs.


CBC - 도구상자

CBC – tool kit


스페이스 모델

SPACE model


SPACE 모델[4]은 생각, 감정 및 물리적 반응이 상호 작용하는 방법을 보여주는 도구다. 도표를 완성하도록 유도해 어떤 사건이나 상황에 대한 수습자의 대응을 논의하는 틀이다. 부분적으로 이것은 해명도구로서, '언제 ...을 느꼈는가?'라는 질문을 던져서 '어려웠다'와 같은 대답을 얻는 것이 일반적이다. 물론 '어려움'은 실제로 감정이 아니고, 감정 상자에 '어려움'을 쓸 수 없고, 그 대신에 수련자는 그 상황에서 그들이 어떻게 느꼈는지를 정확히 생각할 수밖에 없다. 대화를 위한 가이드가 마련됨으로써, 의도하지 않게 오락가락하는 답변이 받아들여지기 쉽지 않다. 그 결과는 문제를 매우 명확하게 보여준다. 그림 2는 임상 기술 평가(CSA) 이전에 GP 연습생들의 도표가 어떻게 보일지 보여준다. 이 경우 다음과 같은 여러 영역을 다루도록 선택할 수 있다.

The SPACE Model [4] is a tool to demonstrate the ways in which thoughts, emotions and physical responses interact. It is a framework to discuss the trainee’s response to an event or a situation by encouraging them to complete the diagram. In part this is a clarification tool, it is common to ask the question ‘how did you feel when …?’ only to get an answer like ‘it was difficult’. Of course ‘difficult’ is not actually an emotion, one cannot write ‘difficult’ in the emotions box, instead the trainee is forced to consider exactly how they did feel in that situation. By having a guide for the conversation, it is less easy for unintentionally diversionary answers to be accepted. The result is a really clear picture of the problem; Figure 2 shows what the diagram may look like for a GP trainee prior to their Clinical Skills Assessment (CSA). In this instance you could choose to tackle a number of areas:


(1) 관련 생각을 토의하고, 소크라테스적 질문을 사용하여 사고의 기반을 이루는 근거에 도전한다. 만약 그들의 언어가 영구적이고 일반화되어 있다면, 일시적이고 구체화하도록 만들어야 한다: '나는 시험에 희망이 없다'라고 하는 대신, '지금 당장은 나는 이런 유형의 시험에서 수행하는 것이 어렵다는 것을 깨달았다'가 된다.

(1) Discuss the associated thoughts; use socratic questioning to challenge the evidence base of the thoughts. If their language is permanent and generalised, challenge it to become temporary and specific: ‘I am hopeless in exams’ becomes ‘At the moment I am finding it challenging to perform in this type of exam’.


(2) 그들이 감정 상태를 조절할 수 있고 따라서 시험 전에 스트레스의 신체적 증상을 줄일 수 있다는 자신감을 줄 수 있는 약간의 이완 기법으로 그들을 돕는다 – 이것은 자기 효능감의 수준을 증가시키는 것으로 밝혀졌다.[5]

(2) Help them with some relaxation techniques to give them confidence that they can control their emotional state and therefore reduce the physical symptoms of stress before the exam – this has been shown to increase the level of self-efficacy.[5]


(3) 시험의 준비 및 실습을 최대한 지원한다. 이 모델의 상호 관련성은 준비 행동의 지원이 다른 측면에 어떻게 도움이 되는지 보여준다. 부정적인 생각에 직접 도전하지 않는다면, 앞으로 부정적인 자동적 생각이 계속 영향을 미칠 것이다.

(3) Support them in preparing and practising the exam as much as possible. The interrelated nature of this model shows how support in the actions of preparing will help with the other aspects. Though without directly challenging the negative thoughts, it is likely the negative automatic thoughts will continue to have an impact in the future.



추론 사슬

Inference chaining


추론 체인은 '만약 ...이라면? 이라는 질문을 반복적으로 던지는 것이다. 그 생각은 당신이 핵심 신념의 형태로 [진정한 근본적인 우려를 발견하는 지경에 이를 때까지 사고의 장벽을 제거하는 것]이다. 사실 추가적인 부드러운 도전이 장기적으로 더 유익할 수 있을 때, 지원이나 확신을 주기 위해 대화에서 '탈출exit'해 버리는 것은 종종 유혹적이다. 예를 들면 다음과 같다.

Inference chaining is a very simple strategy that involves repeatedly asking versions of ‘What if …?’ The idea is to remove the barriers to thinking until you reach the point of uncovering the real underlying concern in the form of a core belief. It is often tempting to take an ‘exit’ to a conversation in order to provide support or reassurance, when in fact additional, gentle challenge could be more beneficial in the long term. For example:


강사: 만약 당신이 이 '신규 학습된 절차'를 수행한다면 어떻게 될 것인가?

Trainer: What would happen if you had a go at carrying out this ‘newly learned procedure?’


교육자: 내가 틀릴지도 몰라.(훈련자가 관찰한 내용을 이해하고 모델에서 수행할 수 있다는 점을 안심시킬 수 있는 방법을 선택할 수 있음)

Trainee: I might get it wrong.(Trainer could choose to reassure that the trainee has observed it, they understand it and can do it on a model)


강사: 그리고 만약 네가 틀렸다면?

Trainer: And what if you did get it wrong?


교육자: 환자가 불평할 수도 있다.(트레인저는 다시 안심시킬 수 있다 – 이런 일이 일어날 것 같지 않다)

Trainee: The patient might complain.(Trainer could reassure again – it is unlikely that this will happen)


강사: 그리고 만약 환자가 불평을 했다면?

Trainer: And what if the patient did complain?


교육자: 나는 그 환자와 어려운 대화를 해야 하는 것이 정말 두렵다.(강사는 불만사항에 대처하는 것이 좋은 학습점이며 혼자서는 그렇게 하지 않을 것이라고 설명할 수 있다.)

Trainee: I really dread having to have a difficult conversation with the patient.(Trainer could explain that dealing with complaints is a good learning point and they wouldn’t be expected to do it alone)


강사: 그리고 만약 당신이 어려운 대화를 해야만 했다면?

Trainer: And what if you did have to have a difficult conversation?


교육자: 나는 당황하고 스트레스를 받을 것이다.(강사가 어려운 대화를 하는 방법을 안심시키고 지원할 수 있음)

Trainee: I would get flustered and stressed.(Trainer could reassure and provide support for how to have a difficult conversation)


강사: 하지만 만약 당신이 당황하고 스트레스를 받는다면 당신은 무엇을 걱정하는가?

Trainer: But what are you worried about if you did get flustered and stressed?


교육자: 그 환자는 나에 대한 존경을 잃게 될 것이다.

Trainee: The patient would lose respect for me.


강사: 그리고 만약 당신이 환자의 존경을 잃었다면?

Trainer: And what if you did lose the respect of the patient?


교육자: 그들은 다른 환자와 그것에 대해 이야기 할 수도 있다.

Trainee: They might talk about it with other patients.


강사: 만약 그들이 다른 환자와 그것에 대해 이야기한다면 그것은 무엇을 의미할까?

Trainer: What would it mean if they did talk about it with other patients?


교육자: 모두들 나를 쓰레기라고 생각할 것이다.

Trainee: Everyone would think I am rubbish.


여기서 핵심적인 믿음이 밝혀졌다. 이 수련자는 그들이 쓰레기라고 믿고 있으며, 그들이 새로운 어떤 알려지지 않은 것을 시도함으로써 그들이 이것을 알아내는 다른 사람들에게 자신을 노출시킬까 걱정한다. 지금 CBC 접근법은 이 문제에 도전하는 것이다. 

  • 이 믿음에 대한 증거의 균형을 논하고 

  • 어떤 규칙을 논의하기 위해 핵심 믿음의 다트보드(그림 3 [6])와 같은 것을 사용한다. 

  • 요구와 생각은 수행을 방해할 수 있는 이 핵심 신념에서 비롯된다. 

논리적이고 소크라테스적 대화에 의해 쉽게 challenge되는 [핵심 신념의 영향에 대한 통찰]은 프로세스와의 참여를 강화할 수 있다.


Here a core belief has been uncovered – this trainee believes that they are rubbish and is worried that by attempting something new and unknown they expose themselves to other people finding this out. The CBC approach now is to challenge this – 

  • discuss the balance of evidence for and against this belief, 

  • use something like the core belief dartboard (Figure 3 [6]) to discuss what rules, 

  • demands and thoughts stem from this core belief that may be inhibiting performance. 

Insight into the impact of core beliefs that are easily challenged by logical, socratic dialogue can enhance the engagement with the process.



자존심에서부터 꾸물거림에 이르기까지 광범위한 문제에 대한 다른 전략도 많지만, [행동과 감정적 반응에 영향 주기 위해서, 자신의 생각을 통찰하고 통제한다는 동일한 근본원리]에 기초하고 있다.

There are many other strategies for a wide range of problems, from self-esteem to procrastinating, but each of them are based on the same fundamental principles of insight into and control over one’s thoughts in order to influence behaviours and emotional responses.




, 27 (4), 326-9
 

Cognitive Behavioural Coaching Principles and Basic Tools to Support Trainees

Affiliations 

Abstract

No abstract available

Keywords: ABC model; Cognitive; SPACE model; behavioural; coaching; core beliefs.


프로페셔널리즘 평가: 우리가 출발한 곳에서 우리는 어디로 향하고 있는가? 오타와 그 이후(Med Teach, 2018)

Assessment of professionalism: From where have we come – to where are we going? An update from the Ottawa Consensus Group on the assessment of professionalism

Brian Hodgesa , Robert Paulb,c and Shiphra Ginsburgc,d

aWilson Centre for Research in Medical Education, University Health Network and Faculty of Medicine, University of Toronto, Toronto, Canada; bInstitute of Health Policy, Management and Evaluation, University of Toronto, Toronto, Canada; cWilson Centre for Research in Medical Education, University Health Network and University of Toronto, Toronto, Canada; dDepartment of Medicine, Mount Sinai Hospital, University of Toronto, Toronto, Canada



도입

Introduction


2011년, 프로페셔널리즘 평가에 관한 국제 워킹 그룹(IWGAP)은 주요 주제를 파악하고 이 영역에서 새로운 방향을 제안하면서 2년간의 업무의 정점인 보고서를 발표했다(Hodges et al. 2011).

In 2011, an International Working Group on the Assessment of Professionalism (IWGAP) released a report that was the culmination of two years of work, identifying key themes and proposing new directions in this domain (Hodges et al. 2011).


접근방식은 참신하고 전통적인 방식과는 달랐다. 목표는 단일한 합의에 도달하는 것이 아니라 전문직업성이 개념화되고 평가되는 다른 방식을 특징짓는 것이었다. 이 집단의 상대적 다양성은 서로 다른 문화와 문맥에 대한 광범위한 커버리지를 보장하는 데 도움이 되었다. 흥미롭게도, 당시 확인된 거의 모든 문학은 영어로 되어 있었다; 거의 전적으로 앵글로색슨/서양의 작가들에 의해 제작되었다. 이는 그 후 10년 동안 그 풍경이 크게 바뀌었기 때문에 현재의 논문에서 우리가 되돌아갈 것이라는 관측이다.

The approach was novel and different from the traditional: the goal was not to reach a singular consensus but rather to characterize different ways that professionalism was conceptualized, and assessed, around the world. The relative diversity of the group helped to ensure broad coverage of different cultures and contexts. Interestingly, almost all literature identified at that time was in English; almost entirely produced by authors in Anglo-Saxon/Western countries. This is an observation that we will return to in the current paper because that landscape has changed greatly in the subsequent decade.


선정된 문헌의 전문직업성 평가는 크게 세 가지로 특징지어졌다.

The assessment of professionalism in the selected literature was characterized in three broad ways:


1. 개인 차원의 특성, 특성, 행동 또는 인지 과정으로서의 프로페셔널리즘

2. 대인관계 수준의 과정이나 효과로서의 프로페셔널리즘(교사-학생-학생-학생-학생-환자) 및

3. 권력, 제도, 사회와 관련된 사회/기관 차원의 현상으로서의 프로페셔널리즘

1. Professionalism as an individual-level characteristic, trait, behavior or cognitive process;

2. Professionalism as an interpersonal-level process or effect (teacher-student, student-student, student-patient); and

3. Professionalism as a societal/institutional-level phenomenon associated with power, institutions, and society.


향후 연구를 위한 분야에 초점을 맞춘 일련의 일반적인 권고안이 제안되었다. 표 1을 참조하십시오.

A set of general recommendations was proposed,focused on areas for future research. Please see Table 1.



표 1. 국제 작업 그룹의 2011년 보고서에서 본 프로페셔널리즘 평가에 관한 일반 권고 사항.

Table 1. General Recommendations on the Assessment of Professionalism from the 2011 Report of the International Working Group.


프로페셔널리즘:Professionalism:


1.역사문화적 맥락에 따라 달라짐

1. Varies across historical and cultural contexts


2. 구체적인 정의는 효과적인 교수법과 방어가능한 평가를 안내하는데 도움이 될 것이다.

2. Concrete definitions will help guide effective teaching methods and defensible assessments


3. 의학의 사회적 책임과 관련이 있다. 변화를 반영하기 위해 정의를 정기적으로 재정비해야 한다.

3. Is related to medicine’s social responsibility; definition should be refined regularly to reflect change


4. 대중과의 대화를 통해 정의해야 할 필요성; 개인, 대인, 시스템/기관 세 가지 수준에서 모두 정의되어야 한다.

4. Needs to be defined, through dialog with the public; at all three levels: individual, interpersonal, systems/institutional


5. 개선improvement 문화의 일부가 되어야 함: 형성적 방법이 우세해야 함

5. Should be part of a culture of improvement: formative methods should predominate


6. 현존하는 문헌은 대부분 앵글로색슨: 문화간 경계/재확인이 필요하다

6. Existing literature is mostly Anglo-Saxon: cross-cultural caution/re-validation is needed


7. 전문성을 정의하고 측정하기 위한 다양한 접근법이 가치 있다(사회학, 인류학, 심리학)

7. A diversity of approaches to defining and measuring professionalism is valuable (sociology, anthropology, psychometrics, psychology)


8. 각 관점(및 관련 평가 방법)은 전문직업성 요소를 가시화하고 다른 관점으로부터 주의를 돌리게 한다.

8. Each perspective (and related assessment methods) will make some elements of professionalism visible; deflect attention from others



원래의 작업 그룹은 이러한 각 범주를 뒷받침할 수 있는 서로 다른 과학적 관점을 반영하기 위해 인식론적 분류 체계를 만들었다. 이러한 인식론적 입장은 실증주의자(경험적 과학적 연구를 통해 밝혀질 수 있는 전문직업성에 관한 고정된 진리가 있다)에서 구성주의자(전문직업성이라고 할 수 있는 고정된 것은 없다; 오히려 각 문화와 역사 시대에 재현된다)까지 다양했다.

The original working group created an epistemological taxonomy to reflect the different scientific perspectives that could underpin each of these categories. These epistemological positions ranged from positivist (there are fixed truths about professionalism that can be uncovered through empirical scientific research) to constructivist (there is no fixed thing that can be called professionalism; rather it is recreated in each culture and historical period).


마찬가지로, 사회 수준에서 우리는 사회적 계약의 개념(Cruess et al. 2017)과 같은 보편적 개념을 전제로 한 전문직업성의 원리를 식별하고 평가하는 데 관심이 있는 반면, 다른 연구자들은 전문직업성이 권력과 특권과 관련이 있고 사용될 수 있다는 학생들의 인식을 평가하는 데 관심이 있었다. 엘리트(Martimianakis 등)에게 충성심을 강요한다. 2009). 각 포지션에서 흘러나온 평가 관행의 형태는 근본적으로 달랐고 작업 그룹 멤버들은 전문성에 대한 대화를 넓히는 데 중요한 공헌이라고 느꼈다. 

Similarly, at the societal level we found 

  • researchers interested in identifying and assessing principles of professionalism assuming universal concepts such as the notion of a social contract (Cruess et al. 2017), while 

  • others were concerned with assessing students’ awareness that professionalism was related to power and privilege and could be used to enforce loyalty to an elite (Martimianakis et al. 2009). 

The forms of assessment practice that flowed from each position were radically different and Working Group members felt it was an important contribution to broaden conversations about professionalism.


또 다른 목표는 원래 보고서의 연구 요구가 어느 정도까지 주의를 기울였는지를 조사하는 것이었다(표 2). 

Another goal was to examine the degree to which calls for research in the original report had been heeded (Table 2). 


방법

Method


내용 분석: 전문성 평가 절차

Content analysis: Practices of assessment of professionalism


비블리메트릭 연구

Bibliometric study


레토릭(임피적 담화) 분석: 2011년 보고서 인용 목적

Rhetorical (empirical discourse) analysis: Purposes for citing the 2011 report


기사들은 주제별로 부호화되어 인용문의 수사학적 용도에 따라 분류되었는데, 이는 "empirical"이라 불리는 담론 분석가의 방법론적 접근법이다. 우리는 중요한 담론 분석 방법론의 일부가 될 전문직업성의 특정 담론 구조와 연계된 권력 관계를 분석하지 않았다(Hodges et al. 2008). 수사학적 목적을 위해 인용구를 부호화하는 과정은 다른 곳에서 설명된다(Hodges et al. 2014). 간단히 말해서, 이 방법에는 특정 연구 기사(또는 기사의 집합)를 인용하는 기사의 보관 파일을 확인한 다음 인용 목적을 명시하거나 암시하는 것이 포함된다. 레토릭(retoric)은 언어를 어떻게 사용하여 이러한 관점을 설득하고 사용하는가에 대한 연구로, 분석은 작가/작가가 독자들에게 사고/실행하도록 설득하려고 시도하는 것을 특징짓기 위한 것이다. RP는 이 코딩과 분석을 실시했다.

Articles were coded thematically and classified according to the rhetorical use of the citation, a methodological approach from the family of discourse analysis called “empirical.” We did not analyze the power relations linked to specific discursive constructions of professionalism that would be part of a critical discourse analysis methodology (Hodges et al. 2008). The process of coding citations for rhetorical purposes is described elsewhere (Hodges et al. 2014). Briefly, the method involves identifying an archive of articles that cite a particular research article (or set of articles) and then identifying the stated, or implied, purposes for citation. Rhetoric is the study of how language is used to persuade and using this perspective an analysis aims to characterize what an author/authors are attempting to persuade readers to think/do. RP conducted this coding and analysis.


토론 그룹

Discussion groups


내용 분석: 전문성 평가 절차

Content analysis: Practices of assessment of professionalism


결과 

Results


비블리메트릭 연구

Bibliometric study


대부분의 출판물이 영어로 출판되었지만, 우리는 2011년 보고서를 13개 언어(중국어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 라트비아어, 말레이어, 노르웨이어, 파르시, 폴란드어, 포르투갈어, 스페인어), 40개 국가(영국(30), 캐나다(24), 대만(10), 네덜란드, 사우디아라비아(6e)로 인용한 것을 발견했다.ach)와 스리랑카 및 아일랜드(각각 5개).

Though most publications were in English (83%), we found citations of our 2011 report in 13 other languages (Chinese, French, German, Italian, Japanese, Korean, Latvian, Malay, Norwegian, Farsi, Polish, Portuguese, Spanish) and by authors from 40 different countries (UK (30), USA (27), Canada (14), Taiwan (10), The Netherlands and Saudi Arabia (6 each) and Sri Lanka and Ireland (5 each).


주제발견

Thematic findings


전문성 개념의 심층적인 참여

A deeper engagement with conceptions of professionalism


우리의 최초 보고 당시에는 전문직업성에 관한 출판물이 증가하고 있었지만, 전문직업성의 개념적 기초를 탐구하는 작가는 상대적으로 적었다. 우리는 인식론적 이해의 폭을 넓힐 것을 요구했다(예: 권고사항 1과 2 참조). 그 이후로 몇몇 연구들은 실제로 전문직업성의 역사적 개념적 구조를 탐구했고 정치적이고 사회학적 차원과 같은 복잡성의 층을 더했다. 여기에는 여러 논문(반 Mook 2011; Zijlstra-Shaw 2015)과 세 권(레빈슨 외, 2014; 크루스 외 2016b; 몬로우스와 리스 2017)이 포함된다. 물론, 우리는 우리의 권고가 전문직업성의 개념적 이해에 초점을 맞춘 작가들로 이어졌다고는 생각하지 않는다. 그럼에도 불구하고, 이 발견은 환영받았고 이 영역에서 일반적인 연구의 성숙을 반영한다.

At the time of our original report, publications about professionalism were on the rise, but relatively few authors were exploring the conceptual basis of professionalism. We called for greater breadth in epistemological understanding (see, for example, recommendations 1 and 2). Since that time several works have indeed explored the historical and conceptual constructions of professionalism and added in layers of complexity such as the political and sociological dimensions. This includes several theses (van Mook 2011; Zijlstra-Shaw 2015) and three books (Levinson et al. 2014; Cruess et al. 2016b; Monrouxe and Rees 2017). Of course, we do not assume that our recommendations alone led to authors focusing on conceptual understandings of professionalism. Nevertheless, this finding was welcome and reflects a general maturation of research in this domain.


평가 방법의 분류 체계 확대

Greater use of taxonomies of assessment methods


2011년 보고서에서 우리는 전문직업성을 평가하기 위해 여러 도구를 사용할 필요성을 강조했으며 단일 시점의 측정에 의존하는 것을 주의하라고 권고했다. 문헌의 중요한 발전은 여러 평가 도구를 가장 중요한 틀에 매핑하려는 분류법의 창안이었다. 예를 들어, 일반적인 접근방식은 전문성 평가의 통합 프로그램을 개념화하기 위해 잘 알려진 밀러의 피라미드를 사용하는 것이다. 한 예를 인용하자면, Monrouxe와 Rees(2017년)는 어떻게 평가 도구가 Miller 피라미드의 각 수준에서 사용될 수 있는지, 그리고 각 수준에서 평가하려고 할 때 발생하는 딜레마가 어떻게 나타나는지 보여주며, 교사와 학생 모두의 인용과 함께 설명된다. 이와 더불어 크루스 외 연구진(2016a)은 밀러의 피라미드에 한 층을 더하여 프로페셔널 아이덴티티를 정점으로 만들 것을 제안했다.

In the 2011 report, we highlighted the need to use multiple tools to assess professionalism and cautioned about depending on a single, point-in-time instrument. An important advance in the literature has been the creation of taxonomies that attempt to map multiple assessment tools to an overarching framework. A common approach, for example, is to use Miller’s pyramid, the well-known hierarchy of “knows, knows how, shows and does” to conceptualize integrated programs of assessment of professionalism. To cite one example, Monrouxe and Rees (2017) show how assessment tools can be used at each level of Miller’s pyramid and how dilemmas that arise in trying to assess at each level emerge, illustrated with quotations from both teachers and students. In addition to this, Cruess et al. (2016a) suggested an even higher peak to Miller’s pyramid: professional identity.


평가기기의 심리학적 특성에 관한 연구

A focus on psychometric properties of assessment instruments


기존 측정도구의 신뢰성과 타당성을 이해하는 데 더욱 관심이 쏠리고 있다다시 한번 우리는 우리의 보고서 때무넹 이런 연구가 생겼다고 언급하고 싶지 않으며, 그보다는 추세를 문서화하기를 원한다. 이 역시 현장에서 환영할 만한 방향이다. 여러 검토서에서는 많은 수의 출판된 평가도구의 인벤토리를 작성하여 다양한 매개변수를 사용하여 비교하였다.

Increased attention is being given to understanding the reliability and validity of existing instruments. Again we do not wish to imply causality in relation to our report, but rather to document a trend. This too is a welcome direction in the field. Several review papers created inventories of a large number of published instruments and compared them using various parameters. 


예를 들어 로드리게스 외 연구진(2012년)은 응급의학의 전문직업성 평가에 사용되는 모든 측정도구를 신뢰성, 타당성, 실현가능성 측면에서 요약하였다. 가장 야심찬 것은 74개의 도구와 80개의 경험적 연구를 정리하여 신뢰성(내부 일관성 및 측정 오류)과 유효성(내용, 구조, 가설 테스트, 교차 문화, 기준)의 다차원적인 종합 표를 작성하는 중국의 리 외 연구진(2017년)의 검토였다. 저자들은 그들의 것이 인정되고 표준화된 프레임워크("건강 상태 측정도구 선택을 위한 컨센서스 기반 표준" COSMIN")를 사용하여 전문직업성 평가도구의 측정 특성에 대한 첫 번째 체계적인 검토라고 주장한다. 

Rodriguez et al. (2012) for example, summarized all instruments used for the assessment of professionalism in emergency medicine in terms of reliability, validity, and feasibility. Most ambitious was a review by Li et al. (2017) from China in which 74 tools and 80 empirical studies were compiled to create a comprehensive table with multiple dimensions of reliability (internal consistency and measurement error) and validity (content, structural, hypothesis testing, cross-cultural, and criterion). The authors argue that theirs is the first systematic review of the measurement properties of professionalism assessment instruments using an accepted, standardized framework (the “Consensus-based standards for the selection of health status measurement instruments” COSMIN). 


전문직업성이 "건강 상태 측정"이라는 것은 논란의 여지가 있지만 측정 도구를 평가하고 비교하기 위해 표준화된 접근법을 사용하는 것이 유용하다. 이 작품에서 "교차문화적 타당성"의 범주를 추가하는 것 또한, 데이터로 인구밀도가 높지는 않지만, 이 영역에 대한 관심의 필요성에 대한 환영할 만한 대응이다. 이 저자들은 또한 흥미롭게도 전문성 평가를 위해 문헌에서 확인한 모든 도구 중 대다수(55%)가 개념적으로 3가지 큰 제도적 역량 프레임워크로 추적될 수 있다는 점에 주목했다. 바로 미국 내과 위원회, 캐나다 왕립 의사 및 외과의사 대학, 인증이다. 대학원 의학 교육 위원회.

Though it is debatable that professionalism is a “health status measurement”, the use of a standardized approach to evaluate and compare measurement tools is useful. The addition of a category of “cross-cultural validity” in this work, while not highly populated with data, is also a welcome response to the need for attention to this domain. These authors also noted, interestingly, that of all the tools they identified in the literature for the assessment of professionalism, the majority (55%) could be traced conceptually to 3 large institutional competence frameworks: the American Board of Internal Medicine, the Royal College of Physicians and Surgeons of Canada and the Accreditation Council on Graduate Medical Education.


문화와 언어에 대한 집중도 향상

Greater focus on culture and language


아마도 가장 극적인 발견은 많은 문화와 언어에 걸친 전문직업성의 평가를 탐구하는 출판물의 큰 증가였을 것이다. 2011년 보고서에서 우리는 앵글로 색슨/서양의 작가들이 쓴 연구가 대부분이고, 문화간 비교 연구의 거의 전무함을 비판했다. 따라서 일본(니시고리 외 2014), 사우디아라비아(솔리만과 새타르 2018), 인도(모디 외 2014), 이탈리아(콘소르티 외 2012), 에티오피아(판타훈 외 2014), 걸프 아라비아(알레아비안), 이란 및 (Emadzadeh et al. 2014) 스리랑카(Chandratilake 2016)언어적, 문화적으로 다양한 맥락에서 전문직업성을 연구하는 30여 편의 출판물을 발견하게 되어 고무적이었다. 이 작업 중 일부는 양적이었으며, 예를 들어 캐나다에서 원래 만들어진 악기인 P-MEX는 일본에서 신뢰성, 유효성 및 문화적 관련성을 평가하였다(쓰가와 외, 2011). 가장 야심찬 것은 만다린어로 출판된 의학 전문직업성에 관한 논문들에 대한 광범위한 검토였다. 비록 저자들이 전문성과 관련이 있는 695개의 기사를 발견했지만, 단지 43개만이 실증적 연구였고, 단지 평가에 관한 몇 안 되는 것이었다. 그럼에도 불구하고 이들 저자는 중국의 정치체제뿐 아니라 유교, 도교 등 중국 전통적 가치관의 역할에 주목했다(왕 외 2016).

Perhaps the most dramatic finding was the large increase in publications exploring the assessment of professionalism across many cultures and languages. In our 2011 report, we criticized a dominance of writing from Anglo-Saxon/ Western authors and the near total lack of cross-cultural comparison studies. Thus it was heartening to find more than 30 publications examining professionalism in linguistic and culturally diverse contexts such as Japan (Nishigori et Korea al. al. 2014), (Kwon et 2017), Saudi Arabia (Soliman and Sattar 2018), India (Modi et al. 2014), Italy (Consorti et al. 2012), Ethiopia (Fantahun et al. 2014), GulfArabic countries (Al-Eraky and Chandratilake 2012), Iran and (Emadzadeh et al. 2014) Sri Lanka (Chandratilake 2016). Some of this work was quantitative, for example, the P-MEX, an instrument originally created in Canada was evaluated for reliability, validity and cultural relevance in Japan (Tsugawa et al. 2011). The most ambitious was a scoping review of papers on medical professionalism published in Mandarin. Though the authors found 695 articles that had something to do with professionalism, only 43 were empirical studies and of those, just a handful about assessment. Nevertheless, these authors drew attention to the role of traditional Chinese values such as Confucianism and Taoism, as well as the political system in China (Wang et al. 2016).


레토릭 분석: 2011년 보고서 인용 목적

Rhetorical analysis: Purpose of citing the 2011 report


영어로 출판된 글의 부분집합은 인용의 목적을 수사적으로 이해하기 위해 code되었다. 간단히 말해서, 2011년 보고서가 인용된 이유는 무엇인가? "대부분의 인용은 전문직업성에 대한 관심을 정당화하는 데 기여했으며(41%), 전문직업성에 대한 평가를 정당화(38%), 서로 다른 국가 및 직업에 대한 전문성을 탐구하기 위한 논쟁(25%) 순이었다. 2011년 보고서의 방법론(2%)과 관련된 인용문은 거의 없었고, 우리의 원래 보고서에 나타난 평가에 관한 개념 전문성이나 권고사항(3%)에 대해 논의하는 사람도 거의 없었다.

The subset of articles published in English was coded to understand rhetorically the purpose of citation. Simply put, “For what reason was our 2011 report cited?” Most commonly citations served 

    • to justify attention to professionalism in general (41%), followed by 

    • justifying the assessment of professionalism (38%) and third 

    • to argue for exploring professionalism in different countries and professions (25%). 

Very few citations involved a study drawing on the methodology of the 2011 report (2%) and few debated the concepts professionalism or recommendations about assessment that appeared in our original report (3%).


Citation은 출판의 모든 부분에 걸쳐 등장했지만 가장 많이 citation이 된 파트는 introduction에 있었다. 가장 자주 인용이 단 한 장(신문 54%)밖에 없었다. 흥미로운 관찰은 실제로 평가에 관한 것이 아니라 전문성에 관한 기사들에 대한 꽤 많은 인용문이었다. 종종 IWG 보고서의 인용과 관련된 전문성의 중요하거나 필수적인 역할에 대한 언급이 있었다.

Citations appeared throughout all sections of publications but the most common location was in the introduction. Most often there was only a single citation (54% of the papers). An interesting observation was the fairly prolific citation of our report in articles that were not actually about assessment, but was about professionalism more generally. Often a statement was made about the valuable or essential role of professionalism linked to a citation of the IWG report.


토론 그룹

Discussion groups


전문성 개념의 진화

Evolution of the concept of professionalism


  전문직업성으로부터 전문적 정체성 형성으로의 더 큰 관심 옮겨가는 것으로 보인다.

  There appears to be greater interest in, and in some cases a shift in language, away from professionalism toward professional identity formation.


  보건 전문가를 불안정한 딜레마에 빠뜨리는 조건에 대한 기관들의 책임을 묻는 것을 포함한 사회적 책임과 시스템 문제들의 역할에 더 많은 관심이 있다.

  There is more attention to the role of social responsibility and systems issues including holding institutions accountable for conditions that put health professionals in untenable dilemmas.


  집단적 역량에 대한 의문이 제기되고 있다전문직업성의 개념이 개인에게만 적용되는 것이 아니라 집단에 적용될 수 있는가?

  Questions are being raised about collective competence: can the notion of professionalism be applied to a group rather than just to individuals?


  중요한 관점이 나타났다: 프로페셔널리즘이 어쩌면 엘리트 특권을 유지하기 위한 방어적인 입장인가? "REMEDIATION"은 사회 통제의 한 형태로 어느 정도 기능하는가?

  A critical perspective has emerged: is professionalism perhaps a defensive position to maintain elite privileges? To what extent does “remediation” function as a form of social control?


평가 관행의 변화는 일반적으로 전문성 평가에 영향을 미친다.

Changes in assessment practice generally affect the assessment of professionalism


  평가 자체에서 타당성의 개념이 진화하고 있는데, "배움의" 대신에 "배움을 위한" 평가에 더 큰 역점을 두고 있다.

  The concept of validity in assessment itself is evolving: there is greater emphasis on assessment over time and assessment “for learning” instead of “of learning.”


  개별적 특성의 평가에서 벗어나 집단, 맥락, 시스템을 좀 더 고려하려는 움직임이 있다.

  There is a movement away from assessment of individual traits, toward more consideration of groups, contexts, and systems.


  위임entrustment는 "EPA"이 폭넓게 채택되는 등, 평가에서 보다 두드러진 개념으로, 통합적인 방식으로 전문직업성을 평가해야 한다는 생각을 제기한다.

  Entrustment is a more prominent concept in assessment, such as the widespread adoption of “entrustable professional activities” (ten Cate et al 2016), raising the idea of assessing professionalism in an integrated way


의료 및 의료 교육의 맥락 변화

Changes in the context of healthcare and medical education


  어떻게 학습 환경과 맥락이 행동을 결정하는지에 대해 더 초점이 맞춰지고 있다

  There is a greater focus on the learning environments and how context determines behavior.


  학생과 내과의사의 소진, 직장생활과 개인생활의 균형, 그리고 적절한 근무시간 문제에 관한 방대한 문헌이 있다.

  There is a vast and growing literature about student and physician burnout, wellness and resiliency including balancing work life and private life, and issues of appropriate duty hours.


  숨겨진 커리큘럼과 그것이 어떻게 구조와 문화를 전문적인 행동의 함양에 포함시키는가에 더 많은 초점이 주어진다.

  More focus is given to hidden curricula and how they implicate structures and cultures in the cultivation of professional behaviors.


  전문직업성과 임상 결과 사이의 관계에 대한 관심이 높아지는 등 많은 종류의 결과에 대해 기관들이 점점 더 책임을 지고 있다.

  Institutions are increasingly held accountable for many kinds of outcomes, including increased attention to the relationship between professionalism and clinical outcomes.


  안전문헌의 상승과 문화가 어떻게 "정상화된 일탈"(평상적인 관행이 된 부적응적 행동)을 육성하는가에 대한 새로운 관심이 높아지고 있다.

  There is a rise in safety literature and new attention to how cultures foster “normalized deviance” (maladaptive behavior that has become usual practice).


  비전문화 경향도 있는데, 의료계의 권위와 자율성이 변화함에 따라 전문직업성이 영향을 받을 것이다.

  There are trends toward deprofessionalization: as the authority and autonomy of the medical profession changes, professionalism will be impacted.


결론

Conclusions


마찬가지로, 전문직업성에는 숨겨진 커리큘럼, 전문직과 권력계층, 정치경제적 요소와 같은 관련 개념을 도출하는 제도적 수준의 고려사항에 대해 훨씬 더 많이 쓰여 있다. 이렇게 확대된 관점은 (전문직업성을) 개인의 특성에만 집중하는 것이 단순하다는 것을 보여주며, 문제가 있는 맥락과 시스템 수준 문제로부터 주의를 돌린다. 또한 일반적으로 연구의 정교함에도 진화가 이루어졌는데, 현재 많은 저자들이 잘 기술된 이론적 프레임워크, 인식론적 명확성을 채용하고 있으며, 세계 다른 지역의 연구자들의 연구의 영향을 입증하고 있다. 즉, 연구영역이 성숙되고 있는 것이다.

Similarly, there is much more written about institutional level considerations in professionalism, drawing in related concepts such as the hidden curriculum, professional and power hierarchies, political-economic factors. This broadened perspective shows that focusing only on individual characteristics is simplistic and deflects attention from problematic contextual and systems level issues. There has also been an evolution in the sophistication of the research generally, with many authors now employing well-articulated theoretical frameworks, epistemological clarity and demonstrating the influence of the work of researchers in other parts of the world. In other words, the research domain is maturing.



표 2. 2011 - 2018년 프로페셔널리즘 평가에 관한 연구 권고사항 및 이 주제를 다루는 기사 수

Table 2. 2011 Recommendations for Research on the Assessment of Professionalism and number of articles addressing this theme between 2011 and 2018.


1. 언어문화적 맥락에 걸친 전문성 조사(34)

1. Examine professionalism across linguistic and cultural contexts (34)


2. 의료 전문직 전반에 걸친 프로페셔널리즘의 정의 비교(25)

2. Compare definitions of Professionalism across health care professions (25)


3. 학습에 적합한 전문성 요소의 특성(34)

3. Characterize elements of professionalism amenable to learning (34)


4. 전문성 평가와 기타 평가 형태 간의 연계성 검토(29)

4. Examine links between assessment of professionalism and other forms of assessment (29)


5. 전문성 평가에 환자 관점을 통합/평가 (2)

5. Incorporate/evaluate patient perspectives in assessment of professionalism (2)


6. 임상 작업장에서 전문성 탐구(20)

6. Explore professionalism in clinical workplaces (20)


7. 평가 데이터가 교육의 문화를 변화시킬 수 있는 방법 탐구(23)

7. Explore ways assessment data can change the culture of education (23)


8. 개인 차원의 기대가 기관/시스템 차원의 기대와 충돌할 때 어떤 일이 발생하는지 고려한다(1)

8. Consider what happens when expectations at an individual level conflict with those at an institutional/systems level (1)


9. 혁신적인 데이터 수집 방법 모색 및 professionalism 평가(29)

9. Explore innovative ways to collect data and assess professionalism (29)







Review
 
, 41 (3), 249-255
 

Assessment of Professionalism: From Where Have We Come - To Where Are We Going? An Update From the Ottawa Consensus Group on the Assessment of Professionalism

Affiliations 

Affiliations

  • 1a Wilson Centre for Research in Medical Education , University Health Network and Faculty of Medicine, University of Toronto , Toronto , Canada.
  • 2b Institute of Health Policy , Management and Evaluation, University of Toronto , Toronto , Canada.
  • 3c Wilson Centre for Research in Medical Education , University Health Network and University of Toronto , Toronto , Canada.
  • 4d Department of Medicine , Mount Sinai Hospital, University of Toronto , Toronto , Canada.

Abstract

Background: In 2009, an International Working Group (IWG) on the Assessment of Professionalism began collaborating and published recommendations in 2011. Nearly a decade later the IWG reconvened to take stock of the state of practice and research in professionalism and the impact of the 2011 report.

Method: A bibliometric study identified all publications on assessment of professionalism since 2011, noting those that cited the original report. Articles were coded to identify the reason for citation and new trends in assessment. Bibliometric data were supplemented by discussion groups held at key international education meetings.

Results: Six-hundred publications on the assessment of professionalism were found in Google Scholar and 164 in Web of Science since 2011, of which 177 (30%) and 84 (50%) respectively cited the original IWG publication. English language publications were most common (83%), but there were articles in 13 other languages by authors from 40 countries. The report was cited commonly to justify attention to professionalism in general (41%), assessment of professionalism (38%) and to explore professionalism in different countries and professions (25%). A thematic analysis showed that of 9 research areas recommended in 2011, 7 of 9 categories were represented with a large increase in research across languages and cultures.

Conclusions: Though the assessment of professionalism remains a challenge the research base continues to grow, especially related to professionalism across cultures and languages, and a large percentage of publications cite the IWG recommendations. There remains a gap in research and writing about patients' perspectives.


스토리로 해야 하는 세 가지: 의학교육에서 문학의 활용(Acad Med, 2015)

Three Things to Do With Stories: Using Literature in Medical, Health Professions, and Interprofessional Education

Michael Blackie, PhD, and Delese Wear, PhD



문학과 의학이라는 말을 듣지 못한 현직 의대 행정관이나 교직원을 찾는 것은 이례적일 것이다.

It would be unusual to find a current medical school administrator or faculty member who has not heard the phrase “literature and medicine,”


그러나 이 문구는 이해하기 어렵지는 않더라도 규정하기 힘든 방식으로 사용되고 있으며, 이 문구는 사용하는 모든 사람에게 공통적인 명확한 referent도 없다. 이론적으로나 교육적으로나 [literature and medicine]은 그 두 부분의 합 이상이며, 그것은 의학 교육의 환경에 따라 다르게 작용한다.

Yet the phrase is used in slippery if not elusive ways, with no clear referent common to all who use it. Theoretically and pedagogically, literature and medicine is more than the sum of its two parts, and it is “enacted” differently across settings in medical education,


문학과 의학 분야는 1972년 펜실베이니아 주립 의과대학의 일부 선견지명이 있는 의학 교육자들이 조앤 트라우트만(뱅크스)을 미국 의과대학의 문학 박사 최초의 전임자로 임명하기로 결정하면서 정식으로 시작되었다. 다른 문학 학자들의 연구가 그 분야를 심화시키고 확대시켰음에도 불구하고, 그 분야에 대한 그녀의 웅변적인 이론적 공헌은 기초적이고 활기찬 상태로 남아 있다.

The field of literature and medicine formally began in 1972 with the decision by some visionary medical educators at the Pennsylvania State University College of Medicine to appoint Joanne Trautmann (Banks) as the first full-time PhD in literature at a U.S. medical school. Her eloquent theoretical contributions to the field2–4 remain foundational and vibrant even as other literature scholars’ work has deepened and enlarged the field.


이 글의 목적은 의료 교육자에게 의료 교육에서 문학에 대한 세 가지 이론적, 교육학적 용도를 제공하는 것이다.

The purpose of this article is to provide medical educators with three theoretical and pedagogical uses for literature in medical education.


이야기와 함께 해야 할 세 가지 일

Three Things to Do With Stories


자세히 읽어보십시오.

Read them closely


의학 교육에서 문학 읽기에 가장 흔히 인용되는 이론적 접근법은 문학 학자들이 말하는 '밀독'이다. Joanne Trautmann은 가까운 독서가 의학의 실천에 가져다 주는 교육적 가치에 대한 가장 명확한 표현을 제공한다.

The most commonly cited theoretical approach to reading literature in medical education is what literary scholars call close reading. Joanne Trautmann provides the clearest articulation of the educational value close reading brings to the practice of medicine.


그녀는 "학생에게 최대한의 의미로 읽도록 가르치는 것은 학생을 의학적으로 훈련시키는 것"이라고 주장한다.3 최대한의 의미로 읽는 것은, 다시 말해서, 자세히 읽는 것이다. 시각, 줄거리, 이미지, 설정, 서술적 자세 등 기본적인 문학 요소의 도입은 환자를 돌보는 다양한 측면에 사용할 수 있는 특정한 지적 도구를 그들에게 제공함으로써 수련자에게 중요한 가치를 지닌다.

she contends that “to teach a student to read in the fullest sense is to train him or her medically.”3 To read in the fullest sense, in other words, is to read closely. The introduction of basic literary elements, such as point of view, plot, imagery, setting, and narrative stance, has instrumental value to trainees, by supplying them with specific intellectual tools to use in the various aspects of caring for patients.


의대생에게 (스토리 안에서) 무슨 말이 해지고being said 있는지 묻는 것은 의사와 환자의 만남에 대비하기 위한 것이다.3 -개인적, 사회적 맥락에서 단어를 봐야 할 때와 여러 가지 말이 한꺼번에 나오고 있을 때, 이것은 전혀 쉬운 질문이 아니다.

To ask the medical student what is being said [in a story]—not at all an easy question when one must look at words in their personal and social contexts and when several things are being said at once—is to prepare him or her for the doctor–patient encounter.3


거의 10년 후에 쓴, 제임스 테리와 에드워드 고겔13은 문학과 의학의 연구를 추구한 유사한 정당성을 주장한다.

Writing almost a decade later, James Terry and Edward Gogel13 assert a similar justification for pursuing the study of literature and medicine.


전체의 의미와 부분의 분석 사이의 긴장감은 특히 시를 해석하는 과정에 의해 잘 드러난다. 시를 볼 때, 우리는 그 시의 궁극적 의미에 대한 우려에서 그 어조, 목소리, 페이지 상의 모양과 표현, 또는 그 에너지 수준과 같은 것에 초점을 맞출 수도 있다. 이와 유사한 방식으로, 우리는 그들이 어떻게 "현존하는"지를 보기 위해 환자를 볼 수 있다. 즉, 경계심이나 무기력, 겉으로 보이는 고통이나 겉으로 보이는 건강 등.

tension between the meaning of the whole and the analysis of the parts is what is particularly well illustrated by the process of interpreting a poem. When looking at a poem, we may shift from concern regarding its ultimate meaning to a focus on such things as its tone, its voice, its shape and presentation on the page, or its energy level.… In a similar fashion, we may look at patients to see how they “present”: alert or lethargic, in apparent distress or apparent good health, and so on.13


그렇다면 세부사항에 대해 집중하는 것은 (의학의 실천과 마찬가지로) 면밀한 독서의 과정에도 마찬가지로 중요하다.

Attention to detail, then, is equally important to the process of close reading as it is to the practice of medicine.


그리고 테리와 고겔처럼, 존스는 문학을 가까이서 읽는 것과 환자를 돌보는 것 사이의 중요한 유사점을 본다. 그녀는 환자가 제시한 객관적 데이터(실험실, 역사 및 물리적 결과) 외에도 문학적 연구에 사용된 것과 유사한 해석적 기술을 통해 보다 풍부하게 이해할 수 있는 "문자"도 포함한다고 적절히 지적한다.7 존스는 이러한 상호작용이 필요하다고 주장한다. 식각 기술interpretive skills은 직접 임상 작업으로 이전할 수 있다.

And like Terry and Gogel, Jones sees important similarities between closely reading literature and attending to a patient. She aptly points out that in addition to objective data—the labs, the history and physical findings—the “text” presented by a patient also “includes the patient’s subjective symptoms and story” that can be more richly understood through interpretive skills similar to those used in literary inquiry.7 Jones, like Trautmann, argues that these interpretive skills are directly transferable to clinical work.


윤리적 또는 도덕적 조사를 모델

Model ethical or moral inquiry


두 번째로 이야기와 관련된 것은 윤리적 또는 도덕적인 조사를 위한 모델을 제공하는 것이다. 다시 말하지만, 존스는 다음과 같은 대표적 내용에 초점을 맞추어 이 접근법이 어떻게 작용하는지를 분명히 설명한다. "치료자와 그들의 윤리적 딜레마의 이미지, 의사-작가들의 작품, 특히 환자의 관점에서 서술된 질병과 고통의 주제"그녀와 다른 많은 사람들은 로버트 콜스의 뉴잉글랜드 저널 오브 메디슨에 실린 선구적인 기사를 다음과 같은 문학적 조사를 통해 간병인들에게 제기된 문제들을 설명하는 것으로 인용하고 있다. "한 사람의 가정, 한 사람의 기대, 한 사람의 가치, 그것이 살고 있는 한 사람의 삶 또는 그것을 살기를 바라는 한 사람의 삶에 대한 철저한 조사."

The second thing to do with stories is to provide a model for ethical or moral inquiry. Again, Jones clearly explicates how this approach works, focusing on representational content, such as “Images of healers and their ethical dilemmas; works by physician–writers; and themes of illness and suffering, especially in narratives from the patient’s point of view.”7 She and many others cite Robert Coles’s14 pioneering article in the New England Journal of Medicine as elucidating the questions raised to caregivers through literary inquiry, including “intense scrutiny of one’s assumptions, one’s expectations, one’s values, one’s life as it is being lived or as one hopes to live it.”


테리와 고겔13은 비슷하게 "고통에 대한 공감의 배양", 인간의 삶에 대한 이해 불가능해 보이는 가치에 대한 곤혹스러움, 인간의 나약함, 실패, 그리고 도덕을 받아들이기 위한 문학의 가치를 설명한다. 독자들은 자신과 다른 사람들이 그들의 병, 단점, 그리고 그들의 부담으로 고군분투하는 구체적인 방법을 상상할 수 있는 능력을 개발할 수 있을 것이고, 이는 결국 그들에게 도덕적 성찰과 궁극적으로는 행동을 추구하도록 격려한다. 현재 모든 건강 직업 교육에서 성찰이 강조되고 있기 때문에, 문학은 그러한 활동의 빈번한 수단이다.15

Terry and Gogel13 similarly describe literature’s value for supporting “the cultivation of empathy for the suffering; the puzzling over seemingly incommensurable values placed on human lives; the coming to terms with human frailty, failure, and morality.” Readers may develop the ability to imagine the concrete ways that people unlike themselves struggle with their illnesses, their disadvantages, and their burdens, which in turn encourages them to pursue moral reflection and, ultimately, action. With the current emphasis on reflection in all health professions education, literature is a frequent vehicle for such activity.15


실례을 끌어내다

Draw out their illustrations


세 번째 이야기와 관련된 것은 흔한 현상의 풍부하고, 자극적이며, 유별나거나 주목할 만한 삽화를 찾는 것이다.

The third thing to do with stories is to look for rich, provoking, unusual, or remarkable illustrations of common phenomena.


수잔 스퀴어16은 다음과 같은 예를 사용하여 바로 이 점을 지적하고, 문헌 및 의약품 목록 서비스에 관한 게시물을 참조한다.

Susan Squier16 uses the following example to make this very point, referring to a post on a literature and medicine listserv:


한 산부인과 의사는 암환자들의 불임보존에 관한 이야기를 준비하면서 암과 함께 사는 것에 대한 문학작품에 대한 요청을 올렸다. 의사는 환자의 희망의 감정과 암 치료 후의 삶에 대한 시, 또는 의사나 간호사의 관점에서 본 시를 포함시키고 싶었다. 이 모방적 접근법은 단지 미리 선택된 점을 설명하기 위해 문헌을 이용한다.

An obstetrician–gynecologist, preparing a talk about fertility preservation in cancer patients, posted a request for literary works about living with cancer. The physician wanted to include some poetry about a patient’s feelings of hope and about life after cancer treatment, or poetry from a physician’s or nurse’s point of view. This mimetic approach uses literature merely to illustrate a preselected point.


이 접근방식의 또 다른 문제점은 제임스 테리와 피터 윌리엄스가 설명하듯이, 

"더 적은 작품들은... 종종 의학적인 환경에서 가르쳐진다." 

"만약 문학작품이 하나뿐이라면, 그들은 "신장 투석이나 거주자들의 삶 혹은 그 어떤 것에 대해서, 결함이 있더라도, 그 일은 가르쳐질 수 있다"라고 지적한다.

Another equally problematic aspect of this approach is that, as James Terry and Peter Williams17 explain, 

“lesser works … are often taught in medical settings.” 

“If there is only one work of literature,” they point out, “about kidney dialysis or the lives of residents or whatever, that work—even if flawed—may be taught.”17 



종종 그러한 표현으로부터 상실되는 것은 잘 조작된 이야기의 복잡성과 미묘한 특성이며, 트라우트만과 존스뿐만 아니라 수많은 다른 사람들에 의해서도 옹호되는 종류의 이야기들이다. 

Often lost from such representations are the complexities and subtleties characteristic of well-crafted stories, the kinds of stories championed not only by Trautmann and Jones but also by numerous others. 


그럼에도 불구하고, 우리는 이 "실용적" 접근법이 학생들의 모든 다양성에 대한 가정, 인식 및 기대를 방해할 때 장점이 있다고 주장한다. 

Still, we argue here that this “illustrative” approach has merit when it disrupts a student’s assumptions, perceptions, and expectations about people in all their varieties. 


형식주의 비평가 빅토르 슈클롭스키의 defamiliarization에 대한 아이디어와 유사한 "낯설게하기"라는 개념은 친숙한 사물, 사람, 장소에 대한 불안정한 반응으로 자신의 생각을 뒤흔드는 수단으로서 문학 교과 과정에 자리를 잡고 있다.18 그렇다면, 이러한 사례적 접근법은 빛을 발할 수 있다.

The concept of “enstrangement,” akin to formalist critic Viktor Shklovsky’s ideas about defamiliarization, holds a place in the curriculum for literature that rattles one’s thinking, unsettling predictable responses to familiar objects, people, and places.18 The illustrative approach, then, can be illuminating.


한 이야기로 해야 할 세 가지 일의 예

An Example of Three Things to Do With One Story


자세히 읽어라.

Read it closely


모델윤리조사

Model ethical inquiry


삽화를 그리다.

Draw out its illustrations


결론

Conclusion






 2015 Oct;90(10):1309-13. doi: 10.1097/ACM.0000000000000761.

Three Things to Do With Stories: Using Literature in MedicalHealth Professions, and Interprofessional Education.

Author information

1
M. Blackie is associate professor of family and community medicine, Northeast Ohio Medical University, Rootstown, Ohio.D. Wear is professor of family and community medicine, Northeast Ohio Medical University, Rootstown, Ohio.

Abstract

It would be unusual to find a current medical school administrator or faculty member who has not heard the phrase "literature and medicine" or who does not know that literature is taught in various forms-short stories, novels, poems, essays-at many points in the curriculum at U.S. medical schools. Yet the phrase is used in slippery if not elusive ways, with no clear referent common to all who use it. This article focuses on three theoretical and pedagogical uses for literature in medicalhealth professions, and interprofessional education: close reading, ethical or moral inquiry, and drawing illustrations. Summaries of these approaches are provided, followed by demonstrations of how they might work in the classroom by using the story "Blankets," by Native American writer Sherman Alexie.Close reading requires reading slowly and carefully to enrich an initial encounter with a text. Ethical or moral inquiry turns to literary representations to challenge readers' assumptions and prejudices. Literature offers rich, provoking, and unusual depictions of common phenomena, so it can be used to draw illustrations. Although each approach can be used on its own, the authors argue that reading closely makes the other two approaches possible and meaningful because it shares with the diagnostic process many practices critical to skilled interprofessional caregiving: paying attention to details, gathering and reevaluating evidence, weighing competing interpretations. By modeling a close reading of a text, faculty can demonstrate how this skill, which courts rather than resists ambiguity, can assist students in making ethical and compassionate judgments.

PMID:
 
27002884
 
DOI:
 
10.1097/ACM.0000000000000761
[Indexed for MEDLINE]


+ Recent posts