Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

보건의료전문직교육에서 학생선발 도구와 학생 다양성: 다기관 연구 (Adv Health Sci Educ Theory Pract. 2023)
Selection tools and student diversity in health professions education: a multi‑site study
S. Fikrat‑Wevers1 · K. M. Stegers‑Jager1 · P. M. Afonso2,3 · A. S. Koster4 · R. A. Van Gestel4 · M. Groenier5 · J. H. Ravesloot6 · A. Wouters7,8 · W. W. Van Den Broek1 · A. M. Woltman1 

방법
Method

연구 설계 및 맥락
Design and context

본 연구는 전향적 다중 사이트 코호트 연구에 관한 것입니다. 네덜란드의 5개 대학 수준의 학부 HPE 프로그램에서 데이터를 수집했는데, 여기에는 3개의 의학 프로그램(A, B, C로 표시), 1개의 기술-의료(임상 기술) 프로그램(D로 표시), 1개의 약학 프로그램(E로 표시)이 포함되었습니다. 포함된 프로그램은 네덜란드의 도시와 농촌 등 각기 다른 지역에 위치해 있으며, 모두 학생 선발 과정의 다양성을 높이는 데 중점을 두고 있습니다. 
The present research concerns a prospective multi-site cohort study. We collected data from five university-level undergraduate HPE programs in the Netherlands, including three medical programs (labeled A, B, and C), one technical-medical (clinical technology) program (labeled D), and one pharmacy program (labeled E). The included programs were located in different parts of the Netherlands, both in urban and rural areas, and were all concerned about enhancing diversity in their selection processes.

네덜란드의 독특한 점은 다양한 유형의 HPE 학부 프로그램의 입학 요건이 동일하다는 점입니다. 입학 자격을 얻으려면 지원자는 물리, 화학, 생물학 등 수강 과목과 교육 수준에 관한 엄격한 요건을 동일하게 충족해야 합니다. 결과적으로 지원자 풀은 학력 면에서 비교적 동질적이며, 대학 수준의 학부 HPE 프로그램에 지원하는 학생들은 이미 고도로 선택적인 중등 교육으로 인해 학업 능력에 따라 강력하게 사전 선발됩니다(Niessen & Meijer, 2016). 지원자는 자신이 선택한 프로그램에 지원할 때 하나의 특정 교육기관에 지원하게 됩니다. 각 교육기관에는 미리 정해진 정원이 있습니다. 법에 따라 교육기관은 최소 두 가지 이상의 선발 기준을 포함해야 하지만, 앞서 언급했듯이 도구의 내용 및 품질과 같은 추가 요건은 없습니다. 따라서 기관마다 서로 다른 유형의 HPE 프로그램 간에 또는 프로그램 내에서 사용하는 선정 절차에 매우 다양한 차이가 존재합니다. 저희는 두 개 이상의 프로그램에서 사용하는 도구를 연구하여 프로그램 간에 효과가 비슷하거나 다른지 평가했습니다. 
Uniquely to the Netherlands is that admission requirements of different types of undergraduate HPE programs are identical. To be eligible, applicants need to meet the same stringent requirements regarding subjects taken (e.g., physics, chemistry, and biology) and educational level. Consequently, the applicant pools are relatively homogeneous in terms of academic background; students who apply to a university-level undergraduate HPE program are already strongly preselected based on academic skills due to highly selective secondary education (Niessen & Meijer, 2016). When applicants apply to their program of choice, they apply to one specific institution. Each institution has a predetermined fixed number of spots. By law, institutions are required to include at least two selection criteria, but as previously mentioned, there are no additional requirements concerning, for instance, the content and quality of the tools. Consequently, great variety exists in the selection procedures that programs employ, both between and within different types of HPE programs at different institutions. We studied tools used by more than one program, to evaluate whether effects were similar or different across programs.

5개 프로그램의 선발 절차는 표 1에 설명되어 있습니다. 여러 프로그램에서 사용한 도구는 사전 GPA, 생물의학 지식 테스트, 커리큘럼 샘플링 테스트, 이력서였습니다.

• 사전 GPA는 일반적으로 수학, 물리, 생물, 화학 등 필수 과목에 대한 지원자의 평균 학교 성적으로 구성되었습니다.
• 생물의학 지식 테스트는 별도의 준비 없이 지원자의 생물의학 과목에 대한 일반적인 지식을 평가했습니다.
• 커리큘럼 샘플링 시험은 대부분 지원자가 시험일 몇 주 전에 받은 강의 및/또는 독서 자료 형태의 준비 자료를 기반으로 진행되었습니다.
• 이력서는 (자발적인) 직업, 인턴십, 특별한 문화 또는 운동 능력에 대한 증거와 같은 과외 활동에 대한 평가로 구성되었습니다.

The selection procedures of the five programs are described in Table 1. The tools used by multiple programs were pre-GPA, biomedical knowledge test, curriculum-sampling test, and CV.

• Pre-GPA comprised of applicants’ average school grades on required subjects, usually mathematics, physics, biology, and/or chemistry.
• Biomedical knowledge tests assessed applicants’ existing general knowledge about biomedical subjects, without requiring any preparation.
• Curriculum-sampling tests were (largely) based on preparatory materials in the form of a lecture and/or reading materials that applicants had received some weeks prior to the testing day.
• CVs consisted of an assessment of extracurricular activities, such as (voluntary) jobs, internships, or evidence of extraordinary cultural or athletic skills.

한 프로그램(D)에서 시행한 바이오메디컬 입학시험(BMAT)의 바이오메디컬 지식 하위 테스트인 표준화된 도구가 포함되었습니다. 샘플에 포함된 다른 모든 선발 도구는 개별 프로그램에서 자체 개발한 것입니다. 따라서 도구의 구체적인 적용은 프로그램마다 달랐으며, 예를 들어 pre-GPA에 포함되는 특정 과목과 시험 문제 유형이 달랐습니다. BMAT를 제외한 모든 선발 도구는 네덜란드어로 시행되었습니다. 프로그램에서 자체적으로 품질 보증을 담당했으며, 저희는 심리측정 정보에 접근할 수 없었습니다. 
One standardized tool was included, the biomedical knowledge subtest of the BioMedical Admissions Test (BMAT), which was administered by one program (D). All other selection tools in our sample were self-developed by the individual programs. Consequently, the specific application of the tools differed between the programs, e.g., the specific subjects included in pre-GPA and the types of questions in tests. All selection tools, except for the BMAT, were administered in Dutch. Programs were responsible for their own quality assurance, and we did not have access to psychometric information.

 

참가자 및 절차
Participants and procedure

2020년 9월에 진행된 선발 절차에 참여한 모든 지원자(N = 3280명)가 참여하도록 초대되었습니다. 프로그램 A, D, E의 경우 현장 테스트 당일에 지원자를 초대했습니다. 프로그램 B와 C는 코로나19 팬데믹 조치로 인해 현장 테스트를 실시하지 않았으며, 선발 과정에서 이메일을 통해 지원자를 모집해야 했습니다. 
All applicants engaged in the selection procedures for entry in September 2020 (N = 3280) were invited to participate. For programs A, D, and E, applicants were invited during the on-site testing days. Programs B and C did not perform on-site testing due to COVID-19 pandemic measures, necessitating recruitment via e-mail during the selection procedure.

지원자들은 인구통계학적 설문지를 작성하도록 요청받았습니다. 이 설문조사에서 지원자들은 학번, 성별, 이주 배경, 부모 학력 및 이전 교육에 대해 보고하도록 요청받았습니다. 선발 절차에 대한 성과 데이터는 관련 대학 학생 관리 시스템에서 추출했습니다. 학생 번호는 인구 통계 설문지의 데이터를 성과 데이터와 연결하는 데 사용되었습니다. 
Applicants were requested to complete a demographics questionnaire. In this survey, applicants were asked to report their student number, gender, migration background, parental education and prior education. Data on performance on the selection procedures were derived from the related university student administration systems. Student number was used to connect the data from the demographics questionnaire with performance data.

모든 참가자로부터 사전 동의를 얻었습니다. 지원자에게는 참여가 자발적인 것이며 선발 결과에 영향을 미치지 않는다는 사실을 알렸고, 연구진은 선발 위원회와 독립적으로 운영된다는 점을 명시했습니다. 지원자는 연구 참여에 대한 인센티브를 받지 않았습니다. 모든 데이터는 인구통계학적 데이터와 성과 데이터를 결합한 후 즉시 가명 처리되었습니다. 에라스무스 MC의 의료윤리심의위원회는 이 연구가 윤리적 승인 면제 대상임을 선언했습니다. 
Informed consent was obtained from all participants. Applicants were informed that participation was voluntary and would not influence their selection outcomes, and we made explicit that the researchers operated independently from the selection committees. Applicants did not receive incentives for participation in the study. All data were pseudonymized immediately after the demographics and performance data were combined. The Medical Ethical Review Committee of Erasmus MC declared the study exempt from ethical approval.

변수
Variables

예측 변수에는 성별, 이주 배경, 이전 교육, 부모 교육이 포함되었습니다. 
Predictors included gender, migration background, prior education, and parental education.

본 연구에서는 성별의 다양성을 인정하여 지원자가 '남성', '여성', '기타(자유 텍스트 상자)'의 세 가지 범주 중에서 선택할 수 있도록 했습니다. 
Gender diversity was acknowledged in the present study, and applicants had the option to choose between three categories: ‘man’, ‘woman’, and ‘other, namely [free text box]’.

이주 배경은 민족의 다차원적 특성을 완전히 포착하지 못한다는 점을 고려하여 민족의 대용어로 사용되었습니다. 이주 배경은 네덜란드 통계청(CBS)에 따라 정의되었습니다. 부모 중 한 명 이상이 네덜란드 밖에서 태어난 경우 개인은 이주 배경을 갖게 됩니다. CBS의 분류법에 따라 서구와 비서구의 이주 배경을 구분했습니다. 

• 모든 유럽(터키 제외), 북미, 오세아니아 국가, 인도네시아, 일본을 서구 국가로 간주했습니다. 
• 비서양 국가에는 아프리카, 아시아(인도네시아, 일본 제외), 라틴 아메리카, 터키의 모든 국가가 포함되었습니다. 

또한 이민 1세대와 이민 2세대를 구분했습니다. 1세대 이민자는 네덜란드 이외의 지역에서 태어났습니다. 네덜란드에서는 이주 배경과 CBS 분류법을 사용하는 것이 민족을 운영하는 표준으로 간주되며, HPE의 연구에서도 마찬가지입니다(예: Mulder 외., 2022; Stegers-Jager 외., 2015).
Migration background was used as a proxy for ethnicity, recognizing that this does not completely capture the multidimensional character of ethnicity. Migration background was defined in alignment with Statistics Netherlands (CBS). Individuals have a migration background when at least one of their parents was born outside of the Netherlands. Based on the taxonomy of CBS, we distinguished between a Western and non-Western migration background.

• All European (excluding Turkey), North American, and Oceanian countries, Indonesia, and Japan were considered Western.
• Non-Western countries included all countries in Africa, Asia (excluding Indonesia and Japan), Latin America, and Turkey.

Additionally, we distinguished between first-generation and second-generation immigrants. First-generation immigrants were born outside the Netherlands. In the Netherlands, the use of migration background and CBS taxonomy are considered the standard for operationalizing ethnicity, also in research in HPE (e.g., Mulder et al., 2022; Stegers-Jager et al., 2015).

네덜란드에서 HPE 프로그램에 입학하는 일반적인 교육 경로는 보건/과학을 전공하는 중등학교의 예비 대학 과정입니다. 그러나 지원자는 다른 형태의 사전 교육을 받은 후에도 HPE 프로그램에 지원할 수 있습니다. 우리는 다음으로 구분했습니다.

• 네덜란드의 표준 대학 예비 교육, 
• 대학, 
• 고등 직업 교육, 
• 모든 형태의 외국 교육, 
• 기타 형태의 사전 교육(예: 입시 및 성인 교육)

In the Netherlands, the typical educational route to an HPE program is the pre-university track of secondary school with a health/science profile. However, applicants can apply to HPE programs from alternative forms of prior education. We distinguished between

• standard Dutch pre-university education,
• university,
• higher vocational education,
• all forms of foreign education, and
• other forms of prior education (e.g., entrance exams and adult education).

마지막으로, 부모 교육은 SES를 조작화하기 위해 사용할 수 있는 여러 지표 중 하나에 불과하다는 점을 인정하여 SES의 대리 지표로 사용되었습니다. 부모 교육은 지원자 부모의 교육 수준에 따라 결정되었습니다. 지원자의 부모 중 누구도 고등 교육, 즉 대학 이상의 직업 교육을 받은 적이 없는 경우 지원자를 1세대 대학 지원자로 분류했습니다. 1세대 대학 지원자는 이전 연구에서 의대에 입학할 확률이 낮다는 사실이 입증되었기 때문에 관심 하위 그룹으로 분류되었습니다(Mason 외., 2021; Stegers-Jager 외., 2015). 또한, 이들은 의과대학에 지원할 때 입학 절차에 대한 지식 부족과 재정적 장벽 등 수많은 장애물에 직면합니다(Romero 등, 2020).
Finally, parental education was used as a proxy for SES, acknowledging that this is only one of the many indicators that can be used to operationalize SES. Parental education was determined by the educational level of applicants’ parents. Applicants were categorized as first-generation university applicants when none of their parents had attended higher education, i.e., university or higher vocational education. First-generation university applicants were a subgroup of interest, because previous research has demonstrated that their odds of being selected into medical school are lower (Mason et al., 2021; Stegers-Jager et al., 2015). Additionally, they face numerous obstacles when applying to medical school, including a lack of knowledge about the admission process and financial barriers (Romero et al., 2020).

결과 측정
Outcome measures

다섯 가지 결과 측정이 포함되었습니다. 첫 번째 이분법적 결과 측정은 지원자의 순위 번호에 따라 지원자가 선발되었는지 여부(예/아니오)를 나타냅니다. 나머지 네 가지 결과 측정은 연속적인 것으로 사전 GPA, 커리큘럼 샘플링 테스트, 생물의학 지식 테스트, 이력서의 네 가지 도구에 대한 성과를 반영했습니다. 각 도구에 대해 담당 프로그램은 자체 채점 방식에 따라 원시 점수를 계산했습니다. 그런 다음 각 프로그램은 이 원시 점수를 표준화된 Z 점수로 변환하여 트랙 간 도구 비교를 가능하게 했습니다. 이 Z 점수는 연구진에게 제공되어 분석에 사용되었습니다. 
Five outcome measures were included. The first—binary—outcome measure indicated whether an applicant was selected (yes/no), determined by their ranking number. The other four outcome measures were continuous and reflected performance on the four tools: pre-GPA, curriculum-sampling test, biomedical knowledge test, and CV. For each tool, the responsible program calculated a raw score based on its own scoring method. Subsequently, each program transformed these raw scores into standardized Z-scores to enable comparisons of tools between tracks. These Z-scores were made available to the researchers and used for the analyses.

통계 분석
Statistical analyses

다단계 로지스틱 회귀 분석을 수행하여 다양한 예측 변수가 선발 확률에 미치는 영향에 대한 오즈비(OR)를 계산했습니다. OR이 1을 초과하면 선발 가능성이 높아진다는 것을 의미합니다. 프로그램마다 선발 절차의 내용이 다르기 때문에 이 모델에서는 지원자가 지원한 프로그램을 무작위 절편으로 사용했습니다. 프로그램 E는 96%의 높은 선발률로 평균 선발률이 47%인 다른 프로그램과 큰 대조를 이루었기 때문에 분석에서 제외했습니다(부록 1: 표 6). 이 프로그램의 선발률이 이렇게 높았던 이유는 선발 가능 인원에 비해 지원자 수가 적었기 때문입니다. 
Multilevel logistic regression analysis was performed to calculate odds ratios (OR) for the effect of the different predictors on the probability of selection. An OR of > 1 indicates an increased likelihood of selection. Since the content of the selection procedure differed between programs, we used the program to which the applicants applied as a random intercept in this model. Program E was excluded from this analysis, given the high selection rate of 96%, which was in large contrast with other programs having an average selection rate of 47% (Appendix 1: Table 6). The selection rate of this program was this high due to the small number of applicants compared to the number of available spots.

다양한 도구의 성능을 비교하기 위해 참여 프로그램에서 제공한 Z 점수를 사용했습니다. 다단계 선형 회귀분석을 수행하여 중복되는 4개의 도구에 대한 Z점수 간의 성능 차이를 평가했습니다. 프로그램 C는 입학정원 제한이 있는 두 개의 독립적인 선택 트랙에 대해 서로 다른 채점 방법을 적용하여(표 1), 두 개의 서로 다른 트랙에 대한 Z점수를 산출했습니다. 따라서 네 가지 도구의 분석을 위해 '프로그램' 대신 '트랙'이라는 변수를 무작위 절편으로 사용했습니다. 앞서 언급했듯이 각 도구의 구체적인 적용이 설정에 따라 다르기 때문에 이러한 무작위 효과를 포함했습니다. 
To compare performance on different tools, we used Z-scores that were provided by the participating programs. We performed multilevel linear regression to assess performance differences between Z-scores on the four overlapping tools. Program C applied different scoring methods for two independent selection tracks with intake restriction (Table 1), resulting in Z-scores for the two different tracks. Therefore, we used the variable ‘track’ instead of ‘program’ as a random intercept for the analyses of the four tools. This random effect was included because, as mentioned earlier, the specific application of each tool differed across settings.

'프로그램' 또는 '트랙'을 무작위 절편으로 포함했을 때 절편이 없는 모델에 비해 유의미하게 더 많은 변수를 설명하는지 평가하기 위해 경계 보정을 적용한 확률 비율 테스트를 적용했습니다.
We applied likelihood ratio tests with the boundary correction to assess whether the inclusion of ‘program’ or ‘track’ as a random intercept explained significantly more variance compared to the model without the intercept.

분석은 R 버전 4.0.4의 LME4 1.1.26 및 NLME 3.1.152 패키지를 사용하여 실행되었습니다. 모든 통계 분석에서 가정을 확인했습니다. OR이 1.68 이상 0.60 미만이면 작은 효과, OR이 3.47 이상 0.29 미만이면 중간 효과, OR이 6.71 이상 0.15 미만이면 큰 효과로 해석했습니다(Chen et al., 2010).
Analyses were executed using the LME4 1.1.26 and NLME 3.1.152 packages in R version 4.0.4. For all statistical analyses, assumptions were checked. We interpreted OR of > 1.68 or < 0.60 as a small effect, OR of > 3.47 or < 0.29 as a medium effect, and OR of > 6.71 or < 0.15 as a large effect (Chen et al., 2010).

결과
Results

지원자 특성
Applicant characteristics

총 1935명의 지원자가 연구에 참여했습니다(응답률 59%, 개별 프로그램의 경우 34-81% 범위). 성별은 응답자의 30%가 남성으로 나타났으며, '기타'로 응답한 지원자는 1명이었습니다. 이 지원자는 하위 그룹 분석에서 제외되었기 때문에 결과에는 남성과 여성의 범주만 설명되어 있습니다. 또한 38%는 이주 배경이 있었고, 20%는 다른 형태의 이전 교육을 받은 경험이 있었으며, 25%는 1세대 대학 지원자였습니다. 성별과 연령 측면에서 모든 샘플은 전체 지원자 풀을 대표했습니다. 두 가지 프로그램(C와 E)의 경우, 참여 지원자들이 비참여 지원자들에 비해 선발에서 약간 더 좋은 성적을 거두었습니다(순위 기준).
|In total, 1935 applicants participated in the study (response rate 59%, range 34–81% for individual programs). With respect to gender, 30% of the respondents identified as men, and one applicant identified as ‘other’. This individual was excluded from the subgroup analyses, and therefore only the categories of men and women are described in the results. Furthermore, 38% had a migration background, 20% applied from alternative forms of prior education, and 25% were first-generation university applicants. In terms of gender and age, all samples were representative of the complete applicant pool. For two programs (C and E), participating applicants performed slightly better on the selection (in terms of ranking number) compared to non-participating applicants.

지원자들은 일부 중복되는 도구와 일부 고유한 도구에 노출되었고, 한 프로그램은 선발 확률 분석에서 제외되었기 때문에 지원자 특성 분포는 다단계 분석에서 차이를 보였습니다(표 2). 주목할 만한 점은 생물의학 지식 테스트의 경우 이민 배경을 가진 지원자의 비율이 다른 프로그램에 비해 상대적으로 낮았다는 점입니다(28% 대 36~43%). 또한 사전 학력 평가의 경우, 다른 형태의 사전 교육을 받은 지원자 비율이 상대적으로 적었습니다(10% 대 19~23%). 이는 사전 내신 성적이 지원자 선발 도구에 항상 포함되는 것은 아니기 때문인 것으로 보입니다.
Since applicants were exposed to some overlapping tools, but also to some unique tools, and one program was excluded from the analyses on the probability of selection, the distribution of applicant characteristics differed between the multilevel analyses (Table 2). Noteworthy is that for the biomedical knowledge test, the proportion of applicants with a migration background was relatively low compared to the other programs (28% vs 36–43%). Additionally, for pre-GPA, the proportion of applicants from alternative forms of prior education was comparatively small (10% vs 19–23%). This is probably caused by the fact that pre-GPA is not always included as a selection tool for those applicants.

개별 프로그램마다 관심 있는 지원자의 특성 분포에 차이가 있었습니다(부록 1: 표 6, 7). 가장 눈에 띄는 차이점은 다른 프로그램과 비교했을 때, 표본에서 유일한 지방 프로그램인 프로그램 D는 이민 배경을 가진 지원자(13% 대 32-53%)와 대학 1세대 지원자(15% 대 24-32%)의 비율이 낮았다는 점입니다. 인구통계학적 구성의 차이는 입학 요건의 차이로 인한 것이 아니며, 이는 프로그램 간에 모두 비슷하기 때문입니다. 그러나 위치 및 선발 절차 등 기타 기관 관련 요인으로 인해 특정 프로그램이 특정 하위 그룹에게 더 매력적으로 느껴졌을 가능성이 있습니다(Wouters et al., 2017b).
The individual programs differed in their distribution of the applicant characteristics of interest (Appendix 1: Tables 6, 7). The most notable difference is that compared to the other programs, Program D—the only rural program in the sample—had a lower representation of applicants with a migration background (13% vs 32–53%) and first-generation university applicants (15% vs 24–32%). Differences in demographic composition are not caused by differences in admission requirements, since these were all comparable across programs. However, it is possible that other institutional-related factors made certain programs more attractive to specific subgroups, including location and selection procedure (Wouters et al., 2017b).

선발 확률
Probability of selection

서구 이민 1세대는 이민 배경이 없는 지원자에 비해 선발될 확률이 현저히 낮았으며(23% 대 49%), 조정된 OR은 0.45(95% 신뢰구간[CI] [0.20, 0.99]; 표 3)에 해당합니다. 또한, 외국 교육을 받은 지원자는 표준 대학 전 교육을 받은 지원자보다 선발 확률이 더 낮았습니다(24% vs 49%, 조정된 OR = 0.46, 95% CI [0.22, 0.94]). 둘 다 효과가 작은 것으로 해석할 수 있습니다(즉, OR <0.60). '다른 형태의 사전 교육' 범주는 중간 정도(즉, OR <0.29)이지만 유의하지 않은(수준 0.05) 부정적인 효과(18% 대 49%, 조정된 OR = 0.28, 95% CI [0.08, 1.00])를 보였는데, 이는 이 그룹의 규모가 작았기 때문일 수 있습니다(N = 17). 성별과 부모 교육 정도는 선택 확률과 유의미한 관련이 없었습니다. 프로그램의 무작위 효과는 유의하지 않았으며(SD = 0.00, 95% CI [0.00, 0.21], p = 0.50), 이는 고정된 구조(즉, 성별, 이주 배경, 사전 교육 및 부모 교육 변수)를 고려했을 때 선택 확률의 하위 그룹 차이가 프로그램 간에 유사하다는 것을 나타냅니다.
First-generation Western immigrants were significantly less likely to be selected compared to applicants without a migration background (23% vs 49%), corresponding to an adjusted OR of 0.45 (95% confidence interval [CI] [0.20, 0.99]; Table 3). Additionally, foreign-educated applicants had smaller selection odds than those from standard pre-university education (24% vs 49%, adjusted OR = 0.46, 95% CI [0.22, 0.94]). Both can be interpreted as small effects (i.e., OR < 0.60). The category ‘other forms of prior education’ demonstrated a medium (i.e., OR < 0.29), but non-significant (level 0.05) negative effect (18% vs 49%, adjusted OR = 0.28, 95% CI [0.08, 1.00]), which could be due to the small size of this group (N = 17). Gender and parental education were not significantly associated with the probability of selection. The random effect of program was not significant (SD = 0.00, 95% CI [0.00, 0.21], p = 0.50), indicating that subgroup differences in the probability of selection were similar across programs, given the fixed structure considered (i.e., the variables of gender, migration background, prior education and parental education).

기존 기준에서의 성과
Performance on traditional criteria

Pre-GPA
Pre-GPA

사전 GPA는 4개 프로그램(B, C, D, E)에서 사용되었으며, 이 중 한 프로그램은 두 개의 독립적인 선발 트랙을 사용하여 분석에 다섯 개의 트랙(B, C1, C2, D, E)이 사용되었습니다. 1세대 대학 지원자들은 기존 지원자들에 비해 사전 GPA가 유의미하게 낮았습니다(B = - 0.17, 95% CI [- 0.30, - 0.03]; 표 4, 5). 모든 기준에 대해 Z 점수가 사용되었으므로 표준화되지 않은 B는 SD의 차이를 나타냅니다. 예를 들어, 1세대 대학 지원자의 사전 GPA는 비 1세대 대학 지원자보다 0.17 SD 낮았습니다. 대학 학력 및 '기타 형태의 사전 교육'을 받은 지원자는 일반 대학 1세대 지원자에 비해 사전 GPA가 유의하게 낮았으며(각각 B = - 0.41, 95% CI [- 0.63, - 0.18], B = - 0.76, 95% CI [- 1.42, - 0.11]), 외국 교육을 받은 지원자의 사전 GPA는 유의하게 높았다(B = 1.13, 95% CI [0.54, 1.72]). 성별과 이주 배경은 사전 GPA와 관련이 없었습니다. 트랙의 무작위 효과는 유의하지 않았으며(SD = 0.005, 95% CI [0, 506553], p = 0.50), 이는 고정된 구조를 고려했을 때 사전 GPA에서 발견된 성과 차이가 트랙 간에 유사하다는 것을 나타냅니다.
Pre-GPA was used by four programs (B, C, D, and E), of which one program used two independent selection tracks, resulting in five tracks in the analysis (B, C1, C2, D, and E). Compared to traditional applicants, first-generation university applicants had significantly lower pre-GPAs (B = − 0.17, 95% CI [− 0.30, − 0.03]; Tables 4, 5). As Z-scores were used for all criteria, the unstandardized Bs indicate the difference in SD. Thus, for example, pre-GPAs of first-generation university applicants were 0.17 SD lower than those of non-first-generation university applicants. Applicants with university-level and with ‘other forms of prior education’ had significantly lower pre-GPA (respectively, B = − 0.41, 95% CI [− 0.63, − 0.18]; B = − 0.76, 95% CI [− 1.42, − 0.11] compared to standard pre-university applicants, while pre-GPAs of applicants with foreign education were significantly higher (B = 1.13, 95% CI [0.54, 1.72]). Gender and migration background were not associated with pre-GPA. The random effect of track was not significant (SD = 0.005, 95% CI [0, 506553], p = 0.50), indicating that the performance differences found on pre-GPA were similar across tracks, given the fixed structure considered.

 

생의학 지식 테스트
Biomedical knowledge test

생의학 지식 테스트는 두 가지 프로그램(A와 D)에서 사용되었습니다. 남성과 대학 수준에서 공부한 지원자는 여성과 표준 대학 이전 교육을 받은 지원자에 비해 생물의학 지식 테스트에서 유의미하게 더 높은 점수를 받았습니다(각각 B = 0.21, 95% CI [0.06, 0.37]; B = 0.32, 95% CI [0.11, 0.52]; 표 6, 7). 이주 배경과 부모 교육은 시험 점수와 관련이 없었으며, 트랙의 무작위 효과는 유의하지 않았습니다(SD = 0.01, 95% CI [0, 12114,82], p = 0.46). 이는 고정된 구조를 고려했을 때 하위 그룹의 성과 차이가 프로그램 간에 유사하다는 것을 나타냅니다.
Biomedical knowledge tests were used by two programs (A and D). Men and applicants who were studying at university-level performed significantly better on biomedical knowledge tests compared to women and applicants from standard pre-university education (respectively, B = 0.21, 95% CI [0.06, 0.37]; B = 0.32, 95% CI [0.11, 0.52]; Tables 6, 7). Migration background and parental education were not associated with test scores, and the random effect of track was not significant (SD = 0.01, 95% CI [0, 12114,82], p = 0.46), indicating that subgroup differences in performance were similar across programs, given the fixed structure considered.

확장된 기준에서의 성과
Performance on broadened criteria

커리큘럼 샘플링 테스트
Curriculum-sampling test

세 가지 프로그램에 커리큘럼 샘플링 테스트(A, B, E)가 포함되었습니다. 비서구권 이주 배경을 가진 지원자(1세대와 2세대 모두)는 기존 지원자에 비해 커리큘럼 샘플링 테스트에서 낮은 점수를 받았습니다(각각 B = - 0.43, 95% CI [- 0.67, - 0.20], B = - 0.21, 95% CI [- 0.34, - 0.10]; 표 6, 7). 이미 대학 수준에서 공부하고 있는 지원자는 일반 예비 대학 지원자에 비해 훨씬 더 우수한 성적을 거둔 반면(B = 0.37, 95% CI [0.21, 0.53]), 외국 교육을 받은 지원자는 시험 점수가 더 낮았습니다(B = - 0.56, 95% CI [- 0.91, - 0.22]). 시험 점수는 성별이나 부모의 학력에 영향을 받지 않았습니다. 고정된 구조를 고려했을 때, 트랙의 무작위 효과는 유의미했습니다(SD = 0.09, 95% CI [0.03, 0.32], p = 0.01). 이는 전반적인 결과가 프로그램마다 다르다는 것을 의미합니다. 커리큘럼 샘플링 테스트를 사용한 개별 프로그램의 설명 통계(부록 1: 표 8)에 따르면 프로그램 E의 경우에만 비 서구권 1세대 배경을 가진 지원자가 이주 배경이 없는 지원자에 비해 평균 Z 점수가 현저히 낮았습니다(M = - 0.86 vs M = 0.29). 이 차이는 프로그램 B의 경우 더 작았고(M = - 0.13 vs M = 0.18), 프로그램 A의 경우 존재하지 않았습니다(M = 0.02 vs M = - 0.01). 주목할 만한 점은 프로그램 E에서 다른 두 프로그램보다 상대적으로 더 많은 지원자가 비서구권 1세대 배경을 가지고 있었다는 점입니다.
Three programs included curriculum-sampling tests (A, B, and E). Applicants with a non-Western migration background, both first-generation and second-generation, scored lower on curriculum-sampling tests compared to their traditional counterparts (respectively, B = − 0.43, 95% CI [− 0.67, − 0.20]; B = − 0.21, 95% CI [− 0.34, − 0.10]; Tables 6, 7). Applicants who were already studying at university-level performed significantly better compared to standard pre-university applicants (B = 0.37, 95% CI [0.21, 0.53]), while applicants with foreign education had lower test scores (B = − 0.56, 95% CI [− 0.91, − 0.22]). Test scores were not influenced by gender or parental education. Given the fixed structure considered, the random effect of track was significant (SD = 0.09, 95% CI [0.03, 0.32], p = 0.01), implying that our overall findings differed between programs. Descriptive statistics of the individual programs employing curriculum-sampling tests (Appendix 1: Table 8) indicate that only for program E, applicants with a first-generation non-Western background had notable low mean Z-scores compared to those without a migration background (M = − 0.86 vs M = 0.29). This difference was smaller for program B (M = − 0.13 vs M = 0.18) and non-existent for program A (M = 0.02 vs M = − 0.01). Noteworthy is that in program E relatively more applicants had a first-generation non-Western background than in the other two programs.

이력서
CV

두 개의 서로 다른 프로그램에서 파생된 세 가지 트랙에는 이력서(B, C1, C2)가 포함되었습니다. 여성 또는 일반 지원자에 비해 남성(B = - 0.17, 95% CI [- 0.31, - 0.02]; 표 6, 7), 서구 이민 1세대(B = - 0.43, 95% CI [- 0.85, - 0.00]), 고등 직업 교육, 외국 교육, '기타 형태의 사전 교육'을 받은 지원자의 CV 점수가 유의하게 낮았습니다(B = - 0.61에서 - 0.81 사이). 부모 교육은 이력서 점수와 관련이 없었습니다. CV에 대한 트랙의 유의미한 효과(SD = 0.25, 95% CI [0.08, 0.76] p <0.001)가 있었으며, 이는 고정된 구조를 고려했을 때 앞서 언급한 효과가 트랙에 따라 다르다는 것을 나타냅니다. 기술 통계(부록 1: 표 9)에 따르면 성별에 따른 성과 격차는 다른 트랙에 비해 트랙 B에서 더 작았습니다(트랙 B: M = 0.04(남성) vs M = 0.17(여성), 트랙 C1: M = - 0.29 vs M = - 0.06, 트랙 C2: M = - 0.11 vs M = 0.25). 전반적으로 서구 이민 1세대가 이민 배경이 없는 지원자보다 점수가 낮았다는 결과는 트랙 B(M = - 0.75 vs M = 0.22)와 트랙 C2(M = - 0.42 vs M = 0.09)에서 나타났지만, 트랙 C1(M = - 0.03 vs M = - 0.14)에서는 나타나지 않았습니다. 이주 배경이 없는 지원자와 비교했을 때, 비 서구권 2세 지원자의 경우 트랙 B(M = - 0.28 vs M = 0.22)에서는 CV 점수가 낮았고, 트랙 C1(M = - 0.17 vs M = - 0.14)에서는 비슷했으며, 트랙 C2(M = 0.45 vs M = 0.09)에서는 CV 점수가 더 높았습니다. 트랙 B의 경우, 다양한 형태의 사전 교육 간에 더 큰 차이가 관찰되었지만, 이는 프로그램 C의 경우 사전 교육에 따라 트랙이 구분되어 트랙 C1에는 표준 대학 전 교육이 집중되고 트랙 C2에는 다른 형태의 사전 교육이 집중된 것과 관련이 있는 것으로 보입니다. 
Three tracks derived from two different programs included a CV (B, C1, and C2). Compared to women or traditional applicants, CV scores were significantly lower for men (B = − 0.17, 95% CI [− 0.31, − 0.02]; Tables 6, 7), first-generation Western immigrants (B = − 0.43, 95% CI [− 0.85, − 0.00]), and applicants with higher vocational education, foreign education, and ‘other forms of prior education’ (Bs between − 0.61 and − 0.81). Parental education was not associated with CV scores. There was a significant effect of track for CV (SD = 0.25, 95% CI [0.08, 0.76] p < 0.001), indicating that the aforementioned effects differed across tracks, given the fixed structure considered. Descriptive statistics (Appendix 1: Table 9) suggest that the gender-based performance gap was smaller for track B compared to the other tracks (track B: M = 0.04 (men) vs M = 0.17 (women); track C1: M = − 0.29 vs M = − 0.06, track C2: M = − 0.11 vs M = 0.25). The overall result that first-generation Western immigrants had lower scores than applicants without a migration background was found for track B (M = − 0.75 vs M = 0.22) and track C2 (M = − 0.42 vs M = 0.09), but not for track C1 (M = − 0.03 vs M = − 0.14). Compared to those without a migration background, applicants with a second-generation non-Western background had lower CV scores in track B (M = − 0.28 vs M = 0.22), similar CV scores in track C1 (M = − 0.17 vs M = − 0.14) and higher CV-scores in track C2 (M = 0.45 vs M = 0.09). For track B, larger differences were observed between different forms of prior education, but this is probably related to the fact that for program C, the tracks were distinguished based on prior education, resulting in a large concentration of standard pre-university education in track C1 and a large concentration of other forms of prior education in track C2.

Selection tools and student diversity in health professions education: a multi-site study

PMID: 36653557

PMCID: PMC9848043

DOI: 10.1007/s10459-022-10204-9

Free PMC article

© 2023. The Author(s).

네덜란드 보건의료전문직 교육 선발은 기회의 불평등을 유발하고 학생 다양성을 감소시키지만, 추첨은 해답이 아니다: 후향적 멀티코호트 연구 (Med Teach, 2022)
Selection for health professions education leads to increased inequality of opportunity and decreased student diversity in The Netherlands, but lottery is no solution: A retrospective multi-cohort study 
Lianne Muldera,b , Anouk Woutersa,b , Jos W. R. Twiskc , Andries S. Kosterd , Eddymurphy U. Akwiwuc , Jan H. Ravesloote, Gerda Croisetf and Rashmi A. Kusurkara,b 

소개
Introduction

보건 전문직 교육(HPE) 학생과 의료 전문가 사이의 다양성은 보건 교육 및 진료의 우수성을 증진하는 데 있어 근본적으로 중요합니다(Marrast 외. 2014; Saha 2014). 다양성은 HPE 학생들이 다양한 사회에서 의료 서비스 제공자로서의 역할을 수행할 수 있도록 준비시킵니다(Steven 외. 2016; Clayborne 외. 2021). 이는 모든 학생의 교육 경험을 개선하고(Grafton-Clarke 2016; Alexander 외 2017; Clayborne 외 2021), 인지 및 정서 발달에 기여하며(Clayborne 외 2021), 다양성 관련 문제에 대한 학생의 태도에 긍정적인 영향을 미칩니다(Steven 외 2016). 의료계의 다양한 인력은 환자 만족도 향상(클레이본 외 2021), 의료진과 환자 간의 의사소통 및 이해 증진(Grafton-Clarke 2016; Parker 외 2017; 클레이본 외 2021), 문화적으로 민감한 치료 개선(Parker 외 2017; 클레이본 외 2021)과 관련이 있습니다. 또한 소수 집단에 주로 영향을 미치는 질병에 대한 연구 의제 강화(Cohen 외 2002), 소외된 지역사회에 대한 의료 접근성 개선(Marrast 외 2014; Clayborne 외 2021), 건강 형평성 증진(Marrast 외 2014; Parker 외 2017)과도 연관되어 있습니다. 따라서 HPE 학생들 사이의 다양성은 사회에 매우 중요합니다. 그러나 보건 전문가가 되기 위해 훈련받은 코호트는 종종 그들이 봉사하는 인구를 대표하지 못합니다(Bowes 외. 2013; Alexander and Cleland 2018; Van den Broek 외. 2018). 많은 국가에서 이들은 주류 민족에 속하는 경우가 많으며, 의료 분야에서 일할 가능성이 높은 고학력, 고소득 부모를 둔 경우가 많습니다(Puddey 외. 2011; Ferguson 외. 2012). 일반 대학생 인구와 비교할 때, 의대생 인구는 사회경제적 지위(SES)가 높은 배경을 가진 사람들도 불균형적으로 많습니다(Van den Broek 외. 2018). 
Diversity amongst health professions education (HPE) students and healthcare professionals is of fundamental importance for promoting excellence in health education and care (Marrast et al. 2014; Saha 2014). Diversity prepares HPE students for their role as care providers in a diverse society (Steven et al. 2016; Clayborne et al. 2021). It results in an improved educational experience for all students (Grafton-Clarke 2016; Alexander et al. 2017; Clayborne et al. 2021), contributes to their cognitive and affective development (Clayborne et al. 2021), and has positive effects on students’ attitudes regarding diversity-related issues (Steven et al. 2016). A diverse workforce in the health professions is linked to improved patient satisfaction (Clayborne et al. 2021), better communication and understanding between care provider and patient (Grafton-Clarke 2016; Parker et al. 2017; Clayborne et al. 2021) and improved culturally-sensitive care (Parker et al. 2017; Clayborne et al. 2021). It is also associated with a strengthened research agenda into diseases which primarily affect minority groups (Cohen et al. 2002), improved access to healthcare for underserved communities (Marrast et al. 2014; Clayborne et al. 2021), and the promotion of health equity (Marrast et al. 2014; Parker et al. 2017). Diversity amongst HPE students is therefore of great importance for society. However, the cohorts trained to become health professionals are often not representative of the populations they serve (Bowes et al. 2013; Alexander and Cleland 2018; Van den Broek et al. 2018). In many countries, they often belong to the ethnic majority, and often have highly educated and high-income parents who are more likely to work in the medical field (Puddey et al. 2011; Ferguson et al. 2012). When compared to the general university student population, the medical student population is also disproportionally from higher socio-economic status (SES) backgrounds (Van den Broek et al. 2018).

자체 선발 및 입학 절차의 편견으로 인해 모든 자격을 갖춘 학생에게 HPE 프로그램에 등록할 기회가 균등하게 제공되지 않는다는 증거가 있습니다(Sianou-Kyrgiou 및 Tsiplakides 2011, Kelly 외. 2014, Simmenroth-Nayda 및 Görlich 2015, Wouters 외. 2018). 자기 선택은 학생이 실제 및 인지된 장벽과 촉진 요인에 비추어 자신의 성공 가능성을 어떻게 추정하는지에 따라 지원 여부를 결정하는 것을 말합니다. SES 배경이 낮은 학생들은 지원 시 수많은 장벽에 직면할 수 있습니다. 

• 선발될 가능성이 낮을 것이라는 인식(Greenhalgh 외. 2004; Southgate 외. 2015; Ball 외. 2020; Wouters 2020),
• 배경 때문에 적응하지 못할 것이라는 두려움(Greenhalgh 외. 2004; Mathers and Parry 2009; Martin 외. 2018),
• 재정적 장벽(Cleland 외. 2015),
• 고등학교 교사들의 적극적인 만류(McHarg 외. 2007) 

Evidence suggests that opportunities to enrol in HPE programs are not equally available to all eligible students, due to self-selection and/or bias in the admissions procedures (Sianou-Kyrgiou and Tsiplakides 2011; Kelly et al. 2014; Simmenroth-Nayda and Görlich 2015; Wouters et al. 2018). Self-selection refers to students making a decision to apply or not based on how they estimate their chance of success in light of actual and perceived barriers and facilitators. Those from a lower SES background may face numerous barriers to apply (Steven et al. 2016; Niven et al. 2019), such as

• the perception that they will have lower chances of being selected (Greenhalgh et al. 2004; Southgate et al. 2015; Ball et al. 2020; Wouters 2020),
• fear of not fitting in because of their background (Greenhalgh et al. 2004; Mathers and Parry 2009; Martin et al. 2018),
• financial barriers (Cleland et al. 2015), or
• active discouragement by high school teachers (McHarg et al. 2007).

의료 분야 네트워크가 부족한 학생들은 HPE 프로그램이 올바른 학업 선택이라는 확신을 갖거나 관련 업무 경험을 쌓거나 의대 지원 절차를 준비하는 데 어려움을 겪을 수 있습니다(Southgate 외 2015; Hadinger 2017; Bassett 외 2019; Ball 외 2020). 또한 불평등으로 인해 의욕이 저하될 수 있습니다(Wouters 외. 2017). 소수 민족 학생들은 불충분한 제도적 지원과 자원, 제한된 개인적 자원, 적절한 정보, 멘토링, 조언에 대한 접근성 부족, 다양한 사회적 장벽에 직면할 수 있습니다(Freeman 외. 2016). 또한 선발 절차가 특정 지원자 그룹에 의도치 않게 편향될 수도 있습니다(Kelly 외. 2014; Steven 외. 2016; Niven 외. 2019). 예를 들어, 남성은 특정 선발 도구에서 실적이 저조한 경향이 있습니다(Schripsema 외. 2017). 따라서 전 세계 대학들은 이러한 불평등을 해소하고 사회적 책무성을 증진하기 위해 다양한 조치를 취하고 있습니다. 예를 들어, 참여 확대 프로그램 및 접근성 확대 정책(Powis 외 2007; Cleland 외 2015; Alexander 외 2017; Martin 외 2018), 쿼터제(Becak and Cirino 2018; Curtis 2018), 소외계층 학생에게 불이익을 주지 않는 것으로 알려진 선발 도구 사용(Jerant 외 2015; Razack 외 2015; Taylor 외 2015) 등이 그 예입니다.  
Students who lack a network in the medical field may face barriers in developing the confidence that the HPE programme is the right study choice, in getting relevant work experience, or preparing for the medical school application process (Southgate et al. 2015; Hadinger 2017; Bassett et al. 2019; Ball et al. 2020). They can also become demotivated by the inequality they perceive (Wouters et al. 2017). Ethnic minority students may face inadequate institutional support and resources, limited personal resources, lack of access to adequate information, mentoring, and advising, and different societal barriers (Freeman et al. 2016). Selection procedures may also be biased unintentionally against certain groups of applicants (Kelly et al. 2014; Steven et al. 2016; Niven et al. 2019). For example, men tend to underperform on certain selection instruments (Schripsema et al. 2017). Universities across the world therefore take different measures to attempt to address these inequities and promote social accountability, for example by using Widening Participation programs and/or Widening Access policies (Powis et al. 2007; Cleland et al. 2015; Alexander et al. 2017; Martin et al. 2018), quota systems (Becak and Cirino 2018; Curtis 2018), and using selection tools which are known to not disadvantage underrepresented students (Jerant et al. 2015; Razack et al. 2015; Taylor et al. 2015).

추첨 시스템이 입학 절차에서 발생할 수 있는 기회의 불평등을 줄이는 수단이 될 수 있는지에 대한 학계의 논쟁이 있습니다(Hubbeling 2018, Mazer 2021, ten Cate 2021). 이론적으로 무작위 추첨에서는 지원자의 배경 특성이 입학 결과에 영향을 미치지 않습니다. 그러나 대부분의 국가에서 두 가지 입학 절차를 비교할 가능성이 없기 때문에 어떤 입학 절차가 사회에 가장 공평한 결과(즉, 일반 인구의 다양성을 반영하는 HPE 전문 인력)를 가져올지에 대한 확실한 대규모 정량적 증거는 제한적입니다.
There is academic debate about whether a lottery system could also be an instrument to reduce the possible inequality of opportunity in admission procedures (Hubbeling 2018; Mazer 2021; ten Cate 2021). Theoretically, in a random lottery, the background characteristics of applicants would have no influence on the outcome of admissions. However, solid large-scale quantitative evidence about which admission procedure would produce the most equitable outcome for society (i.e. an HPE professional workforce which reflects the diversity in the general population) is limited, because in most countries, there is no possibility to compare the two procedures.

네덜란드의 사례는 이 문제를 조사하고 두 가지 다른 입시 제도 하에서 HPE 학생의 다양성 수준과 입시 기회 불평등 가능성을 비교할 수 있는 특별한 기회를 제공합니다. 네덜란드는 이전 학업 성적에 가중치를 두는 추첨 입학 제도를 운영해왔지만(Cohen-Schotanus 외, 2006), 공정성이 부족하고 입학 대상자에 대한 통제력이 부족하다는 인식(Wouters 외, 2018)으로 인해 정부는 2000년부터 점진적으로 선발 방식을 전환하기로 결정했습니다. 2017년부터는 100%의 학생이 선발을 통해 입학하고 있습니다(그림 1). 선발 절차는 대학이 자체적으로 설계하며, 이전 학업 성취도, 적성, 과외 활동 등 최소 두 가지 기준을 활용합니다(Stegers-Jager 2018). 
The case of The Netherlands offers a unique opportunity to investigate this matter and compare the level of HPE student diversity and possible unequal opportunities in admissions under two different admissions systems. The country used to have a lottery admission system weighted for previous academic performance (Cohen-Schotanus et al. 2006), but due to a perceived lack of fairness and lack of control of who gains admission (Wouters et al. 2018), the government decided on a gradual transition in the direction of selection from 2000 onwards. Since 2017, 100% of HPE students are admitted through selection (Figure 1). Selection procedures are designed by universities themselves, and make use of at least two criteria, such as previous academic achievement, aptitude, or extracurricular activities (Stegers-Jager 2018).

네덜란드에서 HPE 학생이 되기 위한 일반적인 교육 경로는 여러 단계로 구성됩니다. 초등학교에서 고등학교로 진학하는 학생들은 11~12세 무렵에 직업(4년), 고등 일반(5년) 또는 예비 대학(6년) 트랙에 배치됩니다. 예비대학생이 과학 중심 트랙(자연과 건강 및/또는 자연과 기술)에서 4가지 과학 중심 과목(생물, 물리, 화학, 수학)을 이수하면 마지막 해에 HPE 프로그램에 지원할 자격이 주어집니다. 다른 교육 배경을 가진 지원자는 동등한 교육 수준을 충족한다는 것을 증명해야 합니다(Wouters 외, 2018). 일단 지원한 학생은 HPE 프로그램에서 한정된 자리를 놓고 경쟁해야 합니다. HPE 프로그램에 입학하는 각 단계에서 다양성이 상실될 수 있으며, 이는 HPE의 과소 대표성을 초래할 수 있습니다. 그러나 이것이 어느 정도인지, 그리고 이 경로의 각 단계에서 다양성의 어떤 측면이 영향을 받는지는 알려지지 않았습니다. 따라서 이 연구에서는 다음과 같은 질문에 답하고자 했습니다: 

• 1) 어떤 인구통계학적 배경 변수가 지원자의 HPE 입사 가능성과 관련이 있는가?
• 2) 입학 절차가 추첨과 선발의 혼합 방식에서 100% 선발로 점진적으로 전환되는 동안 HPE 학생 집단의 대표성이 a) 같은 또래, b) 적격 학생 풀, c) 지원자 풀과 비교하여 변화했는가?

In The Netherlands, the typical educational route to become an HPE student consists of several steps. In the transition from elementary to high school, pupils are placed in either the vocational (4 years), higher general (5 years), or pre-university (6 years) track around ages 11–12. If pre-university pupils follow the science-focused track (Nature and Health and/or Nature and Technology) with four science-focused subjects (Biology, Physics, Chemistry, and Mathematics) they are eligible to apply to HPE programs in their final year. Applicants with other educational backgrounds must prove that they meet equivalent educational levels (Wouters et al. 2018). Once students apply, they need to compete for the limited places available in the HPE programme. In each of these steps on the route to an HPE programme, diversity may be lost, which could result in underrepresentation in HPE. However, it is unknown to what extent this is the case, and which aspects of diversity are affected at different stages on this route. Therefore, this study aimed to answer the following questions:

• 1) Which demographic background variables are associated with an applicant’s odds of admission into HPE?
• 2) Has the representativeness of HPE student populations changed during the gradual transition in admissions procedures from hybrid lottery and selection to 100% selection, compared to: a) their age peers; b) the eligible student pool; and c) the applicant pool?

우리의 목표는 가중치 추첨에서 선발로 전환하는 과정에서 발생한 다양한 입학 상황, 즉 선발 기반 입학의 비율이 다른 상황에서 지원자의 입학 가능성에 영향을 미치는 배경 변수를 조사하는 것이었습니다.
Our goal was to investigate which background variables influenced applicants’ odds of admission under different admissions situations, with different proportions of selection-based admission, which occurred during the transition from weighted lottery to selection.

연구 방법
Methods

연구 설계
Study design

2008년 10월 1일, 2012년, 2015년에 네덜란드에 등록된 모든 16세 청소년(이하 '연령 코호트'라 함)을 대상으로 네덜란드 통계청의 익명화된 비공개 마이크로데이터를 사용하여 후향적 다중 코호트 연구를 수행했습니다. 이 연령 코호트 내에서 과학 중심의 예비 대학 교육 프로필을 가진 학생들을 '적격 학생 풀'로 정의했습니다. 학생들이 연구 프로그램 지원서를 제출하는 네덜란드 기관인 Studielink의 익명화된 데이터를 사용하여 의학, 약학, 임상 기술 또는 치의학에 지원한 사람들을 '지원자 풀'로 정의했습니다. 이 연구에 포함된 4개의 HPE 프로그램에 지원할 수 있는 자격은 고등학교 내신성적, 의대 입학시험 점수, 또는 이와 유사한 형태의 사전 학력에 의해 결정되지 않습니다. 그러나 지원자가 고등학교 최종 시험에서 불합격하여 그 해에 고등 교육에 등록하지 못할 수도 있습니다. 따라서 네덜란드 통계청의 마이크로데이터에 따르면 고등학교 시험에 통과하여 이론적으로 입학 자격이 있는 지원자를 대상으로 분석을 수행했습니다. 지원한 해에 고등학교 시험에 불합격한 지원자는 로지스틱 회귀 분석에서 제외했습니다. 마지막으로, 배치 자격이 있는 지원자 중 3년 후(2011년, 2015년 또는 2018년) 19세가 되었을 때 네덜란드 대학에 의학, 약학, 임상 기술 또는 치의학 학생으로 등록되어 있는 지원자를 'HPE 학생'이라고 불렀습니다. 
We did a retrospective multi-cohort study using anonymised non-public microdata from Statistics Netherlands of all 16-year-olds who were registered in The Netherlands on 1 October 2008, 2012, and 2015, hereafter referred to as ‘age cohorts’. Within these age cohorts, we defined those with a science-focused pre-university education profile as the ‘eligible student pool’. Using anonymised data from Studielink – the Dutch organization where students submit their application for a study programme – we defined those who had applied to Medicine, Pharmacy, Clinical Technology or Dentistry as the ‘applicant pool’. Eligibility to apply to the 4 HPE programs in this study is not determined by high school GPA, score in a medical admissions test, or similar form of prior attainment. However, an applicant may fail their final high school exams and thus be unable to enrol in higher education that year. We have therefore performed our analyses on the applicants who, according to Statistics Netherlands microdata, had passed their high school exams and thus, in theory, were eligible for placement. Applicants who failed their high school exam in the year in which they applied, were excluded from our logistic regression analyses. Finally, out of these applicants who were eligible for placement, those who were registered as Medicine, Pharmacy, Clinical Technology or Dentistry students at a Dutch university three years later (in 2011, 2015, or 2018), at the age of 19 were termed ‘HPE students’.

샘플
Sample

2008년, 2012년, 2015년 10월 1일에 16세였던 네덜란드에 거주하는 것으로 등록된 모든 어린이가 조사 대상에 포함되었습니다. 10월 1일은 각 교육 단계의 학생 등록이 이루어지는 기준일이기 때문에 10월 1일을 선택했습니다. 16세가 되면 대부분의 네덜란드 청소년은 아직 고등학교에 재학 중입니다. 2008년부터 2018년까지 학사 1학년 학생의 평균 연령은 18.6세였습니다(Leijen 외. 2019). 이는 HPE 학생을 포함한 네덜란드 대학생의 대다수가 17세, 18세 또는 19세에 대학에 입학한다는 것을 의미합니다. 따라서 연구 설계에서는 코호트의 대상 학생들이 아직 고등학교에 재학 중이고 3년 후인 19세에 고등학교를 졸업하고 고등교육에 입학했을 가능성이 가장 높다고 판단했습니다. 네덜란드 통계청 마이크로데이터에서 필수 변수를 사용할 수 있는지 여부와 학생들이 고등교육에 입학할 당시의 입학 상황(그림 1)을 고려하여 세 코호트의 연도를 선택했습니다. 
All children, registered as living in The Netherlands, who were 16 years old on 1 October 2008, 2012, and 2015 were included. October 1st was chosen because this is the reference date at which student enrolment at each level of education is registered. At age 16, the majority of Dutch youth is still in high school. The average age of first-year bachelor students between 2008 and 2018 was 18.6 years old (Leijen et al. 2019). This means that the majority of university students in The Netherlands, including HPE students, enter university at age 17, 18, or 19. Therefore, in our research design, we had the highest likelihood that eligible students in the cohorts were still in high school, and that three years later, at age 19, they would have left high school and entered tertiary education. We selected the years of the three cohorts based on the availability of essential variables in Statistics Netherlands microdata, and the admissions context (Figure 1) at the time students entered higher education.

변수
Variables

연구의 변수는 표 1에 설명되어 있습니다. SES를 대신하여 부모의 소득 백분위수, 자산 백분위수, 사회복지 수급자 상태를 사용했습니다. 소득 백분위수와 자산 백분위수는 전체 인구에 비해 상대적인 위치를 나타내기 때문에 유로로 환산한 값 대신 소득과 자산 백분위수를 포함했습니다. 네덜란드 통계청에서 정의한 네덜란드인 이외의 인종 그룹(이주 배경이 없는)은 이후 터키, 모로코, 수리남, 네덜란드 카리브해 이주 배경(TMSD) 또는 기타 이주 배경(OMB)을 가진 인종 그룹으로 지칭합니다. 
Variables in the study are described in Table 1. As proxy for SES, we used parental income percentiles, wealth percentiles, and social welfare recipient status. Income and wealth percentiles, rather than their values in euros, were included because percentiles indicate the relative position one occupies compared to the rest of the population. Statistics Netherlands-defined ethnic groups other than Dutch (without a migration background) are hereafter referred to as having either a Turkish, Moroccan, Surinamese, or Dutch Caribbean migration background (TMSD); or other migration background (OMB).

통계 분석
Statistical analysis

먼저 단변량 로지스틱 회귀 분석을 수행하여 표 1에 설명된 독립변수 중 어떤 것이 HPE 학생이 되는 것과 관련이 있는지 조사했습니다. 통계적 유의 수준은 .05로 설정했습니다. 독립 변수 간에 다중공선성의 증거가 있는지 데이터를 조사했습니다. 둘째, 다변량 로지스틱 회귀를 사용하고 단계적 전진 선택을 적용하여 각 코호트 연도(2008년, 2012년, 2015년)에 대한 모델을 구축했습니다. 그 결과 총 3개의 모델이 만들어졌습니다. 또한 상호작용 조건(가능한 모든 조합)을 추가하면 이러한 모델이 개선되는지도 조사했습니다. 
We first performed univariable logistic regression analyses to examine which of the independent variables described in Table 1 were associated with becoming an HPE student. Statistical level of significance was set at .05. We examined data for evidence of multicollinearity amongst the independent variables. Second, we used multivariable logistic regressions and applied stepwise forward selection to build a model for each cohort year (2008, 2012, and 2015). This resulted in three models in total. We also examined whether adding interaction terms (any possible combination) improved these models.

하이브리드 가중치 추첨 및 선발 절차에서 100% 선발 절차로 전환하는 동안 HPE 학생 집단의 대표성을 확인하기 위해 빈도표를 사용하여 모든 변수에 대한 각 코호트 및 각 기준 그룹의 학생 분포를 비교했습니다. 코호트 간 비율의 변화를 조사하기 위해 두 가지 유형의 로지스틱 회귀 분석을 사용했으며, 2008년 연령 코호트를 참조 범주로 사용했습니다. 성별과 같은 이항 변수의 경우 이항 로지스틱 회귀 분석을, 이주 배경과 같이 두 가지 이상의 범주가 있는 변수의 경우 다항 로지스틱 회귀 분석을 사용했습니다. 모든 분석은 Windows용 IBM SPSS 소프트웨어 버전 25.0(IBM Corp, 뉴욕주 애몬크)을 사용하여 수행되었습니다. 
To determine the representativeness of HPE student populations throughout the transition from a hybrid weighted lottery and selection procedure to a 100% selection procedure, we used frequency tables to compare the distribution of students in each cohort and each reference group on all variables. To investigate the changes in proportions between cohorts, we used two different types of logistic regression analyses, where age cohort 2008 was used as a reference category. For binary variables such as gender, we used binary logistic regression analysis; for variables with more than two categories, such as migration background, we used multinomial logistic regression analysis. All analyses were performed using IBM SPSS software for Windows version 25.0 (IBM Corp, Armonk, NY).

윤리적 고려 사항
Ethical considerations

암스테르담 UMC의 윤리위원회는 이 연구(파일 번호 2019.719)가 세계보건기구(WHO)의 인간 대상 의학 연구법에 따라 승인 면제 대상임을 선언했습니다. 통계 결과는 네덜란드 통계청의 비공개 익명 마이크로데이터를 사용한 LM과 JWRT(암스테르담 UMC)의 계산을 기반으로 하며, 네덜란드 통계청의 모든 개인정보 보호 규정과 비공개 마이크로데이터 사용에 관한 네덜란드 법률을 준수합니다. 지원자 풀의 Studielink에서 선별된 데이터는 네덜란드 통계청에 의해 익명화되었습니다. 연구자들은 식별 가능한 정보에 접근할 수 없었습니다. 
The Ethics Committee at Amsterdam UMC, location VUmc declared the study (File no. 2019.719) exempt from approval under the Medical Research Involving Human Subjects Act (WMO). The statistical results are based on calculations by LM and JWRT (Amsterdam UMC) using non-public anonymised microdata from Statistics Netherlands and comply to all Statistics Netherlands privacy regulations and the Dutch law regarding use of their non-public microdata. Selected data from Studielink of the applicant pool was anonymised by Statistics Netherlands. The researchers had no access to identifiable information.

결과
Results

HPE 학생이 되는 것과 관련된 인구통계학적 변수
Demographic variables associated with becoming an HPE student

단변량 로지스틱 회귀 분석 결과(보충 부록의 표 1 참조), 모든 변수가 적어도 하나의 코호트 내에서 HPE 학생이 되는 것과 연관성이 있는 것으로 나타났습니다. 다중공선성의 증거가 있는지 데이터를 조사했습니다. '이주 배경'과 '해외 출생 부모 수' 간의 피어슨 계수 상관관계가 각 연령 코호트에서 0.82를 초과하여 강한 것으로 간주될 수 있기 때문에 이전에 데이터 세트의 일부였던 한 변수(해외 출생 부모 수)를 제외했습니다(Schober et al. 2018). 따라서 '해외에서 태어난 부모 수'는 추가 분석에서 제외했으며 이 글에서는 포함하지 않았습니다. '이주 배경' 변수를 유지함으로써 100% 선발로의 전환이 이주 배경이 있는 그룹과 없는 그룹에 다른 방식으로 영향을 미치는지 조사할 수 있었습니다. 나머지 변수에서는 다중공선성에 대한 증거를 찾을 수 없었습니다. 따라서 모든 독립변수는 각 지원자 집단에 대해 독립적으로 다변량 회귀 모형에 포함되었습니다(전체 모형은 부록의 표 2, 최종 모형은 본 원고의 표 2 참조). 유의미한 상호작용은 발견되지 않았습니다.
Results from the univariable logistic regression (see Table 1 in Supplementary Appendix) showed that all variables were associated with becoming an HPE student within at least one cohort. We examined data for evidence of multicollinearity. This led us to exclude one variable (number of parents born abroad) which was previously a part of our dataset, because the Pearson coefficient correlations between ‘migration background’ and ‘number of parents born abroad’ were >0.82 in each age cohort, which can be considered strong (Schober et al. 2018). We therefore excluded ‘number of parents born abroad’ from further analyses and did not include it in this article. Keeping the variable ‘migration background’ enabled us to investigate whether the transition to 100% selection impacted groups with or without a migration background in different ways. No evidence was found for multicollinearity in the remaining variables. All independent variables were, therefore, included in multivariable regression models for each applicant cohort independently (see Table 2 in Supplementary Appendix for the full models and Table 2 in this manuscript for the final models). No significant interactions were found.

지원자 풀 모델
Applicant pool models

표 2는 2008년 코호트와 2015년 코호트 사이의 최종 모델 변화를 보여줍니다. 가중치 추첨을 통해 50~100%의 학생이 입학한 2008년 코호트에서는 여성 성별(OR 1.15 [1.01~1.30])과 최고 부유층에 속하는 것(OR 1.29 [1.10~1.51])만이 HPE 학생이 되는 것과 유의미한 양의 상관관계를 보였습니다. 2012년 코호트에서는 가계 자산이 더 이상 이 모델에 유의미한 영향을 미치지 않았습니다. 대신, 부모 소득에 대한 효과가 발견되었으며, 상위 10분위에서 긍정적인 연관성이 나타났습니다(OR 1.37 [1.18-1.60]). 여성 성별은 여전히 긍정적인 연관성을 보였으며(OR 1.49 [1.28-1.73]), 이주 배경은 TMSD 이주 배경을 가진 경우 음의 연관성을 보이며 모델을 개선했습니다(OR 0.68 [0.52-0.89]). 2015년 코호트(100% 선택) 모델에서는 부모 중 한 명 이상의 HP가 있는 경우(OR 1.27 [1.10-1.47]), 여성인 경우(OR 1.35 [1.19-1.53]), 자산 상위 10분위에 속하는 경우(OR 1.28 [1.10-1.49])가 긍정적인 연관성이 있는 것으로 나타났습니다. TMSD 이주 배경(0.72 [0.57-0.91])은 음의 연관성이 발견되었습니다. 다른 변수들은 표 2의 모델에 기여하지 않았기 때문에(p > .05) 포함되지 않았습니다(전체 모델, 즉 단계적 전진 로지스틱 회귀를 수행하기 전의 결과는 부록의 표 2 참조).
Table 2 shows that the final models change between cohort 2008 and 2015. In cohort 2008, where 50–100% of students were admitted through weighted lottery (depending on each HPE faculty), only female gender (OR 1.15 [1.01–1.30]) and belonging to the highest wealth decile (OR 1.29 [1.10–1.51]) were significantly positively associated with becoming an HPE student. In cohort 2012, household wealth no longer contributed significantly to the model. Instead, an effect for parental income was found, with a positive association for the top-10 decile (OR 1.37 [1.18–1.60]). Female gender remained positively associated (OR 1.49 [1.28–1.73]), and migration background improved the model, with a negative association for having a TMSD migration background (OR 0.68 [0.52–0.89]). The model of cohort 2015 (100% selection) showed that having at least one HP as a parent (OR 1.27 [1.10–1.47]), female gender (OR 1.35 [1.19–1.53] and belonging to the top-10 wealth decile (OR 1.28 [1.10–1.49]) were positively associated. Negative associations were found for a TMSD migration background (0.72 [0.57–0.91]). Other variables did not contribute to the models in Table 2 (p > .05) and were therefore not included (see Table 2 in Supplementary Appendix for the result of the full model, that is before performing a stepwise forward logistic regression).

이주 배경과 관련된 결과가 SES의 차이로 설명될 수 있는지 조사하기 위해 각 이주 배경 범주(네덜란드, TMSD, OMB)에 대한 소득 및 부의 빈도 분포를 분석했습니다. 소득과 재산이 세 가지 범주 간에 매우 불균등하게 분포되어 있었기 때문에, 지원자 풀에 대한 추가 분석을 수행하여 소득과 재산 그룹을 재코딩하여 균형을 극대화했습니다. 

• 소득이 가장 낮은 그룹(백분위수 0-60)에서는 2012년과 2015년 코호트에서 TMSD 배경에 대한 음의 연관성이 유의미하게 유지되었습니다(보충 부록의 표 3 참조). 
• 소득 백분위수 0-70 그룹에서는 2015년 코호트에서 TMSD 배경에 대한 음의 연관성이 유의미했습니다. 2012년 코호트에서는 소득 백분위수 71-100 그룹에서도 마찬가지였습니다. 

이는 동일한 소득/부유층에서 이주 배경이 없는 네덜란드 기준 범주와 비교했을 때에도 여전히 음의 연관성을 보였기 때문에 TMSD 이주 배경에 대한 음의 연관성은 SES로 설명할 수 없음을 보여주었습니다.
To investigate whether results related to migration background could be explained by differences in SES, we analysed the frequency distribution of income and wealth deciles for each migration background category (Dutch, TMSD and OMB). As income and wealth were distributed highly unequally between the three different categories, we performed additional analyses on the applicant pool, using recoded income and wealth groups to maximize balance.

• Within the lowest wealth group (percentiles 0–60), the negative association for a TMSD background remained significant in cohort 2012 and 2015 (see Table 3 in Supplementary Appendix).
• In income percentiles group 0–70, the negative association for a TMSD background was significant in cohort 2015. In cohort 2012, this was true for income percentile group 71–100.

This showed that the negative associations for TMSD migration background cannot be explained by SES: they remained negative even when compared to the Dutch reference category without a migration background from the same income/wealth groups.

HPE 학생의 대표성
Representativeness of HPE students

표 3은 모든 (하위) 코호트에서 변수별 학생 분포를 보여줍니다. 여성은 모든 연령 코호트 및 적격 학생 풀의 약 절반을 차지했지만, 지원자 풀과 HPE 학생 인구에서는 그 비율이 훨씬 높았습니다(표 3). 2008년과 2015년 코호트 사이에 HPE 학생 인구에서 남성의 비율은 34.1%에서 28.6%로 16.1% 감소했습니다.
Table 3 shows the distribution of students per variable in all (sub)cohorts. Women represented approximately half of all age cohorts and eligible student pools, but their proportion is significantly higher in the applicant pool and the HPE student population (Table 3). A 16.1% decrease was seen in the proportion of men in the HPE student population between cohort 2008 and 2015 (from 34.1 to 28.6%).

2008년과 2015년 코호트 사이에 HP 부모가 1~2명인 HPE 학생의 비율은 크게 감소했지만, 연령 코호트, 적격자 풀, 지원자 풀과 비교하면 이러한 부모를 둔 학생은 여전히 HPE 학생 중에서 과대 대표되고 있습니다.
The proportion of HPE students with 1 or 2 HP parents decreased significantly between cohort 2008 and 2015, but compared to the age cohort, eligible pool, and applicant pool, students with such parents are still overrepresented amongst HPE student students.

2008년 코호트와 2015년 코호트 사이에 HPE 학생의 소득 그룹별 분포는 큰 변화가 없었지만, 자산 그룹별 분포는 하위 70% 백분위수 학생의 비율은 증가하고 상위 10% 백분위수 학생의 비율은 감소한 것으로 나타났습니다. 그러나 소득 및 자산이 가장 높은 그룹의 학생들은 지원 자격 및 지원자 풀과 비교했을 때, 특히 연령 코호트와 비교했을 때 HPE 학생들 사이에서 여전히 과대 대표되었습니다. 
The distribution of HPE students over the different income groups has not undergone major changes between cohort 2008 and 2015, but their distribution over the different wealth groups shows an increase in the proportion of students from the lowest 70 percentiles, and a decrease of the proportion of students from the top 10 decile. However, students from the highest income and wealth groups remained overrepresented amongst HPE students compared to the eligible and applicant pools, but especially compared to their age cohorts.

부모 중 한 명 이상이 사회복지 혜택을 받는 학생은 적격자 풀에서는 과소 대표되지만, 각 코호트에서 지원자 풀에서 차지하는 비율이 적격자 풀에서 차지하는 비율보다 상대적으로 높은 비율로 지원했습니다. 그러나 입학률은 더 낮기 때문에 HPE 학생의 연령 코호트에 비해 과소 대표됩니다.
Those with at least one parent who receives social welfare are underrepresented in the eligible pool, but they do apply at relatively high rates: in each cohort, their proportion in the applicant pool is higher than their proportion in the eligible pool. However, they are admitted at lower rates, resulting in underrepresentation amongst HPE students compared to their age cohorts.

연령 코호트에 비해, TMSD 학생은 모든 코호트의 적격 풀, 지원자 풀, HPE 학생 집단에서 과소 대표되는 반면, OMB 학생은 지원자 및 HPE 학생 집단에서 과대 대표되는 것으로 나타났습니다.
Relative to the age cohorts, TMSD students are underrepresented in the eligible pool, applicant pool, and HPE student populations for all cohorts, while OMB students are overrepresented amongst applicants and HPE students.

의과대학의 운동선수: 운동 유경험자의 수행능력에 대한 체계적 문헌고찰(Med Educ, 2023)
Athletes in medicine: A systematic review of performance of athletes in medicine
Kathryn G. Anderson1 | Jacie Lemos2 | Samantha Pickell3 | Christopher Stave1 | Michael Sgroi1

1 소개
1 INTRODUCTION

의료계에 대한 관심은 최근 몇 년 동안 꾸준히 증가하고 있습니다. 2002년부터 2020년까지의 입학 주기 동안 의대 지원자 수는 50% 이상 증가했습니다.1 의료계에 대한 관심이 증가함에 따라 입학 위원회와 관계자들은 점점 더 경쟁이 치열해지는 지원자 풀을 검토하여 의대, 레지던트 프로그램 및 의학교육 이후의 경력에 가장 적합한 지원자를 식별해야 하는 과제를 안고 있습니다. 의과대학 및 레지던트 지원서에는 학부 평점, 의과대학 입학시험(MCAT) 또는 미국 의사면허시험(USMLE)과 같은 표준화된 객관적 지표뿐만 아니라 경험, 과외 활동 및 개인적 특성에 대한 보다 총체적 검토가 포함됩니다. 입학 관련 문헌의 방대한 연구에 따르면 정량적 학업 지표와 의과대학에서의 미래 성공 사이에 상관관계가 있는 것으로 나타났습니다.2-5 입학 위원회는 전통적으로 이러한 정량적 학업 지표에 더 중점을 두었지만, 총체적 검토는 입학생의 다양성 증가와 같은 이점을 부여하는 것으로 나타났습니다.6, 7 따라서 최근 몇 년 동안 미국의과대학협회는 의과대학이 "지원자의 경험, 특성 및 학업 지표뿐만 아니라 지원자가 학습, 실습 및 교육에 기여할 수 있는 가치를 고려하는 선발 과정"으로 정의하는 총체적 검토를 사용하도록 권장하고 있습니다. AAMC에 따르면, 현재 미국의 거의 모든 의과대학에서 일부 요소에 대해 총체적 평가를 활용하고 있다고 합니다.8 총체적 검토의 채택이 증가한 것 외에도 코로나19 팬데믹으로 인해 대학 성적 옵션, MCAT 연기 및 취소, 연구 및 임상 기회 제한 등 여러 가지 변화가 발생했습니다. 이러한 혼란으로 인해 입학 위원회는 의학 분야의 성공을 예측할 수 있는 다른 지표에 더 많이 의존하게 되었을 가능성이 높습니다. 이처럼 지원자의 경험을 고려하는 총체적 평가로의 전환이 증가하고 있음에도 불구하고, 운동 경력을 포함한 학업 외 경험과 의대에서의 성과 사이의 질적 연관성은 아직 완전히 밝혀지지 않았습니다.
Interest in the medical profession has been steadily growing in recent years. From the 2002 to 2020 admissions cycles, the number of applicants to medical school increased by over 50%.1 As interest in the medical profession grows, admissions committees and stakeholders are tasked with reviewing an increasingly competitive pool of candidates to identify those best suited for medical school, residency programmes and a career beyond medical education. Medical school and residency applications include standardised objective measures, such as undergraduate GPA, the Medical College Admission Test (MCAT) or the United Stated Medical Licensing Examination (USMLE), as well as a more holistic review of experiences, extracurriculars and personal attributes. A vast amount of research in the admissions literature has shown a correlation between quantitative academic measures and future success in medical school.2-5 While admissions committees traditionally have placed greater emphasis on these quantitative academic measures, a holistic review has been shown to confer benefits such as increased diversity of matriculants.6, 7 As such, in recent years the Association of American Medical College has encouraged medical schools to use a holistic review, which they define as a “selection process which takes into consideration applicants' experiences, attributes, and academic metrics as well as the value an applicant would contribute to learning, practice, and teaching.” According to the AAMC, nearly all medical schools in the United States now report using some elements of holistic review.8 In addition to an increased adoption of holistic reviews, the COVID-19 pandemic led to several changes in university grading options, MCAT postponements and cancellations, and limited research and clinical opportunities. These disruptions have likely forced admissions committees to rely even more heavily on alternative predictors of success in medicine. Despite this increasing shift to holistic review that considers applicant experiences, many qualitative associations between non-academic experiences, including prior participation in athletics, and performance in medical school have yet to be fully established.

총체적 검토 프레임워크는 의대 입학을 넘어 현재 많은 레지던트 프로그램과 의대 교수직에서 지원자 선발에 적용되고 있습니다.9 또한, 2022년 1월에 USMLE 1단계 시험이 수치 점수에서 합격-불합격 채점 방식으로 변경되었습니다. 전통적으로 이 시험은 레지던트 입학 과정에서 상당한 비중을 차지해 왔습니다. 이러한 변화가 레지던트 프로그램에 어떤 영향을 미칠지는 아직 확인되지 않았지만, 레지던트 성공에 대한 새로운 예측 변수를 확립해야 할 것입니다. 중요한 기술과 특성을 평가하기 위해 레지던트 입학 과정에서 레지던트 지원자의 경험을 더 중요하게 고려할 가능성이 높습니다. 따라서 이전에 운동에 참여한 경험과 레지던트 또는 주치의로서의 성과 사이의 관계를 이해하는 것이 도움이 될 수 있습니다. 
The holistic review framework is expanding beyond medical school admissions and is now being applied for applicant selection at many residency programmes and medical school faculty positions.9 Furthermore, the USMLE Step 1 exam changed from a numerical score to pass-fail scoring in January 2022. Traditionally, this exam has carried significant weight in the residency admissions process. While we have yet to see how this change will affect residency programmes, new predictors of success in residency will need to be established. To assess important skills and traits, residency applicant experiences will likely be considered more heavily in the admissions process. As such, understanding the relationship between prior participation in athletics and performance as a resident or attending physician may be beneficial.

문헌은 제한적이지만, 연구에 따르면 높은 수준의 운동 경기에서 경쟁하는 데 필요한 기술과 의사가 되는 길에서 성공하는 데 필요한 기술 사이에 유사점이 발견되었습니다. 이러한 연관성은 운동선수와 의사 경력 모두에서 성공을 결정하는 유사한 자질에서 비롯된 것으로 보입니다. 가장 우수한 성과를 내는 의대생, 레지던트, 주치의는 쉽게 적응하고, 팀 환경에서 잘 일하며, 비판에 잘 대응하고, 자제력이 뛰어나고, 시간 관리를 잘합니다. 우수한 운동선수로 활동하는 것도 이러한 자질을 많이 요구하므로 의과대학과 레지던트 과정의 혹독한 훈련에 대비하는 데 유리할 수 있습니다.10, 11 이전 문헌에 따르면 운동선수 출신은 의대 재학 중 소진을 덜 경험하고 여가를 위한 시간을 더 많이 가지며, 운동선수가 아닌 동료들에 비해 의학교육을 더 협력적이고 자율성을 지지하는 것으로 간주할 수 있습니다.12, 13 이러한 유사점으로 인해 일부 의과대학에서는 이미 의대 지원서 검토 시 운동 참여 여부를 고려하고 있습니다. 예를 들어, 일부 의과대학의 2차 지원서에는 대학 재학 중 운동에 참여했는지, 참여했다면 대표팀 또는 클럽 수준인지 여부를 묻는 항목이 포함되어 있습니다.
Although the literature is limited, studies have drawn parallels between the skills necessary to compete in high-level athletics and those necessary to succeed in the path to becoming a physician. These associations may come from the similar qualities that determine success in both athletics and a career in medicine. The highest performing medical students, residents and attending physicians adapt easily, work well in team settings, respond well to criticism, are self-disciplined and manage their time well. Performing as a high-level athlete also requires many of these qualities and may therefore provide advantageous preparation for the rigour of medical school and residency.10, 11 Previous literature has also found that former athletes experience less burnout, make more time for leisure during medical school and may view their medical education as more collaborative and supportive of their autonomy compared to their non-athlete peers.12, 13 Due to these parallels, some medical schools already consider participation in athletics when reviewing medical school applications. For example, the written secondary application for some medical schools includes a portion that asks students whether they have participated in athletics during college and, if so, to specify whether it was at the varsity or club level.

의학 이외의 분야에서도 운동 기술이 업무에 도움이 된다는 연구 결과가 많이 있습니다. 이러한 분야의 고용주는 지원자가 팀워크, 회복탄력성, 규율 등과 같은 기술을 배웠다면 스포츠를 했던 지원자를 선호할 수 있습니다. 특히 매우 중요한 기술인 리더십과 관련하여, 한 연구에 따르면 운동선수는 리더십 능력과 같은 척도에서 비운동선수를 능가하는 것으로 나타났으며,14 또 다른 연구에서는 대표팀 수준의 스포츠에 참여한 남성은 궁극적으로 직장 내에서 더 높은 수준의 리더십을 보인 것으로 나타났습니다.15 마찬가지로, ESPNW의 2015년 연구에 따르면 포춘 500대 기업 여성 임원 중 80%가 인생의 어느 시점에서 경쟁 스포츠를 한 것으로 나타났습니다.16 의학에서 리더십과 앞서 언급한 다른 특성의 중요성을 감안하면 운동 선수 경험과 의학에서의 성공 사이에 상관관계가 존재할 수 있습니다. 
Considerable research details the transferability of athletic skills to the workforce in fields aside from medicine. Employers in these fields may favour applicants who played sports if candidates learned skills such as teamwork, resilience, discipline and more. Particularly regarding leadership, a highly important skill, one study demonstrated that athletes outscored non-athlete peers on measures such as leadership ability,14 while another demonstrated that men who had participated in varsity-level sports ultimately showed higher levels of leadership within the workplace.15 Likewise, a study in 2015 by ESPNW discovered that 80% of female Fortune 500 executives played competitive sports at some point in their lives.16 Given the importance of leadership and other aforementioned traits in medicine, a correlation between prior athletic experience and success in medicine may exist.

의대 입학 위원회가 의학계에서의 성공 예측 인자를 파악해야 할 필요성이 커지고 있음에도 불구하고, 운동 참여와 의대, 레지던트, 의사로서의 성공 사이의 관계에 대한 현재 문헌에 대한 체계적인 검토는 아직 수행되지 않았습니다. 본 체계적 문헌고찰은 운동 참여가 의학교육과 그 이후의 성공에 대한 좋은 예측 인자인지에 대한 질문에 답하기 위해 기존 문헌에서 이러한 관계를 더 탐구하는 것을 목표로 합니다. 이를 통해 의학교육 기관, 입학 위원회, 지원자 및 기타 이해관계자들에게 의학 분야에서 지원자의 성공 가능성을 검토할 때 운동 참여가 어느 정도 고려될 수 있는지를 더 잘 알려주고자 합니다. 
Despite the growing need for medical school admissions committees to identify predictors of success in medicine, a systematic review of the current literature on the relationship between participation in athletics and success in medical school, residency and as a physician has yet to be performed. By further exploring this relationship in the current literature, the present systematic review aims to answer the question of whether participation in athletics is a good predictor of success in medical education and beyond. In doing so, this study seeks to better inform medical education institutions, admissions committees, applicants and other stakeholders of the extent to which participation in athletics could be considered while reviewing a candidate's potential for success in medicine.

2 방법
2 METHODS

데이터 검색 프로토콜은 PRISMA(체계적 문헌고찰 및 메타분석을 위한 선호 보고 항목) 가이드라인에 따라 개발되었습니다.17 2021년 2월 9일에 검색 엔진 PubMed, EMBASE, Web of Science, ERIC 및 Google Scholar를 사용하여 온라인 데이터베이스를 종합적으로 검색했습니다. 검색에는 다음 쿼리가 사용되었습니다: 
A data search protocol was developed per PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-analyses) guidelines.17 We performed a comprehensive search of online databases on 9 February 2021 using the search engines PubMed, EMBASE, Web of Science, ERIC and Google Scholar. The following query was used for the search:

데이터베이스의 구문에 따라 검색어의 형식이 결정되었습니다. 날짜 범위에는 제한을 두지 않았습니다. 그 후, 각 적격 논문에 대해 참고 문헌 검토를 수행하여 1차 검색에 포함되지 않은 관련 문헌을 찾아냈습니다. 
The syntax of the database determined the format of the search terms. No limitations on date range were implemented. Subsequently, reference review was performed on each qualifying article to uncover relevant literature that did not populate in the primary search.

2.1 자격 기준
2.1 Eligibility criteria

이 리뷰에 포함되려면 연구가 다음 기준을 충족해야 했습니다: (1) 의대생, 레지던트 또는 주치의를 정량적으로 평가하고, (2) 운동 참여 경력을 예측 변수 또는 설명 변수로 사용하며, (3) 영어로 된 동료 심사를 거친 전문이고, (4) 미국 또는 캐나다의 인구를 대상으로 평가한 연구여야 합니다. 연구를 미국과 캐나다로 제한한 이유는 미국과 캐나다 의과대학 모두 의과대학 입학 요건(MSAR)을 따르고 있으며, 두 나라 모두 일반적으로 학생들이 의사 면허를 취득하기 전에 유사한 과정을 이수하도록 요구하기 때문입니다 (학사 학위 취득, 의과대학 입학 및 수료, 의과대학 레지던트 수료). 미국과 캐나다 의과대학의 평균 합격률은 모두 낮습니다(2020년 각각 7% 및 5.5%).18 우리는 미공개 데이터만 포함된 참고 문헌과 운동 참여가 아닌 활동 수준을 예측 변수로 사용한 참고 문헌은 제외했습니다. 모든 참고 문헌은 최소 두 명의 검토자(JL, KA 또는 SP)가 심사했습니다. 의견이 일치하지 않는 경우 다른 검토자(MS)에게 자문을 구했으며, 모든 검토자의 합의와 합의를 통해 해결했습니다. 
To be included in this review, a study had to meet the following criteria: (1) Quantitatively assessed medical students, residents or attending physicians, (2) used prior participation in athletics as a predictor or explanatory variable, (3) peer-reviewed full-text available in English and (4) assessed a population in the United States or Canada. Studies were limited to the United States and Canada because both U.S. and Canadian medical schools follow the Medical School Admissions Requirements (MSAR), both countries typically require students to complete a similar path prior to obtaining medical licensure (i.e. earn a bachelor's degree, attend and complete medical school and then complete a medical residency), and both U.S. and Canadian medical schools have low average acceptance rates (7% and 5.5% in 2020, respectively).18 We excluded references that contained only unpublished data and references that used activity level as a predictor rather than participation in athletics. All references were screened by at least two reviewers (JL, KA or SP). Another reviewer (MS) was consulted in cases of disagreement, which were resolved through consensus and agreement among all reviewers.

2.2 품질 분석
2.2 Quality analysis

두 명의 독립적인 검토자(JL, SP)가 사례대조군 및 코호트 연구에 대해 뉴캐슬-오타와 척도(NOS)를 사용하여 각 연구의 질을 평가했습니다.19 NOS는 참가자 선정, 그룹의 비교 가능성, 결과의 질에 따라 세 가지 영역으로 구성됩니다. 품질 점수는 횡단면 연구의 경우 0~10점(이전에 활용된 NOS 척도를 적용20), 코호트 연구의 경우 0~9점이며, 점수가 높을수록 질이 높음을 나타냅니다. 7점 이상이면 연구의 질이 높은 것으로, 7점 미만이면 질이 낮은 것으로 평가했습니다. 2명의 독립적인 검토자 간의 카파값은 0.6으로 계산되어 평가자 간 일치도가 양호한 것으로 나타났습니다. 의견이 일치하지 않는 경우 제 3의 평가자(KA)에게 자문을 구했으며, 모든 평가자의 합의와 합의를 통해 해결했습니다. 
Two independent reviewers (JL, SP) used the Newcastle-Ottawa Scale (NOS) for case–control and cohort studies to assess the quality of each study.19 The NOS has three domains based on the selection of participants, comparability of the groups, and quality of the outcomes. Quality scores range from 0 to 10 points for cross-sectional studies (adapted NOS scale as previously utilized20) and 0 to 9 points for cohort studies, with higher scores indicating higher-quality. Studies were graded as high quality if they achieved a score of ≥7 and low quality if they achieved a score of <7. A kappa value of 0.6 between the 2 independent reviews was calculated, indicating acceptable inter-rater agreement. A third reviewer (KA) was consulted in cases of disagreement, which were resolved through consensus and agreement among all reviewers.

2.3 데이터 추출 및 분석
2.3 Data extraction and analysis

포함된 연구에서 저자, 연구 연도, 연구 설계, 표본 크기, 대상 집단(예: 의대생, 레지던트 등), 운동 참여 수준(예: 대학생, 프로 등), 참여 수준 확인 방법(예: 자가 보고, 레지던트 지원서 등), 성과 평가에 사용된 결과, 운동 참여와 성과 간에 발견된 연관성(p값 포함) 등의 데이터를 공유 스프레드시트로 추출했습니다. 포함된 연구는 노출 정의와 결과 정의에 따라 범주별로 분류되었습니다. 노출 범주에는 다음이 포함되었습니다.

• (1) 참가자의 운동 참여 기술 수준에 따라 평가된 참가자 결과
• (2) 개인 대 팀 스포츠 참여에 따라 평가된 참가자 결과

결과 범주에는 다음 등이 포함되었습니다.

• (1) 의과대학에서의 학업 성취도,
• (2) 레지던트 과정에서의 성과,
• (3) 수술 술기 성과,
• (4) 동기 부여/소진 

이 범주들은 상호 배타적이지 않았습니다. 보고된 연관성의 유의성을 평가하기 위해 p값을 기록했습니다. 두 명의 검토자가 추출된 모든 데이터의 정확성을 교차 확인했습니다.
The following data were extracted from included studies into a shared spreadsheet: author, study year, study-design, sample size, target population (i.e. medical students, residents, etc.), the athletic participation level (i.e. collegiate, professional, etc.), method of ascertaining participation level (i.e. self-report, residency application file, etc.), outcomes used to assess performance and the associations detected between athletic participation and performance (with p-values). Included studies were categorically grouped based on their exposure definition and their outcome definition. Exposure categories included

• (1) assessed participant outcomes based on participants' skill level of athletic participation and
• (2) assessed participant outcomes based on individual versus team sport involvement.

Outcome categories included

• (1) academic performance in medical school,
• (2) performance in residency,
• (3) surgical skills performance and
• (4) motivation/burnout.

The categories were not mutually exclusive. p values were recorded to assess the significance of reported associations. Two reviewers cross-checked all extracted data for accuracy.

3 결과
3 RESULTS

그림 1에서 볼 수 있듯이 제목, 초록 및 전문을 검토한 결과 1044개의 중복되지 않는 참고 문헌을 확인했습니다. 이 중 89개의 연구를 제외한 모든 연구가 포함 기준을 충족하지 못했거나 이 체계적 문헌고찰의 제외 기준을 충족하지 못했다고 판단했습니다. 다음으로, 89개 참고 문헌의 전문을 검토했습니다. 이 중 18개의 문헌이 체계적 문헌고찰의 포함 기준을 충족했습니다.10-13, 21-33 포함된 18개의 연구 중 14개(78%)는 의대생, 5개(28%)는 레지던트 또는 레지던트 지원자, 1개(6%)는 주치의에 대한 평가였습니다. 5건(28%)의 연구는 개인이 아닌 팀 스포츠에 참여한 경력을 평가했고, 12건(67%)의 연구는 참가자의 최고 수준의 운동 참여도(예: 대학 운동 대표팀 및 프로 운동)를 기준으로 평가했습니다. 3개의 연구(17%)는 캐나다의 의대생을 평가한 반면, 나머지 15개의 연구는 미국 내 인구를 분석했습니다. 
As shown in Figure 1, we identified 1044 non-duplicate references for which we reviewed titles, abstracts and/or full texts. Of these, we determined all but 89 studies failed to meet inclusion criteria or met exclusion criteria for this systematic review. Next, we reviewed the full text of these 89 references. Eighteen of these references met inclusion criteria for the systematic review.10-13, 21-33 Of the 18 included studies, 14 (78%) evaluated medical students, five (28%) evaluated residents or residency applicants, and one (6%) evaluated attending physicians. Five (28%) studies specifically assessed prior participation in team sports (versus individual), and 12 (67%) studies specifically assessed participants based on their highest level of athletic participation (i.e. varsity collegiate athletics and professional athletics). Three studies (17%) evaluated medical students in Canada, whereas the remaining 15 studies analysed a population in the United States.

3.1 품질 평가
3.1 Quality assessment

단면 연구의 NOS 점수는 6~10점 범위였습니다. 코호트 연구 1건이 포함되었으며, 두 평가자 모두 7점으로 평가했습니다. 15건(83%)의 연구가 7점 이상(즉, 질이 높음)을 획득하여 전반적으로 질이 높았습니다. 횡단면 연구의 평균 NOS 점수(및 표준편차[SD])는 7.6 ± 1.2점이었습니다. 표 1에 연구별 NOS 등급이 나와 있습니다. 

NOS scores for cross-sectional studies ranged from 6 to 10 points. There was one cohort study included, and both raters scored it as 7. Studies were generally high quality with 15 (83%) achieving a score of ≥7 (i.e. high quality). The average NOS score for cross-sectional studies (and standard deviation [SD]) was 7.6 ± 1.2. NOS grades are listed by study in Table 1.

3.2 포함된 연구 요약
3.2 Summary of included studies

포함된 18개 연구 중 16개(89%) 연구에서 운동선수(즉, 운동 경험이 있는 참가자)가 비운동선수보다 유의하게 더 나은 수행 능력을 보인 것으로 나타났습니다(p <0.05). 1건(6%)의 연구에서는 운동선수가 비운동선수보다 성적이 현저히 낮았으며, 1건(6%)의 연구에서는 결론을 내릴 수 없는 결과가 나왔습니다(표 1). 포함된 연구의 결과는 아래에 범주별로 요약되어 있습니다.
Out of the 18 studies included, 16 (89%) found that athletes (i.e. participants with prior athletic experience) performed significantly better than their counterparts (p < 0.05). One (6%) study found that athletes performed significantly worse than their counterparts, and one study (6%) had inconclusive results (Table 1). The results of included studies are summarised categorically below.

3.3 이전 운동 참여 수준 및 수행 능력
3.3 Level of prior athletic participation and performance

12개(67%) 연구는 운동 참여의 기술 수준에 따라 참가자를 구체적으로 평가했습니다. 8건(44%)은 등급별 척도(예: 무참가부터 올림픽 수준의 대회까지 선택지에 따라 스스로 보고한 최고 수준의 대회)를 사용했으며, 4건(22%)은 대학 대표팀 선수 출신과 비대표팀 대학 선수 출신을 비교했습니다. 등급을 매겨 참가자를 계층화한 8건의 연구 중 7건은 운동 참여도가 높을수록 의과대학 및 레지던트 과정에서의 성과 지표 개선, 소진 감소, 치프 레지던트로 선발될 가능성 및 수술 성과 증가와 관련이 있는 것으로 나타났습니다.12, 13, 24, 26, 29, 32, 34 이 중 한 건(Lodewyk 등)은 이러한 등급별 반응이 개인이 아닌 팀 스포츠 선수에게만 나타난다는 사실을 밝혀냈습니다. 한 연구는 운동 참여 수준이 구조화된 임상 시험 점수에 미치는 영향에 대해 결론을 내리지 못했습니다.23 
Twelve (67%) studies specifically assessed participants based on skill level of athletic participation. Eight (44%) used a graded scale (i.e. self-reported highest level of competition with options from no participation to Olympic level competition) and 4 (22%) compared former varsity collegiate athletes to non-varsity collegiate athletes. Seven of the eight studies that stratified participants based on a graded scale found that higher levels of athletic involvement correlated to improved performance metrics in medical school and residency, including decreased burnout, increased likelihood of being selected as a chief resident and surgical performance.12, 13, 24, 26, 29, 32, 34 One of these (Lodewyk et al.) found that this graded response only occurred in team sport athletes (versus individual). One study was inconclusive on the impact of level of athletic participation on structured clinical exam scores.23

대표팀 선수 출신과 비대표팀 선수 출신을 구체적으로 비교한 4건의 연구에서는 모두 대표팀 선수 출신이 의과대학과 레지던트 과정의 성과 지표에서 유의하게 높은 결과(p <0.05)와 관련이 있으며, 여기에는 더 높은 수준의 그릿과 외과 레지던트 과정에서의 unsatisfactory 결과 감소가 포함되었습니다. 
All four studies that specifically compared former varsity athletes to non-varsity athletes found that participation in prior varsity athletics was associated with significantly higher outcomes (p < 0.05) in performance metrics in both medical school and residency, including higher levels of grit and fewer unsatisfactory outcomes in surgical residency.

전반적으로 이러한 연구는 운동 능력 수준이 높을수록 의학 분야의 성과가 증가한다는 것을 보여줍니다. 이러한 수준 의존적 반응은 높은 수준의 운동 참여가 의학에서의 성공에 대한 강력한 예측 인자가 될 수 있음을 시사합니다. 
Overall, these studies indicate that performance in medicine increases with higher levels of athletic performance. This level-dependent response suggests participation in high-level athletics may be a strong predictor of success in medicine.

3.4 이전 운동 참여 및 성과 유형
3.4 Type of prior athletic participation and performance

5편(28%)의 연구는 팀 스포츠 참여 경력과 팀 스포츠 참여 경력이 없는 경우를 구체적으로 평가했습니다.

• 이 중 3편의 논문은 팀 스포츠에 참여한 경험이 있을 때 유리한 결과를 보여주었습니다. 이 연구들에 따르면 팀 스포츠에 참여한 이력이 있는 학생들은 의과대학에서 다른 학생들과 더 유대감을 느끼고, 이비인후과 레지던트 프로그램에서 교수 평가가 더 높았으며, 외과 레지던트 프로그램에서 불만족스러운 결과가 더 적었습니다.13, 24, 30
• 한 연구에서는 개인 스포츠 경력이 있는 사람들이 의과대학에서 모호함과 불확실성에 대한 내성이 더 높다는 것을 발견했으며(스포츠 경력이 없는 경우와 팀 스포츠 경력이 있는 경우 모두),34
• 한 연구에서는 팀 스포츠 경력이 없는 의대생들이 표준화된 산부인과 레지던트 면접에서 더 낮은 점수를 받았다고 보고했습니다.21 

Five (28%) studies specifically assessed a history of participation in team sports versus no history of participation in team sports.

• Of these, three articles had outcomes favouring prior participation in team sports. These studies found that students with a history of participating in team sports felt more connected to others during medical school, had higher faculty ratings in an otolaryngology residency programme and had fewer unsatisfactory outcomes in a surgical residency programme.13, 24, 30 
• One study found that those with a history of individual sports had higher levels of tolerance to ambiguity and uncertainty in medical school (over both no history of sports and a history of team sports),34 and
• one study had outcomes favouring no history of team sports, reporting that medical students with a history of team sports scored lower on standardised obstetrics and gynaecology residency interviews.21

3.5 의과대학에서의 학업 성취도
3.5 Academic performance in medical school

포함된 연구 중 3건(17%)은 의과대학에서의 학업 성취도를 평가했습니다.

• 441명의 의대생을 대상으로 한 후향적 검토에 따르면, 대학 시절 운동선수 출신과 그렇지 않은 학생의 MCAT 점수는 차이가 없었지만(p = 0.62), 운동선수 출신은 USMLE 1단계 시험, NBME 3학년 선반 시험, USMLE 2단계 시험에서 유의미하게 높은 점수(p <0.05)를 받았습니다. 3년차 임상 실습에서 선수들은 임상 점수, 평균 우등상 수, 3년차 평균 점수, 알파 오메가 알파(AOA) 상태에서 유의미하게 더 나은 성적을 거두었습니다(p <0.05). 선수와 비선수 골드 휴머니즘 어워드 수상자 간에는 차이가 발견되지 않았습니다(p = 0.52). 저자들은 대학 대표팀 운동선수로 활동한 경험이 있는 의대생이 의대 재학 중 표준화된 시험과 임상 실습에서 모두 동료 학생들보다 우수한 성적을 거둔다고 결론지었습니다.11
• 반면, 산부인과 레지던트 프로그램에 지원하는 104명의 의대생을 대상으로 한 전향적 연구에서는 팀 스포츠 경험이 있는 지원자가 팀 스포츠 경험이 없는 지원자보다 표준화된 행동 면접에서 낮은 점수를 받은 것으로 나타났습니다(p = 0.02).21
• 2015년 265명의 의대생을 대상으로 한 또 다른 연구에서는 스포츠 참여 경험과 객관적 구조화 임상시험(OSCE) 결과 사이에 유의미한 관계가 없는 것으로 나타났습니다.23
• 이 논문들은 모두 의과대학에서의 운동 경험과 학업 성적 사이의 관계에 대해 결정적인 결과를 제시하지 못했습니다. 

Three (17%) of the included studies evaluated academic performance in medical school.

• A retrospective review of 441 medical students found that, while MCAT scores did not differ between former collegiate athletes and their counterparts (p = 0.62), athletes scored significantly higher (p < 0.05) on the USMLE step 1 exam, the NBME year 3 shelf exam and the USMLE step 2 exam. In year 3 clinical clerkships, athletes performed significantly better (p < 0.05) on clinical scores, average number of honours, average year 3 score and Alpha Omega Alpha (AOA) status. No difference was found between athlete and non-athlete Gold Humanism Award status (p = 0.52). The authors concluded that medical students with experience as a varsity collegiate athlete outperform their peers in both standardised tests during medical school and clinical clerkships.11 
• In contrast, a prospective study of 104 medical students applying to an obstetrics-gynaecology residency programme found that applicants with prior experience playing team sports scored lower on the standardised behavioural interviews than those with no experience with team sports (p = 0.02).21 
• Another study in 2015, which assessed 265 medical students, found no significant relationship between prior participation in sport and objective structured clinical examination (OSCE) results.23 
• Together, these articles demonstrate inconclusive results on the relationship between prior athletic experience and academic performance in medical school.

3.6 레지던트 생활에서의 성과
3.6 Performance in residency

5건(28%)의 연구에서 이전 운동 경험과 레지던트 과정에서의 성과 사이의 관계를 평가했습니다.

• 한 이비인후과 레지던트 프로그램 졸업생 46명을 대상으로 한 후향적 연구에서 팀 스포츠 참여와 교수 평가 점수 간에 유의미한 양의 상관관계가 있는 것으로 나타났습니다(R2 = 0.32, p <0.001). USMLE 점수, AOA 자격, 임상 로테이션에서 우등 비율, 추천서, 연기 인턴 경험은 임상 교수 평가와 유의미한 상관관계가 없었으며, 면접 점수와 의과대학 순위는 약한 양의 상관관계를 보였습니다(R2 = 0.1, p = 0.04 및 R2 = 0.18, p = 0.03)24
• 마찬가지로 정형외과 레지던트 119명을 대상으로 한 후향적 검토에서는 올림픽 또는 대표 선수로 참여한 경험이 주관적인 레지던트 성과 점수가 높은 것과 관련이 있다는 사실이 밝혀졌습니다(p = 0.018). 10
• 또 다른 연구에서는 의대 출신이 응급의학과 레지던트 졸업생의 성공에 대한 가장 강력하고 일관된 예측인자 중 하나이지만, 챔피언십급 선수로 출전한 경험이 있는 '독특한 요인'이 전반적인 레지던트 성과에 대한 유의미한 예측인자임을 발견했습니다(p <0.05). 28
• 영상의학과 레지던트 프로그램 지원자 157명을 대상으로 한 후향적 검토에서 스포츠 참여 경험이 있는 레지던트가 치프 레지던트가 될 가능성이 유의하게 높은 것으로 나타났습니다(p = 0.04).29
• 마지막으로 외과 레지던트 111명을 대상으로 한 후향적 검토에서는 대학에서 팀 스포츠를 한 레지던트가 그렇지 않은 레지던트에 비해 레지던트 프로그램에서 이탈하거나 미국 외과 전문의 시험에 합격하지 못하는 등의 불만족스러운 결과가 유의하게 적다는 것을 확인했습니다(p = 0.02).30

Five (28%) studies evaluated the relationship between prior athletic experience and performance in residency.

• A retrospective review of 46 graduates from an otolaryngology residency programme found a significant, positive correlation between participation in a team sport and faculty rating score (R2 = 0.32, p < 0.001). USMLE score, AOA status, percentage of honours in clinical rotations, letters of recommendation and experience as an acting intern showed no significant correlation with clinical faculty ratings, while interview score and medical school rank showed a weak positive correlation (R2 = 0.1, p = 0.04 and R2 = 0.18, p = 0.03)24 
• Similarly, a retrospective review of 119 orthopaedic residents found that prior participation as an Olympic or varsity athlete was associated with a higher subjective residency performance score (p = 0.018).10 
• Another study found that while medical school attended was one of the strongest and most consistent predictors of success in emergency medicine residency graduates, having “distinctive factors,” which included competing as a championship-level athlete, was a significant predictor of overall performance in residency (p < 0.05).28 
• In a retrospective review of 157 applications for a radiology residency programme, it was found that residents with sports participation were significantly more likely to be chief residents (p = 0.04).29 
• Finally, a retrospective review of 111 surgical residents found that residents who played team sports in college had significantly fewer unsatisfactory outcomes such as attrition from residency programme or failure to pass the American Board of Surgery examinations compared to those who did not (p = 0.02).30

사전 운동 경험과 레지던트 과정에서의 성과 사이의 관계를 평가한 5개의 연구 모두 사전 운동 참여가 레지던트 과정 중 다양한 지표에서 성공의 유의미한 예측 인자라는 결론을 내렸습니다.
All five studies evaluating the relationship between prior athletic experience and performance in residency concluded that prior participation in athletics was a significant predictor of success on various metrics during medical residency.

3.7 수술 술기 성과
3.7 Surgical skills performance

6건(33%)의 연구에서 이전의 운동 경험과 수술 술기 수행 능력 간의 관계를 평가했습니다.
Six (33%) studies evaluated the relationship between prior athletic experience and surgical skills performance.

• 43명의 의대생을 대상으로 한 2019년 연구에 따르면 일반적인 스포츠 참여는 초기 관절경 수술 수행 능력과 상관관계가 없었지만, 손과 눈의 협응이 필요한 스포츠에 정기적으로 참여했다고 보고한 참가자는 그렇지 않은 참가자에 비해 수행 시간이 크게 향상(182초 대 78초, p = 0.025)되었습니다.25
• 또한 의대생 12명, 레지던트 9명, 이비인후과 전문의 5명을 대상으로 한 평가에서 연구자들은 스포츠 참여 수준 증가와 내시경 부비동 수술 글로벌 평가 척도 점수 사이에 유의미한 연관성을 발견했습니다(p = 0.033).26
• Zeng 등은 4학년 의대생 65명을 평가한 결과 운동 경험과 봉합 작업 수행 사이에 통계적으로 유의미한 관계가 있다는 것을 발견했습니다(p = 0). 048) 및 한 손으로 매듭 묶기(p = 0.042)에서 유의미한 관계를 발견했습니다.33
• 의대생 242명을 대상으로 한 전향적 연구에서 연구자들은 4년 이상 스포츠를 한 참가자가 그렇지 않은 참가자에 비해 기계적 오류(p = 0.04)가 훨씬 적고 봉합을 덜 끊으며(p = 0.01) 총 오류가 더 적다는 것을 발견했습니다(p = 0.01).27
• 2016년의 또 다른 연구에서는 의대생 30명을 대상으로 로봇 수술 시뮬레이터에서 수행 능력을 평가한 결과, 이전의 운동 능력 수준과 과제 1(p = 0.0002) 및 과제 2(p = 0.009)의 수행 능력 간에 유의미한 양의 상관관계가 있는 것으로 나타났습니다. 이러한 연관성은 과제를 세 번 반복한 후에도 지속되지 않았습니다. 악기 또는 비디오 게임 기술 수준은 수행 능력과 유의미한 상관관계가 없었습니다.32
• 마지막으로, 2020년에 49명의 의대생을 평가한 연구에서는 운동 경험이 많은 참가자가 관절경 수술 시뮬레이터에서 숙련도를 달성할 가능성이 유의미하게 높았으며(p = 0.006), 관절경 수술 시뮬레이터의 수행 능력도 향상되었습니다(p = 0.008).31
• A 2019 study evaluating 43 medical students found that while general sports participation was not correlated with initial arthroscopic performance, participants who reported they had regularly participated in sports requiring hand-eye coordination demonstrated significant improvement in performance time (182 versus 78 seconds, p = 0.025) compared with those who were not involved in sports.25 
• Additionally, in an assessment of 12 medical students, nine residents and five attending otolaryngologists, researchers found a significant association between increasing levels of sports participation and endoscopic sinus surgery global rating scale score (p = 0.033).26 
• Zeng et al. evaluated 65 fourth-year medical students and found a statistically significant relationship between athletic experience and performance on suturing tasks (p = 0.048) and one-handed knot tying (p = 0.042).33 
• In a prospective study of 242 medical students, researchers found that participants who played sports for at least 4 years made significantly fewer mechanical errors (p = 0.04), broke fewer sutures (p = 0.01) and committed fewer total errors (p = 0.01) compared with others.27 
• Another 2016 study assessed 30 medical students on their performance on a robotic surgery simulator, and found a significant positive correlation between previous athletic skill level and performance on task 1 (p = 0.0002) and task 2 (p = 0.009). This association did not persist after the third repetition of the task. Musical instrument or video game skill level was not significantly correlated with performance.32 
• Finally, a study in 2020 assessed 49 medical students and found participants with high levels of athletic experience were significantly more likely to achieve competence on an arthroscopic surgical simulator (p = 0.006), as well as have an improved performance on the arthroscopic surgical simulator (p = 0.008).31

운동 경력과 수술 술기 수행 능력 간의 관계를 평가한 6개의 연구 모두에서 운동 경력이 있는 사람이 운동 경력이 없는 사람보다 수술 술기 수행 능력의 일부 측면에서 유의하게 우수한 것으로 나타났습니다. 손과 눈의 협응력은 수술 술기뿐만 아니라 많은 스포츠에서 손과 눈의 협응력이 필요하기 때문에 많은 논문에서 이 관계를 조절할 수 있는 잠재적 요인으로 제시되었습니다. 
All six studies evaluating the relationship between prior athletic experience and surgical skills performance found that individuals with prior experience in athletics significantly outperform those with no athletic experience in some aspect of surgical skills performance. Hand-eye coordination was suggested in many of the articles as a potential moderator of this relationship, as hand-eye coordination is needed for many sports as well as surgical skills.

3.8 번아웃과 동기 부여
3.8 Burnout and motivation

4건의 연구(22%)에서 이전의 운동 경험과 번아웃/동기부여 지표 간의 관계를 평가했습니다.

• 의대생 267명을 대상으로 한 횡단면 연구에 따르면 과거 스포츠 참여 경험이 많은 학생일수록 번아웃 수준이 낮은 것으로 나타났습니다(r = -0.15, p = 0.014). 이 연구자들은 또한 스포츠 참여 수준과 타인의 인식에 초점을 맞춘 심리적 접근 방식(예: "나는 내가 얼마나 잘하고 있는지 다른 사람들이 알아줄 때 즐겁다", r = -0.20, p <0.001) 간에 유의미한 음의 상관관계(p ≤ 0.001)가 있음을 발견했습니다.12
• 마찬가지로 캐나다의 한 대학 의대생 200명을 대상으로 한 설문조사에서는 팀 스포츠 경험이 있는 학생들이 의대 재학 중 타인과의 관계 또는 관련성 수준에 대해 훨씬 더 만족하는 것으로 나타났습니다(p <0.05). 또한 스포츠 참여 수준과 의과대학에서의 자율성 만족도(p = 0.041), 의과대학 중 여가 시간 운동량(p <0.001) 사이에는 유의미한 양의 상관관계가 있었습니다.13
• 의과대학 3학년 학생 61명을 대상으로 한 횡단면 조사에서는 개인 스포츠 경력이 있는 학생이 없는 학생에 비해 의과대학에서의 모호성과 불확실성에 대한 내성이 더 높은 것으로 나타났습니다(p <0.05).
• 마지막으로, 2019년 정형외과 레지던트 지원자 455명을 대상으로 한 횡단면 연구에 따르면 대학 운동선수 출신은 비대학 운동선수 출신에 비해 그릿(p <0.001), 관심의 일관성(p = 0.007), 인내(p = 0.006), 자제력(p = 0.019)이 더 높은 것으로 나타났습니다.22

Four studies (22%) evaluated the relationship between prior athletic experience and burnout/motivation metrics.

• A cross-sectional study of 267 medical students found that students with higher levels of past sport involvement were found to have lower levels of burnout (r = −0.15, p = 0.014). These researchers also found significant negative correlations (p ≤ 0.001) between level of involvement in sport and psychological approaches that focus on others' perception of them (e.g. “I enjoy when others in my program are aware of how well I am doing”; r = −0.20, p < 0.001).12 
• Similarly, a survey of 200 medical students at a Canadian university found that students with prior background in team sports were significantly more satisfied with the level of relatedness, or connection to others, during medical school (p < 0.05). There was also a significant positive correlation between level of sport involvement and satisfaction with autonomy in medical school (p = 0.041) and amount of leisure-time exercise during medical school (p < 0.001).13 
• A cross-sectional survey of 61 third-year medical students found that students with a history of individual sports had a higher tolerance for ambiguity and uncertainty in medical school compared to those without a history of sports (p < 0.05).
• Finally, a 2019 cross-sectional study on 455 orthopaedic surgery residency applicants revealed that former collegiate athletes demonstrated more grit (p < 0.001), consistency of interest (p = 0.007), perseverance (p = 0.006) and self-control (p = 0.019) than their non-collegiate athlete peers.22

소진/동기를 평가한 네 가지 연구 모두 운동에 미리 참여하면 내재적 동기 증가 및 소진 감소와 같은 학업 외적인 성공 지표를 크게 향상시킨다는 것을 시사합니다.
All four studies that assessed burnout/motivation suggest prior participation in athletics significantly improves non-academic indicators of success in medicine such as increased intrinsic motivation and decreased burnout.

4 논의
4 DISCUSSION

이 체계적 문헌고찰에서 저희는 사전 운동 참여와 의료 성과(예: 의대, 레지던트 또는 매듭 묶기와 같은 특정 의료 업무에서의 성과) 사이의 관계를 평가한 18건의 동료 검토 연구를 확인했습니다. 검토한 18개의 연구 중 대다수(89%)에서 운동 경험이 있는 참가자가 그렇지 않은 참가자보다 훨씬 더 나은 성과를 보인 것으로 나타났습니다(p <0.05). 이러한 관계는 USMLE 1단계 점수 및 수술 술기 숙련도 점수와 같은 객관적인 채점 방법에서 관찰되었으며, 교수 평가 및 번아웃과 같은 객관적인 주관적 척도에서는 관찰되지 않았습니다. 특히 의대생과 레지던트의 운동 선수 경력과 소진/동기 부여 사이의 연관성을 평가한 4건의 연구 모두 운동 선수 출신이 내재적 동기 부여 수준이 높고 소진이 감소하는 것으로 나타났습니다. 또한, 운동 선수 경력과 수술 술기 수행 능력 간의 관계를 평가한 6개의 연구 모두에서 운동 선수 경력이 있는 사람이 운동 경력이 없는 사람보다 수술 술기 수행 능력의 일부 측면에서 유의미하게 우수한 것으로 나타났습니다. 의료계에 대한 관심이 계속 증가함에 따라 이러한 연구 결과는 입학 위원회와 예비 지원자 모두 의사 결정을 내릴 때 운동 참여 여부를 고려하는 것이 중요할 수 있음을 시사합니다.  
In this systematic review, we identified 18 peer-reviewed studies that assessed the relationship between prior participation in athletics and medical performance (i.e. performance in medical school, residency or on specific medical tasks such as knot-tying). Out of the 18 studies reviewed, the majority (89%) found that participants with prior athletic experience performed significantly better than their counterparts (p < 0.05). This relationship was observed on objective scoring methods, such as USMLE Step 1 score and surgical skill proficiency scores, as well as less on objective subjective measures, such as faculty ratings and burnout. Notably, all four studies that assessed the association between prior athletic experience and burnout/motivation in medical students and residents found that former athletes experienced higher levels of intrinsic motivation and decreased burnout. Additionally, all six studies evaluating the relationship between prior athletic experience and surgical skills performance found that individuals with prior experience in athletics significantly outperform those with no athletic experience in some aspect of surgical skills performance. As interest continues to grow in the medical profession, these findings suggest it may be important for both admissions committees and prospective applicants take athletic participation into account while making decisions.

전국적으로 의사들의 소진이 계속 증가함에 따라 소진을 줄일 수 있는 방법을 찾는 것이 중요합니다. 운동 경력이 이러한 증가를 상쇄할 수 있는 한 가지 방법이 될 수 있습니다. 이는 이전 연구 결과와 일치하며,12,13 운동 경력이 있는 수련 중인 의사는 번아웃을 예방하는 효과가 있는 추가적인 대처 전략이 있을 수 있음을 시사합니다. 현재 25%에서 60%의 의사가 소진을 경험했다고 보고하고 있으며, 소진을 유발하는 스트레스 요인은 계속 증가하고 있습니다.35-38 어떤 특성과 경험이 학생들이 어려운 의학교육 과정에 대처하는 데 도움이 될 수 있는지 평가하는 것이 중요합니다. 교육 기관은 예비 의대 지원자들이 효과적인 대처 전략과 출구를 개발하여 소진을 최소화할 수 있도록 운동과 같은 학교 밖에서 경험과 흥미를 추구하도록 지속적으로 장려해야 합니다. 
As physician burnout continues to rise across the country, finding ways to reduce burnout is critical. A history of athletics may be one way to offset this increase. This is consistent with previous findings,12, 13 and suggests that physicians-in-training with prior athletic experience may have additional coping strategies that have a protective effect against burnout. Currently between 25% and 60% of physicians report experiencing burnout, and the stressors leading to burnout are only growing.35-38 It is important to assess what traits and experiences may help students cope with the challenging medical education process. Educational institutions should continue to encourage prospective medical school applicants to pursue experiences and interests outside of school, such as athletics, so that they can develop effective coping strategies and outlets and therefore minimise burnout.

표준화된 시험 점수와 기타 정량화할 수 있는 학업 성공의 척도는 의사 지망생을 평가하는 주요 기준으로 사용되어 왔습니다.6 그러나 사람들과 잘 소통하는 능력, 팀워크 능력, 시간 관리 및 회복탄력성과 같은 덜 객관적인 기술은 의학계에서 성공의 중요한 지표로 알려져 있습니다. 많은 연구에서 입증된 바와 같이, 이러한 특성을 많이 갖춘 것으로 추정되는 운동선수들은 표준화된 시험과 수술 기술부터 의과대학 및 레지던트 과정의 전반적인 성공에 이르기까지 다양한 수준의 의료 과정에서 성공했습니다.10, 11, 22, 24-26 표준화된 시험이 합격/불합격으로 계속 변화함에 따라, 입학위원회는 의학교육 과정에서 지원자를 평가할 때 운동선수들이 보유한 이러한 "특별한 기술"을 유사하게 유익한 활동에 참여하는 다른 학생들과 함께 잠재적으로 더 고려해야 합니다. 
Standardised test scores and other quantifiable measures of academic success have served as staple criteria for assessing aspiring physicians.6 However, less objective skills such as the ability to interact well with people, ability to work on a team, time management and resilience are known critical indicators of success in medicine. As demonstrated by many studies, athletes who presumably encompass many of these traits have gone on to succeed in various levels of the medical process from standardised tests and surgical skills to overall success in medical school and residency.10, 11, 22, 24-26 As standardised tests continue to change to pass/fail, admissions committees should further consider these “special skills” that athletes possess, potentially along with other students engaged in similarly beneficial activities, when assessing candidates during the medical education process.

객관적인 학업 지표 외에 지원자의 특성과 경험에 초점을 맞춘 총체적인 입학 기준은 학업 지표에 주로 초점을 맞춘 기준보다 면접 풀과 입학생 풀을 더 다양하게 만드는 것으로 나타났습니다.39, 40 의학계의 다양성을 높일 수 있는 요소를 고려하는 것은 여전히 중요합니다. 의과대학 내 다양성을 개선하기 위한 수십 년간의 노력으로 흑인 여성과 같은 인구통계학적 요소에서는 진전이 있었지만, 흑인 남성과 같은 다른 그룹은 1978년 이후 상대적으로 변화가 없었습니다.41 의학과 달리 흑인 남성은 대학 운동에서 상대적으로 잘 대표되고 있습니다. 흑인 남성은 상위 5개 대학 운동회의 65개 대학 학부생의 2.4%를 차지하지만 축구와 농구 팀의 절반 이상을 차지합니다.42 따라서 의학에 관심이 있는 운동선수들을 지원하면 의과대학의 다양성을 높일 수 있습니다. 예를 들어, 역사적으로 많은 흑인 대학에는 의과대학뿐만 아니라 매우 강력한 디비전 II 스포츠 팀이 있습니다.43 이러한 스포츠 팀에 참여하는 관심 있는 운동선수들을 의과대학의 자원과 연결하려는 노력은 의학에 관심 있는 학생 운동선수들을 격려하는 한 가지 방법을 제공할 수 있습니다. 
Holistic admissions criteria which focuses on the attributes and experiences of applicants in addition to objective academic metrics has been shown to result in a more diverse interview pool and matriculant pool than criteria that focus primarily on academic metrics.39, 40 Considering factors that can increase diversity in medicine remains critical. Decades of effort to improve diversity within medical school has made progress with demographics such as Black women, but other groups such as Black men have remained relatively unchanged since 1978.41 In contrast to medicine, Black men are relatively well represented in college athletics. Black men represent 2.4% of undergraduate students at 65 universities in the top five athletic conferences, yet comprise more than half of the football and basketball teams.42 Thus, supporting athletes interested in medicine could potentially lead to increased diversity in medical school. For example, many historically Black universities have very strong Division II sports teams as well as schools of medicine.43 Efforts to connect interested athletes participating on these sports teams with the resources at their schools of medicine could provide one avenue for encouraging student-athletes interested in medicine.

또한 입학 위원회는 많은 스포츠가 대학 입학 전부터 엘리트 수준에서 막대한 자금과 재원을 필요로 한다는 점을 고려해야 합니다. 이는 다양한 소득 수준의 학생들의 접근성을 떨어뜨릴 수 있습니다. 따라서 소득 수준과 기타 인구통계학적 요인을 함께 고려하지 않고 고성능 운동 종목을 지나치게 강조하면 재정적으로 더 유리한 배경을 가진 지원자에게 불공정하게 유리할 수 있습니다. 그러나 동시에 대학 운동선수의 약 86%가 빈곤선 이하에 살고 있습니다.44 재정적 어려움을 겪고 있는 학생 운동선수의 많은 비율을 고려할 때, 운동이 일부 고소득층에게 어떤 이점을 줄 수 있는지 검토하는 동시에 이러한 학생 운동선수를 지원할 수 있는 방법을 모색하기 위한 추가 연구가 필요합니다. 입학 위원회는 다른 질적 입학 전 데이터와 함께 운동 참여의 이점을 평가할 때 이러한 요소를 종합적으로 고려해야 합니다. 
Admissions committees also should consider that many sports require tremendous funding and financial resources at the elite level, even before entrance to college. This can decrease accessibility of students at various income levels. Placing excessive emphasis on high performance athletics without looking at income levels and other demographic factors in tandem could therefore unfairly advantage applicants with more financially privileged backgrounds. Simultaneously, however, approximately 86% of college athletes live below the poverty line.44 Given the large proportion of student athletes experiencing financial hardship, further research is necessary to explore ways to support these student athletes while also weighing how athletics may advantage some high-income individuals. Admissions committees should consider these factors holistically when weighing the benefits of athletic participation alongside other qualitative pre-matriculation data.

이 문헌고찰에 포함된 대부분의 연구는 운동 참여 경력이 의학 수행 능력에 긍정적인 영향을 미치는 것으로 나타났지만, 2개(11%)의 연구는 운동 참여 경력이 의학 수행 능력에 긍정적인 영향을 미친다는 결과를 보고하지 않았습니다.

• 브레이트코프(Breitkopf) 등은 팀 스포츠 경력이 있는 의대생이 표준화된 산부인과 레지던트 면접에서 낮은 점수를 받는다는 사실을 발견했습니다. 이 논문은 또한 이전 직장 경험이 면접 점수의 성공 예측 인자임을 발견했습니다.21
• Chan 등은 의대생의 첫 번째 객관적 구조화 임상시험(OSCE)에서 운동 경력이 성적에 미치는 이점을 발견하지 못했지만 하위 그룹의 표본 크기가 작아 결과가 결정적이지 않다고 간주했습니다.23 이 논문은 또한 언어적 공개 수행 이력(예: 학생회 및 토론에서 대중 연설)에 대해 평가했으며 언어적 공개 수행 이력이 있는 사람들의 OSCE 점수가 향상되었다고 보고했습니다.

두 연구 모두 전문적이고 표준화된 환경에서 참가자의 수행 능력을 평가했습니다. 대학생 운동선수들은 종종 인턴십이나 과외 직업 기회에 참여하지 못하거나 제한을 받기 때문에 표준화된 면접과 같은 과제에서 뛰어난 능력을 발휘하는 데 필요한 전문 기술을 키우는 것이 더 어려울 수 있습니다. 향후 연구에서는 의학에 관심이 있는 학생 운동선수를 위한 경력 개발 프로그램에 정보를 제공하기 위해 운동선수들이 놓치고 있을 수 있는 잠재적인 전문 역량을 평가해야 합니다. 
While the majority of the studies included in this review favoured a history of participation in athletics on performance in medicine, 2 (11%) included studies did not report outcomes favouring prior participation in athletics.

• Breitkopf et al. found that medical students with a history of team sports scored lower on standardised obstetrics and gynaecology residency interviews. This paper also found that prior work experience was a predictor of success for interview scores.21 
• Chan et al. found no benefit to prior athletic participation on performance in medical students' first objective structured clinical examination (OSCE), but given the low sample size of the subgroup, considered the results inconclusive.23 This paper also assessed for a history of verbal public performance (i.e. public speaking in student council and debate) and reported improved OSCE scores in those with a history of verbal public performance.

Both studies assessed participants' ability to perform in professional, standardised settings. As college athletes are often discouraged or limited in their ability to participate in internships or extra-curricular professional opportunities, it may be more difficult for them to grow the professional skillset needed to exceed in tasks such as standardised interviews. Future research should assess for potential professional competencies that athletes may be missing, with the goal of informing career development programmes for student-athletes interested in medicine.

이 리뷰는 의학에 관심이 있는 운동선수들을 지원하고 격려해야 할 필요성을 강조합니다. 의사가 되고자 하는 엘리트 선수들은 종종 두 가지 목표를 모두 이룰 수 없다고 생각합니다.43 그러나 운동선수들은 의대에 진학할 수 있을 뿐만 아니라, 이 리뷰는 운동선수들이 의학에 뛰어나다는 것을 시사합니다. 의대 지원자를 평가할 때 많은 입학 위원회는 이미 팀워크, 의사소통, 시간 관리 등 운동선수가 보유할 수 있는 역량을 중요하게 평가합니다. 따라서 교육 기관이 입학 과정에서 운동 선수의 참여를 계속 고려하는 동시에 운동 선수가 의학 분야에서 경력을 쌓도록 장려하는 것이 유리할 수 있습니다. 학생 운동선수들에게 영감을 주고 스포츠를 통해 습득한 기술이 의학 분야로 이어질 수 있다는 것을 보여주기 위해 더 많은 노력을 기울여야 합니다. 학문적 능력에 대한 객관적인 측정과 함께 성공적인 의사가 되기 위한 자질의 중요성을 폭넓게 강조하는 것은 의학의 미래를 위한 좋은 징조입니다. 
This review emphasises the need to support and inspire athletes with an interest in pursuing medicine. Elite-level athletes with aspirations to become physicians often believe they cannot achieve both goals.43 However, athletes are not only able to enter medicine, but this review suggests they excel in medicine. When evaluating medical school candidates, many admissions committees already weigh competencies that athletes may possess such as teamwork, communication and time management. As such, it may be advantageous for educational institutions to continue considering participation in athletics in the admissions process while also encouraging athletes to pursue a career in medicine. More work should be done to inspire student-athletes and show them that the skills they are acquiring through sport are transferable to a career in medicine. Broadly emphasising the importance of qualities that make successful physicians along with objective measures of academic prowess bodes well for the future of medicine.

4.1 한계점
4.1 Limitations

이 연구에는 몇 가지 주목할 만한 한계가 있습니다. 보고된 연구에 통계적으로 유의미한 결과가 포함되지 않은 경향은 출판 편향으로 인한 것일 수 있습니다. 검토된 대부분의 연구에는 후향적 연구 설계가 포함되어 있습니다. 또한, 포함된 연구들에서 스포츠 참여 여부를 확인하는 가장 일반적인 방법은 자가 보고 설문지 또는 설문조사였습니다. 이는 사회적 선호도 편향 또는 회상 편향을 유발할 수 있습니다. 일부 연구에서는 수준별(예: 대표팀 선수 대 올림픽 선수) 또는 종목별(예: 개인 종목 대 팀 종목)로 운동 참여를 평가했지만, 어떤 유형의 운동 참여가 향후 의학 분야에서 성공하는 데 필요한 기술을 부여하는지 이해하려면 더 많은 연구가 필요할 수 있습니다. 또한 이러한 연구의 대부분은 의대생의 성과에 초점을 맞췄습니다. 레지던트 및/또는 주치의가 포함된 평가 대상 연구는 주로 외과 분야에 초점을 맞추고 있으며 표본 규모가 상대적으로 작습니다. 
This study has some notable limitations. The tendency of the reported studies to include statistically significant findings is likely due to publication bias. A majority of the studies reviewed included a retrospective study design. Additionally, the most common method of ascertaining prior sports participation within the included studies was through self-reported questionnaires or surveys. This may introduce social-desirability bias or recall bias. While some included studies evaluated participation in athletics by level (i.e. varsity athlete versus Olympian) or type of sport played (i.e. individual sport versus team sport), more research may be necessary to understand what type of athletic participation confers skills needed for future success in medicine. Additionally, most of these studies focused on the performance of medical students. The studies evaluated which include residents and/or attending physicians focus primarily on surgical disciplines and include a relatively small sample size.

향후 연구에서는 운동과 의학에서의 성공 사이의 잠재적 상관관계에 기여하는 특정 요소를 정의하기 위해 노력해야 합니다. 이러한 기본 기술을 더 확립하면 입학 위원회는 운동선수든 비운동선수든 의학 분야에서 나중에 성공할 가능성이 가장 높은 기술과 경험을 가진 지원자를 선발할 수 있습니다. 또한 이 주제에 대한 연구는 인종, 성별, 사회경제적 지위, 장학금 여부와 같은 인구통계학적 정보도 수집하고 통제해야 합니다. 데이터의 가용성이 제한적이라는 점을 고려할 때, 과거 운동선수 참여와 의학 분야에서의 성공 사이의 관계를 더 잘 이해하기 위해서는 향후 조사가 필요합니다. 
Future research should also work to define the specific elements that contribute to the potential correlation between athletics and success in medicine. Further establishing these underlying skills would allow admissions committees to select candidates, whether athletes or non-athletes, that possess the skillsets and experiences most predictive of later success in medicine. Additionally, research on this topic should likewise collect and control for demographic information such as race, gender, socioeconomic status and scholarship status. Given the limited availability of data, future investigation is needed to better understand the relationship between former participation in athletics and success in medicine.

4.2 결론
4.2 Conclusions

이 연구는 의대, 레지던트, 전공의 시절 운동선수의 성과에 관한 현재 문헌을 종합했습니다. 의학에서의 성과에 관한 방대한 양의 문헌과 의학교육, 의학의 다양성 및 의대 입학 과정을 개선하기 위한 제안된 개입에도 불구하고, 이전 운동 경험과 의학에서의 성과 사이의 관계를 평가하는 문헌은 제한적입니다. 제한적이기는 하지만, 현재의 문헌에 따르면 운동선수 경력이 의과대학 및 레지던트 과정에서의 성공을 예측하는 요인이 될 수 있습니다. 특히, 여러 연구에 따르면 운동선수 출신이 의대생과 레지던트가 되었을 때 수술 기술 숙련도가 증가하고 번아웃이 감소하는 것으로 나타났습니다. 이러한 관계는 팀워크, 의사소통, 회복탄력성, 시간 관리 등 많은 운동선수들이 가지고 있는 여러 가지 기술 때문일 수 있습니다. 교육 기관과 입학 위원회는 의학에 관심이 있는 운동선수들을 지원하고 지원자를 평가할 때 이러한 기술의 시연을 고려해야 합니다. 
This study synthesises the current literature on the performance of athletes in medical school, residency and as attending physicians. Despite the vast amount of literature on performance in medicine and proposed interventions to improve medical education, diversity in medicine and medical admissions processes, there is limited literature evaluating the relationship between previous experience in athletics and performance in medicine. Though limited, the current literature suggests former participation in athletics may be a predictor of success in medical school and residency. Specifically, multiple studies indicate that former athletes demonstrated increased surgical skill proficiency and decreased burnout as medical students and residents. The observed relationship may be due to a number of skills many athletes possess—such as teamwork, communication, resilience and time management. Educational institutions and admissions committees should support athletes interested in medicine and consider the demonstration of these skills when evaluating candidates.

© 2023 Association for the Study of Medical Education and John Wiley & Sons Ltd.

보건의료전문직교육을 위한 선발 방법에 대한 지원자 인식: 논리와 하위그룹별 차이 (Med Educ, 2023)
Applicant perceptions of selection methods for health professions education: Rationales and subgroup differences 
Suzanne Fikrat-Wevers1 | Karen Stegers-Jager1 | Marleen Groenier2 | Andries Koster3 | Jan Hindrik Ravesloot4 | Renske Van Gestel3 | Anouk Wouters5,6 | Walter van den Broek1 | Andrea Woltman1 

1 서론
1 INTRODUCTION

학부 보건 전문직 교육(HPE)에 대한 선발은 관련된 높은 이해관계로 인해 공개적인 논쟁의 주제입니다.1 그럼에도 불구하고 다양한 선발 방법에 대한 대부분의 연구는 예측 타당성과 학생 다양성에 미치는 영향에 초점을 맞춘 반면, 지원자의 인식에 대해서는 거의 관심을 기울이지 않았습니다.2 지원자 인식이 기회균등선발(WA)의 맥락에서 관련성이 있다고 주장되어 왔기 때문에 이는 놀라운 일입니다.1 사회경제적 수준이 낮고 소수인종인 집단의 과소대표는 복잡하고 다양한 원인에 의한 문제이지만, 이러한 집단은 선발에 대한 부정적인 인식의 결과에 특히 취약한 것으로 여겨집니다.1, 3 그러나 지금까지 지원자의 여러 하위 집단 간의 인식을 비교하여 실제로 그러한지 조사한 연구는 없었습니다. 본 연구에서는 학부 HPE의 다양한 선발 방식에 대한 지원자의 인식과 이러한 인식이 지원자의 배경 특성과 어떤 관련이 있는지 조사하여 이러한 지식 격차를 해결했습니다.
Due to the high stakes involved, selection into undergraduate health professions education (HPE) is a topic of public debate.1 Nevertheless, most research into different selection methods has focused on predictive validity and effects on student diversity, while little attention has been paid to applicant perceptions.2 This is surprising, as it has been argued that applicant perceptions are relevant within the context of widening access (WA).1 Although the underrepresentation of lower socio-economic and ethnic minority groups is a complex and multicausal problem, these groups are thought to be particularly vulnerable to the consequences of negative perceptions regarding selection.1, 3 However, thus far, no research has compared perceptions between different subgroups of applicants to investigate whether this is really the case. In the present study, we addressed this knowledge gap by investigating applicant perceptions of different selection methods in undergraduate HPE and how these perceptions are related to applicants' background characteristics.

선발 방법에 대한 지원자의 인식을 이해하는 것은 여러 가지 이유로 중요합니다.

• 첫째, 지원자 인식은 광범위한 타당성 프레임워크에서 증거의 원천으로 사용되는 정치적 타당성의 구성 요소입니다.4 정치적 타당성은 이해관계자들이 어떤 방법을 선발에 사용하기에 적절하고 수용 가능한 것으로 간주하는 정도로 정의됩니다.4 실제로 선발 절차를 설계할 때 정치적 타당도를 고려하는데, 이는 전통적인 면접과 같이 제한된 예측 타당도가 입증된 선발 방법이 여전히 일반적으로 사용되고 있다는 사실에서 잘 드러납니다.1
• 둘째, 지원자의 인식은 다양한 실제 결과를 초래할 수 있으므로 특히 중요합니다(선발 방법의 구성 타당도와 지원자의 동기 부여, 성과 및 이탈에 미치는 영향 등).2, 5-7 주목할 만한 점은 지원자가 선발 위원회의 기대에 대한 이해를 통해 이러한 숨겨진 기대에 '부합'하기 위해 선발을 준비하는 방식을 형성할 수 있다는 점입니다.8-10
• 또한 지원자의 인식은 WA와 관련이 있습니다.1 이전 연구에 따르면 사회경제적 수준이 낮고 소수 민족 배경을 가진 예비 학생들은 전형에 대해 부정적인 인식을 더 자주 보이며, 성공적으로 입학할 수 있다는 자신감이 떨어집니다.3, 11 이러한 지원자 하위 그룹은 일반적으로 전형 결과가 더 좋지 않은 것으로 나타났습니다.12, 13 이는 부정적인 인식으로 인한 동기 부여 저하로 부분적으로 설명될 수 있습니다.14

Understanding applicant perceptions of selection methods is important for multiple reasons.

• First, applicant perceptions are a component of political validity, which is used as a source of evidence in broader validity frameworks.4 Political validity is defined as the extent to which stakeholders consider a method as appropriate and acceptable for use in selection.4 In practice, political validity is taken into consideration when designing selection procedures, which is exemplified by the fact that selection methods with proven limited predictive validity, such as traditional interviews, are still commonly used.1 
• Second, perceptions of applicants are of particular interest, as they can have numerous practical consequences, including effects on construct validity of selection methods, and on applicant motivation, performance and withdrawal.2, 5-7 Noteworthy is that applicants' understanding of the expectations of selection committees can shape the way they prepare for selection in order to ‘fit’ these hidden expectations.8-10 
• Moreover, applicant perceptions are relevant with respect to WA.1 Previous research suggests that prospective students with lower socio-economic and ethnic minority backgrounds more often demonstrate negative perceptions of selection and are less confident in their ability to be successfully admitted.3, 11 These subgroups of applicants are shown to have poorer selection outcomes in general,12, 13 which may be partially explained by poorer motivation due to more negative perceptions.14

지원자의 선발에 대한 인식은 일반적으로 분배적 정의와 절차적 정의를 구분하는 조직 정의 이론15을 사용하여 설명합니다.

• 분배적 정의는 선발 절차 결과의 분배가 공정한지에 대한 인식인 반면,
• 절차적 정의는 선발 절차 및 이러한 결과를 생성하는 데 사용되는 방법이 공정한지에 대한 인식을 말합니다.15 절차적 정의는 세 가지 구성 요소로 이루어집니다.
  
  • 절차의 형식적 특성,
  • 절차 및 의사 결정에 대한 설명,
  • 대인적 대우

Applicant perceptions of selection are commonly described using organisational justice theory,15 which distinguishes between distributive and procedural justice.

• Distributive justice describes the perceived fairness of the distribution of the outcome of the selection procedures, while
• procedural justice refers to the perceived fairness of the selection procedure and methods that are used to generate this outcome.15 Procedural justice consists of three components:
  • the formal characteristics of procedures,
  • explanation of procedures and decision-making and
  • interpersonal treatment.

조직 정의 이론에 따르면, 이 세 가지 절차적 정의 구성 요소는 선발 절차의 다양한 측면에 대한 인식에 영향을 미칩니다. 

• 본 연구에서는 절차적 정의 구성요소 중 선발의 형식적 특성에 초점을 맞췄는데, 이는 길리랜드(Gilliland)에 따르면 본 연구의 주요 관심사인 특정 선발 방법에 대한 인식이 주로 이 구성요소의 영향을 받기 때문입니다. 이러한 형식적 특성의 예로는 선택 방법의 관련성 및 인지된 타당성이 있습니다.
• 다른 두 가지 구성 요소인 절차 및 의사 결정에 대한 설명과 대인 관계는 각각 선발 정책과 선발 담당자에 대한 인식에 영향을 미칩니다.

According to organisational justice theory, the three procedural justice components affect perceptions of different aspects of selection procedures.

• The present study focuses on the procedural justice component formal characteristics of selection, because according to Gilliland,15 perceptions of specific selection methods—the main interest of the present study—are mostly affected by this component. Examples of such formal characteristics include relevance and perceived validity of selection methods.
• The other two components, explanation of procedures and decision-making and interpersonal treatment, influence perceptions of the selection policy and the selection personnel, respectively.

교육 기관은 선발 절차에서 매우 다양한 방법을 사용합니다. 그러나 이러한 방법에 대한 지원자의 인식에 대한 지식은 여전히 부족합니다.2 체계적 문헌고찰에 따르면 면접과 상황판단검사(SJT)는 지원자의 높은 지지를 받는 반면 적성검사는 덜 수용적이라고 인식하고 있습니다.1 이 문헌고찰에는 많은 수의 연구(71편)가 포함되어 있지만 대부분 단일 기관에서 특정 선발 방법에 대한 노출 후 수행된 연구였습니다. 이전 연구에 따르면 선발 절차가 연구 선택에 영향을 미치는 것으로 나타났기 때문에,2 이러한 16개의 연구 결과는 제한적으로만 비교 및 일반화할 수 있습니다. 또한 Kelly 등1은 특정 선발 방식이 특히 소외계층과 소수자 집단에 의해 장벽으로 인식된다고 제안했지만, 검토 대상 연구 중 서로 다른 지원자 하위 집단의 인식을 직접 비교한 연구는 없었습니다. 
Educational institutions use a great variety of methods in their selection procedures. However, knowledge about perceptions of applicants regarding these methods is still scarce.2 A systematic review concluded that interviews and situational judgement tests (SJTs) are highly supported by applicants, while aptitude tests are perceived as less acceptable.1 Although this review included a large number of studies (71), most were conducted in single institutions after exposure to one specific selection method. Because previous research indicates that the selection procedure plays a role in study choice,2, 16 results of such studies are only limitedly comparable and generalisable. Additionally, while Kelly et al.1 suggested that certain selection methods are specifically perceived as barriers by underrepresented and minority groups, none of the studies under review directly compared perceptions of different applicant subgroups.

지금까지 지원자 인식의 하위 그룹별 차이를 직접 조사한 연구는 거의 없었습니다. 우리가 아는 한, HPE 분야에서 단일 사이트 연구가 수행된 것은 단 한 건뿐입니다. 이 연구는 SJT에 초점을 맞춘 것으로, 소수민족 학생과 1세대 대학생이 기존 전형에 비해 SJT 전형에 대해 다른 선호도를 보인다는 결론을 내렸습니다.14 학부 심리학 프로그램에서 수행된 또 다른 단일 사이트 연구는 다양한 전형 방법을 포함했지만 배경 변수로서 성별에만 초점을 맞추었습니다.2 추첨과 고등학교 성적은 낮은 선호도를 보인 반면 시험과 면접은 높은 수용성을 보인 것으로 나타났지만 제공된 평가의 근거는 탐구되지 않았습니다. 저자들은 동기 부여 설문지에 대해서만 여성이 남성보다 더 긍정적으로 평가했으며, 다른 선발 방법에 대한 인식은 성별에 따라 차이가 없음을 발견했습니다. 
Thus far, only few studies have directly investigated subgroup differences in applicant perceptions. To our knowledge, only one single-site study was executed in the field of HPE. This research focused on SJTs and concluded that ethnic minority students and first-generation university students had other preferences in SJT format compared with their traditional counterparts.14 Another single-site study that was conducted at an undergraduate psychology programme included a wide range of selection methods but only focused on gender as a background variable.2 Low favourability ratings were found for lottery and high school grades, while tests and interviews were perceived as highly acceptable, but the rationales behind the provided ratings were not explored. The authors found that only motivation questionnaires were rated more positively by women than by men, while perceptions of other selection methods under research did not differ by gender.

따라서 다양한 방법을 포함하고 다양한 관련 배경 특성을 포함하는 다중 기관 환경에서의 연구와 관련하여 지원자 인식 문헌에는 격차가 존재합니다. 본 연구에서는 지원자들이 학부 HPE 입학을 위한 다양한 선발 방법을 어떻게 인식하는지, 그리고 그러한 인식의 근거는 무엇인지 조사했습니다. 또한 지원자의 성별, 이주 배경(민족성 지표), 부모 교육(SES 지표), 이전 교육 등 선발 결과와 관련된 배경 변수에 따라 지원자 하위 그룹 간에 이러한 인식이 다른지 평가했습니다.12, 13, 17, 18 
Thus, there is a gap in the applicant perceptions literature with respect to research in multi-institutional settings, that includes a variety of methods and that includes numerous relevant background characteristics. In the present study, we investigated how applicants perceive different selection methods for admission into undergraduate HPE and the rationales behind their perceptions. Additionally, we assessed whether these perceptions differ across subgroups of applicants based on background variables that are associated with selection outcomes: applicants' gender, migration background (as an indicator of ethnicity), parental education (as an indicator of SES) and prior education.12, 13, 17, 18

 2 방법
2 METHOD

2.1 설정 및 절차
2.1 Setting and procedure

본 연구는 네덜란드에 있는 3개의 의학 프로그램, 1개의 기술-의료 프로그램, 1개의 약학 프로그램을 포함한 5개의 학부 HPE 프로그램에서 수행되었습니다. 5개 프로그램 모두 자체적으로 설계한 선발 절차가 달랐으며, 최소 두 가지 선발 방법으로 구성되었습니다. 
The present study was conducted at five undergraduate HPE programmes in the Netherlands, including three medical programmes, one technical-medical programme and one pharmacy programme. All five programmes had different self-designed selection procedures, composed of at least two selection methods.

네덜란드에서는 다양한 유형의 학부 HPE 프로그램의 입학 요건이 비슷합니다. 입학 자격을 얻으려면 모든 지원자는 이수 과목(예: 물리, 화학, 생물학) 및 교육 수준(대학 예비 교육 졸업 수준)과 관련하여 동일한 엄격한 요건을 충족해야 합니다. 지원자는 다양한 교육 경로를 통해 지원할 수 있지만, 모두 앞서 언급한 요건을 충족한다는 증거를 제출해야 합니다. 결과적으로 지원자 풀은 비교적 동질적이며, 대학 수준의 학부 HPE 프로그램에 지원하는 학생들은 이미 고도로 선택적인 중등 교육으로 인해 학업 능력에 따라 강력하게 사전 선발됩니다.19 그러나 pu-GPA와 관련된 입학 요건은 없습니다. 지원자는 자신이 선택한 프로그램에 지원할 때 하나의 특정 교육기관에 지원하게 됩니다. 각 기관마다 미리 정해진 정원이 있습니다. 법에 따라 교육기관은 선발 절차의 일부로 구현할 수 있는 개별 도구인 선발 방법을 사용하여 평가되는 최소 두 가지 이상의 선발 기준을 포함해야 합니다. 그러나 선발 방법의 내용과 품질, 그리고 어떤 방식으로 결합할 것인지에 대한 추가 요건은 없습니다. 따라서 각 기관의 여러 유형의 HPE 프로그램 간 또는 프로그램 내에서 채택하는 선발 절차는 매우 다양합니다. 현재 프로그램에서 선발 절차의 일부로 (가중치 및 비가중치) 추첨을 선발 방법으로 포함할 수 있도록 하는 법안이 계류 중입니다.
In the Netherlands, admission requirements of different types of undergraduate HPE programmes are comparable. To be eligible, all applicants need to meet the same stringent requirements regarding subjects taken (e.g. physics, chemistry and biology) and educational level (graduation level of pre-university education). Although applicants can apply from different educational routes, they all need to provide proof that they meet aforementioned requirements. Consequently, the applicant pools are relatively homogeneous; students who apply to a university-level undergraduate HPE programme are already strongly preselected based on academic skills due to highly selective secondary education.19 There are no admission requirements, however, with respect to pu-GPA. When applicants apply to their programme of choice, they apply to one specific institution. For each institution, there is a predetermined fixed number of places. By law, institutions are required to include at least two selection criteria, which are assessed using selection methods—the individual tools that can be implemented as part of a selection procedure. However, there are no additional requirements with respect to, for instance, the contents and quality of the selection methods, and in which way they would be combined. Consequently, there is great variety in the selection procedures that programmes employ, both between and within different types of HPE programmes at different institutions. Currently, a bill is pending that should allow programmes to also include (weighted and unweighted) lottery as a selection method as part of their selection procedure.

2020년 9월에 입학 선발 절차에 참여한 모든 지원자(N=3280)는 지원자 인식에 관한 온라인 설문조사에 참여하도록 초대되었습니다. 또한 지원자들은 현장 테스트 당일 또는 이메일을 통해 인구통계학적 설문지를 작성하도록 요청받았습니다.
All applicants engaged in the selection procedures for entry in September 2020 (N = 3280) were invited to participate in an online survey on applicant perceptions. Additionally, applicants were asked to complete a demographics questionnaire either during an on-site testing day or via e-mail.

모든 참가자로부터 사전 동의를 얻었습니다. 지원자에게는 참여가 자발적인 것이며 선발 결과에 영향을 미치지 않는다는 사실을 알렸습니다. 어떠한 인센티브도 제공되지 않았습니다. 에라스무스 MC의 의료윤리심의위원회는 이 연구의 심의 면제를 선언했습니다.
Informed consent was obtained from all participants. Applicants were informed that participation was voluntary and would not influence their selection outcomes. No incentives were provided. The Medical Ethical Review Committee of Erasmus MC declared the study exempt from review.

2.2 측정 방법
2.2 Measures

지원자의 인식은 조직 정의 이론에 기반한 7가지 항목이 포함된 이전에 보고된 설문지를 사용하여 측정했습니다.14 각 항목은 7점 리커트 척도를 사용하여 평가했습니다. 이전 연구에 따라2, 14 일반적 호감도는 두 가지 항목을 사용하여 평가했습니다.

• 인지된 예측 타당도
• 인지된 공정성

나머지 5개 항목은 절차적 정의 차원을 반영했습니다.

• 안면 타당도,
• 지원자 변별력,
• 학업 관련성,
• 수행 기회,
• 부정행위의 용이성

Applicant perceptions were measured using a previously reported questionnaire including seven items based on organisational justice theory.14 Each item was judged using a 7-point Likert scale. In accordance with previous studies,2, 14 general favourability was assessed using two items:

• perceived predictive validity and
• perceived fairness.

The other five items reflected the following procedural justice dimensions:

• face validity,
• applicant differentiation,
• study relatedness,
• chance to perform and
• ease of cheating.

각 정의 차원에 대한 구체적인 항목(즉, 응답자에게 제공된 정의)과 평가 척도는 표 S1에서 확인할 수 있습니다. 응답자들은 일반적으로 사용되는 11가지 전형 방법, 즉 인지능력 검사, 커리큘럼 샘플링 검사, 이력서(CV), 면접, 지원동기서, 인성 설문, 대학 전 학년 평점(pu-GPA), SJT, 기술 테스트, 무가중 추첨 및 가중 추첨에 대해 지원자 인식 항목을 개별적으로 평가하도록 요청받았습니다. 무가중 추첨과 가중 추첨의 경우, 다른 항목은 해당 방법과 관련이 없는 것으로 간주하여 일반적 호감도와 안면 타당도만 평가했습니다. 각 선발 방법에 대한 간략한 설명(표 S2)과 함께 SJT 및 인성 설문지의 예시 항목이 제공되었습니다. 각 선발 방법(추첨 포함)에 대해 지원자들은 '[방법]을 선발 방법으로 사용하는 것에 대해 하고 싶은 말이 있습니까?"라는 개방형 질문에 답하도록 요청받았습니다. 선발 방법은 순서 효과를 완화하기 위해 무작위 순서로 제시되었습니다.
The specific items (i.e. definitions provided to respondents) and rating scales of each justice dimension can be consulted in Table S1. Respondents were asked to rate the applicant perception items separately for 11 commonly used selection methods: cognitive capacity test, curriculum-sampling test, curriculum vitae (CV), interview, motivation letter, personality questionnaire, pre-university grade-point average (pu-GPA), SJT, skills test, unweighted lottery and weighted lottery. For unweighted and weighted lottery, only general favourability and face validity were assessed, as the other items were considered irrelevant for those methods. A short description of each selection method was provided (Table S2), along with example items for the SJT and personality questionnaire. For each method (including lottery), applicants were also asked to answer the following open-ended question: ‘Do you have any remarks about using [insert method] as a selection method?’ The selection methods were presented in a random order to mitigate order effects.

인구통계학적 설문에는 성별, 이주 배경, 이전 교육, 부모 교육 등의 변수가 포함되었습니다. 본 연구에서는 성별의 다양성을 인정하여 지원자가 '남성', '여성', '기타(자유 텍스트 상자)'의 세 가지 범주 중에서 선택할 수 있도록 했습니다. 이주 배경은 네덜란드 통계청(CBS)에 따라 정의되었습니다. 지원자는 다음으로 분류되었습니다. 

• (i) 부모 모두 네덜란드에서 태어난 경우 이주 배경 없음, 
• (ii) 부모 중 한 명 이상이 유럽(네덜란드 및 터키 제외), 북미, 오세아니아, 일본 또는 인도네시아에서 태어난 경우 서구 이주 배경, 
• (iii) 부모 중 한 명 이상이 아프리카, 아시아(일본 및 인도네시아 제외), 라틴 아메리카 또는 터키에서 태어난 경우 비 서구 이주 배경

사전 교육과 관련해서는 네덜란드의 표준 대학 전 교육, 대학 및 기타 형태의 사전 교육(예: 고등 직업 교육, 외국 교육)을 구분했습니다. 마지막으로, 부모 교육과 관련하여 지원자의 부모 중 누구도 고등 교육(대학 또는 고등 직업 교육)을 받은 적이 없는 경우 지원자를 1세대 대학 지원자로 분류했습니다.
The following variables were included in the demographics questionnaire: gender, migration background, prior education and parental education. Gender diversity was acknowledged in the present study, and applicants had the option to choose between three categories: ‘man’, ‘woman’ and ‘other, namely [free text box]’. Migration background was defined in accordance with Statistics Netherlands (CBS). Applicants were categorised in three groups:

• (i) no migration background when both parents were born in the Netherlands;
• (ii) a Western migration background when at least one parent was born in Europe (excluding the Netherlands and Turkey), North America, Oceania, Japan or Indonesia; and
• (iii) a non-Western migration background when at least one parent was born in Africa, Asia (excluding Japan and Indonesia), Latin America or Turkey.

With respect to prior education, we distinguished between standard Dutch pre-university education, university and other forms of prior education (e.g. higher vocational education, foreign education). Finally, for parental education, applicants were categorised as first-generation university applicants when none of their parents had attended higher education (university or higher vocational education).

2.3 분석
2.3 Analyses

다양한 선발 방식에 대한 지원자의 인식을 조사하기 위해 서술적 통계를 사용했습니다. 내적 일관성을 확인한 후, 각 방식에 대한 각 응답자의 일반적 선호도는 두 가지 일반적 선호도 항목의 평균 점수로 계산했습니다. 일반적 호감도 및 기타 항목에 대해서는 각 선택 방법에 대한 평균 점수와 95% 신뢰 구간을 계산했습니다. 또한 절차적 정의 차원 간의 관계를 조사하기 위해 각 전형 방법별 일반적 호감도 점수와 다른 항목 간의 상관관계를 계산했습니다. 
In order to investigate applicant perceptions of different selection methods, we used descriptive statistics. After checking for internal consistency, general favourability of each method for each respondent was calculated as the mean score on the two general favourability items. For general favourability and the other items, the mean score and 95% confidence interval for each selection method were calculated. Additionally, we calculated correlations between scores on general favourability and the other items for each method to examine relationships between the procedural justice dimensions.

지원자 하위 그룹에 따라 지원자의 인식이 다른지 알아보기 위해 선형 혼합 모델을 사용했습니다. 혼합 모형은 부분적으로 누락된 데이터를 보정하고 개인 및 상황 관련 차이를 통제할 수 있었습니다. 이 모형의 종속변수는 평균 일반 호감도 점수였습니다. 고정 효과에는 선발 방법과 각 선발 방법과 관심 있는 인구통계학적 변수(성별, 이주 배경, 이전 교육 및 부모 교육) 간의 상호작용 효과가 포함되었습니다. 무작위 요인에는 지원자 ID와 지원자가 지원한 프로그램이 포함되었으며, 구조화되지 않은 공분산 구조를 사용했습니다. 공분산 구조에 대한 결정은 카이케 정보 기준에 따라 이루어졌습니다. 이 분석을 위해 개별 지원자의 데이터는 11가지 선발 방법 중 10개 이상이 일반적인 호감도로 평가된 경우에만 사용되었습니다.
To study whether applicant perceptions differed for subgroups of applicants, we used a linear mixed model. The mixed model compensated for partially missing data and allowed us to control for individual and context-related differences. The dependent variable in this model was the mean general favourability score. Fixed effects included the selection method, as well as the interaction effects between each selection method and the demographic variables of interest (gender, migration background, prior education and parental education). Random factors included applicant id and the programme to which the applicant applied, using an unstructured covariance structure. The decision on the covariance structure was based on the Akaike information criterion. For this analysis, data of individual applicants were used only when at least 10 of the 11 selection methods were rated on general favourability.

개방형 질문에 대한 답변은 구성주의 패러다임에서 지원자의 인식 이면에 있는 근거를 보다 심층적으로 파악하는 데 사용되었습니다. 본 연구에서는 지시적 접근법을 사용하여 내용에 대한 질적 분석을 사용했습니다.20 지시적 접근법에서는 이론적 틀을 검증하고 확장하기 위한 목적으로 이론을 코드 형성을 위한 초기 지침으로 사용합니다. 본 연구에서는 조직 정의 이론의 이론적 개념이 코드화 과정의 기초를 형성했습니다. 장과 와일더무스가 설명한 분석 절차를 따랐습니다.21 제1저자(SFW)는 데이터에 익숙해지고 코딩 매뉴얼을 개발했습니다.

• 상위 코드는 설문지의 이론적 개념인 안면 타당도, 지원자 차별화, 연구 관련성, 수행 기회, 부정행위의 용이성을 기반으로 미리 결정되었습니다.
• 또한 우리가 실시한 설문지에서 다루지 않은 조직 정의 이론의 다른 개념들, 즉 분배 정의, 채용 중 반응, 채용 후 반응, 자기 인식은 물론 절차적 정의와 관련하여 이전에 보고된 설문지에서 사용된 다른 항목들인 과학적 증거, 대인관계의 따뜻함, 사용할 권리, 사생활 침해, 광범위한 사용, 노력 기대치, 알려진 정보, 재고 기회, 피드백, 관리의 일관성, 개방성, 대우, 양방향 커뮤니케이션 등이 코딩 매뉴얼의 상위 코드로 포함되었습니다.2, 22
• 하위 코드는 코딩 과정에서 개발되었습니다.

The answers to the open-ended questions were used to get a more in-depth view of the rationales behind applicant perceptions, from a constructivist paradigm. We used qualitative analysis of content, employing a directed approach.20 With a directed approach, a theory is used as initial guidance for the formation of codes with the goal of validating and extending the theoretical framework. In the present study, theoretical concepts of organisational justice theory formed the foundation for the coding process. We followed the analytical procedure described by Zhang and Wildemuth.21 The first author (SFW) familiarised herself with the data and developed a coding manual.

• Higher order codes were predetermined and were based on the theoretical concepts of the questionnaire:
  • face validity, applicant differentiation, study relatedness, chance to perform and ease of cheating.
• Additionally, other concepts of organisational justice theory that were not covered by the questionnaire we administered were included as higher order codes in the coding manual, including
  • distributive justice, reactions during hiring, reactions after hiring and self-perceptions, as well as other items used in previously reported questionnaires referring to procedural justice: scientific evidence, interpersonal warmth, right to use, invasion of privacy, wide-spread use, effort expectancy, information known, reconsideration opportunity, feedback, consistency of administration, openness, treatment and two-way communication.2, 22 
• Lower order codes were developed during the coding process.

따라서 먼저 공개 답변이 어떤 이론적 개념을 참조하는지 파악한 다음(상위 코드), 지원자가 제공한 구체적인 논거를 코딩했습니다(하위 코드). 또한 분석의 모든 단계에서 비판적인 대화를 나누고 이론의 사각지대를 인식함으로써 이론적 틀을 벗어난 잠재적으로 관련성이 있는 결과를 식별하기 위해 반사성을 활용하고자 했습니다. 제1저자(교육학 박사과정, 교육학 전공)와 제2저자(한국교육개발원 선임연구원, 교육학 전공, 다양성 연구 경험)는 각 선택 방법에 대해 두 개의 답변을 함께 코딩한 후, 각 선택 방법에 대해 10개의 무작위 샘플을 독립적으로 코딩했습니다. 일치도가 높았기 때문에 나머지 답변은 SFW가 코딩한 후 KMSJ가 일관성 검사를 실시했습니다. 일관성 점검은 각 코드에 대해 댓글의 하위 샘플이 해당 코드가 다루는 주제에 실제로 적용되는지 여부를 비판적으로 검토하는 것을 수반했습니다. SFW는 전체 연구팀과 논의한 데이터에서 결론을 도출했습니다. 
Thus, we first identified to which theoretical concept an open answer referred (higher order codes) and subsequently coded the specific argument the applicant provided (lower order codes). We also aimed to employ reflexivity to identify potentially relevant findings that were outside of our theoretical framework, by having critical dialogues throughout all stages of the analyses and being aware for blind spots in the theory. SFW (PhD candidate, background in educational sciences) and the second author (KMSJ; senior researcher, background in educational sciences, experienced in research on diversity) coded two answers for each selection method together and then coded a random sample of 10 answers for each selection method independently. Because there was a high level of agreement, SFW coded the remaining answers, after which KMSJ conducted a consistency check. The consistency check entailed that for each code, it was critically reviewed whether a subsample of the comments did indeed apply to the subject covered by that specific code. SFW drew conclusions from the data that were discussed with the full research team.

3 결과
3 RESULTS

3.1 참가자 특성
3.1 Participant characteristics

총 704명의 지원자가 연구에 참여했습니다(응답률 = 21%). 응답자 중 71%가 여성으로 확인되었고, '기타'로 확인된 지원자는 1명이었습니다. 이 지원자는 하위 그룹 분석에서 제외되었으므로 결과에는 남성과 여성의 범주만 설명되어 있습니다. 또한 35%는 이주 배경을 가지고 있었고(비서양 26%, 서양 9%), 25%는 1세대 대학 지원자였습니다. 사전 교육과 관련하여 77%는 표준 대학 전 교육, 15%는 대학, 8%는 기타 형태의 사전 교육을 통해 직접 지원했습니다. 성별, 부모 교육 및 사전 교육과 관련하여 본 연구의 인구통계학적 분포는 남성과 1세대 대학 지원자가 과소 대표되는 네덜란드에서 수행된 다른 연구와 비슷했습니다.12, 17, 18 이주 배경을 가진 지원자는 네덜란드에서도 과소 대표되지만,12 본 연구에서는 상대적으로 큰 하위 그룹을 구성했으며, 이는 포함된 대부분의 프로그램이 도시에 위치하기 때문일 수 있습니다. 
In total, 704 applicants participated in the study (response rate = 21%). Amongst the respondents, 71% identified as woman, and one applicant identified as ‘other’. This individual was excluded from the subgroup analyses and therefore only the categories men and women are described in the results. Furthermore, 35% had a migration background (26% non-Western, 9% Western), and 25% were first-generation university applicants. With respect to prior education, 77% applied directly from standard pre-university education, 15% from university and 8% from other forms of prior education. With respect to gender, parental education and prior education, demographic distributions in the present study were comparable with those of other research conducted in the Netherlands, where men and first-generation university applicants are underrepresented.12, 17, 18 Applicants with a migration background are also underrepresented in the Netherlands,12 but composed a relatively large subgroup in the present study, which may be due to the urban setting of most of the included programmes.

3.2 일반적 호감도
3.2 General favourability

두 가지 일반적 호감도 항목은 충분하거나 양호한 내적 일관성을 보였습니다(인지능력 검사: α = 0.84, 커리큘럼 샘플링 검사: α = 0.74, 이력서: α = 0.83, 면접: α = 0. 77, 지원동기서: α = 0.79, 인성 설문: α = 0.79, pu-GPA: α = 0.85, SJT: α = 0.81, 기술 테스트: α = 0.79, 가중치 없는 추첨: α = 0.79, 가중치 없는 추첨: α = 0.86). 
The two general favourability items showed a sufficient to good internal consistency (cognitive capacity test: α = 0.84, curriculum-sampling test: α = 0.74, CV: α = 0.83, interview: α = 0.77, motivation letter: α = 0.79, personality questionnaire: α = 0.79, pu-GPA: α = 0.85, SJT: α = 0.81, skills test: α = 0.79, unweighted lottery: α = 0.79, unweighted lottery: α = 0.86).

지원자들은 

• 커리큘럼 샘플링 시험(평균[M] = 5.32, 95% 신뢰구간[95% CI; 5.24, 5.40], 표 1)에 대해 가장 높은 호감도를 보인 반면,
• 가중치 추첨(M = 3.05 [2.93, 3.17])과 무가중 추첨(M = 2.97 [2.83, 3.10])에 대해서는 가장 낮은 호감도를 보인 것으로 인식하고 있었습니다.

Applicants provided the highest general favourability ratings for curriculum-sampling tests (mean [M] = 5.32, 95% confidence interval [95% CI; 5.24, 5.40]; Table 1), while weighted lottery (M = 3.05 [2.93, 3.17]) and unweighted lottery (M = 2.97 [2.83, 3.10]) were perceived least favourable.

일반 호감도 점수와 다른 지원자 인식 항목 간의 모든 상관관계는 통계적으로 유의미했지만(p <0.05), 상관관계의 강도는 매우 다양했습니다(표 3 참조). 일반적인 호감도와 가장 강력한 상관관계를 보인 정의성 차원은 안면 타당성이었으며, 부정행위의 용이성과 일반적인 호감도 간의 음의 상관관계는 가장 작았습니다.
All correlations between the general favourability score and other applicant perception items were statistically significant (p < 0.05), but there was a great range in the strengths of the correlations (see Table 3). The justice dimension that was most strongly related with general favourability was face validity, while the negative correlation between ease of cheating and general favourability was the smallest.

지원자의 인식은 프로그램마다 차이가 있는 것으로 나타났습니다(표 2). 일반적으로 지원자들은 자신이 지원한 프로그램에서 사용한 선발 방식에 대해 사용하지 않은 방식에 비해 더 긍정적인 인식을 가지고 있었습니다.
Applicant perceptions appear to differ between different programmes (Table 2). Generally, applicants had more positive perceptions towards selection methods used by the programme they applied to compared with methods that were not used.

3.3 정의의 차원
3.3 Justice dimensions

다음 섹션에서는 인식 점수의 정량적 결과와 지원자의 추론에 대한 정성적 결과를 통합하여 다양한 정의의 차원에 대한 결과를 제시할 것입니다. 가장 두드러진 결과만 논의하며, 정량적 및 정성적 결과에 대한 전체 개요는 각각 표 3과 표 4를 참조하시기 바랍니다. 
In the next sections, the results for the different justice dimensions will be presented by integrating the quantitative findings of perception scores and the qualitative findings of applicants' reasoning. Only the most salient findings are discussed, and for a complete overview of the quantitative and qualitative findings, we refer to Tables 3 and 4, respectively.

3.3.1 안면 타당도
3.3.1 Face validity

커리큘럼 샘플링 테스트와 스킬 테스트는 안면 타당도에서 가장 높은 평가를 받았지만(각각 M = 5.46, 95% CI [5.37, 5.54], M = 5.27 [5.18, 5.36]), 지원자들은 이 차원과 관련하여 이 방법들에 대해 언급하지 않았습니다. 이는 다른 차원에서도 지원자들이 주로 부정적인 측면에 초점을 맞춰 댓글을 달았다는 점을 잘 보여줍니다. 면접은 안면 타당도 척도에서도 높은 평가를 받았습니다(M = 5.17 [5.07, 5.27]). 지원자들은 동기 부여, 성격, 사회적 기술 등의 속성을 중요하게 생각했지만 이러한 속성에 대한 서면 평가보다 구두 면접을 선호했습니다. 이는 인성 설문지의 상대적으로 낮은 평가도 설명할 수 있습니다(M = 3.87 [3.75, 3.99]). 내신성적 역시 낮은 평가를 받았는데(M = 3.70 [3.58, 3.82]), 지원자들은 입학 요건이 이미 프로그램에 입학할 수 있는 능력을 충분히 입증하기 때문에 내신성적은 부가적인 가치가 없다고 언급했습니다. 가중 추첨과 무가중 추첨에 대한 평가가 가장 낮았습니다(각각 M = 2.99 [2.87, 3.12], M = 2.50 [2.37, 2.63]). 지원자들은 두 가지 유형의 추첨이 모두 지원자의 스트레스와 압박감을 줄일 수 있다는 점을 인정했지만, 자신을 차별화하려는 강한 열망을 드러냈으며 추첨이 가장 우수하고 의욕적인 학생을 선발하지 못할 것이라고 믿었습니다. 
Curriculum-sampling tests and skills tests received the highest ratings on face validity (respectively, M = 5.46, 95% CI [5.37, 5.54], M = 5.27 [5.18, 5.36]), but applicants did not comment on these methods with respect to this dimension. This is illustrative of the observation that, also for other dimensions, applicants mainly focused on negative aspects in their comments. Interviews were also rated highly on the scale of face validity (M = 5.17 [5.07, 5.27]). Applicants considered attributes such as motivation, personality and social skills important but preferred an oral interview over a written assessment of these attributes. This may also explain the relatively low rating of personality questionnaires (M = 3.87 [3.75, 3.99]). Pu-GPA also received a low rating on face validity (M = 3.70 [3.58, 3.82]), and applicants mentioned that pu-GPA was not of added value as the admission requirements would already provide enough evidence of their capacity to enter the programme. The lowest ratings were provided for weighted and unweighted lottery (respectively, M = 2.99 [2.87, 3.12], M = 2.50 [2.37, 2.63]). Although applicants acknowledged that both types of lottery can reduce stress and pressure for applicants, they communicated a strong desire to distinguish themselves and believed that lotteries would not select the best and most motivated students.

3.3.2 지원자 변별
3.3.2 Applicant differentiation

스킬 테스트와 인터뷰는 지원자 변별에서 상대적으로 높은 점수를 받았습니다(각각 M = 5.25 [5.16, 5.34], M = 5.23 [5.13, 5.33]). 지원자들이 변별 능력을 평가하고 평가자가 지원자의 역량을 적절히 파악할 수 있다고 언급한 유일한 전형 방식이었습니다. 그러나 대부분의 선발 방식에 대해 지원자들은 해당 방식이 평가 목적이 아닌 다른 기술을 기준으로 지원자를 구별한다고 지적했습니다. 예를 들어, 지원자들에 따르면

• 지원동기서는 순수한 동기 대신 글쓰기 능력을 평가하고,
• 선발시험은 목표한 지식이나 기술 대신 시험에 대한 현명함과 준비 시간을 측정합니다.
• 인성 문항과 SJT는 지원자의 실제 성격이나 상황에 대한 반응보다는 매우 기본적인 지식이라고 생각되는 사회적 기대에 대한 지식에 따라 지원자를 구분한다는 비판을 받았습니다.
• Pu-GPA는 지원자들은 같은 학점이라도 지원자의 동기, 노력, 난이도에 따라 차이가 크다고 언급해 가장 낮은 점수(M = 3.25 [3.13, 3.36])를 받았습니다.

Skills tests and interviews received relatively high scores on applicant differentiation (respectively, M = 5.25 [5.16, 5.34], M = 5.23 [5.13, 5.33]). These were the only methods for which applicants mentioned that distinguishing skills are assessed and assessors can get an adequate overview of applicants' competencies. For most of the selection methods, however, applicants indicated that the methods distinguish candidates based on other skills than the methods are intended to assess. For instance, according to applicants,

• motivation letters assess writing skills instead of pure motivation, and
• selection tests measure test wiseness and preparation time instead of the targeted knowledge or skills.
• Personality questionnaires and SJTs received the criticism that applicants are distinguished based on their knowledge of social expectations—which they expected to be very basic knowledge—rather than their actual personality or reactions to situations.
• Pu-GPA received the lowest scores (M = 3.25 [3.13, 3.36]), as applicants mentioned that the same grade is the result of a wide range in motivation, effort and degree of difficulty.

3.3.3 학업 관련성
3.3.3 Study relatedness

일반적인 호감도에 비해 학업 관련성에 대한 평균 점수는 모든 전형 방법에서 상대적으로 낮았습니다(범위 M = 2.93-4.43). 한 가지 가능한 설명은 각 선발 방법에서 지원자들이 특정 관련 기술만 평가하고 다른 중요한 속성에 대한 정보는 누락되었다고 응답했기 때문입니다. 예를 들어, 지원자들에 따르면 인지 능력 테스트는 정보 처리 및 문제 해결과 같은 관련 기술을 평가할 수 있지만, 사회성 및 의사소통 능력은 고려되지 않습니다. 따라서 지원자들은 어떤 방법도 학습 성과를 완벽하게 예측할 수 없다고 생각했으며, 여러 가지 선발 방법을 조합하는 것을 선호했습니다. 지원자들은 광범위한 기술을 평가하는 것을 선호했지만, 프로그램 과정에서 이러한 기술 을 개발할 수 있는 여지가 있어야 한다고 말하며 딜레마에 빠졌습니다.
Compared with general favourability, the mean scores on study relatedness were relatively low for all selection methods (range M = 2.93–4.43). A possible explanation is that for each selection method, applicants indicated that only certain relevant skills are assessed, while information on other important attributes is missed. For instance, while cognitive capacity tests can, according to applicants, assess relevant skills such as information processing and problem-solving, social and communicative skills are not taken into account. Thus, applicants believed that none of the methods can fully predict study performance and they preferred a combination of selection methods. Although applicants preferred assessment of a broad range of skills, they also stated that there should be room to develop those skills over the course of the program, introducing a dilemma.

스킬 테스트와 커리큘럼 샘플링 테스트는 학습 관련성에서 가장 높은 점수를 받았습니다(각각 M = 4.43 [4.33, 4.53], M = 4.38 [4.28, 4.48]). 지원자들은 두 가지 방법 모두 광범위한 기술을 평가할 수 있다고 언급했습니다. 또한, 이 두 가지 방법의 경우에만 지원자들이 프로그램과 교재에 대해 더 잘 알 수 있어 지원자가 프로그램 내용에 관심이 있고 대처할 수 있는지를 평가할 수 있는 기회를 제공한다고 답했습니다. 가장 낮은 점수를 받은 방법인 평점과 이력서(각각 M = 3.11 [3.00, 3.22], M = 2.93 [2.82, 3.04])의 경우, 지원자들은 평가된 기술이 너무 일반적이며 이전 성과가 미래의 성공을 예측할 수 없다고 말했습니다. 
Skills tests and curriculum-sampling tests received the highest scores on study relatedness (respectively, M = 4.43 [4.33, 4.53], M = 4.38 [4.28, 4.48]). Applicants mentioned that both methods can assess a broad range of skills. Moreover, only for these methods, applicants stated that they can become more acquainted with the programme and its course materials, creating an opportunity for applicants to assess whether they are interested in and able to cope with the programme content. For the lowest scoring methods—pu-GPA and CV (respectively, M = 3.11 [3.00, 3.22], M = 2.93 [2.82, 3.04])—applicants stated that the assessed skills are too generic and that previous performance is not predictive of future success.

3.3.4 수행 기회
3.3.4 Chance to perform

수행 기회에 대한 평균 점수도 상대적으로 낮았습니다(범위 M = 3.09~4.90). 정성적 결과는 이 결과에 대한 몇 가지 잠재적인 설명을 제공합니다.

• 첫째, 지원자들은 수행 기회와 관련하여 몇 가지 딜레마를 언급했습니다. 예를 들어, 지원자들은 이전 성과보다 현재 지식과 기술에 대한 평가를 선호했으며 스냅샷 평가의 단점을 지적했습니다.
• 둘째, 각 선발 방식에 대해 지원자들은 특정 하위 그룹의 수행 기회를 방해할 수 있는 불평등의 원인을 발견했습니다. 예를 들어, 의료 분야 내 네트워크의 존재는 이력서를 작성하는 데 유용한 것으로 간주되었으며, 충분한 재정적 자원이 있는 지원자는 더 나은 시험 결과를 위해 상업적 코칭을 받거나 더 높은 학점을 위해 과외를 받을 수 있었습니다.

기술 테스트와 면접은 수행 기회에서 더 높은 점수를 받았으며(각각 M = 4.90 [4.80, 5.00], M = 4.77 [4.66, 4.89]), 지원자들은 이러한 방식이 다양한 자질을 보여줄 수 있는 더 많은 공간을 제공한다는 인상을 받았다고 언급했습니다. Pu-GPA는 가장 낮은 점수(M = 3.09 [2.97, 3.21])를 받았는데, 이는 지원 전에 데이터가 수집되었기 때문에 지원자들이 이 선발 방법에 대한 통제력이 부족하다고 느꼈기 때문으로 설명할 수 있습니다.
The mean scores on chance to perform were also relatively low (range M = 3.09–4.90). The qualitative results provide some potentially relevant explanations for this finding.

• First, applicants mentioned some dilemmas with respect to chance to perform. For instance, they preferred assessment of current knowledge and skills over previous achievements and pointed out drawbacks of snapshot assessments.
• Second, for each selection method, applicants noticed sources of inequality that can interfere with the chance to perform on a method for certain subgroups. For example, the existence of a network within the medical field was considered useful for building a CV, and applicants with enough financial resources could take commercial coaching for better test results and tutoring for a higher pu-GPA.

Skills test and interview scored higher on chance to perform (respectively, M = 4.90 [4.80, 5.00], M = 4.77 [4.66, 4.89]), and applicants noted that they got the impression that these methods allow for more space to show a broad range of qualities. Pu-GPA received the lowest scores (M = 3.09 [2.97, 3.21]), which can be explained by the fact that applicants experienced a lack of control for this selection method, as data had been collected before application.

3.3.5 부정행위의 용이성
3.3.5 Ease of cheating

부정행위의 용이성에서 가장 높은 점수를 받은 네 가지 전형 방법인 인성검사, 지원동기서, SJT, 면접(각각 M = 6.06 [5.96, 6.16], M = 5.72 [5.62, 5.82], M = 4.72 [4.57, 4.86], M = 4.62 [4.50, 4.74])에 대해 지원자들은 사회적 바람직성이 중요한 역할을 할 수 있다고 언급했습니다. 지원 동기 편지에 대한 또 다른 의견으로는 지원자가 다른 사람에게 편지를 쓰게 함으로써 쉽게 부정행위를 할 수 있다는 것입니다. 이력서 역시 상대적으로 부정행위를 저지르기 쉬운 것으로 간주되었습니다(M = 4.42 [4.28, 4.56]). 지원자들은 이력서 위조가 쉽고, 소수의 이력서 샘플만을 대상으로 정확성 여부를 확인한다고 설명했습니다. 지원자들은 낮은 점수의 선발 방식에서 부정행위가 더 어려운 이유에 대해 별다른 언급을 하지 않았습니다. 
For the four selection methods scoring highest on ease of cheating—personality questionnaire, motivation letter, SJT and interview (respectively, M = 6.06 [5.96, 6.16], M = 5.72 [5.62, 5.82], M = 4.72 [4.57, 4.86], M = 4.62 [4.50, 4.74])—applicants mentioned that social desirability can play a major role. An additional remark about motivation letters is that applicants can easily cheat by letting others write their letter. CV was also considered relatively easy to cheat on (M = 4.42 [4.28, 4.56]). Applicants explained that it is easy to forge documents, and only a small sample of CVs is checked on correctness. Applicants did not have any remarks about why it is harder to cheat on the lower scoring selection methods.

3.3.6 추가 차원
3.3.6 Additional dimensions

설문지에서 다루었던 정의의 차원 외에도 주관식 질문에 대한 답변에서 여러 가지 추가 차원을 확인했습니다.

• 첫 번째 정의의 차원은 행정의 일관성으로, 결정 절차가 사람에 따라 그리고 시간에 따라 편견 없이 일관되게 적용되는 정도를 의미합니다.22 이력서, 지원동기서, 인터뷰, 기술 테스트는 보다 주관적인 방법으로 간주되어 평가자의 개인적인 의견에 많은 여지를 주고 결과적으로 평가자 간 평가에 잠재적인 차이가 발생할 수 있습니다.
• 지원자들은 또한 pu-GPA 관리의 일관성에 대해서도 언급했습니다. 현재 pu-GPA는 학교별 시험을 기반으로 합니다. 지원자들은 학교마다 평가 방법, 난이도, 평가 방식에 큰 차이가 있어 다른 학교의 pu-GPA를 비교할 수 없다고 언급했습니다. 

Besides the justice dimensions that were covered by the questionnaire, we identified a number of additional dimensions in the answers to the open-ended questions.

• A first justice dimension was consistency of administration, which refers to the extent to which decision procedures are consistent and without bias across people and over time.22 CVs, motivation letters, interviews and skills tests were considered as more subjective methods, giving a lot of space to the personal opinion of assessors and consequently creating potential differences in ratings between assessors.
• Applicants also commented on the consistency of administration for pu-GPA. Currently, pu-GPA is based on school-specific examinations. Applicants mentioned that there is a great difference between schools in assessment methods, difficulty level and way of rating, making pu-GPA from different schools incomparable.

둘째, 설문에서는 학업 관련성에만 초점을 맞춘 반면, 지원자들은 학업 관련성과 직무 관련성을 구분하는 경향이 있었습니다. 예를 들어, 지원자들은 학업 관련성과 관련하여 커리큘럼 샘플링에 대해 대체로 긍정적인 의견을 보인 반면, 성공적인 의료 전문가가 되기 위해서는 사회성 및 의사소통 능력과 같은 다른 기술도 중요하다고 언급했습니다. 지원자들은 기술 테스트, 인터뷰, SJT, 인성 설문지는 미래 직업에 중요한 속성을 평가할 수 있다고 답한 반면, 학점, 인지 테스트, 이력서, 커리큘럼 샘플링 테스트는 그렇지 않다고 답했습니다.
Second, while the questionnaire only focused on study relatedness, applicants tended to make a distinction between study relatedness and job relatedness. For instance, while applicants had generally positive comments about curriculum sampling with respect to study relatedness, they mentioned that other skills are relevant to become a successful health professional, such as social and communicative skills. They stated that skills tests, interviews, SJTs and personality questionnaires can assess important attributes for the future profession, while this was not so much the case for pu-GPA, cognitive tests, CVs and curriculum-sampling tests.

일부 의견은 절차적 정의보다는 선발 절차 결과의 공정성과 관련된 분배적 정의에 관한 것이었습니다.15 지원자들은 무가중 추첨의 장점으로 입학 기회가 균등해져 더 다양한 학생들이 입학할 수 있다는 점을 언급했습니다. 다른 방법을 적용할 경우 앞서 언급한 불균등한 기회로 인해 학생의 다양성이 감소할 수 있다고 답했습니다. 합격한 학생들이 비슷한 의견을 갖게 되고 학생 집단에서 관점의 다양성이 줄어들 수 있다는 점도 SJT에 불리한 결과로 언급되었습니다. 
Some comments were not related to procedural justice, but rather to distributive justice, relating to the fairness of the outcomes of the selection procedure.15 Applicants mentioned that an advantage of unweighted lottery is that the equal chances to be admitted would lead to a more diverse student population. The application of other methods could result in a decrease of student diversity, because of the aforementioned inequal chances to perform. An additional unfavourable outcome was mentioned for SJTs: accepted students would have similar opinions and there would be less diversity in perspectives in the student cohorts.

마지막으로, 선발에 대한 인식의 결과로 여겨지는 개인의 태도 및 행동과 관련된 조직 정의 이론의 '결과' 부분에 대해 많은 언급이 있었습니다.15 특히 우려되는 주제 중 하나는 선발 방식이 지원자들에게 많은 스트레스와 압박을 줄 수 있다는 것이었습니다. 지원자들은 이력서 작성, 커리큘럼 샘플링 시험 공부 등 많은 준비가 필요한 선발 방식이 학업 및 기타 책임과 병행해야 하기 때문에 스트레스를 받을 수 있다고 언급했습니다. 스트레스의 또 다른 원인으로 언급된 것은 시험 당일에 지원자가 느끼는 높은 부담감입니다. 지원자들은 또한 여러 전형 방법을 병행할 경우 스트레스를 받는다는 점을 단점으로 인식했습니다.

Finally, numerous remarks were made about the ‘outcomes’ part of organisational justice theory, which relates to the attitudes and behaviours of individuals that are thought to be a result of perceptions of selection.15 One particular topic of concern was that selection methods can cause a lot of stress and pressure amongst applicants. Applicants mentioned that selection methods that require a lot of preparation, such as building a CV and studying for a curriculum-sampling test, can be stressful as they have to combine this with school and other responsibilities. Another source of stress that was mentioned was the pressure that applicants experience during testing days due to the high stakes involved. Applicants also recognised stress as a drawback of combining multiple selection methods.

3.4 지원자 하위 그룹에 따른 인식의 차이
3.4 Differences in perceptions for subgroups of applicants

각 전형 방법에 대한 전반적 호감도의 하위 그룹별 차이에 대한 선형 혼합 모형의 결과는 표 5에 나타나 있으며, 각 하위 그룹에 대한 기술 통계는 보충 표 S3-S6에 나와 있습니다. 여성에 비해 남성은 가중치 없는 추첨을 유의하게 덜 선호한다고 인식했으며(B = -0.55, 95% CI [-0.84, -0.26]), 이는 1-7점 척도에서 평균적으로 남성은 가중치 없는 추첨을 0.55점 더 낮게 평가했음을 나타냅니다. 성격 설문조사도 남성이 훨씬 덜 호의적으로 인식했습니다(B = -0.23, [-0.47, -0.00]). 다른 선택 방법에서는 성별 차이가 발견되지 않았습니다. 흥미롭게도 개방형 질문에 대한 답변에서 이력서와 pu-GPA가 여성에게 유리하다는 언급이 여러 번 나왔는데, 이는 남성이 일반적으로 미래의 학업 방향을 늦게 시작한다는 것을 설명하는 것입니다. 이러한 우려는 정량적 조사 결과에는 반영되지 않았습니다.
The results of the linear mixed model for subgroup differences in general favourability ratings for each selection method are depicted in Table 5, and the descriptive statistics for each subgroup are provided in supplemental Tables S3–S6. Compared with women, men perceived unweighted lottery as significantly less favourable (B = −0.55, 95% CI [−0.84, −0.26]), indicating that on average, men rated unweighted lottery 0.55 units lower on a scale from 1–7. Personality questionnaires were also perceived as significantly less favourable by men (B = −0.23, [−0.47, −0.00]). No gender differences were found for other selection methods. Interestingly, in the answers to open-ended questions, multiple remarks were given about CV and pu-GPA favouring women, describing that men generally start later with their future study orientation. This concern was not reflected in the quantitative findings.

비 서구권 이주 배경을 가진 지원자들은 이력서(B = 0.50 [0.22, 0.77])와 커리큘럼 샘플링 테스트(B = 0.25 [0.06, 0.44])에 대해 상당히 높은 호감도를 보인 반면, 기술 테스트와 면접은 상당히 낮은 호감도를 나타냈습니다(각각 B = -0.29 [-0.50, -0.09], B = -0.42 [-0.64, -0.20]). 비 서구권 이주 배경을 가진 지원자의 면접 및 기술 테스트 점수가 더 낮게 나온 것은 이러한 방법의 주관적인 특성으로 인해 편견에 더 취약하기 때문일 수 있습니다. 서구권 이주 배경을 가진 지원자에 대한 인식은 이주 배경이 없는 지원자와 다르지 않았습니다. 
Applicants with a non-Western migration background provided significantly higher favourability ratings for CVs (B = 0.50 [0.22, 0.77]) and curriculum-sampling tests (B = 0.25 [0.06, 0.44]), while skills tests and interviews were perceived significantly less favourable (respectively, B = −0.29 [−0.50, −0.09], B = −0.42 [−0.64, −0.20]). The lower scores on interviews and skills tests for applicants with a non-Western migration background may be explained by remarks about the subjective nature of these methods, making them more susceptible to bias. Perceptions of applicants with a Western migration background did not differ from those without a migration background.

대학 예비 교육 마지막 해에 지원하는 지원자들에 비해 이미 대학 수준에서 공부하고 있는 지원자들은 면접과 무가중 추첨을 훨씬 더 긍정적으로 평가했습니다(각각 B = 0.33 [0. 07, 0.58], B = 0.54 [0.17, 0.92]). 반면, pu-GPA(B = -0.83 [-1.14, -0.52]), 인지 테스트(B = -0.31 [-0.59, -0.04]) 및 가중치 추첨(B = -0.41 [-0.74, -0.08])에 대한 호감도는 유의미하게 낮았습니다. 다른 형태의 사전 교육을 받은 지원자들은 대학 교육을 받은 지원자들에 비해 인성 설문과 면접을 훨씬 더 긍정적으로 평가했습니다(각각 B = 0.49 [0.09, 0.89], B = 0.46 [0.12, 0.80]). 지원자들은 pu-GPA에 대해서만 대학 이전 교육의 역할에 대해 언급했는데, 대학 이전 교육 마지막 해에 지원하지 않은 지원자의 pu-GPA는 이미 과거의 성취이며outdated, 지원자의 현재 실력을 정확하게 나타내지 못한다는 의견을 제시했습니다. 
Compared with applicants applying during their final year of pre-university education, applicants who were already studying at university-level rated interviews and unweighted lottery significantly more positive (respectively, B = 0.33 [0.07, 0.58], B = 0.54 [0.17, 0.92]), while their favourability ratings were significantly lower for pu-GPA (B = −0.83 [−1.14, −0.52]), cognitive tests (B = −0.31 [−0.59, −0.04]) and weighted lottery (B = −0.41 [−0.74, −0.08]). Applicants from alternative forms of prior education rated personality questionnaires and interviews significantly more favourable compared with applicants from pre-university education (respectively, B = 0.49 [0.09, 0.89], B = 0.46 [0.12, 0.80]). Only with respect to pu-GPA, applicants commented on the role of prior education, indicating that pu-GPAs for applicants not applying during their final year of pre-university education are outdated and do not accurately represent applicants' current skills.

1세대 대학 출신 여부에 따른 지원자 인식의 차이는 발견되지 않았습니다.
No differences in applicant perceptions were found based on first-generation university status.

4 논의
4 DISCUSSION

본 연구의 목적은 학부 HPE의 맥락에서 지원자들이 다양한 선발 방법을 어떻게 인식하는지에 대한 심층적인 이해를 얻는 것이었습니다. 연구 결과에 따르면

• 지원자들은 커리큘럼 샘플링 시험과 기술 시험에 대한 선호도가 가장 높은 반면, 가중치 추첨과 무가중 추첨을 가장 선호하지 않는 것으로 나타났습니다.
• 또한 선발 방식에 대한 지원자의 인식은 성별, 인종, 사회경제적 지위, 학력에 따른 지원자 하위 그룹에서 전반적으로 유사하게 나타났습니다.
• 마지막으로, 지원자들은 한 가지 방법만으로는 충분하다고 생각하지 않고 여러 가지 선발 방법을 조합하는 것을 선호한다는 결과가 나타났습니다.  

The aim of the present study was to gain a deeper understanding of how applicants perceive different selection methods within the context of undergraduate HPE. Our findings indicate that

• applicants have the strongest preference for curriculum-sampling tests and skills tests, while they consider weighted and unweighted lotteries the least favourable.
• Furthermore, applicant perceptions of selection methods are overall similar across subgroups of applicants based on gender, ethnicity, SES and prior education.
• Finally, the results show that applicants do not think one single method is sufficient, but instead prefer a combination of selection methods.

첫 번째 주요 결과는 지원자들이 '폭넓은' 선발 기준과 자신이 더 '통제할 수 있다'고 느끼는 선발 방법을 선호한다는 것입니다. 가장 높은 평가를 받은 세 가지 선발 방법인 커리큘럼 샘플링 테스트, 기술 테스트, 면접은 모두 확장된 기준을 반영하며, 이는 내신성적과 같은 전통적인 방법에 포함되는 인지적 능력을 넘어서는 자질을 평가하는 것을 목표로 합니다.23 본 연구에 참여한 지원자들은 엄격한 입학 요건으로 인해 이미 인지적 특성에 따라 강하게 사전 선발되었기 때문에 다른 영역에서 자신을 차별화하는 것을 선호하는 것은 놀라운 일이 아닙니다. 실제로 지원자들은 입학 요건보다 pu-GPA와 인지능력 테스트의 부가가치에 의문을 제기했습니다. 또한 조직 정의 이론15과 의대 선발에 관한 이전 연구에 따르면,24 지원자들은 선발 과정에서 '자신을 표현하고 싶은' 욕구를 가지고 있으며, 이는 더 넓은 기준을 반영하는 방법을 통해 더 잘 가능하다고 주장할 수 있습니다. 우연에 맡기는 추첨과 선발 전 획득하는 pu-GPA의 낮은 평점은 지원자들이 '통제된 상태'를 선호한다는 것을 나타냅니다. 앞서 주장한 바와 같이,1,2 이는 조직 정의 이론을 통해서도 설명할 수 있는데, 지원자들은 결정 과정에 영향을 미칠 수 있는 기회가 있을 때 그 방법을 더 공정하다고 인식하기 때문입니다.15 이 결과는 또한 성공과 실패가 자신의 노력과 재능에 기인할 수 있다는 능력주의적 가치에 대한 광범위한 사회적 인식과 관련이 있습니다.25 결과적으로 HPE 선발 지원자들은 자신이 통제할 수 없는 거부감을 받아들일 수 있습니다.26

A first key finding is that applicants have a preference for ‘broadened’ selection criteria and selection methods on which they feel to be more ‘in control’. The three highest rating selection methods – curriculum-sampling tests, skills tests and interviews—all reflect broadened criteria, which aim to assess qualities that go beyond the cognitive abilities that are included in traditional methods such as pu-GPA.23 Applicants in the current study were already strongly preselected based on cognitive characteristics due to the stringent admission requirements; thus, it is not surprising that they prefer to distinguish themselves in other areas. In fact, applicants questioned the added value of pu-GPA and cognitive capacity tests over the admission requirements. Additionally, according to organisational justice theory,15 as well as previous research in medical school selection,24 applicants have the desire to ‘express themselves’ during a selection procedure, and it can be argued that this is better possible with methods that reflect broadened criteria. The low ratings of lotteries—leaving it to chance—and pu-GPA—obtained prior to selection—indicate that applicants prefer to be ‘in control’. As previously argued,1, 2 this can also be explained through organisational justice theory, because applicants perceive methods as fairer when they have an opportunity to influence the decision process.15 This finding can furthermore be related to a broader societal appreciation of meritocratic values, implying that success and failure can be attributed to one's own efforts and talent.25 Consequently, applicants for selection into HPE can find rejections that feel beyond their control difficult to accept.26

둘째, 연구 결과에 따르면 지원자의 배경은 다양한 선발 방식에 대한 인식에 큰 영향을 미치지 않는 것으로 나타났습니다. 성별, 이주 배경, 학력에 따라 지원자 하위 그룹 간에 통계적으로 유의미한 인식 차이가 발견되었지만, 이러한 차이가 갖는 실질적인 의미는 무시할 수 있는 수준이며, 전반적으로 지원자들의 인식은 매우 유사했습니다. 성별에 따른 인식 차이가 크지 않은 것은 심리학 지원자를 대상으로 실시한 이전 연구 결과와 일치하는 결과입니다.2 그러나 인종 및 사회경제적 지위(SES)와 관련된 연구 결과는 예상치 못한 것이었는데, 이전 연구에 따르면 인종적으로 소수이거나 사회경제적 배경이 낮은 학생들이 선발에 대해 더 부정적으로 인식하는 것으로 나타났습니다.1, 3, 11 잠재적으로 지원자들은 선발의 형식적 특성(즉, 선발 방법)은 배경에 관계없이 비슷하게 인식하는 반면 사회 인구학적 소수 배경을 가진 지원자들은 대인 대우와 같은 절차적 정의의 다른 요소에 대해 더 부정적인 인식을 가질 수 있기 때문입니다. 실제로 소수 민족 학생들이 의과대학에 재학 중일 때 불공정한 대우에 대해 더 많이 인식한다는 연구 결과가 있습니다.27, 28 소수 민족 배경을 가진 지원자들이 특정 선발 방법에 대해 더 부정적인 인식을 갖지 않았다는 결과에 대한 다른 이유는 이전 연구에서 주로 아직 지원하지 않은 예비 대학생을 대상으로 했기 때문에 부정확하거나 불완전한 정보에 근거하여 인식했을 수 있습니다.3, 11 반대로 본 연구의 참가자들은 선발에 대한 경험이 있고 이에 대해 더 잘 이해하고 있었을 가능성이 높습니다. 따라서 소수 배경을 가진 학생들은 주로 지원 전 기간에 선발 절차에 대한 정확한 정보에 대한 접근성이 떨어질 수 있습니다.29 그럼에도 불구하고, 이전 연구와 마찬가지로 질적 연구 결과는 지원자들이 선발 방법이 공평한 의대 입학을 방해할 수 있다고 생각한다는 것을 보여주었는데, 예를 들어 소수 배경을 가진 지원자들은 의료 분야의 코칭, 과외 및 소셜 네트워크에 대한 접근성이 낮기 때문입니다.3, 11, 29
Second, our findings suggest that applicants' background does not play a substantial role in their perceptions of different selection methods. Although we did find some statistically significant differences in perceptions between applicant subgroups based on gender, migration background and prior education, the practical meaning of these differences is negligible, and their perceptions were overall very similar. For gender, this lack of difference in perceptions is in accordance with findings of a previous study conducted with psychology applicants.2 However, our findings with respect to ethnicity and SES were unexpected, as previous research suggested that students with an ethic minority or lower socio-economic background have more negative perceptions towards selection.1, 3, 11 Potentially, applicants perceive the formal characteristics of selection (i.e. selection methods) similar regardless of their background, while applicants with sociodemographic minority backgrounds may have more negative perceptions regarding other components of procedural justice, such as interpersonal treatment. Indeed, research has indicated that ethnic minority students have more perceptions of unfair treatment when they are in medical school.27, 28 An alternative reason for the finding that applicants with minority backgrounds did not have more negative perceptions towards certain selection methods is that previous studies mainly included eligible pre-university students who have not yet applied and could have based their perceptions on inaccurate or incomplete information.3, 11 Contrarily, participants in the present study had experience with selection and probably had a better understanding of it. Thus, students with minority backgrounds possibly experience less access to accurate information about the selection procedure mainly in the period prior to application.29 Nevertheless, corresponding with previous studies, the qualitative findings did provide indications that applicants believe selection methods can hinder equitable admission to medical education, for instance, because applicants with a minority background have less access to coaching, tutoring and a social network in the medical field.3, 11, 29

세 번째 주요 발견은 지원자들에 따르면 궁극적인 해결책은 없으며 모든 선발 방법에는 특정한 장단점이 있다는 것입니다. 이는 정성적 결과에서 확인된 여러 가지 상반된 선호도에 잘 반영되어 있습니다. 우리가 발견한 가장 두드러진 딜레마는 다음 등이었습니다. 

• (1) 지원자가 현재 제공할 수 있는 것을 측정하는 것과 스냅샷 평가의 부정적인 결과에 대응하는 것,
• (2) 기존 지식과 기술을 측정하는 것과 프로그램 기간 동안 기술을 성장시키고 개발할 공간을 제공하는 것,
• (3) 최고의 학생 선발과 최고의 미래 전문가 선발,
• (4) 포괄성을 위해 여러 선발 방법을 결합하는 것과 지나친 스트레스와 압박을 방지하는 것 

첫 번째 딜레마는 분명 기회의 공정성 차원을 반영하고 있으며, 앞서 언급한 지원자들이 선발 과정을 통제할 수 있다고 느끼고자 하는 욕구를 강조하고 있습니다. 두 번째와 세 번째 딜레마는 학업 및 직무 관련성과 관련이 있으며 학계에서도 논쟁의 대상이 되고 있습니다.23 마지막 딜레마는 조직 정의 이론의 다른 부분, 즉 지원자의 인식과 개인 및 조직 결과 사이의 관계와 더 관련이 있습니다.15 이 이론에 따르면 공정성에 대한 인식은 동기부여, 자존감, 자기효능감('채용 시 반응')과 같은 변수에 영향을 미칠 수 있습니다.15 본 연구에서는 스트레스와 압박감이 관심사로 제기되었는데, 지원자들은 주로 준비 과정의 양과 관련된 높은 위험과 관련된 것으로 나타났습니다. 또한, HPE에 재학 중인 학생들 사이에서 심리적 스트레스가 상당히 만연한 것으로 확인되었습니다.30 그럼에도 불구하고 지금까지 채용과 관련한 연구들은 지원자의 복지에 거의 또는 전혀 관심을 기울이지 않았으며, 스트레스라는 특정 개념은 조직 정의 이론에 포함되지 않았습니다. 본 연구의 결과는 이를 검증하기 위해서는 추가 연구가 필요하겠지만, '채용 중 반응'의 추가 하위 범주로 이를 이론에 추가하는 것이 적절할 수 있음을 시사합니다. 
A third key finding is that according to applicants, there is no ultimate solution; all selection methods are accompanied by certain advantages and disadvantages. This is well reflected by a number of conflicting preferences that we identified in the qualitative results. The most distinctive dilemmas we found were

• (1) measuring what applicants can offer at the present versus countering negative consequences of snapshot assessments,
• (2) measuring existing knowledge and skills versus providing space to grow and develop skills during the program,
• (3) selecting the best students versus selecting the best future professionals and
• (4) combining multiple selection methods for comprehensiveness versus preventing too much stress and pressure.

The first dilemma evidently reflects the justice dimension of chance to perform and stresses the aforementioned desire of applicants to feel in control of the selection process. The second and third dilemmas relate to study and job relatedness and are also topic of debate within the academic field.23 The final dilemma relates more to another part of organisational justice theory, namely, the relationship between applicants' perceptions and individual and organisational outcomes.15 According to the theory, perceptions of fairness can affect variables such as motivation, self-esteem and self-efficacy (referred to as ‘reactions during hiring’).15 Feelings of stress and pressure were brought up as a topic of concern in the present study, which applicants mainly related to the amount of preparation and the high stakes involved. A review also identified considerable prevalence of psychological stress amongst students in HPE.30 Nevertheless, thus far, studies have paid little to no attention to applicant well-being with respect to selection and the particular concept of stress is not included in organisational justice theory. Results of the present study indicate that it may be relevant to add this to the theory as an additional subcategory of ‘reactions during hiring’, although further research would be required to validate this.

본 연구의 강점은 우리가 알기로는 다양한 사회인구학적 하위 집단의 인식을 비교하고 다양한 선발 방법에 대한 지원자의 인식에 대한 근본적인 논거를 모색한 최초의 연구라는 점입니다. 또한 여러 프로그램에서 데이터를 수집했습니다. 그 결과, 지원자들은 자신이 접해보지 못한 전형 방식에 대해서도 의견을 제시했습니다. 이러한 방식으로 지원자가 선택한 프로그램에 따라 선발 절차가 영향을 미칠 수 있다는 점을 고려할 때, 연구 결과는 자의적 선택의 영향을 덜 받았습니다.16 그러나 이러한 강점에도 불구하고 응답자들이 설문지의 일부 방법에 대해서는 경험이 있는 반면, 다른 방법에 대해서는 선발 방법에 대한 짧은 설명만을 바탕으로 인식을 평가했다는 한계가 있었습니다. 일부 방법은 어떤 프로그램에서도 사용되지 않았습니다. 지원자가 지원한 프로그램을 통제하여 이러한 문제를 최대한 완화했습니다. 또한 실시된 설문조사는 포괄성, 방어 가능성, 프로세스의 역할 등 지원자의 인식에 영향을 미칠 수 있는 모든 요소를 파악하지 못했습니다.31 본 연구의 또 다른 한계는 표본 규모가 비교적 컸음에도 불구하고 초청된 지원자 중 21%만이 설문에 응답했다는 점입니다. 따라서 이들의 인식이 전체 지원자 풀을 완전히 대표하지 못할 수도 있습니다. 그럼에도 불구하고 본 연구의 표본은 인구통계학적 특성 측면에서 이전 연구의 지원자 풀과 비슷했습니다.12, 17 마지막 한계는 개방형 질문의 자발적 성격과 하위 그룹의 불균등한 분포로 인해 본 연구에서 다양한 지원자 하위 그룹의 논증을 직접 비교할 수 없다는 것입니다. 따라서 정량적 데이터로 포착할 수 없는 특정 하위 그룹의 인식 차이가 발견되지 않았을 수 있습니다. 
A strength of the present study is that, to our knowledge, it is the first to compare perceptions of different sociodemographic subgroups and seek for the underlying argumentation behind applicant perceptions for a great range of selection methods. Additionally, we collected data from multiple programmes. Consequently, applicants also provided their opinions for methods that they had not been exposed to. This way, our results were less influenced by self-selection, given that the selection procedure can play a role in applicants' programme of choice.16 However, this strength was also accompanied by the limitation that the respondents did have experience with some of the methods in the questionnaire, while for other methods, their perceptions were based solely on a short description of the selection method. Some of the methods were not employed by any of the programmes. We mitigated this as much as possible by controlling for the programme to which applicants had applied. Furthermore, the survey that was administered did not capture all factors that could influence applicant perceptions, such as comprehensiveness, defensibility and the role of the process.31 Another limitation of the present study was that, although the sample size was relatively large, only 21% of invited applicants responded to the survey. Consequently, their perceptions may not be fully representative for the complete applicant pool. Nevertheless, our sample was comparable with applicant pools in previous studies in terms of demographic characteristics.12, 17 A final limitation is that the present study could not directly compare the argumentation of different subgroups of applicants due to the voluntary nature of the open-ended questions and the unequal distribution of subgroups. Consequently, certain subgroup differences in perceptions that could not be captured by the quantitative data may have remained undiscovered.

현재의 연구는 절차적 정의의 한 측면(즉, 형식적 특성)에 초점을 맞추었지만, 향후 연구에서는 대인적 대우와 같은 다른 정의 요소에도 관심을 기울일 수 있습니다.15 또한, 신청자 인식에 관한 보다 근본적인 질문은 아직 조사되지 않았습니다: 이러한 인식의 발달에 어떤 메커니즘이 작용하는가? 지원자들의 인식의 기반이 되는 근본적인 가치는 무엇인가? 또한, 본 연구에서 지원자들은 여러 가지 방법을 조합하여 선호했기 때문에 다양한 방법을 조합하여 선발 절차를 어떻게 인식하는지 조사하는 것도 가치가 있을 수 있습니다. 총체적 접근법에 대한 지원자의 인식을 평가하는 것은 특히 흥미로운데, 이 접근법은 포괄성과 WA 모두에 주의를 기울이기 때문입니다.32 또한 본 연구의 결과에 따르면 지원자들은 자신이 지원한 프로그램과 자신이 준비한 프로그램에서 사용하는 방법을 더 선호하는 것으로 나타났습니다. 향후 연구에서는 숨겨진 커리큘럼에 대한 지원자의 인식이 이러한 선호도에 영향을 미치는지 여부를 조사할 수 있습니다. 향후 연구의 또 다른 흥미로운 방향은 지원자의 배경에 따라 선발 시 인식과 성과 간의 관계가 달라지는지에 대한 질문과 관련이 있습니다. 이전 연구에 따르면 지원자의 인식과 성과는 양의 상관관계가 있으며,2, 5, 6 특정 인구통계학적 하위 그룹은 선발 과정에서 성과가 저조한 반면,12, 13, 17, 18 지원자의 배경에 관계없이 인식은 비슷하다는 사실이 밝혀졌습니다. 또한 아직 지원하지 않은 자격을 갖춘 학생들을 대상으로 하위 그룹에 대한 인식을 조사하는 것도 의미가 있을 수 있습니다. 마지막으로, 연구자들은 지원자들이 관련성이 있는 것으로 간주한 행정의 일관성 및 직무 관련성, 지원자 복지에 대한 항목을 포함하는 것을 고려할 수 있습니다.

The current study focused on one aspect of procedural justice (i.e. formal characteristics), but future studies can also pay attention to other justice components, such as interpersonal treatment.15 Additionally, more fundamental questions regarding applicant perceptions have not been investigated yet, such as: What mechanisms play a role in the development of these perceptions? What are the underlying values of applicants on which their perceptions are based? Furthermore, in the present study, applicants preferred a combination of different methods, so it could be valuable to examine how they perceive selection procedures with different combinations of methods. It would be particularly interesting to evaluate applicant perceptions regarding a holistic approach, as this approach pays attention to both comprehensiveness and WA.32 Furthermore, results of the present study suggest that applicants have a stronger preference for the methods employed by the programmes to which they have applied and for which they have prepared. Future research could examine whether applicant perceptions of the hidden curriculum play a role in this preference. Another interesting direction for future research relates to the question of whether the relationship between perceptions and performance during selection differs based on applicants' background. Previous studies have indicated that applicant perceptions and performance are positively correlated,2, 5, 6 and that certain demographic subgroups perform less well during selection,12, 13, 17, 18 while we found that perceptions were similar for applicants regardless of their background. Additionally, it can be relevant to investigate subgroup perceptions for eligible students who have not applied yet. Finally, researchers can consider including items on consistency in administration and job relatedness, as well as applicant well-being, because these topics were considered relevant by applicants.

실무적인 관점에서 볼 때, 이번 조사 결과는 지원자들이 선호하는 선발 방법을 고려함으로써 선발 위원회가 절차를 설계하는 데 도움이 될 수 있는 통찰력을 제공합니다. 그러나 선발 방법(정치적 타당성의 요소)에 대한 지원자의 인식과 다른 타당성 지표 사이에는 마찰이 있을 수 있습니다.1, 2 예를 들어, 지원자들은 선발 방법으로 pu-GPA를 사용하는 것에 대해 부정적인 인식을 가지고 있지만, pu-GPA는 미래의 학업 성과를 강력하게 예측합니다.33 마찬가지로, 본 연구의 결과에 따르면 커리큘럼 샘플링 시험을 포함하면 비 서구권 배경을 가진 지원자를 더 많이 유치할 수 있지만, 제출한 연구에서 이 하위 그룹의 지원자는 그러한 시험에서 성적이 낮다는 사실을 발견했습니다.34 따라서 어떤 선발 방법을 포함할지 결정할 때 지원자의 인식을 고려하는 동시에 넓은 의미에서 타당성의 다른 측면도 고려할 수 있습니다.35 그럼에도 불구하고, 우리의 연구 결과는 어떤 선발 방법이 덜 매력적이고 더 나은 설명이 필요한지 식별하는 데 도움이 될 수 있습니다.2 선발 방법에 대한 명확하고 투명한 커뮤니케이션은, 특히 더 '주관적'으로 인식되고 때로는 부정확한 정보에 기반하여 인식되는 광범위한 기준의 경우, 지원자의 인식을 개선할 수 있습니다. 예를 들어, 지원자들은 이력서 작성에 의료 분야 소셜 네트워크가 필요하다고 생각한 반면, 본 연구에 참여한 프로그램에서는 의료 분야 외의 다른 관련 경험도 중요하게 여겼습니다. 지원자의 인식을 이해하는 것이 프로그램에 어떤 선발 방법을 포함해야 하는지에 대한 명확한 해결책을 제시할 수는 없지만, 우리의 질적 연구 결과는 프로그램이 동기 부여와 성과를 개선하거나 중도 탈락을 방지하기 위해 지원자의 요구를 고려하여 선발 방법의 실행을 조정할 수 있는 방법에 대한 귀중한 통찰력을 제공합니다. 예를 들어, 지원자들은 선발이 자신의 복지에 미치는 영향을 우려하기 때문에 프로그램은 커리큘럼 샘플링 시험의 준비 자료의 양을 제한할 수 있습니다. 
From a practical viewpoint, our findings provide insights that can help selection committees design their procedures, by considering selection methods that are preferred by applicants. However, there can be frictions between applicant perceptions of selection methods (an element of political validity) and other indicators of validity.1, 2 For instance, while applicants hold negative perceptions towards the use of pu-GPA as a selection method, pu-GPA is strongly predictive of future academic performance.33 Likewise, the findings of the present study suggest that the inclusion of curriculum-sampling tests can attract more applicants with a non-Western background, but we found in a submitted study that this subgroup of applicants performs less well on such tests.34 Thus, when deciding which selection methods to include, applicant perceptions can be taken into account, while also considering other aspects of validity in a broad sense.35 Nevertheless, our findings can help identify which selection methods are less attractive and require better explanation.2 Clear and transparent communication about selection methods may improve applicant perceptions, especially in the case of broadened criteria that are perceived as more ‘subjective’ and for which perceptions were sometimes based on inaccurate information. For instance, applicants believed that a social network in the medical field is necessary for building a CV, while the programmes in our study also value other relevant experience outside of the medical field. Although understanding applicant perceptions cannot provide clear-cut solutions about which selection methods programmes should include, our qualitative findings provide valuable insights into how programmes can adjust the implementation of their selection methods to take applicants' needs into account to improve motivation and performance or prevent withdrawal. For example, because applicants were concerned about the impact of selection on their well-being, programmes could limit the volume of preparatory materials for curriculum-sampling tests.

결론적으로, 학부 HPE 선발에 참여하는 지원자들은 자신이 통제할 수 있다고 인식하고 인지능력 이외의 다른 자질을 평가하는 선발 방식을 선호합니다. 또한, 본 연구에 따르면 개별 선발 방법에 대한 지원자의 인식은 일반적으로 다수 배경을 가진 지원자와 소수 배경을 가진 지원자 간에 유사합니다. 지원자의 상반된 요구와 지원자의 인식과 다른 타당성 지표 간의 마찰로 인해 선발 방법과 방법 내 수정 사항에 대한 보다 명확하고 투명한 커뮤니케이션이 필요합니다.

In conclusion, applicants participating in selection for undergraduate HPE prefer selection methods for which they perceive to be in control and which assess other qualities than cognitive ability. Additionally, the present study indicated that applicant perceptions of individual selection methods are generally similar between applicants with majority and minority backgrounds. Due to contradictory needs of applicants and frictions between applicant perceptions and other indicators of validity, we call for a clearer and more transparent communication of selection methods and modifications within methods.

Applicant perceptions of selection methods for health professions education: Rationales and subgroup differences

PMID: 36215062

PMCID: PMC10092456

DOI: 10.1111/medu.14949

Free PMC article

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

삼중 목적에서 사중 목적으로: 환자 돌봄은 의료인 돌폼을 필요로 한다(Ann Fam Med. 2014)
From Triple to Quadruple Aim: Care of the Patient Requires Care of the Provider
Thomas Bodenheimer, MD1
Christine Sinsky, MD2,3

From triple to quadruple aim: care of the patient requires care of the provider

PMID: 25384822

PMCID: PMC4226781

DOI: 10.1370/afm.1713

Free PMC article

© 2014 Annals of Family Medicine, Inc.

학습이론의 통합된 이론적 프레임워크와 공중보건 CME 연구 및 실천의 가이드(J Contin Educ Health Prof. 2021)
A Unified Theoretical Framework of Learning Theories to Inform and Guide Public Health Continuing Medical Education Research and Practice
Thomas L. Roux, MBChB, MPH, DFPHMI RCPI, FRSPH; Mirjam M. Heinen, BSc, MSc, PGDIp, PhD;
Susan P. Murphy, PhD, MA, BA, PDip; Conor J. Buggy, BA Mod, PhD, PCert, PDip

20세기 초 평생 의학 교육(CME)의 등장은 의료 전문가(HCP)들 사이에서 평생 교육의 중요성을 인식하는 전환점이 되었습니다.1 1977년 이후 39건의 체계적 문헌고찰에 따르면 CME가 의료 전문가의 지식을 높이고, 의료 전문가의 행동을 변화시키며, 환자 결과를 개선하는 데 효과적이라는 사실이 밝혀졌습니다.2 그러나 비효율적인 형식(예: 교훈적인 강의 및 컨퍼런스)이 여전히 지배적이며,2 공인된 CME 활동의 80% 이상이 블룸 분류법(인지(표 1), 정서 및 신체운동 영역)에 정의된 더 높은 수준의 학습을 목표로 하지 않는 등 CME가 제대로 발전하지 못하고 있다는 우려가 계속되고 있습니다.3 
The advent of continuing medical education (CME) in the early part of the 20th century was a turning point in the recognition of the importance of lifelong education among health care professionals (HCPs).1 Thirty-nine systematic reviews since 1977 reveal that CME is effective in increasing HCP's knowledge, changing HCP's behavior, and to a lesser extent, improving patient outcomes.2 However, there is ongoing concern that CME continues to be poorly developed: ineffective formats (eg, didactic lectures and conferences) continue to dominate,2 with more than 80% of accredited CME activities not targeting higher levels of learning as defined by Bloom taxonomy (cognitive (Table 1), affective, and pyschomotor domain).3

CME 선택은 주로 HCP가 자신의 학습 요구를 정확하게 자가 평가하고 결정할 수 있을 것이라는 기대에 의해 주도됩니다.4 그러나 증거에 따르면 HCP는 자신의 기술 부족을 정확하게 자가 평가할 수 없으며4 종종 자신의 능력을 과대평가하는 경향이 있습니다.5 그 결과, HCP는 이미 역량을 갖춘 익숙한 CME 주제를 선택하는 경향이 있으며, 잠재적으로 중요하고 현대적인 의학 지식의 다른 영역을 무시할 수 있습니다.6
CME selection is predominantly driven by the expectation that HCPs are able to accurately self-assess and determine their own learning needs.4 Evidence suggests, however, that HCPs are unable to accurately self-assess their skill deficit4 and often tend to overestimate their abilities.5 As a result, HCPs are more inclined to select familiar CME topics in which they are already competent, potentially ignoring other areas of important and contemporary medical knowledge.6

의과대학에서 다루는 의학 지식의 범위가 73일마다 두 배씩 증가하는 것으로 추정되는 등 빠르게 변화하는 의학 지식 분야로 인해 CME의 질3 형식2 및 자체 선택6에 대한 이러한 우려는 더욱 심화되고 있습니다.7 이러한 증가된 지식의 초점은 인구 역학 및 의료 요구의 변화에 대한 전 세계적인 인식에 따라 공중보건(PH) 및 양질의 환자 치료와 관련된 문제로 옮겨가고 있습니다.8 또한 보편적 의료에 대한 추진,10 그리고 지역사회에서 예방적 일차 진료의 이점,11은 HCP가 PH 영역의 발전과 지식을 계속 평가할 것을 요구합니다. 현재 환자의 50%만이 적절한 수준의 예방 진료를 받고 있습니다.12 이를 90%까지 높이면 비용 절감과 함께 연간 200만 명의 생명을 추가로 구할 수 있습니다.13 PH의 광범위한 다전문가, 다분야, 다기관 특성으로 인해 임상 영역을 넘나들고 인구의 PH 요구사항에 특화된 CME가 필요합니다.14 HCP는 PH 인력의 필수 구성 요소로 간주되므로, "의료 환경에서 관련 건강 증진 및 질병 예방 서비스를 제공하는 데 필요한 지식과 기술을 갖추도록 보장해야 할 고유한 책임이 있습니다."15(17페이지). 
This concern about quality,3 format,2 and self-selection of CME6 is aggravated further by the rapidly changing field of medical knowledge: it is estimated that the extent of medical knowledge covered in medical school doubles every 73 days.7 The focus of this increased knowledge has moved toward matters relating to public health (PH) and quality patient care,8 driven by the global recognition of changing population dynamics and health care needs.9 In addition, the push for universal health care,10 and the benefit of preventive primary care in the community,11 requires that HCPs keep appraised of developments and knowledge within the realm of PH. Currently, only 50% of patients receive the appropriate level of preventive care.12 Increasing this to 90% could save an additional two million lives a year with cost savings.13 Because of the broad multiprofessional, multidisciplinary, and multiagency nature of PH, CME that cuts across clinical domains and is specific to the PH needs of a population is required.14 Because HCPs are considered an integral component of the PH workforce, a unique responsibility exists to ensure they are equipped with the necessary knowledge and skills “to provide relevant health promotion and disease prevention services in the health care setting.”15(pg. 17)

이러한 문제를 해결하기 위해서는 PH CME의 최적화가 필요합니다. 앞서 언급했듯이 CME는 올바르게 제공되고 사용될 때 효과적이지만, 항상 그런 것은 아닙니다. 맥락이 CME 효과에 어떤 역할을 할 수 있는지 이해하는 것이 연구 우선순위로 확인되었습니다.2 실제로 의학교육 내에서 '맥락'은 끊임없이 정의definition를 어렵게 만들고 있으며16, 그 결과 CME 관련 분야에서 맥락을 정의17하고 식별18하려는 관심이 증가하고 있습니다. 베이츠와 엘러웨이16는 어떤 식으로든 컨텍스트를 다룬 62편의 논문을 조사하여 의학교육에서의 컨텍스트에 대한 정의를 개발했습니다: 
These issues necessitate the optimization of PH CME. As has been mentioned, CME is effective when offered and used correctly; however, this is not always the case. Understanding what role context may play in CME effectiveness has been identified as a research priority.2 Indeed, within medical education, context continues to elude definition16; as a result, there is increasing interest to define17 and identify18 context in CME-related fields. Bates and Ellaway16 examined 62 articles that addressed context in some way and developed a definition for context in medical education:

"컨텍스트는 환자, 장소, 실무, 교육 및 사회의 기본 패턴과 이러한 패턴 간의 예측할 수 없는 상호 작용에서 나타나는 역동적이고 끊임없이 변화하는 시스템입니다."(814페이지).
“Context is a dynamic and ever-changing system that emerges from underlying patterns of patients, locations, practice, education and society, and from the unpredictable interactions between these patterns.”(p. 814)

이 정의는 저자들이 CME에서 컨텍스트를 이해하는 데 기초가 됩니다.
This definition serves as the basis for the authors' understanding of context in CME.

HCP가 인구의 필요를 충족시킬 수 있는 CME의 잠재력에 대한 인식과 전달 방법 및 맥락에 관한 현재의 한계에 대한 이해가 결합되어 PH CME에서 맥락이 어떤 역할을 하는지에 대한 조사로 이어졌습니다. 이 조사의 일환으로 연구팀은 연구 프로젝트에 정보를 제공하기 위해 이론적 프레임워크를 객관화했습니다. 이러한 프레임워크의 사용은 결과에 대한 이론적 근거를 제공하고19 의학교육 연구 분야를 이론을 시험하고 도전하며 더욱 발전시킬 수 있는 방식으로 발전시킵니다.20 이 글에서는 PH CME와 관련된 학습 이론에 대한 비판적 분석에서 나온 혁신적이고 진보적인 통합 이론적 프레임워크를 제시합니다. 이 통합 프레임워크는 연구팀이 고려한 다른 접근법의 단점을 해결하고 의료 시스템 내 CME 맥락을 이해하는 데 있어 새로운 이론적, 방법론적 통찰력을 제공할 수 있는 잠재력을 제공합니다. 
It is the appreciation of CME's potential in equipping HCPs to address population needs, combined with an understanding of its current limitations regarding methods and context of delivery, that has led to an investigation into what role context plays in PH CME. As part of this investigation, the research team has objectified a theoretical framework to inform the research project. The use of such a framework offers a theoretically grounded explanation for results19 and moves the field of medical education research forward in a fashion that allows theory to be tested, challenged, and developed further.20 This article presents an innovative and progressive unified theoretical framework that ensued from a critical analysis of learning theory as it relates to PH CME. This unified framework addresses shortcomings of other approaches considered by the research team and offers the potential for new theoretical and methodological insights into understanding CME context within health care systems.

프레임워크 식별
Identifying a Framework

링스테드 외21는 의학교육 연구의 첫 번째 단계는 이론적 또는 개념적 프레임워크 내에서 문제를 파악하는 것이라고 주장합니다. 의학교육 연구 문헌에서 이러한 프레임워크의 결여는 제출된 논문의 3분의 2에서 출판 거부의 요인으로 지적된 반면, 출판된 모든 의학교육 연구 문헌의 절반만이 이론적 프레임워크를 명시적으로 사용하고 있습니다.22 이는 교육적 장학금을 방해하고 연구 결과의 적용 가능성과 일반화 가능성을 제한하는 요인으로 작용합니다. 
Ringsted et al21 argue that the first step in medical education research should be situating the problem within a theoretical or conceptual framework. The deficit of such frameworks within medical education research literature has been noted as a factor in publication rejection in two-thirds of articles submitted, whereas only half of all published medical education research literature makes explicit use of a theoretical framework.22 This hampers educational scholarship and limits applicability and generalizability of findings.

호지스와 쿠퍼23(26쪽)가 지적했듯이, 오늘날 다양한 분야에서 "수백 가지의 이론"이 사용되고 있습니다. 의학교육 연구 영역에서 이러한 이론은 HCP가 기능하고 학습하는 사회문화적 맥락과는 반대로 개인에 초점을 맞추는 경향이 있습니다.24 개인에 초점을 맞추는 것이 Flexner 보고서(1910)의 권고에 따라 의학교육에 유용한 접근법으로 입증되었지만, 의료의 변화하는 모습과 학생들의 학습 방법에 대한 우리의 진화하는 이해는 21세기 빠르게 발전하는 글로벌 사회의 요구를 충족하기 위해 의학교육 발전 방식에 다른 접근법을 요구하고 있습니다.25 HCP는 고립된 채로 기능하는 것이 아니라, 임상팀과 주변 환경, 그리고 HCP가 수행하는 치료의 유형과 표준을 결정하는 국가 보건 정책에 이르기까지 광범위한 의료 시스템의 일부이며, 이는 다시 국제 보건 의제 및 SARS-CoV-2와 같은 새로운 우려의 영향을 받습니다. 사회문화적 학습 이론은 "의학이 학습되고 실행되는 환경 수준에서" 이러한 시스템 전반에서 학습이 어떻게 이루어지는지 살펴볼 수 있는 기회를 제공합니다.23(31페이지) 실제로, 교육 중에 이러한 시스템 복잡성으로부터 HCP를 격리하는 것은 환자 결과를 개선하는 것으로 나타난 전문가 간 능력을 육성하지 못할 가능성이 높습니다.26 
As Hodges and Kuper23(p. 26) have pointed out, “there are hundreds of theories” in use today across various disciplines. Within the realm of medical education research, these theories have tended to focus on the individual, as opposed to the sociocultural context in which HCPs function and learn.24 Although focusing on the individual has proved a useful approach to medical education following the recommendations of the Flexner report (1910), the changing face of health care, and our evolving understanding of how students learn, necessitates a different approach in how we advance medical education to meet the needs of a rapidly progressing global society in the 21st century.25 HCPs do not function in isolation; they are part of wider health care systems that stretch from clinical teams, in their immediate environment, to national health policies determining the type and standard of care that HCPs practice, which in turn are influenced by international health agendas and emerging concerns, such as SARS-CoV-2. Sociocultural theories of learning offer opportunities to examine how learning occurs across these systems “at the level of the environment in which medicine is learned and practiced.”23(p. 31) Indeed, isolating HCPs from this system complexity during training is unlikely to foster interprofessional abilities that are shown to improve patient outcomes.26

시스템적 사고는 PH 분야에서 점점 더 인기를 얻고 있으며27,28 오피오이드 남용에 대한 교육적 개입의 영향을 모델링하는 데 유용하다는 것이 입증되었습니다.29 실제로 시스템적 사고의 기본 교리는 인구 결과를 개선하기 위해 새로운 지식이 어떻게 생성, 관리, 전파 및 통합되는지 이해하는 것입니다.30 마찬가지로, 사회 학습 이론은 복잡한 시스템 내에서 사회적 상호 작용을 통해 지식이 생성된다는 것을 인식함으로써 시스템 관점을 가정합니다.31 이러한 공통점은 사회 문화 학습 이론을 사용하여 PH CME를 조사하는 데 유익한 근거를 제공합니다. 
Systems thinking is becoming increasingly popular within the field of PH27,28 and has proved useful in modeling impacts of educational interventions on opioid abuse.29 Indeed, a fundamental tenet of systems thinking is understanding how new knowledge is created, managed, disseminated, and integrated across systems to improve population outcomes.30 Similarly, social learning theories assume a systems perspective by recognizing that knowledge is created through social interaction within complex systems.31 These commonalities offer fruitful ground for using sociocultural theories of learning to investigate PH CME.

이를 염두에 두고 저자들은 연구에 정보를 제공하고 근거를 제시할 수 있는 적절한 이론적 틀을 수립하기 시작했습니다. 의학 및 사회과학 분야의 온라인 저널 데이터베이스를 '의학 교육', '학습 이론' 및 관련 동의어를 사용하여 검색했습니다. 이를 의학교육 및 고등교육 교수학습 분야의 교육학 전문가들과 비공식 그룹 토론을 통해 보완했습니다. 이러한 과정을 통해 확인된 리뷰 논문23,25,32,33은 관련 현대 이론을 평가하기 위한 발판으로 사용되었으며, 이를 바탕으로 적절한 참고 문헌이 눈덩이처럼 불어났습니다. 또한, 확인된 이론을 보다 명확하게 설명하기 위해 일부 학술 문헌을 참고했습니다. 
With this in mind, the authors set out to establish a suitable theoretical framework to inform and ground their research. A search of online journal databases within the medical and social science fields was performed using terms “medical education,” “learning theory,” and associated synonyms. This was supplemented by informal group discussions with pedagogical experts in the field of medical education and higher education teaching and learning. Review articles identified through these processes23,25,32,33 were used as a springboard to evaluate relevant contemporary theories; from there, snowballing of suitable references took place. In addition, select academic text was consulted to provide deeper clarity on identified theories.

프레임워크 개발에 적합한 이론을 식별하는 데 다음 세 가지 기준이 사용되었습니다: 
The following three criteria were used in identifying a suitable theory to inform the framework's development:

1. 이론은 개별 학습자 외에도 학습과 관련된 더 넓은 맥락적 요인을 인식해야 합니다.
   In addition to the individual learner, the theory needs to be cognizant of the wider contextual factors involved in learning.
2. 이론은 학습자와 더 넓은 맥락적 요인 간의 상호 작용에 대한 시스템적 이해를 수반해야 합니다.
   The theory needs to entail a systems understanding of the interactions between learner and wider contextual factors.
3. CME에 정보를 제공할 모든 이론은 학습을 단순한 지식 습득이라는 개념을 넘어설 필요가 있습니다.
   Any theory that will inform CME needs to move beyond the notion of learning as mere acquisition of knowledge.

또한 선택한 이론의 실제 적용은 연구 프로젝트의 시간 및 리소스 제약 내에서 실현 가능해야 했습니다. 식별된 이론에 대한 1차 평가 후, 10개의 이론을 세부적으로 검토하여 미리 정해진 기준과 연구와의 관련성에 따라 적합성을 평가했습니다(표 2). 10가지 이론 중 어떤 이론도 개별적으로 PH CME의 맥락을 탐구하는 데 충분하지 않다고 판단된 것은 없었습니다.

• 몇몇 이론은 지나치게 개인에 초점을 맞춘 것으로 간주되었고(패스만 인식-준수 모델, 콜브 경험적 학습 주기, 메지로우 변형 학습, 가드너 다중 지능 이론),
• 로저스 혁신 확산 이론은 대규모 변화에 더 적합한 것으로 간주되었습니다.
• 또한, 전기적 학습에서 홀크비스트 '사회적 공간'의 모호한 특성과 라베와 벵거의 실천 커뮤니티에서 PH '마스터'를 식별하는 데 어려움이 있었기 때문에 이 두 이론을 사용할 수 없었습니다.
• 마지막으로, 활동 시스템 수준에서 엥스트롬의 확장적 학습 이론을 적용하는 데 내재된 복잡성은 너무 많은 시간과 자원이 소요되는 것으로 간주되었습니다. 

In addition, practical application of any theory selected had to be feasible within the time and resource constraints of the research project. After an initial evaluation of identified theories, 10 theories were subsequently examined in detail to evaluate their suitability based on the prespecified criteria and relevance to the research (Table 2). None of the 10 theories individually was deemed sufficient for the purpose of exploring context in PH CME.

• Several were considered to be too overtly focused on the individual (Pathman awareness-to-adherence model, Kolb experiential learning cycle, Mezirow transformative learning, and Gardner theory of multiple intelligences) while
• Rogers diffusion of innovations theory was deemed more appropriate for making large-scale changes.
• Furthermore, the nebulous nature of Hallqvist “social space” in biographical learning and the challenge in identifying a PH “master” in Lave and Wenger communities of practice precluded the use of these two theories.
• Finally, the complexity inherent in applying Engström expansive learning theory at the level of activity systems was considered too time and resource intensive.

그러나 이러한 문제를 피할 수 있고 비판적 평가를 통해 각 관점의 개별적인 단점을 보완하면서 맥락 문제에 대한 이해를 심화할 수 있는 두 가지 이론적 관점이 등장했습니다. 바로 빅스의 건설적 조정 원리34와 브론펜브레너35의 생물생태학적 인간 발달 모델입니다.

• 빅스 원리는 학습 환경 내에서 개별 학습자가 경험하는 학습 과정에 대한 이론적 명확성을 제공하는 반면,
• 브론펜브레너 모델은 학습이 다양한 시스템과의 상호작용을 통해 어떻게 영향을 받는지를 설명함으로써 이를 확장합니다. 

Two theoretical perspectives, however, did emerge that avoided these challenges and, on critical assessment, could be combined to deepen understanding of the issue of context while complementing individual shortfalls of each perspective in isolation. These were Biggs principle of constructive alignment34 and Bronfenbrenner35 bioecological model of human development.

• Biggs principle offers theoretical clarity around the learning process as experienced by individual learners within the learning environment, whereas
• Bronfenbrenner model expands on this by describing how learning is influenced through interactions with various systems.

건설적 정렬의 빅스 원리
Biggs Principle of Constructive Alignment

빅스의 구성적 연계의 원리는 구성주의 학습 이론, 즉 학습은 개인적 경험과 사회적 상호작용에 기반한 지식의 구성을 통해 발생한다는 학파에 속합니다.34 빅스는 이를 기반으로 교육과정의 연계 개념을 통해 성과, 교수/학습 활동 및 과제 평가의 연계가 추가적인 교육적 혜택을 부여합니다.34 빅스가 이 이론을 고등교육에 적용하여 의도한 결과는 고등교육을 졸업할 때 선언적 지식뿐만 아니라 직업적 맥락에서 학습을 실천하는 데 필요한 기능적 지식을 갖춘 "깊은" 자기 주도적 학습자를 개발하는 것이 었습니다. 증거에 따르면 고등 교육에서 빅스의 건설적 연계 원칙을 적용하면 개인이 선호하는 학습 스타일에 관계없이 실제로 "심층적인" 상황 학습 접근법이 가능하다고 합니다.36 이는 특히 자기주도적 학습을 통해 직업 경력 전반에 걸쳐 지식과 기술을 지속적으로 업데이트해야 하는 HCP와 관련이 있습니다.
Biggs principle of constructive alignment lies within the school of constructivist learning theory, that is, learning occurs through construction of knowledge based on personal experiences and social interactions.34 Biggs builds on this through the curricular concept of alignment, whereby alignment of outcomes, teaching/learning activities, and task assessment confers additional educational benefits.34 Biggs' intended outcome of applying this theory in higher education was to develop “deep” self-directed learners who leave tertiary education not only with declarative knowledge but also with functioning knowledge needed to put learning into practice in a professional context. Evidence suggests that applying Biggs principle of constructive alignment in higher education does indeed result in a “deep” situational learning approach, regardless of individuals' preferred learning styles.36 This is particularly relevant to HCPs, who must constantly update their knowledge and skills throughout their professional career through self-directed learning.

빅스 원칙에는 시스템적 특성이 내재되어 있습니다. 그의 초기 3P 모델(사전-과정-결과)37은 한 구성 요소의 변화가 다른 구성 요소에 어떤 영향을 미칠 수 있는지에 대한 인식을 통해 이를 명확하게 표현합니다. 실제로 빅스는 교육을 여러 개의 중첩된 "상호 작용하는 생태계"로 구성된다고 설명합니다.37(74페이지) 학습 활동과 교육기관 수준 간의 연계성을 고려하여 기능적 지식을 개발하는 것을 목표로 하는 CME에 가능성을 제공하는 것은 바로 이러한 상호 작용하는 시스템의 특성입니다. 
There is an inherent systems nature evident in Biggs principle. His initial 3P model (Presage-Process-Product)37 clearly expresses this through its recognition of how changes in one component can impact the other. Indeed, Biggs describes education as consisting of several nested “interacting ecosystems.”37(p. 74) It is this interactive systems nature that offers promise for CME, aiming to develop functioning knowledge by considering alignment across learning activities and institute levels.

빅스는 고등교육에 내재된 다양한 수준(프로그램, 대학, 전문대학)이 연계될 수 있음을 인정하지만, 이 원칙을 고등교육 이외의 환경에 적용하는 것은 복잡합니다. 특히 CME 내에는 개발 및 제공에 중요한 역할을 하는 수많은 요소와 이해관계자가 있습니다.38 Freeth와 Reeves39는 전문직 간 직장에서의 학습 기회에 대한 이러한 광범위한 영향을 파악하기 위해 빅스 3P 모델을 채택했습니다. 이 모델은 전문직 간 교육에 대한 체계적인 검토에서 결과를 종합하는 분석 도구로 효과적임이 입증되었습니다.40,41 그러나 빅스 모델은 맥락을 하나의 선행 요인으로 통합하기 때문에 시스템 전반에서 학습에 미치는 맥락의 영향을 탐색할 수 없습니다. 앞서 언급했듯이, 시스템 전반에서 지식이 어떻게 생성되는지 이해하는 것은 PH 및 사회 학습 이론에서 시스템 사고의 기본 측면입니다. 바로 이 지점에서 브론펜브레너의 인간 발달 생물생태학적 모델35은 빅스 모델 내에서 여러 시스템에서 지식이 어떻게 생성되는지 더 잘 이해할 수 있는 기회를 제공합니다. 

Although Biggs recognizes various levels inherent in tertiary education that could align (program, college, and university), applying this principle to settings outside of tertiary education is complicated. Particularly within CME, there are numerous factors and stakeholders that play important roles in its development and delivery.38 Freeth and Reeves39 adapted Biggs 3P model in an attempt to identify these wider influences on learning opportunities within interprofessional workplaces. Their adaptation has proven effective as an analytical tool for synthesizing results in systematic reviews of interprofessional education.40,41 However, Biggs model does not allow the exploration of the effect of context on learning across systems because it aggregates them into a single presage factor. As previously mentioned, understanding how knowledge is created across systems is a fundamental aspect of both systems thinking within PH and social learning theories. It is on this point that Bronfenbrenner bioecological model of human development35 offers opportunity for greater understanding of how knowledge is created across systems within Biggs model.

브론펜브레너의 생물생태학적 인간 발달 모델
Bronfenbrenner Bioecological Model of Human Development

브론펜브레너35는 학습이 개인과 개인이 작동하고 생활하는 시스템 간의 점점 더 복잡한 상호작용, 그리고 이러한 시스템 간의 관련 상호작용에서 비롯된다고 보았습니다. 이를 바탕으로 브론펜브레너는 교육 환경의 생태학적 구조를 구성하는 네 가지 초기 수준, 즉 미시체계, 중체계, 외체계, 거시체계를 정의했습니다(표 3). 
Bronfenbrenner35 viewed learning as arising from increasingly complex interactions between individuals and the systems in which they operate and live and the associated interactions between these systems. From this, Bronfenbrenner defined four initial levels that make up educational environment's ecological structure, namely the

• microsystem,
• mesosystem,
• exosystem, and
• macrosystem (Table 3).

이러한 수준 정의는 개인과의 상호 작용 정도에 따라 각 시스템 내의 주요 이해관계자에 대한 구체적인 설명을 제공합니다. 이러한 브론펜브레너의 연구를 통해 빅스 모델의 구성 요소를 확장하여 시스템 내 및 시스템 간 학습에 영향을 미치는 맥락적 요인을 더욱 세밀하게 파악할 수 있습니다. 브론펜브레너 모델을 적용하면 빅스 이론을 단독으로 사용할 때의 잠재적인 단점을 해결할 수 있습니다.

These level definitions offer concrete descriptions of key stakeholders within each system based on their degree of interaction with the individual. Such a reading of Bronfenbrenner's work allows for the possible expansion of components of Biggs model to provide further granularity of contextual factors that influence learning within and across systems. Applying Bronfenbrenner model addresses the potential shortcoming of using Biggs theory in isolation.

브론펜브레너 모델 사용에 대한 비판은 초기 네 가지 시스템 수준의 생태학적 프레임워크의 성공으로 인해 모델의 후속 반복을 인정하거나 사용하지 않았다는 점과 관련이 있습니다.42 로사와 터지(Rosa)43 는 이 초기 모델이 두 번의 반복을 더 거쳤다고 지적합니다. 

• 두 번째 반복은 자신의 개발에서 개인의 역할에 초점을 맞추었습니다.
• 세 번째이자 마지막 반복은 과정-사람-상황-시간(PPCT) 모델로서, 브론펜브레너가 개인과 주변 환경 간의 복잡한 상호작용(발달의 근위 과정)과 종적 및 역사적 시간이 발달에 미치는 영향에 대해 강조한 것을 강조했습니다. 

그 결과, 브론펜브레너가 크로노시스템이라고 명명한 다섯 번째 체계43가 모델에 추가되었습니다. 이 모델은 발달이 삶의 과정과 과거, 현재, 미래의 역사적 시간을 통해 형성된다고 가정합니다. 이는 의료의 변화로 인해 HCP가 역량을 유지하고 전문적으로 발전하는 방식에 변화가 필요하기 때문에 CME와 매우 관련이 있습니다.44
Criticism of the use of Bronfenbrenner model revolves around the lack of acknowledging or using subsequent iterations of the model due to the success of its initial four system-level ecological framework.42 Rosa and Tudge43 point out that this initial model underwent a further two iterations.

• The second iteration focused on the role of the individual in their own development.
• The third and final iteration, referred to as the Process-Person-Context-Time (PPCT) model, highlighted the importance Bronfenbrenner placed on complex interactions between the individual and their immediate surroundings (proximal processes of development), and the influence of time, both longitudinal and historical, on that development.

As a result, the fifth system, termed chronosystem by Bronfenbrenner,43 was added to the model. It posits that development is shaped across the life course and through historical time past, present, and future. This is highly relevant in CME because the changing face of health care requires changes in the way HCPs maintain competency and develop professionally.44

위에서 설명한 두 모델 사이에는 상호보완성과 호환성이라는 큰 요소가 있습니다. 두 모델 모두 학습 과정을 결과의 필수 요소로 간주하지만, 접근 방식은 정반대입니다:

• 빅스는 결과에서 출발하여 학습 과정을 이 결과에 맞추는 반면,
• 브론펜브레너는 학습 과정이 어떻게 결과(발달)로 이어지는지를 관찰합니다.

두 이론 모두 개인을 이론의 중심에 두고 있습니다:

• 빅스는 "학생이 무엇을 하고 그것이 교육과 어떻게 관련되는가"에 초점을 맞추는 3단계 교육에 대해 이야기합니다.34(20쪽);
• 브론펜브레너에게 개인은 매우 중요했기 때문에 그들의 두 번째 작업은 전적으로 개인의 발달에 있어 개인의 역할에 초점을 맞췄습니다.43

마지막으로, 빅스는 자신의 모델에서 브론펜브레너 크로노시스템과 같은 정도로 시간을 명시적으로 다루지는 않지만 학습이 "일회성 과정이 아니라 지속적인 행동 학습 주기"라고 지적합니다.34(281쪽) 이는 평가에 미치는 영향과는 별개로 움직이는 시간 개념을 의미하지만 빅스 원칙의 주요 구성 요소는 아닙니다.
There is a large component of complementarity and compatibility between the two models described above. Both view the process of learning as an integral component of the outcome, although the models approach this from opposite ends:

• Biggs starts with the outcome, and then aligns the learning process to this outcome, whereas
• Bronfenbrenner observes how the learning process leads to the outcome (development).

Both place the individual at the heart of the theory:

• Biggs talks about level 3 teaching, where the focus is on “what the student does and how that relates to teaching”34(p. 20);
• the importance of the individual to Bronfenbrenner was so great that the second iteration of their work focused wholly on the role of the individual in their own development.43 

Finally, although Biggs does not explicitly address time in their own model to the same extent as Bronfenbrenner chronosystem, it does point out that learning is not “a one-off process but a continuing action learning cycle”.34(p. 281) This implies a concept of time in motion, although apart from its influence on evaluation, is not a major component of Biggs principle.

두 모델 모두 서로를 보완하지만, 브론펜브레너 모델이 더 넓은 맥락 변수를 탐색하는 데 있어 더 깊이 있는 정보를 제공하는 것으로 보입니다. 그러나 PH CME에서 맥락적 요인을 조사하기 위한 목적으로 브론펜브레너 모델을 단독으로 사용하기에는 몇 가지 단점이 있었습니다. 첫째, 브론펜브레너 모델의 근본적인 초점은 아동 발달이었습니다. 발달은 전 생애에 걸쳐 비슷한 방식으로 일어난다고 했지만, 직업 경력에서 발생하는 "점진적으로 더 복잡한 상호 작용"43(252쪽)은 아동에서 조사된 것보다 훨씬 더 복잡할 가능성이 높습니다. 또한 환경, 그리고 그 환경 내의 사물과 사람들도 아동과 전문가 사이에 크게 다를 가능성이 높습니다.
Although both models complement each other, it would seem Bronfenbrenner model offers more depth regarding exploring wider contextual variables. However, for the purpose of examining contextual factors in PH CME, there were several shortcomings with Bronfenbrenner model that precluded its sole use. First, the underlying focus of Bronfenbrenner model was child development. Although it stated that development occurs in a similar fashion throughout life, the “progressively more complex reciprocal interaction”43(p. 252) that occurs over a professional career is likely to be far more complex than those examined in children. In addition, the environments, and the objects and persons within those environments, are also likely to be vastly different between children and professionals.

둘째, 브론펜브레너 모델의 탐구 방향, 즉 과정이 결과에 미치는 영향은 이미 CME 분야에서 잘 연구되어 있습니다.2 이제 관심의 대상은 상호 작용하는 맥락적 요인을 평가하여 이러한 과정, 즉 집단 결과를 어떻게 개선할 수 있는지에 대한 것입니다. 목적을 염두에 두고 시작하는 것이 CME를 통해 이를 달성하기 위한 수단으로 제안되었습니다.45,46 따라서 의도된 결과에서 시작하는 빅스의 건설적 정렬 원칙은 이 점에 대한 학습 이론의 보다 적절한 적용입니다. 
Second, the direction of enquiry within Bronfenbrenner model, namely how process affects outcome, is already well studied within the field of CME.2 What is now of interest is how to improve these processes, and thus population outcomes, by evaluating interacting contextual factors that play a role. Beginning with the end in mind has been proposed as a means of achieving this with CME.45,46 Thus, Biggs principle of constructive alignment that starts with the intended outcome is a more suitable application of learning theory on this point.

학습에 대한 통합된 이론적 프레임워크
A Unified Theoretical Framework of Learning

그림 1은 이 두 가지 모델을 융합하여 학습에 대한 고유한 통합 이론적 프레임워크를 제시합니다. 이 프레임워크는 저자들의 현재 연구에 정보를 제공하며, 향후 전문적 학습을 탐구하는 모든 연구의 이론적 토대가 될 수 있는 잠재력을 가지고 있습니다.

Figure 1 presents a fusion of these two models to create a unique unified theoretical framework of learning. This framework will inform the authors' current study and has the potential to serve as a theoretical foundation for any future study exploring professional learning.

Biggs 3P 모델의 원래 표현은 세 가지 영역(사전-과정-결과) 모두에 걸쳐 여러 생태계에 걸친 상호작용을 포함하도록 확장되었습니다. 이는 빅스의 원래 모델에서 제안한 학생과 교사 간의 상호작용을 넘어 다양한 수준에서 CME에서 역할을 하는 잠재적인 맥락적 요인에 대한 검토를 가능하게 합니다. 또한, 브론펜브레너 모델을 포함함으로써 각 시스템 내에서 중요한 이해관계자를 식별하는 데 도움이 되는 명시적인 정의를 제공합니다(표 3). 브론펜브레너가 정의한 각 단계의 주요 특성을 나타내기 위해 각 단계에 제목을 부여했습니다. 

• 미시 시스템 수준에는 개인과 이들이 정기적으로 참여하는 환경이 있습니다. 
• 중간 시스템 수준에는 미시 시스템을 하나로 모으는 조직인 중개자가 있습니다. 브론펜브레너의 초기 모델에서는 이를 마이크로시스템 주변의 단순한 계층으로 표시했습니다. 저자들은 이 수준에서 발생할 수 있는 풍부한 상호작용을 적절하게 표현하지 못한다는 로사와 터지43의 의견에 동의하며, 따라서 이 프레임워크는 빅스 모델의 모든 구성 요소를 포함하도록 확장했습니다. 
• 다이어그램의 미시체계 아래에는 인플루언서라고 불리는 외체계Exosystem가 있으며, 이는 미시체계와 직접적으로 관련되지는 않지만 개인에게 (긍정적이든 부정적이든) 영향력을 행사하는 "사회적 구조"35를 의미합니다. 
• 마지막으로, 거시 시스템은 이데올로기라고 하는데, 이는 모든 시스템이 작동하는 전반적인 문화를 형성하는 이데올로기를 가진 조직을 포괄합니다.

The original representation of Biggs 3P model has been expanded to include interactions across multiple ecological systems over all three domains (Presage-Process-Product). This countenances examination of potential contextual factors that play a role in CME at multiple levels beyond the student–teacher interaction as proposed within Biggs original model. In addition, the inclusion of Bronfenbrenner model offers explicit definitions to aid in the identification of critical stakeholders within each system (Table 3). Titles were assigned to each level to represent the key characteristics of each as defined by Bronfenbrenner.

• At the microsystem level is the individual and the settings in which they engage on a regular basis.
• At the mesosystem level are the intermediaries, those organizations that bring the microsystems together. In Bronfenbrenner initial model, this was displayed as a simple layer around the microsystem. The authors are in agreement with Rosa and Tudge43 that this does not adequately represent the richness of interactions that can arise at this level, and therefore, the framework expands it to include all components of Biggs model.
• Below the mesosystem in the diagram is the exosystem, termed influencers, those “social structures”35 that are not directly involved with the microsystem, but nevertheless exert influence (both positive and negative) on the individual.
• Finally, the macrosystem is termed ideologues, as it encapsulates those organizations whose ideologies shape the overall culture in which all systems function.

이론적 관점에서 이 두 모델을 결합한 혼합 프레임워크를 정교화하면 시스템 전반과 시스템 간에 발생하는 상호 작용에 대한 이해의 깊이와 풍부함을 높일 수 있습니다. 이러한 상호 작용은 프레임워크 오른쪽의 십자 화살표 방향으로 표시됩니다. 실제 적용 관점에서 이 프레임워크는 명확한 정의와 이론적 프로세스를 제공하여 연구 탐구를 안내합니다. 또한 추가 세부 사항을 통해 빅스의 정렬 이론을 적용하여 각 시스템의 의도가 시스템 내부 및 시스템 간에 정렬되는지 조사할 수 있습니다. 가로 화살표로 표시된 고등교육 내 커리큘럼 정렬은 '심층적인' 자기주도적 학습을 장려하는 것으로 나타났으며36, 세로 화살표로 표시된 시스템 간 정렬도 동일한 결과를 기대할 수 있습니다. 
From a theoretical perspective, elaboration of a blended framework that combines these two models increases the depth and richness of understanding of interactions that occur across and between systems. These interactions are indicated by the cross-arrow directions to the right of the framework. From a practical application perspective, it offers clear definitions and theoretical processes to guide research enquiry. The additional detail also permits applying Biggs theory of alignment to investigate whether the intent of each system is aligned within and across the systems. Curricular alignment within higher education, represented by the horizontal arrow, has been shown to encourage ‘deep’ self-directed learning36; the same outcome might be expected when alignment occurs across systems, represented by the vertical arrow.

도표 상단의 화살표는 결과에서 과정으로 이어지는 CME 개발의 방향을 나타내는데, 이는 빅스의 이론적 관점과 일치합니다.34 이는 또한 CME 개발에 관한 현재의 실용적 사고("끝을 염두에 두고 시작하라"46(6페이지))와도 일치합니다. CME 개발은 결과에서 시작되지만, 도표 아래 화살표로 표시된 학습의 방향은 시간이 지남에 따라 왼쪽에서 오른쪽으로 자연스럽게 발생하는데, 이는 개인과 개인이 속한 시스템의 프레젠테이션 요인이 이러한 시스템 내에서 학습과 지식 전파 과정에 영향을 미치기 때문입니다. 이는 위에서 설명한 두 모델의 이론적 관점에 의해 뒷받침됩니다. 이러한 종적 시간의 실질적인 의미는 학습이 지속적이고 지속적인 과정이라는 것을 의미합니다. 효과적인 학습을 위해서는 CME를 한 시점에 단 한 번의 상호작용으로 개발할 수 없습니다. 실제로 경험적 증거는 여러 번 노출되는 CME가 단일 노출 활동보다 더 효과적이라는 개념을 뒷받침합니다.2 
The arrow at the diagram's top indicating direction of CME development, from outcome to process, is in keeping with Biggs' theoretical perspective.34 This also aligns with current practical thinking regarding CME development (“start with the end in mind”46(p. 6)). Although CME development originates with the outcome, the direction of learning, represented by the arrow below the diagram, naturally occurs from left to right over time—presage factors of the individual and the systems they reside in influence the process of learning and knowledge dissemination within these systems. This is supported by the theoretical perspectives of both models as described above. The practical implication of this longitudinal time implies learning is a continuous, ongoing process. To be effective, CME cannot be developed as a single interaction at a point in time. Indeed, empirical evidence supports the notion that multiple-exposure CME is more effective than single-exposure activities.2

마지막으로, 브론펜브레너의 시간 개념화는 학습의 과정과 체계가 존재하는 캡슐화된 크로노시스템으로 표현됩니다. 이는 개인의 학습이 그들이 살아가고 성장하는 역사적 시대에 발생하는 변화에 의해 형성된다는 것을 인정하며,43 연구자들이 지난 수십 년 동안 의학교육의 유사한 변화를 인식할 것을 요구합니다.47 이러한 변화는 기술이 의료 교육48 및 실무에 계속 영향을 미치면서 더 자주 발생할 것입니다.49 따라서 CME 활동을 수행하는 HCP 사이에 여러 세대의 다양한 교육적 학습 전략이 존재할 것입니다.50 이러한 학습 시대가 개인이 선호하는 학습 과정에 미치는 영향을 인정하지 않으면 CME의 효과와 잠재적 영향에 제한이 있을 수 있습니다. 
Finally, Bronfenbrenner's conceptualization of time is represented by the encapsulating chronosystem in which processes and systems of learning reside. This acknowledges that an individual's learning is shaped by changes arising in the historical era through which they live and develop,43 and requires researchers to be cognizant of similar changes in medical education over the past decades.47 These changes will occur more frequently as technology continues to impact health care education48 and practice.49 Thus, several generations of various pedagogical learning strategies will be present among HCPs undertaking any CME activity.50 Failure to acknowledge the impact of these learning eras on the individual's preferred learning process may limit the effectiveness and potential impact of CME.

결론
CONCLUSION

저자들은 PH CME에서 맥락적 요인의 역할에 대한 이해를 발전시키기 위해 이 새로운 통합 이론적 틀을 발전시켰습니다. 이 프레임워크에 적용된 모델은 서로를 보완하며, 각 모델을 단독으로 사용할 때보다 더 명확하게 CME의 전문적 학습 현상을 탐구할 수 있는 기회를 제공합니다. 이 분석에서 나온 통합된 이론적 프레임워크는 CME 연구에 사용할 수 있는 구조화된 이론 기반 접근법을 제공합니다. 이 통합 이론적 프레임워크는 문헌51을 종합하여 "가장 적합한" 프레임워크를 위한 선험적 프레임워크를 형성하여 PH CME에서 역할을 하는 맥락적 요인의 개념적 틀을 개발할 것입니다. 입증된 근거를 가진 이론을 바탕으로 만들어진 이 통합된 이론적 프레임워크의 발전은 향후 개념적 프레임워크를 사용한 연구 결과의 신뢰성을 향상시킬 뿐만 아니라 의학교육 연구 분야의 학문을 발전시킬 것입니다. 

The authors have advanced this novel unified theoretical framework to evolve understanding into the role of contextual factors in PH CME. The models applied in this framework complement each other and provide opportunity to explore the phenomenon of professional learning in CME with greater clarity than either model on its own. The unified theoretical framework that has emerged from this analysis offers a structured, theory based approach for use in CME research. This unified theoretical framework will form the a priori framework for a “best fit” framework synthesis of the literature51 to develop a conceptual framework of contextual factors that play a role in PH CME. The evolution of this unified theoretical framework created from theories with a proven evidence base not only enhances the reliability of findings using the future conceptual framework but also progresses scholarship within medical education research.

A Unified Theoretical Framework of Learning Theories to Inform and Guide Public Health Continuing Medical Education Research and Practice

PMID: 34057910

PMCID: PMC8168933

DOI: 10.1097/CEH.0000000000000339

Free PMC article

Copyright © 2021 The Author(s). Published by Wolters Kluwer Health, Inc. on behalf of The Alliance for Continuing Education in the Health Professions, the Association for Hospital Medical Education, and the Society for Academic Continuing Medical Education.

공식화된, 평생 의사 커리어 개발의 중요성: 패러다임 변화를 위한 주장(Acad Med, 2021)
The Importance of Formalized, Lifelong Physician Career Development: Making the Case for a Paradigm Shift
R. Thomas Collins II, MD, and Rania Sanford, EdD

전반적으로 의학 분야에서는 의사가 공식적인 대학원 의학 교육을 마친 후 목적의식적인 전문성 개발이 부족한 것으로 보입니다. 의과대학, 레지던트, 그리고 펠로우십 수련 과정을 거치면서 의사의 적성과 성과를 평가할 수 있는 지표가 명확하게 정의된 커리큘럼을 포함하여 의사 개발이 특히 체계적으로 이루어집니다. 수련의가 진급함에 따라 단계적으로 노출과 책임이 부여됩니다. 수련 프로그램을 감독하는 국가 관리 기관이 존재하여 수련 프로그램이 의사 수련 및 전문성 개발에 대한 최신 기준을 충족하는지 확인합니다. 1,2 그러나 의사가 공식적인 수련 프로그램을 마치면 마치 완성품이 된 것과 같습니다. 예측 가능하지는 않더라도 원하는 경로 또는 여러 경로를 따라 지속적으로 발전하는 것을 목표로 하는 공식적인 개발은 학계 의학에서 거의 찾아볼 수 없습니다. 의사 개발은 개인이 추가 학위를 취득하기 위해 시작하거나 다른 동기나 개인적 관심사에 의해 주도되는 경우가 너무 많습니다. 특정 모델에 기반한 리더십 개발 프로그램이 거의 없기 때문에,3 경험에 따르면 대부분의 학술 의료 센터(AMC)(병원 및/또는 대학)에는 의사 인력의 의미 있는 전문성 개발을 위한 체계적이고 공식화된 프로세스가 부족한 것으로 나타났습니다.
As a whole, the field of medicine seems to lack purposeful professional development of physicians once they have completed their formalized graduate medical education. Throughout medical school, residency, and, if undertaken, fellowship training, the development of physicians is particularly regimented, including clearly defined curricula with metrics to assess aptitudes and performance. There are graduated exposure and responsibility as the trainee advances. National governing bodies exist to oversee the training programs, ensuring they meet current standards for physician training and professional development. 1,2 However, once physicians complete their formalized training program, it is as though they are a finished product. Formal development oriented toward continued, if not predictable, advancement along a desired path, or multiple paths, in academic medicine is nearly uniformly absent. Physician development is all too often initiated by the individual to pursue additional degrees or driven by other motivations or personal interests. Absent leadership development programs that are seldom based on specific models, 3 our experience suggests most academic medical centers (AMCs)—hospitals and/or universities—lack structured, formalized processes for meaningful professional development of their physician workforce.

평생 의학 교육 시스템은 의사를 개발하기 위한 가장 보편적인 시도입니다. 의사 면허를 유지하려면 평생 의학 교육이 필요합니다. 주제별 전문가의 교훈적인 강의로 대표되는 그랜드 라운드가 AMC에서 가장 일관되게 제공되는 교육입니다. 또한 전문과목위원회 인증을 유지하기 위한 요건에는 재인증 시험과 최근에는 일종의 품질 개선 프로젝트를 완료하는 것이 포함됩니다. 5 이러한 메커니즘의 목적은 의사가 자신의 분야에서 최신 정보를 유지하는 것입니다. 그러나 그랜드 라운드나 기타 유사한 평생 의학 교육에 참석하여 전문 기술이나 지식을 개발하는 의사는 거의 없기 때문에 이러한 메커니즘이 경력 개발을 충분히 촉진하지는 못합니다. 6 이러한 강의식 교육 포럼은 전달 방식, 지식 및/또는 기술을 실습할 수 있는 기회 부재, 실수로부터 배울 수 있는 기회 부재 등 본질적인 한계가 있습니다. 미국 의과대학협회와 같은 조직은 미래의 학장 7을 준비하거나 소수자 및 중견 여성 교수진을 지원하는 등 틈새 영역에 집중하면서 이러한 격차를 보완하기 위해 성공적으로 노력해 왔습니다.
The continuing medical education system is the prevalent attempt at developing physicians. Continuing medical education is required to maintain licensure. 4 Grand rounds, typified by a didactic lecture by a subject-matter expert, is the most consistent offering across AMCs. Additionally, there are requirements for maintaining specialty board certification that include completing a recertification examination and, more recently, a quality improvement project of some type. 5 The intent of these mechanisms is for physicians to remain up to date within their fields. However, such mechanisms do not sufficiently facilitate career development, as rarely have physicians developed expert skill or knowledge by attending grand rounds or other similar continuing medical education offerings. 6 Those didactic educational forums have significant intrinsic limitations, such as the mode of delivery, absence of an opportunity to practice knowledge and/or skills, and opportunity to learn from mistakes made. Organizations such as the Association of American Medical Colleges have successfully endeavored to compensate for these gaps while focusing on niche areas, such as preparing future deans 7 or supporting minority and mid-career women faculty.

의사의 경력 개발과 심리적 계약
Physician Career Development and the Psychological Contract

조직과 직원 사이에는 일반적으로 심리적 계약이라고 하는 두 가지 유형의 암묵적 계약이 존재합니다. 8 전통적인 심리적 계약은 조직이 장기적인 조직 충성도와 헌신에 대한 대가로 직원에게 고용 안정과 조직 중심의 경력 개발을 제공하는 상호 이익이 되는 관계입니다. 9 승진은 연공서열에 큰 비중을 두고 있습니다. 이 모델은 20세기 후반까지 경력 개발에 대한 유일한 운영 방식이었습니다. 대다수의 AMC와 일부 조직 및 산업은 종신 고용이라는 종신직으로 대표되는 이 모델에 따라 계속 운영되고 있습니다. 종신 고용은 AMC와 민간 또는 영리 의료기관 간의 고용을 구분하는 핵심적인 특징이었으며, 지금도 마찬가지입니다.
There are 2 types of implicit agreements, typically referred to as psychological contracts, that exist between organizations and employees. 8 The traditional psychological contract is a mutually beneficial relationship wherein the organization provides job security and institution-centered career development for the employee in return for long-term organizational loyalty and commitment. 9 Advancement is heavily weighted toward seniority. This model was the singular operating approach to career development until the latter half of the 20th century. The majority of AMCs, and some organizations and industries, continue to operate under this model, which is couched in terms of tenure, namely, employment for life. Tenure was, and arguably remains, a key distinguishing characteristic of employment between AMCs and, for example, private or for-profit clinical practices.

두 번째 심리적 계약 모델은 불안정하고 혼란스러운 시장에서는 더 이상 고용 안정성을 보장할 수 없다는 조건에 기초합니다. 20세기 경제가 변화하고 '다운사이징'이 도입되면서 일자리가 급속히 사라졌습니다. 고용 안정이 보장되지 않는 상황에서 "조직은 내부 이동, 지속적인 성장, 기술 및 능력 향상, 개인적 전문성 개발의 기회를 제공할 수 있다"는 두 번째 심리적 계약이 탄생했습니다. 10 그 결과 직원들은 고용 가능성, 즉 일자리를 잃었을 때 다른 취업 기회를 제공할 수 있는 개인적, 전문적 개발로 초점을 옮겼습니다. 11
The second psychological contract model is based on the condition that in unstable and chaotic markets, job security can no longer be guaranteed. As 20th-century economies shifted and “downsizing” was introduced, jobs rapidly vanished. The second psychological contract was born: in the absence of job security, “organizations may offer opportunities for internal movement, continual growth, increased skills and abilities, and personal professional development.” 10 As a result, employees shifted their focus to employability—their personal, professional development that would provide for other employment opportunities if or when they lost their jobs. 11

직원들이 고용 안정성이 보장되지 않는 상황에서 자기계발을 일종의 보험으로 여기기 시작하면서, 고용 가능성을 유지하는 데 필요한 성장 기회를 제공하는 조직은 점점 더 선호도가 높아지고 최고의 인재를 채용하고 유지하는 데 더 유리한 위치에 서게 되었습니다. 12 따라서 조직은 직원의 전문성, 성과, 헌신도 향상에 대한 대가로 다른 조직으로 이직할 수 있는 경력 개발 기회를 제공합니다. 조직 내 승진은 직원이 필요한 기술을 보유하고 있는지에 따라 결정되며, 연공서열은 그다지 중요하지 않습니다. 따라서 현대의 많은 조직은 직원의 공식적인 개발을 위한 의미 있는 메커니즘을 구축했습니다. 13
As employees start to see their own development as a form of insurance in the absence of job security, organizations that provide opportunities for the growth needed to maintain employability become increasingly desirable and are better positioned to recruit and retain top talent. 12 As such, the organization provides career development for the employee that is portable—transferrable to other organizations—in return for the employee’s increased expertise, performance, and, hopefully, commitment. Advancement within the organization is predicated on the employee’s possession of a necessary skill set, and seniority is less important. Thus, many modern organizations have established meaningful mechanisms for formalized development of their personnel. 13

현재 대부분의 AMC에서 의사를 위한 엄격한 개발 프로세스가 부재한 것은 과거와 현재의 최악의 심리적 계약이 합쳐진 것으로 볼 수 있습니다.

• AMC는 수십 년 동안 테뉴어 트랙 교수진의 꾸준한 감소를 목격해 왔으며, 2013년에는 "풀타임 MD 임상 교수진의 26%~12%만이 테뉴어 트랙에 있었고 14%만이 테뉴어 트랙에 있었습니다." 14
• 테뉴어 제도가 점점 더 시대에 뒤떨어지면서 AMC의 의사 15명은 더 이상 전임자들이 누렸던 직업적 안정성을 누리지 못하고 있습니다.
• 이제 의사들은 매년, 5년마다 등 다양한 주기로 반복적으로 갱신되는 계약에 따라 고용되며, 계약은 AMC의 재량에 따라 연장되는 경우가 늘고 있습니다.
• 마찬가지로 많은 계약은 사업상 또는 재량적 결정에 따라 언제든지 해지될 수 있습니다.
• 최근의 심리적 계약 모델과 일관되게, 직업 안정성은 초기 경력 의사들에게 학문적 성공 로드맵의 불명확성과 함께 우려되는 문제임에도 불구하고, 의사들에게 직업 안정성은 부재하며,16 번아웃을 개선하기 위한 근본적인 필요성으로 더욱 주장되고 있습니다. 17 

The current lack of a rigorous developmental process for physicians at most AMCs could be viewed as an amalgamation of the worst of the old and new psychological contracts.

• AMCs have witnessed a steady decline in tenure-track faculty for decades; in 2013, “only 26%—12% of full-time MD clinical faculty were tenured and 14% were on the tenure track.” 14 
• With tenure becoming increasingly outmoded, 15 physicians in AMCs no longer have the job security their predecessors once enjoyed.
• Physicians now are increasingly employed under contracts with recurrent renewals (in varying periods such as annually, every 5 years, etc.) that are extended at the AMC’s discretion.
• Similarly, many contracts can be terminated at any time, subject to business or discretionary decisions.
• Consistent with the more recent psychological contract model, job security is absent for physicians, notwithstanding that job security is a concern for early-career physicians that has been concomitant with lack of clarity on an academic roadmap of success, 16 and is further argued to be a fundamental need to ameliorate burnout. 17

그러나 20세기 초의 조직과 전통적인 심리 계약 모델과 마찬가지로 AMC는 여전히 위계질서를 유지하고 있으며, 승진 결정과 승진 기회 선택에 있어서도 여전히 연공서열에 큰 비중을 두고 있어 이전 패러다임의 흔적이 남아 있습니다. 의사의 경력 개발을 위한 합법적인 메커니즘이 현저히 부족한 것은 오늘날 채용되어야 할 AMC의 심리적 계약에 대한 이해가 부족하다는 것을 반영하는 것으로 보입니다. 이러한 격차는 여성과 소수자, 특히 경력 중기 및 후기 단계에 있는 의사들의 리더십 발전, 유지, 준비와 같은 목표를 달성할 수 있는 AMC의 잠재력을 더욱 약화시킵니다.
However, more like the traditional psychological contract model, AMCs remain particularly hierarchical, as was the case in organizations and the traditional psychological contract of the early 20th century, and seniority is still heavily weighted when it comes to decisions of advancement and selection for advancement opportunities—an additional vestige of the former paradigm. The significant dearth of legitimate mechanisms for physician career development seems to reflect a lack of understanding of the psychological contract on the part of AMCs that should be employed today. This gap further undermines an AMC’s potential to meet goals such as advancing, retaining, and preparing for leadership women and underrepresented minorities, particularly those in mid- and late-career stages.

경력 개발에 대한 대조적인 접근 방식
A Contrasting Approach to Career Development

의사들의 의도적인 경력 개발이 부족하다는 것은 분명하지만, 구성원들의 성공적인 경력 개발의 역사가 입증된 오랜 조직인 미군으로부터 의사들이 배워야 할 것이 많습니다. 미군에는 공식화되고 의도적인 경력 개발의 정신이 군대와 그 성공에 필수적입니다. 레지던트나 펠로우십을 마치면 의사가 완성품으로 취급되는 의학계의 접근 방식과는 달리, 군대는 계급에 관계없이 제복을 입는 한 성장하고 배우고 발전할 수 있는 잠재력을 가지고 있으며, 군대는 이러한 개인의 경력 개발 과정을 보장하는 시스템을 갖추고 있다는 다른 철학을 가지고 있습니다. 18 이러한 지속적인 역량 기반 개발 프로세스는 군 생활에서 떼려야 뗄 수 없는 부분이며, 19 대령과 일반 장교 사이에서도 계급에 관계없이 계속됩니다. 의료기관과 우리 사회도 이와 유사한 철학을 도입함으로써 의사들의 역량을 크게 향상시키고 현재 낭비되고 있는 막대한 잠재력을 활용할 수 있습니다. 이러한 접근 방식은 문화적 차이에도 불구하고 군대와 교육 기관이 공유하는 장기 근속 및 서비스 차별화 요소를 중시하는 임무 중심의 직업 기관에 적합하다고 주장합니다. 
While it is clear that intentional career development of physicians is lacking, there is much that physicians have to learn from a longstanding organization with a demonstrated history of successful career development of its members—the U.S. military. There is an ethos of formalized and intentional career development essential to the military and its success. As opposed to the approach in medicine where a physician is largely treated as a finished product upon completing residency or fellowship, the military has a different philosophy—as long as one dons the uniform, no matter the rank, they still have the potential to grow, learn, and develop, and the military has a system to make sure this career-long process of individual development happens. 18 This ongoing, competency-based developmental process is an inextricable part of being in the military, 19 one that continues no matter the rank, even among colonels and general officers. By incorporating a similar philosophy, medical institutions and our society stand to enhance greatly the capabilities of physicians and capitalize on large potential that is currently going to waste. We argue that this approach is appropriate for mission-driven, career institutions that value longevity and service—distinguishing elements that are shared by the military and educational institutions despite their cultural differences.

의사 경력 개발에 대한 헌신 증가가 의료 조직에 미치는 영향
The Impact of Increased Commitment to Physician Career Development on Medical Organizations

직원 개발에 대한 조직의 투자는 수십 년 동안 문서화된 이점을 가져옵니다. 거터리지와 동료들은 조직이 직원 개발을 위한 헌신적인 노력으로 인해 직원 기술 및 사기 향상, 직원 역량 강화, 인적 자원 계획 및 선발 개선, 전략적 이점 증대, 직원 유지율 향상 등을 경험했다고 보고했습니다. 20 여러 전문 분야의 수많은 연구자들은 멘토링, 코칭, 액션 러닝 및 기타 방법을 통해 조직이 인재 개발에 투자하면 경력 만족도와 기본 지식 및 기술이 향상되고 직원 이직률이 감소한다는 사실을 밝혀냈습니다. 21-23 AMC가 의도적이고 공식화된 의사 경력 개발에 더 많은 노력을 기울인다면 광범위한 긍정적 효과를 볼 수 있다고 믿지 않을 이유가 없습니다. 
Organizational investment in the development of employees carries benefits that have been documented for decades. Gutteridge and colleagues have reported that organizations experience enhanced employee skills and morale, employee empowerment, improved human resources planning and selection, greater strategic advantage, and enhanced employee retention because of dedicated efforts toward employee development. 20 Numerous other investigators from multiple professional domains have shown that organizational investment in personnel development through mentoring, coaching, action learning, and other methods improves career satisfaction and fundamental knowledge and skill and decreases employee turnover. 21–23 There is no reason to believe that AMCs would not benefit greatly from increased commitment to intentional, formalized physician career development and see far-reaching, positive effects.

의사의 번아웃과 직업 불만족은 의료계에서 유행병 수준입니다. 추정치의 범위는 넓지만, 샤나펠트와 동료들은 의사의 약 50%가 직업적 소진을 겪고 있다고 지적하는 광범위하고 잘 설계된 연구를 보고한 바 있습니다. 24 이는 미국 내 의사 인력의 절반에 해당하는 놀라운 수치입니다. 의사들의 직업 불만족도 또한 수십 년 동안 증가 추세에 있습니다. 25 번아웃과 경력 불만족은 모두 생산성 저하로 이어집니다. 또한 번아웃은 이직률 증가와도 관련이 있으며,26 이는 인력 안정성뿐만 아니라 조직의 재정 건전성에도 상당한 비용을 초래할 수 있습니다. 의료기관을 떠나는 의사 한 명당 의료기관은 약 150만 달러의 매출 손실과 채용 비용의 손실을 입게 됩니다. 27,28 의사의 경력 개발에 투자하면 훨씬 적은 비용으로 이 비용을 절감할 수 있습니다. 
Physician burnout and career dissatisfaction are at epidemic levels within medicine. While the range of estimates is wide, Shanafelt and colleagues have reported extensive and well-designed studies that point to approximately 50% of physicians as suffering from professional burnout. 24 This is an alarming half of the physician workforce in the United States. Career dissatisfaction among physicians has also been on the rise for decades. 25 Both burnout and career dissatisfaction result in decreased productivity. Additionally, burnout is associated with increased turnover, 26 which can be quite costly, not only for workforce stability but also for the financial health of organizations. For each physician who leaves an institution, the cost for the organization is approximately $1.5 million dollars in lost revenue and recruitment expenses. 27,28 Investing in physician career development would be a far less expensive proposition.

의미 있는 경력 개발은 직무 만족도와 직원 유지율을 향상시킵니다. Ng와 동료들은 대규모 메타분석을 통해 경력 개발을 위한 조직적 지원의 척도가 경력 만족도와 가장 밀접한 상관관계가 있음을 보여주었습니다. 29 실제로 이 연구에 따르면 경력 개발에 대한 조직의 지원은 급여 및 승진보다 경력 만족도와 더 밀접한 관련이 있으며, 이는 조직 내 전통적인 패러다임과 상반되는 결과입니다. 또한 조직의 직원 개발 지원은 조직에 대한 직원의 헌신, 즉 조직에 남을 가능성과도 높은 상관관계가 있는 것으로 나타났습니다. 10 반대로 고용 안정이 보장되지 않는 환경에서 원하는 학습 및 성장 기회를 제공하지 못하는 조직은 핵심 직원을 잃을 위험이 커져 경쟁력이 약화됩니다. 12 
Meaningful career development improves job satisfaction and employee retention. In a large meta-analysis, Ng and colleagues showed that measures of organizational support for career development were most strongly correlated with career satisfaction. 29 In fact, that study showed that organizational support of career development was more strongly related to career satisfaction than to salary and promotion, which is in contradistinction to the traditional paradigms within organizations. Further, organizational support of employee development has been highly correlated with employees’ commitment to the organization, that is, the likelihood of remaining with the organization. 10 Conversely, in an environment where job security cannot be guaranteed, organizations that fail to deliver the desired learning and growth opportunities are at greater risk of losing key employees, thus becoming less competitive. 12

최근 강조된 바와 같이, 중견 및 후기 경력 교직원을 위한 멘토링 및 경력 개발의 성과에 관한 데이터는 거의 없는데, 30 이는 이 단계의 의사들이 의도적이고 엄격한 경력 개발을 하는 경우가 드물기 때문일 수 있습니다. 이러한 데이터 부족으로 인해 은퇴 등 의사의 경력 결정에 영향을 미치는 변수의 상호 작용에 대한 이해가 부족합니다. 그 결과, 현재 의사의 은퇴에 관한 연구 결과가 서로 엇갈리고 있는 것처럼 보입니다. 예를 들어, 스카룹스키와 그의 동료들은 65세 이상의 의사들 중 경력을 계속 유지하고 있는 의사들의 수가 증가하고 있다고 보고했습니다. 31 그러나 이들은 별도의 논문에서 의사들의 은퇴 결정에 영향을 미치는 주요 요인으로 의사의 소진을 동시에 보고했습니다. 32 이는 의사들 사이에 소진이 만연해 있는 상황에서 경력 말기에 도달한 의사들이 계속 일을 계속하고 있지만, 경력 초기 단계에 있는 의사들의 소진은 향후 의료계에서 조기 퇴출될 위험을 증가시킬 수 있음을 시사합니다. 이렇게 되면 현재보다 훨씬 더 많은 의사가 부족해질 것입니다. 그러나 의도적인 의사 경력 개발 철학을 도입하면 의사의 소진을 크게 줄이지는 못하더라도 완화할 수 있으며, 이를 통해 의사의 생산성 향상과 지속적인 경력 참여로 이어져 다가오는 의사 부족의 영향을 완화할 수 있다고 주장합니다. 
As has recently been highlighted, few data are available regarding the outcomes of mentoring and career development for mid- and late-career faculty, 30 most likely because intentional, rigorous career development of physicians at these stages is rare. This lack of data shortchanges our understanding of the interplay of variables that influence physician career decisions, such as retirement. As a result, there is currently a seeming divergence of findings regarding physician retirement. For example, Skarupski and colleagues have reported increasing numbers of physicians older than 65 who are continuing in their careers. 31 Yet in a separate publication, they simultaneously reported physician burnout as the leading factor influencing physicians’ decisions to retire. 32 This suggests that in the face of widespread burnout among physicians, although those who have made it to late-career continue to press on, burnout among physicians in early-career stages will increase the risk of future early exits from medical practice. This would result in a much greater physician shortage than is already present. However, by employing a career-long philosophy toward intentional physician development, we contend that physician burnout could be mitigated, if not significantly decreased, thereby leading to increased productivity and continued career involvement of physicians such that the impact of the looming physician shortage might be mitigated.

의사 경력 개발 모델
The Physician Career Development Model

우리는 미 공군에서 처음 개발한 교육훈련 방법인 분석-설계-개발-실행-평가(ADDIE) 33를 사용하는 프레임워크를 제안합니다. 34 인적 자원 관리 분야에서 ADDIE 모델은 직원 교육 프로세스의 황금 표준입니다. 35 의사 경력 개발에 ADDIE 모델을 적용하는 것은 이 모델을 새롭게 적용하는 것이지만 한계가 없는 것은 아닙니다. 학습자 중심의 기반에는 성인기에 걸쳐 점진적으로 복잡한 지식과 변화에 대한 대응 방식이 포함됩니다. 36,37   
We propose a framework that uses the analyze-design-develop-implement-evaluate (ADDIE) training method, 33 which was originally developed by the U.S. Air Force. 34 In the field of human resource management, the ADDIE model is the gold standard for employee training processes. 35 Applying the ADDIE model to physician career development would be a novel application of the model and not without limitations. Its learner-centered underpinnings involve progressively complex ways of knowing and responsiveness to change over the course of adulthood. 36,37

ADDIE의 반복적인 프레임워크는 "기술, 지식, 행동의 성장"을 반영하고 경력 과정의 변화를 허용하는 의사 개발을 위한 발달적 접근 방식에 대한 우리의 요구를 반영합니다. 38 ADDIE의 프레임워크는 '평생 학습자'로서 교수진에게 "높은 관련성"을 보이는 개인적 접근 방식인 코칭과 유사하며, 39 의사의 경우 회복력 증가, 40 임상 진료의 질 향상, 41 웰빙 증진, 고통 감소 등의 효과가 있는 것으로 나타났습니다. 42 우리는 공식화된 ADDIE 프레임워크가 AMC의 제약 내에서 의사에게 단계에 적합한 경험적 학습 기회를 제공하는 강력한 모델을 만든다고 가정합니다. 이 모델의 성공 여부는 기관-의사 역학 관계의 특성에 따라 달라질 수 있으며, 훈련, 적성, 역량, 직무 만족도를 갖춘 의사 집단Cadre을 양성하여 환자 치료, 교육, 연구의 질에 영향을 미치고 폭넓은 의사 역량을 통해 의료 혁신을 위한 역량을 구축할 수 있을 것입니다. 참고로, 우리는 AMC 내의 관점에서 의사 경력 개발 문제를 다루고 있지만, 민간 및 영리 조직과 의료 관리 조직과 같은 다른 맥락에서도 똑같이 효과적이지 않을 것이라고 믿을 이유가 없습니다. 
ADDIE’s iterative framework echoes our call for a developmental approach for physician development—a reflection of the “growth in skills, knowledge, and behaviors” and allowing for the changes in the course of a career. 38 ADDIE’s framework parallels coaching, a personal approach that has shown to be “highly relevant” for a faculty member as a “lifelong learner of a craft,” 39 which for physicians has shown increased resilience, 40 improved quality of clinical practice, 41 enhanced wellbeing, and decreased distress. 42 We posit that a formalized ADDIE framework creates a robust model delivering stage-appropriate experiential learning opportunities for its physicians within the constraints of their AMCs. The success of this model could predicate on the nature of the institution–physician dynamic, and would result in a physician cadre with training, aptitudes, competence, and job satisfaction that in turn affect the quality of patient care, teaching, and research, and build capacity for health care innovation through the breadth of academic physician capabilities. Of note, while we are addressing the issue of physician career development from the perspective within an AMC, we have no reason to believe it would not be equally effective in other contexts such as private and for-profit organizations and health care management organizations.

ADDIE 모델은 야심찬 모델이지만 고려해야 할 몇 가지 한계가 있습니다. 이 모델은 의사 경력 개발에 대한 역동적이고 고도로 개인화된 접근 방식을 전제로 하기 때문에 이를 조직 전체에 확대 적용하려면 상당한 자원을 투자해야 합니다. ADDIE에 따른 각 의사의 선택에 따라 발생할 수 있는 다양한 개발 경로가 소규모 AMC에서는 문제가 될 수 있습니다. 또한, 이 모델의 구현은 의사의 생애에 걸친 장기적인 궤적에 의해 방해를 받을 수 있습니다. 
While the ADDIE model is ambitious, there are some limitations that should be considered. The model’s predication on a dynamic, highly personalized approach to physician career development commands investment of significant resources to bring it to scale across organizations. The diversity of development paths that could result from each physician’s choices under ADDIE could be a challenge at small AMCs. Additionally, implementations of the model could be hindered by its long-term trajectory over a physician’s lifetime.

의사 경력 개발에 대한 이론적 프레임워크는 그림 1에 나와 있습니다. 
Our theoretical framework for physician career development is presented in Figure 1.

분석 단계
Analysis phase

'학습과 성장 기회'를 제공하기 위해 AMC는 조직의 목표와 제약에 대한 현실적인 평가와 함께 의사들이 어떤 방향으로 어떻게 커리어를 발전시키고 싶어 하는지에 대한 이해가 있어야 합니다. 
To provide “learning and growth opportunities,” 12 AMCs must have an understanding of how and in what directions the physicians want to take their careers, along with a realistic assessment of the organizational goals and constraints.

의사의 역량과 목표를 AMC의 요구 사항과 결합하여 분석하면 성공에 필요한 인사이트를 얻을 수 있습니다. 이러한 체계적인 평가는 "교육 설계 및 개발의 중요한 초기 단계이며 교육 프로그램의 전반적인 효과에 상당한 영향을 미칠 수 있습니다." 43 역량, 목표, 요구사항, 만족의 동인에 대한 의사의 자체 평가는 멘토, 코치 및 숙련된 커리어 가이드의 의견을 통해 이루어집니다. AMC가 이러한 리소스를 제공한다면 의미 있는 경력 개발 프로그램을 만드는 첫걸음이 될 것입니다. 
The analysis of the physician’s capabilities and goals in combination with the needs of the AMC gives the necessary insight for success. This systematic assessment “is a crucial initial step to training design and development and can substantially influence the overall effectiveness of training programs.” 43 A physician’s self-assessment of capabilities, goals, needs, and drivers of satisfaction is done with input from mentors, coaches, and/or a trained career guide. If AMCs provided such resources, it would be a first step in cocreating a meaningful career development program.

Lieff는 의사들이 자신에 대한 이해와 가장 큰 커리어 포부를 높일 수 있는 여러 가지 메커니즘을 훌륭하게 설명했습니다. 44 한 가지 메커니즘은 "몰입flow"이라고 불리는 "최적의 경험"의 에피소드에서 비롯됩니다. 45 샤나펠트와 동료들은 의사가 일주일에 20%의 시간만 즐거움을 주는 경험에 투자하면 번아웃의 위험이 크게 줄어든다는 것을 보여주었습니다. 46 따라서 업무 몰입의 동인을 파악하고 이를 위한 기회를 제공하기 위한 개발 계획을 수립하면 의사의 경력 만족도는 높아지고 소진은 감소하며, 이는 이들을 고용하는 AMC에도 도움이 될 것입니다.  
Lieff has outlined superbly multiple mechanisms through which physicians can increase their understanding of themselves and their greatest career aspirations. 44 One mechanism arises from episodes of “optimal experience,” which have been termed “flow.” 45 Shanafelt and colleagues have shown that if a physician spends only 20% of their time per week working on those experiences that bring enjoyment, the risk of burnout is drastically reduced. 46 It follows that by identifying drivers of flow and building a developmental plan to provide opportunities for it, physicians would experience increased career satisfaction and decreased burnout, which would also benefit the AMCs that employ them.

조직적 맥락을 고려해야 합니다. 의사의 가치관, 열정, 궁극적인 커리어 목표가 AMC의 장기적인 비전 및 미션과 일치해야 합니다. 그렇지 않으면 AMC는 의사의 개발에 투자할 인센티브가 없고, 의사는 성취감을 느끼지 못할 것입니다. 
The organizational context must be taken into consideration. The physician’s values, passions, and ultimate career goals must align with the long-term vision and mission of the AMC. If they do not, the AMC has no incentive to invest in the physician’s development, and the physician will be unfulfilled.

설계 단계
Design phase

의사는 AMC 및 커리어 가이드/코치와 협력하여 경력 개발 계획을 수립합니다. 예를 들어, 이 계획에서는 AMC의 사명과 제약 조건(시간 및 자금의 가용성 또는 기관의 요구와 같은 자원)에 따라 의사가 경력 목표를 달성하는 데 가장 유리한 위치에 놓일 수 있는 교육 기회와 기타 기회를 식별합니다. 
The physician would create a career development plan collaboratively with their AMC and a career guide/coach. The plan identifies, for example, those training opportunities as well as other opportunities that put the physician in the best position to reach their career goals in alignment with the AMC’s mission and constraints (resources such as availability of time and funds or institutional needs).

직장 내 학습의 거의 70%가 실무 교육, 행동, 체험적 또는 능동적 학습에서 비롯됩니다. 39,47 이는 레지던트 및 펠로우십 교육의 도제식 모델에 반영되어 있으며 교수진 개발의 관행을 변화시키고 있습니다. 39 의사의 경력 개발에 이러한 접근 방식을 사용하면 AMC와 의사는 의료 교육 및 비즈니스 부문에서 효과가 있는 것으로 알려진 학습자 중심 모델, 즉 즉각적이고 측정 가능한 영향을 미치는 점진적이고 발전적인 변화를 향해 유연하고 맞춤화되고 점진적인 모델을 활용할 수 있습니다. 47 
Adults learn best experientially: nearly 70% of workplace learning stems from on-the-job training, action, or experiential, or active, learning. 39,47 This is reflected in the apprenticeship model of residency and fellowship training and has been transforming the practice of faculty development. 39 Using this approach in physician career development, the AMC and physician could capitalize on what we know works in medical training and in the business sector: learner-centered models that are flexible, tailored, and incremental toward gradual and evolutionary change with an immediate, measurable impact. 47

개발 단계
Development phase

우리가 제안하는 경력 개발 프로그램은 의사가 목표를 향해 나아갈수록 경험의 단계를 점진적으로 높여나갈 수 있습니다. 이러한 발전의 예로는 처음에는 클리닉에서 환자를 진료하다가 클리닉의 부원장이 되고, 다음에는 클리닉의 원장으로 승진한 후 AMC의 모든 외래 클리닉의 원장이 되는 의사를 들 수 있습니다. 
The career development program we propose would progressively increase echelons of experiences as the physician moves further toward their goal(s). An example of this progression is a physician who at first sees patients in a clinic, then becomes the associate director of the clinic, next advances to director of the clinic, and thereafter becomes the director of all outpatient clinics for the AMC.

이러한 맥락에서 다음 단계로 나아가기 위해 필요한 적성을 정의하고 측정하는 것이 필요하며, 주어진 단계 내에서 적성을 어떻게 발휘할 수 있는지를 파악하는 것이 중요합니다. 적성을 정의하는 데 있어 본질적인 과제이자 도전 과제는 성공적인 완수 및 진급 준비에 대한 지표를 설정하는 것입니다. 잠재적인 단계별 개발 프로젝트의 개념화 또는 실행은 평가 및 개발 향상을 위한 매우 효과적인 행동 학습 방법을 제공하기 위해 수행될 수 있습니다. 48 
Within this context, it is necessary to define and measure the aptitudes needed and how they might be demonstrated within a given echelon to advance to the next. Intrinsic, and a challenge, to the definition of aptitudes is the establishment of metrics of successful completion and readiness to advance. The conceptualization or implementation of potential echelon-specific developmental projects could be undertaken to provide a highly effective, action-learning method for assessment and enhanced development. 48

실행 단계
Implementation phase

일부 의사의 경우, 공식화되고 개별화된 훈련 및 교육(예: 연구, 교육 또는 비즈니스 관련 석사 프로그램)이 역량, 헌신, 경력 만족도를 높여 경력 개발에 적합할 수 있습니다. 49 다른 많은 의사들에게 코칭과 멘토링은 가장 유익한 경력 개발 자원입니다. 21 이는 공식적인 교육 프로그램이나 의료 서비스 맥락에서 이루어질 수 있습니다. 의료계에서는 명확한 기대치와 가시적인 목표(소위 기능적 멘토링)를 가지고 멘토링 관계를 구축할 때 결과가 개선됩니다. 50 공식적인 멘토링 또는 커리어 코칭 프로세스를 개발하면 롤 모델에 대한 접근성과 노출이 증가하여 경력 개발 계획의 실행이 활성화되고, 궁극적으로 의사가 AMC에 제공할 수 있는 역량이 증가합니다. 
For some physicians, formalized, individualized training and education (e.g., research-, teaching-, or business-related master’s programs) may be appropriate for career development by increasing capabilities, commitment, and career satisfaction. 49 For many other physicians, coaching and mentoring are the most beneficial career development resources. 21 This may occur within formalized education programs or in the health care context. Within health care, when mentoring relationships are established with clear expectations and a tangible goal—so-called functional mentoring—the outcomes improve. 50 Developing a formal mentoring or career-coaching process activates implementation of the career development plan by increasing access and exposure to role models, ultimately increasing capabilities the physician could bring to bear for the AMC.

계획을 실행하는 동안 AMC는 의사의 승진을 위한 경로를 만들어야 합니다. 더 높은 경력을 쌓고 싶은 의사의 경우, 이전 노력을 통해 습득한 기술은 있지만 이를 활용할 수 있는 길이 없다면 의욕이 크게 저하될 수 있습니다. 앞서 설명한 바와 같은 협력적 개발 참여를 통해 의사와 조직은 의사의 역량 내에서 가능한 최고 직책에 도달할 수 있는 과정을 설명하기 위해 투명한 관계를 구축할 수 있습니다. 이러한 투명성은 의사가 특정 목표를 달성하기 위해 현실적인 자기 평가와 상황 평가를 할 수 있도록 해주기 때문에 매우 유익할 것입니다. 이 과정에는 의학계에서는 생소할 수 있는 개방성이 필요합니다. 그러나 이는 필요한 신뢰를 증진하고, 공정성과 정의감을 제공하며, 공평한 능력주의를 창출하고 유지할 수 있습니다. 13 
During implementation, it is incumbent upon AMCs to create a pathway for physician advancement. For physicians who have higher career aspirations, being left with a ready skill set gained through previous efforts but no avenue to use it can be significantly demotivating. Through this collaborative developmental engagement along the lines described earlier, the physician and organization cocreate a transparent relationship, if only to delineate the process by which the highest possible position within the physician’s capabilities could be attained. Such transparency would be markedly beneficial because it would provide the physician with realistic self- and contextual appraisal toward reaching specific goals. This process requires openness that may be novel in medicine. But it would promote necessary trust, provide a sense of fairness and justice, and create and maintain an equitable meritocracy. 13

평가 단계
Evaluation phase

의사의 경력 개발 과정에서는 이정표를 달성하고 개발 기회가 제공되고 있는지 확인하기 위해 지속적이고 형성적인 평가가 필요합니다. 이를 통해 진행 상황, 변경해야 할 사항, 다음 단계에 대한 준비 가능성을 파악할 수 있습니다. AMC의 경우, 이 평가는 투자 수익률에 대한 평가를 제공하고 승계 계획을 수립할 수 있게 해줍니다. 
The physician career development process requires ongoing, formative assessment to ensure that milestones are being achieved and developmental opportunities are being undertaken. This sheds light on progress, what needs to be altered, and the likelihood of preparedness for the next echelon. For the AMC, the evaluation both provides an appraisal of the return on investment and allows for succession planning.

결론
Concluding Remarks

ACGME에서 인증한 레지던트 및 펠로우십 교육 프로그램의 형태로 의사 경력의 기초를 제공하기 위해 엄격하고 잘 발달된 시스템이 마련되어 있습니다. 의사가 경력을 쌓는 동안 지속적이고 의도적인 경력 개발을 위한 시스템은 매우 부족합니다. 평생 의사 경력 개발 철학을 채택하면 AMC, 환자, 의사, 수련의 모두에게 큰 이득이 될 수 있습니다. 
There are rigorous, well-developed systems in place to provide the foundations of physicians’ careers in the form of Accreditation Council for Graduate Medical Education accredited residency and fellowship training programs. Systems for ongoing, intentional career development for physicians across the course of careers are sorely lacking. By adopting a lifelong physician career development philosophy, AMCs, their patients, their physicians, and trainees stand to gain significantly.

Copyright © 2021 by the Association of American Medical Colleges.

CPD의 개념적 프레임워크의 다섯 도메인 (J Contin Educ Health Prof. 2023)
Five Domains of a Conceptual Framework of Continuing Professional Development
David P. Sklar, MD; Teresa Chan, MD, MHPE; Jan Illing, PhD; Adrienne Madhavpeddi, MSc; William F. Rayburn, MD, MBA, FSACME 

문제 제기
PROBLEM STATEMENT

의사를 교육하기 위해서는 의예과, 학부 의학교육(UME), 대학원 의학교육(GME), 지속적인 전문성 개발(CPD)의 엄격한 과정을 거쳐야 합니다. 의사의 평균 은퇴 연령이 69세라고 가정할 때1 대부분의 의사는 거의 40년 동안 CPD를 받아야 하는데, 이는 UME와 GME를 합친 기간의 거의 5배에 달하는 기간입니다. 
Education of physicians requires a long rigorous process of premedical, undergraduate medical education (UME), graduate medical education (GME), and continuing professional development (CPD). Assuming an average age of physician retirement of 69 years,1 most physicians will require nearly 40 years of CPD—almost five times the combined duration of UME and GME.

의학 지식은 73일마다 두 배씩 증가하는 것으로 추정되며, 졸업하는 의대생들은 새로운 정보를 따라잡기 위해 평생교육에 의존하고 있습니다.2 CPD의 목표는 의사가 환자 치료 결과를 개선하는 데 도움이 되는 교육을 제공하는 것이지만, 공식적인 CPD가 이러한 목표를 달성했다는 증거는 거의 없습니다.3,4 이전 CPD 모델에는 공백이 있습니다.

• 케네디는 CPD의 유형과 이를 사용하는 방법 및 시기를 식별하는 모델을 개발했습니다.5 케네디는 CPD의 유형을 교육, 수상, 적자, 계단식, 표준 기반, 코칭 또는 멘토링, 실무 커뮤니티, 행동 연구, 변혁적 등 9가지로 분류하고 강점과 약점을 설명했습니다. 그러나 그녀의 모델은 교육과 교사에 초점을 맞춘 것으로, 의료 서비스나 보건 시스템 개선에는 특별히 적용되지 않았습니다.
• Roux 등은 공중보건과 관련된 CPD를 위한 통합 모델을 개발했지만,6 이 모델의 임상 진료 적용 가능성은 연구되지 않았습니다.
• Moore 등은 환자 결과를 통합하려는 역량 기반 프레임워크를 사용하여 CPD 계획 및 평가 모델7을 개발했습니다. 이 모델은 기획자에게 유용한 아이디어를 개발하지만 학습자와 시스템 목표를 통합하지는 않습니다.
• Fox와 Bennett8은 세 가지 유형의 CPD(자기 주도형, 소그룹형, 직장 기반형)를 확인했습니다. 활동의 목표에 따라 각 유형을 고려해야 하지만, 이 모델은 의료 시스템 우선순위와 연계성을 제공하지 않습니다.

Medical knowledge has been estimated to double every 73 days, leaving graduating medical students dependent on continuing education to keep up with new information.2 Although the goal of CPD is to provide education that helps physicians improve patient outcomes, there is little evidence that formal CPD has achieved this goal.3,4 There are gaps in previous models of CPD.

• Kennedy developed a model that identified typologies of CPD and how or when to use them.5She characterized nine types of CPD: training, award-bearing, deficit, cascade, standards-based, coaching or mentoring, community of practice, action research, and transformative and describes strengths and weaknesses. However, her model was focused on education and teachers and did not apply specifically to health care or improving health systems.
• Roux et al developed a unified model for CPD related to public health,6 but the applicability of this model to clinical care was not studied.
• Moore et al developed a model for planning and assessment of CPD7 using a competency-based framework that attempts to incorporate patient outcomes. This model develops useful ideas for planners but does not integrate learner and systems goals.
• Fox and Bennett8 identified three types of CPD (self-directed, small group, and workplace based). Each should be considered depending on the goals of the activity, but this model does not provide alignment with health system priorities.

이러한 프레임워크는 개별 학습자가 지식과 기술을 업데이트하는 데 도움이 될 수 있지만, 새로운 지식과 기술이 임상 환경에서 적용되어 보건 시스템의 목표를 달성할 수 있는지는 다루지 않습니다. 

• 사무엘 외4는 CPD가 의료 전문가의 성과와 환자 결과에 미치는 영향에 대한 지식 종합을 광범위하게 검토한 결과, 대부분의 환자 결과에 대한 CPD의 영향은 유의미하지 않다는 결론을 내렸습니다.
• 이러한 우려스러운 결과는 학습이 실무로 이전되지 않고 CPD 개입의 일부로서 환자 결과를 측정하지 않았기 때문일 수 있습니다.9 Illing 등9은 환자 결과를 개선하기 위해 의료 교육 활동을 설계할 수 있지만, 이는 설계의 일부로서 의도적으로 이루어져야 하며 결과를 측정하고 피드백을 제공해야 한다는 것을 입증했습니다.

Although these frameworks can help individual learners update their knowledge and skills, they do not address whether the new knowledge and skills will be applied in the clinical environment and address goals of the health system.

• In a scoping review of knowledge syntheses of the effect of CPD on health professionals' performance and patient outcomes, Samuel et al4 concluded that the effects of CPD on most patient outcomes were nonsignificant.
• This worrisome finding may be because of a lack of transfer of learning to practice and failure to measure patient outcomes as part of the CPD intervention.9 Illing et al9 have demonstrated that medical education activities can be designed to improve patient outcomes, but this must occur intentionally as part of the design, with results measured and feedback provided.

임상의가 하는 일의 가장 중요한 측면은 환자를 돌보는 것이며, 임상의가 효과적이고 효율적인 방식으로 환자를 돌볼 수 있도록 돕는 것이 CPD의 목표가 되어야 합니다. 우리는 버윅 외10가 인구 건강 개선, 개인의 의료 서비스 경험 향상, 인구의 1인당 의료 비용 절감이라는 세 가지 목표를 제시하고, 이후 보덴하이머 외11가 직원 건강까지 포함하는 네 가지 목표로 수정한 삼중 목표가 CPD 활동에 적용할 수 있는 명시적인 의료 시스템 목표를 제공한다고 믿습니다. 우리는 임상의의 교육 목표를 이러한 의료 시스템 목표에 맞추고, 따라서 개인 학습에 초점을 맞춘 기존의 CPD 목표를 넘어 의료 시스템 목표와 의료 팀을 염두에 두고 개인 학습을 설계할 수 있는 모델로 CPD의 목표를 확장하는 새로운 개념적 프레임워크를 제안합니다. 이 프레임워크는 직장에서의 정보 및 기술 평가의 혁신을 통합합니다. CPD의 우선순위를 직장으로 옮기는 이러한 변화는 임상의의 성과에 더 집중하여 환자 결과를 개선하기 위한 것입니다. 이전의 CPD에 대한 개념적 프레임워크는 의료진, 의료 시스템, 인구 건강 또는 환자 결과를 다루지 않고 개별 의료 전문가의 학습 과정과 동기에 주로 초점을 맞췄습니다. 우리의 프레임워크는 개인이 생명과학 지식을 향상시키기 위해 CPD 활동에서 배우는 것과 의료 시스템 및 환자 결과를 개선하기 위해 학습을 적용하는 것 사이의 간극을 해결합니다.  
The most crucial aspect of what clinicians do is care for patients, and helping them do so in an effective and efficient manner should be the goal of CPD. We believe that the Triple Aim, identified by Berwick et al,10 of better population health, better individual experience of health care, and lower per-capita costs of care for populations, subsequently revised to the Quadruple Aim by Bodenheimer et al11 to include workforce wellness, provides explicit health care system goals that could apply to CPD activities. We propose a novel conceptual framework for CPD that would align clinician educational goals with these health system goals and thus broaden the goals of CPD beyond the traditional focus of individual learning, to a model in which individual learning can be designed with health system goals and the health care team in mind. Our framework incorporates innovations in information and skills assessment in the workplace. This shift in priority of location of CPD to the workplace is meant to better focus on performance of clinicians to improve patient outcomes. Previous conceptual frameworks for CPD have been largely focused on the learning processes and motivations of individual health professionals without addressing the health care team, health systems, and population health or patient outcomes. Our framework addresses the gap between what individuals learn in a CPD activity to improve their bioscientific knowledge and the application of learning to improve health systems and patient outcomes.

우리는 개인과 인구의 높은 가치의 건강 관리를 촉진하는 보건 시스템 및 교육 성과에 대한 초점으로 점점 더 많이 받아들여지고 있는 쿼드러플 목표를 CPD의 중심 목표로 사용하기로 결정했습니다. 보건 시스템 목표를 CPD 활동에 적용할 수 있다면 학습의 결과는 환자와 시스템의 결과를 개선할 수 있을 것입니다. 
We have chosen to use the Quadruple Aim as our central goal for CPD based on its growing acceptance as a focus for health system and educational performance that promotes high-value health care of individuals and populations. If health system goals could be applied to CPD activities, the outcomes of the learning would likely improve patient and system outcomes.

CPD는 의료 전문가의 행동을 변화시킴으로써 의료 시스템에 영향을 미치려고 시도합니다. 전통적으로 이러한 행동 변화는 생명과학적 지식과 기술에 중점을 두었습니다. 그러나 현재 의료 분야의 당면 과제는 인구 건강, 시스템 공학, 심리학, 커뮤니케이션 및 전통적으로 의과대학 커리큘럼에 포함되지 않은 기타 학문에 대한 이해를 필요로 합니다. CPD는 일반적으로 서로 다른 직종의 팀원들이 함께 일하기보다는 별도의 전문 공간에서 진행되어 왔으며, 의학연구소의 획기적인 간행물인 '품질 격차 해소: 21세기를 위한 새로운 의료 시스템'에서 주장한 것처럼 환자의 질병과 치료에 대한 유사한 정신 모델을 공유하여 오해와 잘못된 의사소통을 피하고 효율성과 효과를 극대화해야 합니다.12
CPD attempts to impact the health system through changing the behaviors of health professionals. Traditionally, these behaviors have focused on bioscientific knowledge and skills. However, current challenges in health care require an understanding of population health, systems engineering, psychology, communications, and other disciplines not traditionally included in the medical school curriculum. CPD has typically occurred in separate professional venues rather than mixing team members from different professions who will work together and should share a similar mental model of a patient's disease and treatment to avoid misunderstanding and miscommunication and maximize efficiency and effectiveness as advocated by the Institute of Medicine in its landmark publication, Crossing the Quality Chasm: A New Health System for the 21st Century.12

프레임워크 개발 과정은 선임 저자(박사)가 CPD 및 보건 전문직 교육 연구 분야에서 인정받는 국제 전문가를 초청하여 기초 문서와 출판된 문헌을 기반으로 프레임워크의 핵심 요소를 제안하는 것으로 시작되었습니다. 이 그룹은 기본 원칙에 동의하고 영역의 프레임워크를 반복적으로 설계하여 모델에 대한 합의를 도출했습니다. 우리의 개념적 모델에는 보건 시스템 목표와의 통합을 촉진하고 학습 활동을 개발하는 사람들이 최종 목표를 염두에 두고 계획하는 데 도움이 되는 CPD를 위한 5가지 영역이 포함되어 있습니다. 이러한 영역은 의학교육 및 CPD에 대한 세 가지 기초 문서에서 도출되었습니다.13-15 영역 선택은 해당 영역이 교육을 통해 4중 목표의 목표를 촉진하는지 여부에 따라 이루어졌습니다. 그림 1은 쿼드러플 목표의 목표가 환자(환자 사례), 인구, 비용 절감(가격), 인력 건강 개선(모든 의료팀 구성원을 포함한 전문가)의 결과 개선과 어떻게 연관되어 있는지 보여줍니다. 이러한 목표는 정책과 다섯 가지 교육 영역을 사용하여 네 가지 목표를 달성합니다.
Our process of framework development began with the senior author (D.S.) inviting recognized international experts in CPD and health professions education research to propose key elements of a framework based on foundational documents and published literature. The group agreed on guiding principles and iteratively designed the framework of domains and reached consensus on the model. Our conceptual model contains five domains for CPD that will facilitate integration with health system goals and assist those who develop learning activities to plan with the end in mind. These domains were drawn from three foundational documents for medical education and CPD.13–15 The domain selection was based on whether the domain facilitated the goals of the Quadruple Aim through education. Figure 1 illustrates how goals of the Quadruple Aim involve improving outcomes for patients (Patient Stories), Populations, lowered cost (Price), and improved workforce wellness (Professionals inclusive of all members of the health team). These goals use Policy and the five educational domains to achieve the Quadruple Aim.

각 영역은 학습에 영향을 미치며, 개인이 학습한 내용을 임상 환경에 적용하고 시스템의 취약점을 해결할 수 있는 역량을 갖추게 되면 환자 치료와 의료 시스템 개선에 영향을 미칩니다. 영역을 선정하는 데 사용한 문서는 ACCME의 핵심 인증 및 인증 기준,13 ACGME의 핵심 역량 및 마일스톤,14 그리고 캐나다 의사 역량 프레임워크인 CanMEDS입니다.15

• CanMEDS는 의사의 역량을 사회적 요구와 일치시키기 위해 설계되었으며,16 이는 쿼드러플 목표의 목적이기도 하기 때문에 포함시켰습니다.
• 나머지 두 문서는 미국 의학전문대학원 교육 및 CPD의 교육 프로그램 개발과 평가에 사용되는 기초 문서로, 의료 전문가를 위해 개발되는 커리큘럼은 이 문서에서 요구하는 사항을 충족해야 하기 때문에 선택했습니다. 

Domains affect learning, which influence patient care and health systems improvements when individuals carry their learning forward into the clinical setting and are empowered to address the weaknesses in their systems. The documents we used to select the domains were the Core Accreditation and Commendation Criteria of ACCME,13 the Core Competencies and Milestones of ACGME,14 and The Canadian Physician Competency Framework known as CanMEDS.15 

• We included CanMEDS because it was designed to align physician competencies with societal needs,16 which is also the purpose of the Quadruple Aim.
• We chose the other two documents because they are the foundational documents used for the development and evaluation of educational programs in US graduate medical education and CPD; curriculum that is developed for health professionals must meet requirements from these documents.

모든 문서는 보건 전문가 교육을 지식과 환자 치료뿐만 아니라 공중 보건 및 옹호 활동과 같은 건강 증진을 위한 기타 활동을 통해 보건 시스템의 성과와 연결했습니다. 지난 3년간의 보건 전문직 교육 문헌을 검토하여 다른 문서에 포함할 시간이 없었던 코로나19 관련 학습 모델과 같은 새로운 자료를 포함했습니다. 여기에서 CPD의 과정 및 네 가지 목표와 가장 일치하는 것으로 보이는 다섯 가지 영역을 확인했습니다.

• (1) 새로운 정보의 식별, 평가, 학습[새로운 지식],
• (2) 전문성 유지를 위한 신규 및 이전 습득 기술의 지속적인 연습[새로운 기술 및 유지],
• (3) 의료팀을 위한 새로운 학습의 공유 및 이전[팀],
• (4) 의료 시스템 및 환자 결과 개선을 위한 데이터 분석[질 개선],
• (5) 인구 건강 증진 및 질병 예방[예방] 

All documents linked the education of health professionals with health system performances not only through knowledge and patient care but also through other activities that promote health, such as engagement in public health and advocacy. We reviewed the health professions education literature of the past 3 years to include any new materials such as learning models related to COVID-19 that would not have had time to be incorporated into the other documents. We identified five domains that appeared most consistent with the processes of CPD and the Quadruple Aim:

• (1) identifying, appraising and learning new information [New Knowledge];
• (2) ongoing practice of newly and previously acquired skills to maintain expertise [New Skills and Maintenance];
• (3) sharing and transfer of new learning for the health care team [Teams];
• (4) analyzing data to improve the health care system and patient outcomes [Quality Improvement]; and
• (5) promoting population health and prevention of disease [Prevention].

이러한 영역은 종종 서로 연결되어 있지만, 표 1에서 각 영역이 다루는 구체적인 문제, 해결책, 학습 이론을 확인했습니다.

• 처음 두 영역은 강의, 자기주도 학습, 시뮬레이션 프로그램을 통해 전통적인 CPD 공식 프로그램의 일부였지만, 코로나19 팬데믹 기간 동안 환자 치료나 술기 재고를 위해 새로운 정보에 빠르게 접근해야 하는 과제를 해결하기 위해 두 영역에서 강조해야 할 새로운 영역에 대해 논의합니다.
• 팀 학습 영역의 경우, 팀이 복잡한 치료와 만성 치료를 제공할 것이라는 인식이 있었지만, CPD를 통해 팀의 공유 학습이 더욱 발전할 수 있다고 생각합니다. 

Although these domains are often interconnected, we identified specific problems, solutions, and learning theories that each domain addresses in Table 1.

• Although the first two domains have been a part of traditional CPD formal programs through lectures, self-directed learning, or simulation programs, we discuss new areas of emphasis in both domains to meet the challenges of rapidly accessing new information during the COVID-19 pandemic for patient care or refreshing skills.
• For the domain of team learning, although there has been recognition that teams will provide complex care and chronic care, we believe that the shared learning of the team could be further advanced through CPD.

Sargent 등17 은 데이터 수집을 통한 혁신적인 진료 개선에 학습을 통합하는 것이 CPD에서 질 개선의 중심적인 역할이라는 강력한 주장을 펼쳤습니다. 이 영역은 혁신적인 학습과 임상 혁신을 제공할 수 있습니다. 인구 건강 및 예방을 포함하는 이 영역은 코로나19 팬데믹 기간 동안 심각한 격차를 해소합니다. CPD는 미래의 새로운 감염이나 환경적 위협을 식별, 예방 및/또는 대응할 수 있는 기술을 제공해야 합니다. 이 프레임워크는 반 후프와 미한18이 제안한 대로 CPD의 패러다임을 바꾸고, 개인 학습에서 개인 및 인구 건강의 질적 향상으로 이어지는 학습으로 CPD의 강조점을 옮기기 위한 초기 노력으로 제안합니다. 커뮤니케이션, 전문성, 보건 인문학 등 보건의료 전문가 성과에 기여하는 다른 중요한 요소들도 CPD에서 고려되어야 한다는 점을 인식하고, 사용을 용이하게 하기 위해 영역을 5개로 제한하기로 했습니다. 아래 영역에 대한 요약에서는 해당 영역이 CPD 프로그램 개발에 어떻게 활용될 수 있는지에 대한 문헌 및 문서의 예를 제공합니다.
Sargent et al17 have made a powerful argument for the central role of quality improvement in CPD to integrate learning into the innovative improvements in care through collection of data. This domain can provide transformative learning and clinical innovation. The domain including population health and prevention addresses a serious gap during the COVID-19 pandemic. CPD should provide the skills to identify, prevent, and/or respond to future emerging infections or environmental threats. We propose this framework as an initial effort to change the paradigm of CPD as suggested by Van Hoof and Meehan18 and to move the emphasis of CPD from individual learning to learning that leads to better quality of care for individual and population health. We chose to limit the domains to five to facilitate use, recognizing that there are other important contributors to health professional performance such as communications, professionalism, and health humanities that should be considered in CPD. In the summaries of the domains below, we provide examples from literature and documents about how the domain can be used in CPD program development.

도메인 1: 새로운 지식
Domain 1: New Knowledge

새로운 지식의 급속한 확산과 이를 평가, 학습, 활용해야 하는 필요성은 CPD의 핵심 과제였습니다. 기존의 강의식 CPD 컨퍼런스는 행동 변화나 성과 개선에 효과적이지 못했습니다.3 현재의 문제를 중심으로 설계된 CPD와 동기 부여된 학습자가 능동적인 문제 해결을 통해 새로운 학습을 실행에 옮길 때 더 큰 이점이 발생합니다.3,19 
The rapid expansion of new knowledge and the need to appraise, learn, and use it has been the core challenge of CPD. Traditional lecture-based CPD conferences have not been effective at changing behavior or improving outcomes.3 Greater benefit occurs when CPD designed around current problems is combined with motivated learners using active problem solving to implement the new learning into practice.3,19

코로나19 팬데믹으로 인해 질병이 인지된 지 불과 20개월 만인 2021년 8월 1일까지 210,863건의 논문이 출판된 것을 보면 이 문제를 잘 알 수 있습니다. 오래된 정보와 정확하고 관련성 있는 새로운 정보를 신속하게 구분하고 실무 의료 전문가와 소통하는 CPD 시스템의 역량이 한계에 부딪혔습니다. 
The problem can be illustrated by the COVID-19 pandemic in which 210,863 articles were published by August 1, 2021,20 just 20 months after the recognition of the disease. The capacity of the CPD system to rapidly differentiate outdated information from accurate, relevant, new information and communicate with practicing health professionals was overwhelmed.

이러한 과제를 해결하기 위해 다양한 플랫폼에서 새로운 정보를 검색하는 방법을 아는 것은 임상의에게 지식 기반의 중요한 부분이 되었습니다. 개인의 동기를 강조하는 Ryan과 Deci21의 자기 결정 이론, 문제가 학습과 평가를 자극하는 콜브의 학습 주기22와 같이 성인이 새로운 정보를 학습하는 방법에 대한 이론은 이 영역의 활용에 도움이 될 수 있습니다. 슬롯닉23은 의사가 새로운 학습에 착수할 필요가 있는지 평가하고, 활동을 완료하고 새로운 지식을 진료에 통합하기 위한 노력을 기울이는 과정을 설명했습니다.
Knowing how to search for new information on various platforms to meet this challenge has become an important part of the knowledge base for clinicians. Theories about how adults learn new information such as Self Determination Theory by Ryan and Deci21 that emphasizes individual motivations and Kolb's Learning Cycle22 in which problems stimulate learning and evaluation can assist use of this domain. Slotnick23 has described a process whereby physicians assess whether they need to embark on new learning and go through the effort to complete the activity and integrate the new knowledge into their practice.

새로운 정보를 신속하게 선별하고 공유하는 데 있어 신뢰할 수 있는 온라인 커뮤니티는 이점을 제공합니다.24 스마트폰, 컴퓨터, 소셜 미디어는 환자 치료를 위한 문제 해결에 도움이 될 수 있습니다.25 Sklar 등은26 최근 COVID-19 팬데믹 기간 동안 온라인 학습 자료를 사용하여 정확한 새로운 정보를 효율적으로 파악하여 더 나은 의료 서비스를 제공한 사례를 설명했습니다. 
For rapid curation and sharing of new information, trusted online communities offer advantages.24 Smartphones, computers, and social media can aid problem solving for patient care.25 Sklar et al26 described the use of online learning materials during the recent COVID-19 pandemic that provided an efficient way to identify accurate new information, facilitating better health care.

영역 2: 새로운 기술 및 유지 관리 
Domain 2: New Skills and Maintenance

두 번째 영역은 새로운 기술의 습득과 이전 기술의 유지에 중점을 둡니다. 여기에는 침대 옆 초음파 같은 기술 혁신의 사용법을 배우거나 요추 천자와 같이 거의 시행되지 않지만 중요한 기술에 대한 전문성을 유지하는 것이 포함될 수 있습니다. 에릭슨이 설명한 전문 기술 습득에 관한 연구27와 푸시 등28이 설명한 학습 곡선 현상에 따르면 새로운 기술을 습득하고 실력이 저하되지 않으려면 시간과 의도적 연습이 필요하다는 것을 보여줍니다. 학습 분석의 광범위한 영역은 기술 개발 및 유지를 위한 계획에 도움이 될 수 있습니다.29
The second domain focuses on the acquisition of new skills and maintenance of prior skills. This could include learning how to use technological innovations such as bedside ultrasound or the maintenance of expertise in rarely performed but important skills such as lumbar puncture. Research on the acquisition of expert skills described by Ericsson27 and the phenomenon of learning curves described by Pusic et al28 demonstrate that new skills require time and deliberate practice to be mastered and not deteriorate. The broader domain of learning analytics may assist planning for skills development and maintenance.29

기술을 습득하고 유지하려면 간헐적으로 예정된 교육에서 정기적으로 예정된 재교육으로 전환해야 합니다. 여기에는 새로운 술기 및 이전에 습득한 술기에 대한 피드백이 포함된 집중 교육과 의도적 연습이 포함되어야 합니다.27 프로시저 연습은 순환 일정에 따라 시뮬레이션(마네킹 및 표준화 환자 모두 포함)을 사용하여 작업장에 통합할 수 있으며, 함께 일하는 팀이 함께 훈련할 수 있도록 현장 환경 내에서 실시할 수도 있습니다. 이러한 접근 방식은 치료의 질과 환자 치료 결과 개선이라는 시스템 목표와 교육 기회 개선이라는 목표를 동시에 달성할 수 있습니다.30  
For skills to be acquired and maintained, there must be a shift away from intermittent scheduled courses to regularly scheduled refreshers. This should include focused training with feedback and deliberate practice on new and previously acquired skills.27 Procedural practice can be integrated into the workplace with use of simulation (including both manikins and standardized patients) in a rotational schedule, and possibly within in situ settings so that teams who work together may train together. This approach aligns the system goal of improved quality of care and patient outcomes with simultaneously improving educational opportunities.30

영역 3: 팀
Domain 3: Teams

세 번째 영역은 의료 전문가의 새로운 지식과 기술을 의료 팀과 함께 진료에 통합하는 것입니다. 시간이 지남에 따라 임상의 중심 치료 모델에서 환자 치료 결과가 개별 임상의 전문가보다 팀의 교육과 기능에 더 많이 좌우될 수 있는 팀 기반 접근 방식으로 진화하는 것을 강조하기 위해 모델에 팀을 별도의 영역으로 포함시켰습니다. 복잡한 수술 치료, 외상 치료, 만성 질환 관리에서 최고 수준의 의료 서비스를 제공하는 팀의 사례가 증가하고 있습니다. 저희는 CPD 프레임워크가 더 많은 학습 활동을 팀 기반의 장소로 옮길 수 있기를 희망합니다. 전문가 간 평생교육 공동 인증을 통한 학습 활동 인증은 의료팀의 공인된 학습 활동을 쉽게 개발할 수 있는 메커니즘을 제공합니다. Lave와 Wenger31, O'Brien과 Battista32의 상황 학습 이론과 Kirwan33의 실무로의 기술 전수 이론은 양질의 의료 서비스를 위한 팀의 중요한 역할을 강조합니다. 일부 환자 치료 결과의 경우 팀 기반 전문 지식이 개인 전문 지식만큼 중요할 수 있으며, 이를 위해서는 함께 일하는 전문직 간에 새로운 정보와 기술을 공유하는 메커니즘이 필요합니다. 코로나19 팬데믹과 같이 정보가 빠르게 생성되는 상황에서는 팀원 간의 학습 이전이 예상되는 CPD 과정의 일부가 되어야 합니다. 
The third domain integrates the health professional's new knowledge and skills into practice with the health care team. We have included Teams as a separate domain in our model to highlight the evolution over time from a clinician centric model of care to a coordinated team-based approach where patient outcomes may depend more on the education and function of a team than the individual clinician expert. There are increasing examples of teams providing the highest quality of complex surgical care, trauma care, and management of chronic diseases. We are hopeful that our framework of CPD will move more learning activities to team-based venues. Accreditation of learning activities through the Joint Accreditation of Interprofessional Continuing Education provides an easy mechanism to develop accredited learning activities of the health care team. Theories of situated learning by Lave and Wenger31 and O'Brien and Battista32 and the theory of transfer of skills to practice by Kirwan33 emphasize the important roles of teams for quality health care. Team-based expertise may be as important as individual expertise for some patient outcomes requiring a mechanism to share new information and skills between professions working together. When information is being generated rapidly, as happened with the COVID-19 pandemic, the transfer of learning between team members should be part of the expected CPD process.

어떤 새로운 정보를 의료팀의 실무에 도입할 것인지에 대한 결정과 새로운 정보와 혁신의 확산은 통신 네트워크와 정보의 인지된 가치에 영향을 받습니다.34 소셜 미디어는 새로운 정보를 강조하는 데 중요한 역할을 할 수 있지만 타당성의 위험이 있으며, 정보는 해당 분야 전문가가 검증해야 합니다. Theis 등35은 원격 멘토링 교육 플랫폼인 프로젝트 ECHO가 검증된 정보를 공유하는 데 어떻게 사용되었는지 설명합니다. COVID-19 검사 및 치료에 대한 지식은 1차 진료 전문가 팀과의 정기적인 회의를 통해 향상되었습니다. 포터와 리36는 난청과 같이 정의된 환자 요구사항을 중심으로 의료팀을 조직하고 교육하여 간호사, 청각사, 이비인후과 전문의 등 의료팀의 모든 구성원이 환자를 상담하고 관리할 수 있도록 함으로써 비용을 절감하고 품질을 개선하여 의료의 가치를 향상시킬 수 있다고 제안했습니다. 
Decisions about what new information to transfer into the practice of the health care team and the diffusion of new information and innovations are affected by communication networks and the perceived value of the information.34 Social media can play an important role in highlighting new information, but there are risks of validity, and information must be verified by subject matter experts. Theis et al35 describe how the tele-mentoring educational platform Project ECHO was used to share validated information. Improvements in knowledge about COVID-19 testing and treatment resulted from regular meetings with primary care interprofessional teams. Porter and Lee36 proposed that health care teams be organized and trained around a defined patient need such as hearing loss, with all members of the health care team, i.e., nurses, audiologists, and otologists, available to consult and comanage the patient, simultaneously reducing costs and improving quality, thus improving value in health care.

영역 4: 품질 개선
Domain 4: Quality Improvement

의료 시스템은 건강 결과의 10~15%만 책임지지만,37 CPD를 통해 데이터, 피드백, 교육을 활용하여 의료 시스템을 재설계함으로써 건강 결과를 개선할 수 있는 많은 기회가 있습니다.36 Sklar 등은38 고가치 건강 및 의료의 목표를 지원하기 위한 의학교육의 alignment가 어떻게 의학교육의 혁신을 주도해야 하는지에 대해 설명합니다. 임상의가 검사 및 치료에 대해 내리는 결정이 의료 서비스의 가치에 영향을 미치기 때문에 CPD의 경우 특히 그렇습니다. 병원이나 클리닉에서 의료 서비스 제공의 문제점을 파악하는 것은 의료팀을 포함하는 학습 활동 설계를 통해 CPD와 질 향상을 통합할 수 있는 이상적인 기회를 제공할 수 있습니다. 환자 설문조사, 불만 사항, 질 측정 또는 기타 데이터 소스에서 문제를 파악할 수 있으며, 파악된 성과 격차는 개인과 의료진이 학습할 수 있는 동기를 부여합니다.9 Pusic 등39 은 교육 임무 전용 정보 시스템과 임상 시스템(전자 건강 기록) 전용 정보 시스템의 데이터를 통합 학습 분석 시스템으로 모아 보건 전문가 교육 개선을 통해 환자 결과를 개선할 수 있는 많은 기회를 촉진할 수 있는 기회를 설명했습니다. 
Although the health care system is only responsible for 10 to 15% of health outcomes,37 there are many opportunities to improve health outcomes using data, feedback, and education through CPD to redesign health care systems.36 Sklar et al38 describe how the alignment of medical education to support the goals of high-value health and health care should drive innovation in medical education. This is particularly true for CPD because the decisions that clinicians make about testing and treatments influence value in health care. Identification of problems in health care delivery at a hospital or clinic can provide the ideal opportunity to integrate CPD and quality improvement through the design of learning activities that include the health care team. Problems can be identified from patient surveys, complaints, quality measures, or other data sources and the identified performance gaps provide motivation for learning by individuals and the health care team.9 Pusic et al39 have described the opportunities to bring together data from information systems dedicated to the education mission and information systems devoted to clinical systems (electronic health record) into an integrated learning analytics system that would facilitate many of these opportunities to improve patient outcomes through improving health professional education.

데이터를 사용하여 문제, 비효율성, 낭비를 파악하는 의료 시스템은 학습 문화를 조성할 수 있으며,40 CPD를 활용하여 학습을 실무에 적용하고 환자 결과를 개선하며 학습 의료 시스템의 비용을 절감할 수 있습니다.9,41 인공 지능은 방대한 양의 정보를 검색 및 수집하여 의료 전문가, 모든 수준의 학습자, 공유 의사 결정에 참여하고자 하는 의료 교육을 받지 않은 환자에게 체계적이고 간결하며 접근하기 쉬운 방식으로 제공하는 능력으로 학습 의료 시스템의 개발을 더욱 촉진할 수 있는 기회를 제공합니다. 그러나 쿠퍼와 로드먼42은 이 기술이 의료 전문가의 인지 습관에 잠재적으로 파괴적인 영향을 미칠 수 있기 때문에 이 기술을 채택하는 데 주의를 기울여야 한다고 조언합니다. 환자와 그들의 이야기는 데이터에 의미와 생명을 불어넣을 수 있으며, 그들의 관점과 가치가 품질 개선 프로젝트에 포함되어야 합니다. 사회생태학적 모델43은 환자를 의료 결과에 미치는 일련의 영향의 중심에 두고, 모든 품질 개선은 환자의 의견을 경청하고 참여하는 것에서 시작된다는 점을 강조합니다.9 
Health care systems that use data to identify problems, inefficiencies, and waste can create a learning culture,40 leveraging CPD to transfer learning to practice, improve patient outcomes, and lower cost in a learning health system.9,41 Artificial intelligence provides the opportunity to further stimulate the development of a learning health systems with its ability to search and collect vast amounts of information and present it in an organized, concise, and accessible manner for health professionals, learners at all levels, and patients with no medical training who want to participate in shared decision making. However, Cooper and Rodman42 advise caution in the adoption of this technology because of its potential disruptive effects on the cognitive habits of health professionals. Patients and their stories can give meaning and life to data, and their perspectives, and values should be included in quality improvement projects. The socio-ecological model43 places the patient at the center of a series of influences on health care outcomes, highlighting that all quality improvements start with listening to and involving patients.9

계획-실행-연구-행동 방법(PDSA)은 의료 서비스를 개선하기 위한 이론적 프레임워크의 한 예입니다. 이 순환적이고 반복적인 프로세스는 콜브22가 설명한 학습 모델과 유사하며 많은 CPD 프로그램에 통합되어 있습니다.44 질 개선 활동에는 팀의 모든 구성원이 의료 시스템 혁신의 결과를 검토할 수 있는 데이터 시스템과 혁신을 수정할 수 있는 능력이 필요합니다. 이상적으로, 환자에게 혜택을 주는 것을 목표로 하는 모든 CPD 활동은 임상의의 지식 향상을 통한 혜택을 가정하기보다는 설계 단계부터 환자를 참여시키고 그 결과를 측정하는 것이 좋습니다9,36.
The Plan-Do-Study-Act Method (PDSA) is an example of a theoretical framework to improve health care. This cyclical, iterative process is similar to the learning model described by Kolb22 and has been incorporated into many CPD programs.44 Quality improvement activities require data systems that allow all members of a team to examine the results of innovations in the care system and the ability to modify the innovation. Ideally, any CPD activity that aims to benefit patients should involve patients in the design and seek to measure their outcome9,36 rather than assume benefits through improvements in clinician knowledge.

영역 5: 예방
Domain 5: Prevention

다섯 번째 영역은 공중보건 원칙과 이론을 적용하여 질병을 예방하고 건강 증진을 도모하는 것입니다. 대부분의 의료 및 임상의 교육은 질병으로 인해 증상이 발생한 후 환자에게 초점을 맞추지만, 이 영역을 포함함으로써 임상의가 질병이나 부상을 유발하는 사회적, 행동적, 환경적 요인을 해결하기 위해 수행할 수 있는 중요한 역할을 인식하는 변화를 나타냅니다. 병적 상태의 치료적 치료에 중점을 두었던 기존의 의학교육은 사회생태학적 모델의 일부로서 예방을 포함하도록 확장되어야 합니다.43 이 영역에서 학습과 행동을 촉진할 수 있는 이론의 예로는 런연이 수정한 해든 매트릭스가 있습니다.45 이 프레임워크는 부상과 관련된 생체역학적 원리를 부상에 기여하는 사회적, 행동적, 생태학적 힘과 통합하고 안전띠법이나 헬멧법 같은 정책을 통해 학습과 행동 변화를 자극할 수 있는 환자 및 사건 사례를 제공하여 향후 환자의 부상 예방에 도움을 줄 수 있습니다.
The fifth domain involves the application of public health principles and theory to address prevention of disease and promote improved health. Although much of health care and clinician education focuses on the patient after an illness has caused symptoms, inclusion of this domain represents a shift to recognize the important role that clinicians can play to address the social, behavioral, and environmental factors that lead to illness or injury. The traditional focus of medical education on curative treatments of pathologic conditions will need to broaden to include prevention as part of a socio-ecological model.43 An example of a theory that can promote learning and behavior in this domain is the Haddon Matrix as modified by Runyon.45 The framework integrates biomechanical principles related to injury with the social, behavioral, and ecological forces that contribute to injury and provides stories of patients and events that can stimulate learning and changes in behavior through policy such as seatbelt laws or helmet laws to prevent injury for future patients.

이 영역에서 학습의 영향에는 환자와의 위험에 대한 대화 및 정책 개선을 위한 옹호 활동이 포함됩니다. 이 영역은 대부분의 생명과학 교육 모델에서 강조되지 않았지만, CPD 인증("의료인은 인구의 건강에 영향을 미치는 임상 치료 이외의 요소를 다룬다"13) 및 국제 교육 프레임워크("건강 개선은 질병이나 외상 완화에 국한되지 않고 질병 예방, 건강 증진 및 건강 보호를 포함한다"15)에 의해 점점 더 인정되고 있습니다. 이 영역의 학습 평가에는 인구 건강 개선을 위한 지식 성장과 옹호가 포함됩니다. 
The impact of learning in this domain includes conversations with patients about their risks and advocacy activities to address policy. Although this domain has not been emphasized in most bioscientific educational models, it has become increasingly recognized by CPD accreditation (“the provider addresses factors beyond clinical care that affect the health of populations”13) and international educational frameworks (“improving health is not limited to mitigating illness or trauma, it involves disease prevention, health promotion and health protection”15). Evaluation of learning in this domain would include knowledge growth and advocacy for improvements in population health.

솔루션
SOLUTIONS

이러한 영역은 임상의를 위한 교육 활동을 설계하는 데 사용하여 CPD를 보건 시스템 목표에 맞출 수 있습니다. CPD의 다양한 이해관계자에는 CPD 교육 설계자, 임상팀, 품질 개선 전문가, 재무 관리자, 공중보건 전문가가 포함되며, 이들은 각기 다른 목표와 우선순위를 가지고 별도의 지리적, 행정적 영역에서 일하기 때문에 이 프레임워크는 이러한 영역 간의 가교 역할을 합니다. CPD와 임상 진료에 대한 4중 목표의 공통된 목표를 인식함으로써 학습 활동을 개발할 때 이 영역의 사용을 장려할 수 있기를 바랍니다. 표 1은 코로나19와 같은 신종 감염병의 출현 또는 병원 내 감염과 같은 지속적인 문제와 같이 임상의가 우려하는 문제를 어떻게 분석하고 CPD 활동으로 개발할 수 있는지 자세히 설명합니다. 이 표는 어떤 영역이 작용하는지, 관련 학습 이론은 무엇인지, 교육 활동이 보건 시스템 목표에 어떻게 부합하는지 파악하는 데 도움이 될 수 있습니다.38표 1은 각 영역이 학습 활동 개발에 도움이 되도록 다양한 학습 이론을 CPD에 도입하는 방법을 요약한 것입니다.
These domains can be used to design educational activities for clinicians that align CPD with health system goals. Because the various stakeholders of CPD include education designers of CPD, clinical teams, quality improvement experts, financial managers, and public health experts, who work in separate geographic and administrative areas with distinct goals and priorities, our framework provides bridges between these areas. We hope the recognition of a common goal of the Quadruple Aim for CPD and clinical care will encourage the use of the domains in developing learning activities. Table 1 details how a problem of concern to clinicians, such as the appearance of a new infectious disease like COVID-19 or an ongoing problem such as hospital acquired infections, might be analyzed and developed as a CPD activity. The table can help identify which domains are at play, the relevant learning theories, and how educational activities will align with health systems goals.38Table 1 summarizes how each domain might bring different learning theories into CPD to help develop a learning activity.

예를 들어, 코로나19는 신종 질병의 진단과 치료에 대한 정확한 정보를 신속하게 전파해야 했습니다. 그러나 공인된 CPD 활동을 위한 프로세스는 계획과 검토가 필요했기 때문에 지연이 발생했습니다. 임상의들은 신속한 학습이 필요한 새로운 문제에 자주 직면하게 됩니다. 다행히도 온라인 정보의 성장으로 이러한 문제를 해결할 수 있으며 CPD 프로그램에 통합할 수 있습니다. 
For example, COVID-19 required rapid diffusion of accurate information about diagnosis and treatment of the emerging disease. However, processes for accredited CPD activities required planning and review that created delays. Clinicians frequently confront novel problems that require rapid learning. Fortunately, with the growth of online information, such challenges can be addressed and could be integrated into a CPD program.

효율적이고 생산적인 검색을 위해서는 가장 적절한 정보 리소스를 선택해야 합니다. 이상적인 리소스는 다음을 할 수 있어야 합니다.

• 근거에 기반하고,
• 사용하기 쉬우며,
• 쉽게 이용할 수 있고,
• 특정 주제를 다루고,
• 질문에 신속하게 답변

Efficient productive searching requires selecting the most appropriate information resources. An ideal resource should be

• evidence-based,
• easy to use,
• readily available,
• cover the specific topic, and
• answer the question quickly.

이러한 기준을 충족하는 리소스는 원래 Haynes 등이 "사전 평가된 근거 검색을 위한 5S 모델"로 설명했습니다.46,47 

• 연구,
• 체계적 문헌고찰,
• 체계적으로 도출된 권고[지침],
• 참고 문헌으로 종합된 요약,
• 시스템)

Resources to meet these criteria were originally described by Haynes et al as the “5S model for retrieving pre-appraised evidence” (

• studies,
• systematic reviews,
• systematically derived recommendations [guidelines],
• synthesized summaries as references, and
• systems).46,47

번거롭기는 하지만 자기 주도적 온라인 학습을 통해 CME 학점을 취득할 수 있습니다. 공인된 CME 제공자는 실무와 관련된 주제에 대한 온라인 학습을 수행하는 실무자를 위해 학점을 구성할 수 있습니다. 새로운 정보가 빠르게 생성되는 속도를 고려할 때, 의료 전문가가 최신 근거 기반 치료를 제공할 수 있도록 의료 기록에서 업데이트된 문헌에 액세스할 수 있어야 합니다. EHR의 정보 버튼은 시간을 절약할 수 있는 많은 리소스(예: 최신 정보, PubMed, Dynamed)에 쉽게 액세스할 수 있도록 해줍니다. 일정과 리소스가 허용하는 한, 의료 전문가의 다양한 학습 스타일을 수용하기 위해 자기 주도적 학습의 사용을 보다 공식적인 프레젠테이션으로 보완할 수 있습니다.
Although cumbersome, CME credit can be obtained from self-directed online learning. An accredited CME provider can structure credit for practitioners undertaking online learning on topics relevant to practice. Given the rapid rate at which new information is being produced, there is a need for access to updated literature from the health record to help health professionals to provide the latest evidence-based treatments. Info buttons on EHRs provide easy access to many resources (e.g., UpToDate, PubMed, and Dynamed) that can be time-saving. The use of self-directed learning can be supplemented by more formal presentations to accommodate the variability of learning styles of health professionals as schedules and resources allow.

COVID-19 팬데믹 기간 동안 많은 기관에서 직장 기반 재교육 기회가 제공되었으며, 이는 개인 및 팀 역량을 유지하려는 학습자의 요구에 부응한 경우가 많았습니다. 라가조니 외48는 이탈리아에서 코로나19 팬데믹 기간 동안 직원들이 팬데믹을 신속하게 관리할 수 있도록 3주 동안 매일 4시간씩 교육을 실시하는 적시 교육을 설명합니다. 일마즈 외49는 가장 필요한 시점에 짧은 콘텐츠를 제공하는 마이크로 러닝을 통해 제한된 시간과 많은 양의 콘텐츠 문제를 해결하려는 적시 교수진 개발이라는 접근 방식을 설명합니다. 또한 Thomas 등50은 소아과 레지던트를 위한 적시 프로시저 교육을 통해 수련의의 자신감과 술기를 향상시켰다고 설명했습니다. 
During the COVID-19 pandemic, workplace-based refresher opportunities occurred in many institutions and were often in response to needs from learners to maintain individual and team competence. Ragazzoni et al48 describe Just-in-Time training during the COVID-19 pandemic in Italy with 4-hour training daily for 3 weeks to get their staff rapidly trained to manage the pandemic. Yilmaz et al49 describe an approach called Just-In-Time Faculty Development that attempts to address the problems of limited time and high volume of content with micro learning that are short pieces of content delivered at the time when they are most needed. Additionally, Thomas et al50 described Just-In-Time procedural training for pediatric residents that increased trainee confidence and skills.

이 모든 솔루션의 공통점은 교육 리소스를 업무에 통합하고 학습자가 이를 사용하도록 동기를 부여한다는 것입니다. 직장에서 전체 의료진의 공동 작업과 참여가 장려되어야 합니다. 지식과 기술의 우수성은 전체 의료진의 전문성의 산물이라는 인식이 있어야 합니다. 교육 및 기술 유지는 직장에 구축된 지속적인 프로세스로 간주되어 팀이 실행해야 합니다.
What all these solutions have in common is the integration of educational resources into the workplace and the motivation of learners to use them. The co-location and participation of the entire health care team in the workplace should be encouraged. There should be a recognition that knowledge and skills excellence is a product of the expertise of the entire health care team. Education and skills maintenance must be considered a continuous process built into the workplace and practiced by the team.

코로나19는 의료 수요를 해결하기 위해 신속한 CPD가 필요한 중요하지만 극단적인 상황을 제공하지만, 병원 내 감염은 품질 개선을 위한 교육 이니셔티브의 통합이 필요한 장기적인 문제의 대표적인 예입니다. 품질 개선 영역에서는 문제의 범위와 위치를 명확히 하기 위한 데이터 수집을 강조하고, 감염을 줄이고 궁극적으로 가치를 향상시킬 수 있는 교육적 개입에 중점을 둡니다. 많은 병원 내 감염의 원인에는 지식과 기술 부족과 팀워크 개선의 필요성도 포함되므로 다섯 가지 영역 모두 적극적으로 활동에 참여하게 됩니다. 
Although COVID-19 provides an important but extreme situation for rapid CPD to address a health care need, hospital-acquired infections are typical examples of long-term problems that have required the integration of educational initiatives to improve quality. The domain of quality improvement emphasizes the collection of data to clarify the extent and location of the problem and focuses on educational interventions that could reduce infections and ultimately improve value. Because the cause of many hospital-acquired infections also involves knowledge and skills deficits as well as needs for better teamwork, all five domains would be actively engaged in the activity.

학생들은 병원 데이터를 사용하여 중심정맥관 삽입 중 감염 전파 등 병원 내 감염의 원인과 위치를 명확하게 파악하는 방법을 배우고, 계획-실행-연구-행동의 이론적 프레임워크를 사용하여 여러 차례의 개입과 효과 측정을 반복하게 됩니다. 의료진을 훈련하는 교육 방법에는 전문가 수행을 위한 의도적 연습에 대한 에릭슨 모델27 의 이론적 프레임워크가 필요한 중심정맥관 삽입 및 관리 시뮬레이션 프로그램 개발이 포함될 수 있습니다. Pronovost 등51은 카테터 관련 혈류 감염을 줄이기 위해 증거 기반 중재를 사용하여 이러한 프로그램을 개발한 결과, 이러한 감염을 66%까지 줄일 수 있었다고 설명했습니다. 중심정맥관 삽입 및 관리에서 전체 의료팀의 역할이 중요하기 때문에, 학습의 사회적 맥락을 강조하는 상황학습32과 같은 이론은 CPD 전문가 간 팀 학습 활동을 설계하는 데 도움이 될 수 있습니다. Illing 등9은 의학 교육 개입과 환자 결과에 미치는 영향에 대한 문헌고찰을 발표하고 교육 개입이 환자 결과를 개선하는 데 성공적인 것으로 보이는 시기와 방법에 대한 4단계 모델을 제공했습니다. 이 프레임워크는 CPD 주최자가 임상 문제와 관련된 영역을 선택하여 학습을 제공하고 치료의 질적 결과에 부합하는 교육 개입을 개발하는 데 도움이 될 수 있습니다. 
Students would learn how to use hospital data to create a clear picture of what the causes and locations of hospital-acquired infections might be, such as transmission of infection during insertion of central lines, and then would use the theoretical framework of Plan-Do-Study-Act with multiple iterations of intervention and measurement of the effects. Educational methods to train the health care team might include creation of a simulation program in central line insertion and care that would require the theoretical framework of Ericsson's model27 of deliberate practice for expert performance. Pronovost et al51 have described the development of such a program using evidence-based interventions to reduce catheter-related bloodstream infections and were able to reduce such infections by 66%. Because of the critical role of the entire health care team in the insertion and care of central lines, the theories such as situated learning32 that emphasize the social context of learning may be helpful in designing a CPD interprofessional team learning activity. Illing et al9 have published a literature review of medical education interventions and their impact on patient outcomes and provided a four-step model of when and how education interventions appear to be successful at improving patient outcomes. Our framework can help CPD organizers select domains that are related to a clinical problem to develop educational interventions that provide learning and align with quality of care outcomes.

주의 깊은 성찰
Cautionary Reflection

우리가 확인한 다섯 가지 영역은 의학교육이 보건 시스템과 어떻게 연계될 수 있는지에 대한 핵심적인 측면을 포착하기 위한 것이지만, 우리는 포함되지 않은 다른 지식 영역, 특히 인문학이 있다는 것을 인정합니다. 예술, 음악, 이야기, 역사, 윤리가 건강을 다루는 데 중요하지만, 건강 인문학은 이를 제대로 다루기 위해 별도의 논의가 필요하다고 생각합니다. 물론 사례 검토와 문제 기반 학습의 근간을 이루는 환자 이야기는 학습 과정에 중요한 기여를 하며, CPD 활동을 설계할 때 반드시 고려해야 합니다. 마찬가지로 환자가 자신의 이야기를 전달하고 임상의와 자신의 문제와 가치를 명확하게 표현하는 방법, 건강 정보를 공유하고 의사 결정을 내리기 위해 협력하는 방법은 우리가 확인한 영역, 특히 팀, 품질 개선, 새로운 정보에 영향을 미치는 중요한 전문성 영역입니다. 추가 영역을 포함하려면 프레임워크의 간결함과 중요성의 균형을 맞춰야 합니다. 향후 보건 인문학 및 의료 시스템 교육과 관련된 학습 이론이 개발됨에 따라 우리 모델에서 보건 인문학이 중요한 위치를 차지할 수도 있습니다. 또한 행동과 변화의 동기를 부여하는 데 있어 보건 전문가의 태도, 신념, 가치의 중요한 기여를 강조하지 않았습니다. 임상의는 환자의 이야기와 상황을 이해함으로써 환자와의 관계를 발전시키며, CPD를 통해 이러한 관계를 더 잘 이해하고 양질의 치료와 인구의 건강 형평성을 위한 헌신에 동기를 부여하는 태도와 가치를 형성하는 데 도움을 줄 수 있습니다. 
Although the five domains we identified were meant to capture key aspects of how medical education can align with the health system, we acknowledge that there are other areas of knowledge that were not included, most notably the humanities. Although art, music, narrative, history, and ethics are important in addressing health, we believe that the health humanities require a separate discussion to do them justice. Certainly, patient stories that form the backbone of case reviews and problem-based learning make important contributions to the learning process and must be considered as CPD activities are designed. Similarly, how patients communicate their stories and articulate their problems and values with clinicians and how to work together to share health information and make decisions represent an important area of expertise that influence the domains we identified, particularly teams, quality improvement, and new information. Inclusion of additional areas will need to balance the importance with the parsimony of the framework. As learning theories related to health humanities and health care systems education are developed in the future, there may be an important place for health humanities in our model. We have also not highlighted the important contributions of attitudes, beliefs, and values of health professionals to motivate action and change. Clinicians develop relationships with patients through understanding their story and circumstances; through CPD these relationships can be better understood and help shape the attitudes and values that motivate commitments to high quality care and health equity of populations.

조직화된 자격증, 펠로우십 또는 학위 프로그램의 일부로 발생하는 새로운 지식의 습득은 포함하지 않았습니다. 이러한 프로그램이 전문성 개발에 기여하고 칭찬받을 만하지만, 조직화된 학습 프로그램에 장기간 몰입하는 것은 대부분의 의료 전문가가 산발적이고 지속적으로 학습하는 것과는 충분히 다르기 때문에 별도의 논의가 필요합니다. 
We did not include the acquisition of new knowledge that occurs as part of an organized certificate, fellowship, or degree program. Although such programs contribute to professional development and are to be commended, the prolonged immersion in an organized program of study is sufficiently different from the sporadic and ongoing learning needs of most health professionals as to require deferment to a separate discussion.

결론
CONCLUSION

우리는 다섯 가지 영역으로 구성된 CPD의 개념적 틀을 설명했습니다: 새로운 지식, 새로운 기술 및 유지, 팀, 품질 개선, 예방의 다섯 가지 영역으로 설명합니다. 대부분의 CPD 활동에는 하나 이상의 영역이 학습 활동에 포함됩니다. 이 개념적 프레임워크는 CPD와 의료 시스템의 목표가 일치해야 한다는 인식을 기반으로 합니다. 이 모델은 보건 전문가가 필요로 하는 CPD에는 생명과학적 지식뿐만 아니라 보건 시스템 과학과 건강의 사회적 결정요인, 건강 증진 및 질병 예방에 미치는 영향도 포함되어야 한다는 점을 인식하고 있습니다. CPD 활동은 학습 활동의 보건 시스템 목표와 함께 주요 영역과 해당 영역에 대한 학습 이론을 기반으로 설계되어야 합니다.
We describe a conceptual framework of CPD with five domains: New Knowledge, New Skills and Maintenance, Teams, Quality Improvement, and Prevention. For most CPD activities, more than one domain will be involved in the learning activity. The conceptual framework is based on a recognition that the goals of CPD and the health care system must be aligned. Our model recognizes that the CPD needs of health professionals should include not only bioscientific knowledge but also health systems science and social determinants of health and their impact on health promotion and disease prevention. CPD activities should be designed based on the predominant domains and the learning theories for the domain along with the health system goals for the learning activity.

Copyright © 2023 The Alliance for Continuing Education in the Health Professions, the Association for Hospital Medical Education, and the Society for Academic Continuing Medical Education.

의학교육자를 위한 교수개발의 실재주의 평가: 무엇이 누구를 위하여 왜 효과가 있는가 (Med Teach, 2017)
Realist evaluation of faculty development for medical educators: What works for whom and why in the long-term
Olanrewaju O. Sorinolaa, Jill Thistlethwaiteb, David Daviesa and Ed Peilea 

소개
Introduction

교수개발(FD)은 교육기관과 교수진이 교육, 연구, 행정 및 경력 관리 분야에서 자신의 역할을 수행할 수 있도록 준비시키기 위한 계획된 프로그램으로 정의되어 왔습니다(Bland 외. 1990). FD에서 교육에 대한 강조는 계속되고 있지만, 이제는 조직 및 리더십 개발을 포함한 다른 교수의 역할에 대해 더 폭넓게 다루고 있습니다(McLean 외. 2008). 보건 전문직의 FD에 관한 제1차(2011), 제2차(2013), 제3차(2015) 격년 국제 컨퍼런스의 참석자 수가 증가한 것은 FD가 개인 개발에서 집단 개발로, 단일한 목적에서 다차원적 목적으로, 대체로 조정되지 않은 활동에서 보다 정의된 활동으로 어떻게 발전해 왔는지를 반영합니다. 그러나 FD에 관한 방대한 문헌에도 불구하고 개입 방식에 대한 일관성이 거의 없으며, 교육 효과에 대한 장기적인 영향에 대한 증거는 여전히 제한적입니다. 또한 FD 개발자를 돕기 위한 활동에 대한 일반화 가능한 평가도 거의 없습니다(Steinert 외. 2006; Mcleod & Steinert 2010). 
Faculty development (FD) has been defined as a planned program to prepare institutions and faculty members for their roles in the areas of teaching, research, administration and career management (Bland et al. 1990). While the emphasis on teaching in FD continues, there is now broader coverage of other faculty roles including organizational and leadership development (McLean et al. 2008). Increasing attendances at the 1st (2011), 2nd (2013) and 3rd (2015) biennial international conferences on FD in the health professions reflect how FD has evolved from individual to collective development, from singular to multidimensional purposes, and from largely uncoordinated to more defined activities. However, despite extensive literature on FD, there is little consistency in the way that interventions are offered; evidence of long-term impact on the effectiveness of teaching is still limited. Furthermore, there are few generalizable evaluations of activities to help FD developers (Steinert et al. 2006; Mcleod & Steinert 2010).

의학 교육 개입의 결과는 상황에 따라 크게 달라집니다. "동일한" 개입의 효과는 누가, 어떤 참가자에게, 어떤 상황에서, 어떤 도구를 사용하여, 참가자가 내린 결정과 행동에 따라 크게 달라집니다(Pawson & Tilley 1997; Pawson 2013). Sorinola와 Thistlethwaite(2013)는 FD 이니셔티브의 성공에 있어 컨텍스트의 중요성을 보고했습니다. 다른 사람들이 성공적인 개입을 복제하기 위해서는 맥락을 이해하는 것이 중요합니다. 따라서 우리는 맥락 없이는 "FD가 효과적인가?"라는 질문에 답하기 어렵다고 제안합니다. 우리는 "맥락-기제-결과(CMO) 구성"(Pawson & Tilley 1997)을 사용하는 Realist 평가가 FD에서 "무엇이, 어떻게, 어떤 조건에서, 누구에게 효과가 있는지"에 답하는 것을 목표로 하기 때문에 더 유용한 평가 프레임워크라고 제안합니다. 
Outcomes of medical education interventions are highly context-dependent: the impact of the “same” intervention varies considerably depending on who delivers it, to which participants, in what circumstances, with which tools as well as the decisions and actions taken by the participants (Pawson & Tilley 1997; Pawson 2013). Sorinola and Thistlethwaite (2013) reported the importance of context on the success of FD initiatives. Understanding the context is important for others to replicate successful interventions. Therefore we suggest that, without context, it is difficult to answer the question “is FD effective?” We propose that realist evaluation, which uses a “context-mechanism-outcome (CMO) configuration” (Pawson & Tilley 1997), is a more useful evaluative framework as it aims to answer “what works, how, in which conditions, and for whom” in FD.

Realism는 우리의 신념과 구성과는 독립적으로 존재하는 실제 세계가 있다는 존재론적 관점과 이 세계에 대한 우리의 지식은 특정 관점에서 만들어진 우리 자신의 구성이라는 인식론적 입장을 결합합니다(Maxwell 2012). Realism는 프로그램이 작동하는 이유(메커니즘)와 어떤 조건(맥락)에서 어떤 맥락이 도움이 되고 어떤 맥락이 그렇지 않은지를 설명하며(Pawson & Tilley 2004; Wong 외 2012), FD와 관련된 복잡한 교육 시스템에 대한 더 깊은 이해와 해석을 제공합니다(Sayer 2000; Wong 외 2012).
Realism combines the ontological view that there is a real world that exists independently of our beliefs and constructions with an epistemological stance that our knowledge of this world is our own construction, created from a specific vantage point (Maxwell 2012). Realism explains what makes a program work (mechanism) and under what conditions (context) as certain contexts will be supportive and others will not (Pawson & Tilley 2004; Wong et al. 2012); it provides a deeper understanding and interpretation (Sayer 2000; Wong et al. 2012) of complex educational systems involved in FD.

기존 연구들은 단기적으로 FD 활동의 학습에 영향을 미치는 기제로 동기부여와 몰입을 제시했지만(Sorinola 외. 2013, 2015), 2년 이상의 장기적인 관점에서 FD를 효과적으로 만드는 기제에 대한 연구는 전무한 실정이다. 따라서 본 연구는 장기간에 걸친 FD 학습과 관련된 메커니즘이 특정 맥락과 어떻게 관련되어 교육자의 실천(결과)에 변화를 가져오는지 설명할 수 있는 Realist CMO 이론을 개발하기 위해 설계되었습니다. 이 연구에서 사용된 맥락, 메커니즘, 결과에 대한 간결한 정의는 표 1에 나와 있습니다. 
Previous studies suggested that motivation and engagement are mechanisms that influence learning from FD activities in the short-term (Sorinola et al. 2013, 2015), but there are no studies on the mechanisms that make FD effective in the long-term i.e. two years or longer. Therefore we designed this study to develop realist CMO theories to explain how the mechanisms involved in learning from FD over a long-term period relates to specific contexts and results in changes in educators’ practice (outcomes). Concise definitions of context, mechanism and outcome used in this study are provided in Table 1.

결과
Results

데이터에서

• 참여, 동기 부여, 긍정적 인식, 전문화라는 네 가지 핵심 메커니즘이 확인되었습니다.
• 이러한 메커니즘을 촉진하는 것으로 확인된 맥락적 요인은 각각 참여적 접근/반성적 실천, 관련성, 지원적 교육 환경/ FD에 대한 접근성, 외부 영향/표준이었습니다.
• 보고된 결과는 자신감, 역량, 신뢰성, 경력 발전이었습니다.

이후 각 맥락, 메커니즘, 결과 사이의 연관성을 보여주는 네 가지 CMO 이론을 정교화했습니다(표 2). 지면 제약으로 인해 각 이론에 대한 인용문은 거의 포함하지 않았습니다. 더 많은 인용문은 부록에서 확인할 수 있습니다. 

• Four key mechanisms were identified from the data: engagement; motivation; positive perception; and professionalization.
• The contextual factors identified as facilitating these mechanisms respectively were: participatory approach/reflective practice; relevance; supportive educational setting/access to FD; and external influences/standards.
• The reported outcomes were confidence; competence; credibility; and career progression.

We subsequently elaborated four CMO theories showing the connection between each context, mechanism and outcome (Table 2). Due to space constraints, we have included few quotes under each theory. Further quotes are available in the Supplementary Appendix.

이론 1: 참여
Theory 1: Engagement

참여(표 3)는 모든 측면을 뒷받침하는 데이터와 함께 가장 강력한 CMO 이론 중 하나로 부상했습니다. 교육자와 FDC는 학습을 위한 참여의 중요성을 강조하면서 참여에 대한 설명을 대화형, 정보 제공, 자극적인 FD 활동으로 제시했습니다. 참여를 촉진하고 학습을 촉진하는 맥락은 FD 중 참여적이고 다양한 방식의 접근 방식(동료 토론, 다양한 관점, 공유된 경험, 아이디어의 이전 가능성)과 성찰적 체험 실습(자기 인식, 비판적 분석, 새로운 관점 개발)으로 장기적인 참여를 촉진하는 것으로 나타났습니다. 교육자들이 보고한 가장 중요한 성과는 콘텐츠와 관련이 없는 교육에 대한 자신감 증가였습니다. 자신감은 채택한 교수법이 효과적일 것이라는 확신이 생기고 권한이 부여되는 느낌으로 설명되었습니다. 교육자들은 FD에서 배운 다양한 교수 전략을 학생들과 함께 사용하는 데 자신감을 갖게 되었습니다. 교육자들이 가장 큰 효과를 본 것은 바로 이 개인 개발 영역이었습니다. 

• 교육자들은 교육 기회를 인식하고 활용할 수 있는 역량을 갖추게 되었고, 자발적으로 더 많은 교육을 제공했으며, 학생들이 교육 기회를 찾도록 장려했습니다. 
• 이들은 교육에 대한 동료와의 상호작용, 교육 전달, 복잡한 교육 활동을 이해하기 쉬운 요소로 세분화, 새로운 교육 기법 시도, 다양한 교육 시나리오 및 어려운 교실 역학 관계에 대처하는 데 자신감이 생겼다고 말했습니다. 

8명의 교육자 모두 16개 이상의 사례를 언급하며 강의에 대한 자신감이 향상되었다고 말했습니다:
Engagement (Table 3) was one of the more robust CMO theories to emerge, with data supporting all its aspects. Educators and FDCs emphasized the importance of engagement for learning providing descriptors of engagement as interactive, informative and stimulating FD activities. Contexts facilitating engagement and driving learning were participatory, multimodal approaches during FD (peer discussion, different perspectives, shared experiences and transferability of ideas), and reflective experiential practice (self-awareness, critical analysis and the development of a new perspective), which fostered long-term engagement. The single most important outcome reported by educators was increased confidence in teaching which was not content related. Confidence was described as increased certainty that the teaching approach adopted is likely to be effective and a feeling of empowerment. Educators became confident in using various teaching strategies learnt from FD with their own students. It was in this domain of personal development that educators noticed the greatest impact.

• They became empowered to recognize and utilize teaching opportunities, voluntarily offered more teaching, and encouraged students to seek teaching opportunities.
• They discussed confidence in interactions with colleagues about teaching, delivery of teaching, breaking down complex teaching activities into understandable components, trying out new instructional techniques, handling various teaching scenarios and difficult classroom dynamics.

All eight educators mentioned improved confidence in teaching with over 16 references made:

이 프로그램에서 가장 매력적인 점 중 하나는 상호 작용과 참여형 접근 방식이었습니다. 서로 다른 전문 분야에서 다른 방식으로 가르치는 사람들이 참석했지만, 토론과 그들의 이야기를 통해 우리 모두는 서로에게서 많은 것을 배웠습니다. 저는 FD로부터 많은 것을 배웠는데요... 많은 일을 하고, 생각하고, 시도하고, 반성해야 했기 때문입니다. 그래서 반성하는 연습이 도움이 되고, 반성을 더 많이 하게 되죠... 개인적으로는 수업에 대한 자신감과 수업 중 다양한 상황에 대처할 수 있는 능력이 향상되어 정말 유용했습니다. 성찰을 통해 배운 것을 적용하는 데 자신감이 생겼습니다. (E8)
One of the most engaging things about the programme was the interactivity and participatory approach. There were people attending from different specialties teaching in different ways, and yet from the discussion, their stories, we all learnt from each other. I learnt a lot from the FD because I had to do quite a lot of work… think… try things out and reflect. So it’s the reflective practice that’s helpful, you’re sort of forced to do more reflecting… personally I found that really useful as it improved my confidence in teaching and in dealing with various situations in my own teaching. By reflecting I became more confident to apply what I learnt. (E8)

FDC는 참여형 대화식 접근 방식과 FD에 통합된 성찰적 실습이 의도적으로 교육자의 참여를 촉진하는 데 목적이 있다는 데 동의했습니다:
FDCs agreed that the participatory interactive approach, and the reflective practice incorporated into FD were deliberately aimed at promoting educators’ engagement:

참여형 상호작용을 통해 사람들은 서로 이야기하고 영감을 얻습니다. 교육자들이 대화형 방식으로 자신의 경험을 성찰할 수 있도록 하는 것이 핵심입니다... 큰 변화를 가져왔습니다. 교육자들의 참여도가 높아졌습니다... 저는 교육 세션에서 교훈적인 교육이 아닌 상호작용을 활용하는 교육자들을 관찰했습니다. 그들은 정말 자신감이 넘쳤고 더 나은 교육을 개발하기 위해 참여했습니다. 그들이 힘을 얻고 함께 일하는 학생들에 대해 생각하는 것을 보는 것은 큰 영향을 미칩니다. (FDC4)
It’s the participatory interactivity; people talk to one another, feel inspired. Allowing educators to reflect on their experiences in an interactive way is key… it made a big difference. Educators became more engaged… I observed them at their teaching sessions making use of interactivity and less didactic teaching. They are really confident and engaged to develop teaching further. Seeing them empowered and thinking about the students they are working with is a great impact. (FDC4)

이론 2: 동기 부여
Theory 2: Motivation

동기부여는 일반적으로 행동에 에너지와 방향을 부여하여 사람들이 무엇을, 얼마나 잘, 얼마나 오래 하기로 선택하는지에 영향을 미치는 것으로 생각됩니다(Reeve 2001; Martin 2007, 2008). 우리는 동기가 FD 활동에 참여하기로 결정하고 교육자가 부족한 분야의 기술을 배우는 데 중요하다는 것을 발견했습니다. 7명의 교육자 데이터는 FD 학습의 메커니즘으로서 동기를 뒷받침했습니다. 가장 중요한 동기는 개인주의적 동기, 즉 외부 요인보다는 교육자의 필요와 관련된 동기였습니다. 교육자들은 동기를 FD와 자신의 학습 요구와의 관련성에 연결시켰으며, FD 이니셔티브가 자신의 업무를 더 잘 수행하고 역할 요구 사항을 충족하는 데 도움이 되어야 한다고 긍정했습니다:
Motivation is generally thought to be that which gives behavior energy and direction, influencing what people choose to do, how well, and for how long (Reeve 2001; Martin 2007, 2008). We found motivation to be important in deciding to attend FD activities and for educators to learn skills in areas in which they were deficient. Seven educators’ data supported motivation as a mechanism in FD learning. The most important motivation was individualistic, i.e. in relation to an educator’s need rather than external factors. Educators’ linked motivation to relevance of the FD to their own learning needs, affirming that FD initiatives should help them do their job better and meet their role requirements:

저는 의학교육에 관심이 많기 때문에 제 자신의 학습과 학부 교육에 대한 더 나은 이해를 위해 FD가 필요했습니다. 제가 선택한 FD 과정은 대그룹, 소그룹 교육, 일대일 슈퍼비전 등 다양한 맥락에서 제가 수행하는 모든 것을 다루었습니다. 이 과정은 현재 위치에서 개선할 수 있는 즉각적인 팁을 제공했습니다. 저는 지극히 실용적인 사람이고, 일을 완수해야 하기 때문에 관련성이 있는 무언가가 필요합니다. 이 과정을 수강하는 동안과 수강 후에도 학습에 대한 동기가 부여되었고 강의 스킬이 많이 향상되었습니다. 가르치는 데 더 유능해졌고 학생 피드백도 크게 향상되었습니다. (E1)
I was motivated; I needed FD for my own learning and a better understanding of undergraduate teaching as I have a real interest in medical education. The FD course I chose dealt with large group, small group teaching, one-to-one supervision, all of which I do in varied contexts. The course gave instant tips to improve from where you were. I’m terribly pragmatic, I need to get the job done therefore I need something relevant. That motivated me to learn during and after the course and my teaching skills have improved a lot. I feel more competent in my teaching and student feedback has improved significantly. (E1)

8명의 FDC는 모두 FD의 관련성(맥락)과 교육자의 학습 동기(메커니즘)를 연결하는 추가 데이터를 제공했으며, 흥미와 학습을 자극하는 전략으로서 FD 활동을 교육자의 필요에 align하는 것이 중요하다고 언급했습니다. 예를 들어
All eight FDCs provided further data linking relevance of the FD (context) to educators’ motivation to learn (mechanism) and commented on the importance of aligning the FD activities to educators’ needs as a strategy to stimulate interest and learning. For example:

의료 교육자에게 관련성이 있도록 교육 과정을 조정하는 것이 중요하다는 것을 인식하고 있습니다. 이를 통해 교육생들이 적극적으로 참여하고 학습하도록 동기를 부여하는 것을 발견했습니다. 개입 후 평가에서 교수자의 강의와 학생의 성과에 대한 피드백을 관찰한 결과, 교수자의 강의 기술이 향상되고 유능한 교육자가 늘어나는 것을 확인할 수 있었습니다. (FDC1)
It’s recognising the importance of aligning the courses so that they are relevant to the medical educators. I’ve found this motivates them to actively participate and learn. The post-intervention assessments showed improved instructional skills and more competent educators from my observation of their teaching and students feedback on their performance. (FDC1)

이 이론의 핵심 결과는 교육자의 역량이 향상되었다는 것입니다. 교육자들은 다음으로 역량을 설명했습니다:

• 교육 접근 방식의 변화(예: 교육 계획에 더 많은 시간을 할애하고, 커리큘럼을 이해함),
• 태도와 행동의 변화(예: 더 열린 마음을 갖고, 가르치는 것을 주저하지 않음),
• FD 과정에서 얻은 지식과 기술을 적용하는 데 있어서의 변화

The key outcome of this theory is the improvement in educators’ competence. Educators described competence in terms of

• changes in their teaching approach (e.g. spending more time planning teaching, understanding the curriculum),
• changes in attitudes and behavior (e.g. being more open minded, not shying away from teaching), and
• in their application of knowledge and skills gained from the FD course:

FD 과정은 역량에 관한 것입니다. 예전에는 체계 없이 아무렇게나 가르쳤어요. 하지만 FD 과정을 수강한 후부터는 체계가 생겼어요. 커리큘럼과 학생들이 무엇을 알아야 하는지 알게 되었죠. 저는 다양한 교수법에 대해 더 개방적이고 지식의 폭을 넓혔으며, FD는 제 교수법을 확장하도록 도전했습니다. 수많은 작은 힌트와 팁이 모여서 변화된 접근 방식을 제공합니다. 예를 들어 질문 통합, 사전 지식 활성화, 스노우볼링과 같은 기법..... 저는 FD 전에는 이 기법들을 사용하지 않았지만 지금은 사용하고 있습니다. 저는 더 광범위하고 정교한 템플릿을 사용할 수 있게 되었고, 제 자신의 자기 평가뿐만 아니라 제 강의에 대한 동료의 평가와 학생들의 피드백을 통해 더 유능해졌습니다. (E2)
Doing the FD course is about competence. I used to teach anyhow, with no structure. But since attending the FD course, I have developed a structure. I know the curriculum and what students need to know. I am more open to different ways of teaching, extended my knowledge and the FD challenged me to extend my teaching approach. It is the multitude of small hints and tips, which aggregate to give a changed approach. For example integrating questioning, activating prior knowledge, techniques like snowballing…. I have not used them before the FD but now I do. I have a broader and more sophisticated template to work with and I am more competent … from my own self-assessment but also from the feedback received from peer appraisal of my teaching and students feedback. (E2)

이론 3: 긍정적 인식
Theory 3: Positive perception

인식(표 3에 정의된 바와 같이)은 교수의 가치, 즉 FD에 의해 강화된 교수의 개인적 및 기관적 가치의 측면에서 메커니즘으로 개념화되었습니다. 개인적 차원에서 7명의 교육자는 FD를 통해 배운 것이 가르침의 중요성을 인식하는 데 도움이 되었다고 답했으며, 교육에 대한 열정과 흥미를 더 많이 느끼고 전문적 실천과 질 향상에 기여한 점을 높이 평가했습니다. 교육기관 차원에서 교육자들은 FD 참여로 교육에 대한 기관의 인식이 달라졌다고 답했습니다. 다른 교육 과정에 참석할 수 있도록 더 많은 지원을 받았고, 교육에 대한 아이디어와 기여도가 더 많이 고려되었으며, 승진 신청 시 교육에 대한 공로를 인정받았습니다. 한 교육자의 부정적인 의견이 한 건 있었지만, 데이터는 FD 이후 교육에 대한 제도적 가치를 긍정하는 긍정적인 의견이 압도적으로 많았습니다:
Perception (as defined in Table 3) was conceptualized as a mechanism in terms of the value of teaching: the individual and institutional values of teaching enhanced by FD. At the individual level, seven educators reported that learning from the FD helped them appreciate the importance of teaching; they felt more enthusiastic and interested in teaching and valued its contribution to their professional practice and quality improvement. At the institutional level, educators reported that FD participation had altered their institution’s perception of their teaching. They were better supported to attend other teaching courses, their ideas and contributions on teaching were considered more, and there was acknowledgment of teaching in their applications for promotion. Even though there was one negative comment by one educator, the data were overwhelmingly positive affirming the institutional value of teaching post FD:

이 기관에서 교육을 선도하는 것이 우선순위입니다. 그들은 FD 교육을 중요하게 생각하고 매우 지원합니다. 제 계약은 교육, 행정 및 소량의 연구입니다... 교육이 주된 업무입니다. FD는 도움을 쉽게 받을 수 있는 지원 환경이었어요. PGCE를 수료하고 HEA의 펠로우가 된 후 승진 절차를 밟을 때 그들은 제 가르침을 높이 평가했습니다. 교사로서 그런 신뢰를 얻으니 기분이 좋았어요. 지금은 제 자신의 가르침을 더 소중히 여기고 학생들의 학습을 돕는 데 더욱 열정적으로 임하고 있습니다. (E7)
Leading the teaching at this institution is a priority. They consider FD training important and are very supportive. My contract is teaching, administration and a small amount of research … teaching is the main one. FD was a supportive environment with easy access to help. Once I had completed the PGCE and became a fellow of the HEA, they highly valued my teaching when I went through the promotion process. It was a good feeling having that credibility as a teacher. I value my own teaching more now and become more enthusiastic in helping my students to learn. (E7)

두 그룹 모두 지지적인 교육 환경과 FD에 대한 접근성이 이러한 긍정적 인식을 촉진했다는 증거가 있었습니다. 7명의 교육자는 FDC가 자신의 필요에 부응하고, 필요할 때 추가 지원을 제공하며, 학생들을 가르치는 것을 진정으로 즐긴다고 느꼈습니다. 마찬가지로 모든 FDC가 그들이 제공하고자 했던 지지적 환경을 긍정적으로 평가했습니다:
There was evidence from both groups on the context of supportive educational environment and access to FD that facilitated this positive perception. Seven educators felt their FDC was responsive to their needs, provided additional support when needed, and genuinely enjoyed teaching them. Similarly, all the FDCs affirmed the supportive environment they aimed to provide:

저는 교육자들을 가르치고 FD 과정에 쉽게 접근할 수 있는 지지적 환경을 조성하는 데 열정을 쏟고 있습니다. 이론을 가르치는 것만으로는 충분하지 않고, 관찰하고, 관찰하는 동안 실습하게 하고, 학생들이 학생들을 가르칠 수 있도록 지원합니다... 학생들의 피드백에 따라 효과가 있었습니다... 제가 교육자들을 지지한다는 사실이 교육자들의 열정과 관심, 다양한 FD 활동에 대한 인식을 높여주었습니다. 이것이 제가 생각하는 가장 큰 영향일 것입니다. (FDC 8)
I am passionate about teaching the educators and creating a supportive environment and easy access to the FD courses. Teaching them the theory is not enough; I observe, let them practise whilst been observed and I support them in teaching their students… which based on student feedback has worked…. the fact that I am there to back up the educators has increased their enthusiasm, interest and perception of the various FD activities. That’s probably the greatest impact as far as I’m concerned. (FDC 8)

이 이론에 대한 결과는 교육자들의 신뢰도 향상이었습니다. 교육자들은 FD에 참여함으로써 학생과 동료에 대한 신뢰도가 높아졌다고 믿었습니다. 교육자들은 다음 등의 측면에서 신뢰성에 대해 논의했습니다:

• 지식과 전문 지식의 적용,
• 학생 및 동료와의 관계,
• 교육 기관에서 자신을 어떻게 바라보는지에 대한 인식,
• 교육에 대한 토론에 영향을 미칠 수 있는 능력 

The outcome for this theory was improved educators’ credibility. Educators believed that participating in FD led to more credibility with their students and peers. Educators discussed credibility in terms of

• application of knowledge and expertise,
• relationships with students and colleagues,
• perception of how they are viewed by the educational establishment, and
• the ability to influence discussions on teaching:

저에게 있어 FD는 자신감과 신뢰성이라는 두 가지 측면에 관한 것이었습니다. 자신감의 측면에서는 제가 말하는 것에 대해 더 확신을 갖게 되고, 이것이 이론과 프레임워크에 부합하며 어떤 접근법이 다른 접근법보다 더 잘 작동하는 방법을 설명할 수 있는 능력이라고 말할 수 있습니다. 이를 통해 학생들을 가르치는 데 더 많은 신뢰를 얻고 다른 사람들(동료/기관)이 제 가르침을 어떻게 평가하는지에 대한 신뢰도도 높아집니다. (E10)
Doing the FD for me was about two things; confidence and credibility. In terms of confidence it is being more assured of the things that I say; I can say this is consistent with this theory and framework and ability to explain how some approaches work better than others. This gives me more credibility in teaching my students and credibility in how others (peers/institution) value my teaching. (E10)

어떤 의미에서 PGCE를 통해 교육 기관 내에서 제 평판이 높아졌습니다. 저는 그 과정에 참여함으로써 더 많은 신뢰를 얻게 되었다는 평가를 받았습니다... 교육계 선배들과 협상하고, 커리큘럼에 기여하고, 긍정적인 변화를 이끌어낼 수 있는 더 강력한 입장에 서게 되었습니다. (E6)
In a sense doing the PGCE has enhanced my reputation within the educational establishment. I was given feedback at my appraisal of having more credibility by engaging with that process…. something that is valued… it’s put me in a stronger position to negotiate with senior educational colleagues, contribute to the curriculum, make positive changes. (E6)

이론 4: 전문화
Theory 4: Professionalization

전문화는 의학교육 교육의 표준화를 목표로 하는 자격 및 인증의 맥락에서 바라보았습니다. 교육자와 FDC는 전문화에 대해 자격/인증, 학습에 대한 목적의식, 수료 후 성취감, 경력 발전의 측면에서 이야기했습니다. 모든 FDC는 이를 FD 학습의 중요한 메커니즘으로 간주했지만 교육자의 절반만이 전문화를 메커니즘으로 논의했습니다.
Professionalization was viewed along the lines of qualification and accreditation aimed at standardizing medical education teaching. Educators and FDCs talked about professionalization in terms of qualification/accreditation, providing a sense of purpose to learning, a sense of achievement upon completion, and career progression. All FDCs viewed this as an important mechanism for FD learning but only half of the educators discussed professionalization as a mechanism.

외부 의제는 GMC, AoME, HEA가 전문 의료 교육자의 기준을 설정하고 우리가 이에 어떻게 대응할 것인가입니다. 대학은 PGCE 또는 FHEA(펠로우 오브 HEA) 자격을 가진 직원 수를 보고해야 합니다. 이러한 국가 정책으로 인해 고등 교육 부문의 교직원 구인 광고에서 FHEA를 요구하는 것을 발견했습니다. 우리의 FD 프로그램은 HEA의 인증을 받았기 때문에 교육자들은 그 인정을 받을 수 있고, 표준/품질과 우리 과정의 학습에 대해 안심할 수 있습니다. (FDC 7)
The external agenda is the GMC, AoME and HEA setting the bar for a professional medical educator and how we respond to that. Universities are expected to report the number of staff with PGCE or Fellow of HEA (FHEA). This national policy is pushing things… we’ve noticed job adverts for academic staff in the higher education sector asking for FHEA. Our FD programme is accredited with the HEA, so it enables educators’ to gain that recognition and are reassured regarding standards/quality and learning from our courses. (FDC 7)

자격증과 인증을 받는 데 확실히 도움이 됩니다. '나는 이 교육을 받았고, 이 학습을 완료했다'고 말할 수 있습니다. FD 과정에 참여하여 배웠다는 것을 인정받는 것입니다. '가르치는 데 있어 어떤 교육을 받았습니까?"라는 질문을 받았을 때 서류상의 증거와는 별개로 무언가를 얻고 있다는 것을 아는 것은 학습에 대한 원동력을 제공합니다. 이 과정이 제 학습의 원동력이 되었어요... 수료한 것이 자랑스러웠어요. 이제 저는 이 과정을 통해 교수 경력을 쌓고 있습니다. (E4)
It certainly helps getting a certificate and accreditation. I can say, ‘I’ve been to this training, I’ve completed this learning’. It is recognition that you’ve participated … learnt from the FD course. Knowing you are getting something out of it provides the impetus for learning apart from documentary evidence when asked ‘What training have you had in teaching?’ It did drive my learning… I was proud I completed it. Now I’m using it to further my teaching career. (E4)

교육자들은 FD를 통해 자격과 인정을 받음으로써 경력에 변화를 가져왔다고 말했습니다. 교육자들은 FD 이후 승진, 모듈 리더십, 교육 과정 촉진 등 다양한 기회를 얻었다고 설명했습니다. 그들은 FD가 없었다면 이러한 역할을 맡지 않았을 것이며, 이를 통해 자극과 즐거움을 느꼈다고 말했습니다. 일부는 학술적 글쓰기, 출판물, 강의 가이드 등을 개선하여 학술활동 수준이 향상되었음을 보여주었습니다:
Educators attributed career progression to the FD confirming that qualification and recognition did bring about career changes. Educators described various opportunities following FD such as promotion, module leadership and facilitation of teaching courses. They stated that without the FD they would not have taken up these roles, which they’ve found stimulating and enjoyable. Some demonstrated enhanced scholarship with improved academic writing, publications, teaching guides, etc:

FD를 하고 PGCE를 취득하면서 제 경력은 두 가지 측면에서 긍정적으로 변화했습니다. 첫째, 다른 프로그램에서 강의할 수 있게 되었습니다. 저는 학습 및 학술 개발 센터 프로그램 위원회에 초빙되어 대학 전체의 PGCE에 참여해 달라는 요청을 받았습니다. 작년에 저는 PCAP(학문적 실무 대학원 수료증)의 진행자 중 한 명이 되었습니다. 대학 전체에서 다른 학자들을 가르치고 만나고, 교육에 대해 토론하고, 평가를 할 수 있기 때문에 저는 이 일을 좋아합니다. 둘째, PGCE/PCAP에서 강의하는 것은 제 승진에 큰 도움이 되었습니다. 작년에 선임 강사로 승진했습니다.... FD가 제 승진을 정말 도와줬고, FD가 없었다면 이 모든 것을 할 수 없었을 것입니다. (E7)
Doing the FD and getting a PGCE has positively changed my career at two levels. First, it enabled me to teach on other programmes. I was invited on the Centre for Learning and Academic Development programme committee and asked to be part of the PGCE across the university. Last year, I became one of the facilitators on the PCAP (Postgraduate Certificate in Academic Practice). I love doing those teachings because I get to teach and meet other academics across the university, discuss teaching, and do assessments. Second, teaching on the PGCE/PCAP really supported my promotion; I was promoted last year to senior lecturer…. the FD really supported my promotion, I couldn’t have done all these without it. (E7)

지지되지 않는 다른 이론
Other theories unsupported

데이터 수집은 다양하지만 FD의 이론으로 완전히 부각되지는 않은 다른 CMO도 있었습니다. 피드백, 협업, 훈련된 퍼실리테이터가 바로 그것입니다. 몇몇 이해관계자가 가능한 추가 메커니즘으로 개별적으로 언급했지만, 데이터가 CMO 이론을 생성하기 위한 모든 측면을 완전히 뒷받침하지는 못했습니다.
There were other CMOs for which data collection was varied but did not fully emerge as a theory of FD. These were feedback, collaboration and trained facilitators. Even though they were mentioned individually as possible additional mechanisms by a few stakeholders, the data did not fully support all aspects to generate a CMO theory.

토론
Discussion

주요 결과
Main findings

본 연구는 교육자와 개발자를 위한 FD의 장기적인 효과에 대한 증거를 제공했습니다. 참여, 동기 부여, 긍정적 인식, 전문화(표 3)가 장기적으로 FD 개입의 효과에 영향을 미치는 네 가지 주요 메커니즘으로 나타났으며, 인터뷰에 참여한 교육자들은 개입 후 최소 2년이 지났기 때문에 이 네 가지 메커니즘이 장기적으로 FD 개입의 효과에 영향을 미치는 것으로 나타났습니다. 이론 1의 주요 전제는 깊고 효과적인 학습이 이루어지기 위해서는 참여가 중요하다는 것입니다. 참여도가 높은 학습자는 높은 수준에서 학습하고, 학습한 내용을 유지하며, 학습한 내용을 새로운 맥락으로 옮길 수 있습니다(Kearsley & Shneiderman 1998). 학습자는 더 깊은 이해를 얻고 해당 과정의 즉각적인 범위를 넘어서는 개념을 개발할 가능성이 더 높습니다. FD 참여에 대한 우리의 연구 결과는 참여와 딥러닝에 관한 문헌을 뒷받침합니다(Schaufeli 외. 2002, 2006; Miliszewska & Horwood 2004).

Our study has provided evidence of the long-term efficacy of FD for educators and developers. Engagement, motivation, positive perception and professionalization (Table 3) were the four main mechanisms impacting the effectiveness of FD intervention in the long-term, as the educators interviewed were at least two years post intervention. The major premise of Theory 1 is that engagement is important for deep and effective learning to occur. The engaged learn at high levels, retain what they learn, and can transfer what they learn to new contexts (Kearsley & Shneiderman 1998). Learners gain a deeper understanding and are more likely to develop concepts beyond the immediate scope of the course. Our findings on engagement in FD support the literature on engagement and deep learning (Schaufeli et al. 2002, 2006; Miliszewska & Horwood 2004). 

교수개발자는 교육자의 가치, 관심사 및 요구에 가장 잘 부합하는 자질을 교육에 구축함으로써 교육자가 과제 및 활동에 참여할 가능성을 높일 수 있습니다. 연구 결과에 따르면 FD 참여를 촉진하는 맥락은 FD 기간 동안 참여적이고 복합적인 접근 방식이었으며, 장기적인 참여는 반성적 실천을 통해 촉진되었습니다. 교수자 개발자는 반성적 실천의 맥락이 교육자의 개발을 향상시키는 다양한 방식(자기 인식, 비판적 분석, 새로운 관점 개발)을 이해하는 것이 중요합니다. 이러한 참여의 결과는 다양한 방식으로 표현되는 가르침에 대한 자신감으로 나타났습니다.

• 강의 전달,
• 복잡한 교수 활동을 이해하기 쉬운 구성 요소로 분해,
• 새로운 교수 기법 시도,
• 학생 및 동료와의 대화,
• 교수법 검토 등 

Faculty developers can enhance the prospects of educators being engaged in the tasks and activities by building into their teaching those qualities that are most likely to appeal to the values, interests and needs of the educators. The findings suggest that the contexts that promoted FD engagement were a participatory, multimodal approach during the FD and long-term engagement was facilitated by reflective practice. It is important for faculty developers to understand the diverse ways by which the context of reflective practice enhances the development of educators (self-awareness, critical analysis, and development of new perspectives). The outcome from this engagement was confidence in teaching expressed in various ways:

• delivery of teaching;
• breaking down complex teaching activities into understandable components;
• trying out new instructional techniques;
• dialog with students and peers; and
• examination of teaching practices.

"동기부여"라는 단어의 라틴어 어근은 "움직이다"를 의미하므로, 동기부여에 관한 이론 2는 교육자가 FD 활동에 참여하고 배우기 위해 "움직이도록" 돕는 데 있어 기대, 필요 및 가치가 수행하는 역할에 대한 이해를 제공합니다. 동기부여 이론은 시간이 지남에 따라 진화해 왔으며, 인간 심리의 복잡성 때문에 동기를 내적 또는 외적 현상으로 단순하게 이분법적으로 해석하는 것은 더 이상 사실이 아닙니다(Misch 2002; Brissette & Howes 2010). 우리는 이전에 단기적으로 FD에 대한 가장 중요한 동기는 개인주의적 동기이며, 상위 세 가지 개인적 동기는 개인 개발, 경력 개발 및 개인적 교육 관심이라고 보고한 바 있습니다(Sorinola 외. 2013, 2015). 이 연구는 더 나아가 의학교육자의 요구와 FD의 관련성 및 연계가 장기적인 동기 부여의 핵심 맥락적 요소임을 시사합니다. 이는 특히 FD에 대한 체계적 문헌고찰을 통해 "무엇이 FD 참여에 동기를 부여하는가?"라는 스타이너트 등의 질문에 대한 답변으로 FD 개발자에게 중요한 포인트입니다(스타이너트 등, 2006). 또한 FD 참석 후 교육자들이 확인한 결과로서 역량 향상을 명확히 했습니다. 교육자들은 역량을 FD 참석을 통해 얻은 지식과 경험 및 실습을 통해 개발한 전문성을 결합하여 올바른 태도로 교육에 적용하는 것으로 개념화했습니다. 
The Latin root of the word “motivation” means “to move”, hence Theory 2 on motivation provides some understanding of the role played by expectancies, needs and values in helping educators “move” to participate and learn from FD activities. Motivation theories have evolved over time; it is no longer true to construe motivation as a simple dichotomous internal or external phenomenon because of the complexity of the human mind (Misch 2002; Brissette & Howes 2010). We have previously reported that the most important motivation for FD in the short-term was individualistic with the top three individual motivators being personal development, career development and personal teaching interest (Sorinola et al. 2013, 2015). This study has gone further to suggest that relevance and alignment of the FD to the needs of medical educators is the key contextual factor for motivation in the long-term. This is an important point for FD developers especially in response to Steinert et al’s question following their systematic review of FD: “What motivates participation in FD?” (Steinert et al. 2006). We further clarified improved competence as an outcome identified by educators following FD attendance. The educators conceptualized competence as combining the knowledge from attending the FD with the expertise developed from experience and practice, applying it with the right attitude in teaching.

이론 3은 교육자들의 FD에 대한 긍정적인 인식이었습니다. 인식은 기대, 신념, 가치관 등 다양한 요인에 의해 형성되고 영향을 받으며(Weiten 2013), 완전히 편향되지 않고 필터링되지 않은 지각은 존재할 수 없습니다(Clark 2011). 지각과 기대 사이에는 많은 피드백이 있고,  인식적 경험이 종종 우리의 신념을 형성하지만, 이러한 지각은 기존의 신념에 기반하기 때문이다. 우리는 대부분의 교육자들이 FD에 대해 긍정적인 인식을 가지고 있는 것으로 나타났는데, 이는 교육자 개인이 자신의 가르침을 소중히 여기게 되었으며, 교육 기관 차원에서도 자신의 가르침을 소중히 여기게 된 것으로 나타났습니다. 이 이론은 교육자가 FD가 개인적, 직업적 성장을 가능하게 하고 지지적인 교육 환경에서 접근할 수 있다고 믿을 때 학습 가능성이 높아져 교육의 신뢰도와 중요성이 높아진다는 결과를 낳는다는 것을 확인시켜 줍니다. 신뢰도 증가는 지식의 더 나은 적용, 교육 전문성, 학생, 동료 및 교육 기관과의 더 나은 관계라는 측면에서 나타났습니다. 이는 개인과 기관 차원에서 가치를 더하는 프로그램 설계의 중요성을 뒷받침합니다.
Theory 3 was positive perception of FD by educators. Perception is shaped and affected by a variety of factors including expectancy, beliefs and values (Weiten 2013) and there can be no completely unbiased, unfiltered perception, because there is a great deal of feedback between perception and expectation, as perceptual experiences often shape our beliefs, but those perceptions are based on existing beliefs (Clark 2011). We found most educators reported a positive perception of FD as it made them value their teaching individually and significantly it also led to their teaching being valued at institutional level. The theory affirms that when educators believe that FD can enable personal and professional growth and is accessible in a supportive educational environment, they are more likely to learn leading to outcomes of increased credibility and importance of teaching. Increased credibility was expressed in terms of better application of knowledge, teaching expertise, better relationship with their students, colleagues and educational establishment. This underlies the importance of designing programs that add value at individual and institutional levels.

네 번째 이론은 의학교육의 전문화로, 외부의 영향이 의학교육을 형성하고 FD에서 중요해짐에 따라 더욱 주목받고 있습니다. 의학교육자에게는 교육 자격과 인증을 획득하기 위해 FD에 참석하여 교육에 필요한 지식을 습득하는 것이 전문화의 중요한 요소였습니다. 교육자들이 경력 발전과 교육자로서의 신뢰성을 위해 인증의 필요성을 점점 더 인식하게 되면서 이는 학습의 원동력이 되었습니다. 이는 취업 기회 증가, 승진, 교육계에서의 리더십 역할 등 다양한 방식으로 표현되었습니다. 교육에 대한 외부 규제/표준화의 맥락에서는 두 이해관계자 그룹의 지지 강도가 약간 달랐습니다. 모든 FDC는 의학교육의 표준화 필요성에 대한 미국의학위원회(GMC 2012), 고등교육아카데미(HEA 2011) 및 기타 규제 기관의 외부 이니셔티브에 큰 영향을 받은 반면, 교육자들은 영향은 덜 받았지만 교육의 책임성과 전문성을 강화하는 추세에 대해서는 인정했습니다. 이는 각 이해관계자 그룹의 전문성을 고려할 때 전혀 예상치 못한 결과는 아니었습니다. FDC는 FD 개입의 설계 및 개발에 영향을 미치는 규제 부문에 대해 더 잘 알고 있었습니다. 따라서 전문화가 FDC의 학습을 촉진하는 메커니즘으로 부상할 수 있는 충분한 데이터가 있었고, 이는 참여 교육자들도 인정했습니다.

Our fourth theory was the professionalization of medical education, which is receiving increased attention as external influences shape medical education and become important in FD. For medical educators, having the requisite knowledge in teaching by attending FD to gain teaching qualifications and accreditation was an important component of professionalization. It was a driver for learning as educators became increasingly aware of the need for accreditation for career progression and credibility as educators. This was expressed in various ways including increased job opportunities, promotions and leadership roles in education. The contexts of external regulations/standardization of teaching had slightly different strength of support from the two groups of stakeholders. While all FDCs were strongly influenced by external initiatives from the General Medical Council (GMC 2012), Higher Education Academy (HEA 2011) and other regulatory bodies on the need for standardization of medical education, the educators were less influenced but admitted recognizing the trend towards greater accountability and professionalization of teaching. This was not totally unexpected considering the expertise of each group of stakeholder; the FDCs were more aware of the regulatory sector which influences their design and development of FD interventions. Hence, there was enough data for professionalization to emerge as a mechanism used to drive learning by the FDCs, which was recognized by the participating educators.

기존 문헌과의 비교
Comparison with existing literature

본 연구 결과는 참여와 반성적 연습이 심화된 학습에 중요하다는 기존 문헌과 일치합니다. Moon(1999)은 학습자가 성찰을 통해 원래의 학습 시간 이후 더 높은 수준으로 학습을 업그레이드할 수 있다고 주장했습니다. 이러한 반성적 과정은 더 깊이 있는 학습, 이론적 교육 개념의 실제 통합, 비판적 사고와 판단력을 향상시킵니다. 이 연구는 교수 개발자가 촉진해야 하는 참여와 심층 학습을 향상시키는 반성적 실천의 맥락에 대한 추가적인 지원을 제공했습니다. 
Our finding is in agreement with the literature on engagement and reflective practice being important for deeper learning. Moon (1999) argued that by reflecting learners are able to upgrade their learning to higher levels after the original time of learning. This reflective process produces deeper learning, integration of theoretical teaching concepts into practice, and enhances critical thinking and judgement. Our study has provided further support for the context of reflective practice enhancing engagement and deeper learning which faculty developers need to promote.

동기 부여에 관한 대부분의 연구에서 동기 부여가 학습, 학습 행동, 학업 성취도 및 성공에 긍정적인 영향을 미친다고 보고했습니다(Sobral 2004; Wilkinson 외. 2007). 대부분의 교수개발자가 의사가 공식 행사에 참석하도록 동기를 부여하는 요인을 평생 의학 교육(CME)의 광범위한 분야에서 추론했기 때문에 FD의 동기 부여에 대한 문헌은 부족합니다(Harrison & Hogg 2003; McLeod & McLeod 2004).

• 오설리반과 어비(2015)는 교수개발자가 간헐적으로 FD 워크숍을 진행하는 5가지 주요 동기로 숙달, 관련성, 의무, 목적, 만족을 꼽았습니다.
• Steinert 등(2010)은 포커스 그룹을 통해 FD 활동에 정기적으로 참석하는 교사의 동기를 조사한 결과 다음의 다섯 가지 요인이 지속적인 참여를 촉진한다고 보고했습니다.
  
  • 학습 및 자기계발,
  • 교사의 필요와 관련된 주제,
  • 개인적/전문적 성장,
  • 동료와의 네트워크 기회,
  • 초기의 긍정적인 경험

Most studies on motivation have reported motivation positively influencing learning, study behavior, academic performance and success (Sobral 2004; Wilkinson et al. 2007). The literature on motivation for FD is scant as most faculty developers have extrapolated from the broad field of continuing medical education (CME) what motivates doctors to attend formal events (Harrison & Hogg 2003; McLeod & McLeod 2004).

• O’Sullivan and Irby (2015) reported mastery, relatedness, duty, purpose and satisfaction as five key motivators for occasional faculty developers to conduct FD workshops.
• Steinert et al. (2010) used a focus group to explore the motivation of teachers who regularly attend FD activities and reported five factors:
  • learning and self-improvement;
  • topics relevant to teachers’ needs;
  • enabling personal/professional growth;
  • opportunity to network with colleagues; and
  • initial positive experiences promote on-going involvement.

이번 연구는 교육자가 FD 리소스를 활용하게 만드는 요인과 어떤 조건에서 그렇게 하는지에 대한 연관성을 설명하는 동기에 대한 보다 자세한 이해를 제공했습니다. 학습 동기, 관련성 맥락, 교육자가 개발한 역량(수업 기술 향상 및 교수 행동의 변화) 사이의 연관성은 FD에서 동기 부여의 패러다임을 넓혀줍니다. 교수법 개발자는 교육자의 역량과 자율성에 대한 욕구를 충족시켜야 하는데, 각각의 욕구 충족은 그 자체로 동기부여를 촉진하지만 두 가지 욕구를 모두 충족하면 시너지 효과를 낼 수 있기 때문입니다.
Our study provided a more detailed understanding of motivation explaining the link between what makes an educator take advantage of FD resources and under what conditions they do so. The link between motivation to learn, the context of relevance and the competence developed by educators (improvement in instructional skills and changes in teaching behavior) broadens the paradigm of motivation in FD. Faculty developers need to address educators’ need for competence and autonomy as each need fulfilled on its own promotes motivation; however, fulfilling both needs creates a synergistic effect.

마지막으로, 교육은 우연이나 적성, 성향에 맡길 수 없는 핵심적인 전문 활동이라는 인식이 확산되고 있습니다(Eitel 외. 2000; Purcell & Lloyd-Jones 2003). 일부 저자들은 의학교육 학위가 교육 이론/실무에 대한 필수적인 토대를 제공하고 교육 연구, 학술활동 및 리더십의 토대를 제공한다고 제안했습니다(Cohen 외. 2005). 우리의 연구 결과는 표준이 의학교육자의 지위를 높이고, FD 제공의 질을 개선하며(Eitel 외. 2000; Wojtczak & Schwarz 2000), 교육자의 실무를 변화시키는 데 도움이 될 수 있다는 문헌을 뒷받침합니다. 그러나 교육자의 관행 변화가 학생 경험의 질에 지속적으로 긍정적인 영향을 미친다고 자신 있게 말하기에는 아직 갈 길이 멀기 때문에 이를 뒷받침할 증거를 신중하게 축적해야 합니다. 관련 CMO의 정교화는 향후 FD 영향에 대한 연구에 도움이 될 것이며, 따라서 표 4의 권장 사항도 도움이 될 것입니다.
Lastly, there is a growing acceptance that teaching is a core professional activity that cannot be left to chance, aptitude or inclination (Eitel et al. 2000; Purcell & Lloyd-Jones 2003). Some authors have suggested that a degree in medical education offers essential grounding in educational theory/practice and provides a foundation for educational research, scholarship and leadership (Cohen et al. 2005). Our findings support the literature that standards can help raise the status of medical educators, improve the quality of FD provision (Eitel et al. 2000; Wojtczak & Schwarz 2000) and change educators’ practice. However, there is still some way to go before we can state with confidence that changes in educators’ practice consistently impacts positively on the quality of student experience: evidence to support this must be carefully accumulated. Our elaboration of relevant CMOs will help future studies on FD impact hence our recommendations in Table 4.

강점과 한계
Strengths and limitations

본 연구는 여러 가지 강점을 가지고 있습니다.

• 첫째, 풍부하고 상세한 데이터를 제공하는 여러 데이터 소스(두 그룹의 이해관계자)를 사용했다는 점입니다. 모든 이해관계자(교육자/FDC)가 다양한 지식 기반과 서로 다르지만 상호보완적인 세계관을 바탕으로 CMO 이론에 대한 설명을 제공할 수 있었기 때문에 수집된 증거의 종류와 양이 이론화 수준에 충분했다고 판단했습니다.
• 둘째, 영국 4개 지역 모두에서 대표성 있는 데이터를 수집하고 응답자 검증을 활용하여 데이터의 타당성을 확보했습니다.
• 셋째, Realist 설계가 강력한 방법론을 제공했습니다. 인터뷰의 이론화 원칙은 데이터 수집이 성인 학습자로서 교육자에게 중요한 것이 무엇인지에 대한 신뢰를 주도록 보장했습니다.

Realist 접근법은 FD 개입의 모든 측면(맥락, 과정 및 결과)을 분석하여 더 깊은 수준의 이해를 얻음으로써 표면을 넘어섰습니다. 예를 들어 의학교육에서 일반적으로 사용되는 평가 방법, 예를 들어 Freeth 외(2002)가 수정한 Kirkpatrick의 모델(Kirkpatrick 1994)은 복잡한 개입의 특정 요소에 따라 결과가 어떻게 또는 왜 발생하는지 설명하지 못합니다(Yardley & Dornan 2012). 그러나 '실제 실천'에서는 과정뿐만 아니라 맥락도 교육 결과에 영향을 미치기 때문에 특정 요소나 상호작용에 따라 결과가 어떻게 그리고 왜 발생하는지 이해하지 못하면 효과를 극대화하기 어렵습니다. Realist 방법론을 통해 FD의 맥락, 메커니즘, 결과 사이의 연관성을 더 깊이 탐구할 수 있었습니다.
Our study has a number of strengths:

• first, was the use of multiple data sources (two groups of stakeholders) providing rich and detailed data. All stakeholders (educators/FDCs) were able to offer explanations on the CMO theories from varied knowledge bases and different but complementary world views, hence we believe the kind and amount of evidence collected was sufficient for the level of theorizing.
• Second, data validity was ensured by collecting representative data, i.e. from all four UK regions and utilizing respondent validation.
• Third, the realist design provided a strong methodology. The principle of theorizing the interview ensured data collection gave credence to what was important to educators as adult learners.

The realist approach went beyond the surface by analyzing all aspects of FD intervention (contexts, processes and outcomes) to gain a deeper level of understanding. The commonly used evaluation method in medical education, for example Kirkpatrick’s model (Kirkpatrick 1994), modified by Freeth et al. (2002), does not explain how or why outcomes are consequential to particular elements of complex interventions (Yardley & Dornan 2012). Yet, because contexts as well as processes impact on educational outcomes in “real practice”, unless we understand how and why effects are consequential to particular elements or interactions, it is difficult to maximize benefit. The realist methodology allowed deeper exploration of the links between contexts, mechanisms and outcomes in FD.

이 연구에는 한계가 있습니다. 

• 첫 번째는 다른 저자들이 보고한 것과 유사한 Realism 프레임워크에서 맥락과 메커니즘을 구분하는 문제입니다(Carter & New 2004; Schofield & Tolson 2010). 우리는 각 항목에 대해 매우 엄격한 조작적 정의를 사용하여 이 문제를 해결했습니다(표 1).
• 둘째, 복잡성의 문제와 서로 다른 원인이 동일한 효과를 낼 수 있는 가능성을 고려할 때, FD 활동 중에 두 가지 이상의 메커니즘이 함께 작동할 수 있으므로 인과관계가 잘못 귀속될 위험이 항상 존재합니다. 우리는 동일한 FD 개입이 무수히 많은 방식으로 변화를 유발할 수 있음을 인정하며, 따라서 각 단계마다 각 이론의 타당성을 재검토하는 반복적이고 역동적인 연구 설계를 사용합니다.
• 셋째, 일부에서는 연구 결과가 대부분 자가 보고에 의한 것이라고 주장합니다. 교육자들이 보고한 결과와 FDC가 보고한 결과 사이에 일치하는 부분이 있었기 때문에 이는 문제가 되지 않는다고 생각합니다. 또한 자체 보고는 학생 및 동료 피드백, 평가 문서, FDC의 직접 관찰을 통해 얻은 데이터에 근거한 것입니다.

The study has limitations.

• First is the issue of differentiating contexts and mechanisms in a realist framework, similar to that reported by other authors (Carter & New 2004; Schofield & Tolson 2010). We addressed this by using very tight operational definitions for each item (Table 1).
• Second, given the challenge of complexity and the possibility of different causes producing the same effect, there is always a risk of misattribution of causality as more than one mechanism may be operating in concert during FD activities. We acknowledge that the same FD intervention can trigger change in myriad ways hence our use of an iterative, dynamic, research design with each theory reexamined at each stage for validity.
• Third, some will suggest that the outcomes were mostly self-reported. We do not think this an issue as there was congruence between the outcomes reported by the educators and the FDCs. Furthermore the self-reporting was grounded in data from students and peers feedback, appraisal documents, and direct observations by the FDCs.

넷째, 인터뷰에 참여한 교육자들이 다양한 FD 개입에 참여했기 때문에 Realism적 평가의 결과가 대표성이 없거나 일반화하기 어렵다는 주장도 있습니다. 그러나 우리는 지속적 중요성을 갖는 것은 FD의 길이, 내용 또는 유형이 아니라 FD를 통한 학습이라는 Barlett과 Rappaport(2009)의 의견에 동의합니다. 또한, Realism 연구의 핵심은 맥락에서의 국지적 인과성입니다. 즉, 발견한 필요한 관계는 관련성이 있는 곳이면 어디든 존재할 것입니다(Maxwell 2012). 따라서 인간의 선택과 상호 작용이 개입되어 있더라도 특정 상황에서 개인은 항상 확실하지는 않지만 어떤 자원을 사용할 것인지에 대해 유사한 선택을 할 가능성이 높습니다(셰퍼드 외. 2009). 즉, 특정 맥락이 인간의 선택에 영향을 미쳐 반쯤 예측 가능한 행동 패턴이 발생한다는 것입니다(Pawson 2006). 따라서 우리가 보기에, 보고된 CMO는 교육자들이 FD를 통해 학습한 것과 관련하여 가장 중요하고 관련성이 높은 것이었습니다.
Fourth, some will argue that the findings of realist evaluation are unlikely to be representative or generalizable especially as the educators interviewed had attended a variety of FD interventions. However we agree with Barlett and Rappaport (2009) that it is the learning from FD rather than the particulars of length, content, or type that have lasting importance. Furthermore, the key point of realist research is local causality in context: necessary relations discovered will exist wherever their relata are present (Maxwell 2012). So, even though human agency and interaction is involved, in certain contexts, individuals are likely, though not always certain, to make similar choices about which resources they will use (Shepperd et al. 2009). In other words, particular contexts influence human choices such that semi-predictable patterns of behavior occur (Pawson 2006). So, in our view, it was appropriate that the CMOs reported were those relevant and uppermost in the mind of the educators in relation to their learning from FD.

교수개발: 루비에서 오크까지(Med Teach, 2020)
Faculty development: From rubies to oak
Yvonne Steinert

메디컬 티처의 생산성과 출판물에서 꾸준한 성장을 보인 분야 중 하나는 교수개발 분야입니다. 교수개발 또는 직원 개발이라고도 불리는 교수개발은 의료 전문가가 개인 및 그룹 환경에서 교사 및 교육자, 리더 및 관리자, 연구자 및 학자로서 지식, 기술 및 행동을 개선하기 위해 추구하는 모든 활동을 말합니다(Steinert 2014). 개인 및 그룹 환경에서 공식적 접근 방식과 비공식적 접근 방식을 모두 포함할 수 있는 교수개발은 조직의 변화를 촉진하는 데 유용한 도구가 될 수도 있습니다. 
One of the areas in which we have seen steady growth in productivity and publications in Medical Teacher has been in the field of faculty development. Faculty development, or staff development as it is often called, refers to all activities health professionals pursue to improve their knowledge, skills and behaviors as teachers and educators, leaders and managers, and researchers and scholars, in both individual and group settings (Steinert 2014). Faculty development, which can include both formal and informal approaches, in individual and group settings, can also serve as a useful instrument in the promotion of organizational change.

제가 아는 한, 의학 교사(Medical Teacher)에서 교수개발(FD)이라는 용어를 사용한 첫 번째 논문은 1981년에 출판되었으며(Westberg and Jason 1981), 그 이후로 이 저널에는 보건 전문직의 임상 및 기초 과학 교사 개발에 관한 145편의 논문이 게재되었습니다. 그림 1에서 볼 수 있듯이 메디컬 티처에 게재된 논문은 꾸준히, 그리고 크게 증가해 왔습니다. 이 작업에서 어떤 패턴을 발견할 수 있을까요? 콘텐츠와 프로세스의 어떤 영역이 강조되고 있을까요? 
To my knowledge, the first article using the term faculty development (FD) in Medical Teacher was published in 1981 (Westberg and Jason 1981), and since that time, 145 articles have been devoted to the development of clinical and basic science teachers in the health professions in this journal. As highlighted in Figure 1, there has been a steady – and significant – growth in publications in Medical Teacher. What patterns can we discern in this work? What areas of content and process have been highlighted?

이 백서의 목표는 지난 40년 동안 메디컬 티처의 교수자 개발의 초상을 제시하고 앞으로의 새로운 트렌드를 강조하는 것이며, 이러한 논의가 이 저널에서 이 분야의 발전과 학술의 역사를 설명하고, 미래의 방향과 가능한 성장 영역을 제시하며, 교수자 개발이 강력하고 학술적인 영역으로 유지되는 데 도움이 되기를 바라는 마음에서입니다. 
The goal of this paper is to present a portrait of faculty development in Medical Teacher over the last 40 years and to highlight emerging trends moving forward, with the hope that this discussion will help to illustrate the history of this field of development and scholarship in this journal, indicate future directions and possible areas of growth, and ensure that faculty development will remain a strong and scholarly domain.