Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

검은 백조를 찾아서: 의사국가시험 불합격 위험 학생 식별 (Acad Med, 2017)
In Search of Black Swans: Identifying Students at Risk of Failing Licensing Examinations
Cassandra Barber, MA, Robert Hammond, MD, FRCPC, Lorne Gula, MD, FRCPC, Gary Tithecott, MD, FRCPC, and Saad Chahine, PhD 

[모든 학부 의학교육 프로그램이 안고 있는 끊임없는 어려움]은 의학 공부에 잘 적응하고 역량을 발휘할 수 있도록 성숙할 학습자를 선발하는 것이다. 그러한 학습자를 식별하기 위한 많은 방법이 존재하지만, 우리의 문헌 검색은 학생들의 결과를 예측할 수 있는 것으로 인용되지 않는다는 것을 밝혔다. 이러한 [신뢰할 수 있는 예측 도구의 부족]은 의대생 선발의 과학을 이해하기 어렵게 만든다. 프로그램과 교육자가 모든 학습자를 지원하는 데 전념하고 있지만, 조기 개입을 안정적으로 허용하는 방법은 프로그램이 자원을 재집중하고 개별 학생 결과를 개선하는 데 도움이 될 수 있다. 따라서 의대생 선발에서 의사 결정을 위한 수학적 예측 모델의 통합은 입학 및 의대 중 더 계산되고 정보에 입각한 결정을 가능하게 할 수 있다. 따라서 본 논문은 캐나다 국가 면허 시험에서 학습자의 실패 위험을 예측하기 위해 다단계 모델링의 사용을 탐구한다. 즉, 캐나다 의학 위원회 자격 시험 파트 1(MCCQE1).
A constant struggle all undergraduate medical education programs grapple with is selecting learners who will adapt well to medical studies and mature to achieve competency. While many methods exist to identify such learners, our search of the literature revealed that none are cited as being able to predict student outcomes. This lack of reliable predictive tools makes the science of medical student selection elusive. While programs and educators are committed to supporting all learners, a method that would reliably allow for early intervention could help programs refocus their resources and improve individual student outcomes. Thus, the integration of mathematical models of prediction for decision making in medical student selection may allow for more calculated and informed decisions at admissions and during medical school. This paper, therefore, explores the use of multilevel modeling to predict learners’ risk of failure on the Canadian national licensing examination—the Medical Council of Canada Qualifying Examination Part 1 (MCCQE1).

배경
Background

면허시험 점수를 예측하기 위해 상당한 연구가 진행되어 왔다. 이러한 연구는 주로 의과대학입학시험(MCAT) 점수, 학부 학점평균점수(GPA) 등 예비입학변수가 향후 학업성취도에 미치는 예측 타당성에 초점을 맞추었다. 그러나 [MCAT 점수와 학부 GPA의 예측력]은 [학생들이 졸업을 향해 나아가고, 학습이 인지적 측정에서 보다 임상적 측정으로 변화함]에 따라 점차 감소한다는 것이 잘 문서화되어 있다. 결과적으로, 많은 면허시험이 졸업에 가까워질 때까지 이루어지지 않기 때문에 의대생의 미래성과를 예측하는 데 사용될 때 이러한 변수들의 신뢰성은 불분명하다.
Considerable research has been conducted to predict licensing examination scores.1–15 These studies have focused predominantly on the predictive validity that prematriculation variables, such as Medical College Admission Test (MCAT) scores and undergraduate grade point average (GPA), have on future academic performance.1–4,16 However, it has been well documented that the predictive power of both MCAT scores and undergraduate GPAs decreases as students progress toward graduation and learning shifts from cognitive to more clinical measures.5 As a result, the reliability of these variables when used to predict the future performance of medical students is unclear, as many licensing examinations do not occur until closer to graduation.5,6

예를 들어, 캐나다에서 Eva 등은 입학 변수(복수 미니 면접 점수, 자전적 논술 점수, 학부 GPA)와 국가 면허 시험 성과 사이의 연관성을 조사했다. 본 연구는 2004년과 2005년에 다른 곳에서 의대에 입학하였으나 불합격된 재학생과 의대에 입학한 재학생의 성적의 차이를 비교하였다. 그들의 분석에 따르면, 입학한 학생들은 불합격된 학생들에 비해 국가 면허 시험에서 더 높은 점수를 받았다.
In Canada, for example, Eva et al7 examined the association between admissions variables (multiple-mini interview scores, autobiographical essay scores, and undergraduate GPAs) and performance on national licensing examinations. This study compared differences between the performance of matriculated students and those that were rejected but gained entry to medical school elsewhere in 2004 and 2005. Evidence from their analysis suggests that matriculated students had higher scores on national licensing examinations compared with those who were rejected.

2013년, Woloschuk 등은 임상실습과 레지던트 첫 해 동안 관찰된 임상 성과가 4개 코호트에 걸쳐 캐나다 의학위원회 자격심사 파트 2(MCCQE2)에서 합격/불합격 성과를 예측할 수 있는지 조사했다. 그들은 임상실습 평가와 1년차 전공의 평가등급은 유의미하지만 MCCQE2의 합격/불합격 예측 변수는 좋지 않다는 것을 발견했다. 마찬가지로, 2016년에 Pugh 등은 객관적 구조화 임상 검사(OSCE)와 국가 고위험 검사 사이의 연관성을 조사했다. 이 연구는 8개 코호트의 데이터를 사용하여 내과 레지던트 OSCE 진행 테스트의 점수와 캐나다 왕립 의과대학 내과 종합 객관 검사 점수를 비교했다. 상관관계 및 로지스틱 회귀 분석의 결과는 OSCE 진행 테스트 점수와 임상 역량의 전국 고부담 검사가 연관되었음을 시사한다. 이러한 결과는 OSCE progress test가 향후 국가 고위험 시험에 실패할 위험이 있는 거주자를 식별하는 데 사용될 수 있음을 시사한다.
In 2013, Woloschuk et al8 examined whether clinical performance observed in clerkships and during the first year of residency could predict pass/fail performance on the Medical Council of Canada Qualifying Examination Part 2 (MCCQE2) across four cohorts. They found that clerkship evaluations and year 1 residency ratings were significant but poor predictors of pass/fail performance on the MCCQE2. Similarly, in 2016, Pugh et al9 examined the association between objective structured clinical examinations (OSCEs) and national high-stakes examinations. Using data from eight cohorts, this study compared scores from an internal medicine residency OSCE progress test versus scores from the Royal College of Physicians and Surgeons of Canada Comprehensive Objective Examination in Internal Medicine. Results from their correlation and logistic regression analysis suggest that OSCE progress test scores and national high-stakes examinations of clinical competency were associated. These findings suggest that OSCE progress tests could be used to identify residents at risk of failing a future national high-stakes examination.

2010년 이후, 미국에서 수행된 여러 연구는 과정과 평가 점수와 같은 [의대생 수행 변수]가 실제로 [입학 전 데이터]보다 면허 시험 수행의 더 강력한 예측 변수라고 제안했다. 이러한 연구는 2학년 학생 수행 결과 변수가 초기 면허시험에서 미래의 학업 위험도를 예측하는 가장 좋은 예측 변수임을 시사한다.
Since 2010, several studies conducted in the United States have suggested that medical student performance variables, such as course and assessment scores, are actually stronger predictors of licensing examination performance than prematriculation data.10–12 These studies suggest that year 2 student performance outcome variables are the best predictors of future academic risk on initial licensing examinations.

2015년, Gullo 등은 [사전 입학 수학 및 과학 GPA]와 [MCAT 점수]가 결합되었을 때, 미국 의학 면허 시험(USMLE) 1단계 성과에 대한 강력한 예측 변수라는 것을 발견했다. 그러나 추가적으로 [의대 내 과정 관련 평가 결과]가 추가되었을 때, 모델의 전반적인 예측 능력은 크게 향상되었다. 마찬가지로 Glaros 등은 의과대학 1학년부터 얻은 성과 데이터를 이용하여 3개 코호트에 걸쳐 종합골격의학면허시험 레벨 1에서 초기면허시험 성과를 성공적으로 예측할 수 있었다. 또한, Coumarbatch 등은 USMLE 1단계 실패 위험에 있는 학생을 식별하기 위해 이항 로지스틱 회귀 모델과 수신기 작동 특성(ROC) 곡선을 사용했다. 그들의 결과는 커리큘럼 2학년 누적 평균과 MCAT 생물과학 점수가 모두 초기 면허 시험에 실패할 위험이 있는 학생들을 식별하는 데 중요한 예측 변수라는 것을 보여주었다.

In 2015, Gullo et al10 found that MCAT scores combined with prematriculation math and science GPAs were strong predictors of United States Medical Licensing Examination (USMLE) Step 1 performance. However, when additional internal course-related assessment outcomes were added, the overall predictive ability of their model improved significantly. Similarly, Glaros et al11 were able to successfully predict initial licensing examination performance on the Comprehensive Osteopathic Medical Licensing Examination Level 1 using performance data obtained from the first year of medical school over three cohorts. Additionally, Coumarbatch et al12 used binary logistic regression models and receiver operating characteristic (ROC) curves to identify students at risk of failing the USMLE Step 1; their results showed that curricular year 2 cumulative averages and the MCAT biological sciences score were both significant predictors in identifying students at risk of failing initial licensing examinations.

위에서 설명한 연구는 위험에 처한 학생들을 식별하기 위해 동일한 중요한 목적을 해결하기 위해 유사한 방법론을 사용한다. 이 논문은 초기 면허 시험에 앞서 학생 위험을 식별하기 위해 5개의 코호트 및 예측 모델의 데이터를 사용하여 이 강력한 작업을 기반으로 한다. 또한 USMLE와 MCCQE 사이에는 기초 과학과 의료 전문가 콘텐츠 측면에서 (두 가지 모두 향후 실무에서 제공되는 의료 품질을 예측한 것으로 나타났다) 유사점이 있지만, 이 두 시험은 대체로 국가-특이적이다. 이로 인해 [미국 내에서 수행된 연구 결과]는 [캐나다 국가 면허 시험]에서 미래의 학생 저성적을 예측하는 데 덜 적용 가능하다.
The studies outlined above10–12 use similar methodologies to address the same important purpose—to identify students at risk. This paper builds on this robust work through the use of data from five cohorts and predictive models to identify student risk in advance of an initial licensing examination. Additionally, although there are parallels between the USMLEs and MCCQEs (both of which have been shown to be predictive of the quality of care provided in future practice17,18) in terms of basic science and medical expert content, these examinations are largely country specific. This makes results from studies conducted within the United States less applicable in predicting future student underperformance on Canadian national licensing examinations.

본 연구의 목적은 분석적 접근법을 사용하여 다음과 같은 연구 질문을 해결하는 것이었다. MCCQE1에 불합격할 위험을 예측하는 입학 변수와 커리큘럼 결과는 무엇입니까? 학생들의 실패 위험을 얼마나 빨리 예측할 수 있는가? 그리고 미래의 학생 위험 추정에 있어 예측 모델링이 어느 정도까지 가능하고 정확한가?
The purpose of our study was to address the following research questions using an analytic approach: Which admissions variables and curricular outcomes are predictive of being at risk of failing the MCCQE1? How quickly can student risk of failure be predicted? And to what extent is predictive modeling possible and accurate in estimating future student risk?

방법
Method

스터디 설정
Study setting

캐나다에서는 모든 의대생들이 졸업후 수련를 위한 교육 자격증을 취득하기 위해 MCCQE1을 응시한다. 이 검사는 일반적으로 MD 프로그램을 성공적으로 완료한 직후인 봄에 이뤄집니다. 캐나다 전역의 학부 의료 교육 커리큘럼 목표는 비슷하지만, 각 학교는 의대생 선발, 교육학적 접근, 평가 전략에서 자율적이다. 그러나 모든 캐나다 의과대학은 캐나다 의학부 협회가 정한 엄격한 인증 기준을 준수하며, 공식적인 인증 과정은 모든 의료 프로그램의 교육 요건이 품질, 내용 및 레지던트 및 전문 실습에 대한 준비 면에서 유사하다는 것을 보장한다. 
In Canada, all medical students take the MCCQE1 to receive an educational license for postgraduate training. This examination is typically written during the spring immediately following the successful completion of an MD program. While the undergraduate medical education curriculum objectives across Canada are similar, each school is autonomous in its selection of medical students, pedagogical approach, and assessment strategies. However, all Canadian medical schools adhere to rigorous accreditation standards set forth by the Association of Faculties of Medicine of Canada, and the formal accreditation process ensures that the educational requirements of all medical programs are comparable in quality, content, and preparing students for residency and professional practice.19

이 연구는 매년 약 171명의 신입생을 입학시키는 캐나다의 중간 규모의 의과대학인 웨스턴 대학의 슐리치 의과대학에 위치해 있었다. 각 학생 코호트는 메인 캠퍼스(런던, 온타리오)와 분산 캠퍼스(윈저, 온타리오)로 나뉜다. 비록 지리적으로 떨어져 있지만, 이 캠퍼스들은 비슷한 교육 프로그램, 동등한 평가, 그리고 동일한 커리큘럼을 가지고 있다.
This study was situated at the Schulich School of Medicine & Dentistry, Western University, a midsized medical school in Canada that matriculates about 171 new students each year. Each student cohort is divided between two campuses: the main campus (London, Ontario) and the distributed campus (Windsor, Ontario). Although geographically separated, these campuses have comparable education offerings, equivalent assessments, and an identical curriculum.

슐리히 의과대학원 학부 교육과정은 4년제 환자 중심의 통합형 교육과정으로 대규모 강의, 소그룹, 실험실, 지도임상 경험으로 구성된다. 이 교육학적 접근 방식은 개인, 문제 기반 소그룹, 능동적 및 직접 강의실 학습을 취학 전 연도(1학년과 2학년)에 결합한다. 3학년은 1년 동안의 통합 사무직 경험으로 구성된 단일 과정으로 구성되며, 프로그램의 마지막 해(4학년)에는 학생들이 임상 경험을 쌓고 레지던시를 준비할 수 있는 캡스톤 전환 과정과 임상 선택 학습에 모두 참여합니다.
The undergraduate curriculum at Schulich School of Medicine & Dentistry is a four-year, patient-centered, integrated curriculum composed of large-lecture, small-group, laboratory, and supervised clinical experiences. This pedagogical approach combines individual, problem-based small-group, active, and direct classroom learning in the preclerkship years (years 1 and 2). Year 3 consists of a single course—a yearlong integrated clerkship experience—while in the final year of the program (year 4), students participate in both clinical elective learning and a capstone transition course, which serves to enable students to build on their clinical experiences and prepare for residency.

데이터 및 분석
Data and analysis

우리는 졸업생의 5개 코호트(2011~2015년)에서 20년간의 중복 데이터를 소급하여 수집했으며, 각 코호트는 4년의 데이터를 나타낸다. 계층적 선형 모델링(HLM)과 민감도 및 특수성 분석을 사용하여 입학 변수와 커리큘럼 결과 데이터를 분석하였다. 예측 모델을 개발하기 위해 HLM7(Scientific Software International, Inc., Skokie, Illinois)과 IBM SPSS 소프트웨어 버전 23(IBM Corporation, Armonk, New York)을 사용하여 모델의 정확도를 평가하고 수집한 데이터를 사용하여 미래의 고장 위험을 예측하는 데 사용할 수 있는지 여부를 결정했습니다.m 2016년 졸업생 코호트는 예측 모델의 정확성을 테스트하기 위한 유일한 목적으로 수집되었다.
We retroactively collected 20 years of overlapping data from five cohorts of graduating students (2011–2015), with each cohort representing four years of data. We analyzed admissions variables and curricular outcomes data using hierarchical linear modeling (HLM) and sensitivity and specificity analysis. We used HLM7 (Scientific Software International, Inc., Skokie, Illinois) to develop our predictive models and IBM SPSS software, version 23 (IBM Corp., Armonk, New York) to produce the area under the ROC curve (AUC) to evaluate the models’ accuracy and determine whether they could be used to predict future risk of failure, using data collected from the 2016 graduating student cohort, which was collected for the sole purpose of testing the accuracy of our predictive models.

계층적 선형 모델링
Hierarchical linear modeling

데이터의 본질적인 계층적 특성(즉, 학생이 코호트 내에 내포됨)을 설명하기 위해, 우리는 2단계 HLM을 사용하여 MCCQE1의 성능 결과를 분석하였다. HLM은 경제학에서 사회학, 발달 심리학에 이르기까지 다양한 분야에 걸쳐 사용되는 다변량 통계 기법이다.
To account for the intrinsic hierarchal nature of the data (i.e., students were nested within cohorts), we used a two-level HLM to analyze performance outcomes on the MCCQE1. HLM is a multivariate statistical technique developed in the early 1980s20–22 that has been used across multiple fields from economics to sociology and developmental psychology.

계층적 일반화 선형 모델(HGLM)은 HLM의 확장으로 데이터가 비정규 분포를 따르거나 결과가 이진일 때 적용된다. 이 연구는 학생이 MCCQE1에 실패할 위험이 있는지 없는지의 위험 확률을 조사하기 때문에 예측 모델을 생성하기 위해 HGLM을 사용했다.
Hierarchical generalized linear models (HGLMs) are extensions of HLM and applied when data are non-normally distributed or outcomes are binary. Because this study examines the probability of risk of whether a student is or is not at risk of failing the MCCQE1, we used HGLMs to produce our predictive models.

민감도 및 특이성 분석
Sensitivity and specificity analysis

HGLM 분석에서 생성된 예측 모델을 적용할 때 각 학생에 대해 [개별 확률]이 생성된다. 그런 다음 이러한 개별 확률을 민감도 및 특이성 분석을 사용하여 실제 이진 결과와 비교할 수 있습니다.

• 민감도는 실제 양성 비율이다. 즉, 위험하지 않은 것으로 확인된 모든 학생의 비율이 위험하지 않은 것으로 정확하게 식별되었다.
• 특이성은 실제 음성 비율이다. 즉, 위험으로 식별된 모든 학생의 비율이 위험으로 정확하게 식별되었습니다.

In applying the predictive models produced from the HGLM analysis, individual probabilities are produced for each student. These individual probabilities can then be compared with true binary outcomes using sensitivity and specificity analysis.23,24 

• Sensitivity is the true positive rate—that is, the proportion of all students identified as not at risk who were correctly identified as not at risk.
• Specificity is the true negative rate—that is, the proportion of all students identified as at risk who were correctly identified as at risk.

ROC 곡선은 로지스틱 회귀 분석 또는 방법을 통해 결정된 이항 분류의 정확도를 평가하기 위해 여러 분야에서 사용된다. 25,26 ROC 곡선은 수직축의 민감도를 수평축의 1-특이성으로 표시한다. 즉, 그들은 참 긍정과 거짓 긍정의 관계를 조사합니다. 이것의 일부로, AUC 값이 계산됩니다.27 AUC 값이 0.5이면 무작위 정확도를 나타내고, 값이 1이면 실제 결과에 대한 예측 결과의 완벽한 정확도를 나타냅니다. 즉, AUC가 1에 가까울수록 예측은 더 정확합니다.
ROC curves are used in multiple fields to evaluate the accuracy of a binary classification determined through logistic regression or methods.25,26 ROC curves plot the sensitivity on the vertical axis by 1 − specificity on the horizontal axis. In other words, they examine the relationship between true positives and false positives. As part of this, the AUC is calculated.27 An AUC value of 0.5 represents random accuracy, while a value of 1 represents perfect accuracy in predicted outcomes to true outcomes; that is, the closer the AUC is to 1, the more accurate the prediction.

변수 및 분석
Variables and analysis

예측 변수.
Predictive variables.

예측 변수로는 성별, 고등학교 교육 위치(농촌 대 도시), 학부 GPA, MCAT 점수(언어추론, 물리·생물과학), 입학 면접 점수, 캠퍼스 위치(런던 대 윈저), 그리고 커리큘럼 성과 결과(1차 및 2차 과정은 성적, 1차 및 2차 연도 누적 평균, 4차 연도 합계 OSCE 점수)를 의미한다. 과정 평균 성적은 각 과정 내 학생들의 전반적인 성과에 기초한다.
Predictive variables included the following measures: gender, location of high school education (rural vs. urban), undergraduate GPA, MCAT scores (verbal reasoning, and physical and biological sciences), admissions interview scores, campus location (London vs. Windsor), and curricular performance outcomes (years 1 and 2 course mean grades, years 1 and 2 cumulative averages, and year 4 summative OSCE score). Course mean grades are based on students’ overall performance within each course.

코호트 전체에서 관찰된 입학 연령의 변동이 최소였기 때문에 입학 연령은 분석에서 잠재적 예측 변수로 포함되지 않았다. 들어오는 코호트의 평균 연령은 23세였고, 입학 연령과 종속 변수 사이에는 아무런 상관관계가 없었습니다. 그러나 별도의 분석은 학생의 입학 연령, 졸업 시 연령 및 프로그램 기간(년)을 포함하도록 실행되었다. 이러한 분석은 MCCQE1의 학생 failure 위험에 대한 차이를 보여주지 않았으며, 따라서 이러한 변수는 계수 추정치(아래 참조)에 영향을 미치지 않았으며, MCCQE1의 불합격 위험에 대한 중요한 예측 변수가 아니었다.
Age at matriculation was not included as a potential predictor within our analysis because there was minimal variation in age at matriculation observed across the cohorts. The average age of our incoming cohorts was 23, and there was no correlation between age at matriculation and our dependent variable. However, separate analyses were run to be inclusive of student’s age at matriculation, age at graduation, and program duration (in years); these analyses showed no difference on student risk of failure on the MCCQE1, and therefore, these variables did not impact our coefficient estimates (see below) and were not significant predictors of being at risk of failing the MCCQE1.

총 21개의 프리클릭십 과정 중, 각각 특정 신체 시스템을 강조하는 과정 중에서, 우리는 분석에 1, 2학년 과정 3개를 포함시켰다. 이 과정들은 학부 교육과정 학장과의 자문을 바탕으로 2011~2016학년도 졸업식 코호트에 비해 내용이 비교적 안정적이고 난이도가 높은 것으로 파악됐다.
Of a total of 21 preclerkship courses,28 each emphasizing a specific physical system, we included three courses from years 1 and 2 in our analysis. These courses were identified on the basis of consultation with the undergraduate dean of curriculum as being relatively stable in content and difficulty over the 2011–2016 graduating cohorts.

종속 변수입니다.
Dependent variable.

종속 변수는 450의 컷오프 점수를 사용하여 MCCQE1에서 학생들의 실패 위험을 측정하는 이분법화된 변수이다. 전체적으로 MCCQE1의 전국 평균 점수는 500점, 표준 편차는 100점, 합격 점수는 427점이다. 확률 추정에서 주의를 기울이지 않기 위해 표준 편차의 절반 이상이 평균 아래로 떨어진 학생들을 포착하기 위해 450의 보수적인 컷오프 점수를 할당했다.
The dependent variable is a dichotomized variable measuring student risk of failure on the MCCQE1, using a cutoff score of 450. Overall, the MCCQE1 has a national mean score of 500, standard deviation of 100, and pass score of 427. To err on the side of caution in our probability estimates, we assigned a conservative cutoff score of 450 to capture students that fell more than half of a standard deviation below the mean.

MCCQE1은 두 파트로 구성되며, 필기시험에 기초한 척도 점수를 사용한다. 2015년 이전에는 1차 부분은 연도별로 동등화되었으며 2차 부분은 매년 재평가되었다. 2015년부터, 전체 시험은 매년 동등하다. 또한 시험에 합격하기 위해 필요한 최소 점수가 이전 50-950 등급의 컷오프 점수 390점에서 2015년에는 427점(이전 등급의 경우 440점)으로 변경되었다.
The MCCQE1 uses a scaled score based on a two-part written examination. Prior to 2015, the first part was equated from year to year and the second part was reestimated every year. Since 2015, the full examination is equated from year to year. There was also a change in the minimum score needed to pass the examination, from a previous cutoff score of 390 on the old 50–950 scale to 427 (which would have been 440 on the old scale), in 2015.

자격 시험으로 사용하는 것 외에도, MCCQE1은 캐나다의 학부 의료 프로그램에 대한 국가 표준 역할을 하며, 여러 기관에 걸쳐 학생들의 성과를 비교할 수 있다. 따라서 이 검사는 의료 지식과 임상 의사 결정을 모두 측정하는 높은 위험도의 종합 컴퓨터 기반 평가입니다. 
Aside from its use as a qualifying examination, the MCCQE1 also serves as a national standard for undergraduate medical programs in Canada and allows student performance to be compared across institutions.29 This examination is, therefore, a high-stakes, summative computer-based assessment, measuring both medical knowledge and clinical decision making.29

모델 빌딩
Model building

우리는 반복적인 단계적 과정을 통해 예측 모델을 개발했다. 첫째, 성별, 고등학교 교육의 위치(농촌 대 도시), 캠퍼스 위치(런던 대 윈저) 등 학생 특성 변수를 살펴보았다. 예측특성변수가 결정된 후 학부 내신, 면접점수, MCAT점수 등 입시변수를 추가하였다. 마지막으로, 우리는 1학년과 2학년 평균 성적과 누적 평균, 4학년 종합 OSCE 점수와 같은 커리큘럼 결과를 한 번에 1년씩 추가했다. 우리의 예측 변수는 표준화된 변수와 표준화되지 않은 변수를 모두 포함했기 때문에, 우리는 각 변수에 대한 코호트 간의 그룹 평균 차이를 비교할 수 있도록 그룹 기반 센터링을 선택했다. 우리는 분석 단계에서 목록별 삭제를 사용하여 누락된 데이터가 있는 관측치를 제거했다. 본 연구에서 사용된 일반적인 HGLM 모델의 예는 부록 1에 제시되어 있다.
We developed predictive models through an iterative, stepwise process.30 First, we examined student characteristic variables such as gender, location of their high school education (rural vs. urban), and campus location (London vs. Windsor). After the predictive characteristic variables were determined, we added admissions variables, such as undergraduate GPA, interview scores, and MCAT scores. Lastly, we added curricular outcomes, such as years 1 and 2 course mean grades and cumulative averages and year 4 summative OSCE score, one year at a time. Because our predictive variables were inclusive of both standardized and unstandardized variables, we selected group-based centering to allow us to compare group mean differences across cohorts for each variable. We removed observations with missing data using listwise deletion at the analysis stage. An example of a general HGLM model used in this study is provided in Appendix 1.

다음으로, 각 변수 집합에 대한 계수를 추정하고 입학 1, 2학년 및 MCCQE1 이전(또는 MCCQE1 이전 5개월)에서 학생들의 실패 위험을 평가하기 위해 모델 내에서 식별된 변수를 사용하여 개별 예측 모델을 만들었다. 마지막으로, 이러한 모델은 MCCQE1 실패 위험에서 학생을 예측하는 정확성을 평가하기 위하여 AUC를 사용하여 각 코호트(2011-2015)에 개별적으로 적용되었다. 이러한 모델은 향후 위험을 예측하는 데 사용될 수 있는지 여부를 결정하기 위해 2016년 코호트에도 적용되었다.
Next, individual predictive models were created using variables identified within our model to estimate the coefficients for each set of variables and assess student risk of failure at admissions, year 1, year 2, and pre-MCCQE1 (or five months prior to the MCCQE1). Lastly, these models were applied separately to each cohort (2011–2015) using AUCs to evaluate their accuracy in predicting students at or not at risk of failing the MCCQE1. These models were also applied to the 2016 cohort to determine whether they could be used to predict future risk.

이 연구는 웨스턴대학교 보건과학연구윤리위원회의 검토를 거쳐 면제 판정을 받았다.
This study was reviewed by the Health Science Research Ethics Board at Western University and was determined to be exempt.

결과.
Results

2011년부터 2015년까지 총 5개 졸업생의 코호트(각 코호트별 데이터 4년)에 걸쳐 20년간의 중복 데이터가 수집되었으며, 총 788명의 학생으로 구성되어 있다. 각 코호트의 학생 수는 147명에서 168명 사이였으며, 코호트당 평균 157명의 학생이 있었다. 표 1은 HGLM 분석 개발에 사용된 예측 변수에 대한 평균, 표준 편차 및 가능한 점수 범위를 제공한다.
In total, 20 years of overlapping data were gathered across five cohorts of graduating students (4 years of data from each cohort) from 2011 to 2015, comprising 788 students. The number of students in each cohort ranged from 147 to 168, with an average number of 157 students per cohort. Table 1 provides the mean, standard deviation, and range of possible scores for the predictive variables used in the development of the HGLM analysis.

표 1에 나타난 바와 같이 변수별 학생 수는 변수별 가능한 점수 및 평균의 범위와 같이 다양하다. 그러나 각 변수 그룹 내의 표준 편차는 매우 유사합니다. 또한 전체 학생의 389명(49.4%)이 남학생이었고 348명(44.2%)이 여학생이었다.
As shown in Table 1, the number of students per variable varies, as do the ranges of possible scores and means for each variable. However, the standard deviations within each group of variables are very similar. Additionally, 389 (49.4%) of all students were male and 348 (44.2%) were female.

HGLM 분석의 결과를 기반으로, 우리는 다음 5가지 변수를 고장 위험에 대한 중요한 예측 변수로 식별할 수 있었다. 
성별, MCAT 언어 추론 점수, 2개의 프리클래스 과정 평균 성적(1학년 과정 C와 2학년 과정 A), 4학년 합계 OSCE 점수(표 2).
On the basis of results from our HGLM analyses, we were able to identify the following five variables as significant predictors of being at risk of failure:

• gender,
• MCAT verbal reasoning score,
• two preclerkship course mean grades (year 1 course C and year 2 course A), and
• the year 4 summative OSCE score (Table 2).

이러한 결과는 평균적으로 다른 모든 변수를 제어할 때 여성이 남성보다 MCCQE1에서 450점(즉, 실패 위험이 없는 경우)을 획득할 확률이 더 높다는 것을 보여주었다. 이 발견은 고부담 의학 시험에서의 성별 성과 격차가 줄어들고 있음을 시사할 수 있다. 그러나 이러한 성별 관련 성과격차를 더 살펴보기 위해서는 향후 연구가 필요하다. 또한 MCAT 언어 추론 점수(코호트의 평균에 비해)가 더 높은 학생, 1학년 과정 C와 2학년 과정 A의 평균 성적, 4학년 종합 OSCE 점수가 실패의 위험에 처하지 않을 확률이 더 높다.
These results showed that, on average, females have higher odds of scoring ≥ 450 on the MCCQE1 (i.e., of not being at risk of failure) than males, when controlling for all other variables. This finding may suggest that the gender performance gap on high-stakes medical examinations is narrowing. However, future research is needed to examine this gender-related performance gap further. Additionally, students with higher (relative to their cohort’s average) MCAT verbal reasoning scores, year 1 course C and year 2 course A mean grades, and year 4 summative OSCE scores have higher odds of not being at risk of failure.

예측 모델(입학 1, 2학년 및 pre-MCCQE1 )을 개발한 후, 각 코호트의 데이터를 별도로 입력하여 학생들의 실패 위험을 얼마나 정확하게 예측했는지 조사했다. 그런 다음 2016년 코호트 데이터를 사용하여 미래 위험을 예측하는 모델의 정확도를 조사했다. 표 3은 AUC에서 계산된 모델 정확도 결과를 제공합니다.
After developing the predictive models (at admissions, year 1, year 2, and pre-MCCQE1), we examined how accurate we were in predicting student risk of failure by inputting data from each cohort separately. We then examined the accuracy of the models in predicting future risk using the 2016 cohort data. Table 3 provides the model accuracy results calculated from the AUC.

모델의 예측 정확도(AUC)는 다양하다. 전반적으로, pre-MCCQE1 model 은 학생의 실패 위험 예측에 가장 정확하며(AUC 0.66–0.93) 입학 모델은 MCCQE1 실패 위험의 정확한 예측 변수는 아니다(AUC 0.25–0.47). 1, 2, MCCQE1 이전 모델의 정확도는 2013년, 2014년 및 2015년 코호트에 대해 높은 수준의 정확도로 매년 다릅니다. 예를 들어, 2014년 코호트의 경우, 2년차 모델에서 AUC가 0.90(95% 신뢰 구간 0.84, 0.97)이었고, 이는 위험에 처한 학생들을 예측하는 강력한 능력을 보여주었다. 전반적으로, 2016년 코호트로 미래 성과를 예측하는 데 있어 모델은 덜 예측되었으며, 우리는 MCCQE1 이전 모델을 통해서만 유의미한 AUC를 달성할 수 있었다. 이는 모델이 위험에 처한 학생들을 정확하게 예측하는지 확인하기 위해 모델을 평가하고 수시로 업데이트할 필요가 있음을 시사한다.
The predictive accuracy (AUC) of the models varies. Overall, the pre-MCCQE1 model is the most accurate at predicting a student’s risk of failing (AUC 0.66–0.93), while the admissions model is not an accurate predictor of being at risk of failing the MCCQE1 (AUC 0.25–0.47). The accuracy of the year 1, year 2, and pre-MCCQE1 models varies from year to year, with high levels of accuracy for the 2013, 2014, and 2015 cohorts. With the 2014 cohort, for example, we had an AUC of 0.90 (95% confidence interval 0.84, 0.97) in our year 2 model, demonstrating a strong ability to predict students being at risk. Overall, the models were less predictive when it came to predicting future performance with the 2016 cohort, for which we were only able to achieve a significant AUC with the pre-MCCQE1 model. This suggests that the models need to be evaluated and updated from time to time to ensure that they are accurately predicting students at risk.

논의
Discussion

이 논문은 학부 의학 교육에서 예측 모델링의 가능성과 정확성에 대한 접근법과 증거를 모두 제공한다. 5개 코호트의 20년 데이터(각 코호트의 4년 데이터)를 사용하여 4개의 예측 모델을 개발하고 입학 1, 2학년 및 MCCQE1 이전에서 국가 면허 시험에 실패할 수 있는 학생 위험을 식별하는 데 있어 정확도를 측정했다. HGLM 분석의 결과는 국가 면허 시험인 MCCQE1에서 낙제할 위험이 있는 학생들을 예측하는 5가지 주요 입학 변수와 커리큘럼 결과를 확인했다. 이전 연구 결과와 유사하게, 우리 모델의 증거는 [입학 과정 동안 학생 위험을 식별하는 것은 불가능]하지만, [1학년 말]까지는 실패 위험이 있는 학생을 식별하고 모니터링하기 시작할 수 있음을 시사한다. 그러나 이러한 예측은 2년차 및 MCCQE1 이전에도 추가로 검증되어야 한다.
This paper offers both an approach and evidence of the possibility and accuracy of predictive modeling in undergraduate medical education. Using 20 years of data across five cohorts (4 years of data from each cohort), we developed four predictive models and measured their accuracy in identifying student risk of failing a national licensing examination at admissions, year 1, year 2, and pre-MCCQE1. Outcomes from our HGLM analysis identified five key admissions variables and curricular outcomes that are predictive of students at risk of failing the MCCQE1, a national licensing examination. Similar to findings from previous studies, evidence from our models suggests that, while it is not possible to identify student risk during the admissions process, we can begin to identify and monitor students at risk of failure by the end of year 1 studies.10–12 However, these predictions must be further validated in year 2 and again pre-MCCQE1.

우리의 AUC 분석 결과들은 이러한 모델의 예측 정확도가 코호트마다 달랐음을 시사한다. 그러나 모델에 더 많은 변수가 추가됨에 따라 정확도가 높아지면서 학생들의 실패 위험을 더 잘 예측할 수 있었다. 2013년, 2014년 및 2015년 코호트의 경우 높은 수준의 정확도로 학생들의 실패 위험을 예측할 수 있었습니다. 2016년 미래 학생 위험을 추정할 때 모델이 덜 예측된 것으로 밝혀졌지만, 여전히 MCCQE1 이전 모델을 사용하여 학생의 실패 위험을 어느 정도 정확하게 예측할 수 있어 학생의 역량 수준에 따라 개입이 가능하다. 코호트 간의 변동은 이러한 모델을 매년 평가하여 학생 모집단 내의 커리큘럼 변경이나 차이를 통제해야 할 수 있음을 시사한다.
Findings from our AUC analyses suggest that the predictive accuracy of these models varied among the cohorts. However, as more variables were added to our model, we were able to better predict student risk of failure with increasing levels of accuracy. For the 2013, 2014, and 2015 cohorts, we were able to predict student risk of failure with high levels of accuracy. While the models were found to be less predictive in 2016, when estimating future student risk, we were still able to predict student risk of failure with some accuracy using our pre-MCCQE1 model, allowing for intervention depending on the student’s level of competency. The variation among cohorts suggests that these models may need to be evaluated from year to year to control for any curricular changes or differences within student populations.

AUC에서 산출된 추정치는 내부적으로 학생들을 위험 범주(낮음, 중간 또는 높음)로 분류하기 위해 컷오프 점수를 생성하는 데 사용될 것이다. 그런 다음 1, 2학년 및 MCCQE1 이전 모델을 사용하여 여러 단계에서 학생 위험을 평가합니다. 어느 단계에서든 중간에서 고위험으로 확인된 학생은 사례별로 검토한다(학생 성과에 관한 다른 지원 문서도 고려된다). 그런 다음 학생의 필요에 따라 지원과 개입이 우선됩니다.
Estimates produced from our AUCs will be used internally to create cutoff scores to classify students into risk categories (low, medium, or high). Student risk will then be assessed at multiple stages using our year 1, year 2, and pre-MCCQE1 models. Students identified as medium to high risk at any stage will be reviewed on a case-by-case basis (with other supporting documentation regarding student performance taken into consideration). Support and intervention will then be prioritized on the basis of student need.

프로그램적 관점에서, 이러한 결과는 교육자와 리더가 국가 면허 시험에 앞서, 효과적인 개입과 함께 조기 발견을 통해 학습자를 더 잘 지원하고, 미래의 학업 실패 위험을 최소화할 수 있는 잠재력을 가지고 있다. 프로그램은 학업 실패의 위험에 처한 학습자를 정확하게 식별하고 지원할 수 있는 신뢰할 수 있는 방법을 갈망한다. 이 연구는 예측 모델링이 어떻게 저성능을 식별하기 위해 사용될 수 있는지를 보여주는 사례이다. 데이터 중심 의사 결정과 투명성 및 책임성 증대에 대한 요구의 시대에 캐나다 의과대학은 학생 교육을 위한 정부 기금을 제공할 사회적 책임이 있으며, 입학 전에 학습자의 상대적 동질성을 고려할 때 리더는 효과적인 형성적 의사 결정을 지원하기 위한 도구를 중요시한다.
From a programmatic standpoint, these results have the potential to allow educators and leaders to better support learners and minimize risk of future academic failure through early detection, coupled with effective intervention, in advance of national licensing examinations. Programs thirst for a reliable way to accurately identify and support learners at risk of academic failure; this study serves as an example of how predictive modeling can be used to identify underperformance. In an era of data-driven decision making and demand for greater transparency and accountability, Canadian medical schools are socially accountable to deliver on government funding for student education, and, given the relative homogeneity of learners before matriculation, leaders value tools to support effective formative decision making.

5개 코호트에서 20년 이상의 데이터를 사용하여 다른 국가 간 연구와 일치하는 많은 발견을 확인할 수 있었다. 본 논문은 의과대학 1학년 내 잠재적 학업위험 학생을 능동적으로 식별하고 정량적으로 모니터링하기 위한 새로운 접근방식을 프로그램과 교육자에게 제공한다. 비록 우리의 연구 결과가 초기 면허 시험에 앞서 (AUC를 통해) 학생 실패에 대한 위험 점수를 정확하게 추정할 수 있었다는 것을 보여주지만, 우리가 다루고 싶은 몇 가지 제한이 있다.
Using over 20 years of data across five cohorts, we were able to confirm many findings consistent with other cross-national studies.10–12,16 This paper offers programs and educators with a new approach to proactively identify and monitor students at potential academic risk quantitatively within the first years of medical school. Even though our findings indicate that we were able to accurately estimate a risk score for student failure (via AUCs) in advance of an initial licensing examination, there are a few limitations we would like to address.

첫째, 우리 모델은 시간에 따른 변동성에 매우 민감하다. 이것은 매년 교육학적 변화와 학생 인구 차이를 모두 반영할 수 있지만, 추정을 더 어렵게 만든다. 그러나, 우리는 여전히 안정적인 학생 추정치가 우리의 예측에서 다소 정확하다는 것을 발견했다. 그럼에도 불구하고, 우리의 데이터는 이 접근법을 채택하는 학교가 커리큘럼 변화나 학생 인구 차이를 고려하여 이러한 모델을 주기적으로 업데이트할 필요가 있음을 경고할 필요가 있음을 시사한다. 또한, 우리의 결과는 분석을 통한 예측을 학습자를 식별하고 지원하기 위한 개입을 제공하기 위한 강력한 커리큘럼 거버넌스 도구로 인정하지만, 이러한 가능성에서 생성된 추정치는 코스 의장과 교직원의 다른 지원 문서와 함께 지침으로 사용되어야 한다. 마지막으로, 본 연구는 기관별 변수에 크게 의존한 것으로 보이지만(이러한 연구결과의 일반화 가능성을 제한할 수 있음), 모든 의과대학이 접근할 수 있고 예측을 위해 분석할 수 있는 변수를 포함하도록 예측 모델을 구성했다. 따라서 본 연구에서 제시한 방법론과 모델링이 다른 대학에서도 효과적으로 재현될 수 있을 것으로 판단된다.
First, our models are highly sensitive to variability over time. While this may be reflective of both pedagogical changes and student population differences from year to year, it makes estimation more challenging. However, we still found stable student estimates to be modestly accurate in our predictions. Nevertheless, our data suggest that schools adopting this approach need to be cautioned of a need for these models to be updated periodically to account for any curricular changes or student population differences. Additionally, while our results acknowledge prediction through analytics as a powerful curricular governance tool to identify and offer intervention to support learners, the estimates produced from these probabilities should be used as a guide, alongside other supporting documentation from course chairs and faculty as well as program governance indicators. Finally, although this study appears to have relied heavily on institution-specific variables (which could limit the generalizability of these findings), we constructed our predictive models to be inclusive of variables that all medical schools have access to and can analyze for prediction. As a result, we believe the methodology and modeling presented within this study could be effectively replicated at other universities.

결론들
Conclusions

학생 데이터에 대한 분석적 접근 방식을 사용하여, 실패 위험이 있는 학생을 조기에 식별하기 위한 노력으로, 우리는 주요 예측 변수를 체계적으로 식별하고 국가 면허 시험에서 향후 학생 성과를 예측하는 데 사용할 수 있는 방법론을 제공할 수 있었다고 믿는다. HGLM과 AUC 분석을 사용하여 프로그램 연구 초기에 MCCQE1에서 학생들의 학업 실패 위험을 정량화할 수 있었다. 이러한 유형의 모델에서 발견한 결과는 프로그램이 잠재적인 학업 위험에 있는 학생을 정량적으로 더 잘 식별하고 모니터링하며 맞춤형 조기(잠재적으로 이 핵심 경력 평가 전에 최대 3년) 개입 전략을 개발할 수 있도록 할 수 있다.
Using an analytic approach to student data, in an effort to identify students at risk of failure early on, we believe we were able to systematically identify key predictive variables and offer a methodology that could be used to predict future student performance on national licensing examinations. Through the use of HGLM and AUC analyses, we were able to quantify student risk of academic failure on the MCCQE1 early on within program studies. Findings from these types of models could enable programs to better identify and monitor students at potential academic risk quantitatively and develop tailored early (potentially up to three years prior to this key career assessment) intervention strategies.

새로운 MCCQE1의 향후 변경사항이 학생들의 성적과 시험에 들어가는 학생 위험을 예측하는 우리의 능력에 어떤 영향을 미칠 수 있는지 검토하기 위한 향후 연구가 필요하다. 우리는 또한 MCCQE1의 성별 성과 차이를 추가로 조사해야 한다고 제안한다. 마지막으로, 본 연구는 졸업 후 2년 후에 제공되는 MCCQE2에서 학생들의 실패 위험을 조사하기 위해 확장되어야 한다.

Future research is required to examine how forthcoming changes made to the new MCCQE131 may affect student performance as well as our ability to predict student risk going into the examination. We also propose that gender performance differences on the MCCQE1 should be further examined. Lastly, this study should be expanded to examine student risk of failure on the MCCQE2, which is offered two years post graduation.

결론적으로, 우리의 모델과 결과는 의과대학이 커리큘럼 내의 변수를 사용하여 면허 시험 결과를 더 잘 예측하기 위해 학생 데이터 검토에 분석적 접근 방식을 추가하는 것을 고려할 수 있음을 시사한다. 이것은 교육자들이 조기에 효과적으로 개입하고 잠재적인 위험에 처한 것으로 보이는 학생들에게 맞춤형 개입을 제공하게 할 수 있다. 이러한 모델은 프로그램이 미래의 학생 성과를 더 잘 예측할 수 있을 뿐만 아니라 프로그램 졸업생들을 자신 있게 식별, 지원 및 개선할 수 있도록 할 수 있는 잠재력을 가질 수 있다.

In conclusion, our models and results suggest that medical schools may wish to consider adding an analytic approach to student data review to better predict licensing examination outcomes using variables within their curriculum. This could lead educators to effectively intervene early and offer tailored interventions to students seen to be at potential risk. These models may have the potential to enable programs to not only better predict future student performance but also to allow them to confidently identify, support, and improve the quality of program graduates.

발달적 Progress Assessment의 도입에 관한 이해관계자 인식: 이론적 영역 프레임워크를 활용한 행동결정요인 문서화 (Adv Health Sci Educ Theory Pract. 2022)
Stakeholders’ perception on the implementation of Developmental Progress Assessment: using the Theoretical Domains Framework to document behavioral determinants
Christina St‑Onge1 · Elisabeth Boileau1 · Serge Langevin1 · Lily H. P. Nguyen2 · Olivia Drescher3 · Linda Bergeron1 · Aliki Thomas2 

결과.
Results

연구에 참여한 사람은 41명이었다: 5명의 PGME 이사들과 5명의 프로그램 디렉터들, 10명의 CCC 회원들, 10명의 감독들, 그리고 11명의 거주자들. 참가자들은 8개의 다른 프로그램과 14개의 다른 캐나다 대학에서 왔습니다. 참가자들에 대한 더 많은 사회인구학적 정보가 표 1에 제시되어 있다.

Forty-one individuals participated in the study: five PGME deans and five program directors (PD); 10 CCC members, 10 supervisors, and 11 residents. Participants are from eight different programs and 14 different Canadian universities. More sociodemographic information about the participants are presented in Table 1.

 

관련 도메인이 있는 주요 테마
Key themes with relevant domains

우리는 이해관계자 그룹당 상위 3개의 지배적인 도메인(즉, 가장 빈번한 도메인)을 식별했다. 즉, 참가자 발언의 양 측면에서 가장 지배적인 도메인은 다음과 같다. LA의 '결과에 대한 믿음', '환경적 맥락과 자원', LA에 대한 '지식'입니다. 이러한 영역은 참가자의 발언의 56%에서 73%를 차지했다(표 2 참조). 전공의의 경우, 이 세 가지 영역의 순위는 다른 이해관계자 그룹에서 보았던 결과에 대한 신념과 비교하여 [가장 지배적인 도메인]이 [환경적 맥락와 자원]이라는 점에서 다르다. 또한 이러한 각 도메인에 대한 개별적인 상대적 중요도는 표 2에 설명된 바와 같이 그룹마다 다릅니다. 이러한 행동 결정 요인의 상대적 중요성은 LA의 구현을 추진할 때 어떤 요인들이 더 주의를 기울여야 하는지 이해 관계자 그룹별로 알려줄 수 있다.

We identified the top 3 dominant domains (i.e., most frequent) per stakeholder group, that is, the domains most predominant in terms of quantity of participant utterances, namely: ‘belief about consequences’ of LA, ‘environmental context and resources’, and ‘knowledge’ about LA. These domains represented 56% to 73% of participants’ utterances (see Table 2). For residents, the ranking of these three domains is different, in that the most dominant domain is environmental context and resources, versus beliefs about consequences, which was seen in other stakeholder groups. Furthermore, the individual relative importance for each of these domains varies from group to group as documented in Table 2. The relative importance of these behavioral determinants can inform us, per stakeholder group, about what factors need more attention when going forward with the implementation of LA.

 

부록 2에서 우리는 TDF 도메인 및 이해관계자 그룹별 구체적인 믿음과 상대적 중요성을 제시한다. 우리는 먼저 TDF 도메인별로, 그리고 나서 주어진 TDF 도메인 내에서 구체적인 믿음으로 이를 제시한다. 데이터의 양을 고려할 때, 우리는 이해관계자 그룹당 가장 두드러진 특정 신념, 즉 행동에 가장 영향을 미칠 가능성이 높은 행동 결정 요인만 아래에 제시한다.
In Appendix 2 we present the specific beliefs per TDF domain and stakeholder group, and their relative importance: we present this first by TDF domain and then by specific belief within a given TDF domain. Given the volume of data, we present below only the most salient specific beliefs per stakeholder group, that is, the behavioral determinants most likely to influence behaviours.

일반적으로 참가자들은 [LA가 PGME [학장과 PD와 CCC 위원]의 80/20 비율, [감독관과 전공의]의 70/30 비율로 부정적인 결과보다 긍정적인 결과를 더 많이 가지고 있다]고 인식한다. 따라서 CCC 회원과 PGME 회원과 PD보다 약간 부정적인 전공의와 감독관의 견해는 다음과 같다. 이 두 그룹의 주요 차이점은 많은 평가 양식을 작성해야 하는 것과 관련된 [평가 피로]인 것 같은데, 전공의와 감독자의 경우 각각 23%와 21%가 PGME 대표와 PD, CCC 구성원의 경우 각각 10%와 14%가 된다. 예를 들어, 한 감독자는 LA가 '극도로 길다'(S18)고 말했다. 또 다른 상사는 그들이 '질렸다'며 LA가 '내 귀에서 나오는 소리'라고 말했다(S17). 한 거주자는 LA를 '채워야 할 다른 확인란'과 '넘어야 할 추가적인 장애물'이라고 언급하며, '주민이 되어 임상 서비스를 운영하고 공부하는 것 외에, 실제로 이러한 EPA를 완료하여 적절한 사람을 찾고 있는지, 적절한 수 만큼 하고 있는지 확인하는 또 다른 압박이다.'라고 말했습니다.'(R07) CCC 위원과 감독관에게는 학습과 역량 개발을 더 잘 추적할 수 있는 가능성이 가장 긍정적인 결과(각각 해당 영역에서 발언의 30%, 36%)로 보였다. CCC의 한 회원은 LA가 주민들이 '[시스템의 균열]에 빠지는 것을 방지하는 데 도움이 된다'고 말했다. (C10). PGME 학장과 PD, 그리고 거주자들에게는, [평가 문화의 변화]와 그들의 [평가에 대한 감독관과 전공의의 참여 증가]는 LA의 가장 긍정적인 결과로 간주되었다. (각각 TDF 도메인에서 발화의 30%와 36%를 사용한다.) PGME와 PD 그룹의 한 참여자는 이 변화를 "… "매우 강력하고 매우 중요한"(A18) 변화임을 나타내는 "판단 역할에서 코칭 역할로" 변화.
In general, participants perceive that LA has more positive than negative consequences with an 80/20 ratio for PGME deans and PDs and CCC members and 70/30 ratio for supervisors and residents. Thus, residents’ and supervisors’ views where slightly more negative than CCC members and PGME deans and PDs. The main difference between these two groups seems to be assessment fatigue related to having to fill out many assessment forms, with 23% and 21% of their utterances -in this domain- for residents and supervisors respectively compared to 10% and 14% for PGME deans and PDs, and CCC members respectively. For example, one supervisor communicated about LA being ‘extremely long’(S18). Another supervisor said that they are ‘fed up’ and that LA is ‘coming out of my ears’(S17). A resident referred to LA as ‘other checkboxes to fill’ and as being ‘an additional hurdle to cross’, stating that ‘it's another pressure on top of being a resident and running a clinical service and studying and whatnot, to actually get these EPAs completed to ensure that we’re finding the right people to do it, ensure we’re getting the right number’(R07). For CCC members and supervisors the potential for better tracking of learning and competence development was seen as the most positive consequences (30% and 36% of utterances in that domain respectively). A CCC member stated that LA helps to avoid residents ‘falling in a crack [of the system]’(C10). For PGME deans and PDs, and residents, the shift in the assessment culture and the increased involvement of supervisors and residents in their assessment was seen as the most positive consequence of LA (with 30% and 36% of the utterances in that TDF domain respectively). A participant in the PGME deans and PD group explains this shift as a “… change in the nature of the relationship between the preceptor and the resident … from the judging role to the coaching role” indicating that it is a “very powerful and very important” (A18) change.

[LA를 수행하는 데 필요한 자원]은 모든 이해관계자 그룹(CCC 구성원 = 55%, PGME 수단 = 61%, 주민 = 53%, 감독자 = '환경적 맥락과 자원' 영역에서 발언의 32%)에 대한 중요한 고려 사항이다. 사용된 플랫폼은 참가자마다 달랐지만 전반적으로 완료해야 할 양식과 task을 지원하는 테크놀로지는 모든 이해관계자 그룹(CCC 회원, PGME 위원 및 PD, 주민 및 감독자의 '자원' 발언의 각각 32%, 23%, 24%, 16%)에 대해 문제가 있는 것으로 보였다. 예를 들어, 참가자들은 "비사용자 친화적" 플랫폼(A21, R02)과 액세스 코드 요구(R03) 및 플랫폼이 작동하지 않는다는 사실(R11)에 대해 비판적이었다. 한 참가자는 다른 프로그램 이사들과 사용 가능한 e-포트폴리오에 대해 논의한 후 전반적인 인상이 "충격적이지 않다underwhelming"(A20)고 말했다. 또한 많은 참가자들은 모바일로 양식에 액세스하지 못하는 것(또는 휴대폰을 통해 양식에 액세스하는 데 문제가 보고된 것)이 상사와 함께 '실시간' 평가를 완료하는 데 중요한 장애라고 보고했습니다. 또한 PGME 학장 및 PD들은 DPA(이 영역에서 발언의 24%)를 적절하게 이행하기 위해 추가적인 자원(재정 및 인적)이 필요하다고 지적했다. 
The resources required to do LA is an important consideration for all stakeholder groups (CCC members = 55%, PGME deans = 61%, residents = 53%, and supervisors = 32% of utterances in the ‘environmental context and resources’ domain). While the platforms used varied between participants, overall, the forms to be completed and the technology to support the task seemed problematic for all stakeholder groups (with 32%, 23%, 24% and 16% of ‘resource’ utterances from CCC members, PGME deans and PDs, residents and supervisors respectively). For example, participants were critical of the “non-user-friendly” plateform (A21, R02), the access codes required (R03), and the fact the plateform didn’t work (R11). One participant stated -after discussion with other program directors about the e-portfolios available- that the overall impression “is underwhelming” (A20). In addition, many participants reported that not having access to the forms on their mobile (or reported issues with accessing forms via their cell phones) was an important barrier to completion of the assessment ‘in real-time’ with their supervisors. Additionally, PGME deans and PDs pointed out that there is a need for additional resources (financial and human) to appropriately implement DPA (24% of their utterances in this domain).

전체 참가자들은 일반적으로 [LA에 대해 잘 알고 있습니다]. LA의 모든 요소와 특성은 우리의 데이터에 존재하지만, 각 이해관계자 그룹에 의해 식별되지는 않는다. 예를 들어, PGME의 사장과 PD들은 LA 관행 내에서 피드백의 가치를 강조한다(발언의 32%는 이 영역에서). "공식 피드백은 로테이션 중간 및 로테이션 종료 회의로 제한될 수 있다."(A18) 
그리고 LA가 "문화의 변화"(A18)를 산출했다고 밝혔다. CCC 회원들은 LA가 진행을 평가하는 데 사용된다는 사실에 대해 더 자주 논의했고, 명시적인 기대치를 제시했다(이 영역에서 발언의 25%, 26%). 참가자에게 이러한 명시적 기대는 "…구체적 목표 또는 구체적 역량 – 훈련생이 독립적인 실습에 안전하다고 간주되기 위해 달성해야 하는 역량"으로 해석됩니다. (C07) 감독관들은 LA가 "학생들이 훈련 중에 어디에 있는지 구체적으로 알아야 하는 목표와 핵심 학습 문제가 무엇인지 알고 있다"고 제공하는 명백한 기대치에 대해 이야기했다(S12)(이 영역에서 발언의 45%). 전공의들은 LA를 완성하기 위해 시행된 프로세스에 대해 자주 말했는데, 예를 들어 누가, 무엇을, 언제, 왜(이 영역에서 발언의 38%) 하는지 언급했습니다. 마지막으로, 평가가 [관찰 기반](3~12% 범위)이거나 LA가 [전공의들에게 책임을 부여하는 중요성]과 관련된 발언은 거의 없었다(2~9% 범위). 이 두 가지 측면 모두 LA의 전제와 그에 따른 품질 구현의 핵심이다.

Overall participants are generally knowledgeable about LA. While all the elements and characteristics of LA are present in our data, they are not identified by each stakeholder group. For example, PGME deans and PDs emphasize the value of feedback within LA practices (with 32% of their utterances in this domain) stating that “formal feedback was likely limited to mid-rotation and end of rotation meetings.”(A18) and that LA yielded “a change in culture’”(A18) CCC members discussed more often the fact that LA is used to assess progression, and offered explicit expectations (25% and 26% of their utterances in this domain). For a participant, these explicit expectations translate into “…specific objectives or specific competences– competencies that a trainee needs to accomplish in order to be deemed safe for independent practice.”(C07). Supervisors talked about the explicit expectations that LA provides them as “knowing what the objectives and key learning issues that students need to know particular to where they are in their training”(S12) (45% of their utterances in this domain). Residents spoke often about the processes put in place to complete LA, stating for example who does what, when and why (38% of their utterances in this domain). Lastly, very few utterances related to the importance that assessment be observation-based (ranging from 3 to 12%), or that LA places the responsibility on residents (ranging from 2 to 9%). Both these aspects are central to the premise of LA and thus to its quality implementation.

지식 영역에서는 명시적이지 않지만, [오너십을 가진 전공의]들은 행동 규제와 관련된 모든 이해 관계자의 담론에 존재했다. 즉, 직관적으로 우리의 참가자들은 LA의 이 구성요소가 요구하는 행동의 중요한 변화를 강조하는 방식으로 그것을 논의했다. 구체적으로, CCC 구성원은 전공의(및 교수진)가 (평가될 EPA를 제기하는 데 있어) 책임을 지는 것을 목표로 한다. 그들은 또한 관찰 기반 평가(이 TDF 영역에서 이러한 특정 신념 각각에 대한 발언의 34%)를 지지한다. PGME 학장과 PD 및 감독자는 관찰 후 가능한 한 빨리 EPA를 생성하거나 완료하는 것을 목표로 한다(PGME 학장과 PD 및 감독자의 경우 각각 63%와 38%). 감독자는 "비교적 평가를 신속하게 수행해야 한다"며 "임상 접촉 후 몇 주 후에 수행된 평가는 품질을 잃는다(S17)"고 말했다. 행동 조절과 관련하여 주목할 만한 점은 전공의가 [EPA 기회(발언의 44%)에 따라 임상 관행을 구조화한다는 것]이다. 한 레지던트는 '더 급한 업무에 따라 하루를 정리하고, 어떤 환자를 먼저 보고, 어떤 환자를 나중에 봐야 하는지'에서 '어떤 환자가 내가 해낼 수 있는 EPA'(R10)로 일상 업무를 정리하는 방식의 변화를 설명했다.
While not explicit in the knowledge domain, residents taking ownership was present in all stakeholders’ discourse related to behavioral regulation, that is, intuitively our participants discussed it in a way that highlighted the significant change in behavior that this component of LA requires. Specifically, CCC members aim for residents (and faculty) to take responsibility (in bringing up EPAs to be assessed). They also advocate for observation-based assessment (34% of utterances for each of these specific beliefs in this TDF domain). PGME deans and PDs and supervisors aim to produce or complete EPAs as quickly as possible after observation (with 63% and 38% of their utterances in this domain for PGME deans and PDs and supervisors respectively). A supervisor stated the “need to do the assessment relatively quickly” and that “an assessment done several weeks after a clinical encounter loses quality”(S17). Noteworthy with regards to their behavioral regulation, residents structure their clinical practice according to EPA opportunities (with 44% of their utterances in this domain). A resident illustrated the change in how they organize their daily work from “organizing a day according to the more urgent work, which patient to see first and which to see later” to “which patient is an EPA I can accomplish”(R10).

CCC 위원과 감독관은 LA를 수행하는 데 필요한 [가장 관련 있는 기술]은 [피드백을 제공하는 적절한 대인관계 및 인지 능력]이라고 말했다(CCC와 감독관의 경우 각각 92%와 62%). CCC 회원과 PGME 대표 및 PD들은 영역 내에서 LA 구현의 맥락에서 [사회적 영향력자]로서의 역할을 한다고 보고하였다(응답의 40%, 44%). 전공의들과 감독관들은 동료 또는 상급자들로부터 다양한 수준의 영향을 받았다고 보고했지만, 그러한 정보원이 그들의 행동에 어떻게 영향을 미쳤는지에 대한 명확한 패턴이 없었다.
CCC members and supervisors stated that the most relevant skills required to do LA are the appropriate interpersonal and cognitive abilities to provide feedback (with 92% and 62% of their utterances in this domain for CCCs and supervisors respectively). Within the domain social influence, CCC members and PGME deans and PDs reported that they have a role as social influencers in the context of LA implementation (with 40% and 44% of their responses in this domain). Though residents and supervisors reported experiencing varying levels of influences from peers, colleagues or superiors, there was no clear pattern of how those sources influenced their behaviors.

우리가 LA의 맥락에서 [사회적, 전문적인 역할과 정체성]을 탐구했을 때, CCC와 감독관은 그것이 전공의를 지도하는 데 예상되는 책임이자 일부라고 말했다(CCC와 감독관의 경우 각각 71%와 78%). CCC 회원들은 또한 (이 TDF 영역에서 발언의 29%를 차지하는) 진급progress 상황을 결정할 책임이 있다는 것을 인정한다. PGME 학장과 PD들은 (발화의 100%가 이 영역에서) 구현을 지원하도록 되어 있다고 보고했다. 전공의는 자기들이 스탭을 교육하고(예: 플랫폼을 사용하고 EPA를 작성하는 것) 그들에게 평가를 요청하는 것으로 본다(이 영역에서 발언의 79%).
When we explored social, professional role and identity in the context of LA, CCC and supervisors stated that it is an expected responsibility and part of coaching residents (with 71% and 78% of their utterances in this domain for CCCs and supervisors respectively). CCC members also recognize that they have the responsibility to determine progress (with 29% of utterances in this TDF domain). PGME deans and PDs reported they are meant to support the implementation (with 100% of their utterances in this domain). Residents see themselves as educating staff (e.g., using the platform and filling out EPAs) and requesting assessments from them (with 79% of their utterances in this domain).

LA에 대한 참가자들의 [낙관론]은 대부분 서로 다른 이해관계자 그룹에 걸쳐 50대 50의 비율로 나뉘었다. CCC 구성원들은 LA에 대한 긍정적인 감정을 보고하는 4개의 이해관계자 그룹 중 가장 긍정적이었다(이 영역에서 발언의 71%).
Participants’ optimism about LA was mostly divided, with 50/50 ratios across the different stakeholder groups. CCC members were the most positive of the four stakeholder groups reporting positive emotions towards LA (71% of their utterances in this domain).

© 2022. The Author(s), under exclusive licence to Springer Nature B.V.

의학교육으로 뛰어넘기: 의학교육자의 경험에 대한 질적 연구 (Med Educ, 2018)
Making the leap to medical education: a qualitative study of medical educators’ experiences
Julie Browne,1 Katie Webb2 & Alison Bullock2

서론
Introduction

본 논문은 개인이 [성공적인 자기 정체성 있는 의학교육자의 정체성]으로 전환하는 데 도움이 되거나 방해하는 요인을 파악하고 탐구하는 것을 목표로 한다.
This paper aims to identify and explore factors that help or hinder individuals in making the transition into the identity of a successful, self-identified medical educator.

의학 교육자들은 [커리어와 역할 변화의 지속적인 과정]의 일부로서 그들의 직업적 정체성을 개발한다. 많은 의학 교육자들이 정체성과 심지어 학문 사이의 [한계 공간]을 차지하고 있다고 주장되어 왔다. 결과적으로, 일부 개인들은 경쟁적인 진로 요구와 의료 교육 내의 증가하는 변화 속도에 직면하여, 안정적인 의료 교육자 정체성을 개발하고 유지하기 위해 고군분투한다. 이는 개인이 자신을 주로 임상의나 연구자로 보는 상황에서 특히 어려운 문제이다. 이러한 일차적인 전문적 정체성은 거의 불가피하게 교육자 역할보다 우선시되는데, 이는 임상의나 연구자가 더 나은 지원을 받고 더 많은 사회적 자본을 가지고 있으며, 개인들이 그것들을 획득하는 데 더 감정적으로 투자했을 가능성이 높기 때문이다. Hu 외 연구진과 Sabel 외 연구진은 [열등하고 애매한 정체성]으로 인식되는 것을 얻기 위해 [필요한 변화를 협상하는 데 수반되는 스트레스]는 종종 프로그램이나 조직의 지원에 관계없이 후배 교육자들이 더 관여하는 것을 방해한다고 제안한다.
Medical educators develop their professional identities as part of a continual process of career and role change.1 Many medical educators, it has been argued, occupy a liminal space between identities2 and even academic disciplines.3 Consequently, some individuals struggle to develop a stable medical educator identity and to maintain it in the face of competing career demands and the increasing pace of change within medical education.4, 5 This is a particular challenge in circumstances in which the individual views him- or herself primarily as a clinician or researcher.6-8 These primary professional identities almost inevitably take precedence over the educator role because they are better supported and carry more social capital, and because individuals are likely to have invested more emotionally in acquiring them.5 Both Hu et al.9 and Sabel et al.5 suggest that the stress involved in negotiating the changes necessary to acquire what is perceived as an inferior and nebulous identity often deters junior educators from becoming more involved, regardless of programme or organisational support.

이러한 긴장에도 불구하고, 일부 의학 교육자들은 역할과 정체성 모두에 편안한 지점에 도달할 수 있다. 이것은 그들이 ['의학 교육 일을 하는 사람']에서 [의학 교육자의 스스로 인정한 정체성]으로 전환한 시점이다. 우리의 주요 연구 질문은 이러한 일이 어떻게 발생하는지를 탐색하고 도움이 될 수 있거나 방해할 수 있는 요소를 식별하려고 시도한다.
Despite these tensions, some medical educators are able to arrive at a point at which they are comfortable with both role and identity; this is the point at which they have transitioned from ‘someone who does medical education work’ into the self-acknowledged identity of the medical educator. Our primary research questions explore how this happens and attempt to identify factors that may help or hinder.

[심리사회적 전환 이론]을 이용하여, 우리는 [의료 교육자가 되는 과정]을, 다른 비교적 안정적인 상태(의료 교육자 정체성)로의 전환을 이끄는 [일련의 스트레스를 받는 변화]를 통해, [하나의 비교적 안정적인 상태(주요 직업 정체성)]에서 벗어나는 과정 중 하나로 개념화한다. 
Using psychosocial transition theory, we conceptualise the process of becoming a medical educator as one of moving out of one relatively stable state (primary professional identity) through a series of sometimes stressful changes that lead to a transition into another relatively stable state (medical educator identity).10

[변화]와 [전환] 사이에는 차이가 있다.

• 변화는 [상황적]이다: 새로운 교수나 리더십 역할을 맡거나, 새로운 일을 시작하거나, 새로운 학생이나 관리자 그룹을 만나거나, 다른 평가 시스템 내에서 일하는 것을 포함할 수 있다.
• 반면, 전환은 [심리적]이다. 그것은 개인이 [자신의 삶에 변화를 포함incorporate]할 수 있도록 하기 위해 필요한 내면의 변화에 관한 것이다. Bridges는 다음과 같이 말합니다. '전환transition이 일어나지 않는 한, 변화는 "받아들여지지" 않기 때문에 작동하지 않을 것입니다.' 

There is a difference between change and transition.11 

• Change is situational: it may involve taking on a new teaching or leadership role, starting a new job, encountering a new group of students or managers, or working within a different appraisal system.
• Transition, however, is psychological: it concerns the inner alterations that are necessary to enable an individual to incorporate changes into his or her life. Bridges remarks: ‘Unless transition happens, the change won't work because it doesn't “take”.’11

[개인이 일련의 변화를 협상하는 데 성공]하는 것이 [자기 정체성 있는 의료 교육자 역할로의 전환]을 이끌게 된다. 우리는 이것이 사벨과 동료들이 보고한 의료 교육으로의 '도약leap'을 구성하는 것이라고 제안합니다. 교육자 역할에 대한 자기 동일시는 개인이 의료 교육 공동체 내에서 [합법적인 참여자]임을 느끼고, 해당 분야의 전문 지식을 개발하고 유지하는 어려운 과제에 전념할 준비가 되어 있다면 필요한 전환이다. 

An individual's success in negotiating a series of changes is what leads to transition into a self-identified medical educator role: this, we suggest, is what constitutes the ‘leap’ to medical education reported by Sabel and colleagues.5 Self-identifying with the educator role is a required transition if individuals are to feel that they are legitimate participants within the medical education community, ready to commit themselves to the difficult task of developing and maintaining specialist expertise in the field.12

특정 변화 또는 일련의 변화에 적응하는 개인의 능력은 [내적 및 외적 요인 모두]에 의해 영향을 받는다.

• 이러한 요인에 대한 개인의 반응은 [부족함deficit에 대한 인식]과 [이를 충족할 수 있는 자원]에 따라 달라질 것이다.
• 본질적인 성향(경험에 대한 개방성, 양심성 등)도 한몫할 수 있지만, 이전의 경험, 개인적 가치관, 야망도 영향을 미친다.
• 더욱이 적응은 변화의 타이밍, 성격 및 상황, 강요 또는 선택 여부, 변화가 발생하는 개별 상황, 변화가 발생하는 조건이 이해되고 수용되는지 여부에 따라 달라질 수 있다.
• 마지막으로, 변화에 적응하는 능력은 이용 가능한 지원과 개인이 채택할 수 있는 전략에 영향을 받는다.

An individual's ability to adapt to a particular change or set of changes is affected by multiple factors, both intrinsic and extrinsic.

• The individual's response to these factors will vary depending on his or her perceptions of deficits versus resources available to meet them.13 
• Intrinsic tendencies (such as openness to experience and conscientiousness) may play a part, but previous experience, personal values and ambitions also have effect.
• Moreover, adaptation may vary with the timing, nature and circumstances of the change, whether it is imposed or chosen, individual circumstances when the change occurs, and whether the terms on which the change takes place are understood and accepted.
• Finally, the ability to adjust to change is affected by the support available and the strategies the individual is able to adopt.14, 15

최근의 많은 연구들은 개별 임상 교사들이 그들의 경쟁적인 정체성을 저글링하면서 그들의 인식을 보고한다. 그러나 제안된 해결책들(예: 경력 기회, 교수 시간 및 전문 개발 계획 개발의 측면에서)은 종종 프로그램적 또는 조직적 수준에 있다. 주요 스트레스 요인이 느껴지는 것 같습니다. 그러나, Monrouxe의 주장처럼, '정체성은 고정된 인지 체계가 아니며, 오히려, 정체성은 우리가 하는 일'이며, 따라서 개인 수준에서 어떤 요소가 의학교육의 '행동'이나 수행을 촉진하거나 방해하는지 이해하는 것이 중요하다. 우리는 의학교육의 변화와 도전에 직면했을 때 개인의 지속성에 유리하도록 저울을 기울일 수 있는 요인을 탐구하는 데 관심이 있었다.

A number of recent studies report the perceptions of individual clinical teachers as they juggle their competing identities; however, proffered solutions (e.g. in terms of developing career opportunities, time for teaching and professional development schemes) are often at a programmatic or organisational level because it is at this level that the chief stressors appear to be felt.16, 17 However, as Monrouxe argues, ‘…identities are not fixed cognitive schemas; rather, identities are what we do’, and hence it is important to understand what factors, at an individual level, facilitate or impede the ‘doing’ or performance of medical education.12 We were concerned to explore the factors that may tip the scales in favour of an individual's persistence when faced with change and challenges in medical education.

따라서 이 논문은 두 가지 주요 방법으로 문헌에 추가된다. 첫째, 의료교육자로서의 자아정체성 발달과정을 고찰하기 위한 개념적 모형으로 전환이론을 소개하고, 둘째, 의료교육자 정체성 추구에 있어 개인의 지속성을 지지하거나 저지할 수 있는 개별적 요인을 살펴본다.

This paper therefore adds to the literature in two key ways. Firstly, it introduces transition theory as a conceptual model for considering the process of developing self-identity as a medical educator and, secondly, it looks at the individual factors that may support or deter an individual's persistence in pursuing a medical educator identity.

방법들
Methods

본 저자들은 전문 교육 기관 구성원의 정보 요구를 탐구하는 대규모 HEA(Higher Education Academy) 자금 지원 프로젝트에 참여했다. 우리는 의학교육아카데미(AoME)에서 의료교육 측면을 담당하기 위해 참여했으며, HEA 보고서를 알려주는 disciplined-focused report (미발표)를 제출하기 전에 온라인 설문 조사와 포커스 그룹을 사용하여 연구를 수행했다. HEA 학제간 보고서는 2015년에 발표되었다.
The present authors participated in a large-scale Higher Education Academy (HEA)-funded project exploring the information needs of members of professional education bodies. We were engaged by the Academy of Medical Educators (AoME) to undertake the medical education aspect, and conducted a study using an online survey and focus groups before submitting a disciplined-focused report (unpublished) that informed the HEA report. The HEA across-discipline report was published in 2015.18

그 후, 우리는 세 개의 의료 교육 포커스 그룹에서 수집한 데이터를 재조사했는데, 이 그룹은 여러 번의 경력 변화 동안 성공적으로 의료 교육자 정체성을 전환하고 유지한 경험이 있는 개인들을 대상으로 수행되었다.
We subsequently re-examined the data we had collected during three medical education focus groups, which had been conducted with individuals who had experience of transitioning successfully into and maintaining a medical educator identity during a number of career changes.

우리는 알고 싶었다: 

• (i) 개인 수준에서 어떤 요인들이 이러한 개인들이 성공적인 자기 정체성 있는 의료 교육자로 전환하는 데 도움이 되었거나 방해가 되었는가? 
  
• (ii) 의료 교육자 역할에 적응하기 위해 고군분투하고 따라서 의료 교육자 정체성을 거부할 위험이 있는 전문가에 대한 개별화된 지원을 개발하는 데 도움이 될 수 있는 결론을 도출할 수 있는지 여부.

We wanted to know:

• (i) what factors at an individual level had helped or hindered these individuals in making the transition into a successful, self-identified medical educator, and
• (ii) whether we could draw any conclusions from this that might help develop individualised support for professionals who are struggling to adjust to the medical educator role and are thus at risk of rejecting a medical educator identity.

데이터 수집
Data collection

2015년 5월 7일 카디프 대학교 대학원 의학 및 치과 교육 윤리 위원회는 이 프로젝트를 완전히 승인했다. 2015년 동안 3개의 포커스 그룹이 15명의 영국 기반 고위 의료 교육자(여성 6명, 남성 9명)와 함께 수행되었으며, 여기에는 다양한 의료 전문 분야의 임상의 9명이 포함되었다. 참여는 자발적이었다. 모든 참가자는 [시니어 자기 정체성 의학 교육자senior self-identified medical educators]에게 초점을 맞추기 위한 의도적인 노력으로, AoME 펠로우 중에서 모집되었다. 동료로서, 그들의 성과는 AoME 프로페셔널 표준의 레벨 2-3(즉, 상급 레벨)에서 AoME의 프로페셔널 인정 제도를 통해 동료 검토 및 인정을 받았다. 
Cardiff University's School of Postgraduate Medical and Dental Education Ethics Committee granted full approval for the project on 7 May 2015. Three focus groups were conducted during 2015 with 15 senior UK-based medical educators (six women, nine men), who included nine clinicians from diverse medical specialties. Participation was voluntary. All participants were recruited from among AoME fellows in a deliberate effort to focus on senior self-identified medical educators. As fellows, their achievements had been peer-reviewed and recognised through AoME's professional recognition scheme at levels 2–3 (i.e. senior level) of the AoME Professional Standards.19

첫 번째 포커스 그룹은 AoME의 전문 인정 제도에 대한 6명의 평가자로 구성되었습니다. 두 번째 그룹은 선출된 AoME 위원회 위원 5명으로 구성되었다. 세 번째 포커스 그룹은 4명의 AoME 펠로우로 구성되었으며, 이들은 모두 의료 교육에서 고위 직책을 맡고 있었다. KW는 JB의 지원으로 그룹 1을 촉진했다. JB는 KW와 AB의 지원으로 그룹 2를 촉진했다. AB는 KW의 지원으로 그룹 3을 촉진했다. 부록 S1은 포커스 그룹에 대한 질문 가이드를 제공한다. 토론은 오디오 녹음되고 장황하게 기록되었다. 모든 신원 확인 정보는 참가자들의 익명성을 보호하기 위해 삭제되었다.

The first focus group comprised six assessors for the AoME's professional recognition scheme. The second group consisted of five elected AoME council members. The third focus group comprised four individual AoME fellows, all of whom held senior positions in medical education. KW facilitated Group 1 with the support of JB. JB facilitated Group 2 with the support of KW and AB. AB facilitated Group 3 with the support of KW. Appendix S1 provides the question guide for the focus groups. Discussions were audiorecorded and transcribed verbatim. All identifying information was removed to protect the anonymity of the participants.

데이터 분석
Data analysis

[심리사회적 전환 이론]은 스트레스가 많은 변화를 협상하는 데 있어 개인의 지원에 대한 필요성을 탐구하는 데 유용한 도구이다. 의료 교육자 식별을 향한 진전은 상당한 스트레스를 주는 변화를 수반할 수 있기 때문에, 슐로스버그의 '4S'(4S) 모델 14는 원래 [개인이 변화에 성공적으로 적응할 수 있도록 개입을 지원하도록 설계]되었기 때문에, 포커스 그룹 데이터에 대한 적절한 분석 프레임워크를 만들 것이라고 이론화했다. [교육환경의 변화와 전환이 어려운 성인을 위한 지원서비스 개발]의 기반으로 성공적으로 활용되어 왔으며, 이러한 맥락에서 특히 유망하였다. 우리는 데이터가 잘 맞는지 확인하기 위해 프레임워크 방법을 통해 연역적으로 사용했다. JB와 KW는 매트릭스 프레임워크 형식을 사용하여 4S 메인 테마에 대해 데이터를 독립적으로 코딩하고 차트화했다. 그런 다음 저자들은 이 네 가지 프레임워크 영역 각각 내에서 하위 테마를 귀납적으로 식별했다. JB와 AB는 분석이 체계적이고 일관성 있게 이루어졌는지 확인하기 위해 차트 작성에 더 많은 노력을 기울였습니다. 마지막으로, 세 명의 연구자 모두 실무와 결론에 대한 시사점을 분석 검토에 참여하였다.

Psychosocial transition theory is a useful tool for exploring an individual's need for support in negotiating stressful changes. As the progress towards identifying as a medical educator can involve a good deal of stressful change,20 we theorised that Schlossberg's ‘Four S’ (4S) model14 would make an appropriate analysis framework for the focus group data as it was originally designed to support interventions to help individuals adapt successfully to change. It has been successfully used as a basis for developing support services for adults who are finding change and transition in education settings difficult and was therefore particularly promising in this context.15 We used it deductively through a framework method21 to examine if the data were a good fit. JB and KW independently coded and charted the data against the 4S main themes using a matrix framework format. The authors then inductively identified sub-themes within each of these four framework areas. JB and AB worked further on charting to ensure that analysis had been systematic and coherent. Finally, all three researchers engaged in a review of the analysis for implications for practice and conclusions.

결과.
Results

우리의 데이터는 슐로스버그의 4S 프레임워크와 일치한다. 그림 1의 각 사분면에 있는 17개의 글머리 부제목은 우리 자신의 분석을 반영하며, 앤더슨 등의 설명에 있는 더 큰 하위 주제 집합에서 도출된다. 우리의 샘플은 너무 작고 전문적 문제에 너무 정확하게 지시되어 친밀한 파트너 지원, 영성 및 성적 지향과 같은 하위 주제를 반영할 것으로 기대되지 않았다.
Our data aligned with Schlossberg's 4S framework.15 The 17 bulleted subheadings in each quadrant in Fig. 1 reflect our own analysis, and are drawn from the larger set of sub-themes within Anderson et al.'s account.22 Our sample was too small and too precisely directed at professional issues to be expected to reflect sub-themes such as intimate partner support, spirituality and sexual orientation.

테마1. 자신
Theme 1. Self

슐로스버그의 틀에서 [자아]는 다음과 같은 개인적 특성과 심리적 자원을 가리킨다.

• 개인이 변화/새로운 역할에 대해 얼마나 편안하게 느끼는지, 
  
• 그들이 예상한 것에 대해 얼마나 자신 있는지, 
  
• 이전의 경험과 기대가 어떻게 그들을 이 지경에 이르게 했는지, 
  
• 그들이 원하는 곳인지 아닌지, 그리고 
  
• 그들의 개인적 가치가 그 역할과 어떻게 일치하는지. 

참가자들은 다년간의 경험을 가진 고위 의료 교육자였으며, 다양한 경로(예: 고위직 임명, 고급 자격, 펠로우십, 상, 보조금 및 상)를 통해 이를 인정받았다. 그러나 그들의 코멘트는 [의사, 학술, 과학자 또는 (두 명의 경우) 인문학자]라는 기본적인 이전 정체성에서 의학 교육자가 되기 위해 움직이고 있거나 움직인다는 지속적인 감각을 드러냈다.
In Schlossberg's framework,15 self refers to personal characteristics and psychological resources, such as to

• how comfortable individuals feel with the change/new role,
• how confident they are in their understanding of what is expected,
• how prior experiences and expectations have brought them to this point,
• whether it is where they want to be, and
• how their personal values align with the role.

Participants were senior medical educators with many years of experience and had achieved recognition for this through a number of different channels (e.g. senior appointments, higher-level qualifications, fellowships, prizes, grants and awards), but their comments revealed a continuing sense that they were moving, or had moved, towards becoming medical educators from a primary prior identity as a doctor, academic, scientist or, in two cases, humanities scholar:

'우리'와 '우리 중 일부'를 반복적으로 사용하는 것은 화자가 '우리'(즉, 의학 교육자)가 누구인지 명확하게 알고 있음을 나타낸다. 여기서 [의료교육의 다양성을 성공적으로 탐색하는 것]은 의료교육자 정체성 형성의 잠재적 요인으로 보인다.
The repeated use of ‘we’ and ‘some of us’ indicates that the speaker has a clear idea of who ‘we’ (i.e. medical educators) are. Successfully navigating medical education's diversity appears here to be a potential factor in medical educator identity formation.

의학교육자들은 고등교육에서 신뢰를 얻기 위해서는 [세 가지 분야(과학연구, 교육, 의료행위) 모두에 전문가가 되어야 한다는 불안한 느낌]을 내포하는 용어인 ['임포스터 증후군']의 희생양이 될 위험이 있다. 자신의 전문 지식을 편안하게 느끼는 것이 참가자의 성공에 분명히 중요했습니다.
Medical educators risk falling prey to ‘imposter syndrome’,23, 24 a term that implies an uneasy sense that they need to be expert in all three fields (of scientific research, education and medical practice) in order to have credibility within higher education. Feeling comfortable in their own expertise was clearly crucial to the success of participants:

이 교육자에게는 정보 보유가 필요하지만, 교육자 정체성의 구별되는 특징은 [타인의 전문적 발전을 촉진하는 방법에 접근한다]는 것이다. 여기서 시사하는 바는 의학교육자들이 [그들이 알고 있는 것]에 의해서가 아니라, [그들의 직업윤리와 그들의 업무관계에서 표현되는 실제적인 방법]에 의해서 정의된다는 것이다.
For this educator, the possession of information is necessary; however, the distinguishing feature of educator identity is how one approaches the facilitation of others' professional development. The implication here is that medical educators are defined less by what they know than by their professional ethics and the practical ways in which these are expressed in their working relationships.

의학 교육은 [가치 주도적인 직업] 내에서 [가치 주도적인 활동]이다.25 많은 참가자들이 의사 및 과학자의 직업으로 그들을 처음 이끈 것은 그들의 가치였다고 느꼈고, 의료 교육에서의 그들의 노력이 이러한 가치를 뒷받침한다는 사실은 그들의 참여를 유지하는 데 중요했다.
Medical education is a value-led activity within a value-led profession.25 A number of participants felt it was their values that had first led them into careers as doctors and scientists, and the fact that their work in medical education supported these values was important in maintaining their involvement:

테마2. 상황.
Theme 2. Situation

Schlossberg의 프레임워크에서 ['상황']은 다음과 같은 변화 사건의 특성을 나타낸다. 

• 변화를 촉발시킨 것, 변화에 대한 개인의 준비성, 변화에 대한 추가적인 스트레스에 대처하는 현재의 능력, 
  
• 변화가 선택되었는지, 얼마나 오래 지속될지에 대한 이해, 
  
• 변화의 결과로 자신의 지위가 향상되었는지 또는 손상되었는지에 대한 개인의 감각. 

[변화는 일생 동안 사람들에게 영향을 미치지만, 변화는 획일적인 진행에서 마주치지 않는다]는 슐로스버그의 관점과 일치한다. 연령과 삶의 단계는 참가자들에게 중요한 관심사로 보이지 않았다. 그들 모두는 의학 교육에서 적어도 세 번 또는 네 번의 실질적인 역할을 하고 있었다.

‘Situation’ in Schlossberg's framework15 refers to the characteristics of the change event, such as

• what triggered the change, the individual's readiness for it, current ability to cope with the additional stress of change,
• whether the change was chosen, understanding of how long it will last, and
• the individual's sense of whether his or her status is improved or damaged as a result.

In line with Schlossberg's view that change affects people throughout their lives, but that change is not encountered in a uniform progression,15 age and stage of life did not appear to be significant concerns for participants, all of whom were in at least their third or fourth substantial role in medical education. However, changing (and increasing) clinical and academic workloads and their impact were constant themes:

재검증, 연구 평가 연습 및 성과 검토, 새로운 법률 및 기술, 성과 데이터의 기록 및 분석 증가, 언론 및 정치권의 의료 교육에 대한 관심 증가 등 [NHS 및 대학 환경의 규제 및 조직 혁신]은 모두 변화의 원천으로 언급되었다. 이러한 [비자발적 변화]에 기여하는 다른 요인으로는 학생 기대치의 변화가 있었다. 

Regulatory and organisational innovations in the NHS and university environments such as revalidation, research assessment exercises and performance reviews, new legislation and technology, the growth in the recording and analysis of performance data and the increasing attention given to medical education in media and political circles were all mentioned as sources of change. Other factors contributing to this sense of involuntary change included alterations in student expectations:26

[변화의 기간이 얼마나 지속될 가능성이 높은지를 이해하는 것]은 전환을 달성하기 위해 변화를 성공적으로 협상하는 데 중요한 요소이다. 참가자들은 특히 의료 교육계에 의해 변화가 추진되지 않는 상황에서 의료 교육에서 이것이 가능할 것이라고 비관했다.27 [명확한 방향감각이나 최종점을 정의할 수 없는 무능감]은 일부에게 실패감을 암시하게 했다.
Understanding how long the period of change is likely to last is an important factor in negotiating change successfully in order to achieve transition. Participants were pessimistic that this would ever be possible in medical education, particularly in contexts in which the changes were not driven by the medical education community.27 This inability to define a clear sense of direction or endpoint led some to hint at a sense of failure:

주제 3. 지지하다
Theme 3. Support

그러나, 참가자들은 그들의 역할에 따라 부문, 기관, 부서, 심지어 서로 함께 일하는 개인들 사이에서도 지원이 다양하다고 보고했다. 임상의들은 그들의 다양한 역할에 의해 부과된 실제적인 어려움을 보고하였다: 모두 CPD를 위한 자금과 자원을 확보하기 어렵다고 보고하였다.
However, participants reported that support varied among sectors, institutions, departments and even between individuals working alongside one another, depending on their roles. Clinicians reported practical difficulties imposed by their multiple roles: all reported that funding and resources for CPD were difficult to secure.

이러한 지원 부족의 원인은 다양한 요소와 관련이 있다. 일부 사람들에게는 [행정 리소스 및 전문 지식의 부족]과 [학생 수와 기대치가 증가함에 따라 워크로드 압력을 공유할 동료의 부족]이 수반되는 [개인적인 문제]였습니다. 다른 이들은 의료 교육의 어려움과 복잡성에 대한 높은 수준의 이해가 계속 부족하기 때문에 [지원을 받는 데 어려움]을 겪었다고 말했다. 교육 및 CPD를 위한 [용도-지정된 시간]을 확보하는 것은 임상 환경에서 일하는 응답자들에게 특히 우려되는 사항이었다.

The reasons for this lack of support were associated with a variety of factors. For some, the challenges were personal and of a day-to-day nature, involving lack of administrative resource and expertise, and a shortage of colleagues with whom to share workload pressures as student numbers and expectations increase. Others attributed difficulties in obtaining support to a continued lack of high-level understanding of the challenges and complexities of medical education. Obtaining ring-fenced time for teaching and CPD was a particular concern for respondents working in clinical settings:

참가자들은 큐레이션된 자료에 접근하고 동료 및 학생들과 공유하는 데 적극적이었다.

4번. 전략들
Theme 4. Strategies

[전략]은 변화를 성공적으로 극복하기 위해 채택된 전술들을 포함하는 대응이다. 집단적으로, 우리의 응답자들은 그들이 개인으로서 개발한 매우 다양한 전략을 보고했지만, 그것은 대처에 대한 공통된 접근법을 제안하는 것으로 보였다.
Strategies are coping responses that include the tactics adopted to get through a change successfully. As a group, our respondents reported a large variety of strategies they had developed as individuals, but which appeared to suggest a common approach towards coping.

주제 3에 보고된 교육 지원의 식별 및 접근의 어려움에도 불구하고, 많은 사람들이 [의료 교육 전문지식을 습득하기 위해 매우 전략적인 접근법]을 취했으며, [지식과 기술을 개발하기 위해 상당한 노력]을 기울였다. 몇몇 사람들이 대학원 의학 교육 자격을 취득했다고 보고되었다. 한 학생은 자신이 선택한 과정이 자신의 학습 욕구에 직접 초점을 맞추지는 않았지만, 이를 적응하고 그로부터 이익을 얻을 수 있었다고 평했다.
Despite the difficulties in identifying and accessing educational support reported in Theme 3, many had taken a highly strategic approach to acquiring medical education expertise and had gone to considerable lengths to develop knowledge and skills. Several reported undertaking postgraduate medical education qualifications. One commented that although the course he had chosen had not focused directly on his learning needs, he had been able to adapt it and benefit from it:

이 교육자들은 집단으로서 매우 자기주도적이었다. 대부분은 의학 교육 저널을 구독했고 관련 정보를 찾기 위해 더 광범위한 문헌을 기꺼이 훑어보았다. 다른 이들은 소셜 네트워킹, 웹 세미나, 뉴스레터 및 메일링 목록, 온라인 과정 및 원격 학습을 포함한 전자 자원을 포함한 새로운 기술을 추천했다.
These educators were highly self-directed as a group. Most subscribed to medical education journals and were willing to sift through wider literatures in order to find relevant information. Others recommended new technologies, including social networking, webinars, newsletters and mailing lists, electronic resources, including online courses and distance learning.

참가자들은 [업무와 전문적 협력]에 대해 한결같이 긍정적인 접근을 했습니다. 그들의 토론은 그들이 다른 학문 분야, 전문직간 그룹, 국가 및 국제 조직의 동료들과 맺었던 더 넓은 파트너십에 대해 반복적으로 반영했다. 협력과 노력의 조정을 촉진하기 위해 더 많은 것을 할 수 있다는 일반적인 견해가 있었다.
Participants had a uniformly positive approach towards work and professional collaborations. Their discussions repeatedly reflected on the wider partnerships they had formed with colleagues from different academic disciplines, interprofessional groups and national and international organisations. There was a general view that more could be done to promote cooperation and coordination of effort:

위에서 논의한 비공식 네트워크와 전문적 개발 기회를 활용하고 스스로 만드는 것 외에도, 모든 인터뷰 대상자들은 자신의 기관을 넘어 공식적인 네트워크에 참여하기 위해 의도적인 노력을 기울였다. 이들은 모두 AoME의 펠로우들이었으며, 대부분은 의학 교육 지원을 위해 적어도 한 개의 다른 국가 특수 이익 단체 또는 단체에 참여했다. 또한 규제 기관, 고용주, 왕립 대학 및 전문 기관의 조언과 지침을 포함한 공식 지원의 다른 출처에 대해서도 언급하였다.
In addition to taking advantage of and creating for themselves the informal networks and professional development opportunities discussed above, all of the interviewees had made deliberate effort to engage with formal networks beyond their own institutions. All were fellows of the AoME, and most were also involved with at least one other national special interest group or organisation for the support of medical education. A number also mentioned other sources of formal support, including advice and guidance from regulators, employers, Royal Colleges and professional organisations.

[전문가 인지recognition]의 역할은 핵심 주제였으며, 참가자들이 의료 교육자의 정체성으로 전환했다고 느낄 수 있도록 돕는 데 분명히 중요했으며, 이는 다른 관찰자들의 이전 제안을 확인했다.
The role of professional recognition was a key theme and was clearly important in helping participants to feel that they had made a transition into the identity of a medical educator, which confirmed other observers'28 previous suggestions:

주요 조사 결과 요약
Summary of key findings

포커스 그룹 데이터의 하위 테마 분석을 통해 참가자의 의료 교육자 정체성에 기여한 각 4S 테마 내에서 여러 가지 핵심 요소를 식별할 수 있었다.
Our analyses of sub-themes from the focus group data allowed us to identify a number of key factors within each of the 4S themes that contributed to the participants' sense of medical educator identity.

본 연구의 참여자는 비교적 안정적인 의료 교육자 정체성으로 성공적으로 전환한 경험이 있는 전문가였습니다. 그들은 특히 더 많은 후배 교육자들을 대표하여 미래에 대한 몇 가지 우려에 주목했지만, 그들은 일반적으로 의학 교육자가 되기로 한 결정에 만족했다.
The participants in our study were experienced professionals who had made a successful transition to a relatively stable medical educator identity. Although they noted some concerns for the future, particularly on behalf of more junior educators, they generally expressed satisfaction with their decisions to become medical educators.

[자아]에 있어서, 모든 사람들은 의학 교육자가 되는 것과 그들의 개인적인 가치 사이에 분명한 연관성을 만들 수 있었다. 분명히, 그들의 의학교육 업무와 그들의 개인적 가치 사이의 '적합fit'은 이러한 개인들이 의학교육자로서 새로운 전문적 정체성으로 성공적으로 전환하는데 필요한 내부적 조정을 하는 데 노력을 투자할 수 있을 만큼 충분히 가까웠다.

In terms of self, all were able to make clear connections between being a medical educator and their personal values. Clearly, the ‘fit’ between their medical education work and their personal values was close enough to allow these individuals to invest effort in making the internal adjustments necessary to successfully transition into a new professional identity as a medical educator.

둘째, 그들의 상황(의학 교육에 대한 참여 증가의 특성) 측면에서, 의학교육자 정체성에 대한 그들의 적응에 영향을 미치는 가장 중요한 요인은,

• 그들이 의학교육에 참여하기 위해 선택한 정도,
• 그들이 의학교육 내에서 행사할 수 있는 통제력의 양
• 그들이 의학교육의 미래 방향에 영향을 미칠 수 있다는 감각

Secondly, in terms of their situation (the characteristics of their increased involvement in medical education), the most significant factors affecting their adaptation to a medical educator identity were

• the degree to which they had chosen to be involved in medical education,
• the amount of control they felt able to exercise within it and
• their sense that they could influence its future direction.

셋째, 직장생활의 변화에 대처하기 위해 받은 개인적 [지원]은 변화에 대처하는 데 큰 도움이 되었다. 참가자들은 [의료교육이 연구나 임상서비스보다 덜 중요하다고 인식하는 상태]를 [양질의 교육을 계획하고 제공하기 위한 자원 부족]과 [경력 및 개인 개발 기회를 포함한 교육 개선을 위한 자원 부족]에 대한 우려와 일관되게 연결했다. 참가자들은 일반적으로 의료 교육자 정체성으로 전환하기 위해 받은 [지원 수준에 대해 불만족]스러웠지만, [비공식 정보 출처, 네트워킹, 자격, 역할 모델 및 멘토, (AoME가 제공한 것과 같은) 학습된 사회 및 전문 인정 체계와 같은 모든 자원]을 식별했다.
Thirdly, the personal support they had received to cope with changes in their working lives was a significant factor in helping them to deal with change. Participants consistently linked medical education's perceived status as less important than either research or clinical service to their concerns about the shortage of resources for both planning and providing quality education and also for educational improvement including opportunities for career and personal development. Although participants were generally dissatisfied with the level of support they had received to make the transition to medical educator identity, all identified resources that had worked for them, such as informal sources of information, networking, qualifications, role models and mentors, learned societies and professional recognition schemes such as that offered by the AoME.

넷째, 이러한 참여자들은 그들 자신의 [전략]을 개발하는 데 있어 [resourcefulness과 에너지]로 특징지어졌다. 우리의 연구에서 확인된 성공적인 전략에는 정보 추구, 기술 개발, 네트워킹 및 인식 추구에 대한 창의적이고 적극적인 접근 방식을 채택하는 것이 포함되어 있습니다. 이들은 모두 [교육 기회와 정보 찾기]에 적극적이었고, [서로를, 학생과 교육생을, 초기 진로교육자 등을 지원하겠다는 의지]를 밝혔다.
Fourthly, these participants were characterised by their resourcefulness and energy in developing their own strategies. Successful strategies identified in our research included adopting creative and active approaches to information seeking, skills development, networking, and seeking recognition. They were all active in seeking education opportunities and information, and expressed their willingness to support one another, their students and trainees, and early career educators.

논의
Discussion

우리의 연구는 데이터 수집에 목적 샘플링을 사용하기로 한 초기 결정에 영향을 받았다. 따라서 이 연구결과는 영국의 맥락과 상급 의학 교육자(AoME의 동료)의 관점으로 제한된다. 후배 교육자들의 경험은 추구되지 않았고 이러한 연구 결과는 다른 집단과 환경으로 이전될 수 없다는 것이 입증될 가능성이 있다. 그러나 우리는 의료 교육자 정체성을 성공적으로 채택한 사람들의 관점이 이전에 체계적으로 탐구되지 않았기 때문에 그들 자신에게 관심이 있다고 믿는다. 그들은 또한 후배 교육자들이 그들의 변화하는 교육 역할에 적응할 수 있도록 지원하는 데 가장 효과적일 가능성이 있는 자기, 지원, 상황 및 전략의 측면을 식별하는 데 유용할 수 있다.
Our study was affected by our early decision to use purposive sampling for data collection. The findings are therefore limited to the UK context, and to the perspectives of senior medical educators (fellows of the AoME). The experiences of junior educators were not sought and it is possible that these findings would not prove transferable to other populations and settings. We believe, however, that the perspectives of those who have successfully adopted a medical educator identity have not been systematically explored before and are therefore of interest in themselves. They may also prove useful in identifying the aspects of self, support, situation and strategy that are likely to be most effective in supporting junior educators to adapt to their changing educational roles.

[전환]에 관한 문헌은 사별이나 트라우마와 같은 삶을 변화시키는 사건에 적응하기 위해 고군분투하는 사람들의 지원에 자연스럽게 초점을 맞추는 경향이 있다. 4S 프레임워크를 이용한 상담 등의 개입은 주요 변화에 적응하기 위해 고군분투하는 개인들을 돕기 위해 고안되었다. 그러므로 많은 사람들에게 의학교육은 즐겁고, 자극적이며, 그들의 직장 생활을 풍요롭게 하는 일상의 활동일 때, 의학교육을 중요하고 심지어 트라우마적인 삶의 사건으로 보는 것은 어울리지 않는 것처럼 보일 수 있다. 그러나 [의학교육으로의 이동]이 개인의 업무 정체성에 대한 감각에 심대한 영향을 미치는, [중대하고 때때로 고통스러운 직업적 전환]을 나타낸다는 것에는 의심의 여지가 없다. 이 문헌은 좌절, 실망, 스트레스, 사기 저하 및 탈진의 시기에 대한 교육자들 사이의 거의 보편적인 경험을 보고하고 있으며, 주요 직업 정체성의 침식에 대한 상실감이 여전하다. 또한, 교직에 대한 열망을 표현하는 사람들 중 실제로 얼마나 많은 사람들이 중요한 의료 교육 경력을 발전시키는지 보여주는 데이터는 거의 없지만, 우리는 대부분의 의과대학에서 교직원의 유지가 주요 과제라는 것을 알고 있으며, 한 연구에서 의과대학 교직원의 42%가 '진지한 사직 의향'을 표명했다. 
The literature on transition naturally tends to focus on the support of those struggling to adapt to life-changing events such as bereavement and trauma. Interventions such as counselling using the 4S framework and others were designed to help individuals struggling to adapt to major changes. It may therefore seem incongruous to view medical education as a significant and even traumatic life event, when for many it is an enjoyable, stimulating and deeply rewarding daily activity that enriches their working lives. There is no doubt, however, that moving into medical education represents a major and occasionally painful career transition that profoundly affects the individual's sense of his or her working identity. The literature reports an almost universal experience among educators of periods of frustration, disappointment, stress, demoralisation and burnout, coupled with a lingering sense of loss at the erosion of their primary professional identity.4-9, 29 Furthermore, although there are few data to show how many of those who express a desire to teach actually go on to develop a significant medical education career, we do know that for most medical schools the retaining of teaching staff is a major challenge, with 42% of medical school faculty in one study expressing ‘serious intent to leave’.30, 31

따라서 이 4S 프레임워크는 경험이 없거나 교육자로서 정착된 전문적 정체성을 얻기 위한 여정에서 협상할 변화에 대한 몇 가지 근본적인 질문을 탐구하기 위해 고군분투하는 동료들을 돕기 위한 적절한 구조를 제공합니다.
This 4S framework therefore offers an appropriate structure for helping colleagues who are inexperienced or at risk of struggling to explore some fundamental questions about the changes they will negotiate on their journey towards gaining a settled professional identity as an educator.

우리 연구의 참가자들은 모두 경력 후반부에 있었고, 확고하게 확립된 의료 교육자 정체성으로 전환하기 위해 필요한 변화를 협상한 광범위한 경험을 가지고 있었다. 비록 그들은 의학 교육자들의 진로 상황이 여러 면에서 개선되었다는 것을 인정했지만, 그들은 또한 그에 상응하는 기대와 도전이 증가했다는 것을 알고 있었다. 슐로스버그 프레임워크 내에서 변화를 협상하기 위한 그들의 전략을 그룹화하여, 우리는 급격한 변화 기간 동안 개별 교육자들이 필요로 하는 지원을 고려하는 체계적인 접근 방식을 제공한다. 의학 교육에 종사하는 모든 사람들이 의학 교육자의 정체성으로 성공적으로 전환할 수 있거나 의향이 있는 것은 아니다. 교수개발을 책임지는 사람들이 이러한 꺼림칙하거나 어려움을 겪고 있는 교육자들을 개인적 차원에서 지원할 수 있는 방법을 찾지 못한다면, 교육 관행을 개선하고 확장하기 위해 그들을 학문적이고 전문적인 활동에 참여시키는 것은 거의 불가능하다. 우리는 이에 대한 몇 가지 가능한 이유를 검토했고 이 프레임워크가 개별 의료 교육자들과 함께 사용되어 그들이 직장 생활의 변화에 적응할 수 있는 전략을 개발할 수 있도록 도와야 한다고 제안한다. 그들이 적응함에 따라, 그들은 완전한 의학 교육자의 정체성으로 전환하고 감정적으로 참여할 수 있게 될 것이다.

The participants in our study were all in the latter parts of their careers and had wide experience of negotiating the changes necessary to make the transition to a firmly established medical educator identity. Although they accepted that in many ways the career situation has improved for medical educators, they also were aware that expectations and challenges have risen correspondingly. By grouping their strategies for negotiating change within the Schlossberg framework,15 we offer a systematic approach to considering the support needed by individual educators during periods of rapid change. Not all of those working in medical education are able or willing to make a successful transition to a medical educator identity. Unless those responsible for faculty development can find a way to support these reluctant or struggling educators at a personal level, it is almost impossible to engage them in scholarly and professional activities to improve and extend their education practice. We have examined some of the possible reasons for this and propose that this framework should be used with individual medical educators to help them develop strategies to adapt to changes in their working lives. As they adapt, they will be enabled to make the transition to and to emotionally engage with a full medical educator identity.

의료 교육 경력을 시작하는 직원에게 지원을 제공할 때 다음과 같은 특정 상황에 맞는 조언과 지원을 제공하는 것이 중요합니다. 

• 자아(역할에 대한 이전 경험과 아이디어 및 기대) 
  
• 상황(예상되는 것에 대한 이해와 우려를 포함하여 스스로 발견하는 상황) 
  
• 지원(사용 가능한 리소스, 필요한 리소스 및 액세스 위치와 방법을 알고 있는지 여부) 및 
  
• 전략(어려운 의료 교육 환경에서 번창할 수 있도록 변화에 대처하는 개인 전략을 개발하는 데 도움이 됩니다.)

When providing support to staff who are commencing medical education careers, it is important to tailor advice and support to their particular circumstances, including:

• Self (their previous experiences and their ideas and expectations regarding the role);
• Situation (the circumstances in which they find themselves, including their understanding of and concerns about what is expected);
• Support (the resources they have available, what they may need, and whether they know where and how to access these), and, finally,
• Strategies (helping them to develop personal strategies to cope with changes so that they are enabled to thrive in the challenging medical education environment).

마지막으로, [(의료 교육자 역할, 잘 정의된 기대 및 조직적으로 적절한 경계에 대한) 명확한 의사소통]은 개인과 의료 교육 공동체 모두의 [정체성과 정당성에 대한 불안의 여운]을 극복하는 데 중요하다. 이는 기술 습득에 대한 목표 자문, 개인 개발 및 연습을 위한 구조적 지원 및 시간 제공과 결합되어야 한다. 이것은 두 가지 이점이 있다.

• 의료 교육 역할에 있는 사람들을 지원하는 것
• 교육자가 아닌 사람들 사이에서 더 나은 이해를 할 수 있도록, 의료 교육자 정체성의 쉽게 알아볼 수 있는 대중적 얼굴을 제공하는 것

Finally, clear communication of the medical educator role, well-defined expectations and organisationally appropriate boundaries are important to combating lingering feelings of insecurity around identity and legitimacy in both individuals and the medical education community.32, 33 These should be coupled with the provision of targeted advice on the acquisition of skills, and structural support and time for personal development and practice. This has a twofold benefit

• in both supporting those who are in medical education roles and
• in providing an easily recognisable public face of the medical educator identity to permit better understanding among those who are not themselves educators.

튜니센과 웨스터만은 다음과 같이 주장한다. 전환은 순간이 아니라 개인이 한 환경에서 다른 환경으로 이동하는 역동적인 과정이다.' 의학 교육자들은 교육자 역할로 이동하기 위해 고군분투하는 후배들을 도울 수 있다. 

• 첫째, 변화에 적응하고 새로운 정체성으로 전환하기 위한 능력과 동기에 영향을 미치는 요인을 파악하고 이해한다. 
  
• 둘째, 긍정적인 대처 전략을 채택할 수 있도록 돕는 것이다. 중요한 것은 이러한 모델이 멘토들이 새로운 역할과 정체성으로 전환함에 따라 교육자에 대한 개별 지원을 목표로 삼을 수 있는 기회를 식별하는 데 도움이 될 수 있다는 것이다. 

Teunissen and Westerman assert that: ‘A transition is not a moment but rather a dynamic process in which the individual moves from one set of circumstances to another.'33 Medical educators can help junior colleagues who may be struggling to move into an educator role by,

• firstly, identifying and understanding the factors that influence their ability and motivation to adapt to change and to make the transition to a new identity, and,
• secondly, helping them to adopt positive coping strategies. Importantly, such a model might also help mentors to identify opportunities to target individual support for educators as they make the transition into their new roles and identities.34

결론들
Conclusions

4S 프레임워크에 대한 논의는 후배 교육자에 대한 더 나은 목표 지원 및 멘토링으로 이어질 수 있으며, 선배들이 교육자 정체성을 향한 여정에서 요구되는 어려운 도전에 직면할 준비가 되어 있는 사람들과 그들의 직업에서 이 시점에서 변화에 대처하기 위해 잠재적으로 고군분투할 수 있는 사람들을 식별하는 데 도움이 될 수 있습니다.

Discussions based around the 4S framework may lead to better targeted support and mentoring for junior educators and may help seniors to identify those who are ready to face the difficult challenges required in the journey towards an educator identity and those who may potentially struggle to cope with change at this point in their careers.

© 2017 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

의과대학 교육과정의 질 개선 - 어떻게 접근해야 하는가? (Med Educ, 2022)
State of the science: Quality improvement of medical curricula—How should we approach it?
Susan Jamieson

1 소개
1 INTRODUCTION

의료 커리큘럼의 품질 향상(QI)은 커리큘럼 팀의 중요한 우선 순위이며 많은 이해 관계자(학습자, 교육자, 환자, 보호자, 특정 분야 및 전문성, 규제 기관 및 자금 제공자)에게 중요하다. 지속적인 QI는 외부 주도 인증 중심 커리큘럼 리뷰와는 구별되지만, 외부 주도형 커리큘럼 검토와 관련이 있다. 이 서술적 검토는 의료 커리큘럼의 QI에서 가정과 실천 중 일부를 탐색하고 커리큘럼 팀을 위한 권고안을 제시한다. 이 검토는 관련 MeSH 용어 또는 키워드 또는 이들의 조합을 포함하는 영어 전체 텍스트 기사에 대한 MEDLINE, EMBASE, PUBMED 및 ERIC 데이터베이스의 검색을 통해 식별된 의료 및 기타 보건 전문 교육의 문헌에 주로 기초한다. 다른 출처에는 예시적인 커리큘럼 프레임워크와 평가 보고서가 포함된다. 먼저 핵심 개념을 정의하고 설명합니다.
Quality improvement (QI) of the medical curriculum is an important priority for the curriculum team and is of consequence to many stakeholders: learners, educators, patients, carers, specific disciplines and specialities, regulators and funders. Continuous QI is distinct from, but feeds into, externally driven accreditation-focused curriculum reviews. This narrative review1 explores some of the assumptions and practices in QI of medical curricula and makes recommendations for curriculum teams. The review draws mainly on literature from medical and other health professions education, identified through searches of the MEDLINE, EMBASE, PUBMED and ERIC databases for English-language full-text articles that contained relevant MeSH terms or keywords, or combinations thereof. Other sources include exemplar curricular frameworks and evaluation reports. Key concepts are first defined and explained.

2 주요 개념과 매개변수
2 KEY CONCEPTS AND THE PARAMETERS OF THIS REVIEW

[퀄리티]은 기업의 '우수도의 척도'로 정의되어 왔다. 의료 커리큘럼(또는 프로그램)의 품질은 학습, 교육, 평가, 학습 환경 등의 [특정 표준specific standards]에 따라 평가된다. 이 표준은 다음과 같은 기관에 의해 설정될 수 있다.

• 대학이나 대학과 같은 고등 교육 기관
  
• 영국 왕립 대학과 같은 졸업후 의학 교육 제공자
  
• 영국의 GMC(General Medical Council) 또는 세계 의학 교육 연맹(WFME)과 같은 지역 또는 글로벌 의료 교육 규제 기관

Quality has been defined as ‘a measure of the degree of excellence’2 of an entity. The quality of a medical curriculum (or programme) is judged against specific standards of learning, teaching, assessment, learning environment and so on. These may be set

• by higher education institutions, such as colleges or universities;
• by providers of postgraduate medical education, such as the Royal Colleges in the United Kingdom; or
• by local or global regulators of medical education, such as the General Medical Council (GMC) in the United Kingdom, or the World Federation of Medical Education (WFME).

• [퀄리티 보증(QA)]은 [규제/인정기관이 (퀄리티 표준에 대한 책무가 있는) 어떤 의료 커리큘럼이 퀄리티 표준이 충족되는 정도를 결정하는 과정]이다.
• [퀄리티 개선(QI)]은 일반적으로 [커리큘럼 팀이 이해관계자 피드백을 사용하여 커리큘럼이 관련 표준을 충족하는지 여부를 결정한 다음, 인식된 결함을 해결하기 위한 새로운 활동 또는 기타 조치를 시행하고, 후속적으로 커리큘럼의 품질을 재평가하는 지속적인 프로세스]로 간주된다.
• Quality assurance (QA) is
  • a process whereby regulatory/accrediting bodies determine the extent to which quality standards are met by medical curricula accountable to them.3 
• Quality improvement is generally regarded as
  • a continuous process whereby curriculum teams
    • use stakeholder feedback to determine whether the curriculum meets relevant standards,
    • then implement new activities or other measures to address perceived deficiencies
    • and subsequently re-evaluate the quality of the curriculum.2 

프랭크 외 연구진은 [QA를 총괄적]이라고 구분하고, [QI를 형성적]이라고 구분한다. 의료 자체에서 QI는 [환자의 경험]을 향상시키고, [환자의 안전]을 개선하기 위해 상당한 초점을 맞추고 있다. 예를 들어, 미국의 경우, ACGME(Creditation Council for Graduate Medical Education)는 의사가 품질 향상과 관련된 역량을 입증하도록 요구한다.5 이에 따라 의료 학습자 및 실무자, 기타 의료전문가를 대상으로 품질향상의 원칙과 과정에 대해 교육하기 위한 품질향상 교육과정이 개발되었다. 그러나 본 검토의 초점은 [QI에 관한 커리큘럼]이 아니라, [의료 커리큘럼의 QI]에 있다.

Frank et al. distinguish between QA as summative and QI as formative.4 In healthcare per se, there is significant focus on QI to enhance the patient experience/improve patient safety. For example, in the United States, the Accreditation Council for Graduate Medical Education (ACGME) requires physicians to demonstrate competencies related to quality improvement.5 Accordingly, quality improvement curricula have been developed to teach medical learners and practitioners, and other healthcare professionals, about the principles and process of quality improvement.6-11 However, the focus of this review is not on curricula about QI, but on QI of the medical curriculum.

3 품질 개선 프로세스 개요
3 OVERVIEW OF THE QUALITY IMPROVEMENT PROCESS

의료 커리큘럼의 지속적인 QI를 위한 프로세스와 공통 메커니즘은 표준 의료 교육 텍스트에 상세히 설명되어 있습니다.2 연속 QI에 대한 [계획-실행-연구-행위(PDSA)] 사이클은 데밍에 기인한다. 켄라이트와 윌킨슨은 [계획-실행-평가-조사plan-implement-evaluate-investigate]의 순환이 되도록 의료 커리큘럼에 적용했다. 다양한 이해관계자는 일반적으로 프로세스의 시작점을 제공한다. 의료 커리큘럼의 QI의 주요 이해관계자 그룹은 전통적으로 의학 학습자 자체였지만, 다른 이해관계자(예: 동문 또는 선택 호스트)로부터 피드백을 구할 수도 있다. 의학 교육의 연속체에서의 커리큘럼의 위치(UG, PG, CPD)에 따라 구체적인 이해관계자 그룹이 변경되거나, 특정 그룹의 견해가 다소 좌우될 수 있다.
The process and common mechanisms for continuous QI of medical curricula are elaborated in standard medical education texts.2 The plan-do-study-act (PDSA) cycle for continuous QI is attributed to Deming.12 It has been adapted for the medical curriculum by Kenwright and Wilkinson to become a cycle of plan-implement-evaluate-investigate.2 The various stakeholders typically provide a starting point for the process. The main stakeholder group in QI of medical curricula has traditionally been medical learners themselves,13-15 but feedback may also be sought from other stakeholders, for example, alumni, or elective hosts.16, 17 Depending on where a particular curriculum is positioned on the continuum of medical education—undergraduate (UG), postgraduate (PG) or continuing professional development (CPD)—the specific stakeholder groups may change or the views of certain groups may hold more or less sway.

일반적으로 [설문조사]에 응답하거나, [포커스 그룹] 또는 [커리큘럼 위원회]에 참여함으로써 이해 당사자는 커리큘럼 또는 그 측면을 평가한다. 교육과정 팀은 평가를 검토하고 이에 대응한다. 여기에는 특정 문제에 대한 추가적 탐구가 포함될 수 있습니다. 예를 들어, 설문조사에서 부정적인 점수나 논평 뒤에 숨겨진 이유를 더 잘 이해하기 위해 포커스 그룹을 조직하는 것이 포함됩니다. 이유를 더 잘 이해했다면 다음과 같이 대응할 수도 있다.

• 학습, 교육 및 평가를 위한 기존 규정을 바꾼다.
  
• 학습 환경의 문제를 해결한다. 
  
• 기존 규정의 변경이 적절하거나 실현 가능한지 여부에 대한 교육학적 또는 실용적인 판단을 내린다. 

중요한 것은, 커리큘럼 팀의 response에는 '루프 닫기closing the loop'가 포함되어야 하며, 여기에는 이해 관계자에게 결과를 전달하는 것이 포함되어야 한다. 교육과정의 다음 실행에서, 그 과정은 다시 시작된다.

Usually by responding to surveys, or participating in focus groups or curriculum committees, stakeholders evaluate the curriculum or aspects of it. Curriculum teams review the evaluation and respond to it. This may include further exploration of specific issues; for example, organising focus groups to better understand the reasons behind negative scores or comments in a survey. The response may include

• making changes in existing provision for learning, teaching and assessment;
• addressing issues in the learning environment; or
• taking pedagogical or pragmatic decisions about whether changes in existing provision are appropriate or feasible.

Importantly, the response from curriculum teams should incorporate ‘closing the loop’,18 which includes communication of the outcome(s) to stakeholders. At the next run of the curriculum, the process begins again.

4 의과대학 교육과정의 QI 문제 
4 PROBLEMS WITH QI OF THE MEDICAL CURRICULUM

의료 교육과정의 지속적인 QI와 관련된 몇 가지 문제가 있다.

• 첫째, 의료 교육 커뮤니티의 구성원들은 지리적 맥락 및/또는 UG 또는 PG 맥락에 포함되는지, 또는 학술 또는 임상 환경에 따라 QI를 설명하기 위해 다른 언어를 사용한다. 이것은 QI의 성격과 목적에 대한 서로 다른 용어들이 상충되는 개념화와 일치하는지 여부가 중요하다. 더욱이 대안적 용어(및 개념화)에 대한 인식 없이는 증거 기반에 완전히 관여하는 것이 어려울 수 있다.
• 두 번째 문제는 의료 교육과정의 QI에서 무엇이 우선시되고 무엇이 이에 영향을 미치는지이다.
• 셋째, 커리큘럼의 질을 향상시키기 위해 적절한 기준에 따라 커리큘럼을 평가하고 있는가?
• 넷째, 정렬된 방법을 사용하고 있는가? QI에 대한 우리의 우선 순위와 방법론적 접근 방식이 이해 관계자가 발언할 수 있는 것에 영향을 미치기 때문에 이러한 문제가 중요합니다.
• 마지막으로, 문헌에서는 커리큘럼 QI에 대한 공유된 소유를 지지한다. 하지만 우리는 어떻게 이것을 육성할 수 있을까요?

이 검토의 나머지 부분은 의료 커리큘럼의 QI를 특징짓는 가정과 실천 중 일부를 탐색하고 커리큘럼 팀에 권고함으로써 이러한 문제를 다룬다.

There are several problems relating to continuous QI of the medical curriculum.

• Firstly, members of the medical education community use different language to describe QI, depending on their geographical context and/or whether they are embedded in an UG or PG context, or an academic or clinical environment. This matters if the different terminology aligns with conflicting conceptualisations about the nature and purpose of QI. Moreover, without an appreciation of alternative terminologies (and conceptualisations), it may be challenging to engage fully with the evidence base.
• A second problem is what is prioritised in QI of the medical curriculum and what influences this.
• Thirdly, in aiming to improve curricular quality, are we evaluating the curriculum against appropriate standards,
• and—fourthly—using aligned methods? These issues matter, because our priorities and our methodological approach to QI impact which stakeholders have a voice.
• Finally, the literature advocates shared ownership of curricular QI, but how might we foster this?

The remainder of this review addresses these problems, by exploring some of the assumptions and practices that characterise QI of medical curricula and making recommendations to curriculum teams.

5 QI의 개념화
5 DIFFERENT CONCEPTUALISATIONS OF QI

QI에 대해 이야기할 때 의학 교육계는 '동일한 언어'를 사용하는가? QI의 다른 개념화를 반영하는 만큼 중요한 다른 용어는 서로 다른 맥락에서 사용된다.

• '질 개선quality improvement'이라는 용어는 [의료 환경]에서 흔히 사용되며, 일부 [교육 환경]에서 사용됩니다.
• 그러나 다른 교육적 맥락에서 질 향상(quality enhancement, QE)이라는 용어가 대신 사용된다. 이것은 ['개선'이라는 단어에 대한 부정적인 함축]으로부터 벗어나는 움직임을 나타낸다:
  • 윌리엄스는 '[개선improvement]이란 종종 활동을 표준에 도달하는 과정을 가리키는 데 사용되는 반면, [향상enhancement]은 [이미 좋은 기준]을 더 높은 수준으로 끌어올리고, 강화하거나 확대하는 데 사용된다'고 주장한다.

Are we, the medical education community, ‘speaking the same language’ when we talk about QI? Different terminology is used in different contexts, which matters inasmuch as it reflects different conceptualisations of QI.

• The term ‘quality improvement’ is commonplace in healthcare contexts and used in some educational contexts.
• However, in other educational contexts the term quality enhancement (QE) is used instead.19, 20 This represents a move away from negative connotations of the word ‘improvement’:
  • Williams argues that ‘improvement is often used to refer to a process of bringing an activity up to standard whereas enhancement is about raising [an already good standard] to a higher degree, intensifying or magnifying it’.21 

QE 용어는 유럽 무대에서 학부교육과정 맥락에 널리 퍼져 있다. 실제로 네덜란드 단체의 최근 출판물에서 QI는 '지속적인 교육 질 향상'으로 묘사된다. QE는 교육 기관의 '퀄리티 문화'를 개발하는 데 초점을 맞추고 있다. 퀄리티 문화의 개념은 다음을 포함한다.

• 공유된 가치, 집단적 책임, 제도적 자율성, 투명성, 효과성, 권한 부여를 통한 변혁적 능력

QE terminology is prevalent in undergraduate contexts in the European arena.22 Indeed, in a recent publication by a Dutch group, QI is described as ‘continuous enhancement of educational quality’.23 QE is focused on developing a ‘quality culture’ in the educational organisation.22-24 The concept of quality culture incorporates

• shared values, collective responsibility, institutional autonomy, transparency, effectiveness and transformative ability through empowerment.22 

QE의 초점은 통제와 규정 준수가 아닌, [개발과 혁신]에 있습니다. [외부 QA]는 교육 기관의 [내부 QE(Quality QE)] 프로세스를 평가하는 데 초점을 맞추고 있으며, 교육 기관의 교육 수준 충족 여부를 판단하는 데 중점을 두고 있습니다. 개별 의료 커리큘럼의 이해 관계자가 QI에 대해 서로 다른 개념화를 가지고 있다면, 이는 과정에 대한 혼란, 박탈감 및 커리큘럼에 대한 의사 결정의 긴장감으로 이어질 수 있다.

The focus in QE is on development and innovation as opposed to control and compliance.24 External QA is focused on evaluation of the education provider's internal QE (QI) processes as opposed to judging whether curricular standards have been met.22 If stakeholders in an individual medical curriculum hold different conceptualisations of QI, this may lead to confusion about the process, feelings of disenfranchisement and tensions in decision making about the curriculum.

QI에 대한 용어가 달라지면 관련 증거 기반과의 참여에도 영향을 미칩니다.

• '질 개선'을 검색하면 주로 북미 의료 커리큘럼 또는 프로그램의 문헌이 검색되며, 종종 졸업후 교육의 맥락이다.
• '질 향상'을 검색하면 미국 바깥과 UG 문맥에서 더 많은 문헌을 확인할 수 있다.
• 또한 '교육과정 평가'는 전통적으로 학문적 맥락에서 QI를 의미하는 데 사용되는 반면,
• '프로그램(프로그램) 평가'는 북미적 맥락에서 더 일반적일 수 있다. 

The different terminology for QI also impacts engagement with the relevant evidence base.

• Utilisation of ‘quality improvement’ in literature searches directs the searcher largely towards literature from North American medical curricula or programmes, often in a graduate context.
• Utilising ‘quality enhancement’ identifies more literature from out-with the United States and from an UG context.
• In addition, ‘curriculum evaluation’ is traditionally used to mean QI in academic contexts,
• whereas ‘programme (program) evaluation’ may be more common in North American contexts.25

권장 사항: 교육 과정 팀은 QI의 개념화와 QI 구현 목적에 대한 담론에 참여하고 이를 이해 관계자에게 전달해야 합니다. QI에 대한 증거 기반을 검토할 때, 문헌에 대한 우리의 [검색과 해석]은 [서로 다른 용어와 개념화]를 반영해야 합니다.
Recommendations: curriculum teams should engage in discourse about their conceptualisation of QI and their purpose in implementing QI and communicate this to stakeholders; and in reviewing the evidence base for QI, our searches for, and interpretation of the literature should reflect different terminologies and conceptualisations.

6 평가해야 할 사항에 대한 우선 순위와 관점
6 PRIORITIES AND PERSPECTIVES ON WHAT SHOULD BE EVALUATED

우리는 무엇을 평가해야 할까요? 커리큘럼의 품질에 대한 판단은 [이해당사자에 의해 평가되고 우선시되는 것]을 반영할 것이다. 이는 결과적으로

• 사회의 특정 집단(환자, 보호자 및 납세자 포함), 기금 제공자, 규제 기관 및 전문 기관, 전문 분야 또는 교육 원칙에 대한 [책무성]을 반영한다.
• 또는 그들 자신의 학습과 발전에 대한 [관심]을 반영할 수도 있다. 

What should we evaluate? Judgements about the quality of curricula will reflect what is valued and prioritised by stakeholders. This will in turn reflect their

• accountability
  • to specific groups in society (including patients, carers and taxpayers),
  • to funders,
  • to regulators and professional bodies,
  • to their specialities or disciplines, or
  • to educational principles;
• or concern for their own learning and progression.

따라서 평가자는 [커리큘럼의 특정 측면 또는 구성요소]에 대한 품질을 우선시할 수 있다. 예를 들면

• 공공 및 환자의 참여 정도, 평가 프로그램, 학습을 위한 자원 등

Evaluators may therefore prioritise quality in specific aspects or components of the curriculum,

• such as the degree of public and patient involvement,26 the programme of assessment27 or resources for learning.

이해당사자들은 또한 [교육과정이 무엇이어야 하는지]에 대해 다른 관점을 가질 수 있다. 커리큘럼 이론은 커리큘럼의 기본 목적에 따라 커리큘럼 설계에 대한 다양한 접근 방식을 알려준다.

• 내용으로서의 교육과정(또는 syllabus),
• 제품으로서의 교육과정,
• 과정으로서의 교육과정
• 실천으로서의 교육과정. 

Stakeholders may also have different perspectives on what a curriculum should be. Curriculum theory informs different approaches to curriculum design, based on the underlying purpose of the curriculum:

• curriculum-as-content (or -syllabus),
• curriculum-as-product,
• curriculum-as-process and
• curriculum-as-praxis.28 

• [내용으로서의 교육과정 관점]은,교사 중심이며, 교육과정을 학습된 과목으로 본다. 
  
• [제품으로서의 커리큘럼 관점]은, 랄프 타일러(Ralph Tyler)에서 유래하며, 커리큘럼이 무엇을 생산하고자 하는지에 초점을 맞춘다. 의학 교육에서 이것은 효과적인 의사가 될 것이다. 이러한 관점은 거의 틀림없이 성과 또는 역량 기반 의료 커리큘럼과 가장 밀접하게 일치한다.
• [과정으로서의 교육과정 관점]은, Stenhouse에서 유래하며, 학습과 상호작용의 기회를 포함하여 교육과정 중 학습 과정에 관한 것이다. 그것은 학습자 개발에 초점을 맞추고 따라서 학습자 중심이다. 
• The curriculum-as-content perspective is teacher-centric and sees curriculum as the taught subject matter.
• The curriculum-as-product perspective, attributed to Ralph Tyler,29 focuses on what the curriculum aims to produce. In medical education this will be effective doctors. This perspective arguably aligns most closely with the outcomes- or competency-based medical curriculum.30 
• The curriculum-as-process perspective, attributed to Stenhouse,31 is concerned with the learning process during the curriculum, including opportunities for learning and interaction. It focuses on learner development and is therefore learner-centred.32 

현대의학 커리큘럼은 효과적인 의사의 '제품'을 목표로 할 수도 있지만, 그들은 또한 학습 과정에 관심을 가지고 있으며, 그들의 의사들이 자기 주도적이고, 자기 통제적이며, 성찰적인 의사로 발전하기를 바란다. 여기에 커리큘럼의 질을 평가하는 데 파급력을 가지는 [긴장이 존재]한다. 이해당사자들이 커리큘럼의 목적에 대해 다른 관점을 가질 수 있기 때문이다. 또한 의료 커리큘럼이 [여러 표준 세트(예: 교육 및 전문 규제 기관)]를 충족해야 하는 경우, 특정 우선순위 또는 커리큘럼 철학이 다른 표준 세트보다 한 세트의 표준과 더 잘 일치할 수 있다. 영국에서, 학부의학교육에 있어서 이해관계자 우선 순위가 서로 다른 예는

• [환자 안전에 대한 궁극적인 초점]이 [고부담 의사 면허 시험으로의 이행]을 주도했다는 것이다.
• 반면, [고등교육의 일반적인 움직임]은 지속 가능한 평가를 향하고 있다(자기평가, 동료평가, 성찰, 포트폴리오 및 학습 활동 내 임베딩 평가를 포함하여 평생 학습을 용이하게 하는 평가).

Modern medical curricula may aim for the ‘product’ of an effective doctor, but they are also concerned with the process of learning, wanting their doctors to develop into self-directed, self-regulated, reflective practitioners. Herein lie tensions that can spill over into evaluating the quality of the curriculum, if stakeholders have different perspectives on the purpose of the curriculum. Also, where a medical curriculum must meet multiple sets of standards (e.g. those of educational and professional regulators), specific priorities or curriculum philosophies may align better with one set of standards than the other. An example of differing stakeholder priorities impacting UG medicine in the United Kingdom is that

• an ultimate focus on patient safety has driven the implementation of a high-stakes medical licensing assessment33;
• whereas the general move in higher education is towards sustainable assessment (that which facilitates life-long-learning, including self-assessment, peer- assessment, reflection, portfolios and embedding assessment within the learning activities).34, 35

[실천으로서의 교육과정 관점]에서는 '가치 있는' 것이 무엇이며, 이를 개선하기 위해 교육과정 내에서 변화가 필요한지에 초점을 맞추고 있다. 이는 다음에 부합한다.

• [환자 중심의 의학교육]을 강조하는 것,
• [교육과정의 포용성]을 강조하는 것,
• [잠재 교육과정(교육경험의 일부이지만 정식 교육과정의 일부가 아닌 학습, 잠재적으로 후자와 상충되는 학습)에 의해 훼손되지 않은 것]을 강조하는 것

From the curriculum-as-praxis perspective, attributed to Grundy, there is a focus on what is ‘valuable’, and changes needed to enhance this within the curriculum.28 This is consistent

• with a patient-centred focus in medical education,
• with ensuring that the curriculum is inclusive, and
• with ensuring it is not undermined by the hidden curriculum (learning that is part of the educational experience but not part of the formal curriculum, and potentially conflicting with the latter).

교육 과정의 질을 판단하는 사람들이 무엇을 중시하고 우선시하는가에 따라, 이해 당사자들은 교육 과정이 중심이 되어야 하는 곳(예: 학습자 또는 환자)에 대해 합법적으로 다른 관점을 가질 수 있다. Damodaran은 [학습자 중심성]의 개념이 의료교육에서 지나치게 우세해졌으며, 의료교육의 '최적 중심성optimal centeredness'은 의료교육의 다양한 단계마다 정당한 이유로 달라질 수 있다고 주장한다. 

Depending on what is valued and prioritised by those who judge curricular quality, and their conceptualisation of curriculum, stakeholders may legitimately hold different perspectives on where the curriculum should be centred (e.g. on the learner or the patient). Damodaran suggests the concept of learner-centredness has become overly dominant in medical education and that the ‘optimal centredness’ of the medical curriculum may legitimately vary at different phases of medical education.36

권장 사항: 커리큘럼 팀은 커리큘럼에서 무엇이 가치 있는지, 그 [목적 및 중심성]에 대해 논의할 기회를 만들어야 합니다. 커리큘럼의 통합 평가에서 특정 우선순위나 관점이 데이터 수집의 특정 에피소드를 형성할 수 있지만, 여러 출처의 데이터를 통합하고 반영해야 하는 커리큘럼 팀의 감독이 있어야 한다.
Recommendations: curriculum teams should create opportunities for discussion about what is valued in the curriculum, its purpose and its centredness. In an integrated evaluation of the curriculum,23 although specific priorities or perspectives may shape a particular episode of data collection, there should be oversight by the curriculum team, who should synthesise and reflect on data from multiple sources.

7 품질기준에 대한  고려사항
7 CONSIDERATIONS ABOUT QUALITY STANDARDS

[퀄리티 지표]에는 커리큘럼 학습 목표, 학습 결과 및/또는 역량 제공이 포함된다. 이는 모든 이해관계자에게 커리큘럼에 포함되어야 하는 것을 명시하고 커리큘럼(및 이해관계자)이 판단될 수 있는 기준을 제공하기 때문이다. '학습 목표'와 '학습 결과'라는 용어는 때때로 상호 교환적으로 사용됩니다.

• 그러나 [학습 성과]는 의도적으로 [학습자 중심적]이며, 학습자가 관련 지식, 기술 및 태도의 성취를 어떻게 보여줄 수 있는지를 명시하고, [학습의 폭과 깊이]에 대한 가이드를 제공합니다.
  • 예를 들어, '자원의 사용과 우선 순위를 지속적으로 개선하는 방법을 모색하는 것을 포함하여 실무(예: 계획, 실행, 연구, 행동 또는 행동 연구)를 개선하기 위한 품질 개선 원칙과 방법을 제시한다.' 
• 대신, [학습 목표]는 [학습해야 할 자료]를 강조하지만, 종종 학습의 폭이나 깊이를 나타내지 않는다.
  • 예를 들어, '품질 개선의 원칙과 방법을 이해한다'. 
• [역량]은 [특정 수준의 성과에 대한 성과를 특정 표준에 따라 명시]한다. 
  • 예를 들어, '질적 개선의 과학을 환자 치료 시스템 개선에 기여하기 위해 적용'한다. 

An indicator of quality includes the provision of curricular learning objectives, learning outcomes and/or competencies,37 because these specify to all stakeholders what should be included in the curriculum and provide standards against which the curriculum (and stakeholders) may be judged. The terms ‘learning objectives’ and ‘learning outcomes’ are sometimes used interchangeably.

• However, learning outcomes are intentionally learner-centric, specifying how the learner will be able to demonstrate achievement of relevant knowledge, skills and attitudes, providing a guide as to breadth and depth of learning:
  • for example, ‘apply the principles and methods of quality improvement to improve practice (for example, plan, do, study, act or action research), including seeking ways to continually improve the use and prioritisation of resources’.38 
• Instead, learning objectives emphasise the material to be learned, but often without indication of breadth or depth of learning;
  • for example, ‘understand the principles and methods of quality improvement’.39 
• Competencies specify achievement at a particular level of performance, according to specific standards;
  • for example, ‘apply the science of quality improvement to contribute to improving systems of patient care’.40

현대의학 커리큘럼은 일반적으로 결과 기반 또는 역량 기반이라고 설명한다.30 QI는 다음에 초점을 맞출 수 있습니다

• 성과 또는 역량이 적절한지 
• 학습 활동과 학습 환경이 학습자가 성과 또는 역량에 부합할 수 있도록 하는지
  
• 평가 시스템이 학교, 대학 또는 기타 기관이 학습자가 지정된 성과 또는 역량의 달성정도를 결정할 수 있도록 하는지

Modern medical curricula generally describe themselves as outcome-based or competency-based.30 QI might focus on ensuring

• that the outcomes or competencies are appropriate;
• that learning activities and the learning environment will allow learners to meet the outcomes or competencies; and
• that assessment systems will allow schools, colleges or other institutions to determine the extent to which learners have achieved the specified outcomes or competencies.

[한 가지 긴장]은 규제 기관이 발표한 결과/역량이 종종 광범위하여, 지역적 해석을 위한 상당한 여지를 남겨둔다는 것이다. 이는 가용 자원과 기타 상황별 문제를 고려할 수 있는 커리큘럼 팀에게 유연성을 제공하지만, 의료 커리큘럼의 퀄리티의 차이가 커지는 원인 중 하나일 것으로 추정된다. [또 다른 긴장]은 의료 교육과정이 다른 기준들을 준수해야 할 수도 있다는 것이다. 예를 들어, 영국에서 UG 의료 커리큘럼은

• 위임된 국가 정부 및/또는 고등 교육 부문의 규제 기관(the Office for Students in England)이 정한 표준뿐만 아니라
• 전문 규제 기관이 정한 표준(Outcomes for Graduates specified by the GMC)에도 부합해야 한다.

이들 각 기관은 UG(의료) 커리큘럼의 목적에 대해 서로 다른 견해를 가지고 있을 가능성이 높으며, 과제는 [완전히 호환되지 않을 수 있는 서로 다른 표준 세트]를 충족하는 의료 커리큘럼을 제공하는 것이다.
One tension is that outcomes/competencies published by regulators are often necessarily broad, leaving considerable room for local interpretation. Although this affords flexibility to curriculum teams, who can take into consideration available resources and other contextual issues, it presumably is one source of varying quality in medical curricula. A further tension is that a medical curriculum may need to conform to different sets of standards. For example, in the United Kingdom, the UG medical curriculum must conform

• not only to standards set by the devolved national governments and/or regulators of the higher education sector (e.g. the Office for Students in England, https://www.officeforstudents.org.uk/)
• but also to standards set by the professional regulator (Outcomes for Graduates specified by the GMC38).

These respective organisations likely hold different views on the purpose of an UG (medical) curriculum, and the challenge is to provide a medical curriculum that meets different sets of standards, which may not be fully compatible.

[세 번째 긴장]은 [지역적으로 해석]될 수는 있지만, [모든 맥락에서 최소한의 숙련도를 보장하는 퀄리티 표준]의 필요성 사이에 존재한다. 일부 국가는 다른 맥락에서 표준을 그대로 채택하거나 변형하여 채택했다. 예를 들어, [대만 의학 인증 위원회(TMAC)]는 미국과 캐나다의 의대를 인증하는 의학 교육 연락 위원회(LCME)의 표준을 기반으로 2013년 표준을 개발했습니다. 다른 의료 교육 맥락에서 표준을 가져오는 것은 지역 문화 또는 해당 인구의 필요성 또는 우선순위를 충분히 고려하지 않을 수 있다. [장기적인 WFME 프로젝트]는 의료 교육의 다양한 단계에 대한 Global Standards for Quality Improvement of Medical Education 을 정의하는 것이었다. 이 기관의 웹사이트에는 각 단계의 권장 표준에 대한 링크가 있으며, 가장 최근의 것은 기초 의학 교육 표준의 2020년 버전이다. 그러나 QI에 대한 WFME 표준의 실제 적용에 대한 경험적 연구의 체계적인 검토에서, 저자들은 이러한 표준이 '서구적' 맥락을 지향하고 있을 수 있으며, WFME에서도 [지역적 맥락에 맞게 가이드를 조정하여 사용]할 것을 권장한다는 것을 인정했다.

A third tension exists between the need for quality standards that can be interpreted locally yet ensure a minimal proficiency across all contexts. Some countries have adopted or adapted standards from other contexts; for example, the Taiwan Medical Accreditation Council (TMAC) developed their 2013 standards based on those of the Liaison Committee of Medical Education (LCME), 41 which accredits medical schools in the United States and Canada. Importing standards from another medical education context may not sufficiently take account of local culture or the needs or priorities of that population. A long-term WFME project has been to define Global Standards for Quality Improvement of Medical Education for various phases of medical education. The organisation's website (https://wfme.org/standards/) has links to the recommended standards for each phase, the most recent of which is a 2020 version of the standards for basic medical education.42 However, in a systematic review of empirical research into the practical application of the WFME standards for QI,43 the authors acknowledged that these standards may be oriented towards ‘western’ contexts and that the WFME itself recommends they be used as a guide, adapted for local contexts.

최근 이 분야에 추가된 것은 [유럽 의학 교육 협회(AMEE)가 제공하는 ASPIRE 상의 기준]과 같이 전문 회원 협회가 정한 품질 표준이다. 이러한 상은 [품질을 인정하는 것]의 동의어인 '우수성 인정'을 목적으로 한다.
More recent additions to the field are quality standards set by professional membership associations, such as the criteria for ASPIRE awards offered by the Association for Medical Education in Europe (AMEE). These awards aim to ‘recognise excellence’ (https://www.aspire-to-excellence.org/), which is a synonym for recognising quality.

권장 사항: 커리큘럼 팀은 적절한 기준에 따라 커리큘럼을 평가해야 합니다. 의료 커리큘럼이 여러 표준 세트를 준수하는 경우, 커리큘럼 팀은 평가 활동에 어떤 표준을 사용하고 있는지 명시하고 적절한 조치가 사용되는지 확인해야 한다.
Recommendations: curriculum teams must evaluate curricula against appropriate standards. Where medical curricula conform to multiple sets of standards, curriculum teams should be explicit about which standards are being used in any evaluation activity and ensure that appropriate measures are used.

8 QI에서의 방법론: 방법, 모델, 이론
8 METHODOLOGY IN QI: METHODS, MODELS, THEORY

[QI에 대한 적절한 방법론]에 대한 관점은 커리큘럼 팀이 QI를 [외부 QA를 위한 '드라이 런']으로 보는지, 아니면 [퀄리티 문화를 보장하는 수단]으로 보는지에 따라 영향을 받을 수 있습니다. 구체적인 쟁점으로는 학습자 조사의 우위성, 윤리적 평가, 의료 교육과정의 평가가 모델이나 이론의 적용에 의해 지시되는 범위 등이 있다.

Perspectives about appropriate methodology for QI will likely be influenced by whether curriculum teams see QI as a ‘dry run’ for external QA or as means of ensuring a quality culture. Specific issues include the dominance of learner surveys, ethical evaluation, and the extent to which the evaluation of medical curricula is directed by application of models or theories.

8.1 평가방법
8.1 Methods for evaluation

현대 학습자 중심 커리큘럼에서, [지속적인 QI]는 종종 기관 또는 국가 설문 조사를 사용하여 학습자 경험에 대한 정기적인 평가와 어느 정도 동의어가 되었다. 고등교육 분야에서는 [시장화 증가, 정부의 조사 데이터 사용, 그리고 학생들의 '소비자적 태도']가 조사 결과에 대한 '집착'으로 이어졌다. 전문 규제 기관은 학술 의학과의 긴밀한 관계를 가지며, 의료 교육의 연속성에 큰 영향을 미치는 전문 협회(예: AMEE)는 학계에 뿌리를 두고 있으므로, 학습자 설문조사의 사용이 의료 교육의 PG 및 CPD 단계로 확장되었다는 것은 놀라운 일이 아니다. 학습자 조사의 예로는 영국의 전국 학생 조사(NSS)가 있다. 
그리고 GMC의 PG 의료 훈련생과 트레이너를 위한 국가 훈련 조사(NTS)도 있다. 

In modern learner-centred curricula, continuous QI has become to some extent synonymous with regular evaluation of the learner experience, often using institutional or national surveys. In the higher education sector, increased marketisation, government use of survey data and possibly ‘consumerist attitudes’ of students have led to an ‘obsession’ with survey results.44 Professional regulators have close links with academic medicine, and professional associations with a major influence on the continuum of medical education (e.g. AMEE) have their roots in academia, so it is unsurprising that the use of learner surveys has extended into PG and CPD phases of medical education. Examples of learner surveys include the National Student Survey (NSS) in the United Kingdom, administered to all undergraduates in the final year of their studies45; and the GMC's National Training Survey (NTS) for PG medical trainees and trainers.46 

규제 기구는 (주제 영역, 분야 또는 전문성, 심지어 기관 간 비교를 허용하는 일반적인 Likert 유형 진술이 수반된) 정량적 도구를 선호할 수 있다. 그러나 이러한 진술은 이해관계자가 자신의 맥락에서 [해석하기 어렵거나], 학습자, 커리큘럼 팀 또는 기타 이해관계자에게 [가장 흥미롭고 중요한 문제를 다루지 않을 수] 있다. 아마도 이것이 네덜란드의 감사 조사 연구에서 교육 지도자들이 '내러티브한, 적시 피드백'에 대한 선호를 표명한 이유일 것이다. 후자는 코스/프로그램이 실행되는 동안 학습자가 커리큘럼 팀으로 보내는 피드백입니다. 잠재적으로, 그러한 평가는 학습자가 그들의 피드백에 대응하여 시행되고 있는 소규모 또는 예비적인 변화라도 볼 수 있다면 '루프 폐쇄'에 도움이 된다.

Regulators may favour such quantitative instruments, with generic Likert-type statements that allow for comparisons across subject areas, disciplines or specialities, even institutions, but such statements may be difficult for stakeholders to interpret in their context or may not address issues of greatest interest or importance to learners, curriculum teams or other stakeholders. Perhaps this is why educational leaders in a Dutch appreciative inquiry study expressed a preference for ‘narrative and just-in-time feedback’.24 The latter is feedback from learners to curriculum teams whilst the course/programme is running; potentially, such evaluation helps to ‘close the loop’ if learners can see even small-scale or preliminary changes being implemented in response to their feedback.

학습자 설문조사에서, [좋은 응답률을 달성하기 위한 방법론적 요구 사항]과 [윤리적 고려 사항] 사이에 긴장이 존재한다. UKUG의 맥락에서, 기관 KPI에는 NSS를 완료하는 특정 학과의 학생 비율이 들어있다. UG 학생 참여가 의무화될 수 없기 때문에, 학생들의 반응을 장려하고 교수진이 설문 조사를 촉진하도록 장려하는 것이 실제 상황이다. 아이러니하게도 [윤리적 교육 연구]에서는 인센티브를 주는 것이 권장되지 않음에도, NSS 설문조사 완료를 위해서 인센티브가 제공되기도 한다. 실용적인 차원에서, '피드백을 쫓는 것'은 학생들의 경험을 향상시키는데 직접적으로 도움이 될 수 있는 활동으로부터 시간이 걸린다. 영국의 PG 의료 훈련생과 트레이너의 경우, GMC의 온라인 가이드에는 '누가 이 설문을 작성해야 하는가?'이라는 제목의 섹션이 있기 때문에, NTS 완료에 대한 기대를 명확히 한다. 그럼에도 불구하고, 2021년에 32%, 2022년에 34%의 트레이너만이 응답했기 때문에 적어도 트레이너들에게 낮은 응답률은 여전히 문제로 남아 있다. 2021년 데이터 수집 당시 진행 중인 팬데믹과 비코로나 사례에 대한 후속 '캐치업'을 고려할 때 이는 놀라운 일이 아닐 수 있지만, 비응답 편향은 우려해야 한다.
With learner surveys, a tension exists between the methodological requirement to achieve good response rates, and ethical considerations. In the UK UG context, institutional key performance indicators include the percentage of students in a specific discipline that complete the NSS. Because UG student participation cannot be mandated, there is a veritable industry around encouraging students to respond and encouraging faculty to promote the surveys. It seems ironic that incentives are discouraged in ethical education research47 but sometimes offered for completion of the NSS survey. On a practical level, ‘chasing feedback’ takes time from activities that could directly feed into enhancing the student experience. For PG medical trainees and trainers in the United Kingdom, the language in the GMC's online guide to completion of the NTS makes expectations clear, because there is a section entitled ‘Who needs [my emphasis] to complete the survey?’.48 Nonetheless, low response rates remain an issue, at least for trainers, because just 32% of trainers responded in 2021 and 34% in 2022.49, 50 This may not be surprising, given the ongoing pandemic at the time of 2021 data collection, and the subsequent ‘catch-up’ on non-Covid cases, but non-response bias must be of concern.

학습자 설문조사가 여전히 지배적이지만, 점점 더 많은 자유 서술형 응답을 요구하는데, 이는 만족도 점수보다 커리큘럼 팀에 더 도움이 될 수 있다. 그러나 [이해당사자의 인식]을 진정으로 이해하고, 퀄리티를 높이기 위해서는, 커리큘럼 팀은 다음을 해야 한다.

• 학습자에게 더 매력적일 수 있는 추가 형태의 데이터 수집을 활용한다.
  
• 문제를 더 깊이 탐구할 수 있도록 허용한다.
  
• 학습자에 대한 적시 응답을 촉진한다.
  
• 다른 이해관계자에게 발언권을 준다.

또한, 커리큘럼 품질에 대한 '전체적인 개요'를 제공하기 위해 '다양한 도구와 절차의 삼각 측량'이 권장된다.
Although learner surveys still hold sway, they increasingly ask for free text responses, which can be more helpful to curriculum teams than per cent satisfaction scores. However, to genuinely understand stakeholder perceptions and enhance quality, curriculum teams should

• utilise additional forms of data collection, which may be more engaging for learners,
• allow for a deeper exploration of issues,
• facilitate just-in-time responses to learners, and/or
• give other stakeholders a voice.

Moreover, ‘triangulation of different instruments and procedures’ is advocated, to give ‘a holistic overview’ of curriculum quality.23

8.2 평가 모델
8.2 Evaluation models

[커리큘럼 평가 모델]의 적용은 [지속적인 QI]를 위하여 [데이터 수집, 방향성 제공, 매개 변수 정의, 체계적인 접근 촉진, '부분들의 관계' 지정 등]을 가이드할 수 있다. Coles와 Grant는 다음의 데이터를 삼각측량해야 하는 모델을 제안했다. 

• 의도된 커리큘럼('서류상' 커리큘럼),
• 전달된 커리큘럼('실행 된')
• 경험된 커리큘럼

Application of a curriculum evaluation model may guide the collection of data for continuous QI, providing direction, defining parameters, facilitating a systematic approach, and specifying ‘a relationship of parts’.51 Coles and Grant proposed a model requiring triangulation of data from

• the intended curriculum (the curriculum ‘on paper’),
• the delivered curriculum (‘in action’) and
• the curriculum experienced.25 

이것은 지역 사회 기반 의료 커리큘럼의 평가에 사용되어 왔다. 앤더슨 외 연구진은 커리큘럼에서 서로 다른 이해당사자들의 복잡성을 인식하기 위해 두 가지 모델을 사용하여 전문가 간 커리큘럼을 평가했다.

• Biggs의 3P 모델([기존 요인], [교습 및 학습] 프로세스 및 [교습 및 학습] 제품]을 제시) 및 
  
• 커크패트릭의 레벨(학습자 반응, 학습자 성과, 학습자 행동, 학습자 영향 [임상 결과]). 

Moreau56은 신세계 커크패트릭 모델에 의해 제공되는 가능성을 강조하지만 커크패트릭의 유형학은 고등 및 의학 교육 문헌에서 비판을 받아왔다. 

This has been used in evaluation of a community-based medical curriculum.52 In a bid to recognise the complexity of different stakeholders in the curriculum, Anderson et al.53 evaluated an interprofessional curriculum by drawing on two models:

• Biggs' 3P Model (presage [pre-existing factors], process [of teaching and learning], and product [of teaching and learning]),54 and
• Kirkpatrick's levels55 (learner reaction, learner performance, learner behaviour, learner impact [clinical outcomes]).

Kirkpatrick's typology has been criticised in the higher and medical education literature, although Moreau56 highlights the possibilities afforded by the New World Kirkpatrick Model.57

Stufflebeam은 '목표 지향, 테스트… 실험 설계'와 '책임성'에 대한 대안으로서 의사 결정과 개선을 지향하는 CIPP 평가 모델을 개발했습니다. CIPP는 4가지 다른 평가 초점을 나타내는 컨텍스트 입력 프로세스 제품을 나타냅니다. CIPP를 커리큘럼 평가에 적용하면

• [상황 평가]는 니즈, 문제 및 개선 기회를 식별하기 위해 커리큘럼의 한 측면에 대한 데이터 수집과 같다. 
  
• [투입 평가]는 가능한 해결책(예: 문헌, 전문가 및 혁신적 아이디어)을 탐색한다. 
  
• 그리고 가능한 '해결 전략'의 구현은 각각 전략의 지속적인 구현과 전략 구현의 결과에 초점을 맞춘 [프로세스 평가와 산출 평가]로 이어질 것이다.

Stufflebeam은 '무엇을 해야 하는가'를 결정하는 것으로 그의 모델을 요약한다. 어떻게 해야 할까요? 지금 하고 있는 거야? 성공하고 있는가?' CIPP 모델은 널리 적용되었다. 예를 들어, 간호 커리큘럼의 한 측면(즉, 말기 의료에 대한 교육)과 관련 솔루션(교원 개입)을 평가하도록 조정되었다. 한편, 의료교육에서 사회적 책임성을 평가하기 위한 전주곡으로 사회적 책임 프레임워크를 분석하는 데 사용되어 왔다. 
As an alternative to models ‘oriented to objectives, testing … experimental design’ and ‘accountability’, Stufflebeam developed the CIPP evaluation model, oriented towards decision making and improvement.58 CIPP denotes context-input-process-product, representing four different foci of evaluation. Applying CIPP to curriculum evaluation,

• context evaluations would equate to data collection on (an aspect of) the curriculum, to discern needs, problems and opportunities for improvement;
• input evaluation would search for possible solutions (e.g. from the literature, experts and innovative ideas); and
• implementation of a possible ‘solution strategy’ would lead to process and product evaluations, respectively focused on ongoing implementation of the strategy, and the outcomes of implementing the strategy.

Elsewhere Stufflebeam summarises his model as determining ‘What needs to be done? How should it be done? Is it being done? Is it succeeding?’.59 The CIPP model has been applied widely. For example, it was adapted to evaluate one aspect of a nursing curriculum (i.e. education on end-of-life care) and a relevant solution (teaching intervention)60; on the other hand, it has been used to analyse social accountability frameworks as a prelude to evaluating social accountability in medical education.61

8.3 이론에 근거한 평가
8.3 Theory-informed evaluation

[특정 이론]과 일치하는 평가 모델을 활용하여 지속적인 QI에 대한 이론 정보 접근 방식을 통해 의료 커리큘럼의 품질에 대한 더 큰 이해와 임베딩을 달성할 수 있다. 예를 들어,

• Coles와 Grant의 모델은 [커리큘럼 이론]의 기초를 가지고 있다. 
  
• [퀄리티 문화 이론]의 적용은 무엇이 품질 문화에 기여하는지에 대한 교육 지도자들의 관점에 대한 감사한 조사를 안내했다.
• Anderson 등은 Biggs의 3P 모델과 Kirkpatrick의 수준을 사용한 것이 [복잡성 이론]과 일치한다고 가정했다.
• Jorm과 Roberts는 기존 모델이 선형이고 의학 학습자의 고유한 경험을 포착하지 못한다는 것을 기반으로 새로운 평가 모델을 개발하기 위해 복잡도 이론을 사용할 것을 지지했다. [복잡성 이론]이 알려주는 평가 원칙에는 '집단적 감각 형성'과 다중 방법 참여 데이터 수집, '대학, 보건 시스템, 사회'의 영향 고려, 장기 및 임상 결과 측정 등이 있다. 

Greater understanding about, and embedding of, quality in medical curricula may be achieved through a theory-informed approach to continuous QI, utilising evaluation models aligned with specific theories.53 For example,

• Coles and Grant's model has its foundations in Curriculum Theory25, 28;
• whilst application of the Quality Culture Theory guided appreciative enquiry into educational leaders' perspectives of what contributes to a quality culture.24 
• Anderson et al. posited that their use of Biggs' 3P model and Kirkpatrick's levels was consistent with Complexity Theory.53 
• Jorm and Roberts have advocated using Complexity Theory to develop new evaluation models, on the basis that existing models are linear and fail to capture the unique experiences of medical learners.62 Principles for evaluation informed by Complexity Theory include
  • ‘collective sensemaking’,
  • multi-method participatory data collection,
  • taking account of influences from the ‘university, health system, society’, and
  • measurement of long-term and clinical outcomes.62

권고사항: 의료 교육 연구의 방법론적 교훈을 적용하고, 커리큘럼 팀은 데이터 수집 방법을 특정 평가 질문/초점에 맞춰야 align 한다. [여러 다른 이해관계자]로부터 데이터를 수집하기 위해 [여러 가지 방법]을 사용한다. 적절한 [평가 모델과 이론]을 사용하여 평가를 안내하고 조직합니다.

Recommendations: applying methodological lessons from medical education research, curriculum teams should align data collection methods to specific evaluation questions/foci; use multiple methods for data collection, from different stakeholders; and use appropriate evaluation models and theory to guide and organise evaluation.

9 지속적인 QI의 소유 및 참여
9 OWNERSHIP OF AND ENGAGEMENT WITH CONTINUOUS QI

양질의 커리큘럼을 보장하기 위한 [제도적 접근방식]은 이전 국가 학습자 설문조사의 결과에 대응하거나, 다음 국가 학습자 설문조사가 시행되기 전에 문제를 예측하기 위한 내부 설문조사를 설계하고 구현하는 데 초점을 맞출 수 있다. 기관은 분야 또는 전문 분야에 걸쳐 광범위한 관심사를 해결하기 위해 개입과 정책을 제정할 수 있다. 이해관계자 평가에 대한 이러한 '탑-다운'식의 일반적 응답은 QI의 소유권을 주요 이해관계자로부터 빼앗습니다. 형성적, 발달적 평가를 강조하고 QI와의 참여를 장려함으로써, 우리는 퀄리티 문화를 육성하고, 의료 교육과정의 질에 대한 주인의식을 높일 수 있을 것이다. 하지만 어떻게요?
Institutional approaches to ensuring quality curricula may focus on responding to outcomes from previous national learner surveys, or on designing and implementing in-house surveys to anticipate issues before the next national learner survey is administered. Institutions may enact interventions and policies to address issues of broad concern across disciplines or specialties. This ‘top-down’ generic response to stakeholder evaluation takes ownership of QI away from key stakeholders.23 By emphasising formative, developmental evaluation and encouraging engagement with QI, we may foster a quality culture and increase the sense of ownership in the quality of the medical curriculum.23 But how?

[학습자]에 대해서 지속적인 QI의 [적극적인 참여자로서의 가치]를 옹호하고 입증하는 문헌이 증가하고 있다. 단순히 설문 응답자로서가 아니라 설계, 데이터 수집 및 평가 해석에 적극적으로 참여하는 것이다. 클레멘틱은 학생들이 학습, 교육, 평가, 환경에 대한 직접적인 경험을 통해 QI와 관련된 자본을 가지고 있다고 주장한다. 학생은 다음과 같은 것을 통해 [지속적 QI]에 크게 기여할 수 있다. 63 

• 경험에 대한 데이터를 제공
• 거버넌스 구조에 참여
• 양질의 교육을 위한 직접적인 옹호자 역할

There is a growing body of literature advocating and demonstrating the value of learners as active participants in continuous QI; not simply as survey respondents, but in the design, data collection and interpretation of evaluations. Klemencic argues that students possess capital relevant to QI, through their direct experience of learning, teaching, assessment and environment.63 

• By providing data on their experiences, but also
• by participating in governance structures, and
• by acting as direct advocates for a quality education,

...they can contribute significantly to continuous QI.63 

기관 차원에서는 교육을 받은 학생 구성원이 QI 데이터를 생성하고 분석할 수 있는 [학생 평가 위원회]를 설립하여 거버넌스 구조에 대한 학생 참여를 촉진할 수 있습니다. 교수진은 성인 학습 이론, 교수 및 학습 전략, 피드백에 대한 모범 사례에 대한 지식을 공유하면서 멘토와 파트너 역할을 할 수 있습니다. 하버드 의대에서는 QI에 대한 학생 참여가 확대되어 학생 워킹그룹이 '교육과정의 다양성 제고'와 같은 정책 이슈나 우선순위를 다루는 프로젝트를 수행하게 되었다. Fetterman 등은 [권한 부여 평가 이론]을 적용하여 의대생, 교수진 및 관리자를 커리큘럼 평가에 협력자로 참여시켰다. 주요 특징으로는 '증거 문화 개발'과 '학습자 커뮤니티 구축'이 있으며, 여기서 '학습자'라는 표현은 교직원과 행정관에게도 적용된다.

Institutions can facilitate student participation in governance structures by establishing student evaluation committees whose members, with relevant training, can generate and analyse QI data.64 Faculty can act as mentors and partners, sharing knowledge about adult learning theories, teaching and learning strategies, and best practice in feedback.65 At Harvard Medical School, student participation in QI has been extended such that student working groups undertake projects to address policy issues or priorities such as ‘enhancing diversity in the curriculum’.65 Fetterman et al. applied the theory of Empowerment Evaluation to involve medical students, faculty and administrators as collaborators in curriculum evaluation: key features included ‘developing a culture of evidence’ and ‘cultivating a community of learners’, where ‘learners’ also applied to faculty and administrators.66

[지속적 QI]는 (커리큘럼 팀의 감독 및 통합에 의해) 전체적이어야holistic 하지만, [개별 이해관계자 수준]에서 [기여적 QI 활동 또는 프로젝트]를 목표로 할 수 있습니다. 그 대상으로는,

• 특정 이해관계자 그룹의 요구를 식별하는 것(CIPP 모델의 상황) 
  
• 혁신적인 솔루션을 식별하는 것(입력), 
  
• 그런 다음 테스트 및 평가를 수행하는 것(프로세스 및 제품)

[교수 및 학습의 장학활동(SoTL)]에 대한 현재의 관심은 지속적인 QI에 교수진을 참여시킬 수 있는 기회를 제공한다. SOTL는 '탐구 결과를 공개함으로써 교수 관행을 발전시키는 학생 학습에 대한 체계적인 탐구'로 묘사되어 왔다. 그러나 SOTL 조사는 CIPP 모델별로 하나 또는 다른 평가 초점에 적합할 수 있다.
Although continuous QI should be holistic, with oversight and integration from the curriculum team,23 at the level of individual stakeholders, contributory QI activities or projects could be targeted towards

• identifying needs of a specific stakeholder group (‘context’ in the CIPP model58),
• identifying an innovative solution (input),
• then piloting and evaluating it (process and product).

Current interest in scholarship of teaching and learning (SoTL) presents an opportunity to engage faculty in continuous QI.67 SoTL has been described as ‘systematic inquiry into student learning which advances the practice of teaching by making inquiry findings public’,68 but SoTL inquiry could also be well-suited to one or other foci of evaluation, per the CIPP model.58

보다 일반적으로, 퀄리티에 대한 [사전 예방적 임베딩]은 커리큘럼 구성 요소나 자원을 개발하는 데 있어 목표가 되어야 한다. 예를 들어, Huser 등은 [교육과정의 공동창조 개념]을 적용하여 의대생들에게 교육과정을 위한 온라인 자원을 생산하도록 멘토링하였으며, 온라인 자료의 품질에 대한 틀을 적용하는 것이 중요하다고 강조했다.
More generally, proactive embedding of quality should be a target in developing any curricular component or resource. For example, applying the concept of co-creation of the curriculum,23, 69 Huser et al. mentored medical students to produce online resources for the curriculum,70 stressing the importance of applying a framework for quality in online materials.71

권장 사항: 커리큘럼 팀은 감독 및 통합을 제공해야 하지만, 개별 QI 활동과 (예: SoTL) 프로젝트가 전체 QI에 데이터를 기여하도록 장려해야 합니다. 품질은 커리큘럼 구성 요소/리소스를 개발할 때 품질 프레임워크를 적용하여 사전적proactively으로 포함시켜야 한다.
Recommendations: curriculum teams should provide oversight and integration, but encourage individual QI activities and (e.g. SoTL) projects to contribute data to holistic QI. Quality should be embedded proactively, by applying quality frameworks when developing curricular components/resources.

10 결론
10 CONCLUSIONS

특정 커리큘럼 맥락에서 [지속적 QI에 대한 투명성과 공유된 이해]를 달성하기 위해서는 담론이 필요하다. [지속적 QI]를 위해서는 다음이 필요하다. 

• 특정 평가 질문/초점에 맞춘 데이터 수집 방법
  
• 다양한 이해관계자로부터 데이터를 수집하기 위한 다양한 방법
• QI에 대한 프레임워크를 제공하기 위한 적절한 평가 모델 및 이론.

[퀄리티 문화 접근 방식]을 수용하면 이해 당사자들이 경험하는 주인의식이 높아질 수 있습니다. 이 메커니즘은 다음을 포함한다.

• QI에서 여러 이해 관계자가 협력할 수 있는 민주적-조직적 문화 조성 
  
• [전체적-지속적holistic continuous QI]에 기여하는 QI 활동과 (예: SoTL) 프로젝트에 이해당사자를 참여
  
• 커리큘럼 구성 요소 및 리소스의 (공동)창조 영역에 퀄리티를 사전 예방적으로 포함

Discourse is necessary to achieve transparency and a shared understanding of continuous QI in a particular curricular context. Continuous QI requires

• data collection methods aligned to specific evaluation questions/foci;
• multiple methods for data collection, from different stakeholders; and
• appropriate evaluation models and theory to provide a framework for QI.

Embracing a quality culture approach may increase the sense of ownership experienced by stakeholders. Mechanisms include

• creating democratic-collegiate cultures for multiple stakeholders to collaborate in QI;
• engaging stakeholders in QI activities and (e.g. SoTL) projects that contribute to holistic continuous QI; and
• proactively embedding quality in the (co-)creation of curriculum components and resources.

© 2022 The Author. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

교육적 퀄리티의 지속적 개선 - 퀄리티 문화 촉진: AMEE Guide No. 147 (Med Teach, 2022)
Continuous enhancement of educational quality – fostering a quality culture: AMEE Guide No. 147
Renee E. Stalmeijer , Jill R. D. Whittingham , Guy W. G. Bendermacher , Ineke H. A. P. Wolfhagen, Diana H. J. M. Dolmans and Carolin Sehlbach

서론
Introduction

내부 품질 보증의 목적
Aims of internal quality assurance

[내부 품질 보증(IQA)]은 교육 기관이 교육 품질을 제어, 모니터링, 개선 및 향상시키기 위해 시행하는 일련의 활동과 프로세스로 설명할 수 있다. IQA는 교육 관리와 조직의 일상적인 관행에 필수적일 뿐만 아니라, 조직 내 교육 관행이 표준(즉, 외부 품질 보증)에 부합한다는 인증 기관에 대한 증거를 제공한다. 본 AME 가이드에서는 IQA 실무에 대해 중점적으로 설명합니다.
Internal quality assurance (IQA) can be described as the set of activities and processes implemented by educational organisations to control, monitor, improve and enhance educational quality. IQA is not only essential to the day-to-day practices of educational management and organisation, but also provides evidence towards accrediting bodies that the educational practices within an organisation are up to standard (i.e. external quality assurance). This AMEE Guide specifically focuses on IQA practices.

교육 기관 내에서 IQA의 목적을 논의할 때 많은 다른 개념들이 사용된다. 이러한 개념은 종종 서로 다른 함축적 의미와 정의에 주목하지 않고 상호 교환적으로 사용됩니다.

• IQA의 목적이 품질 관리인 경우, 교육 기관은 교육 프로그램의 결과가 [미리 결정된 표준에 부합하는지 여부]를 확인하려고 한다(Harvey 2004-2021).
• 교육 품질 모니터링은 교육 기관이 제공하는 교육의 [품질을 보장하기 위해 시행하고 있는 절차]를 더 많이 말한다(Harvey 2004-2021).
• 품질 개선은 종종 [어떤 것이 '표준에 부합하는지'(이전에는 특정 표준에 미달했던 곳)]를 확인하기 위해 시행 중인 프로세스를 말합니다(Williams 2016).
• Williams(2016)는 품질 향상이라는 용어가 학생들의 [학습 경험을 증가시키는 의도적이고 지속적인 과정]을 기술한다고 제안한다.

Many different concepts are used when discussing the aims of IQA within educational organisations. These concepts are often used interchangeably without noting different connotations and definitions that are attached to them.

• When the aim of IQA is quality control, educational organisations want to check whether the outcomes of an educational programme are conform predetermined standards (Harvey 2004–2021). 
• Monitoring educational quality refers more to the procedures that an educational organisation has in place to ensure the quality of education provided (Harvey 2004–2021).
• Quality improvement often refers to processes in place to ensure that something is ‘up to standard’ (where it previously was below a certain standard) (Williams 2016).
• Williams (2016) suggests that the term quality enhancement describes the deliberate and continuous process of augmenting students’ learning experiences (QAA 2003).

품질 관리, 모니터링, 개선 및 향상은 모두 IQA의 중요한 목표입니다. 그러나 각 개념에는 고유한 표준과 프로세스가 있습니다. 따라서, 교육 기관은 IQA의 어떤 목표를 향해 노력하고 있는지, 그리고 그러한 목표를 달성하기 위한 올바른 프로세스가 마련되어 있는지 여부를 고려해야 합니다. 

Quality control, monitoring, improvement and enhancement are all important goals of IQA. However, each concept comes with its own standards and processes. Therefore, an educational organisation needs to consider which goals of IQA it is striving towards and whether the right processes are in place to attain them.

선의의 부작용 – 균형 추구
Adverse effects of good intentions – seeking balance

교육 품질의 '관리being in control'와 건전한 IQA 시스템 보유는 인증 기관의 중요한 관심 분야이다(EUA 2009). 그러나 결과적으로 [품질 보증]은 '먹이가 필요한 짐승' 즉 체크 표시가 필요한 관료적 상자의 목록으로 간주될 위험이 있다(Newton 2000). Harvey와 Stensaker(2008)는 품질관리 데이터의 지속적인 생성이 직원 및 학생의 요구와 단절되어 실제로 교육 향상과 향상을 저해한다는 신호를 보냈다. 궁극적으로, 교육의 질 [모니터링]의 중요성을 소홀히 하지 않으면서도, IQA의 핵심에는 [향상enhancement]이 있어야 한다는 Kleijnen et al(2014)의 연구에 참여한 교사들의 목소리처럼, 질 관리 및 개선이 모두 필요하다. 간결성을 위해, 본 가이드는 [모니터링 및 강화monitoring and enhancement]에 대해 설명합니다.

• [모니터링]은 IQA의 [제어 및 모니터링 목표]를 모두 다루고,
• [향상enhancement]은 IQA의 [개선 및 향상 목표]를 모두 다루룰 것이다.

‘Being in control’ of educational quality and having a sound IQA system are important areas of attention for accreditation bodies (EUA 2009). As a consequence, however, quality assurance runs the risk of being considered a ‘beast that requires feeding’: a list of bureaucratic boxes that needs to be ticked (Newton 2000). Harvey and Stensaker (2008) signalled that the continuous generation of quality control data has often been disconnected from staff and students’ needs which actually inhibited educational improvement and enhancement. Ultimately, both quality control and improvement are needed, as also voiced by teachers participating in a study by Kleijnen et al. (2014) who acknowledged that enhancement should be at the core of IQA without neglecting the importance of monitoring educational quality. For brevity purposes, this guide will from here on out speak of monitoring and enhancement where

• monitoring covers both control and monitoring goals, and
• enhancement covers the improvement and enhancement goals of IQA.

양질의 문화 구축
Building a quality culture

유럽 대학 협회(EUA)는 [퀄리티 문화]의 개념을

• '영구적으로 품질을 향상시키려는 조직 문화'이며, 두 가지 뚜렷한 요소로 특징지어진다
  • [문화적/기술적 요소]: 퀄리티에 관한 가치, 신념, 기대 및 헌신
    
  • [구조/관리 요소]: 퀄리티를 향상시키고 개별 노력을 조정하는 것을 목표로 하는 정의된 프로세스

The European University Association (EUA) coined the concept of quality culture as

• ‘an organisational culture that intends to enhance quality permanently and is characterised by two distinct elements:
  • a cultural/psychological element of shared values, beliefs, expectations and commitment concerning quality and
  • a structural/managerial element with defined processes that enhance quality and aim at coordinating individual efforts’ (EUA 2006, p. 10).

퀄리티 문화의 개념은 [IQA 시스템 및 프로세스]뿐만 아니라, 공유된 교육 가치, 유연성, 개방성, 소유의식 및 집단 헌신을 육성하려는 의도를 포착합니다. 퀄리티 문화는 다음에 도움이 된다.

• 개인의 개선 노력을 조정하고,
• 상호 기대를 형성하며,
• 집단 책임을 자극함(EUA 2006).

이러한 요소와 평가 프로그램 간의 시너지를 통해 [지속적인 교육 향상]이 일상적인 교육 실습에 포함되게 됩니다.
The notion of quality culture captures the intention to nurture shared educational values, flexibility, openness, a sense of ownership, and a collective commitment – alongside IQA systems and processes (Sursock 2011; Bendermacher et al. 2020). A quality culture is considered to help

• coordinate individual improvement efforts,
• shape mutual expectations, and
• stimulate a collective responsibility (EUA 2006).

It is through a created synergy between these elements and evaluation programmes that continuous educational enhancement becomes embedded in the everyday teaching practice (Ehlers 2009; Blouin 2019).

이 AMEE 가이드
This AMEE guide

이전의 [가이드 29번]은 [프로그램 평가의 역사]를 살펴보고, 윤리적인 질문을 포함하여 평가 시스템을 설계할 때 물어봐야 하는 다양한 질문 세트를 설명했습니다. Goldie의 제안을 바탕으로 제작된 [67번 가이드]는 [교육 프로그램(과정 수준에서 커리큘럼에 이르기까지)이 변화를 가져왔는지 여부]를 결정하는 데 사용할 수 있는 일반적인 평가 모델의 개요를 제공합니다. 즉, 교육 프로그램의 성과에 초점을 맞추는 것이다.
An earlier AMEE Guide, number 29, (Goldie 2006) looked into the history of programme evaluation and described various sets of questions one needs to ask when designing a system of evaluation, including ethical questions. Guide number 67 (Frye and Hemmer 2012), built on the suggestions by Goldie and provided an overview of common evaluation models which can be used to determine whether an educational programme (ranging from the level of course to curriculum) has brought about change, i.e. focusing on the outcomes of an educational programme.

본 AMEE 가이드는 [퀄리티 문화] 개념을 사용하여, 교육의 IQA에 대한 [포괄적인 접근 방식]을 구축하는 데 초점을 맞추고 있습니다. 우리는 교육 기관이 IQA에 정보를 제공하는 프로세스와 시스템을 최적화하는 동시에 지속적인 교육 퀄리티 향상에 대한 인식과 헌신을 촉진하기 위해 사용할 수 있는 관행(그림 1 참조)을 설명한다. 다음 단락에서는 보건전문교육 분야의 사례를 활용하여 보건전문교육의 질 높은 문화발전이 어떻게 육성될 수 있는지 설명하고자 한다. 우리가 설명하는 관행은 본질적으로 위계적이지 않으며, 그것들을 사용하는 과정에 실질적인 선형성이 없다는 것에 주목하는 것이 중요하다. 조직의 퀄리티 문화를 정의하고 창조하려면, [모든 측면에 동시]에 주의를 기울여야 합니다.

This AMEE Guide focuses on building a comprehensive approach to IQA of education by using the concept of quality culture (EUA 2006; Ehlers 2009; Blouin 2019). We describe practices (see Figure 1) that educational organisations can use to optimise the processes and systems informing IQA while simultaneously fostering the awareness of and commitment to continuous enhancement of educational quality (Bendermacher et al. 2017). Throughout the following paragraphs, we will use cases from the field of health professions education, to illustrate how quality culture development in health professions education can be nurtured. It is important to note that the practices we describe are not hierarchical in nature and that there is no real linearity to the process of employing them. Defining and creating an organisational quality culture requires simultaneous attention to all aspects.

 

우리의 관점 – 반사성
Our perspective – reflexivity

이 가이드는 '태스크포스 프로그램 평가'라는 제목의 마스트리히트 대학교 보건의학과 생명과학부(FHML)의 IQA 전문가 그룹의 관점에서 작성되었습니다. Task Force는 관련 이해 관계자들과 협력하여 FHML 내의 모든 교육 프로그램의 교육 품질을 모니터링하고 향상시킬 책임이 있습니다. 이 책임은 다음과 같이 수행됩니다.

• (1) 표준화된 기기를 통해 유효하고 신뢰할 수 있는 데이터 수집을 보장
  
• (2) 양적 및 질적 연구 방법론의 혼합을 통해 교육의 질에 대한 심층 연구를 수행
  
• (3) 관련 이해 관계자에게 교육 품질 보증에 대한 교수진 개발 제공
  
• (4) FHML 내에서 프로그램의 지속적인 품질 향상을 위한 대화를 자극

This guide is written from the perspective of an expert group on IQA at Maastricht University, Faculty of Health Medicine and Life Sciences (FHML) entitled ‘task force programme evaluation’. The task force is, in collaboration with relevant stakeholders, responsible for monitoring and enhancing educational quality of all educational programmes within FHML. This responsibility is executed by

• (1) ensuring valid and reliable data collection through standardized instruments,
• (2) executing in-depth studies on educational quality through a mix of quantitative and qualitative research methodologies,
• (3) providing faculty development on educational quality assurance to relevant stakeholders, and
• (4) stimulating a dialogue towards continuous quality enhancement of the programmes within FHML.

본 AMEE 가이드의 저자들은 모두 보건전문교육대학원 소속 연구원으로 교육과학(RS, IW, DD), 교육심리학(JW), 보건과학(CS), 정책 및 관리(GB) 분야에서 경력을 가지고 있다. 또한 저자(GB) 중 한 명은 [퀄리티 문화]의 개념을 전문적으로 다루는 정책 자문위원으로 그의 연구를 통해 질문화의 개념을 더욱 탐구했다. 우리는 모든 보건 전문 교육 학교가 유사한 전담팀을 고용하는 것은 아니며 때로는 프로그램 평가의 과제가 한 개인의 어깨에 달려 있을 수 있다는 것을 알고 있다. 그럼에도 불구하고, 우리는 우리의 경험, 연구 및 통찰력이 교육 품질 보증에 관련된 모든 사람에게 필요한 지침과 지원을 제공하기를 바란다.

The authors of this AMEE Guide are all researchers within the School of Health Professions Education and have backgrounds in educational sciences (RS, IW, DD), educational psychology (JW), health sciences (CS), and policy and management (GB). In addition, one of the authors (GB) is a policy advisor who specializes specifically in the concept of quality culture and, through his research, has further explored the concept of quality culture. We are aware that not all health professions education schools employ similar task forces and that sometimes the task of programme evaluation may rest on the shoulders of a single individual. Nevertheless, we hope that our experiences, research and insights provide the necessary guidance and support to anyone involved in educational quality assurance.

퀄리티 문화 육성 – 우리는 무엇을 위해 노력하고 있는가?
Fostering a quality culture – what are we striving for?

기본 목표 및 가치 논의 및 결정
Discuss and determine underlying goals and values

퀄리티란 무엇인가?
What is quality?

IQA가 어떤 목표를 가지고 있는지 고려할 때, 해결해야 할 중요한 질문은 '우리가 품질을 말할 때 무엇을 의미하느냐'이다.; 종종 잊혀지는 것은 퀄리티는 보는 사람의 눈에 달려 있다는 것이다. 이로 인해 '퀄리티란 무엇인가'라는 질문에 대해 한 조직 내에서 여러 이해 관계자가 서로 다른 개념을 갖게 될 수 있습니다. 하비와 그린(1993)은 품질에 대한 다섯 가지 다른 개념을 정의하였다: 우수성, 완벽성/우수성, 목적에 맞는 가치, 비용 대비 가치, 혁신. excellence, perfection/consistency, fit-for-purpose, value for money, and transformation

When considering what goals IQA has, an important question to address is ‘what do we mean when we say quality?’; what is often forgotten is that quality lies in the eye of the beholder. This may result in multiple stakeholders within a single organisation having different conceptions when it come to the question ‘what is quality?’. In their seminal work Defining Quality, Harvey and Green (1993) discerned five different conceptions of quality:

• excellence,
• perfection/consistency,
• fit-for-purpose,
• value for money, and
• transformation.

질을 ['목적 적합']을 위해 노력하는 것으로 보는 것은, 예를 들어, 교육 목표를 달성하고 졸업생들이 일정한 기준을 통과하도록 보장하는 것을 필요로 한다. 그러나, IQA는 [변혁]의 관점에서 학생들에게 어느 정도 '가치가 추가되었는가'와 학생들에게 권한이 부여되었는지empowered를 판단하기 위해 노력할 것이다. 본 AME 가이드의 범위 밖에서는 각 정의에 대해 자세히 설명하지만, 독자들은 이러한 품질 개념을 숙지할 것을 권장합니다. 이러한 개념에 익숙해지면 교육 기관 내의 이해관계자들이 어떤 정의를 중시하고 그 전경을 논할 수 있는 어휘를 제공할 것이다. 

Seeing quality as striving for ‘fit-for-purpose’ requires, for example, ensuring that educational goals are attained and that graduates pass a certain standard. Through the lens of quality as transformation, however, IQA would be striving to determine to what extent ‘value has been added’ to the student and that students have been empowered. Although it is outside of the scope of this AMEE Guide to go into depth on each definition, we encourage readers to familiarise themselves with these conceptions of quality. Familiarity with these conceptions will provide a vocabulary through which stakeholders within an educational organisation can discuss which definition(s) they value and foreground.

우리는 교육 기관들은 [늘 서로 다른 유형의 품질을 동시에 달성하는 것을 목표로 할 것]이라고 믿는다. 교육 기관의 순위를 보장하는 것과 비교하여 프로그램의 재정finances이 제대로 되어 있는지 생각해 보십시오. 따라서, 우리는 독자들이 퀄리티에 대해 그들 자신의 조직에 있는 관련 이해 관계자들과 토론할 것을 강력히 권고한다. 왜냐하면, 조직 내에서 IQA의 목표를 정의하는 것과 마찬가지로, 어떤 품질 개념을 가지고 있는지는 다음에 대한 방향과 지침을 제공할 것이기 때문이다.

• IQA를 위한 도구와 절차를 설계하는 방법
• 어떤 이해 당사자가 참여해야 하는지
• 품질 문화를 형성하는 방법

We believe that educational organisations will always be aiming to attain different types of quality simultaneously. Imagine ensuring that the finances of a programme are in order versus ensuring the ranking of an educational organisation. Therefore, we strongly advise readers to discuss with relevant stakeholders in their own organisation what quality means to them. Because, just like defining the aims of IQA within your organisation, the conception(s) of quality that are held will provide direction and guidance on

• how to design instruments and procedures for IQA,
• which stakeholders to involve and
• how to shape a quality culture.

[IQA의 목표와 퀄리티의 개념에 대한 인식의 불일치]는 생산적인 품질 문화를 구축하는 과정을 방해할 수 있다. 왜냐하면, [퀄리티]를 [목적적합성에 따라 inform하는 과정]은 [퀄리티]를 [변혁에 따라 inform하는 과정]과 다르기 때문이다.
Misalignment in perceptions about goals of IQA and conceptions of quality may thwart the process of building a fruitful quality culture as the processes that inform quality as fit-for-purpose are different to those informing quality as transformation.

어떤 양질의 문화?
Which quality culture?

퀄리티 문화는 기관이 처음부터 개발해야 하는 것도 아니며, '이상적인' 퀄리티 문화도 없다는 것을 깨닫는 것이 중요하다.즉, 각 기관은 [이미] 외부의 발전에 어떻게 반응하는지를 결정하고, 내부적인 협력을 촉진하기 위해 노력하는 특정한 종류의 퀄리티 문화를 보유하고 있다. 또한 퀄리티 문화는 품질 관리를 다루는 조직의 [맥락과 발전 단계]에 의해 영향을 받습니다. 예를 들어,

• IQA 시스템을 설정하는 초기 단계에 있는 교육 기관은 우선 교육 품질을 모니터링하고 제어하는 데 집중함으로써(즉, 절차와 표준을 설치 또는 미세 조정하는 것) 가장 큰 이익을 얻을 수 있다.
• 최소 기준이 충족되는지 여부를 모니터링하는 강력한 시스템을 이미 구축한 조직은 조직의 환경 변화에 대처하는 동시에 지속적인 개선으로 초점을 전환할 수 있습니다.

It is important to realise that a quality culture is not something that institutions have to develop from scratch and also that there is no such thing as ‘the ideal’ quality culture. That is, each institution already possesses a certain kind of quality culture which determines how that institution reacts to external developments, and attempts to foster internal collaborations (Bendermacher 2021). Moreover, a quality culture is influenced by the organisation’s context and its developmental phase in dealing with quality management (Harvey and Stensaker 2008). For instance,

• educational organisations who are in the early stages of setting-up their IQA system would probably benefit most from first focusing on monitoring and controlling educational quality (i.e. to install or fine-tune procedures and standards).
• Those organisations who already have established a robust system which monitors whether minimum criteria are met, can shift their focus towards continuous enhancement while addressing changes in the organisation’s environment.

조직 문화 평가 지수(상자 1 참조)에 대한 논의와 같은 성찰 연습은 이해 관계자가 자신의 핵심 가치를 공개하는 데 도움이 될 수 있습니다. 이 논의는 이러한 가치와 조직 절차 간의 더 나은 조정으로 이어지는 전략과 솔루션을 형성하는 데 도움이 될 수 있습니다. 이러한 성찰과 대화는 또한 강조를 '일이 잘 되어가고 있는가'에서 '옳은 일이 되어가고 있는가'로 바꾸는 데 도움이 될 수 있다(Cartwright 2007).
Reflection exercises like discussing the Organisational Culture Assessment Index (see Box 1) can aid stakeholders to disclose their core values. This discussion can help shape strategies and solutions that lead to a better alignment between these values and organisational procedures (Berings and Grieten 2012). Such reflections and dialogues can also help to alter the emphasis from ‘whether things are being done well’, to ‘whether the right things are being done’ (Cartwright 2007).

품질 문화 구축 – 구조 및 관리 구성요소
Building a quality culture – structural & managerial components

[정기적인 데이터 유입] 없이는 IQA 시스템이 존재할 수 없다. 이것은 IQA의 목표를 해결하는 데 도움이 되고, 이해 당사자들이 프로그램의 품질을 모니터링하고 향상시킬 수 있도록 정보를 제공한다. 이 제도가 품질문화 강화에 기여할 수 있도록 하기 위해서는 다음과 같은 측면을 고려할 필요가 있다:

• 도구의 설계와 삼각 측량, 
• 이해관계자의 참여, 
• IQA의 사이클릭한 특성.

No system of IQA can exist without a regular influx of data that helps to address the goals of IQA and provides input for stakeholders to monitor and enhance the programme’s quality. To ensure that this system contributes to strengthening the quality culture, the following aspects need to be considered:

• the design and triangulation of instruments,
• involvement of stakeholders, and
• the cyclical nature of IQA.

도구의 설계 및 삼각 측량
Design & triangulation of instruments

설계에 교육 원리 포함
Incorporating educational principles in design

IQA는 교육 활동이나 과정과 같은 [커리큘럼을 구성하는 핵심 구성 요소]에 맞춰져야 하며, 학습과 교육에 대한 [이론과 문헌에 확고하게 기반]을 둔 평가 도구를 구축해야 한다. 즉, 평가 도구의 항목은 문헌이 교육 프로그램의 질을 결정하는 것으로부터 파생되어야 한다. IQA 도구의 설계가 이러한 [교육 원리]에 기초하는 경우, 이는 서로 다른 이해관계자가 실행할 수 있는 데이터 수집 결과의 가능성을 증대시킬 것이다. [교육 원리]는 [교육 프로그램이 효과적인 방법과 이유에 대한 사고 방식]으로 정의될 수 있다(그림 2). 평가하려는 교육 과정이나 프로그램의 성격에 따라 여러 교육 원칙이 적용될 수 있습니다. Box 2에서는 두 가지 예를 제공합니다.

• (1) 문제 기반 학습을 평가하기 위한 구성주의 학습의 원칙, 그리고 
  
• (2) 임상 교육을 평가하기 위한 인지적 견습.

IQA should be geared towards the key components that make up a curriculum, such as educational activities or courses, and should build evaluation instruments firmly grounded in theories and the literature on learning and teaching (Frick et al. 2010). In other words, the items of an evaluation instrument must be derived from what the literature has shown determines the quality of an educational programme. If the design of IQA instruments is based on these educational principles, this will augment the chances of outcomes of data collection being actionable by the different stakeholders (Bowden and Marton 1999; Dolmans et al. 2011). Educational principles can be defined as a way of thinking about how and why an educational program is effective (Figure 2). Depending on the nature of the curriculum or the programme you want to evaluate, multiple educational principles might apply. In Box 2, we provide two examples (1) principles of constructivist learning to evaluate problem-based learning, and (2) cognitive apprenticeship to evaluate clinical teaching.

도구를 설계할 때 [교육 원리]가 중요하다는 사실 외에도, 교육이 고도로 [맥락 특이적]이라는 사실, 즉 이론적 원칙에 기초했을 때, 무엇이 제대로 작동할 것인지는, 맥락적 차이뿐만 아니라 특정 목적과 대상 그룹에 따라 다를 수 있다는 사실도 고려해야 한다. 결과적으로, 가급적 이론적 지침에 기초한 도구의 설계는 여전히 [커스터마이제이션의 문제]로 남아 있다. 목표와 기기가 사용되는 상황에 따라 기기를 지속적으로 조정하고 조정하는 것이 중요합니다.

In addition to the fact that educational principles are important to keep in mind when designing an instrument, it is essential to also consider the fact that education is highly context-specific, i.e. what might work, based on theoretical principles, might differ dependent on the particular aims and target groups as well as contextual differences (Hodges et al. 2009; Kikukawa et al. 2017). As a consequence, the design of instruments, which is preferably based on theoretical guidelines, remains a matter of customisation. It is important to continuously adapt and align your instruments, depending on what your aims are and the context in which the instruments are being used.

  

도구의 삼각 측량
Triangulation of instruments

[IQA의 목적]에 따라 [평가하려는 프로그램의 측면]과 [입력이 필요한 이해 관계자의 도구 설계 요구 사항]이 변경됩니다.

• 주된 목적이 [책무성 목적]을 위해 [품질을 통제하고 모니터링하는 것]이라면, 대다수의 모집단에서 표준화된 요인 집합에 대해 [타당하고 신뢰할 수 있는 데이터를 수집하는 것]이 우선된다. 이 목표는 데이터 수집에 대한 [정량적 접근법]을 보장한다.
• 교육의 [질 개선과 향상]에 초점을 맞출 때, 필요한 정보는 본질적으로 [풍부하고 기술적]이며, 보다 [정성적]이어야 하며, 이를 통해 교육을 개선하고 향상시키는 방법에 대한 명확하고 구체적인 의견을 찾을 수 있어야 한다. 교육의 질이 다차원적이고 학습환경이 복잡하기 때문에 이를 측정하기 위해서는 [양적 방법과 질적 방법을 병행]하는 것이 좋다. 설문지, 인터뷰, 강의실 관찰, 문서 분석 및 포커스 그룹이 모두 일반적으로 사용됩니다. 

Depending on the aims of IQA, the aspects of the programme you are trying to evaluate and the stakeholders whose input you need, requirements for instrument design change.

• When the primary aim is to control and monitor quality for accountability purposes, collecting valid and reliable data for a standardised set of factors from the majority of the population takes precedent (Dolmans et al. 2011). This goal warrants a quantitative approach to data collection.
• When the focus is on the improving and enhancing of educational quality, the information that is needed should be rich, descriptive and more qualitative in nature so that clear and specific input can be found on how to improve and enhance education. Since educational quality is multidimensional and learning environments are complex, it is recommended to combine both quantitative and qualitative methods to measure it (Cashin 1999). Questionnaires, interviews, classroom observations, document analysis and focus groups are all commonly used (Braskamp and Ory 1994; Seldin 1999).

예를 들어, 먼저 대규모 정량적 학생 설문지를 관리하여 과정의 전반적인 강점과 약점을 파악할 수 있습니다. 그런 다음 후속 질적 초점 그룹은 이러한 데이터에 대해 자세히 설명하고 더 명확한 관점에 배치할 수 있다. 품질 문화를 구축하려면 교육 프로그램의 품질에 대한 전체적인 개요를 제공하고 모니터링 또는 개선 목적에 정보를 제공할 수 있는 데이터를 수집하기 위해 다양한 도구와 절차의 삼각측량이 필요하다.
For instance, one could first evaluate a course by administering a large-scale quantitative student questionnaire to bring into focus the course’s overall strengths and weaknesses. Subsequent qualitative focus groups can then elaborate on these data and place them in a clearer perspective. Building a quality culture requires triangulation of different instruments and procedures to provide a holistic overview of the quality of an educational programme and to collect data that may inform either monitoring or enhancement purposes.

모든 관련 이해관계자 참여
Involving all relevant stakeholders

이해당사자
Identifying stakeholders

지속적인 품질 향상 시스템을 설계할 때 다양한 이해 관계자가 참여해야 합니다. '퀄리티는 보는 사람의 눈에 달려 있다'는 것과 평가가 이루어지는 맥락을 고려해야 하기 때문에, 각 이해관계자는 전체적인 평가 프로그램을 제공하기 위해 교육적 질에 대한 자신의 관점을 추가하도록 초대되어야 한다. 이해 관계자를 식별하기 위해 다음과 같은 질문을 고려할 수 있다.

• '이 교육의 수혜자는 누구인가?' 
  
• '누가 이 교육을 가르치고 관리하는 데 관여하고 있는가?' 
  
• 누가 이 교육의 효과를 판단할 수 있습니까? 

When designing a system of continuous quality enhancement various stakeholders need to be involved. Since ‘quality is in the eye of the beholder’ and we need to consider the context in which evaluations take place, each stakeholder should be invited to add their perspective on educational quality to render a holistic programme of evaluation (Harvey and Stensaker 2008). To identify stakeholders one may consider questions like

• ‘Who are the recipients of this education?’
• ‘Who are involved in teaching and managing this education?’
• ‘Who can judge the effectiveness of this education?’.

일단 관련 이해당사자가 확인되면,

• 그들이 어떻게 그리고 어떤 도구를 통해 관여할 수 있고,
• 어떤 측면과 교육 수준을 가장 잘 평가할 수 있는지에 대한 문제가 발생하고,
• 이어서 그들을 참여시키고 접근하는 최적의 타이밍에 대한 질문이 뒤따른다.

Once relevant stakeholders are identified, the question arises of

• how and through which instruments they can be involved,
• what aspects and level of education they can best evaluate,
• followed by the question of best timing of involving them and approaching them.

맥락과 시기에 따라, 각 이해당사자는 교육의 질을 높이는 과정에서 제공할 수 있는 기여뿐만 아니라 자신의 [위치적situated 지식]과 [실제 경험]을 가질 수 있다. 이러한 모든 질문은 적절한 개입이 제도, 인증 또는 심지어 문화적 표준에 따라 다른 형태를 취할 수 있으므로 이해관계자가 관여할 지역적 맥락에 비추어 고려할 필요가 있다.
Depending on context and timing, each stakeholder might have their own situated knowledge and lived experience as well as contribution to offer in the process of enhancing educational quality (Kikukawa et al. 2021). All these questions need to be considered within the light of the local context in which stakeholders will be involved as appropriate involvement may take different shapes depending on institutional, accreditation or even cultural standards.

주요 이해관계자 참여
Involving key stakeholders

[학생]들은 교육의 소비자로서 QA 과정에 중요한 이해관계가 있다고 여겨지기 때문에 전통적으로 과정 평가를 받아왔다. '경험이 풍부한 전문가'로서 과정, 워크샵 또는 교사 성과와 같은 개별 [교육 기관에 대한 상세하고 자세한 정보를 제공]할 수 있습니다. 이 데이터는 검증된 설문지를 통해 양적으로 그리고 인터뷰와 포커스 그룹을 통해 질적으로 수집될 수 있다. 서로 다른 데이터(숫자와 서술, 일반적이고 구체적)가 생성될 수 있지만, 전체적으로 학생들의 관점을 포함하면 [커리큘럼이 설계된 방식]과 비교해서 [커리큘럼이 실제로 실행되는 방식]에 대한 통찰력을 제공할 수 있다. 여기에는 인식된 강점과 개선점을 포함한다. 양질의 문화를 강화하기 위해 학생들은 [교육과 제도적 의사결정에 참여]할 수 있다.

Students have traditionally been subjected to course evaluations, for, as the consumers of education, they are considered to have a crucial stake in the QA process (Coates 2005; Marsh 2007). As ‘experienced experts’, they can provide detailed, information on distinct educational entities such as a course, workshop or teachers’ performance. This data can be collected both quantitatively through validated questionnaires and qualitatively through interviews and focus groups. Although different data might be generated (numeric and narrative, generic and specific), as a whole, involving students’ perspectives can provide insight into the way the curriculum is put into practice compared to how it has been designed, including perceived strong points and points for improvement. To strengthen a quality culture students can also be involved in education and institutional decision-making.

• 예를 들어, 그들은 학생 평가 위원회(SEC)에서 활동하거나 학생 대표로서 관리 기관의 교수진 및 프로그램 조정자와 함께 일할 수 있다. 이러한 학생들은 종종 이미 콘텐츠 전문 지식을 얻고, 교수진과 공유 언어를 개발하며, 잠재적인 권력 관계를 극복하는 방법을 배웠다. 

• They can, for instance, serve on a student evaluation committee (SEC) (Stalmeijer et al. 2016) or, as student representatives, join faculty and programme coordinators on management bodies (Elassy 2013; Healey et al. 2016). These students often already have gained content expertise, developed a shared language with faculty, and learned how to overcome potential power relations.

교육 관행에 관한 [설계, 구현 및 의사 결정]에 있어 학생들의 보다 신중한 참여를 향한 강한 움직임이 있다. 이는 디자인 기반 연구, 참여형 디자인, 공동 창작, 공동 디자인, 학생 목소리, 학생-직원 파트너십, 변화 주체로서의 학생, 학생 참여 및 학생 권한 부여와 같은 다양한 학생 참여 접근 방식에 반영됩니다. 교육(디자인) 과정에 학생들의 적극적인 참여를 강화함으로써 [교직원과 학생 모두의 교수와 학습을 동시에 개선]하는 것이 목적이다. 이러한 접근 방식은 단순히 학생들의 목소리에 귀를 기울이는 것을 넘어 학생들이 교사 및 교육 관리와 적극적으로 협력할 수 있도록 하는 데 초점을 맞추고 있다는 점을 강조하는 것이 중요하다. 이러한 접근 방식을 통해 학생과 교직원은 파트너십을 형성하고, 공동 창작 및 (재)디자인 교육을 할 수 있습니다.

There is a strong movement towards more deliberate involvement of students in the design, implementation and decision making regarding educational practices (e.g. Bovill et al. 2016). This is reflected in different, approaches to student participation like design-based research, participatory design, co-creation, co-design, student voice, student–staff partnership, students as change agents, student engagement, and student empowerment (Seale 2009; Anderson and Shattuck 2012; Bovill et al. 2016). By intensifying the active engagement of students in the educational (design) processes, the aim is to simultaneously improve teaching and learning of both faculty and students (Bovill et al. 2016). It is important to stress that this approach goes beyond just listening to student voices; the focus is on empowering students to actively collaborate with teachers and educational management (Bovill et al. 2011). Through this approach students and staff can form partnerships, co-create, and (re-)design education (Martens et al. 2019; 2020).

학생들의 입력만이 통찰력이 있을 수 있는 것이 아니라, 평가 과정에 [교직원]을 초대하는 것은 실제 teaching 및 조직적인 측면에 대한 훌륭한 통찰력을 줄 수 있고, 동시에 buy-in와 헌신을 증가시킬 수 있다. 교직원은 대부분 과정과 훈련 프로그램을 개선하기 위한 평가 데이터의 사용자이지만, 평가 응답자가 되어 IQA에 기여할 수도 있다. 또한 교육 활동 중 또는 교육 활동 종료 시 관찰된 헛점pitfalls이나 조직 과제를 평가하기 위해 teaching staff를 구조적으로 포함할 수 있다.

• 예를 들어, PBL 사례 평가에 PBL 튜터, 교육 활동의 정렬에 대한 강의 및 워크샵 제공자 또는 프로그램 평가에서 자신의 역할을 수행하는 멘토를 참여시키는 것을 고려하십시오(박스 3 참조).

[메타 수준]에서, 교수진은 또한 프로그램 평가 절차의 평가에 참여할 수 있다. 코스 코디네이터의 성과에 대한 공식적인 평가 데이터가 없음을 고려하여, 과목 책임교수course coordinators는 피드백 대화와 성찰 또는 보고 세션에 참여할 수 있도록 교직원들을 적극적으로 초대할 수 있다. 또한, 교육 인력이 (일부) IQA 접근 방식을 공동 설계할 수 있도록 권한을 부여함으로써, 이러한 관행과 필요한 후속 조치에 대한 교사들의 참여가 더욱 증가할 수 있다(Bendermacher 2021).

Not only students’ input can be insightful, inviting faculty into the evaluation process can give great insight into practical teaching and organizational aspects and simultaneously increase buy-in and commitment. While faculty is mostly the user of evaluation data to improve courses and training programmes, they can also become evaluation respondents and thereby contribute to IQA. Teaching staff could also be included structurally during or at the end of an educational activity to evaluate observed pitfalls or organizational challenges.

• As an example, consider involving PBL tutors in the evaluation of PBL cases, lectures and workshop providers on the alignment of their educational activities, or mentors in fulfilling their roles in programmatic assessment (see Box 3).

On a meta-level, faculty can also be engaged in the evaluation of programme-evaluation procedures. Considering the absence of formal evaluation data for course coordinators’ performance, course coordinators could actively invite faculty to engage in feedback dialogues and reflection or debriefing sessions. Moreover, by empowering teaching staff to co-design (part of the) IQA approaches, their involvement in these practices and their required follow-up might be further increased (Bendermacher 2021).

 

학생들의 [미래 고용주]는 또한 IQA의 중요한 이해당사자이다.

• 직업 현장의 대표들은 졸업생들에 대해 어떻게 생각하는가? 
  
• 취업 현장에 참여하는 학생들은 필요한 기술, 지식 및 태도를 잘 준비하고 갖추고 있는가? 
  
• 교육과정이 노동력의 요구를 반영하고 있는가? 

고용주는 새로운 커리큘럼을 설계할 때 대화나 설문지를 통해 임시로 상담받거나 인턴십, 커리큘럼 또는 동문 평가 동안 학생들의 성과를 논의하기 위해 더 정기적으로 상담받을 수 있다.
The future employers of students are also important stakeholders in IQA:

• how do representatives from the work field feel about the graduates?
• Are students joining the work field well-prepared and equipped with the required skills, knowledge and attitudes?
• Does the curriculum reflect the needs of the workforce?

Employers could be consulted ad-hoc in dialogue or through questionnaires when designing a new curriculum or on a more regular basis to discuss students’ performance during internships or curriculum or alumni evaluations.

[동문]들은 평가 설문지를 통해 [프로그램에서 놓친 영역]과 [가르치고 훈련한 역량이 자신의 경력(선택)에 어느 정도 도움이 되었는지]에 대한 귀중한 정보를 제공할 수 있다. 이는 교육과정 재설계에 직면할 때 특히 통찰력이 있을 수 있으며, 이는 구조적인 차원에서 동문들의 참여가 필요하지 않음을 나타낸다.
Alumni can provide valuable information through evaluation questionnaires about areas they missed in the programme and the extent to which the competences taught and trained have helped them in their career(choice). This can be particularly insightful when facing a curriculum redesign, indicating that involvement of alumni is not required on a structural level.

이와 유사한 맥락에서, [고객이나 환자]는 학생들의 현장진출 준비성이나 교육의 질 향상에 대해 그들의 관점에서 조명할 수 있다(Romme et al. 2020). 이것은 교육을 설계하는 맥락일 수 있지만, 모의 환경이나 임상 순환 중에 학생들의 성과에 대한 피드백을 초대하는 것을 통해서도 가능하다. 그러나 이를 위해서는 검증된 설문지의 개발과 사용, 전력 역학에 대한 인식 및 성과 평가 제공과 관련된 개별 환자 선호도에 대한 존중이 필요하다.
In a similar vein, clients or patients can shed light on students’ preparedness to enter the field or on educational quality improvement from their perspective (Romme et al. 2020). This can either be in the context of designing education but also through inviting their feedback on student’s performance in a simulated setting or during clinical rotations. This, however, requires the development and use of validated questionnaires, awareness of power dynamics and respect for individual patient preferences concerning the provision of performance evaluation (Sehlbach et al. 2020).

 

체계적이고 구조적이며 통합된 IQA에 대한 주기적인 접근 방식
A cyclical approach to IQA – systematic, structural and integrated

IQA 관행에 의해 생성된 데이터가 지속적인 교육 품질 향상으로 이어지도록 하기 위해, IQA는 (1) 체계적이고 (2) 구조적이며 (3) 통합적인 실천으로 특징지어지는 [주기적 과정]을 필요로 한다(그림 3).
To ensure that data generated by IQA practices results in continuous improvement of educational quality, IQA requires a cyclic process characterised by practices that are (1) systematic, (2) structural and (3) integrated (Dolmans et al. 2003) (Figure 3).

[체계적]이라는 것은 커리큘럼의 [모든 중요한 교육 설계 요소]가 [다양한 평가 도구와 절차]에 의해 다루어지고 포괄된다는 것을 의미한다. 체계적인 것은 이해관계자의 참여에도 적용된다. 예를 들어, PBL 커리큘럼을 평가하려면 강의, 실습, 튜토리얼 그룹 미팅, PBL 튜터의 질, 평가의 질, 학생들의 수행 등 각 과정의 다양한 측면에 대한 정보가 필요합니다. 이 정보는 학생, 강사, 교사, PBL 튜터, 코스 코디네이터와 같은 과정에 관련된 이해 관계자에 의해 제공되어야 합니다.
Systematic implies that all important educational design elements of a curriculum are addressed and covered by a variety of evaluation instruments and procedures (Dolmans et al. 2003). Systematic also applies to the involvement of stakeholders. For example, evaluating a PBL curriculum requires information about various aspects of each course: lectures, practicals, tutorial group meetings, the quality of PBL tutors, the quality of the assessment and performance of students. This information should be provided by the stakeholders involved in the course: students, lecturers, teachers, PBL tutors, course coordinators.

[구조적]이라는 것은 정기적인 간격의 주기적 평가의 중요성을 지적한다(Dolmans et al. 2003). 이러한 간격의 빈도는 평가되는 측면의 중요도에 따라 결정해야 한다(그림 3). 예를 들어, 2학년이 지난 후 과정의 질이 안정되었다면, 평가 피로를 피하기 위해 2년에 한 번만 프로그램의 일부를 심층적으로 평가하기로 결정할 수 있다. 이러한 관행이 명확하고 합의된 것이 중요하다. 정책 문서를 통해서 다음을 전달해야 한다.

• 활동 유형(예: 설문지, 포커스 그룹 등), 
  
• 활동 목적(예: 모니터 대 강화) 
  
• 활동 빈도(예: 정기적인 간격, 임시 평가 회피) 
  
• 커리큘럼 수준(예: 과정 수준 대 커리큘럼 수준) 및 
  
• IQA와 관련된 관련 이해관계자(예: 책임자)

Structural points to the importance of periodic evaluation at regular intervals (Dolmans et al. 2003). Frequency of these intervals should be determined based on the importance of the aspect being evaluated (Figure 3). For instance, if after two academic years the course quality has stabilised, one may decide to evaluate parts of the programme in depth only once in 2 years to avoid evaluation fatigue (Svinicki and Marilla 2001). It is important that these practices are clear and agreed upon. Policy documents should communicate the

• different activities (e.g. questionnaire, focus groups etc.),
• purposes (e.g. monitor versus enhance), frequency
• of activities (e.g. regular intervals, avoid ad-hoc evaluations),
• levels of curriculum (e.g. course level versus curriculum level) and
• relevant stakeholders (e.g. responsibilities) involved in IQA.

마지막으로, IQA 관행은 [통합적]이어야 해야 하며, 이는 관련 이해 관계자가 교육 품질을 모니터링하고 향상시키는 데 있어 [자신의 책임을 인식하고 구체화한다는 것]을 의미한다. 교육 기관은 IQA 프로세스에 발언권을 부여함으로써 이해관계자의 적극적인 참여를 가능하게 해야 한다. 또한 조직은 [개선 계획]이 [개발, 구현 및 평가]되고, 이 [프로세스가 정기적으로 투명하게 논의되는지 확인]해야 합니다. 전반적으로, IQA 활동이 [조직의 정규 업무 패턴에 통합]될 때, 이는 지속적인 주기적 과정과 지속적인 교육 품질 향상에 기여할 것이다.
Finally, IQA practices should be integrated, meaning that relevant stakeholders are aware of and give shape to their responsibilities within monitoring and enhancing educational quality (Dolmans et al. 2003). Educational organisations should enable active involvement of stakeholders by giving them a voice in the IQA process. Furthermore, organisations need to ensure that improvement plans are developed, implemented and evaluated, and that this process is discussed regularly and transparently. Overall, when IQA activities are integrated in the organisation's regular work patterns, this will contribute to a continuous cyclical process and continuous enhancement of educational quality.

양질의 문화 구축 – 문화적, 심리적 요소
Building a quality culture – cultural & psychological components

IQA 목적을 위해 수집된 데이터가 모든 이해 관계자가 지속적으로 교육의 질을 향상시키겠다는 약속을 인식하고 느끼는 퀄리티 문화에 확실히 반영되기를 원한다면, 몇 가지 요소에 대한 관심이 필요하다.

• 성찰과 대화를 자극하는 것
• 교수개발과 실천공동체를 가능하게 하여 이해 관계자를 지원하는 것
• 퀄리티 문화를 육성하는 리더십

If we want to ensure that the data collected for IQA purposes will indeed feed into a quality culture in which all stakeholders are aware of and feel commitment towards continuously enhancing educational quality, several components require attention:

• the extent to which reflection and dialogue are stimulated,
• supporting stakeholders through faculty development and enabling communities of practice, and
• leadership that fosters a quality culture.

교육의 질에 대한 성찰과 대화의 자극
Stimulating reflection and dialogue regarding educational quality

성찰 자극
Stimulating reflection

[교육의 퀄리티에 관한 데이터를 갖는 것]이 [자동적으로 교육의 질 향상]으로 이어지지는 않는다. 이론적인 원칙에 입각한 평가 설계를 바탕으로 이론적으로 근거가 있는 풍부한 데이터가 생성되지만, 상황별적이고 보다 실행 가능한 연구도 해당 데이터의 수신자가 교육 품질을 향상시키는 활동으로 데이터를 번역하는 데 도움이 필요할 수 있음을 보여줍니다. 종이와 행동 사이에는 긴 길이 있을 수 있다. 데이터를 행동으로 변환하는 것은 다른 방식으로 자극될 수 있다. [대조적인 평가 데이터]를 제공함으로써 조치를 취할 수 있다.

• 예를 들어, 과정의 평가 결과를 보고할 때, 과정의 평가 결과 옆에 상대적 평가 데이터(예: 다른 과정과의 비교, 전년도 과정과의 비교)를 보고하는 것을 고려할 수 있습니다(상자 4 참조). 
• 이와 유사하게, 그러나 개별 교사에게 피드백을 제공하는 경우, 해당 교사에 대한 실제 학생 평가와 함께 교사들에게 자기 평가를 작성하도록 요청하고 이러한 결과를 제시하면 해당 교사에게 개선해야 할 부분에 대한 추가적인 통찰력을 제공할 수 있다.

Having data on educational quality does not automatically lead to enhancement of education quality (Richardson and Placier 2001; Hashweh 2003). Although grounding the design of your evaluation in theoretical principles will generate rich data that is theoretically grounded, context-specific and more actionable (Bowden and Marton 1999) research also demonstrates that the recipients of that data, may need help translating the data to activities that will enhance educational quality (Stalmeijer et al. 2010; Boerboom et al. 2015; van Lierop et al. 2018). There may be a long road between paper and action. Translating data to action may be stimulated in different ways. Action may be spurred by providing contrasting evaluation data.

• For example, when reporting evaluation results of a course, one can consider to report relative evaluation data (e.g. comparison with other courses, with the course results of the previous year) next to the evaluation results of a course (see Box 4).
• Similarly, but in the case of providing feedback to individual teachers, asking teachers to fill out a self-assessment and presenting these results next to actual student evaluations of the teacher in question could provide the teacher in question with added insights of areas to improve in.

 

임상교사들이 이러한 자기평가 효과에 대해 인터뷰를 한 결과, 특히 자기평가와 학생평가 사이에 부정적인 불일치가 변화에 대한 강력한 자극으로 경험된 것으로 나타났다. 그러나 같은 연구에서 임상 교사들은 피드백의 특정 측면을 행동으로 옮기는 데 도움이 필요하다고 지적했다. 예를 들어, 교수들은 [학생들이 학습 목표를 세우는 것을 돕는 것]에 어려움을 겪었고, 이에 대한 추가적인 코칭을 요청했습니다. 또한, 평가 데이터가 부정이나 방어 같은 감정적 반응을 일으킬 수 있다는 증거가 있어 데이터에 대한 논의가 필수적이다. 반 리에로프 외 연구진(2018)은 임상 교사들이 자기 평가와 학생 평가에 대해 논의하는 동료 그룹 성찰 회의를 도입하여 임상 교사들을 위한 코칭을 실험했다. 이 연구는 또래 집단 성찰 회의가 임상 교사들이 개선 계획을 수립하는 데 도움이 된다는 것을 발견했다.

Clinical teachers being interviewed about the effect of this self-assessment indicated that especially negative discrepancies between their self-assessment and the evaluations of students were experienced as a strong impetus for change (Stalmeijer et al. 2010). However, in the same study, clinical teachers indicated needing help to translate certain aspects of the feedback to action. For example, they had a hard time helping students to formulate learning goals and requested additional coaching. Furthermore, there is evidence that evaluation data may cause emotional reactions like denial or defensiveness (DeNisi and Kluger 2000; Sargeant et al. 2008; Overeem et al. 2009) making discussion of the data essential. van Lierop et al. (2018) experimented with coaching for clinical teachers by introducing peer group reflection meetings in which clinical teachers would discuss their self-assessments and student evaluations. The study found that the peer group reflection meetings assisted clinical teachers in formulating plans for improvement.

대화.
Dialogue

교육의 질을 지속적으로 향상시키려면, 수집 중인 데이터가 개선 이니셔티브에 inform하고, 교육 조직의 [모든 계층과 구조에 의해 논의되는 것]이 중요하다. 마찬가지로 [조직적 대화organizational dialogue]도 퀄리티 보증quality assurance으로서 조직 [프로세스 내에 구조적으로 포함되어야] 한다. 그렇지 않으면 평가 결과에 따라 적절한 조치를 취하지 않고, 정보의 정글이 될 위험이 있습니다. 그러기 위해서는 평가는 커리큘럼의 여러 수준(예: 과정, 사무직, 연도, 학사)의 의제에 대한 반복적인 주제가 되어야 한다. 평가 활동에 대한 [공개적 대화]는 교육 기관의 여러 수준에 대해 조정자가 수립한 실행 계획에 의해 inform되어야 한다. 이러한 실행 계획의 구현과 평가는 정기적으로 논의되어야 한다. 성과가 지속적으로 교육 개선에 효과적으로 활용될 수 있도록 공개적으로 논의되어야 한다. 즉, judgemental하지 않으면서, 결과와 성과를 논하는 방법을 평가하고, 개선을 지원하는 건설적인 언어에 초점을 맞춘다. 이러한 방식으로 대화는 개선 목적을 위한 평가 데이터의 사용을 향상시킬 것이다(Kleijnen et al. 2014). 이 대화의 기회를 창출하는 것은 [구조적 특성structural character]을 띠어야 하는데, 이는 이러한 논의가 [정해진 빈도]로 조직되고, [모든 관련 이해 관계자가 참여]한다는 것을 의미한다. 예를 들어, 코스 코디네이터는 반성 세션 동안 교사 및 학생 대표와 평가 보고서를 논의하고, 구체적인 실행 계획을 수립하고, 구조적으로 이러한 계획의 이행 및 평가에 타임라인을 첨부할 수 있습니다. 더 큰 규모로 (Griffin 및 Cook 2009) 강의에서 평가 결과와 개선 계획을 제시함으로써 학생들을 교육 품질의 적극적인 소유자로 만들 수 있습니다. 학생을 토론의 일부로 만드는 것은, 학생들이 그들의 [참여 결과를 보고, 교수진의 의견을 듣고, 의견을 교환할 수 있는 기회]만 주어진다면, 평가 절차에 참여할 수 있는 추가적인 인센티브를 제공할 것이다.

To ensure continuous enhancement of educational quality, it is important that the data which is being collected informs improvement initiatives and is discussed by all layers and structures of the educational organisation. The organisational dialogue should similarly be structurally embedded within the organisational process as quality assurance. Otherwise it may run the risk of becoming a jungle of information without appropriate steps being taken to act on the evaluation results. To do so, evaluation should be a recurring topic on the agenda of different levels in the curriculum (e.g. course, clerkship, year, bachelor). This open dialogue about the evaluation activities should be informed by action plans formulated by coordinators on the different levels of the educational organisation. Implementation and evaluation of these action plans should be discussed regularly. Results must be discussed openly so that they can be used effectively to improve education continuously (Dolmans et al. 2011; Bendermacher et al. 2020). That is, avoiding judgemental, assessing way of discussing results and performances, instead focus on constructive language supporting improvement. In this way, dialogue will enhance the use of evaluative data for improvement purposes (Kleijnen et al. 2014). Creating opportunities for this dialogue should take on a structural character, meaning that these discussions are organised with a set frequency and involving all relevant stakeholders. For example, course coordinators can discuss evaluation reports with teachers and student representatives during reflection sessions (van der Leeuw et al. 2013), formulate specific plans for action and attach a timeline to implementation and evaluation of these plans on a structural basis. On a larger scale, students can be made active owners of educational quality by presenting evaluation results and plans for improvement during (online) lectures (Griffin and Cook 2009). Making them a part of the discussion will provide students with an extra incentive to participate in evaluation procedures if they see the results of their participation and are afforded the opportunity to be heard by faculty and exchange views (Griffin and Cook 2009; Healey et al. 2015).

 

교수진 개발 및 실무 커뮤니티를 통한 이해관계자 지원
Supporting stakeholders through faculty development and communities of practice

품질 보증에 관한 교수 개발
Faculty development on quality assurance

QA 과정에서 적극적으로 참여하는 이해관계자에게 [교수 개발]을 제공하는 것은 교육의 질에 관한 데이터가 효과적으로 교육의 질 향상에 번역될 수 있도록 하기 위해 사용될 수 있는 또 다른 전략이다. 품질 보증 프로세스 내에서 특정(그룹) 이해관계자가 갖는 역할에 따라 교수진 개발 워크숍에서 다양한 측면을 다룰 수 있다. 예를 들어, FHML에서는 학생 평가 위원회(SEC)와 교육 프로그램 위원회(EPC)의 구성원을 위한 연간 워크숍을 제공한다. SEC는 보통 10-12명의 학생들로 구성되어 있으며, 그들의 목표는 교육 활동에 대한 질적 데이터를 생성하고 교수 팀과 결과에 대해 논의하는 것이다. 연례 워크숍에서 SEC 회원들은 자신의 역할을 효과적으로 수행하는 방법에 대한 지침을 받는다(박스 5).

Providing faculty development for stakeholders actively involved within the process of quality assurance, is another strategy that may be employed to ensure that data on educational quality can be effectively translated to enhancement of educational quality. Depending on the role that a certain (group of) stakeholder(s) has within the process of quality assurance, different aspects can be addressed during faculty development workshops. For example, at FHML we provide yearly workshops for members of the student evaluation committees (SEC) (Stalmeijer et al. 2016) and the educational programme committees (EPC). The SEC, usually comprise 10–12 students, and their goal is to generate qualitative data on educational activities and to discuss outcomes with teaching teams. In a yearly workshop, members of the SEC are provided with guidelines on how to effectively fulfil their role (Box 5).

EPC 회원들에게는 또 다른 연례 워크숍이 제공된다. 네덜란드에서는 각 대학 프로그램에 EPC가 의무화되어 있다. EPC는 직원 및 학생 대표가 섞여 있으며, 프로그램 수준에서 교육 품질을 전반적으로 모니터링하는 역할을 한다. EPC는 [시험 규정과 그 시행, 교육 예산, 교육 혁신, IQA 시스템 등과 같은] 교육 문제에 대해 요청하거나 자발적으로 조언을 제공할 수 있다. 연례 워크숍(상자 5 참조) 동안 EPC 구성원은 공동으로 교육을 받고 교육 품질 보증 과정에서 자신의 역할에 대한 활발한 토론에 참여한다.

Another yearly workshop is provided to members of the EPC. In the Netherlands, each university programme is mandated by law to have an EPC. An EPC consists of a mix of staff and student representatives and is tasked with overall monitoring of educational quality at the programme level. The EPC can give advice, either on request or on their own initiative, on education matters like examination regulation and its implementation, education budget, educational innovation, and the system of IQA. During the yearly workshop (see Box 5) EPC members are trained jointly and involved in an active discussion about their role in the process of educational quality assurance.

실천 공동체
Communities of practice

CoP(Community of Practice)는 '중첩된 지식 기반, 공통 관행 및 상호 기업mutual enterprise에 초점을 맞춘 [신념, 가치, 역사 및 경험의 집합]을 [공유하고 발전]시키는 [개인들의 지속적이고 지속적인 사회적 네트워크]'로 정의할 수 있다.

• CoP(Community of Practice)의 설립은 [혁신을 위한 전문 지식과 아이디어의 교환]을 촉진하기 때문에 교육을 더욱 향상시킬 수 있습니다.
• CoP는 [모범 사례를 공유]하는 등의 방법으로 직원이 [새로운 관점 및 개선 기회]를 얻는 데 도움이 됩니다.
• CoP는 특히 [퀄리티 문화의 심리적 차원을 육성]하는 것과 관련이 있다. CoP는 교수와 학습의 가치, 일상적인 업무 경험과 과제에 대한 성찰, 교사 정체성 구축이 중심이 되는 [환경을 형성]한다.
• CoP의 [건설적인 동료 피드백 프로세스]와 [상호 전문직업적 및 사회적 지원 제공]은 주인의식을 개발하는 것과 교육 향상에 대한 책임감을 느끼는 사이의 관계를 균형 있게 유지하는 데 도움이 됩니다.
• CoP의 [개방적이고 종단적인 특성]은 그들의 성공에 필수적이다. CoP는 단순히 이미 고도로 관련되고 교육에 헌신하는 사람들로 구성된 임시적 그룹을 만드는 것을 넘어서야 한다.

A Community of Practice (CoP) can be defined as a ‘persistent, sustaining, social network of individuals who share and develop an overlapping knowledge base, set of beliefs, values, history, and experiences focused on a common practice and/or mutual enterprise’ (Barab et al. 2002, p. 495).

• The establishing of communities of practice (CoPs), can further educational enhancement as they foster an exchange of expertise and ideas for innovation (de Carvalho-Filho et al. 2020).
• CoPs facilitate staff in gaining new perspectives and opportunities to improve, e.g. by means of sharing good practice.
• CoPs are specifically relevant for the nurturing of the psychological dimension of a quality culture; they form an environment in which the valuing of teaching and learning, reflection on daily work experiences and challenges, and teacher identity building is central (Cantillon et al. 2016).
• Constructive peer feedback processes in CoPs, and the offering of mutual professional and social support help to balance the relation between developing a sense of ownership and feeling accountable for educational enhancement (Bendermacher et al. 2020).
• An open and longitudinal character of CoPs is essential to their success; they should go beyond the mere establishment of a temporal group of those already highly involved and committed to education.

FHML에서 우리는 저널 클럽, 교육 혁신이 제시되고 논의되는 월간 회의, 참가자들이 동료들과 경험을 공유하도록 명시적으로 초대되는 과정 조정자를 위한 종단 리더십 훈련과 같은 CoP를 자극하기 위한 몇 가지 활동을 조직한다. 우리는 교수 개발 목적으로 CoP를 구현하는 방법에 대한 영감을 얻기 위해 Carvalho-Filho와 동료들의 12가지 팁을 추천한다.
At FHML we organise several activities aimed at stimulating CoPs like journal clubs, monthly meetings in which educational innovations are presented and discussed, and a longitudinal leadership training for course coordinators in which participants are explicitly invited to share experiences with their colleagues. We recommend the twelve tips by Carvalho-Filho and colleagues (2020) for inspiration on how to implement a CoP for faculty development purposes.

퀄리티 문화를 육성하는 리더십
Leadership that fosters a quality culture

학생과 교직원의 목소리를 중시하기 위해, 교육 지도자들은 교육의 질에 대한 토론을 촉진하고, 또한 조직 내의 다른 사람들에게 귀를 기울이고 반응함으로써 차이를 만들 수 있습니다. Bland 등이 수행한 검토 결과, 성공적인 교육과정 개발을 위한 바람직한 [리더십 행동]은 [개방적인 커뮤니케이션 환경을 조성]하는 것 외에도, 적극적이고 참여적이며 문화적/가치에 영향을 미치는 행동과 관련이 있는 것으로 나타났다(Bland 등). 2000). 즉, 성공적인 리더는 협업을 촉진하고, 계획된 변화에 비추어 가치를 공유하며, 신뢰를 구축하고 참여를 촉진합니다.

To value the voice of students and staff members, educational leaders can make a difference by facilitating debate about the quality of education (Sursock 2011), but also by listening and being responsive to others within the organisation (Knight and Trowler 2000). A review conducted by Bland et al, indicated that, in addition to creating an open communication climate, favourable leadership behaviours for successful curriculum development concern assertive, participative and cultural/value-influencing behaviours (Bland et al. 2000). That is, successful leaders promote collaboration, share values in the light of the envisioned change, and build trust and facilitate involvement (Bland et al. 2000).

Bendermacher et al(2021)은 퀄리티 문화를 육성하기 위한 그들의 노력에서, 조직 내에서 다양한 수준에서 행동하는 리더들은 [다양한 도전에 직면한다]고 강조했습니다.

• [상급 관리 수준]에서 리더는 일반적으로 퀄리티 문화가 뿌리내리는 데 필요한 규칙, 정책, 책임 및 책임과 관련된 '정치적', '전략적' 및 '구조적' 문제를 다룬다. 교육 리더십은 [현재의 구조와 시스템]과 [직원 가치] 사이의 균형을 잡는 것을 의미하며, [자원을 위한 연합 구축, 협상 및 중재]를 필요로 한다. 이를 위해 교육 리더들은 기관 내에서 [강력한 관계와 네트워크]를 구축하고 협력과 상호작용을 촉진하기 위해 노력해야 한다.
• 조직적인 meso 또는 micro 수준에서 일하는 리더들은 [교육 내용의 직접적인 개선]에 더 많이 참여하고, [팀 학습을 촉진]하는 데 더 집중하는 것으로 보인다. 

Bendermacher et al. (2021) highlighted that in their efforts to nurture a quality culture, leaders acting at different levels within the organisation face various challenges.

• On the higher management level, leaders typically deal with ‘political’, ‘strategic’ and ‘structural’ issues which concern rules, policies, responsibilities and accountability, needed for a quality culture to take root. Educational leadership entails a balancing of present structures and systems with staff values and requires coalition building, negotiation and mediating for resources (Bolman and Deal 2003). To this end, educational leaders should work to build strong relationships and networks within the institution and stimulate collaboration and interaction (O’Sullivan and Irby 2011).
• Leaders working on the organisational meso, or micro level appear to be more engaged in the direct improvement of the educational content and focus more on facilitating team learning.

보건 전문직 교육에서 [복잡한 조직 구조와 학제간 협력]이라는 새로운 경향은 리더의 영향력이 점점 더 [간접적인 형태]로 행사되게 한다. 교육의 질 향상에 대한 리더의 영향은 점점 더 [공유되고 협력적이며 분산된 접근 방식]을 통해 나타나고 있다. 따라서, 리더는 '강인한' 리더에게 교육의 질적 향상에 대한 책임을 전가하는 대신 동기부여자, 멘토, 촉진자 역할을 할 것으로 기대되며, 보건직 교육의 리더십은 [개별 직원의 감독, 지도, 지원]을 넘어서, 보다 [광범위한 집단적인 것]으로 바뀌고 있다.

Complex organisational structures and emerging trends of interdisciplinary collaboration in health professions education, cause the influence of leaders to be exerted more and more in indirect ways (Meeuwissen et al. 2020; Bendermacher et al. 2021). The influence of leaders on educational quality enhancement is increasingly being manifested through shared, collaborative and distributed approaches (e.g. McKimm and Lieff 2013; Sundberg et al. 2017; Sandhu 2019). Hence, instead of attributing responsibility for educational quality enhancement to ‘strong’ leaders, leaders are expected to be motivators, mentors, and facilitators and leadership in health professions education is changing from individual staff supervision, guidance, and support to a focus on the broader collective.

보건 전문 교육 기관의 지식 집약적 환경에서 교육 지도자와 기타 교직원은 [조직 문제에 대한 의미와 해결책을 함께 구성]합니다. 보건직 교육에서의 리더십은 [다층적]이기 때문에, (의학) 학교 위계구조의 현실 안에서 [동시에 리더이자 팔로워]가 될 수 있다. 더욱이, 학계는 단순한 리더십 수혜자가 아니라 공동창조를 통해 다른 이들의 리더십을 주도하고 조직 발전에 영향을 미칠 수 있다.
In the knowledge-intensive setting of health professions education institutes, educational leaders and other teaching staff members co-construct meaning and solutions to organisational issues (Tourish 2019). As leadership in health professions education is multi-layered, within the reality of (medical) school hierarchies, one might be a leader and a follower at the same time (McKimm and O’Sullivan 2016). Moreover, instead of being mere leadership recipients, academics can steer the leadership of others and impact organisational developments through co-creation (Uhl-Bien et al. 2014).

교육 리더가 양질의 문화 발전과 IQA를 최대한 활용할 수 있도록 지원하는 개입으로는 리더를 양성하여 성찰, 전문성 및 지식 공유를 자극하고, 리더를 학습하여 교사 팀의 안전과 신뢰 관계를 배양하고, 리더의 상황 민감성을 강화하는 것이 포함된다. 보건 전문직 교육은 여러 스타일을 결합할 수 있고 다양한 이해 관계자의 목표와 야망을 통합할 수 있는 리더에게 가장 잘 제공됩니다.
Interventions that can aid educational leaders to make the most out of quality culture development and IQA include: training leaders to stimulate reflection, expertise, and knowledge sharing, learning leaders to foster safety and trust relations in teacher teams, and strengthen leader’s situational sensitivity (Hill and Stephens 2005; Edmondson et al. 2007; Nordquist and Grigsby 2011). In order to continuously enhance, health professions education is best served with leaders who are able to combine multiple styles and who are able to coalesce different stakeholder goals and ambitions (Lieff and Albert 2010).

온라인 의학교육에서 윤리적으로 가르치기: AMEE Guide No. 146 (Med Teach, 2022)
AMEE guide to ethical teaching in online medical education: AMEE Guide No. 146
Ken Mastersa , David Taylorb , Teresa Lodac and Anne Herrmann-Wernerd

코스 계획
Course planning

법률, 지침 및 정책
Laws, guides and policies

코스를 설계하기 전에 코스 설계자는 윤리적인 코스 설계를 보장하기 위해 수용되어야 하는 다양한 표준을 알고 있어야 합니다. 이것들은 위에 열거된 가장 명백한 윤리적 문제와 관련이 있을 것이다. 다소 느슨하게, 이러한 표준은 [법률, 디자인 가이드 및 기관 정책]의 세 가지 그룹으로 나눌 수 있다.
Before designing a course, course designers should be aware of a range of standards that need to be accommodated in order to ensure the ethical course design. These will relate to the most obvious ethical issues as listed above. Rather loosely, these standards can be divided into three groups: laws, design guides, and institutional policies.

법률
Laws

[관련 법]은 나라마다 다르므로, 모든 교사에게 적용되지 않을 수 있다. 그러나 의학교사가 이러한 법의 관할권 밖에 있는 경우에도 강좌를 설계할 때 유용한 지침이 될 수 있다. 표 1은 가장 관련성이 높은 법률의 목록을 보여줍니다.
The relevant laws differ from country to country, and so may not be applicable to all teachers. Even when the medical teacher falls outside the jurisdiction of these laws, however, they can be useful guides when designing courses. Table 1 gives a listing of some of the most pertinent laws.

In addition, some training is available through the Kansas Accessibility Resource Network (KASN) (free, with registration) (https://ksarn.org/free-training/) and extra tips from the University of Minnesota (https://accessibility.umn.edu/what-you-can-do/start-7-core-skills).

설계 가이드 및 루브릭
Design guides and rubrics

법률 외에도, 자신의 진로를 형성하는 데 도움을 줄 수 있는 몇 가지 [안내서와 루브릭]이 있다. 이들 중 대부분은 전반적인 과정 설계를 위해 설계되었지만, 대부분의 세부 사항은 자료의 접근성에 초점을 맞추고 있습니다. 특히 가치 있는 세 가지는 다음과 같다.
In addition to laws, there are several guides and rubrics that can be used to help shape one’s course. Most of these are designed for overall course design, but many of the specifics focus on the accessibility of materials. Three that will be of particular value are:

• 품질 문제(QM): (https://www.qualitymatters.org/. . . . . 이 사이트는 온라인 교육을 위한 매우 우수하고 포괄적인 도구 세트를 제공합니다. 최소한 고등 교육을 위한 그들의 루브릭(https://www.qualitymatters.org/qa-resources/rubric-standards/higher-ed-rubric. . . )은 개별 강사들이 자기 평가와 더 넓은 동료 평가를 위해 사용할 수 있다. 루브릭은 여행을 시작하는 사람에게는 부담스러울 수 있으므로 초보자는 천천히 진행하기를 원할 수 있습니다. ERT를 사용해 온 사람들에게는 QM 지침에 따라 귀하의 자료를 변환하는 것이 기본 윤리 기준을 충족하도록 하는 데 큰 도움이 될 것입니다(QM 사이트의 자료의 대부분은 무료가 아니며 저작권 제한).s가 존재하므로 사용자는 무엇을 사용할 수 있는지 알아야 한다).
  
• 앤스티 앤 왓슨의 루브릭(앤스티 앤 왓슨 2018)도 매우 유용하며 크리에이티브 커먼즈(CC BY-NC-SA 4.0) 라이센스를 통해 구입할 수 있다.
  
• QM 자료를 활용한 국가품질온라인학습표준(NSQ)(https://www.nsqol.org/. . . )도 심층 가이드를 제공한다.
• Quality Matters (QM): (https://www.qualitymatters.org/. . . . ). This site provides an extremely good and comprehensive set of tools for online education. At the very least, their rubric for higher education (https://www.qualitymatters.org/qa-resources/rubric-standards/higher-ed-rubric. . . . ) can be used by individual instructors for self-evaluation and for broader peer-evaluation. The rubric might be daunting for somebody starting on the journey, so novices may wish to progress slowly; for those who have been using ERT, conversion of your material according to QM guidelines will go a long way in ensuring that your course meets basic ethical standards (Much of the material on the QM site is not free, and copyright restrictions exist, so users should be aware of what may be used).
• Anstey and Watson’s rubric (Anstey and Watson 2018) is also very useful and is available through a Creative Commons (CC BY-NC-SA 4.0) licence.
• National Standards for Quality Online Learning (NSQ) (https://www.nsqol.org/. . . . ) which uses the QM material, also offers in-depth guides.

기타 표준 및 루브릭에 대한 논의는 (Martin et al. 2017)을 참조하십시오. 강사들이 루빅 기반 교육 설계에서 벗어나면서, 그들은 그들의 자료를 형식화formalize하고 또한 이러한 많은 루빅 뒤에 있는 원리들을 이해하기를 원할 수 있다. 이러한 경우 관련 이론에 익숙해지기 위한 유용한 출발점이 될 것이다.
For a discussion of other standards and rubrics, see (Martin et al. 2017). As instructors move away from rubric-based instructional design, they may wish to formalise their material, and also understand the principles behind many of these rubrics. For these, useful starting points for familiarising oneself with the pertinent theories would be (Clark and Mayer 2003; Sandars et al. 2015; Picciano 2021).

제도적 정책
Institutional policies

대부분의 기관은 데이터 보호, 개인 정보 보호, LMS의 구체적인 사용 등 전자 시스템의 올바른 사용을 다루는 정책을 가지고 있으며, 이러한 정책들을 교사와 학생 모두 잘 알고 있어야 해당 기관이 운영하지 않을 수 있다.
Most institutions have policies covering the correct use of their electronic systems, including data protection, privacy, and the specific usage of the LMS. It is necessary for both teachers and students to be aware of these so that they do not run afoul of the institution.

또한 개별 부서 및 과정에는 허용 가능한 행동에 대한 [추가 규칙]이 있을 수 있습니다. 모든 관련자들이 이것들을 인식하도록 하는 것이 중요하다. 각 부서는 교사와 학생들에게 알려야 하며, 커리큘럼 문서도 이를 참조하는 것이 좋을 것입니다(아래 약술). (학과에 이러한 사항이 없다면 윤리 교사가 이를 공식화하는 데 도움을 줄 수 있습니다.)
In addition, individual departments and courses may have extra rules regarding acceptable behaviour. It is important that all concerned are made aware of these. Departments should inform their teachers and students, and it would be a good idea for curriculum documents to refer to these also (as outlined below) (If departments do not have these, then the ethical teacher could take a hand in formulating them).

그러나 이 모든 것에서 [윤리적 행동에 대한 욕구와 현실적인 기대의 균형]을 맞추는 것도 중요하다. 대표적인 두 가지 예는 다음과 같다.
In all of these, however, it is also crucial to balance a desire for ethical behaviour with realistic expectations. Two typical examples are:

• 학생들이 다른 학생들로부터 투영된 용납할 수 없는 이미지에 노출되지 않도록 하는 것이 바람직하지만, 교사들은 우리가 온라인에서 가르칠 때, 우리는 학생들의 집에 있다는 것을 기억해야 한다. 결과적으로, 학생들이 그들의 삶의 측면의 이미지나 오디오를 의도치 않게 방송할 가능성이 있다. 그렇지 않으면 대면 교실에서 받아들일 수 없을 것이다. 이는 학생의 집에 있는 다른 사람들의 (고의적이거나 의도적이지 않은) 배경 간섭이나 단순한 잘못된 사건의 결과일 수 있습니다. 격한 반응보다는 교사와 기관의 이해심 있는 반응이 바람직할 것이다.
• While it is desirable to ensure that students are not exposed to unacceptable images projected from other students, teachers should remember that, when we teach online, we are in students’ homes. As a result, it is possible that students will unintentionally broadcast images or audio of aspects of their lives that would otherwise be unacceptable in a face-to-face classroom. This might be the result of (intentional or unintentional) background interference from other people in the student’s home or a simple ill-advised event. An understanding reaction from the teacher and institution, rather than a fierce response, would be preferable.
• [잘못된 생각ill-thought-out이나 광범위한 산업 소프트웨어 표준에 기반을 둔 제도적 온라인 행동 약관]은 교사와 학습자에게 심각한 결과를 초래할 수 있다. 예를 들어, [불쾌한 자료를 보내거나 받는 것]을 범죄로 만드는 것: 이것은 자동으로 LMS 과정 게시판이나 포럼에 게시된 메시지를 여는 것이 범죄라는 것을 의미한다. 따라서 범죄를 저지르는 것에 대한 유일한 확실한 예방 방법은 포럼에 게시된 내용을 절대 읽지 않는 것인데, 그렇게 되면 강좌의 교육적 가치를 즉시 떨어뜨립니다. 그런 정책이 존재한다면 이를 올바른 제도적 경로로 제기해 변화시키는 것이 현명할 것이다.
• Institutional online behaviour terms and conditions that are ill-thought-out, or based on broad industry software standards, can have serious consequences for teachers and learners. For example, making it an offence to send or receive offensive material: this automatically means that opening such a message posted into the LMS course bulletin boards or forums is an offence. The only sure prevention method against committing an offence, then, is to never read anything posted into the forums, which immediately lessens the educational value of the course. If such policies exist, it would be wise to raise this with the correct institutional channels, so that they may be changed.

기관 행정 및 지원 구조
Institutional administrative and support structures

대면교육에서는 개별 교사가 혼자 근무하는 경우가 많고, 주변에는 행정 및 기술 인력이 상주해 학생들의 눈에 띄지 않는 경우가 많다. 그러나 온라인 교육에서 [교육 매체]는 윤리적 의무를 따르는 [테크니컬 및 기타 직원들]에 의해 통제되는데, 이것이 늘 교사의 교육적 필요와 일치하지는 않는다. 결과적으로, 아래에서 논의되는 많은 항목은 개별 교사 및 심지어 부서의 통제를 벗어날 수 있으며, [소프트웨어 및 파일 서버의 원활한 작동]이 주된 관심사인 다른 사람들과 신중하게 협상해야 할 필요가 있을 수 있다.
In face-to-face education, individual teachers frequently work alone, and administrative and technical staff are present on the periphery, frequently unobserved by students. In online education, however, the very medium of instruction is controlled by technical and other staff who may be guided by ethical imperatives that do not always align themselves with the pedagogic needs of the teachers. As a result, many of the items discussed below may be beyond the control of individual teachers and even departments, and may need to be delicately negotiated with others who see their prime concern as the smooth-functioning of software and file servers.

충돌 가능한 영역은 다음과 같습니다.
Areas of possible conflict may include:

• 온라인 교육을 거의 받지 않은 교사와 학생들은 [끊임없이 변화하는 환경]에 적응하고 적응해야 한다.
  
• 접근성을 용이하게 하기 위해 [추가적인 비표준 소프트웨어 및 플러그인, 글꼴, 레이아웃을 사용하고자 하는 교사의 욕구]는 LMS 주제 및 템플릿에 반할 수 있다.
  
• 교원 및 학생에게 [자체 하드웨어 및 소프트웨어 기술]을 교수 및 학습에 사용하도록 요구하는 기관
  
• 온라인 환경에 적용되고 효과가 있을 것으로 예상되는 [대면 교육에 적합하도록 발전된 기관의 시간표, 과정 섹션 및 강의 규모]
  
• [필요한 지원을 하지 않으면서], 교원 및 학생에게 기관의 기준 준수 요구,
  
• 윤리적 교육 윤리적 요건과 상충될 수 있는 [기관 및 교사의 데이터 관행].
  
  
• Teachers and students who are largely untrained in online education having to adapt and adjust to an ever-changing environment;
• Teachers’ desire to use extra non-standard software and plugins, fonts, layouts in order to ease accessibility, but which may be contrary to LMS themes and templates;
• Institutions’ requiring teachers and students to use their own hardware and software technology for teaching and learning;
• Institutions’ time tables, course sections and class sizes that have evolved to suit face-to-face teaching imposed into an online environment and expected to work;
• Institutions’ demands for standards on teachers and students without supplying the necessary support, and
• Institutions’ and teachers’ data practices that may conflict with ethical educationally ethical requirements.

임상 교육에서 환자와 관련된 다른 문제가 발생하며, 이 가이드의 뒷부분에서 다룹니다.

In clinical teaching, other issues around patients arise, and are dealt with later in this Guide.

소셜 미디어 및 타사 소프트웨어
Social media and third-party software

온라인 의학 교육은 소셜 미디어와 제3자 소프트웨어 및 웹 사이트를 사용함으로써 향상될 수 있는데, 일부는 일반적으로 교육적인 것으로 간주되지 않을 수 있으며, 일부는 다른 관할 지역의 윤리 원칙에 따라 지도될 수 있다. 독점, 자유 또는 오픈 소스 여부에 관계없이 소프트웨어 개발자와 공급업체는 소프트웨어 사용에 대한 데이터를 수집하기를 원할 수 있으며, 이러한 활동의 구체적인 내용은 소프트웨어의 약관에 묻혀 있을 수 있습니다. 의학교사와 기관은 이러한 조건을 인지하고, 이러한 조건에 기초하여 소프트웨어 적합성에 대한 결정을 내리는 것이 필수적이다. 학생들에게 우려할 만한 부분이 있다면 학생들에게 이를 알려야 한다.
Online medical education can be enhanced by the use of social media and third-party software and websites, some of which may not normally be considered educational, and some may be guided by ethical principles from other jurisdictions. Whether proprietary, free or open-source, software developers and vendors may wish to gather data about the use of their software, and the specifics of these activities may lie buried in the software’s Terms and Conditions. It is imperative that the medical teacher and the institution be aware of these conditions, and make decisions about the software suitability, based upon those conditions. If there are areas that may be of concern to students, the students should be made aware of this.

질적연구를 할 때 성찰성적(reflexive)으로 하는 방법(Clin Teach. 2020)
How to ... be reflexive when conducting qualitative research
Aileen Barrett1 , Anu Kajamaa2 and Jenny Johnston3

서론
Introduction

위의 반사적 진술은 이 일련의 '어떻게…' 기사의 저자로서 우리의 위치를 설명합니다. 우리의 관점에서 반사적인 것은 무엇보다도 질적인 연구와 임상 실습의 질을 향상시키는 중요한 과정이다. 연구의 신뢰도를 높이고, 신뢰도, 신뢰성, 이전성, 확인성 등 출판의 5가지 품질 기준 중 하나로 꼽힌다. 이 기사에서는 반사 및 반사성의 개념을 살펴보고, 연구자 및 임상의로서 연구 과정을 살펴보고 반사성이 연구와 실천의 질에 미치는 영향을 고려할 수 있는 방법에 초점을 맞출 것이다.
The reflexive statement above describes where we are positioned as authors of this series of ‘How to …’ articles. Being reflexive is, from our perspective, first and foremost a critical process for enhancing the quality of qualitative research and clinical practice. It enhances the trustworthiness of the study and is considered one of five quality criteria for publishing, including credibility, dependability, transferability and confirmability.1 In this article, we will explore the concepts of reflection and reflexivity, and focus on how you as a researcher and a clinician can examine your research process and consider the impact of reflexivity on the quality of your research and practice.

성찰인가, 성찰성인가?
Reflection or reflexivity?

[성찰]은 교육 문헌, 조직적 학습과 변화, 그리고 건강 관리에서 흔히 언급되는 개념이다. 미국의 교육개혁가 존 듀이는 성찰을 '성찰을 뒷받침하는 근거와 그 근거가 되는 추가적인 결론에 비추어 어떤 신념이나 가정된 형태의 지식에 대한 적극적이고 지속적이며 신중한 고려'라고 정의했다. 반성을 통해, practitioner은 실천의 반복적인 경험에 대한 암묵적인 이해를 재고하도록 장려되고, 상황에 대한 새로운 감각을 만들 수 있으며, 이는 결국 그들이 새로운 경험을 얻을 수 있게 한다.
Reflection is a common concept in educational literature, organisational learning and change, and in health care. John Dewey, an American educational reformer, defined reflection as ‘active, persistent and careful consideration of any belief or supposed form of knowledge in the light of the grounds that support it, and the further conclusions to which it tends’.2 Through reflection practitioners are encouraged to rethink their tacit understanding of the repetitive experiences of a practice, and can make new sense of situations, which in turn may allow them to gain new experience.3

쇤의 행동과 성찰의 세 가지 수준은 의료 전문가들에게 친숙하다.
Schön's three levels of action and reflection are familiar to health care professionals:3, 4

의식적으로, 집단적 성찰은 직장에서 발전과 학습의 필수적인 부분이며, 임상 작업장과 연구 맥락 모두에서 업무의 공동 구축과 재구성의 일부로 볼 수 있다. 성찰은 언제나 [일이 일어나는 맥락]과 관련하여 고려된다는 것을 강조할 가치가 있다.
Conscious, collective reflection is a necessary part of development and learning at work5 and can be seen as part of the co-construction and re-construction of work,6 both in clinical workplaces and in research contexts. It is worth emphasising that reflection is always considered in relation to the context in which the work takes place.6, 7

그러나 [반사성]은 우리가 다른 사람들과 교류하고 경험에 대해 이야기할 때, [우리의 이해와 사회적 현실을 지속적으로 구성(그리고 전환)하기 위한 반성을 포함하는 지속적인 과정]이다. [반사성]은 우리의 [태도, 가정, 관점 및 역할]에 대해 [질문하고, 검토하고, 수용하고, 명확히 하는] 이 [연속적인 과정]을 통해 현상에 도전한다.
Reflexivity, however, is an ongoing process that involves reflection to continuously construct (and shift) our understanding and social realities as we interact with others and talk about experience.8 Reflexivity challenges the status quo through this continuous process of questioning, examining, accepting and articulating our attitudes, assumptions, perspectives and roles.9

반성의 개념은 종종 '반사성'의 개념과 동의어로 사용된다. 그러나 반사성은 실제로는 [성찰(그리고 그 결과, 즉 그 반사의 결과로 발생하는 정의된 행동)과 재귀성]의 조합이며, 여기서 우리는 맥락 속에서 그 결과를 고려한다. 예를 들어, 우리는 설정, 조치를 수행하는 사람들, 그리고 팀 역학이 연구 결과를 형성하는 방법을 고려한다. 

The notion of reflection is often used synonymously with the concept of ‘reflexivity’; however, reflexivity is actually a combination of reflection (and its outcome, i.e. a defined action that comes about as a result of that reflection) and recursivity, where we consider those outcomes in context. For example, we consider the setting, those performing the action and how team dynamics shape the outcomes of a research study.6, 10

무엇을 반사적으로 생각해야 할까요?
What should i be reflexive about?

연구는 항상 연구과정 전반에 관련된 요소들과 이러한 맥락에서 연구자의 입장과 영향력을 포함하여 많은 요소들에 의해 영향을 받는다. 이러한 [영향과 가정]의 [의도된 결과와 의도하지 않은 결과]와 함께, 이를 [명시적으로 설명하는 것]은 연구 과정에 대한 [숙고적이고 반사적인considered and reflexive 접근법]의 특징이다. 정량적 연구에서 그러한 영향은 때때로 [편향]이라고 불린다. 질적 연구에서, 우리는 biases가 [반사적으로 연구에 포함되는 한 그것을 환영]한다. 모든 연구자는 다음과 같은 의제agenda를 제시합니다. 즉, 답해야 할 연구 질문을 말한다. 당신이 이것을 어떻게 하기로 선택했는지와 당신이 사용하는 방법은 당신이 지식과 세상을 보는 방식과 크게 관련이 있다.

• 당신은 하나의 현실(실증주의)이 존재하는 상황의 '진실'을 찾기 위해 연구가 필요하다고 느끼는가,
• 아니면 현실과 사람들의 경험의 상대적인 회색 영역 안에서 살 수 있는가?

후자의 경우, [사회적 구성주의]는 지식이 다른 문화적, 역사적 맥락 안에서 다르게 '구성'된다는 것을 인정한다.
Research is always influenced by a number of factors, including those related to the research process as a whole and the researcher's position and influence in this context. Explicitly describing this, along with the intended and unintended consequences of these influences and assumptions, is the mark of a considered and reflexive approach to the research process. In quantitative research, such influences are sometimes labelled biases; in qualitative research, we welcome them so long as they are reflexively included in the research. Every researcher sets out with an agenda: that is, a research question that needs to be answered. How you choose to go about this and the methods you use are to a large extent related how you view knowledge and the world.

• Do you feel that research is needed to find the ‘truth’ of a situation, in which there is one reality (positivism),
• or can you live within a grey area in which reality is relative to the experiences of a group of people?

In the latter case, social constructivism acknowledges that knowledge is ‘constructed’ differently within different cultural and historical contexts.11

[위치Position]는 연구 참여자 또는 연구 맥락과 관련된 연구자의 위치position를 말한다. 예를 들어, 당신이 어떤 현상에 대한 GP 연수생의 관점을 탐구하는 일반의(GP) 연수생(등록관 또는 거주자)이고, 이것이 당신이 직접 경험한 것이라면, 당신은 '내부 연구자'로 간주될 것이다. 그러나 동일한 현상에 대한 자격을 갖춘 GP의 관점을 탐구하는 GP 훈련생으로서, 당신은 '외부자' 연구원이지만, 예를 들어, 비의료 연구자보다 그 현상이 경험하는 맥락을 더 깊이 이해한다. 특정 현상과 그 현상에 대한 심오한 이해가 연구의 이론적 부분과 경험적 부분을 연결하는데 장점이 될 수 있기 때문에 이러한 내부자 입장은 진정한 강점이 될 수 있다. 연구 그룹의 참가자들과 임상의들은 또한 다른 입장을 가질 수 있다. 질적 연구에서, 우리는 이러한 다양한 목소리를 인식하고 환영하며, 종종 우리의 연구에서 그들이 들을 수 있도록 돕기 위해 열심히 노력한다.
Position refers to the researcher's position relative to the research participants or the research context.12 For example, if you are a general practitioner (GP) trainee (registrar or resident) exploring GP trainees’ perspectives on a phenomenon, and this is something that you have experienced yourself, you would be considered an ‘insider researcher’. As a GP trainee exploring qualified GPs’ perspectives on the same phenomenon, however, you are an ‘outsider’ researcher, but with a deeper understanding of the context in which the phenomenon is experienced than, for example, a non-medical researcher. This insider position can be a real strength, as profound understanding of a particular phenomenon and the context in which it occurs can be an advantage in connecting the theoretical and the empirical parts of the study. The participants of a research group and clinicians may also have different positions. In qualitative research, we recognise and welcome this multiplicity of voices, and often work hard to help them to be heard in our research.

왜 특정 연구문제와 이론적 렌즈, 그리고 이와 관련된 방법들을 선택했는지 되돌아보는 것도 중요하다. 당신은 당신의 학문적 훈련을 바탕으로 이 주제에 대해 확실한 견해를 가지고 있습니까? 기본 원칙으로서, 우리의 [기본 가정]은 항상 우리의 [입장]을 명확히 하는 일부로서 [독자에게 설명]되어야 한다. 만약 우리가 특정한 이론을 사용하고 있다면(교육 연구에서 이론으로 시작하는 방법에 대한 우리의 이전 기사를 참조하라) 우리는 이것을 간단한 용어로 소개할 필요가 있다. 렌즈와 위치가 다르면 데이터 세트, 분석 절차, 결과에 대한 해석도 달라진다. 또한, 독자는 해석이라는 또 다른 레이어를 추가할 것이다. '최종 제품'을 출판하는 것은 실제로 또 다른 대화의 시작에 불과하다. 이것은 임상 연구에서와 마찬가지로 [환자와 대중의 참여]가 의학 교육에서 동등하게 중요한 한 가지 중요한 이유이다. 
It is also important to reflect on why you've chosen a particular research question, theoretical lens and its associated methods. Do you have a certain view on this topic based on your academic training? As a ground rule, our underlying assumptions should always be explicated to the reader, as part of making our position clear. If we are using a particular theory (see our previous article on how to get started with theory in education research) then we need to introduce this in simple terms.13 Different lenses and positions will give different sets of data, different analytical procedures and different interpretations of results. Additionally, the reader will add another layer of interpretation; publishing the ‘final product’ is really just the start of another conversation. This is one important reason why patient and public involvement is equally as important in medical education as it is in clinical research.

반사성은 우리의 입장이 항상 명확하지 않을 수 있고, 때때로 우리는 우리 자신의 편견과 문화적 맥락과 환경과의 관계에 대해 알지 못하기 때문에 필수적이다. 따라서 끊임없이 반사적인 자세를 갖고, 우리 자신의 근본적인 관점을 이해하고 명확히 하기 위해 도전하는 것은 질적 연구에서 엄격함의 중요한 부분이다. 라마니 등은 연구자가 연구를 수행할 때 선택하는 주요 요점과 연구자가 이러한 결정에 영향을 고려하도록 보장하는 방법을 보여주는 유용한 인포그래픽을 제작했다. 
Reflexivity is essential because our own position might not always be clear to us, and because we are sometimes unaware of our own prejudices and relationship with our cultural contexts and settings.9 Thus, being continually reflexive and challenging ourselves to understand and make clear our own underlying perspectives is an important part of rigour in qualitative research. Ramani et al. have produced a helpful infographic that illustrates the key points at which researchers make choices when conducting a study and how to ensure that researchers consider the influences in those decisions.14

우리는 반사적인 글쓰기를 보여주는 두 가지 참고 자료를 포함했다. 첫 번째 글에서 주요 저자는 의료 교육생의 직장 기반 평가(WBA) 경험을 탐구할 때 '내부 연구자'로서의 그녀의 위치를 자세히 설명한다. 이 경우, 그녀의 업무는 대학원 교육에서 새로운 WBA 도구를 구현하는 것을 포함했다. 그녀의 연구 관심은 훈련생의 학습 궤적에 대한 이러한 이니셔티브의 영향에 집중되었다. 
We have included two references demonstrating reflexive writing.15, 16 In the first article the lead author details her position as an ‘insider researcher’ when exploring the workplace-based assessment (WBA) experiences of medical trainees.15 In this case her job involved implementing new WBA tools in postgraduate training; her research interest centred around the effect of these initiatives on the learning trajectory of trainees.

[반사적reflexively]으로 글을 쓸 때는 반사적 연구 일지를 쓰고, 팀원들과 정기적으로 만나 반사적 토론을 하는 것이 중요하다. 최종 연구 보고서에서 독자에게 자신의 연구에 대한 '이야기'와, 연구팀의 positionality를 알려줄 수 있습니다. 또한 독자들에게 어떻게 해석이 형성되었는지, 예를 들어 필드 노트에 대한 성찰이 연구의 작성과 결론에 영향을 미쳤는지 말하는 것도 중요합니다. 두 번째 기사는 연구 과정 전반에 걸쳐 짜여진 반사성의 예를 제공한다. 방법론적 선택의 이유가 논의되고, 연구에 앞서, 주요 저자는 자신의 입장과 가정을 고려하고 기록하여, 그녀가 전체 연구와 작성 과정 동안 지속적으로 해당 문서를 참조할 수 있도록 했다.
In writing reflexively, it is important to keep a reflexive research diary, and to meet regularly with team members for reflexive discussion. In the final research report, you may choose to tell the reader the ‘story’ of your research and the positionality of the research team. It is also important to tell your reader how interpretations were formed and any reflections, for example, on your field notes, that influenced the write-up and conclusions of your study. The second article provides an example of reflexivity woven throughout the research process: reasons for the methodological choices are discussed and, prior to the study, the lead author considered and wrote down her own position and presumptions, allowing her to continually refer to that document throughout the entire research and writing process.16

결론들
Conclusions

우리는 질적 연구의 질을 높이기 위한 지속적인 과정으로서 반사성을 증진시키고자 한다. 반사적인 연구자가 되는 것은 여러분이 연구 과정의 각 단계에서 여러분의 [선택을 신중히 고려]하고, [독자들에게 분명히 말]하고, 또한 여러분 자신과 [상충될 수 있는 대안적인 관점을 고려]한다는 것을 보장한다. 어떤 패러다임에서든 좋은 연구의 특징은 [방법론적 엄격함]이다. 질적 연구의 경우, 우리는 [반사적으로 행동하는 것being reflexive]이 그 엄격함에서 강인하고 중요한 요소라고 제안한다. 
We wish to promote reflexivity as a continual process for enhancing quality in qualitative research. Being a reflexive researcher ensures that you carefully consider, and articulate to the reader, your choices at each stage of the research process, and that you also consider alternative perspectives that may be at odds with your own. The hallmark of good research – in any paradigm – is methodological rigour. In the case of qualitative research, we suggest that being reflexive is a strength and critical factor in that rigour.

© 2020 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

질적연구에서 성찰성(reflexivity)의 실용적 가이드: AMEE Guide No. 149 (Med Teach, 2022)
A practical guide to reflexivity in qualitative research: AMEE Guide No. 149
Francisco M. Olmos-Vegaa , Ren
ee E. Stalmeijerb , Lara Varpioc and Renate Kahlked

반사성이란 무엇인가?
What is reflexivity?

반사성에 대한 많은 다른 정의가 존재하며, 그 결과 연구원들은 반사성이 무엇인지, 어떻게 하는지는 말할 것도 없고, 종종 확신하지 못하게 된다. 사용 가능한 다양한 정의를 존중하고 그 사이의 차이를 인식하는 반사성에 대한 포괄적인 정의를 구성하기 위해 반사성에 명시적으로 초점을 맞춘 출판물에 대한 정성적 방법론 문헌을 검색했다. 그런 다음 일치성을 식별하기 위해 귀납적으로 분석했습니다. 표 1은 아래에 제공된 정의에 통합된 일부 설명의 예를 보여 줍니다. 그런 다음 이러한 결과를 종합하여 다음과 같은 포괄적인 정의를 개발했습니다.

Many different definitions of reflexivity exist, and, as a result, researchers are often left unsure of what reflexivity is, let alone how to do it. To construct a comprehensive definition of reflexivity that both respected the variety of definitions available and appreciated the differences between them, we searched the qualitative methodological literature for publications focused explicitly on reflexivity. We then inductively analyzed them to identify congruences. Table 1 provides examples of some of the descriptions we encountered, which are incorporated in the definition provided below. We then synthesized these findings to develop the following comprehensive definition:

반사율(Reflexivity)은 연구자들이 [자신의 주관성과 맥락]이 [연구 과정]에 어떤 영향을 미치는지 [스스로 의식적]으로 [비판하고, 감정하고, 평가]하는 [지속적이고 협력적이며 다면적]인 실천의 집합이다.
Reflexivity is a set of continuous, collaborative, and multifaceted practices through which researchers self-consciously critique, appraise, and evaluate how their subjectivity and context influence the research processes.

우리의 정의는 반사성이 [연구 노력의 전체 기간]에 걸쳐 확장되는 [지속적인 과정]이라는 것을 강조한다.

• 우리는 반사성의 [공유적이고, 협력적인 성격]을 강조한다. 반사성이 가장 효과적이려면 [연구팀 역학에 통합]되어야 한다.
• 우리는 또한 반사성의 [다면적인 본성]을 강조한다; 그것은 수행 중인 연구에 영향을 미치는 [개인적, 대인적, 방법론적 및 맥락적 요인]에 대한 비판적인 관심을 포함한다.

우리는 이러한 반사성의 복합 프레임이 HPE의 정성적 연구에 종종 존재하지 않는다는 것을 인식한다. 우리 분야에서는 각 협력자의 주관성을 설명하면서, [개인적인 측면]을 강조하는 경향이 있다. 우리는 반사성이 더 넓고 미묘하기 때문에 우리의 정의와 적용은 그 이질성과 복잡성을 반영하도록 수정되어야 한다고 주장한다.

Our definition highlights that reflexivity is an ongoing process that extends across the entire duration of a research endeavor.

• We emphasize its shared and cooperative nature; reflexivity must be integrated into the research team dynamic to be most effective.
• We also stress the multifaceted nature of reflexivity; it involves critical attention to personal, interpersonal, methodological, and contextual factors that influence the study being conducted.

We recognize that this composite framing of reflexivity is not often present in HPE’s qualitative research. In our field, we have tended to highlight the personal aspect, describing each collaborator’s subjectivity. We contend that reflexivity is broader and more nuanced, so our definition and application must be revised to reflect that heterogeneity and complexity.

우리가 제안하는 반사성 정의는 연구자 주관성(예: 주관주의, 사회구성주의)을 수용하는 연구 방향에 고정되어 있다. 우리는 반사성이 연구 프로젝트에서 [객관성이 결여된 것에 대한 사과]라고 생각하지 않는다. 구성주의의 관점에서, 목표는 정확하거나 공정한 표현을 달성하는 것이 아니다. 이는 불가능하며, 바람직하지도 않다(리스 외 2020). 대신, 우리는 반사성을 [주관성을 존중하고 가치있게 여기는 것]에 뿌리를 두고 있다고 생각한다. 그것은 연구를 존재하게 하는 서로 얽힌 개인적, 대인관계적, 방법론적, 맥락적 요소들의 중요성을 질적 연구자들이 어떻게 설명하느냐의 일부이다.

The reflexivity definition we propose is anchored in orientations to research that embrace researcher subjectivity (e.g. subjectivism, social constructionism). We do not conceive reflexivity as an apology for the lack of objectivity in a research project. From a constructionism perspective, the goal is not to achieve an accurate or impartial representation; this is neither possible nor desirable (Rees et al. 2020). Instead, we conceive of reflexivity as rooted in a respect for and a valuing of subjectivity. It is part of how qualitative researchers account for the significance of the intertwined personal, interpersonal, methodological, and contextual factors that bring research into being.

연구자들이 반사성에 참여하기 위해 사용할 수 있는 오리엔테이션은 무엇인가?
What Orientations can researchers use to engage in reflexivity?

이러한 다른 반사성 목적을 염두에 두고, 우리는 이제 연구원들이 이용할 수 있는 반사성의 유형을 구별할 수 있다. 질적 방법론자들은 다양한 반사율 유형을 제안했지만, HPE 내 또는 그 이상에서는 어느 것도 두드러지지 않았다. 이 AME 가이드에서는 월시(2003)의 접근법이 연구 프로젝트의 수명과 관련된 광범위하고 포괄적인 반사 관행 유형을 구성하기 때문에 제시한다. 우리는 각 반사율이 연구자의 목표에 따라 다른 형태를 취할 수 있기 때문에 각 반사율에 대한 설명을 위에서 설명한 목적과 통합한다. 
With these different reflexivity purposes in mind, we can now differentiate between the types of reflexivity available to researchers. Qualitative methodologists have proposed various reflexivity typologies (Finlay 2002a; Walsh 2003; D’Cruz et al. 2005), though none have gained prominence within HPE or beyond. In this AMEE Guide, we present Walsh’s (2003) approach since it constitutes a broad and comprehensive typology of reflexive practices relevant throughout the life of a research project. We integrate our description of each type of reflexivity with the purposes described above because each reflexivity can take a different shape depending on the researcher’s goals.

월시와 같은 유형론은 반사성에 대한 더 넓은 이해에 다음으로서 포함되어야 한다.

• 추상적 개념(위에서 제공한 정의와 목적 참조)으로서,
• 연구 프로젝트 및 원고의 한 부분(다음 섹션의 적용 원리 참조)으로서,

월시에 따르면, 반사 과정에는 4개의 겹치고 상호작용하는 차원이 있다: 개인적, 대인관계적, 방법론적, 맥락적. 이러한 과정을 가능한 한 유형적이고 쉽게 적용할 수 있도록 하기 위해, 우리는 우리의 연구 중 하나를 사용하여 각 유형의 반사성이 연구 프로젝트에서 어떻게 나타날 수 있는지와 연구자들이 각각에 대해 어떤 질문을 할 수 있는지 보여줄 것이다. 우리는 이 연구를 Box 1에 요약한 다음 Walsh의 각 치수를 설명한 후 반사성이 어떻게 적용될 수 있는지 설명한다.

Typologies such as Walsh’s need to be embedded within a broader understanding of reflexivity,

• as an abstract concept (see definition and purposes provided above) and
• as a part of a research project and manuscript (see application principles in the sections to follow).

According to Walsh, there are four overlapping and interacting dimensions of reflexive processes: personal, interpersonal, methodological and contextual. To make these processes as tangible and easily applicable as possible, we will use one of our studies (Olmos-Vega et al. 2018) to demonstrate how each type of reflexivity might manifest in a research project and what questions researchers might ask themselves concerning each. We summarize this study in Box 1 and then illustrate how reflexivity can be applied after describing each of Walsh's dimensions.

개인적 반사성
Personal reflexivity

개인 반사성(Box 2)은 연구자가 [상황, 참가자 및 데이터]에 대한 [기대, 가정, (의식적 및 무의식적) 반응]을 [성찰]하고 [명확히] 할 것]을 요구한다. 연구자의 참여는 연구과정의 중요한 측면으로서 분석되고 해석되어야 한다. 개인 반사성에 참여하는 것은 각 조사자의 [배경과 훈련]을 공개하는 것 이상의 것이어야 한다. 연구자의 [이전 경험과 동기]가 프로젝트 전반에 걸쳐 내린 [결정에 어떤 영향을 미칠 수 있는지]에 대한 설명을 포함해야 한다(Finlay 2002b), 그러한 영향이 긍정적이든 부정적이든 또는 둘 다에 대한 설명을 포함해야 한다. 개인적 반사성은 조사 기간 동안 지속적으로 발생해야 하며 프로젝트의 모든 측면(즉, 프로젝트의 개념부터 연구 결과까지)과 상호 연관되어야 한다. 
Personal reflexivity (Box 2) requires researchers to reflect on and clarify their expectations, assumptions, and conscious and unconscious reactions to contexts, participants, and data (Walsh 2003; Dowling 2006; Gentles et al. 2014). The researcher’s participation is a significant aspect of the research process that should be analyzed and interpreted. Engaging in personal reflexivity should go beyond disclosing each investigator’s background and training; it should include descriptions of how the researcher’s prior experiences and motivations might influence the decisions made throughout the project (Finlay 2002b), whether that influence is positive, negative, or neither. Personal reflexivity ought to occur continuously across the duration of the investigation and should be interwoven with all aspects of the project—i.e. from the project’s conception to research outputs.

또한, 개인적 반사성은 [연구가 연구원들에게 미치는 영향]을 다루어야 한다. 개인적 반사 운동에 참여하는 것은 강력한 학습 경험이 될 수 있다; 그것은 연구자의 관행을 재구성하고 다른 종류의 변화를 촉진할 수 있다. 그러나 잠재적으로 부정적인 영향을 고려하는 것도 필수적이다. 예를 들어, 참가자들과 상실과 슬픔에 대해 토론하는 것은 그러한 경험을 공유하는 연구자들에게 강렬한 감정을 촉발할 수 있다(Rowling 1999).
Additionally, personal reflexivity should address the impact of the research on the researchers (Mauthner and Doucet 2003; Finefter-Rosenbluh 2017). Engaging in a personal reflexive exercise can be a powerful learning experience (Mann et al. 2009); it can reshape a researcher’s practices and catalyze other kinds of change (Finlay 2002a; Koopman et al. 2020). However, it is also essential to consider potentially negative impacts; for example, discussing loss and grief with participants may trigger intense emotions for researchers who share those experiences (Rowling 1999).

 

대인 반사성
Interpersonal reflexivity

대인적 반사성(Box 3)은 [연구과정을 둘러싼 [관계]가 [맥락, 관련자 및 결과]에 어떤 영향을 미치는지] 나타낸다(Walsh 2003). 이들 중 가장 중요한 것은 [연구자와 참가자 사이의 관계]일 것이다. 대인 반사성에 대한 사려 깊은 접근은

• [참가자의 고유한 지식과 관점]을 [인식recognize]하고, [감사appreciate]하며,
• (이 지식과 관점이) 연구 과정에 미치는 영향에 [주의를 기울이는attending to] 것을 포함한다. —예: 질문을 해석하는 방법. 

반대로, [참가자들에 의해 공유된 정보와 통찰력]은 [연구자들의 결정과 결과]에 직접적인 영향을 미칠 것이다. 그러나 이러한 인식과 감상은 [중립적인 공간]에서 비롯된 것이 아니다. 대인 반사성은 반드시 작동 중인 [권력 역학]에 대한 분석을 포함해야 한다(Finlay 2002a). 이러한 역학관계는 결코 보편적이거나 고정된 것은 아니지만, 연구자들은 종종 참여자와의 관계 속에서 권력 위치를 차지한다.

• 참여자의 관점의 [해석자]로서,
• "타당한" 정보로 간주되는 것의 [결정권자]로서,
• 널리 인정받는 [자격의 보유자]로서 

Interpersonal reflexivity (Box 3) refers to how the relationships surrounding the research process influence the context, people involved, and results (Walsh 2003). Likely the most significant of these are the relationships between researchers and participants. A thoughtful approach to interpersonal reflexivity involves

• recognizing and appreciating participants' unique knowledge and perspectives and
• attending to their impacts on the research process—e.g. how they interpret our questions.

Conversely, the information and insights shared by participants will directly influence researchers’ decisions and results. However, this recognition and appreciation do not stem from a neutral space; interpersonal reflexivity must include an analysis of the power dynamics at play (Finlay 2002a). Though these dynamics are by no means universal or fixed, researchers often occupy power positions relative to participants, as the

• interpreters of their views,
• arbiters of what counts as “valid” information, and
• holders of widely recognized credentials.

따라서 [데이터]는 [연구자와 참여자 간의 고유한 권력 관계의 산물]로만 이해될 수 있다. 이와 관련하여 대인반사성은 [맥락적 반사성(아래에서 논의함)]과 중첩되며 연구 맥락에서 미묘한 힘의 감상이 필요하다. 이 역학을 인정하는 목적 중 하나는 참가자와 데이터에 미치는 영향을 완화하거나 관리하는 것일 수 있다.

Thus, data can only be understood as a product of the unique power relationship between researcher and participants (England 1994; Finlay 2002b; Pillow 2003; Burns et al. 2012). In this regard, interpersonal reflexivity overlaps with contextual reflexivity (discussed below) and requires a nuanced appreciation of power in the research context. One of the aims of acknowledging this dynamic might be to temper or manage its influence on participants and data.

대인적 반사성의 또 다른 차원은 [연구팀 구성원들 사이의 관계]가 어떻게 전개되고 연구에 영향을 미치는지를 포함한다. 반사적인 연구 협력이란 다음을 포함한다.

• 팀 구성원의 동기, 기대 및 가정 간의 상호 작용에 대한 능동적이고 지속적인 탐구
• 이러한 관점과 역학이 어떻게 활용되거나 관리될 수 있는지를 조사
• (연구자의 패러다임과 관점의 차이를 포함하여) 주요 연구 이슈에 대한 의견 차이를 반영하고 문서화

Another dimension of interpersonal reflexivity includes how the relationships among the research team members unfold and impact the research (Barry et al. 1999; Russell and Kelly 2002). Reflexive research collaboration involves

• active and ongoing exploration of the interplay between team members' motivations, expectations, and assumptions,
• while examining how these perspectives and dynamics can be leveraged or managed.
• It also includes reflecting on and documenting disagreements on main research issues, including differences in researchers’ paradigms and perspectives (Leggatt-Cook et al. 2011). 

이러한 유형의 대인 반사성에 참여하는 것은 연구팀의 [모든 구성원들이 참여하는 협력적인 노력]이다.
Engaging in this type of interpersonal reflexivity is a collaborative effort involving all members of the research team.

 

 

방법론적 반사성
Methodological reflexivity

세 번째 유형의 반사성은 방법론적 반사성(Box 4)으로, 연구자들은 방법론적 결정의 뉘앙스와 영향을 비판적으로 고려한다. 그것은 종종 연구자들의 [패러다임 지향]에 대한 사려 깊은 고려로 시작된다(Walsh 2003). 패러다임은 연구 노력에 inform하고, 연구 과정 전반에 울려 퍼지며reverberates, 결과에 영향을 미치는 세계관이다. [패러다임을 선택하거나 인정하는 것]은 [특정한 가능성을 열고 배제하는 것]을 의미하므로, [방법론적 반사성을 사용하는 것]은 [선택된 패러다임이 연구에 부과하는 경계를 이해하는 것]을 의미한다(Raven 2006). 

The third type of reflexivity is methodological reflexivity (Box 4), where researchers critically consider the nuances and impacts of their methodological decisions. It often begins with thoughtful consideration of researchers’ paradigmatic orientation(s) (Walsh 2003). A paradigm is a worldview that informs research efforts and, as such, reverberates throughout the research processes and impacts results (Varpio and MacLeod 2020). Choosing or acknowledging a paradigm entails opening and foreclosing particular possibilities, so using methodological reflexivity implies understanding the boundaries that a chosen paradigm imposes upon the research (Raven 2006).

연구 초기부터, 연구자들은 [방법론적 선택]을 [패러다임과 이론적 또는 개념적 틀에 맞추는 것]에 대해 반사적일 필요가 있다. 연구자들은 또한 질적 조사가 풍부한 맥락에 내재되어 있고 반응적이라는 것을 기억해야 하며, 이것이 [방법론적 의사 결정이 연구 과정의 초기에 설정되어서는 안 되는 이유]이다. 대신, 반사적 연구자들은 지속적으로 결정을 내리고, 데이터나 예기치 못한 상황에 대응한다(Varpio et al. 2020). 따라서 방법론적 반사성은 이러한 [결정의 의미]에 초점을 맞추고, [윤리적이고, 엄격하며, 패러다임적으로 정렬되도록 하는 것]을 의미한다.

At the outset, researchers need to be reflexive about aligning their methodological choices with their paradigm and theoretical or conceptual framework (Varpio et al. 2020). Researchers must also remember that qualitative inquiry is embedded in and reactive to rich contexts, that is why methodological decision making should not be set at the beginning of the research process. Instead, reflexive researchers are constantly making decisions and reacting to their data or unforeseen circumstances (Varpio et al. 2020). Thus, methodological reflexivity means focusing on the meaning of these decisions and ensuring that they are ethical, rigorous, and paradigmatically aligned.

 

문맥 반사율
Contextual reflexivity

반사성의 마지막 유형은 맥락적 반사성(Box 5)이며, 이는 [문화적, 역사적 맥락에서 특정 프로젝트를 위치시키는 것locating]을 의미한다(Walsh 2003). 그것은 [연구 질문과 연구자의 대답]이 [가정과 실천이라는 사회적 분야]에 [어떻게 포함되어embed 있고, 어떻게 영향을 받는지] 강조한다. 맥락적 반사성은 또한 연구가 의도하였거나 의도하지 않은 방식으로 수행되어지면서 [사회 분야를 어떻게 변화시키는지] 이해하는 것을 수반한다. 윤리적 연구는 [그 연구가 일어나는 맥락에 긍정적으로 영향을 미치기를 추구]한다; 새로운 통찰력은 참여자들의 연구에 대한 성찰이나 참여가 그들의 실천과 맥락에 어떻게 영향을 미치는지로부터 생성될 수 있다.

The last type of reflexivity is contextual reflexivity (Box 5); it refers to locating a particular project in its cultural and historical context (Walsh 2003). It highlights how the research questions and their answers are embedded in and influenced by a social field of assumptions and practices (Naidu and Sliep 2011). Contextual reflexivity also entails understanding how research transforms the social field in which it is conducted in ways that are both intended and unintended (Smith 1994; Reid et al. 2018). Ethical research seeks to positively impact the contexts in which it takes place; new insights can be generated from how participants’ reflections or engagement in the study affects their practices and context (Bishop et al. 2002).