DREEM의 분석과 보고: 평가자를 위한 가이드라인 (Creative Education, 2013)

The Analysis and Reporting of the Dundee Ready Education Environment Measure (DREEM): Some Informed Guidelines for Evaluators

Louise Swift, Susan Miles, Sam J. Leinster

Norwich Medical School, Faculty of Medicine and Health Sciences, University of East Anglia, Norwich, UK

Email: L.Swift@uea.ac.uk

도입

Introduction

의과대학의 교육환경은 "교육과정 현현"이자 "의과대학의 학생과 교사의 행동 결정자"이다(겐, 2001a: p 342). 겐(2001b)은 교육환경(이하 "기후"라 한다)에 대한 인식이 학생 만족도, 학생의 성취도, 성공에 영향을 미친다고 주장한다. 그 중요성과 교육 환경이 바뀔 수 있다는 사실을 고려할 때, 그것을 측정하는 것이 필수적이다; 그리고 그렇게 함으로써, 학생들을 위한 고품질의 학습 경험을 보장하기 위해 교정될 수 있는 장단점을 진단하는 것이 중요하다.

The educational environment of a medical school is both a “manifestation of the curriculum” and a “determinant… of the behaviour of the medical school’s students and teachers” (Genn, 2001a: p 342). Genn (2001b) argues that perceptions of the educational environment (the “climate”) influence student satisfaction, and student achievement and success. Given its importance and the fact that the educational environment can be changed, it is imperative to measure it; and in so doing, to diagnose strengths and weaknesses that can be remediated to ensure a high quality learning experience for students.

DREEM(Dundee Ready Education Environment Measure)은 의과대학와 기타 보건 전문직 대학의 교육 환경을 측정하도록 설계되었다(Roff et al., 1997). 다양한 건강 전문가 훈련 설정의 교육 환경을 측정하기 위해 고안된 도구를 식별하고 평가하기 위한 문헌에 대한 최근 리뷰는 DREEM이 학부 의료 교육 환경에 가장 적합한 도구라고 결론지었다(Soemantri et al., 2010). 

The Dundee Ready Education Environment Measure (DREEM) was designed to measure the educational environment specifically for medical schools and schools for other health professions (Roff et al., 1997). A recent review of the literature to identify and assess instruments designed to measure the educational environment of different health professional training settings concluded that the DREEM was the most suitable instrument for the undergraduate medical education setting (Soemantri et al., 2010). 

DREEM은 리커트 응답("강력한 동의"(4), "학점"(3), "불순"(2), "불합격"(1) 및 "강력한 불일치"(0)의 5개 항목으로 구성되어 있다. 항목들은 개별적, Subscale별, 총 DREEM 점수로 결합하여 검사할 수 있다. DREEM의 저자는 해석에 대한 지침을 제공하지만, 적절한 통계적 추론 방법에 대해서는 조언하지 않는다(McAleer & Roff, 2001). Roff et al. 1997년 출판물에서 DREEM이 소개된 이후 발표된 문헌에 대한 광범위한 리뷰는 DREEM이 전 세계적인 수준의 다양한 환경에서 널리 활용되고 있음을 보여주었으며, 이는 많은 보건 전문 교육 기관들에 의해 가치 있고 유용한 도구임을 보여준다. 그러나 분석 및 보고 방법에는 일관성이 없다(Miles 등, 2012).

The DREEM is comprised of 50 items, each with a five-point Likert response (“Strongly Agree” (4), “Agree” (3), “Unsure” (2), “Disagree” (1) and “Strongly Disagree” (0)). The items can be examined individually, combined into five subscales or a total DREEM score. Although the authors of the DREEM give guidelines for its interpretation, they do not advise on appropriate methods of statistical inference (McAleer & Roff, 2001). An extensive review of the published literature since the DREEM was introduced in Roff et al.’s 1997 publication showed that the DREEM has been widely utilised in a variety of settings at a worldwide level, indicating that it is a valued and useful tool by many health professional training institutions; however, the methods of analysis and reporting are far from consistent (Miles et al., 2012).

그러나, DREEM 데이터를 가장 잘 분석하는 방법을 고려할 때 반드시 고려해야 하는 Likert 데이터를 어떻게 분석해야 하는지에 대해서는 논란이 있다.

However, there is controversy about how Likert data should be analysed that must be taken into account when considering how best to analyse DREEM data.

첫째, 리커트 응답을 numerical로 취급하는 것의 타당성에 대한 논쟁이 있다(예: 카리피오, 2007 참조). 그러나, DREEM의 저자들은 이 질문이 DREEM에 대해 제외될 수 있도록 항목 점수를 숫자로 사용하고 결합할 것을 의도하였다. 

First, there is debate about the validity of taking a Likert response and treating it as numerical (see, for example, Carifio, 2007). However, the authors of the DREEM intended the item scores to be used and combined as numbers so this question can be put aside for the DREEM. 

둘째, Likert 응답 점수를 interval data(간격 데이터)라고도 하는 연속 수치 데이터로 취급하는 것이 타당한지에 대한 논란이 있는데, 이는 모수적 방법을 사용할 가능성을 열어준다. Jamieson(2004)은 모수적 방법이 데이터의 정규성 가정에 근거하기 때문에, Likert 척도가 서수이기 때문에 모수적 방법을 사용하여 분석해서는 안 된다고 주장함으로써 상당한 논의를 유발했다. 그러나 카리피오(2007년, 2008년)는 하나의 리커트 항목과 리커트 항목의 집합인 리커트 척도를 중요한 구분으로 하고, 8개 이상의 문항조합을 간격 데이터로 취급하는 것이 합리적이라는 점을 뒷받침한다. 즉, 이는 전체 50개 문항 DREEM 또는 다중 문항인 subscale에 적용된다. 

Second, there is controversy as to whether it is reasonable to treat Likert response scores as continuous numerical data, also known as interval data, which opens up the possibility of using parametric methods. Jamieson (2004) provoked considerable discussion by arguing that as Likert scales are ordinal they should never be analysed using parametric methods, because parametric methods make assumptions such as the normality of the data. However, Carifio (2007, 2008) makes the important distinction between a single Likert item and a Likert scale, that is a collection of Likert items, and supports the case that it is reasonable to treat a combination of eight or more items as interval data; which would apply in the case of the whole 50 item DREEM or its multi-item subscales. 

셋째, 카리피오(2008)는 또한 측정 척도의 개별 항목이 "구조화되고 이성적인 전체"의 일부를 구성하기 때문에 단독으로 분석하면 안된다고 주장한다. 그러나 DREEM의 저자들은 이를 "진단 도구"라고 부르며 개발자들은 DREEM의 각 항목을 개별적으로 사용하여 해당 영역의 문제를 진단할 것을 의도했다. 이와 같이, 우리는 각 항목을 개별적으로 고려하는 것은 물론, 5개의 항목과 전체 DREEM 상품을 살펴보는 것이 타당하다고 주장한다.

Third, Carifio (2008) also argues that single items of a measurement scale should rarely be analysed alone because they form part of a “structured and reasoned whole”. However, the authors of DREEM call it a “diagnostic tool” and the developers intended each item of the DREEM to be used individually to diagnose problems in that area. As such, we argue that it is valid to consider each item individually, as well as looking at the five subscales and the full DREEM instrument.

방법론

Methodology

개별 DREEM 응답의 분포

The Distribution of Individual DREEM Responses

UEA와 연구 간행물의 데이터에 따르면 단일 DREEM 항목에서는 skewed 분포가 발생하는 것으로 나타났다. 또한, 틸(2004년)이 지적했듯이, 많은 품목들이 쌍봉형 분포, 즉 높은 비율의 불일치와 높은 비율의 "혼합 메시지" 제공에 동의한다. 또 다른 흔한 일은 확실하지 않은 답변의 매우 높은 비율을 관찰하는 것이다. 더 적은 퍼센트의 응답자들이 동의하거나 동의하지 않는다. 따라서 보고 및 분석 방법은 이러한 모든 유형의 분포에 적합해야 한다.

Data from UEA and research publications suggest that a common distribution of responses for a single DREEM item is 50%~70% Agreeing, 40%~20% Strongly Agreeing with the remaining small percentage spread between Strongly Disagree, Disagree and Unsure resulting in a skewed distribution. Further, as Till (2004) points out, a great number of items have bimodal distributions, that is, a high percentage disagree and a high percentage agree giving “mixed messages”. Another common occurrence is to observe a very high percentage of Unsure answers, with smaller percentages agreeing or disagreeing. Any method of reporting and analysis must therefore be suitable for all these types of distribution.

DREEM의 활용

The Uses of the DREEM

마일즈 외 연구진(2012년)은 평가 목적으로 DREEM의 세 가지 주요 용도를 식별했다. 

• 첫째, 진단 도구로 사용된다. 즉, 현재 불만족스럽고 교정조치가 필요한 과정/교육의 요소를 강조하기 위함이다. 

• 둘째로, 이것은 두 개 이상의 완전히 분리된 학생 그룹을 비교하는데 사용될 수 있다. 예를 들어, 남학생과 여학생 또는 1년 그룹을 다른 그룹과 비교하는 데 사용할 수 있다. 더 일반적으로 이것은 독립적인 표본 사례로 알려져 있다. 

• 셋째, 같은 학생 그룹을 다른 경우에 비교하는 데 사용한다. 일치된 경우. 예를 들어, 이것은 한 학년의 코호트의 경험을 다른 학년 또는 다른 학년 또는 대안적으로 비교하여 학생들의 점수 그룹을 "이상적" 또는 "예상된" 점수와 비교하는 것일 수 있다. 

우리는 차례로 이것들을 고려할 것이다.

Miles et al. (2012) identified three main uses of the DREEM for evaluation purposes. First, it is used as a diagnostic tool; that is to highlight elements of a course/curriculum which are currently unsatisfactory and need remediation. Second, it can be used to compare two or more completely separate groups of students, for instance, males with females or one year group with another. More generally this is known as the independent samples case. Third, it is used to compare the same group of students on different occasions; the matched case. This might be, for instance, to compare a cohort’s experiences from one academic year to another or alternatively to compare a group of students’ scores with their “ideal” or “expected” score. We will consider each of these in turn.

진단 도구로서 DREEM

The DREEM as a Diagnostic Tool

고려사항 

Considerations

개발자들은 50개 항목 각각에 대해 모든 참가자의 평균 점수를 별도로 보고할 것을 제안한다. 순수 진단 목적으로 DREEM을 사용하는 경우 이러한 수단의 검사는 강도와 약점의 영역을 나타낼 것이다. 평균 점수가 3.5 이상인 개별 항목은 특히 강한 영역이며, 평균 점수가 ≤2.0인 항목은 특별한 주의가 필요하며, 평균 점수가 2와 3인 항목은 개선될 수 있는 교육 환경의 영역이다(McAleer and Roff, 2001).

The developers suggest reporting mean scores across all participants for each of the 50 items separately. If using the DREEM for purely diagnostic purposes examination of these means will indicate areas of strength and weakness. Individual items with a mean score of ≥3.5 are particularly strong areas, items with a mean score of ≤2.0 need particular attention, and items with mean scores between 2 and 3 are areas of the educational environment that could be improved (McAleer and Roff, 2001).

권고사항

Recommendations

중위수는 가능한 5개의 점수 중 1개만 취할 수 있기 때문에 중위수보다 평균을 사용하는 것은 확실히 의미가 있다. 그러나 DREEM에서 흔히 발생하는 치우침 또는 이항 분포의 경우, 허용 가능한 중앙 측정을 가진 항목은 여전히 높은 비율의 부정적인 반응을 가릴 수 있으므로 이것만으로는 적절하지 않은 것으로 보인다. 따라서 우리는 합의/강력한 합의, 불일치/강력하게 불일치 범주를 통합하여 반응을 요약하고 평균을 보고하는 결과표를 보고할 것을 제안한다. 또한 우리는 일련의 경고 또는 "플래그"를 사용할 것을 제안한다. 임계값은 낮은 비율의 합의, 높은 비율의 확실하지 않은 항목 및/또는 높은 비율의 불일치와 특정 수준 이하의 수단을 경고하기 위한 선험으로 결정되었다. 예를 들어, 개발자가 권고하는 2.0 또는 더 엄격해지려면 2.5라고 한다. 많은 문항이 skewed된 응답을 보이는 경우 표준 편차는 오도될 수 있으므로 포함하지 않는 것이 좋다.

It is certainly meaningful to use means rather than medians because the median can only take one of the five possible scores. However, for skewed or bimodal distributions, which commonly occur in the DREEM, an item with an acceptable central measure may still mask a high proportion of negative responses, so this alone does not seem adequate. We therefore suggest reporting a table of results which summarises the responses by merging the Agree/Strongly Agree, Disagree/ Strongly Disagree categories and reports the mean. Further we propose using a series of warnings or “flags”, with thresholds decided a priori to alert to items with a low percentage agreement, a high percentage unsure and/or a high percentage disagree as well as means below a particular level, say 2.0 as recommended by the developers or 2.5 if one wants to be stricter. Given that many items give skewed responses the standard deviation can mislead, so we do not recommend its inclusion.

1년차 UEA 의대생의 데이터를 사용하는 DREEM의 5개 항목 중 하나에 대한 예는 표 1에서 확인할 수 있다. 우리는 50% 미만의 학생들 동의/강력한 동의, 30% 이상 확실하지 않은 것, 20% 이상 불일치하는 것 등을 굵은 글씨로 표시했다.

An example for one of the DREEM’s five subscales using data from Year 1 UEA medical students can be seen in Table 1. We have flagged in bold those items where less than 50% of students Agree/Strongly Agree, more than 30% are Unsure and more than 20% Disagree/Strongly Disagree.

두 개의 독립표본 비교

Comparing Two Independent Samples

고려사항

Considerations

DREEM의 두 번째 목표는 완전히 분리되거나 독립적인 두 학생 그룹을 비교하는 것이다. (2004년)까지 독립적인 표본 t 테스트를 사용하여 남성과 여성 그룹을 비교하는 반면, 마일즈와 린스터(2009년)는 교육 환경에 대한 직원과 학생들의 인식을 비교하기 위해 Wilcoxon Mann Whitney 테스트를 사용한다.

The second objective of the DREEM is to compare two completely separate or independent groups of students. Till (2004) compares groups of males and females using the independent samples t test, whereas Miles and Leinster (2009) use the Wilcoxon Mann Whitney test to compare staff and student perceptions of the educational environment.

독립적인 표본 t 검정은 두 모집단을 비교하는 고전적인 모수법이다. 교과서적인 견해는 표본 크기 n이 "대규모"(개념적으로 최소 30)가 아닌 한 데이터가 정규 분포에서 나온다고 요구한다. DREEM 데이터에 대해 발생할 수 있는 것과 같이 심각하게 비정상적인 분포는 일반적으로 t 검정이 적합하도록 더 큰 표본을 필요로 한다.

The independent samples t test is the classical parametric method of comparing two populations. The textbook view requires that the data come from a normal distribution, unless the sample size n is “large” (conventionally at least 30). Distributions that are severely non-normal, as can occur for DREEM data, will, in general, require bigger samples for the t test to be appropriate.

t 테스트가 해당 비모수 테스트에 적합하지 않을 경우 WMW(Wilcoxon Mann Whitney) 테스트가 자주 사용된다. 그러나 이 시험에도 몇 가지 가정이 필요하다. 특히 두 표본은 모양은 비슷하지만 "중심"은 다를 수 있는 확률 분포에서 추출되어야 한다. 이는 5가지 응답 옵션이 있는 DREEM과 같은 리커트 응답 데이터에서는 가능 값이 몇 개만 있으므로 가능성이 낮다. 또한 WMW는 데이터의 순위 지정(순서)에 기초하며, 그러한 등급의 연계(즉, 동일한 값)는 가능한 값이 몇 개 없을 때 결과에 영향을 미칠 수 있다.

When the t test is not appropriate the corresponding non-parametric test, the Wilcoxon Mann Whitney (WMW) test is often used. However, even this test requires some assumptions. In particular it requires that both samples come from probability distributions with a similar shape, but possibly a different “centre”. This is unlikely with Likert response data, such as the DREEM with its five response options, because there are only a few possible values. Additionally, WMW is based on ranking (ordering) the data and as such ties in the ranks (i.e. equal values), which are quite likely when there are only a few possible values, can affect the outcome.

통계 문헌에서는 데이터가 비정규일 때 t 검정 또는 WMW 시험을 사용하여 두 개의 독립된 표본을 비교해야 하는지에 대한 오랜 논쟁이 있다. "좋은" 시험은 이론적으로 요구되는 유의 수준(보통 5%)을 전달해야 하며 또한 "좋은" 힘을 가져야 한다. 즉, 두 모집단 사이의 실제 차이를 발견하는 귀무 가설로부터 편차를 발견할 가능성이 높다. Glass(1972년)는 분포가 상당히 치우치거나 매우 뚱뚱한 꼬리(high kurtosis)를 가지고 있더라도 5점 리커트 반응에 대해서도 t 검정에는 보통 분포 데이터에 대해 계산된 것과 유사한 실제 유의도가 있다는 실증적 증거를 인용한다. 

In the statistical literature there is a long-standing debate on whether the t test or WMW test should be used to compare two independent samples when the data are non-normal. A “good” test should deliver the significance level it is theoretically supposed to (usually 5%) and also have “good” power; that is, a high chance of spotting deviations from the null hypothesis, for instance, of spotting a real difference between two populations. Glass (1972) cites empirical evidence that, even if the distribution is quite skewed or has very fat tails (high kurtosis) and even for a five point Likert response, the t test has an actual significance level which is similar to the one calculated for normally distributed data, even for small samples. 

또한 그는 비정r규 데이터에 사용된 t 검정의 검정력이 0.1~0.7과 같은 중거리 전력에 대한 "정상"보다 약간 더 높을 수 있고 1에 가까운 큰 전력에 대해서는 약간 더 나빠질 수 있다는 증거를 인용한다. 따라서 그는 대부분의 경우에 파라메트릭 시험을 사용하는 것을 옹호한다. 블레어(1981)는 t 검정 결과가 정규성 가정 하에서 계산된 유의 수준과 힘을 유지하느냐가 아니라 더 큰 힘을 가진 또 다른 시험이 있느냐가 쟁점이 되어야 한다고 주장한다. 비모수 테스트는 데이터가 정상일 때 t 검정보다 약간 낮은 검정력을 가지지만 데이터가 비정상일 때, 특히 데이터가 왜곡되었을 때 훨씬 큰 검정력을 가질 수 있는 것으로 알려져 있다. 

Also, he cites evidence that the power of a t test used on non-normal data might be slightly higher than the “normal” equivalent for mid-range powers like 0.1 to 0.7 and only slightly worse for larger powers closer to 1. He therefore advocates using parametric tests in most cases. Blair (1981) argues that the issue should not be whether the t test preserves the significance level and power calculated under the normality assumption, but whether there is another test which has greater power. Nonparametric tests are known to have slightly worse power than the t test when the data are normal but they can have much bigger power when the data are non-normal, in particular when the data are skewed. 

특히, 대형 표본의 경우 WMW 시험은 표본 크기 0.864 × 표본에 대해 수행된 유사한 t 검정보다 결코 더 나쁜 검정력을 가지지 않지만, 일부 상황에서는(보통 치우친 분포) 표본에 대한 t 검정력이 3배 더 클 수 있다. 이 증거는 주로 연속 분포에 적용되며, 특히 DREEM에 의해 일반적으로 발생하는 리커트 응답에 어느 정도까지 적용되는지는 명확하지 않다. 노먼(2010년)은 리커트 응답에 대한 파라미터 테스트의 광범위한 사용을 옹호하며, 파라미터 테스트가 특정 유형의 치우침 또는 서수 데이터에 대해 정확한 결과를 제공한다는 것을 보여주는 여러 연구(여기서 인용한 일부 연구 포함)를 인용한다. 그러나, 그는 해당 비모수 시험을 이용하여 동력이 더 클 가능성을 고려하지 않는다.

In particular, for large samples the WMW test never has worse power than the analogous t test performed on samples of 0.864 × the sample size but can, in some circumstances (usually a skewed distribution), have equivalent power to the t test on samples three times bigger. This evidence largely applies to continuous distributions and it is not clear to what extent it applies to Likert responses, in particular those commonly generated by the DREEM. Norman (2010) advocates the wider use of parametric tests for Likert responses and cites several studies (including some of those cited here) which show that parametric tests give accurate results for particular types of skewed or ordinal data. However, he does not consider the possibility that the power may be larger using the corresponding non-parametric test.

시뮬레이션

Simulation

이 문제를 해결하기 위해 우리는 두 개의 다른 리커트 반응 분포로부터 10,000번 샘플을 시뮬레이션했다.

To address this issue we simulated a pair of samples from two different Likert response distributions 10,000 times.

우리는 다양한 정도의 편차, 이분법 및 높은 비율의 확실하지 않은 반응들을 포함하여 실제 DREEM 데이터에서 발견된 패턴을 반영하기 위해 선택된 몇 쌍의 분포에서 이 과정을 반복했다(부록, 표 A 참조).

We repeated the process on several pairs of distributions chosen to reflect patterns found in actual DREEM data including varying degrees of skewness, bimodal and high percentage of Unsure responses (see Appendix, Table A).

이러한 시뮬레이션의 결과는 대칭 분포의 경우 t 검정력과 WMW의 검정력이 유사하다는 것을 시사한다. 단, 한 가지 또는 두 가지 분포가 모두 치우쳐 있을 때 WMW는 낮은 표본 크기에 대한 t 검정보다 상당히 큰 검정력을 가질 수 있으며, 때로는 n = 130일 때도 있다. 예를 들어, 20%/60%/10%/8%의 두 분포(즉, 20%의 학생이 강하게 동의함, 60%의 동의, 10%의 확실하지 않음, 8%의 불일치, 2%의 강한 불일치)와 40%/40%/10%/8%의 검정력을 각 그룹의 표본 크기에 대해 각각 W/60%와 8%의 검정력을 달성했다.A를 표하다.

The results of these simulations suggest that for the more symmetric distributions the power of the t test and WMW are similar. However, when one or both distributions are skewed the WMW can have substantially greater power than the t test for lower sample sizes and sometimes even for n = 130. For instance, when comparing two distributions of 20%/60%/10%/ 8%/2% (i.e. DREEM data where 20% of the students Strongly Agree, 60% Agree, 10% Unsure, 8% Disagree, and 2% Strongly Disagree) and 40%/40%/10%/8%/2% respectively for a sample size of 130 in each group the t test had an estimated achieved power of 40% and the WMW 68% (simulation 3 of Table A).

다중 검사

Multiple tests

모든 DREEM 항목을 개별적으로 분석할 경우 50개의 개별 유의성 시험이 수행된다. 유의 수준이 5%일 경우 실제 차이가 없을 때 최소 한 개가 유의할 확률이 92%라는 것을 수학적으로 나타낼 수 있다. 본페로니의 교정으로 알려진 이것에 대한 고전적인 해결책은 유의 수준을 시험 횟수로 나누는 것이다. 그러나 이는 보수적인 것으로 알려져 실제 차이를 놓칠 확률을 높인다. 또 다른 사상학파는 연구 대상 결과의 수를 줄이고 연구의 품질과 결과의 크기 측면에서 통계적 시험의 결과를 해석하는 것을 옹호한다(예: Feise, 2002). DREEM의 경우 이는 이전에 교정조치가 필요한 것으로 확인된 항목만 기본 분석에 포함시키는 것을 의미한다.

If every DREEM item is analysed individually 50 separate significance tests will be performed. If the significance level is 5%, it can be shown mathematically that there is a 92% chance that at least one is significant, when no real difference exist. A classical solution to this, known as Bonferroni’s correction, is to divide the significance level by the number of tests. However, this is known to be conservative and it increases the probability of missing a real difference. Another school of thought advocates reducing the number of outcomes under study and interpreting the results of statistical tests in the context of the quality of the study and the size of the finding (e.g. Feise, 2002). For the DREEM this might mean including in the main analysis only those items identified previously as requiring remedial action.

권고

Recommendations

표 2는 DREEM 반응의 두 개의 독립적인 샘플을 비교하기 위해 시뮬레이션에 의해 통지된 우리의 권고사항을 보여준다. 그것은 DREEM의 학구적 자아 인식 하위 척도에 대한 UEA 1학년과 2학년 의대생들의 데이터를 사용한다. 우리는 각 그룹에 대해 t 검정 결과 및 Wilcoxon Mann Whitney 검정 결과, 두 가지 평균값, 즉 T 검정 결과 및 Wilcoxon Mann Whitney 검정 결과를 사용하여 응답을 요약한 표에 DREEM 결과를 보고할 것을 제안한다. 우리는 또한 강하게 동의하지 않는 비율의 차이에 대한 카이 제곱 검정을 포함할 것이다(강력하게 동의하는 비율의 차이에 대한 카이 제곱 검정을 수행하는 것이 똑같이 유효할 것이다). 카이 제곱 검정의 유효성에 대한 엄지의 규칙은 np와 n(1–p)이며, 여기서 p는 두 그룹에 걸쳐 관측된 비율이다. 따라서 우리는 주의력을 발휘하고 관찰된 백분율이 5% 미만인 경우 테스트를 수행하지 않는 것을 제안한다. 어떤 시험에서든 유의성은 다중 비교에 대한 조정 없이 플래그가 표시될 것이다. 그리고 진단표 1에서와 같이 낮은 백분율 합의, 높은 불확실성, 높은 불일치 및 낮은 평균도 플래그가 표시될 것이다.

Table 2 demonstrates our recommendations, informed by the simulations, for comparing two independent samples of DREEM responses. It uses data from UEA Year 1 and Year 2 medical students on the DREEM’s Academic self perceptions subscale. We suggest reporting the results of the DREEM in a table summarising the responses using the percentage Strongly Agree/Agree; Unsure, and Strongly Disagree/Disagree for each group, the two means, the mean difference and then the results of both a t test and a Wilcoxon Mann Whitney test. We would also include a chi squared test of the difference in the percentage who Strongly Disagree/Disagree (it would be equally valid to do a chi squared test of the difference in the percentage who Strongly Agree/Agree). A rule of thumb for the validity of the chi squared test is that np and n(1 – p), where p is the observed proportion over both groups, are both 5 or more. We therefore suggest exercising caution and not performing the test where an observed percentage is, say, less than 5%. Significance on any test would be flagged, without any adjustment for multiple comparisons. And, as in the diagnostic Table 1, low percentage agreement, high unsure, high disagreement and low means would also be flagged.

"작년의 작업이 올해를 위한 좋은 준비였다"는 항목에 대해 WMW는 매우 중요한 반면, t 테스트는 significant하지 않다. 검사 결과, 이 후자 품목은 WMW가 차이를 발견했지만 시뮬레이션에서 제시한 바와 같이 T 테스트는 그렇지 않은 이유를 설명하는 매우 왜곡된 것이다.

for the item, “Last year’s work has been a good preparation for this year” the WMW is highly significant whereas the t test is not significant. On inspection this latter item is highly skewed which explains why WMW has detected a difference but the t test has not, as suggested by the simulations.

두 개의 매칭 샘플 비교

Comparing Two Matched Samples

고려사항

Considerations

매칭된 샘플은 동일한 개인 그룹에 대해 두 개의 응답 집합(예: 두 개의 개별 시점)을 얻을 때 발생한다.

Matched samples arise when two sets of responses are obtained for the same group of individuals, for instance at two separate points in time;

실제 점수가 예상 점수보다 약간 떨어지는 양을 "분실성"이라고 한다. (2005)까지 불협화음이 가장 큰 항목을 보고하고 쌍으로 구성된 샘플 t 테스트를 사용한다. 마일즈와 린스터(2007)는 DREEM의 각 항목에 대한 평균 불협화음을 보고한 다음 WSR(Wilcoxon Signed Rank) 테스트를 사용하여 항목별 중위 불협화음이 0인지 여부를 시험한다.

The amount by which the actual scores fall short of the expected is termed the “dissonance”. Till (2005) reports items with the largest dissonance and uses the paired sample t test. Miles and Leinster (2007) report the average dissonance for each item of the DREEM and then use a Wilcoxon Signed Rank (WSR) test to test whether the subscales have zero median dissonance.

쌍체 표본 t 시험은 변경사항의 평균이 0이라는 점에서 단일 표본 t 검정과 동일하다. 그것은 변경이 정규분포되어 있다고 가정하지만, 독립 표본 t 검정의 경우, 이 조건은 "대형" 표본에 대해 면제될 수 있다. WSR은 비모수 시험이지만 여전히 변화의 분포가 대칭이라고 가정한다. Glass(1972: p. 262)는 다양한 종류의 비정규성을 가진 작은 데이터 표본(n = 10)에 대해 t 검정의 이론적 힘을 보고하는 Srivastava(1959)의 표를 제공한다. Power는, 낮지 않는 한, 정규 데이터의 출력과 매우 유사하며, t 검사의 사용을 지지한다.

The paired samples t test is equivalent to a single sample t test in that the changes have zero mean. It assumes that the changes are normally distributed but, as for the independent samples t test, this condition can be waived for “large” samples. The WSR is a non-parametric test, but still assumes that the distribution of the changes is symmetric. Glass (1972: p. 262) gives a table from Srivastava (1959) reporting the theoretical power of the t test if it is conducted on small samples of data (n = 10) with various types of non-normality. The power, unless it is low, is very similar to that of normal data; supporting the use of the t test.

시뮬레이션

Simulation

두 가지 유형의 시험의 검정력을 조사하기 위해, 우리는 4개의 가능한 변화 분포에서 각각 10,000개의 샘플을 시뮬레이션했다.

To investigate the power of the two types of test we simulated 10,000 samples from each of four possible change distributions.

결과는 대칭 분포의 경우 두 시험 모두 달성된 유의 수준을 원하는 대로 약 5%로 나타낸다는 것을 나타냈다. 그러나 치우친 분포의 경우 WSR 테스트가 변경사항을 부정확하게 감지할 가능성이 더 높아 보인다. 예를 들어, 적당히 치우친 분포의 경우(변화의 40퍼센트는 1, 30% 0, 20% -1 및 10% -2) 130 크기의 표본의 8.8퍼센트는 WSR을 사용할 때 유의미한 결과를 나타내지만 t 검정에서는 5.3%에 불과하다(부록 C의 시뮬레이션 3).

The results indicated that for the symmetric distributions both tests give achieved significance levels which are approximately 5% as desired. However, for skewed distributions the WSR test appears more likely to incorrectly detect a change than it should be. For instance, for a moderately skewed distribution (40% of the changes are 1, 30% zero, 20% −1 and 10% −2) 8.8% of samples of size 130 give a significant results when the WSR is used, but only 5.3% with the t test (simulation 3 of Appendix, Table C).

권고사항

Recommendations

이러한 연구 결과는 일치 데이터에 대해 표 2와 유사한 표(독립 표본 2개를 비교하기 위해)를 만들 것을 제안하지만, t 검정만 보고하고 chi 제곱 검정 대신 McNemar를 사용할 것을 제안한다(표 2와 유사성 때문에 표는 제공되지 않음).

These findings lead us to suggest producing a similar table to Table 2 (for comparing two independent samples) for matched data but reporting only the t test and using McNemar instead of the chi squared test (example table not provided due to the similarity to Table 2).

하위척도와 총점

Subscales and Total Scores

DREEM의 하위 척도 점수는 하위 척도를 구성하는 7개 내지 12개 개별 항목의 응답을 추가하여 구성된다. 개별 항목과 마찬가지로, 개발자는 각 하위 척도와 총계(McAleer & Roff, 2001)에 대한 점수를 해석하는 지침을 제공하지만 통계적 추론에 대해서는 제공하지 않는다. 통계적으로, 독립 항목의 총계가 항목 자체보다 일반적으로 "더" 정규분포로 분포될 가능성이 있지만, 항목별로 분류된 항목은 상호 상관관계가 있을 가능성이 높으므로 여전히 비정규성이 강할 수 있다. 따라서 우리는 개별 항목과 거의 동일한 방식으로 하위 척도 결과를 처리하는 것을 지지한다. 즉, 독립 표본 사례에 대한 t 및 비모수 검정을 모두 수행하지만 일치 표본에 대한 t 검정만 수행하는 것이다. 그러나, 하위 척도 점수는 많은 수의 가능한 값을 가질 수 있으므로 중위수는 평균과 함께 보고될 수 있다. 표시의 일관성을 위해 우리는 유사한 방법으로 총 DREEM 점수를 보고할 것을 권고한다.

Subscale scores of the DREEM are constructed by adding up responses from the seven to twelve individual items making up the subscale. As with the individual items, the developers give guidance on interpreting the score for each subscale and total (McAleer & Roff, 2001) but none on statistical inference. Statistically, whilst sums of independent items are likely to be “more” normally distributed than the items themselves, items which have been grouped into subscales are likely to be mutually correlated and so there may still be strong non-normality. We therefore advocate treating the subscale results in much the same way as the individual items; that is performing both t and non-parametric tests on independent samples case but only t tests on matched samples. However, as subscale scores can take a large number of possible values the median could be reported as well as the mean. For consistency of presentation we would recommend reporting total DREEM scores in a similar way.

Discussion and Conclusion

Background: There is a need to evaluate perceptions of the educational environment of training institutions for health professionals as part of any assessment of quality standards for education. The Dundee Ready Education Environment Measure (DREEM) is a widely used tool for evaluating the educational environment of medical and other health schools. However, methods of analysis reported in the published DREEM literature are inconsistent which could lead to misinterpretation of areas for change and, addi-tionally, this makes comparison between institutions difficult. Those involved in course evaluation are usually not statisticians and there are no guidelines on DREEM’s reporting or statistical analysis. This paper aims to clarify the choice of methods for the analysis of the DREEM. Method: The statistical lit- erature, typical properties of DREEM data and the results from a series of statistical simulations were used to inform our recommendations. Results: We provide a set of guidelines for the analysis and report-ing of the DREEM. In particular, we provide evidence that when comparing independent samples of Likert response data similar to that generated by the DREEM, the non-parametric Wilcoxon Mann Whit- ney test performs well. Further, one should be wary of using non-parametric methods on matched samples of such data as they may be overly ready to reject null hypothesis. Conclusions: Our recommendations have the potential to improve the accuracy and consistency with which the inadequacies in the medical school environment can be identified and assess the success of any changes. They should also facilitate comparison between different institutions using the DREEM.

Keywords: DREEM; Likert; Educational Environment; Evaluation; Medical Education; Simulation; Statistical Test

학습환경에 관한 의대학생과 전공의의 인식 평가: 기존 도구의 타당도근거 탐색(Acad Med, 2014)

Assessing Medical Students’ and Residents’ Perceptions of the Learning Environment: Exploring Validity Evidence for the Interpretation of Scores From Existing Tools

Jorie M. Colbert-Getz, PhD, Sooyoun Kim, Victoria H. Goode, MLIS, Robert B. Shochet, MD, and Scott M. Wright, MD

학습 환경(LE)은 연습생들이 몰입하고immersed 그들의 직업1과 도덕2 발달에 중요한 역할을 한다고 여겨지는 교육, 신체적, 사회적, 심리적 맥락을 포괄한다. 대부분의 사람들이 효과적인 의료 교육을 위해 LE를 지원하는 것이 필수적이라는 것에 동의하지만, LE의 품질에 대한 정확한 평가는 교육자와 관리자들에게 어려운 일이었다. 의학 교육 연락 위원회는 의과대학이 "LE를 정기적으로 평가해야 한다."3 그러나 표준 LE 지표가 없는 한 학교는 이 표준을 준수하는 방법을 알지 못한다. 또한 최근 ACGME(Accreditation Council for Medical Education)는 인증 시스템의 일부로 임상 학습 환경 검토 프로그램을 만들었다.4 학생들과 레지던트들이 LE를 어떻게 인식하는지를 모른 채, 기관들은 효과적으로 LE를 개선하기 위한 수단에 한계가 있다.

The learning environment (LE) encompasses the educational, physical, social, and psychological context in which trainees are immersed and is thought to play a significant role in their professional1 and moral2 development. Although most agree that supportive LEs are essential for effective medical education, an accurate assessment of LE quality has been challenging for educators and administrators. The Liaison Committee on Medical Education stated that medical schools “should regularly evaluate the LE.”3 Yet, in the absence of a standard LE metric, schools do not know how to comply with this standard. In addition, the Accreditation Council for Graduate Medical Education (ACGME) recently created the Clinical Learning Environment Review program as part of their accreditation system.4 Without knowing how students and residents perceive the LE, institutions are limited in their means to effectively improve it.

의학 교육에서 LE를 평가하기 위해 처음 발표된 도구는 고등 교육에 사용되는 LE 도구인 CCI를 AAMC에 의해 수정된 것이었다.6 본 의과대학 환경 목록은 180개의 항목을 사용하여 1960년 의대 졸업생들의 교수진 및 동급생에 대한 인식을 탐구하였다. 가장 높은 점수를 받은 척도를 바탕으로, 그 해 평균적인 의과대학 졸업자들은 교수들이 학생들의 독립성을 촉진하고 학생들의 성적을 요구했지만, 그들은 학생들에 대해 아무런 관련이 없다고 생각했다. 즉, 학생들은 교직원들이 집단으로 학급과 연결되어 있다고 느끼지 않았다. 응답자들은 또한 또래들이 경쟁적이고 계급 밖의 사회적 상호작용이 거의 없다고 보고했다. 게다가, 그들은 교직원과 동료들 모두 휴머니즘적이라고 생각했다.

The first published tool to assess the LE in medical education was adapted by the Association of American Medical Colleges5 from the College Characteristics Index, an LE tool used in higher education.6 This Medical School Environment Inventory explored medical school graduates’ perceptions of faculty and peers in 1960 using 180 items. Based on scales with the highest scores, the average medical school graduate that year thought that although faculty facilitated independence across students and were demanding of students’ performance, they remained unaffiliated towards students. That is, students did not feel that faculty connected with the class as a group. The respondents also reported that peers were competitive and had little social interaction outside of class. In addition, they perceived both faculty and peers to be humanistic.

이후 수십 년 동안, 연구원들은 의대생들의 LE에 대한 인식을 평가하기 위한 도구를 계속해서 개발했다. 그러나 1993.7 Selig의 레지던트 프로그램 평가 설문지는 작업 부하, 교수진 및 스트레스에 대한 거주자의 인식을 LE와 관련된 것으로 평가하기 전까지는 LE에 대한 레지던트의 인식을 측정하기 위한 도구가 개발되지 않았다. 1990년대 초반부터, 많은 도구들이 대학원 의학의 전문분야에 걸쳐 특정분야의 LE 또는 LE를 평가하기 위해 개발되었다. 따라서 LE에 대한 의대생들과 레지던트의 인식은 50년 이상 동안 의학 교육에서 중요한 연구 분야로 남아 있었다.

Over the ensuing decades, researchers continued to develop tools to assess medical students’ perceptions of the LE. However, a tool to measure residents’ perceptions of the LE was not developed until 1993.7 Seelig’s Residency Program Evaluation Questionnaire assessed residents’ perceptions of workload, faculty, and stress as related to the LE. Since the early 1990s, many tools have been developed to assess either the LE of a particular specialty or the LE across specialties in graduate medical education. Thus, medical students’ and residents’ perceptions of the LE have remained important areas of research in medical education for more than 50 years.

LE를 평가하기 위해 건강 전문가에 사용되는 두 개의 검토 도구, 8,9이지만 둘 다 검색에서 몇 가지 도구를 놓쳤다. 

• Schönrock-Adema 및 동료9는 향후 도구 개발을 안내하는 이론적 프레임워크를 생성하는 것을 목표로 11개의 LE 도구를 식별했다. 2011년 이전에 발표된 16가지 도구를 검토에 포함시키지 않았고, 그들의 제안된 프레임워크는 오늘날의 의대생과 레지던트가 직면할 수 있는 LE 문제에 덜 적용 가능한 것으로 보인다.10 

• Soemantri와 Colla Gues8은 2008년 이전에 발표된 LE 도구 점수의 유효성을 검토했지만 12가지 도구를 누락했다.

Two reviews explored tools used in the health professions to assess the LE,8,9 yet both missed some tools in their search. 

• Schönrock-Adema and colleagues9 identified 11 LE tools with the goal of generating a theoretical framework to guide future tool development. How ever, they did not include in their review 16 tools published prior to 2011, and their proposed framework seems less applicable to the LE issues that today’s medical students and residents may encounter.10 

• Soemantri and colleagues8 reviewed the validity of LE tool scores published before 2008 but missed 12 tools.

UME vs GME

Undergraduate Medical Education Versus Graduate Medical Education

우리는 두 환경이 다르다고 보기 때문에 학부 의대 교육과 대학원 의과대학의 LE를 따로 검토하기로 했다. 대학원 의학 교육은 순전히 직업 훈련 환경이다. 그러나, 학부의학교육은 교육 환경에서 훈련 환경으로 옮겨가는 혼합된 LE이다. 전임상 시기는 의대생의 요구에 독특한 초점을 맞추지만, 일단 의대생이 임상시기에 진입하면 그 초점이 환자에게 옮겨진다. 또한, 의대생들은 고객에게 돈을 지불하고 있다. 따라서, 그들의 LE는 그들의 학습과 전문적인 발전을 지원해야 한다. 대학원 의료 교육에서는 인턴과 레지던트를 고용하여 환자를 돌보는 한편, 감독하고 가르치는 일을 맡는다. 마지막으로, 그들의 관심사는 전공과에 따라 다르다. 예를 들어, 다양한 관심사를 가진 의대생들에 비해, 전공의들은 모두 정신의학이나 소아과와 같은 한 분야를 추구한다.

We decided to review the LEs of undergraduate medical education and graduate medical education separately because we see the two environments as different. Graduate medical education is purely a job training environment. Undergraduate medical education, however, is a blended LE, moving from an educational environment to a training environment. The preclinical years create a unique focus on the needs of the medical student, but the focus shifts to the patient once the medical student enters the clinical years. Also, medical students are paying customers; thus, their LE must support their learning and professional development. In graduate medical education, interns and residents have been hired and are paid to care for patients, while being supervised and taught. Finally, their interests are more discipline-specific; for example, all have opted to pursue one field, like psychiatry or pediatrics, compared with medical students, who have diverse interests.

초점 질문

Focused Questions

본 리뷰에서는 다음과 같은 연구 문제를 다루는 것을 목표로 하였다. 

• (1) 의료 교육에서 LE를 측정하기 위해 개발된 도구는 무엇인가? 그리고. 

• (2) 이러한 도구의 점수 해석과 관련된 유효성 근거(내용, 대응 프로세스, 내부 구조, 다른 변수와의 관계)의 강점은 무엇인가?

In this review, we aimed to address the following research questions: 

• (1) What tools have been developed to measure the LE in medical education? and 

• (2) What is the strength of the validity evidence (content, response process, internal structure, relationship to other variables) associated with the interpretation of the scores from these tools?

LE 도구 점수는 현 시점에서 규범적 점수보다 기술적이기 때문에 이 검토에서 결과 타당성 증거를 수집하지 않았다.

We did not collect consequence validity evidence in this review because LE tool scores are more descriptive than prescriptive at this point in time.

방법

Method

우리는 이 체계적인 검토를 PRISMA 표준에 따라 수행했다.12

We conducted this systematic review in accordance with PRISMA standards.12

검색 전략 Search strategy

포함과 스크리닝 프로세스 Inclusion and screening process

데이터 추상화 Data abstraction

모든 저자들은 같은 기사를 읽으면서 코딩 시트를 조종한 다음 두 번 다듬었다. 코딩 시트에는 설명 정보 질문(도구의 이름과 유형 [새로운, 수정된, 기존]), 샘플 특성 질문 및 각 유형의 유효성 증거와 관련된 질문이 포함되었다. 

• 컨텐츠의 타당성을 위해, 저자들이 항목을 생성하기 위해 문헌 검토, 청사진 및/또는 그룹 합의를 사용했는지 여부를 확인했다. 

• 대응 과정에 있어, 우리는 항목들이 시험적으로 시험되었는지, 그리고/또는 응답자들이 항목에 대한 피드백을 제공했는지, 또는 실제 점수를 정확하게 검토했는지 여부를 결정했다. 

• 내부 구조의 경우, 신뢰성 계수가 제공되는지 여부, 요인 분석으로 점수를 분석했는지 여부를 표시했다. 

• 다른 변수와의 관계에 대해서는 점수가 다른 관련 평가 점수와 상관관계가 있는지 여부를 결정했다.

All authors piloted the coding sheet, reading the same articles, then refined it twice. The coding sheet included descriptive information questions (name and type [new, modified, existing] of tool), sample characteristics questions, and questions relating to each type of validity evidence. 

• For content validity, we identified if the authors used a literature review, blueprint, and/or group consensus to generate items. 

• For response process, we determined whether items were piloted and/or whether respondents provided feedback on the items or if actual scores were reviewed for accuracy. 

• For internal structure, we indicated if a reliability coefficient was provided and if scores were analyzed with factor analysis. 

• For relationship to other variables, we determined whether scores were correlated with other related or unrelated survey scores.

분석 Analysis

결과 

Results

연구 숫자와 도구

Number of studies and tools

2012년 현재 102개의 연구가 LE에 대한 의대생 또는 레지던트의 인식을 평가했다. 15개의 고유 도구가 의대 5,14–27에서 LE를 평가했고 레지던트에서 13개의 고유 도구를 평가하였다. 따라서 우리는 28개의 고유 도구를 이 체계적 검토에 포함시켰다. 의과대학과 레지던트 설정에서 모두 사용된 도구는 단디 준비 교육 환경 측정(DREEM), 재향군인 학습자의 인식 조사(VA LPS), 대학원 병원 교육 환경 측정(PHEEM), 외과 연극 교육 환경 측정(STEEM) 등 4가지뿐이다.

As of 2012, 102 studies have assessed medical students’ and/or residents’ perceptions of the LE. Fifteen unique tools assessed the LE in medical school5,14–27 and 13 in residency.7,28–39 Thus, we included 28 unique tools in this systematic review. Only four tools have been used in both the medical school and residency settings—the Dundee Ready Education Environment Measure (DREEM), the Veterans Affairs Learners’ Perceptions Survey (VA LPS), the Postgraduate Hospital Educational Environment Measure (PHEEM), and the Surgical Theatre Educational Environment Measure (STEEM).

연구 퀄리티와 통합

Study quality and synthesis

표 2는 전체 타당도 증거 점수를 포함하여 28개의 고유한 LE 도구에 대한 유효성 증거를 요약한 것이다. 이 28개 도구 연구 중 17개(61%)가 어떤 형태로든 내용 타당성 증거를 제공했다. 

• 연구는 32%(9/28)의 내부 구조 증거를 제공하고, 

• 21%(6/28)는 다른 변수 증거와 어떤 형태의 관계를 제공했으며, 

• 14%(4/28)는 응답 프로세스 증거를 제공했다. 

다른 변수 근거와의 관계를 제공한 6개 연구 중 3개 연구만이 예상 수렴 또는 분산 관계에 대한 가설을 명시했다. 즉, 과정 유효성 검사, ACGME 조사 및 Fahy의 LE 도구. 또한 대부분의 연구(23/28; 82%)는 복수의 LE 도메인을 제시했지만, 가설 구조를 뒷받침하기 위한 요인 분석 결과를 제공한 것은 5개에 불과했다.

Table 2 provides a summary of the validity evidence for each of the 28 unique LE tools, including an overall validity evidence score. Seventeen of these 28 tool studies (61%) provided some form of content validity evidence. Studies were less likely to provide evidence for the other three sources—32% (9/28) provided some form of internal structure evidence, 21% (6/28) provided some form of relationship to other variables evidence, and 14% (4/28) provided some form of response process evidence. Only 3 of the 6 studies that provided relationship to other variables evidence specified a hypothesis for the expected convergent or divergent relationships—the Course Valuing Inventory, the ACGME survey, and Fahy’s LE tool. Additionally, the majority of studies (23/28; 82%) suggested multiple LE domains, but only 5 provided factor analysis results to support the hypothesized structure.

학부 의대 LE 도구의 평균 유효 증거 점수는 21%(표준 편차 = 16%)였으며, 두 개 이상의 유효 근거 소스를 제공한 도구는 없었다. 대학원 의학 교육 LE 도구의 평균 유효 증거 점수는 32%(표준 편차 = 17%)였으며, 4가지 타당도 근거 출처를 모두 제공하는 도구는 없었다.

The average validity evidence score for undergraduate medical education LE tools was 21% (standard deviation = 16%), and no tools provided more than two sources of validity evidence. The average validity evidence score for graduate medical education LE tools was 32% (standard deviation = 17%), and no tools provided all four sources of validity evidence.

그림 2는 유효 증거량과 LE 도구의 후속 간행물 수(사용 후) 사이의 약한 관계를 보여준다(rho = 0.10).

Figure 2 illustrates the weak relationship between the amount of validity evidence and the number of subsequent publications of the LE tool (later use) (Spearman rho = 0.10).

고찰

Discussion

LE에 대한 의대생이나 레지던트의 인식을 평가하기 위한 gold standard는 존재하지 않는다. 만약 그렇다면, 그러한 도구는 내용, 대응 과정, 내부 구조 및 다른 변수와의 관계에 대한 강력한 유효성 증거를 이상적으로 보유할 것이다. 이상적인 도구는 효율적으로 시행할 수 있고, 참가자가 완료하는 데 빠르고, 광범위하게 적용되며, 시간이 지남에 따라 변화에 민감해야 한다. LE 평가는 3년에 한 번씩 완료되는 완전한 과정이 아니어야 한다. 대신에, LE는 민첩한 도구를 사용하여 정기적으로 재평가해야 한다.

No gold standard exists for assessing medical students’ or residents’ perceptions of the LE. If one did, such a tool would ideally possess strong validity evidence for content, response process, internal structure, and relationship to other variables. It would be efficient to administer, quick for participants to complete, widely applicable, and sensitive to change over time. Assessing the LE should not be an exhaustive process completed once every three years; instead, the LE should be regularly reassessed using a nimble instrument.

이 검토는 타당성 입증, 사용 및 항목 수 등 LE 도구의 보다 객관적인 차원에 초점을 맞추었다. 우리는 효율성과 관리 시간을 대신하여 항목 수를 사용했다. LE는 다면적인 구조여서, LE 도구는 너무 짧아서 이러한 모든 면을 캡처할 수 없다. 그러나, 연구원들은 참가자들이 비교적 쉽게 LE 도구를 완성할 수 있도록 노력해야 한다. 그렇게 하면 응답률이 높아질 뿐만 아니라 (a) 전체 설문조사를 끝내고 (b) 질문에 대한 성찰과 솔직한 답변을 할 가능성이 높아진다. 

This review focused on the more objective dimensions of LE tools— validity evidence, use, and number of items. We used number of items as a proxy for efficiency and time to administer. The LE is a multifaceted construct, so an LE tool cannot be too short so as to not capture all of these facets. However, researchers should strive to keep LE tools relatively easy for participants to complete. Doing so will not only facilitate a higher response rate but also increase the odds that respondents will (a) finish the entire survey and (b) reflect on the questions and submit honest responses. 

본 검토와 LE에 대한 조사를 모두 수행한 경험에 근거하여, LE는 50개 미만의 항목으로 평가될 수 있다고 본다. 우리는 조사 항목의 수를 제한하기 위해 요인 분석과 같은 분석 방법을 사용할 것을 강력히 촉구한다. 인자 분석을 통해 연구자가 LE 점수에 대한 요인 구조를 결정할 수 있을 뿐만 아니라 조사 항목 수를 줄일 수 있다. 예를 들어, 요인 분석 결과에 따르면 LE가 5개의 인자로 구성되는 경우, 연구자는 각 인자에 대한 하중 값이 가장 높은 6개 항목을 선택하여 30개의 항목 조사를 수행할 수 있다.

On the basis of our experience conducting both this review and researchon the LE, we believe that the LE can  be assessed with a survey of fewer than 50 items. We strongly urge researchers to use analytic methods, such as factor analysis, to limit the number of survey items. Factor analysis not only will allow researchers to determine the factor structure for LE scores but also can be used to reduce the number of survey items. For example, if the results of a factor analysis suggest that the LE comprises 5 factors, a researcher could select the 6 items with the highest loading values for each factor, resulting in a 30- item survey.

흥미롭게도, 학부 의학 교육(폴리의 도구)과 대학원 의학 교육(ACGME)에 대한 가장 높은 수준의 유효 증거를 가진 LE 도구는 후속 출판물에는 사용되지 않았다. 타당성 증거에 있어서는 열등하지만, DREEM은 전 세계 학술 의료 센터에서 LE를 평가하기 위해 40개 이상의 연구에서 사용되었다. 총 유효 증거 점수와 이후 사용 간의 상관관계가 낮은 것은 연구 간 발표 이후의 시간 차이 때문일 수 있다. 최근 발표된 연구가 우리의 분석에서 누락되었을 때, 유효 증거 점수와 이후 사용 사이의 관계는 온건했다.

Interestingly, the LE tools with the highest degree of validity evidence for undergraduate medical education (Pololi’s tool) and graduate medical education (ACGME) were not used in subsequent publications. Although it is inferior in terms of validity evidence, the DREEM was used in more than 40 studies to assess the LE at academic medical centers around the world. The low correlation between total validity evidence score and later use could be due to the difference in time since publication between studies. When studies published recently were omitted from our analysis, the relationship between validity evidence score and later use was moderate.

낮은 유효 증거 점수에도 불구하고, DREEM은 다른 LE 도구에 대한 많은 연구에서 사용되었다. 던디대 의과대학의 의과대학 석사 과정에 등록한 국제 학생 그룹에 의해 개발되었다. 그런 다음, 이 학생들은 그들의 가정home 기관에서 이 조사를 사용했고, 따라서 같은 기관의 연구자들에 의해 만들어진 조사보다 더 많은 네트워크 사용 효과를 만들어냈다. 네트워크 효과는 또한 더 빠른 이름 인식name recognition으로 이어질 수 있었다. 연구자가 LE 도구가 필요한 경우, 다른 도구를 찾기 위한 문헌 검토를 실시하기보다는 DREEM을 알고 있었기 때문에 DREEM 사용을 고려할 가능성이 더 높았을 수 있다. 또한, DREEM을 사용함으로써, 그들은 학교 결과를 다른 학교 결과와 비교할 수 있었다. 따라서 연구자들은 타당성 입증 이외의 이유로 LE 도구를 선택할 수 있다. 우리는 표 2에 제시된 우리의 결과가 연구자들과 교육자들이 타당성 증거를 토대로 LE 도구를 선택하도록 안내할 것으로 기대한다.

Despite its low validity evidence score, the DREEM was used in a large number of studies relative to other LE tools. It was developed by a group of international students enrolled in Dundee University Medical School’s medical education master’s degree program. These students then used the survey at their home institutions, thus creating more of a network effect of use than would a survey created by a group of researchers at the same institution. The network effect also could have led to faster name recognition. When researchers needed an LE tool, they may have been more likely to consider using the DREEM because they knew of it, rather than conducting a literature review to find a different tool. Also, by using the DREEM, they could compare their school’s results with those of other schools. Thus, researchers may be selecting LE tools for reasons other than validity evidence. We are hopeful that our results presented in Table 2 will guide researchers and educators in selecting LE tools on the basis of validity evidence.

이 리뷰는 건강 전문가에 사용된 LE 도구에 대한 이전에 발표된 두 개의 리뷰의 결과에 깊이와 엄격함을 더한다.8,9  

• Schnrock- Adema와 동료9의 리뷰는 LE의 이론적 기반을 구축하고 그것의 다른 측면에 초점을 맞춘다. 따라서, 우리의 검토는 LE(점수의 유효 증거)를 평가하기 위한 다른 렌즈를 제공했다. 

• 소이만트리와 동료8의 검토에서도 타당성 증거를 평가했지만 많은 단점이 있었다. 우리의 결론과는 대조적으로, 소이만트리 외 연구진은 DREEM과 PHEEM이 각각 의대생과 LE에 대한 거주자의 인식을 평가하기 위한 최고의 도구라고 결론지었다. 

This review adds depth and rigor to the findings of the two previously published reviews of LE tools used in the health professions.8,9 The review by Schönrock- Adema and colleagues9 aimed to build a theoretical base for the LE and focused on its different facets. Thus, our review offered a different lens for assessing the LE—the validity evidence of scores. The review by Soemantri and colleagues8 also assessed validity evidence, but it had many shortcomings. In contrast to our conclusions, Soemantri et al concluded that the DREEM and PHEEM were the best tools for evaluating medical students’ and residents’ perceptions of the LE, respectively. 

우리는 검토된 LE 도구의 수와 유효 증거 패러다임이라는 두 가지 이유로 Soemantri 등으로부터 서로 다른 결론에 도달했다고 믿는다. "학습 환경"에 대해 여러 개의 핵심 단어를 사용하여 포괄적인 검색 전략을 모색했기 때문에, 우리의 리뷰는 더 많은 공개된 LE 도구를 포착했다. Soemantri 외 연구진은 세 가지 유형의 유효성(내용, 기준 관련 및 구성)을 가진 구형 패러다임을 사용했으며, 우리는 유효 증거의 다섯 가지 출처(내용, 대응 프로세스, 내부 구조, 다른 변수와의 관계, 결과[이 검토에서 평가되지 않음])를 가진 새로운 패러다임을 사용했다.

We believe that we reached disparate conclusions from Soemantri et al for two reasons—the number of LE tools reviewed and the validity evidence paradigm. Our review captured more published LE tools because we sought a comprehensive search strategy, using multiple key words for “learning environment.” Soemantri et al used the older paradigm with three types of validity (content, criterion- related, and construct), while we used the new paradigm with five sources of validity evidence (content, response process, internal structure, relationship to other variables, and consequences [not assessed in this review]).

우리의 검토에는 몇 가지 한계가 있다. 

• 첫째, 대부분의 초기 연구들은 단일 사이트에서 비교적 적은 수의 학습자를 사용했으며, 특히 학부 의대 교육 LE를 평가하는 학습자를 사용했다. 그러므로 타당성 증거가 더 강했더라도 다른 기관의 학습자와 함께 도구의 효용에 대한 일반화는 문제가 될 수 있다. 

• 둘째, 동료 검토 저널에 게재된 LE 도구만 포함시켰다. 

• 마지막으로, 기술 및 끊임없이 변화하는 의료 제공 시스템과 같은 요인들로 인해 의료 교육이 계속 발전함에 따라, 이러한 요소들을 설명하기 위한 새로운 도구가 필요할 것이다. 따라서, 우리가 검토한 도구들 중 일부는 사실 이미 구식일 수도 있고, 따라서 덜 유용할 수도 있다.

Our review has several limitations. First, most of the original studies used relatively small numbers of learners at a single site, especially those assessing the undergraduate medical education LE. Thus, even if validity evidence had been stronger, generalizations about any tool’s utility with learners at other institutions may be problematic. Second, we only included LE tools published in peer-reviewed journals. Finally, as medical education continues to evolve because of factors such as technology and our ever- changing health care delivery systems, new tools will be needed to account for these factors. Thus, some of the tools we reviewed may in fact already be dated, and thus of lesser utility.

검토한 28개의 LE 도구에 대한 제한된 유효성 증거를 고려할 때, 연구자들은 추가 연구를 통해 타당성 증거를 수집하거나, 또는 LE에 대한 의대생과 레지던트 인식을 평가하는 새로운 도구를 개발하기를 원할 수 있다. 새로운 LE 도구는 효용성을 확립하기 위해 복수의 기관에서 견습생을 대상으로 강력한 유효성 증거 시험과 샘플링을 필요로 한다. 또한 의학 교육자와 학자는 LE와 같은 복잡한 구조를 평가할 측정지표를 선택할 때 유효 증거를 신중하게 고려해야 한다. 그러한 타당성 증거는, 그것이 없다면, 교육자들은 어떤 구조를 정확하게 포착할 수 있는 능력에 한계가 있기 때문에 매우 중요하다.

Given the limited validity evidence for the 28 LE tools that we reviewed, researchers may wish to collect validity evidence with further study or, alternatively, to develop new tools to assess medical students’ and residents’ perceptions of the LE. Any new LE tool will need robust validity evidence testing and sampling across multiple institutions with trainees at multiple levels to establish its utility. Additionally, medical educators and scholars should carefully consider validity evidence when selecting a metric to assess a complex construct, such as the LE. Such validity evidence is extremely important because, without it, educators are limited in their ability to accurately capture a construct.

Acad Med. 2014 Dec;89(12):1687-93. doi: 10.1097/ACM.0000000000000433.

Assessing medical students' and residents' perceptions of the learning environment: exploringvalidity evidence for the interpretation of scores from existing tools.

Mokken 스케일 분석을 통한 DREEM의 심리측정적 특성과 차원구조 분석(BMC Med Educ, 2018)

Investigating psychometric properties and dimensional structure of an educational environment measure (DREEM) using Mokken scale analysis – a pragmatic approach

Per J Palmgren1*, Ulf Brodin1, Gunnar H Nilsson2, Roger Watson3 and Terese Stenfors1

배경

Background

질문지 및 조사와 같은 기구는 과정, 프로그램 및 사무실의 수많은 학생 평가와 학생들의 자기 평가 및 환자 만족을 포함하여 의료 교육 전반에 걸쳐 사용된다. 더욱이, 설문조사 중심의 문의는 의료 교육 연구에 광범위하게 사용되고 있다[1]. 잘 조작된 설문지는 기초적인 구성 또는 잠재적 특성(변수성)의 측정에 유용한 도구다.

Instruments such as questionnaires and surveys are used throughout medical education, including for the innumerable student evaluations of courses, programs, and clerkships as well as for student self-assessments and patient satisfaction. Moreover, survey-driven inquiries are extensively employed in medical education research [1]. A well-crafted questionnaire is a useful instrument for the measurement of underlying constructs or latent traits (variables).

측정은 [2] 의미 있는 방법으로 개체에 숫자를 적용하는 프로세스로 정의되었으며 데이터 세트의 공식 모델을 구성하는 것을 포함한다. 측정과 계량화는 많은 과학에서 어디에서나 볼 수 있다. 교육과 심리 같은 사회과학에서는 학자들이 심리적인 측정과 다른 현상에 대한 인식과 태도 같은 개념에 몰두하고 있다.

Measurement has been defined as the process of applying numbers to objects in meaningful ways [2] and involves constructing a formal model of a dataset. Measurement and quantification is ubiquitous in many sciences. In social sciences, such as education and psychology, scholars are preoccupied with psychological measurements and concepts such as perceptions of and attitudes toward different phenomena.

Bryman[3]에 따르면, 정량적 연구에서의 측정에 대한 집착에는 크게 세 가지 이유가 있다. 

• i) 측정을 통해 연구자는 해당 현상의 관점에서 사람 간의 미세한 차이를 설명할 수 있다. 

• ii) 측정은 그러한 구분을 위한 일관된 장치를 제공한다. 

• iii) 측정은 현상 간 관계의 정도에 대한 보다 정확한 추정을 제공한다.

According to Bryman [3], there are three main reasons for the preoccupation with measurement in quantitative research: 

• i) measurement allows researchers to delineate fine differences between people in terms of the phenomenon in question; 

• ii) measurement provides a consistent device for making such distinctions; and 

• iii) measurement provides for more precise estimates of the degree of relationships between phenomena.

심리학적 측정은 본질적으로 측정하는 성질 때문에 더 어렵고 일반적으로 받아들여지는 방법으로 직접 관찰할 수 있도록 똑같이 직접적으로 제공하지는 않는다. 개인들 사이의 현상에 대한 인식과 같은 심리적 속성의 측정은, 비록 바람직하지만, 어려울 수 있다.

Psychological measurement is inherently more difficult due to the properties being measured and does not lend itself equally straightforwardly to direct observation with a commonly accepted method. Measuring psychological attributes such as perceptions of a phenomenon among individuals can thus be difficult, albeit desirable.

설문 척도 설계

Survey scale design

Artino와 동료[1]는 의료 교육 연구에서 평가 척도 설계 프로세스에서 일부 필수 단계를 강조하였다. 이러한 많은 측면을 다루는 이 연구 분야는 정신분석학이라고 불린다.

Artino and colleagues [1] have highlighted some compulsory steps in the survey scale design process in medical education research: This field of study which addresses many of these aspects is called psychometrics,

의료 교육 연구에서는, 설문지 결과를 해석하고 분석하기 위한 보다 안정적이고 확증된 방법과 그러한 방법에서 결론을 도출하는 가능한 새로운 방법이 필요하다[5].

In medical education research, there is a need for more stable and corroborated methods for interpreting and analyzing the results of questionnaires as well as possible new ways of drawing conclusions from such methods [5].

설문지의 심리측정적 robustness를 보장하기 위해 채택된 방법은 상식, 항목 내용 및 항목 선택에서 복잡한 수학적 및 통계적 모델에 이르는 연속체에 배치할 수 있다. 그러나 타당성과 같은 심리측정적 특성은 측정도구와 관련되지 않는다. 오히려 맥락적 연구[7]에서 생성된 결과의 해석의 특징이다. 따라서 도구를 외국어로 번역하거나 다른 모집단에 적용할 때, 그것은 경험적인 문제가 되고, 그 발견은 해당 모집단에 대해 심리적으로 정밀하게 조사할 필요가 있다. 그렇지 않으면 "다른 사람에게 빌린 안경을 이용한 시각적 관찰과 같을 것이다. 그것은 분명하지 않거나 최적의 결과를 낳게 마련이다[4].

The methods employed to warrant the psychometric robustness of questionnaires can be placed on a continuum extending from common sense, item content, and choice of items to intricate mathematical and statistical models. However, Psychometric properties, such as validity, do not pertain to an instrument as such; rather, they are a feature of the construal of the results generated from a contextual study [7]. Therefore, when inventories are translated from a foreign language and/or applied to a different population, it becomes an empirical question, and findings need to be psychometrically scrutinized for the population in question. Otherwise, “It would be like visual observation using eyeglasses borrowed from someone else. It is bound to produce unclear or suboptimal results” [4].

의료 교육 연구(및 기타 분야)에서는 설문지의 점수를 합산하기 위해 일련의 문항을 작성한 후 해당 통계에 이 합계 점수를 사용하는 것이 일반적이다. 목적이 합계 점수를 작성하는 것이든 또는 메트릭 변수로 추가 사용을 위한 기타 종합 측정을 작성하는 것이든 상관없이, 우리는 이것을 탐구해야 한다고 주장한다. 종합 점수 등과 같은 항목 집합에 기초한 종합 측정을 생성할 때, 이것은 다른 통계 모델과 같은 모델, 시험해야 하는 모델과 그 적용 가능성을 검토해야 하는 모델을 확립하는 것을 수반한다. 설문지에 항목을 요약하는 것이 반드시 유효한 연속 메트릭 변수[5]를 구성한다는 것은 명백하지 않으며, 항목 동등성item equivalence의 가정에 대한 문제는 문헌[8]에서 다루어 왔다. 그럼에도 불구하고 합리적인 측정지표 변수를 구성할 수 있다면 다양한 적절한 측정 방법을 사용할 수 있다.

It is common practice in medical education research (and other disciplines) to compose ordered items to sum scores in a questionnaire and to then use these sum scores for the corresponding statistics. Regardless of whether the intent is to create a sum score or any other aggregated measure for further use as a metric variable, we argue that this has to be explored. When generating an aggregated measure based on a set of items, such as a sum score, this entails establishing a model like any other statistical model, a model that has to be tested and its applicability examined. It is far from obvious that summarizing items in a questionnaire necessarily constitutes a valid continuous metric variable [5], and the problem with the assumption of item equivalence has been addressed in the literature [8]. Nevertheless, if a reasonable metric variable can be constructed, there are a variety of suitable psychometric methods available.

심리측정검사이론

Psychometric test theories

의학 교육 연구의 많은 경험적 연구에서, 유효성 및 신뢰성을 확립하기 위해 사용되는 방법은 고전적 시험 이론(CT)이라고 하는 것에 포괄적으로 의존한다. 

• 척도의 구인 타당성 평가를 위한 주성분 분석 또는 요인 분석과 같은 방법을 포함한다. 

• 시험 점수의 신뢰성 추정을 위한 Cronbach의 알파와 같은 내부 일관성.

In many empirical studies in medical education research, the methods used to establish validity and reliability rely comprehensively on what is referred to as classical test theory (CTT), which includes methods such as principal component analysis and/or factor analysis for assessing the construct validity of scales, and/or internal consistency such as Cronbach’s alpha for the estimation of the reliability of test scores.

CTT는 대부분 연속 데이터의 가정과 일반적으로 데이터의 정규 분포에 의존하며 주로 항목과 총 척도 점수 간의 관계를 조사한다. 또한, CTT에서 척도 점수는 항목 반응 패턴에 대해 그다지 유익하지 않으며, 항목 집합에 대한 점수의 조합은 잠재 특성에 대해 동일한 점수를 줄 수 있다. 이와 같이, Van Schuur [9]는 문항 집합이 동일한 개념을 측정하는지 여부에 대해 CTT의 통찰력이 제한될 수 있다고 제안했다.

CTT relies mostly on the assumption of continuous data and commonly a normal distribution of data and mainly investigates the relationship between items and total scale scores. Further, in CTT, the scale score is not very informative about the item response pattern, and any combination of scores on any set of items can give the same score on the latent trait. As such, van Schuur [9] has suggested that CTT may have limited insight as to whether sets of items measure the same concept.

CTT에 대한 대안적 방법은 문항반응이론(IRT)으로, CTT와 많은 동일한 문제를 추구하며, 특히 명목 및 순위 설문지 데이터를 위해 개발되었다. 또한, IRT는 종종 동일한 개념을 측정하는 항목 집합을 탐지하는 측면에서 CTT의 보완이 될 수 있다[9]. IRT는 또한 개인의 능력 수준과 구별되는 측정 정밀도를 설정하여 해석력을 증가시킨다[10]. 따라서 이 데이터(예: 사람 성과에 따라 변동하는 오류)를 사용하여 조사 대상 설문지의 취약하고 중요한 부분을 구별할 수 있다[11]. IRT 방법 및 기법은 다양하지만, 이를 다루는 것은 본 문서의 범위를 벗어난다. IRT 방법의 한 가지 분기는 IRT의 원리와 설문지 데이터의 정신학적 특성을 평가하는데 유용한 것으로 입증된 스케일링 방법에 기초하는 목켄 스케일 분석(MSA 또는 목켄 스케일링)이다[4, 12–14].

An alternative method to CTT is item response theory (IRT), which pursues much of the same problems as CTT and was developed particularly for nominal and ordinal questionnaire data. Further, IRT can often be a supplement to CTT in terms of detecting sets of items that measure the same concept [9]. IRT also augments interpretive power by establishing measurement precision that is distinct with a person’s ability level [10]. Thus, this data (e.g., an error that fluctuates based on person performance) can be utilized to distinguish weak and critical parts of a questionnaire under scrutiny [11]. There are a multitude of IRT methods and techniques, however, it is beyond the scope of this paper to address them. One branch of the IRT method is Mokken scale analysis (MSA or Mokken scaling), which is based on the principles of IRT and a scaling method proven to be valuable for assessing the psychometric properties of questionnaire data [4, 12–14].

방법

Methods

MSA의 기본 원리

Basic principles of MSA

MSA는 항목과 잠재적 특성 사이의 상호성과 관계를 탐구하기 위한 일련의 통계적 도구를 제공하는 분석적 방법이다. 이는 척도의 항목이 계층적으로 정렬된다는 가정에 기초하는 Guttman 스케일링 모델에서 진화했다. 즉, 항목이 응답자에 의해 승인되는 용이성과 범위를 언급하는 것이 어렵다는 것을 의미한다(Watson 등 참조). [15] 좀 더 포괄적인 논의를 위해). 따라서 Guttman 스케일링 모델은 확률적 요소의 가능성을 허용하지 않기 때문에 결정적이다. 그것은 항목과 잠재된 특성 사이의 관계를 확률 면에서 고려하지 않는다. 오히려, 그것은 어떤 항목에 대한 보증 또는 그 결여에 근거하여 잠재된 특성의 차별이다. 그림 1a는 Y축의 항목에 대해 긍정적인 응답의 확률을 가진 X축의 잠재적 특성을 따라 결정론적 Guttman 스케일링 모델에 따라 행동하는 항목의 예를 보여준다.

MSA is an analytical method that provides a set of statistical tools for exploring the reciprocity and relation between items and latent traits. It evolved from the Guttman scaling model, which is based on the assumption that the items in a scale are hierarchically ordered: this means that they are ordered by their degree of “difficulty,” difficulty referring to the ease and extent with which an item is endorsed by respondents (See Watson et al. [15] for a more comprehensive discussion). Thus, Guttman scaling model is deterministic as it does not allow for the possibility of any stochastic elements. It does not regard the relation between an item and the latent trait in terms of probability. Rather, it is discriminatory of the latent trait on the basis of the endorsement, or lack thereof, of an item. Figure 1a displays an example of an item behaving in consonance with the deterministic Guttman scaling model along a latent trait on the X-axis with the probability of an affirmative response to the item on the Y-axis.

문항 반응 기능

Item response function

IRT에서 파생된 모델(MSA 등)의 중심은 IRF(항목 반응 함수) 또는 항목 특성 곡선으로 설명할 수 있는 척도의 이산형 항목이 어떻게 작용하는 가이다[16]. IRF는 IRT 방법에서 분석의 기본 단위로 간주할 수 있다. 그들은 잠재적 특성과 해당 항목에 긍정적으로 반응할 확률 사이의 관계를 기술한다. 여기서 "positive"는 항목을 종별 척도로 승인(또는 능력 척도로 올바르게 응답)하는 것을 의미한다. 특성 수준은 세타(θ로 표시됨)로 표시되며, 특정 항목에 대한 IRF는 잠재 특성의 특정 레벨이 있는 상태에서 획득되는 개인의 항목 점수의 확률 –Р(θ)을 나타낸다. 일반적으로 IRF는 θ의 잠재 특성 값이 높을수록 θ을 측정하는 항목에 대한 점수의 확률이 높아져 결과적으로 비선형적으로 증가한다는 개념을 반영한다.

Central to the models derived from IRT (such as MSA) is how discrete items in a scale perform in relation to the latent trait, which can be described by an item response function (IRF) or an item characteristic curve [16]. IRFs can be regarded as the fundamental unit of analysis in IRT methods. They describe the relationship between the latent trait and the probability of responding positively to that item, whereby “positively” means endorsing the item in attitudinal scales (or answering correctly in ability scales). The trait level is signified by theta (denoted as θ), and the IRF for a specific item represents the probability – Р (θ) – of an individual’s item score being acquired in the presence of a specific level of the latent trait. In general, the IRF echoes the notion that the higher the latent trait value of θ, the higher the probability of a score on the item that measures θ, consequently increasing non-linearly.

그림 1b는 IRT 모델이 S자형 곡선 IRF에 데이터를 맞추려고 할 때 X축의 θ과 Y축의 Р(θ)이 있는 상태에서 확률적으로 반응하는 항목을 나타낸다. 그림 1c는 한 항목(항목 A)을 승인할 확률이 다른 항목(항목 B)을 승인할 확률보다 더 주목할 만한 두 항목에 대한 IRF를 나타내며, 결과적으로 항목(B)이 더 어렵다. IRF는 또한 항목의 차등 능력 측정치인 항목 차별을 표시할 수 있다. 높은 차별은 어떤 항목이 주제를 구별할 수 있는 높은 능력을 가지고 있음을 시사한다. 그림 1d와 같이, IRF의 피치는 경사가 더 큰 항목(항목 B)은 경사가 더 낮은 항목(항목 A)보다 더 차별적이라고 볼 수 있기 때문에 평가할 수 있다.

Figure 1b shows an item responding stochastically in the presence of θ on X-axis and Р (θ) on the Y-axis as IRT models attempt to fit the data to sigmoid-shaped curves IRFs can differ according to item difficulty. Figure 1c depicts the IRFs for two items, where the probability of endorsing one item (Item A) is more noteworthy than the probability of endorsing the other (Item B), consequently the item (B) being more difficult. IRFs can also display item discrimination, a measure of the differential capability of an item. A high discrimination suggests that an item has a high ability to differentiate subjects. As shown in Fig. 1d, the pitch of the IRFs can be assessed, as items with a greater slope (Item B) can be regarded as more discriminatory than those whose slope is shallower (Item A).

비모수적 문항반응이론 모델

A non-parametric item response theory model

MSA는 이항목(이항) 또는 다항목(순위) 항목의 단차원 척도를 평가하기 위한 데이터 감소 방법으로, 비모수 항목 반응 이론(NIRT)의 등급에 속한다. 다중 항목 설문지를 설계하거나 구성할 때, 보다 잘 확립된 CTT 또는 파라미터 IRT 방법(Parametric IRT method, PRT)에 대한 2차 분석으로, 또는 잘 알려진 항목이 새로운 응답자 그룹에 적용되는 새 데이터의 적합성과 자음을 조사하기 위해 MSA를 적용할 수 있다[12].

MSA is a data reduction method aimed at assessing unidimensional scales of dichotomous (binary) or polytomous (ordinal) items and belongs to the class of non-parametric item response theory (NIRT). MSA can be applied when designing or constructing multi-item questionnaires; as a secondary analysis to more well-established CTT or parametric IRT methods (PIRT); or to investigate the conformity and consonance of new data in which well-known items are applied to new group of respondents [12].

MSA는 또한 Rasch 모델과 같이 PIRT 모델보다 몇 가지 장점을 가지고 있다. 첫째, MSA는 덜 제한적인 가정에 의존하며 데이터에 대한 요구도 덜하지만 중요한 측정 특성을 유지하므로 연구자들이 척도에서 불필요하게 항목을 제거하는 것을 방해한다. 둘째, MSA는 PIRT 모델에서는 쉽게 이용할 수 없는 탐색적 차원 분석을 위한 귀중한 도구를 제공한다 [17, 18]. 또한, "간격 척도에서 합리적인 '인용 측정'을 확립하기 위한 충분한 통계로서 합계 점수를 사용할 가능성을 평가하기 전에, 초기 단계는 비모수적 접근법을 사용하여 데이터를 측정하는 것이다[6].

MSA also has some advantages over PIRT models, such as the Rasch model. First, MSA depends on less restrictive assumptions and is less demanding on the data, while maintaining important measurement properties, which prevents researchers from unnecessarily removing items from a scale. Second, MSA provides valuable tools for exploratory dimensionality analyses that are not readily available for PIRT models [17, 18]. Further, it has been postulated that “before assessing the possibility of using a sum score as a sufficient statistics to establish a reasonable ‘person measure’ on an interval scale, an initial step would be to gauge data by means of a non-parametric approach” [6].

NIRT모델 기저의 가정

Assumptions underlying NIRT models

1970년대 초 로버트 목켄은 서수 데이터의 스케일링 기법인 MSA를 뒷받침하기 위해 이분법 항목[14], 즉 단조동질 모델(MHM)과 이중단조 모델(DMM)에 대한 두 개의 NIRT 모델에 대한 논문을 제안했다. 거의 10년 후, 몰레나아[19]는 폴리토머스 항목에 맞추기 위해 이러한 모델을 개발했다(이 모델에 대한 좀 더 포괄적인 설명은 [4, 20, 21]에서 찾을 수 있다).

At the beginning of the 1970s, Robert Mokken proposed his thesis of two NIRT models for dichotomous items [14]: the monotone homogeneity model (MHM) and the double monotonicity model (DMM) to underpin MSA, a scaling technique for ordinal data. Nearly ten years later, Molenaar [19] developed these models to cater for polytomous items (more comprehensive discussions of these models can be found in [4, 20, 21].

MSA는 척도를 형성하는 것으로 가정되는 항목 집합에 대해, 또는 그것이 하나 이상의 척도를 구성하는지를 확인하기 위해 일련의 항목을 분석할 때, 확인적 방식으로 적용될 수 있다. 확인적 접근법과 탐구적 접근법은 모두 동일한 기준을 채택하며, 유일한 차이점은 발견되거나 시험되는 항목(치수)의 군집이 하나 또는 두 개의 NIRT 모델을 준수하는지의 여부에 대한 분석과 평가에 입력되는 것이다. 이러한 모델은 목켄 모델링을 보증하고 규정하기 위해 충족해야 하는 4가지 가정에 기초한다. 이러한 가정은 비임계성, 단조성, 국부적 독립성 및 불변항목 주문(IIO)이다 [13, 22].

MSA can be applied in a confirmatory manner, for a set of items that are assumed to form a scale, or in an exploratory manner when a set of items is analyzed to ascertain whether it constitutes one or more scales. Both confirmatory and exploratory approaches employ the same criteria, the only differences being what is entered into the analysis and the assessment of whether the clusters of items (dimensions), which are found or tested, adhere to one or two NIRT models. These models are grounded in four assumptions that must be met in order to endorse and stipulate Mokken modeling. These assumptions are: 

• unidimensionality, 

• monotonicity, 

• local independence, and 

• invariant item ordering (IIO) [13, 22].

단차원성의 가정은 척도를 형성하는 항목에 대해 항목에 대한 해답을 지배하는 일반적인 단일 잠재 특성(θ)이 있다는 것을 의미한다[23]. 단차원은 항목의 답의 해석을 단순화하고 다른 특성의 potpourri를 표현하는 것으로부터 항목의 총 점수를 평균하기 때문에 일반적으로 바람직한 측정 속성으로 간주된다. 그러나, 단차원성은 둘 이상의 차원이 큰 항목 집합에 존재하는 것이 불가능하다는 것을 의미하지 않는다. 오히려 NIRT 모델에 적합한 항목들의 군집이 단차원적이라는 것을 의미한다.

The assumption of unidimensionality means that for those items forming a scale, there is a prevailing single latent trait (θ) that governs the answers to the items [23]. Unidimensionality is commonly considered a desirable measurement property because it simplifies the interpretation of answers to the items and averts the total score of the items from expressing a potpourri of different traits. However, unidimensionality does not mean that it is impossible for more than one dimension to exist in a large set of items; rather, that clusters of items fitting an NIRT model are unidimensional.

두 번째 가정인 단조성은 잠재 특성 수준이 증가함에 따라 항목 점수의 증가 확률을 암시한다. 따라서 승인된 반응 P(θ)는 잠재 특성 θ의 단조적으로 감소하지 않는 함수다. 그림 1e는 단조적으로 증가하는 하나의 항목(A)과 그렇지 않은 하나의 항목(B)을 나타내며, 따라서 IRF에서 약간 딥한 것으로 표시된다. 이 전제로부터의 열은 측정인에 대한 서수 척도의 오용과 단조성의 위반을 나타낸다.

The second assumption, monotonicity, alludes to the increasing probability of the score on an item increasing as the level of the latent trait increases; thus, the endorsed response P (θ) is a monotonically non-decreasing function of the latent trait θ. Figure 1e exhibits one item (A) increasing monotonically and one item (B) which is not, thus indicated by a slight dip in the IRF. Aberrations from this premise indicate violations of monotonicity and conceivable distortions from and misuse of ordinal scale for measuring persons.

국지적 독립성의 가정은 척도의 항목에 대한 개인의 반응이 측정되는 잠재적 특성에 대한 자신의 수준에 의존한다고 규정한다. 한 항목에 대한 응답은 다른 항목에 대한 점수에 영향을 받지 않고 영향을 받지 않는다[24]. 완전한 국지적 확률적 독립은 사실상 감지할 수 없고 실질적으로 도달할 수 없기 때문에 이것은 대체로 추측이라는 것을 강조해야 한다 [12, 15].

The assumption of local independence stipulates that a person’s responses to items on a scale are reliant on his or her level on the latent trait being measured; the response to one item is not influenced and affected by the score on any other [24]. It should be emphasized that this is largely a conjecture, as utter local stochastic independence is virtually undetectable and practically unachievable [12, 15].

앞에서 언급한 세 가지 가정은 수많은 NIRT 절차에 적합하며 MHM의 가정을 포함한다. DMM이 더 제한적일수록 IRF가 θ를 횡단하는 비교차로 가정해야 한다. 따라서 비 교차 IRF는 불변항목 순서에 의해 확인되며, 잠재 특성의 모든 수준에서 모든 응답자에 대한 순서에 있어 "어려움"이 동일한 척도의 항목을 가리킨다. 이것은 그림. 1f와 항목 B가 항목 A와 교차하는 경우, 항목 B가 DMM을 위반한다. IIO 속성은 계층적 척도를 설정하는 데 결정적이다. 이 네 가지 가정이 과도하게 침해되지 않는다면, 더 높은 합계 점수는 잠재 특성에 대한 더 높은 값에 해당하는 것으로 간주되며, 이는 응답자들이 총합 점수에 의해 잠재 특성에 대해 신뢰성 있게 명령할 수 있음을 시사한다. 항목 확장성을 위해 미리 선택된 컷오프 값을 사용하여 "하향식" 클러스터링 기법을 유지함으로써, MSA는 다른 계층적 수준에서 스케일 또는 스케일의 치수 구조를 분석할 수 있다[15, 25].

The three aforementioned assumptions are adequate for numerous NIRT procedures and encompass the assumptions of the MHM. The more limiting DMM necessitates the additional assumption of non-intersecting of IRFs traversing θ. Thus, non-intersecting IRFs is confirmed by invariant item ordering and refers to items on a scale with the same level of “difficulty” in terms of ordering across all respondents at all levels of the latent trait. This is shown in Fig. 1f where Item B intersects with Item A, thus Item B violates the DMM. The IIO property is decisive in establishing hierarchical scales. If these four assumptions are not excessively violated, higher sum scores are seen as corresponding to higher values on the latent trait, suggesting that respondents can be reliably ordered on the latent trait by their sum scores. By retaining a “bottom up” clustering technique by means of preselected cut-off values for item scalability, MSA permits analyses of the dimensional structure of a scale or scales on different hierarchical levels [15, 25].

실용적이고 검소한 접근으로서 MSA

MSA as a pragmatic and parsimonious approach

그림 2에서 볼 수 있듯이, 우리는 몇 가지 순차적 단계를 통합한 MSA에 대해 실용적이고 검소한 접근법을 제안한다. 그림에서 묘사된 후속 조치들이 연속적으로 지시되는 것처럼 보일 수 있다는 사실에도 불구하고, 실용적인 분석 접근법은 선형이 아니라 반복적이고 재귀적이다. 설문지 테스트 중 데이터 분석에서 잘 알려진 딜레마는 일부 응답자가 척도의 일부 항목에 대한 답변을 제공하지 않아 불완전한 데이터 매트릭스가 발생한다는 것이다 [26]. 따라서 예를 들어, 2방향 귀속 또는 핫 데크 귀속을 사용하여 샘플을 완전히 활용하기 위해 다른 응답자로부터 값을 유사하지만 포괄적인 응답 패턴으로 복제하는 등 일부 비체계상 누락 값을 귀속시킬 수 있다. 그러나, 우리는 브로딘[6]과 논쟁하고 동의한다. 설문지에서의 누락된 가치는 일반적으로 응답자가 대답하지 않기로 선택했기 때문에 귀속될 수 없다. 이후 빈 셀은 "데이터 누락"이 아니라 "응답 없음"을 의미하므로 데이터가 누락되지 않는다. 또한, 반 데르 아크와 시즈마[27]가 논의한 바와 같이 목켄 스케일링에 귀속성을 적용하는 단점이 있으며, 귀속 방법 중 하나를 선택할 수 있는 방법은 거의 없지만, 모두 데이터가 누락되지 않고 원래 솔루션에서 벗어나는 항목 군집을 도출하는 시뮬레이션 방법을 사용한다. 따라서 우리는 MSA가 항목 간의 복수 및 부분적 관계(확장성)에 초점을 맞추고 있으며, 범주의 붕괴가 발생하지 않으므로 분석에서 어떤 항목에 대해서도 "응답 없음"을 포함하는 재고자산은 폐기할 것을 권고한다.

As shown in Fig. 2 we propose a pragmatic and parsimonious approach to MSA, which incorporates several sequential steps. Despite the fact that the ensuing steps depicted in the figure might seem consecutively ordered, the pragmatic analytical approach, is not linear, but iterative and recursive. A well-known dilemma in data analysis during questionnaire testing is that some respondents do not provide answers to some of the items in a scale, resulting in an incomplete data matrix [26]. Consequently, a few non-systematic missing values might be imputed, e.g., using a two-way imputation or a hot deck imputation, thus replicating values from other respondents with analogous but comprehensive response patterns in order to make full use of the sample. However, we argue and concur with Brodin [6] that missing values in questionnaires should in general not be subject to imputation as the respondent has chosen not to answer. Subsequently, data are not missing as empty cells signify “no response” rather than “missing data”. Further, there is drawback applying imputations in Mokken scaling as discussed by van der Ark and Sijtsma [27] who show, using simulation methods that, while there is little to choose between methods of imputation, all lead to clusters of items that deviate from the original solutions without missing data. Thus, we recommend that inventories containing “no response” to any item should be discarded from the analysis as MSA focuses on the multiple and partial relationship (scalability) between items, and that no collapsing of categories is performed.

소프트웨어

Software for NIRT analysis

MSA의 경험적 적용

Empirical application of MSA

학부 교육 환경을 측정하는 벤치마크 중 하나는 선행 5단계 모델을 중심으로 항목이 할당되는 DREEM이다[38]. DREEM 계측기는 원래 맥락에서 양호한 구성 유효성을 가진 것으로 보고되었지만 [38, 39], 더 최근에, 조사자들은 모델 자체가 개정이 필요할 수 있다고 주장하면서, 척도의 정신측정학적 특성(내부 일관성과 시공 타당성)을 약화시켰다[28, 40–43]. 

One of the benchmarks for measuring the undergraduate educational environment is the Dundee Ready Educational Environment Measure (DREEM), with items allocated around an a priori five-factor model [38]. Although the DREEM instrument was initially reported to have good construct validity in its original contexts [38, 39], more recently, investigators have impugned the psychometric properties—internal consistency and construct validity—of the measure, asserting that the model itself may be in need of revision [28, 40–43]. 

원래의 척도 구조의 재현은 적당히 성공했을 뿐이며, 아마도 계측기의 약점을 나타냈을 것이며, 학술 문헌에 몇 가지 모순되는 증거가 존재한다 [28, 42, 44]. 또한 연구자들은 계측기가 단일 기초 구조를 측정할 수 없었기 때문에 전체 합계 점수를 계산할 때 주의해야 한다고 주장했다[43].

Reproductions of the original scale structure have only been moderately successful, perhaps indicating weaknesses in the instrument, and some contradictory evidence exists in the scholarly literature [28, 42, 44]. Researchers have also advocated caution when calculating the overall sum score as the instrument has been unable to gauge a single underlying construct [43].

세팅 Setting

참가자 Participants

척도 Measure

DREEM은 교육 환경과 직접적인 관련이 있는 다양한 주제와 관련하여 자체 통제되고 폐쇄된 inventory이다. 스웨덴에서 사용하기 위해 번역되었다[28]. DREEM 재고는 50개의 문장으로 구성되어 있으며, 이는 0부터 4까지 단계적으로 점수가 매겨진다.

DREEM is a self-administered, closed-ended inventory relating to a variety of topics of direct relevance to educational environments. It has been translated for use in Sweden [28]. The DREEM inventory comprises 50 statements, which are gradually scored from 0 to 4. 

응답 대안은 0 = 강하게 반대, 1 = 반대, 2 = 확실하지 않음, 3 = 동의, 4 = 강력하게 동의하여 서수 척도를 구성한다. 이것은 종종 리커트 척도로 잘못 또는 잘못 언급된다[45, 46]. 품목은 5개의 항목으로 모인다. 

• 학습에 대한 학생들의 인식(SPL-12 항목/최대 점수 48) 

• 가르침에 대한 학생들의 인식(SPT-11 항목/최대 점수 44) 

• 학생들의 학업 자기 인식(SASP-8 항목/최대 점수 32점) 

• 학생들의 분위기 인식(SPA-12 항목/최대 점수 48) 

• 학생들의 사회적 자아 인식(SSSP-7 항목/최대 점수 28).

그 악기는 총점 200점이다. 9개 항목은 부정적이어서 역점수를 받는다.

The response alternatives are: 0 = strongly disagree, 1 = disagree, 2 = unsure, 3 = agree, and 4 = strongly agree, thus constituting an ordinal scale. This is often referred to, incorrectly or otherwise [45, 46], as a Likert scale. The items are congregated into five subscales: students’ perceptions of learning (SPL-12 items/maximum score 48), students’ perceptions of teaching (SPT-11 items/maximum score 44), students’ academic self-perceptions (SASP-8 items/maximum score 32), students’ perceptions of atmosphere (SPA-12 items/maximum score 48), and students’ social self-perceptions (SSSP-7 items/maximum score 28). The instrument has an overall score of 200. Nine items are negative statements and are therefore scored in reverse.

통계적 절차

Statistical procedure

결과

Results

설문 응답률

Inventory response rate

5학기 총 278명의 학생 중 222명이 재고를 완료하여 전체 응답률이 80%에 달했다. 응답자는 여학생 169명(76%)과 남학생 53명(24%)이었다. 평균 연령은 24.7세(중위 23세; 사분위간 범위(IQR) 21-26세, 범위 19세 및 52세)이었다.

Of a total population of 278 students from five terms, 222 students completed the inventory, thereby yielding an overall response rate of 80%. The respondents included 169 female (76%) and 53 male (24%) students. The mean age was 24.7 (median 23; interquartile range (IQR) 21–26; range 19 and 52) years.

문항 응답률

Item response rate

참가자 39명(18%)은 50개 항목을 모두 완성하지 못했고, 항목별 무응답자는 1개(0.5%)에서 14개(6.3%)로 나타났다. 항목 6(n = 13, 5.9%)과 18(n = 14, 6.3%)은 내부 무응답 비율이 가장 높았으며, 분석 결과 이러한 누락된 반응은 주로 1, 2항에서의 학생 응답이었다. 이 두 가지 항목을 폐기함으로써 무응답은 1(0.3%)에서 6(1.5%) 사이였다. 가입자의 무응답 빈도(모든 항목 통합)는 SPL: 0.9%; SPT: 14.9%; SASP: 5.9%; SPA: 5.4%; SSSP: 0.5%로 나타났다. 데이터에서 바닥 효과가 관찰되지 않았으며, SPL, SPT, SASP 및 SPA의 경우 0.5 ~ 1.4%의 경미한 천장 효과만 확인되었다. SSSP는 10명의 응답자(4.5%)가 최대치를 기록하는 등 가장 큰 상한 효과를 보였다.

Thirty-nine participants (18%) did not complete all fifty items, and the number of non-responses for each item ranged between 1 (0.5%) and 14 (6.3%). Items 6 (n = 13, 5.9%) and 18 (n = 14, 6.3%) displayed the highest proportion of internal non-responses, and the analysis revealed that these omitted responses were mainly from students in terms 1 and 2. By discarding these two items, the non-responses ranged between 1 (0.3%) and 6 (1.5%). The frequency of non-responses in the subscales (all items incorporated) included SPL: 0.9%; SPT: 14.9%; SASP: 5.9%; SPA: 5.4%; and SSSP: 0.5%. No floor effects were observed in the data, and only minor ceiling effects were identified for SPL, SPT, SASP, and SPA, ranging between 0.5 and 1.4%. SSSP displayed the largest ceiling effect, with 10 respondents (4.5%) scoring the maximum.

확장성평가

Scalability assessment

SPL의 항목 쌍 확장성(Hij)은 0.003 ~ 0.384이었다. 25번 항목은 다른 많은 항목과 함께 확장성이 낮았다. 대부분의 항목이 의도한 차원에 기여하였기 때문에 척도는 적당한 확장성(H= 0.413)을 보였다. 표 1에서 표시한 바와 같이, 2개의 역방향과 25 48개의 항목들은 약하지만 서로 관련되어 있었다(Hij = 0.384). 그림 3에 시각적으로 표시된 것처럼 주요 성별 변화는 관찰되지 않았다.

The item pair scalability (Hij) for SPL ranged from 0.003 to 0.384. Item 25 had a low scalability with many of the other items. The scale showed moderate scalability (H= 0.413), as most of the items contributed to the intended dimension. As indicated in Table 1, two reversed and items (25 48) were weak but related to each other (Hij = 0.384). No major gender variations were observed, as visually displayed in Fig. 3.

모노토니시티와 IIO

Monotonicity and IIO

SPL 하위 척도에서 25항목은 유의하지는 않지만 일부(비판 = 55) 단조성에 대한 위반을 보였다. SPT의 경우, 항목 9와 40은 각각 매우 높은 기준 값을 나타냈다. SASP 하위 척도의 항목 10은 88의 임계값을 나타내므로 단일성 위반을 나타낸다. SPA 하위 척도의 경우, 항목 30은 40의 평균치를 나타냈지만, 이는 유의하지 않았으며, 단일성 위반은 통계적으로 입증할 수 없었다. SSSP 치수에서 항목 46은 높은 기준값의 경향을 보였으나 <40>의 임계값을 넘지 않았다.

In the SPL subscale, item 25 showed some (crit = 55), though not significant, violations against monotonicity. For the SPT, items 9 and 40 displayed very high crit values: crit = 126, and crit = 73, respectively. Item 10 in the SASP subscale exhibited a crit value of 88, thus indicating a violation of monotonicity. For the SPA subscale, item 30 exhibited a crit value of 40, however, this was not significant, and a violation of monotonicity could not be statistically demonstrated. In the SSSP dimension, item 46 exhibited a tendency of high crit values but did not surpass the threshold of > 40.

척도 점수 신뢰성

Scale score reliability

표 2에 나타낸 바와 같이, SPL과 SPA 항목별 호 추정치는 양호했다. SPT 치수에 대한 점수 신뢰성 추정치는 공정했지만 권장 값인 0.70을 초과했다(표 2). 그러나 SASP 및 SSSP 항목별 점수 신뢰도는 낮았다.

As portrayed in Table 2, the rho estimates for the SPL and SPA subscales were good. The score reliability estimates for the SPT dimension were fair but surpassed the recommended value of 0.70 (Table 2). However, the score reliabilities for the SASP and SSSP subscales were low.

탐색적 AISP 

Exploratory AISP

표 3에 제시된 바와 같이 SPL 치수 항목에 대한 탐색적 AISP는 두 개의 척도(H= 0.513과 H= 0.384)를 생성했고, 두 번째 척도는 25와 48의 두 개의 역방향 항목으로 구성되었다. SPL 척도에 대한 탐색적 평가는 3개의 항목별 항목별 항목을 생성했다. 4개 역항목(8개, 39개, 50개) 중 3개 항목에서 공통 척도(H= 0.535)가 발생했고, 나머지 항목(9개)은 확장성이 없었다(표 3). SASP에 속하는 항목의 AISP 파티션은 한 척도(H= 0.412)가 생성되었지만, 항목 5, 10, 31은 비확장 가능(표 3)으로 구분되었다. SPA 차원에 속하는 항목은 두 개의 항목으로 나뉘었는데, 하나는 9개 항목(H= 0.379)을 포함하고 다른 하나는 2개 항목(H= 0.336)만을 구성했다. 역항목 17은 비확장가능항목으로 지정되었다(표 3). SSSP 항목은 두 개의 항목(H= 0.417 및 H= 0.36)으로 분할되었고, 어떤 규모에도 46 항목을 할당할 수 없었다.

As presented in Table 3, an exploratory AISP on the items of the SPL dimension generated two scales (H= 0.513 and H= 0.384), with the second comprising two reversed items: 25 and 48. The exploratory evaluation of the SPL scale generated three subscales. Three of the four reversed items (8, 39, and 50) produced one common scale (H= 0.535), while the remaining item (9) was not scalable (Table 3). The AISP partition of the items belonging to SASP generated one scale (H= 0.412), however, items 5, 10, and 31 were distinguished as unscalable (Table 3). The items belonging to the SPA dimension were divided into two subscales, one containing nine items (H= 0.379) and the other comprising only two items (H= 0.336). Reversed item 17 was designated as unscalable (Table 3). The SSSP items were partitioned into two subscales (H= 0.417 and H= 0.336), with an inability to assign item 46 to any scale.

편견 없는 탐색적 AISP

Unprejudiced exploratory AISP

사전 정의된 5개의 항목별 검색 가능 여부를 조사하고 서로 얼마나 가까운지를 결정하기 위해 전체 DREEM 인벤토리를 편견 없는 탐색 목켄 분석에 노출했다. 이러한 편견 없는 AISP는 매우 관대한 탐색적 분석으로 간주될 수 있으며, 따라서 AISP는 항목 인벤토리 풀에서 스케일 솔루션을 집계하는 것을 금지했다. 분석 결과 50개 항목 모두에 대해 H = 0.264가 생성되어 다차원성을 나타냈다. 표 4에 제시된 바와 같이, c = 0.3 하한에서 AISP를 사용하면 약 6차원의 항목 클러스터링이 밝혀졌다. 항목 대다수가 1차원으로 군집되었고 7개(14%) 항목이 확장 가능하지 않았다(표 4). 

The entire DREEM inventory was exposed to an unprejudiced exploratory Mokken analysis to investigate whether the five predefined subscales could be retrieved and to determine how close they were to each other. This unprejudiced AISP could be regarded as very tolerant exploratory analysis, thus leaving the AISP inhibited to aggregate scale solutions from the item inventory pool. The analysis generated H = 0.264 for all fifty items, indicating multidimensionality. As presented in Table 4, using the AISP at a lower bound of c = 0.3 revealed clustering of items around six dimensions. The majority of items were clustered to the first dimension and seven (14%) items were not scalable (Table 4). 

표 5는 표 4의 확장이며, 임계값의 하한을 사용하여 첫 번째 차원으로부터 할당된 항목을 더 자세히 표시한다. 이 관용 탐색 분석은 하위 경계인 c = 0.4를 증가시킬 때도 수행되었는데, 이 경우 6차원이 산출되었으며, 항목 중 32%가 할당되지 않았다. c = 0.5로 하한을 증가시키면 5차원이 생성되며, 항목 중 44%가 비확장이 가능하다. 유사한 편견 없는 탐색적 분석이 38개 항목으로 수행되었는데, 이는 12개의 문제가 있는 항목을 제거한 결과로 나타났다. 부정적인 관계는 발견되지 않았으며, 38항목 척도는 0.354의 H 값을 생성했다. 4차원은 AISP를 사용하여 생성되었으며, 하한은 0.3, 하한은 2개 항목으로 비확장 가능(결과 보고되지 않음)으로 생성되었다.

Table 5 is an extension of Table 4 and displays in greater detail the assigned items from the first dimension using the threshold’s lower bound. This tolerant exploratory analysis was also performed when increasing the lower bound, c = 0.4, which yielded six dimensions, with 32% of the items unallocated. Increasing the lower bound to c = 0.5 generated five dimensions, with 44% of the items being non-scalable. A similar unprejudiced exploratory analysis was performed with 38 items, resulted from the removal of twelve problematic items. No negative relationships were detected, and the 38-item scale generated an H value of 0.354. Four dimensions were generated using the AISP, with a lower bound of 0.3 and two items as non-scalable (results not reported).

문제항목제거

Removal of problematic items

초기 분석은 몇 가지 도전적인 항목들을 나타냈는데, 이 항목들은 이러한 도전적인 항목들이 제외될 경우 척도가 어떻게 동작할지를 탐구할 것을 요구하였다. SPL 척도에서는 25항목과 48항목을 제거하여 H = 0.513의 확장성을 생성하였고, 한 차원(하한 경계; c = 0.3)의 모든 항목을 포함하였다. 하한을 c = 0.4로 상향 조정했을 때, H = 0.556, 항목 47은 비스케일링으로 평가되었다. 

The initial analysis indicated some challenging items, which called for an exploration of how the scales would behave if these challenging items were excluded. In the SPL scale, items 25 and 48 were removed, generating a scalability of H = 0.513, including all items in one dimension (lower bound; c = 0.3). When the lower bound was raised to c = 0.4, generating H = 0.556, item 47 was appraised as unscalable. 

SPT 척도의 경우 4개 항목(8, 9, 39, 50)을 제거하여 H 값이 0.347이었다. AISP(c = 0.3, 나머지 모든 척도에 사용됨)는 두 가지 치수를 산출했다. H = 0.400(항목 6, 18, 29, 32, 37), H = 0.373(항목 2) 및 40). SASP 하위 척도에서 두 가지 항목(5 및 10)을 제거하여 H = 0.366이 생성되었다. 

For the SPT scale, four items were removed (8, 9, 39, and 50), generating an H value of 0.347. The AISP (c = 0.3, which was used for all remaining scales) yielded two dimensions: H = 0.400 (items 6, 18, 29, 32, and 37), and H = 0.373 (items 2 and 40). Two items (5 and 10) were removed from the SASP subscale, generating H = 0.366. 

AISP는 H = 0.412에서 21, 26, 27, 41, 45개 항목을 포함했으며, 31개 항목은 Hi = 0.275에서 스케일링할 수 없다. SPA 하위 척도와 관련하여 17항목과 35항목을 제거하여 H = 0.343의 확장성 계수를 생성하였다. 2차원이 형성되었다. H = 0.404(항목: 11, 12, 23, 30, 33, 34, 43, 49), H = 0.366(항목 36 및 42). H = 0.311이 발생하면서 SSSP 하위 척도에서 두 항목(4 및 46)이 제거되었다.

The AISP included items 21, 26, 27, 41, and 45 at H = 0.412, with item 31 being unscalable at Hi = 0.275. Regarding the SPA subscale, items 17 and 35 were removed, generating a scalability coefficient of H = 0.343. Two dimensions were formed: H = 0.404 (items: 11, 12, 23, 30, 33, 34, 43, and 49), and H = 0.366 (items 36 and 42). Two items (4 and 46) were removed from the SSSP subscale, engendering H = 0.311.

고찰

Discussion

우리는 MSA와 그 기원의 기초가 비 스토코스틱, 결정론적 Guttman 스케일링 방법이며, 그 진보를 이분법 및 다항목에 대한 분석적 방법이라고 기술했다. MSA의 기본 원칙은 데이터가 모델에 적합한지 여부를 테스트하는 데 MHM과 DMM을 사용하는 방법과 개인 순위를 위한 공통 통합 척도에 기여하는 일련의 항목의 능력을 포함하여 다루어졌다. 왓슨과 동료[15]와 동시에, 우리는 이 논문에서 MSA 방법을 비교적 비수학적이고 비기술적인 방법으로 제시하기 위해 노력했다.

We described the underpinning of MSA and its origin as a non-stochastic, deterministic Guttman scaling method, and its advancement as an analytical method for dichotomous and polytomous items. The fundamental precepts of MSA were addressed, including how MHM and DMM can be used to test whether the data fit the models, as well as the capability of a set of items in contributing toward a common aggregated measure for the ranking of individuals. In concurrence with Watson and colleagues [15], we endeavored in this paper to present the MSA method in a relatively non-mathematical and non-technical way.

MSA의 유용성

Usefulness of MSA

많은 학자들은 MSA가 품목의 확장성과 치수 구조에 대한 상세하고 철저한 분석을 제공할 수 있다고 가정했으며, 우리의 연구 결과는 그러한 조사자들과 일치한다[13, 15, 47]. 우리는 의료 교육 및 의료 교육 연구에서의 태도, 능력, 개인적 특성 또는 의견을 측정하기 위해 설문지, 조사 또는 시험을 이용하거나 구성하면 그러한 측정을 개발하거나 개선할 때 MSA가 유용하다고 생각할 것이라고 주장한다. 모든 척도 분석은 회로적이며, MSA도 예외가 아니다. 그러나 포괄적인 그림을 그리려면 MSA의 반복 프로세스에서 측정 모델의 가정을 평가하고 확장성 및 신뢰성과 같은 품질 지수를 제공하는 것이 중요하다는 Sijtsma와 Van der Arc[47]의 의견에 동의한다. MSA를 사용하여 DREEM 계측기를 탐색하는 실용적이고 파렴치한 접근방식은 항목 응답률 분석에서 큰 우려를 나타내지 않았으며, 항목별 매출도 상당한 바닥이나 천장 효과로 구분되지 않았다. Subscale의 경우, SPL은 적당한 확장성을 보인 반면, SPA의 확장성은 약간 낮았다. 

Many scholars have posited that MSA can offer a detailed and exhaustive analysis of the scalability and dimensionality structure of items, and our findings correspond with those investigators [13, 15, 47]. We argue that anyone who uses or constructs questionnaires, surveys, or tests for measuring attitudes, abilities, personal traits, or opinions in medical education and medical education research will find MSA useful when developing or improving such measurements. Any scale analysis is circuitous, and MSA is no exception. However, we agree with Sijtsma and van der Ark [47] that to portray a comprehensive picture, it is important in the iterative process of MSA to endeavor to assess the assumptions of measurement models as well as to provide quality indices such as scalability and reliability. Our advocated pragmatic and parsimonious approach of using MSA to explore the DREEM instrument revealed no major concerns in the analysis of the item response rate, and neither were the subscales demarcated by considerable floor or ceiling effects. With regard to the subscales, SPL showed moderate scalability, while the scalability for SPA was weak to marginally moderate. 

그러나 SPT, SASP, SSSP는 매우 약한 확장성을 보였다. 확장성에서 큰 성별 차이는 발견되지 않았다. 항목별로 배분된 역방향 항목은 확장성 문제를 나타냈다. 사전 모집단은 탐색적 AISP에 의해 지원될 수 없었으며, 따라서 분리되지 않은 SASP를 제외하고 목켄 척도 2개 또는 3개의 분할이 이루어졌다. SASP와 SSSP는 0.70 미만의 호 값을 보였다. 편견 없는 탐색적 AISP 분석의 결과는 5개 항목들이 실제로 매우 가깝고, "나쁜" 항목들이 차원성을 모호하게 하며, 이러한 항목들이 5개 항목들 중 하나 이상에 할당될 수 있다는 것을 보여준다. 

However, SPT, SASP, and SSSP exhibited very weak scalability. No major gender differences in scalability were detected. The reversed items allocated to the subscales presented scalability problems. The a priori subscales could not be supported by an explorative AISP, thus resulting in the partitioning of two or three Mokken scales, with the exception of SASP which was not separated. SASP and SSSP displayed rho values under 0.70. The results from the unprejudiced exploratory AISP analysis indicate that the five subscales are indeed very close, that “bad” items obscure dimensionality, and that these items can be allocated to more than one of the five subscales. 

항목에서 문제가 있는 항목을 제거하면 H 확장성 추정치가 증가하며 SSSP를 제외한 모든 항목에서 임계값을 초과하는 rho가 생성된다. 결론적으로, 우리의 연구결과는 CTT와 PIRT 방법을 사용함으로써 DREEM의 심리측정적 특성을 조사한 다른 학문적 연구의 결과와 일치하는 것으로 보이며, 따라서 DREEM 도구가 경험적 데이터에 의해 적절하게 지지되지 않음을 시사한다[28, 42, 43].

The removal of problematic items from the subscales increased the H scalability estimate and generated a rho that surpassed the threshold for all subscales except SSSP. Conclusively, our findings seem to be congruent with those of other scholarly studies that have investigated the psychometric properties of DREEM by employing the CTT and PIRT methods, thus suggesting that the instrument is not adequately supported by empirical data [28, 42, 43].

단, 본 논문은 비모수 IRT 모델로서 MSA의 사용과 유용성에 초점을 맞추고 있으며, DREEM 도구는 단순히 예제로 사용된다는 점을 강조해야 한다. 그러므로 고프만의 극적 관점[48]의 작업을 이용하여 우리의 경험적 결과를 무대 뒤의 관점에서 보아야 한다; 로버트 목켄[14]에 의해 제안된 분석적 기법은 관심의 현상으로 앞단계를 보아야 한다. 따라서 독자들은 자신의 계기 및 문맥에 대한 NIRT 모델의 유용성에 대해 스스로 판단한다. 

However, it must be highlighted that this paper focuses on the usage and the usefulness of MSA as a non-parametric IRT model, and the DREEM tool is simply used as an example. Thus, using the work of Goffman’s dramaturgical perspectives [48], our empirical results should be viewed from a backstage perspective; the analytical technique proposed by Robert Mokken [14]is the phenomenon of interest and ought to be viewed front stage. Readers will therefore make their own judgments about the usefulness of NIRT models for their own instruments and in their own context. 

MSA의 강도 및 한계

Strengths and limitations of MSA

MSA는 설문지 항목의 확장성과 차원 구조를 철저히 탐구한다. MSA와 같은 NIRT 모델은 설문지의 가장 기본적인 특성을 즉각적으로 드러내는 매우 좋은 첫 번째 단계라고 가정했다[6]. 확장성에 대한 하한선 c를 점진적으로 증가시켜 데이터 구조에 대한 더 강력한 요건을 취함으로써, MSA는 척도를 형성하는 대안적인 방법을 제공할 수 있다[21]. 하한선이 증가하는 클러스터 결과의 패턴을 검토하면 확장성과 차원성의 가장 적절한 결론에 대한 풍부한 정보를 수용할 수 있다.

MSA offers a thorough exploration of the scalability and dimensionality structure of questionnaire items. It has been posited that NIRT models such as MSA are a very good first step in immediately revealing the most basic characteristics of a questionnaire [6]. By gradually increasing the lower bound c for scalability and thus engaging stronger requirements on the structure of data, MSA can offer alternative ways of forming scales [21]. Reviewing the pattern of cluster outcomes with increasing lower bounds accommodates rich information on the most apt conclusion of scalability and dimensionality.

MSA는 CTT보다 몇 가지 중요한 이점을 가지고 있다. 

MSA has some important advantages over CTT: 

1) CTT에서 도출한 측정 모델은 설문지의 모든 항목이 동일하게 인기가 있다는popular 비현실적인 가정을 기본적으로 가지고 있다. 이 가정이 위반되면 하나의 잠재 변수를 측정하기 위해 항목이 충분히 균질하지 않은 것으로 보이는 아티팩트가 발생할 수 있다. 따라서 품목에 대한 MSA 모델 매개변수 또한 품목의 인기가 다양하고 분석은 모델 적합성에 대한 철저한 강조에 있음을 명확히 인식한다.

1) measurement models derived from CTT have an underlying nonrealistic assumption that all items in a questionnaire are equally popular. When this assumption is violated, an artifact can arise whereby items appear not to be abundantly homogeneous to measure a single latent variable. Thus, the MSA model parameters for items also unambiguously recognize that the items vary in popularity and that the analysis lies in the thorough emphasis on model fit. 

2) IRF 슬로프는 음이 아니어야 한다[49]. 따라서 모든 Hij 계수(결과적으로 모든 쌍의 관계)는 긍정적으로 연관되어야 하며, 항목은 다른 항목과 적절하게 균일해야 한다. Van Schuur[9]가 지적했듯이, 이러한 제약조건은 기존의 CTT 신뢰성 분석으로 관측된 기기보다 더 설득력 있는 신뢰성과 동질성 기준에 부합하는 기기를 수집할 수 있다. 

2) The IRF slopes need to be non-negative [49]. Thus, all Hij coefficients (consequently, all pairwise relationships) should be positively associated, and items must be appropriately homogeneous with other items. As van Schuur [9] points out, these constraints can harvest instruments that coincide and conform to more persuasive standards of reliability and homogeneity than instruments introspected with conventional CTT reliability analysis. 

3) MSA의 "상향" 클러스터링 기법은, 특히 프로젝트의 탐색 단계와 계측기 개발 중에 동일 항목의 최대 서브셋을 식별하는 데 매우 실용적이며, 새로운 추정 잠재 변수를 식별하는 데 도움이 될 수 있다[9]. 

3) MSA’s “bottom up” clustering technique, which identifies a maximal subset of homogeneous items, is highly practical, especially in explorative phases of a project and during instrument development, and can help identify new presumptive latent variables [9]. 

4) MSA는 소규모 설문지 연구 및 소수의 항목[6, 50]에 효과적으로 사용할 수 있는 IRT 모델이다. Molenaar [50]은 항목 수가 상대적으로 적을 때 MSA에서 도출한 연구 결과와 보다 엄격한 Rasch 모델링이 기본적으로 동일한 결과를 생성하는 경우가 많다는 것을 관찰했다. 

4) MSA is an IRT model that can efficaciously be used for small questionnaire studies and instruments with a small numbers of items [6, 50]. Molenaar [50] has observed that when the number of items is comparatively small, the findings derived from MSA and the more stringent Rasch modeling often generate basically the same results. 

5) MSA와 비모수 IRT 모델은 IRF 규격과 관련하여 Guttman의 원래 누적 모델과는 다른 추가 NIRT 모델의 발전을 위한 토대를 마련하였다[9, 51].

5) MSA and its non-parametric IRT models have laid the groundwork for advances of further NIRT models that are different from Guttman’s original cumulative model regarding the specification of their IRF [9, 51].

우리는 또한 MSA가 Rasch 모델과 같은 파라메트릭 IRT 모델에도 약간의 지렛대를 가지고 있다는 것을 더욱 강조하고 싶다. 

• 첫째, NIRT 모델은 데이터에 대한 중요한 측정 특성을 대부분의 다른 파라미터 IRT 모델보다 유지하면서 덜 제한적인 가정을 사용한다[51]. 

• 둘째, MSA는 매개변수 IRT 모델에서 쉽게 평가되지 않는 탐색적 차원 분석을 위한 귀중한 도구를 제공한다. 

We also want to further accentuate that MSA also has some leverage over parametric IRT models such as the Rasch model. 

• First, NIRT models employ less restrictive assumptions while still maintaining important measurement properties about the data than most other, often parametric, IRT models [51]. 

• Second, MSA offers valuable tools for exploratory dimensionality analysis that are not easily evaluated in parametric IRT models. 

MSA에 대한 몇 가지 일반적인 단점도 있다. 그것은 다른 IRT 방법보다 훨씬 덜 사용된다. 한 가지 이유는 IRF가 파라메트릭적으로 구분되지 않기 때문에 IRT에서 나오는 개인 매개변수는 MSA에서 추정할 수 없기 때문이다[8]. 또한, MSA는 확장성 조사에 적합하지만, 차원성 평가 방법으로서 제한된 가치를 지닌다고 보고되었다[52]. 로스캄 외 [53] 또한 MSA에서 사용되는 스케일링 절차가 모호한 결과를 산출하는지 의문을 제기하였다. 또한 MSA 탐색 항목 선택 절차를 사용하여 항목을 척도로 분할하는 것의 한 가지 단점은 절차가 비 오버래핑을 요구한다는 것이다. 즉, 항목이 한 척도로만 나타난다는 것을 의미한다[54].

There are also some general drawbacks with MSA. It is much less commonly used than other IRT methods. One reason is that because the IRF is not demarcated parametrically, the person parameters that come out of the IRT cannot be estimated in MSA [8]. It has also been reported that MSA is suitable for investigating scalability but that it is of limited value as a dimensionality assessment method [52]. Roskam et al. [53] have also questioned whether the scaling procedures used in MSA yields ambiguous results. It has also been noted that one disadvantage of using the MSA exploratory item selection procedures to partition items into scales is that the procedure requires scales to be non-overlapping—meaning that items only appear in one scale [54].

실증적 경험

Empirical experiences

우리의 경험적 연구도 해석을 위해 고려해야 할 몇 가지 한계를 제시한다. 두 가지 주요 한계는 상대적으로 적은 수의 학생들과 이 연구가 하나의 맥락에서 수행되었다는 사실에 있다. 스트라트 외 [55]에서는 MSA가 표본 크기가 다소 작은 단차원 척도를 검출할 수 있으며, 항목 품질이 높으면 응답자 250명을, 품목 품질이 낮을 경우 표본 크기가 상당히 큰 것을 권장할 수 있음을 강조하였다. 또한, 적용되는 비확률 표본 추출법이 샘플링 편향으로 이어져 결과를 훼손했을 수 있다. 이러한 잠재적인 편견은 또한 그 데이터가 수업 중과 온라인 모두에서 나중에 수집된 결과일 수 있다. 

Our empirical study also presents some limitations that need to be considered for interpretation. Two major limitations lie in the relatively small number of students and the fact that the study was undertaken in a single context. Straat et al. [55] have highlighted that MSA can detect unidimensional scales with rather small sample sizes and recommend > 250 respondents, if item quality is high, and considerably larger samples if item quality is low. Further, the non-probability sampling method applied may have led to sampling bias, which may have compromised the results. This potential bias may also have been a result of that data was collected both in class and online at a later point in time. 

좁게 초점을 맞춘 교육 조치와 본 연구에서 실생활 데이터의 발견의 맥락적 영향을 고려하면, 스웨덴의 전통적인 의과대학의 물리치료 학생 이상으로 일반화하는 것은 적절한 표본 크기와 징계 맥락의 특이성에 의해 제한된다. 그러나 논문에서 우리의 의도는 비모수 항목 대응 이론의 강력한 방법인 MSA의 기본을 제시하고, 의료 교육 연구의 학자들이 설문지 데이터를 탐구하기 위한 실행 가능한 접근법과 실행 가능한 도구를 제공하는 것이었다.

Considering the narrowly focused educational measure and the contextual influence of the findings of the real-life data in this study, generalizing beyond physiotherapy students in a traditional Swedish medical university is restricted by the moderate sample size and the singularity of the disciplinary context. However, our intention in the paper was to present the basics of MSA, a powerful method of non-parametric item response theory, and to provide a viable approach and a feasible tool for scholars in medical education research to explore questionnaire data.

결과적으로, 경험적 연구는 실용적 접근법을 취했고 첫 번째 시련 단계로서 확장성과 차원성을 이용하여 MSA를 채택했다. 그러나 MHM 및 DMM 모델의 기본 가정 위반에 대해서는 충분히 조사하지 않았다. 따라서, 단조로운 것과 IIO에 대한 우리의 분석은 완전히 포괄적인 것은 아니었다. Meijer와 Egberink[56]에서 설명한 바와 같이, HT에 의한 IIO 분석과 플롯된 항목 쌍에 대한 육안 검사를 바탕으로, 일부 "아웃" 항목(예: 항목 9와 36)이 IIO의 강도에 대해 오도된 인상을 줄 수 있다는 점을 고려할 가치가 있다.

Consequently, the empirical study took a pragmatic approach and employed MSA by means of scalability and dimensionality as a first parsimonious step. However, it did not fully investigate violations of the underlying assumptions of the MHM and DMM models. Thus, our analysis of monotonicity and IIO was not entirely comprehensive. As described by Meijer and Egberink [56], it is worth considering that based on our IIO analysis by means of HT and the visual inspection of plotted item pairs, some “outlying” items—for example, items 9 and 36—may be giving a misleading impression of the strength of IIO. 

이러한 항목은 제거가 측정하고자 하는 기초구조의 표현에 해가 될 수 있으므로 현재 분석에서 유지되었다. NIRT 모델의 기본 가정의 일부 특징은 Rasch 모델과 같은 파라메트릭 모델에서 더 쉽게 조사할 수 있다고 주장할 수 있다. 그러나 많은 설문지와 조사(예: DREEM)의 경우, 기초적인 잠재 특성을 포착하기 위해 특정 모델에 항목을 맞추는 것은 건설자의 의도가 아닌 경우가 많다. 

These items have been retained in the present analysis as their removal might have been detrimental to the representation of the underlying constructs that they sought to measure. It can be argued that some features of the underlying assumptions of the NIRT model might be more easily investigated in a parametric model such as the Rasch model. However, in the case of many questionnaires and surveys (e.g., the DREEM), it is often not the intention of constructors to fit items to a particular model, in order to capture an underlying latent trait. 

마지막으로, 우리의 실용적인 접근방식에서, 우리는 추정된 확장성 계수의 불확실성을 제시하는 것을 자제했다. 그러나 표준 오차는 Hi의 경우 0.030–0.060, H의 경우 0.025–0.030 범위에 있었다. Hi의 상한선은 반전된 항목에 대해 두드러지게 나타났다.

Lastly, in our pragmatic approach, we refrained from presenting the uncertainty of the estimated scalability coefficients. However, the standard errors were in the range of 0.030–0.060 for Hi and 0.025–0.030 for H. The upper range for Hi was conspicuously evident regarding the reversed items.

미래 관점

Future perspectives

MSA는 비모수적 접근법[6] 중 하나를 사용해 응답 수준이 명령된 항목을 사용하여 설문지 데이터를 평가하기 위한 적절한 예비 단계라고 가정했다. 단, (Ulf Brodin)의 현재 연구 저자는 소규모 설문지 데이터를 분석하기 위한 3단계 IRT 전략을 가지고 있다[6]. 

• 첫째, 비모수적 접근방식으로 평가하기 위해, 항목 집합은 이 연구에서 수행된 것과 같이 공통의 통합 측정에 협력할 수 있어야 한다. 

• 또한, 재료의 2차 단계는 파라메트릭 모델(예: Rasch 모델링)에 데이터를 사용하는 것이다. 

• 마지막으로, 세 번째 단계는 필요한 경우 보다 확장된 모델을 사용하는 것이다. 

It has been postulated that MSA is a suitable preliminary step toward evaluating questionnaire data using items with an ordered response level by means of a one of the non-parametric approach [6]. However, present study authors of the (Ulf Brodin) posits a three-step IRT strategy to analyze small-scale questionnaire data [6]. 

• First, to evaluate by means of a be non-parametric approach, the set of items must capable of cooperating with a common aggregated measure, as performed in this study. 

• Further, the secondary step of our material would be to employ the data to a parametric model (e.g., Rasch modelling). 

• Lastly, a third step would be to use a more extended model if required. 

따라서 논리적 2차 단계와 미래의 관점은 파라메트릭 IRT 모델에 데이터를 채택하거나 IRT 정신계 프레임워크의 강도를 보다 확립된 CTT 프레임워크와 결합하는 것이다. 우리는 의학 교육 및 응용 연구의 학자들이 비모수 IRT 모델을 데이터에 적용하여 그 결과를 더 잘 이해할 수 있도록 고려할 것을 권고한다.

Thus, a logical secondary step and future perspective would be to employ the data to a parametric IRT model and/or to combine the strength of the IRT psychometric framework with the more established CTT framework. We recommend that scholars in medical education and applied research consider applying non-parametric IRT models to data so as to further understand their ramifications.

Conclusion

BMC Med Educ. 2018 Oct 11;18(1):235. doi: 10.1186/s12909-018-1334-8.

Investigating psychometric properties and dimensional structure of an educational environmentmeasure (DREEM) using Mokken scale analysis - a pragmatic approach.

의과대학 교수의 스트레스/소진을 교육과정 변화 의지와 연결짓기(J Eval Clin Pract, 2016)

Linking medical faculty stress/burnout to willingness to implement medical school curriculum change: a preliminary investigation

Zeinab Arvandi MSc,1 Amirhossein Emami MD,2 Nazila Zarghi PhD Candidate in Medical Education,3,*

Seyed Mohammad Alavinia PhD, MD,4† Mandana Shirazi PhD5,6 and Sagar V. Parikh MD7‡

도입

Introduction

탈진 증후군은 내부 및 심리학적 요인과 관련이 있다[1].

the burnout syndrome is associated with internal and inter-psychological factors [1].

현재, 다양한 건강 전문가 그룹들이 다양한 방법으로 연구되고 있다. 

• Maslach 테스트와 같은 가능한 방법들은 단지 전문가들 사이에서 높은 수준의 스트레스과 직업적인 번아웃에 의해 야기된 개인의 기능의 변화를 연구할 수 있다. 

• 하지만 Cloninger의 테스트는 심리적인 성격 이론에 기초한다. 클로닝거의 시험 이론적 토대를 바탕으로 한 '성격 구조는 기질과 인성의 두 가지 기본 영역으로 구성되어 있다'[2].

Presently, a variety of health professional groups have been studied with various measures. The available methods such as the Maslach test could just study changes in the individuals’ functioning caused by high level of distress and professional burnout among specialists; however, Cloninger’s test is based on psychological theory of personality. Based on Cloninger’s test-theoretical foundation, ‘the personality structure is composed of two basic domains of temperament and character’ [2].

몇몇 연구는 높은 수준의 스트레스로 인해 직업 만족도가 떨어지고 정신 건강의 위험이 높다는 것을 보여주었다[3]. Stoyanov 외 연구진(2013년)은 또한 번아웃 증후군의 임상적 징후가 우울증과 불안장애에 대한 척도와 일치한다는 것을 확인하였다. 또한 초기 단계 탈진 증후군의 존재를 나타낼 수 있다고 언급했다[4].

Several studies have shown less job satisfaction and high risk of mental health because of higher level of stress [3]. Stoyanov et al. (2013) also confirmed that clinical manifestations of burnout syndrome are consistent with measures for depression and anxiety disorder; they also mentioned that it could indicate to presence of initial stages burnout syndrome, namely flame out [4].

그 과정의 첫 두 단계 - 플레임아웃(즉, 헛된 노력의 스트레스)과 번아웃(즉, 지치고 사기가 저하됨)이다. 소진 과정의 이 초기 기간은 그러한 취약한 의료 전문가 그룹에서 작업자의 심리적 잠재력을 보존하고 회복하기 위해 개입 수단을 식별하는 것이 바람직하다. 

• 초기 단계에서는 전문적 "번아웃"의 현상학이 정신-감정적 스트레스의 증상과 구별하는 것이 어렵지 않은 반면, 

• 후기에는 ('러스트아웃'이라는 용어로 설명됨) 그 위해성이 향후 작업에도 도움이 될 수 있다고 생각되기 때문에 심리적인 개입으로 인한 이득이 적을 수 있다[6].

the first two stages of the process – flame-out (i.e. stress of futile effort) and burnout (i.e. exhaustion and demoralization). This early period in the burning process is propitious to identify means of intervention for the sake of preservation and recovery of the psychological potential of the workers in such vulnerable groups of medical specialists. At an earlier stage, the phenomenology of professional “burning” is not difficult to differentiate from the symptoms of psycho emotional stress, whereas at a later stage (described by the term ‘rust out’), there may be less benefit from psychological interventions as the harm is thought to be might also be helpful in future work’ [6].

자료와 방법

Materials and Methods

참가자와 절차

Participants and procedures

측정

Measurements

변화 단계 측정

Measuring stages of change

변화 단계(SOC) 이론은 개인의 행동 변화와 촉진에 대해 고찰한다. Prochaska 관점에 기초해, SOC는 

• 사전 고민, 

• 사색, 

• 행동 준비, 

• 최근의 변화 

• 유지

...의 다섯 단계로 구성된다[7]. 

The stages of change (SOC) theory looks at the change and promotion of individual behaviour. Based on the Prochaska point of view, the SOC consists of five stages: pre-contemplation, contemplation, preparation for action, recent change and maintenance [7]. 

이 모델은 개인은 변화에 대해 서로 다른 준비도 단계에 있으며, 효과적인 개입은 특정 단계에 적응하고 상위 단계로 이동을 지원하여 행동 변화를 촉진해야 한다고 가정한다. 모델은 중독성 행동의 치료와 건강 증진 등과 같은 건강 행동 맥락에서 가장 일반적으로 적용되었다[8–10].

The model postulates that individuals are at different stages of readiness to change and that effective interventions should adjust to the stages and assist movements to higher stages, thus promoting behavioural change. The model has been applied most commonly in health behaviour contexts, such as treatment of addictive behaviour, and health promotion [8–10].

수정된 Prochaska 모델은 연구 이전 훈련 프로그램에 관련된 건강 전문가에 대한 참가자의 변화 준비 단계를 평가하기 위한 평가 도구로 사용되어 왔다. 원래의 5단계는 '수정된 프로카스카 설문지'에서 태도, 의도, 행동의 3단계로 축소되었다. 

• '태도' 단계에서는 문제에 대한 인식은 있지만 행동에 대한 약속은 없다. 

• '의도' 단계에서 개인은 행동 변화에 대비하는 반면, 

• '행동' 단계에서는 이미 이러한 변화가 일어났다.

A modified Prochaska model has been used as an evaluation tool to assess the participants’ stages of readiness to change in health professionals involved in a research transfer training programme. The original five stages were reduced to three stages-attitude, intention and action-in the ‘Modified Prochaska Questionnaire’. 

• In the ‘attitude’ stage, there is an awareness of the problem but no commitment to take action. 

• In the ‘intention’ stage, the individual is prepared for behavioural change, while 

• in the ‘action’ stage; this change has already taken place.

TUMS 변화 단계(TUMS-SOC)

TUMS Stage of Change questionnaire (TUMS-SOC)

이 14개 항목의 설문지에는 연구, 교육 및 개인 개발 작업의 세 가지 영역이 있다. 모든 항목은 1부터 4까지 점수를 매겼다. 점수 합계는 태도 단계(24점 이하), 의도 단계(25점~36점), 행동 단계(37점 이상) 등 개인의 변화 단계를 나타낸다.

In this 14-item questionnaire, there are three domains: research, educational and personal development tasks. All items were scored from 1 to 4. The sum of scores indicated individuals’ stage of change: attitude stage (score below24), intention stage (score 25–36) and action stage (score above 37).

스트레스와 소진 측정

Measuring stress and burnout

Maslach 등은 탈진(burnout)을 중요하고 의미 있고 도전적인 작업이 불쾌하고, 성취되지 못하고, 무의미해지는 지점이라고 묘사했다. 실제로 이때 에너지는 피로, 관여는 냉소, 효능은 비효과성으로 대체된다[13,14]. 특정 전문분야의 의료진들 사이에 번아웃이 만연해 있다. 학업지위가 높을수록 위험은 더 커진다[14]. 번아웃은 의사의 삶의 질에 해로운 영향을 미치며 자살 관념의 위험 증가와 관련이 있다[15].

Maslach et al. described burnout as the point at which important, meaningful and challenging work becomes unpleasant, unfulfilling and meaningless. Indeed, at this point, energy turns into exhaustion, involvement leads to cynicism, and efficacy is replaced by ineffectiveness [13,14]. Burnout is prevalent among clinical staff with certain specialties. The higher the academic rank, the further the risk [14]. Burnout has a detrimental effect on the doctor’s quality of life and is associated with an increased risk of suicidal ideation [15].

일반 건강 측정

Measuring general health

또 다른 잘 알려진 구제 조치인 소화전 대책 외에도 일반 건강 설문지(GHQ; Goldberg, 1992년)가 적용되었다. 페르시아어 버전의 GHQ는 최근의 증상이나 행동에 대한 12개의 자조 항목을 사용한다. 각 항목은 4점 척도로 평가된다(평소보다 낮음, 평년보다 낮음, 평소보다 훨씬 많음, 또는 예년보다 훨씬 높음). GHQ 총점은 선택된 채점 방법을 기준으로 12점에서 36점 사이로 추정되었다.

Besides the burnout measure, an additional, well-known distress measure, the General Health Questionnaire (GHQ; Goldberg, 1992) has been applied. The Persian version of GHQ uses 12 self-report items about recent symptoms or behaviours. Each item is rated on a four-point scale (less than usual, no more than usual, rather more than usual or much more than usual); GHQtotal score was estimated between 12 and 36 based on the selected scoring methods.

교수의 번아웃과 교육과정 변화 실행능력 연결

Linking faculty burnout and ability to implement curricular change

통계 분석

Statistical analysis

결과

Results

초기 연구결과

Preliminary findings of linkage between change stage and burnout

참가자의 성별은 변화의 단계(P = 0.04)와 연관되어 있었다: 여성은 대부분 의도 단계에 있었고, 남성은 행동 단계에 있었다. 이와는 대조적으로, 변화와 연령의 단계(P = 0.0) 또는 임상 교수로서의 경력(P = 0.09) 사이에는 연관성이 없었다. 또한 참가자의 연령 초과 점수(P = 0.3) 간에 통계적으로 유의한 연관성은 발견되지 않았다.

Participants’ gender was associated with the stage of change (P = 0.04): women were mostly in the intention stage, while men were in the action stage. In contrast, there was no association between stage of change and age (P = 0.0) or years of experience as a clinical faculty member (P = 0.09). In addition, no statistically significant association was found between participants’ age burnout scores (P = 0.3).

회귀 분석은 화상이 변화의 단계와 연관되어 있다는 것을 보여주었다.

Regression analysis showed that burnout was associated with stage of change.

고찰

Discussion

우리의 연구는 의과대학의 임상 교수진의 소진과 새로운 학문적 활동의 시작에 대한 수용성 사이의 관계를 조사하고자 했다.

Our study sought to examine the relationship between the burnout of clinical faculty in a medical school and their receptivity to starting new academic activities

우리는 임상 교수진 구성원이 [변화할 준비가 되어 있는 것]과 [직업상 소진의 하위척도]에서 중요한 관계를 발견했다. 즉, 직업상 탈진이 적은 참가자는 행동 단계에 있을 가능성이 높았고, 탈진이 심한 참가자는 태도나 의도 단계에 있을 가능성이 높았는데, 이는 변화를 실행할 준비가 되어 있지 않은 것으로 이해할 수 있었다.

We found a significant relationship between clinical faculty member’s readiness to change and the subscales of occupational burnout. In other words, participants with low occupational burnout were more likely to be in the action stage, while those with high burnout were in the attitude or intention stage, which could be understood as not being ready to implement change.

우리의 연구 결과에 따라, Evers 등에서는 교사들의 높은 자기효능 신념이 직업상의 소진을 줄이고 개인들로 하여금 새로운 교육 시스템을 도입할 준비를 더 잘 하게 할 수 있다고 보고했다[24].

In line with our findings, Evers et al. reported that high self-efficacy beliefs of teachers may reduce the occupational burnout and make individuals more prepared for implanting a new educational system [24].

직무 만족도가 행동 단계에 있는 임상의학자들에게 주요한 동기부여로 작용하기 쉽다. 따라서 기능들 사이의 변화 준비와 소진 사이의 상관관계는 매우 중요한 문제로서 필요성 평가의 일부로서 고려되어야 한다. 즉, 의과대학에서 성공적인 커리큘럼 개정을 시행하기 위해서 말이다.

It is likely that job satisfaction acts as a major motivation for clinical faculty who are in the action stage. Hence the correlation between readiness to change and burnout among faculties is a crucial issue and should be considered as part of a needs assessment, that is, in order to implement a successful curriculum revision at medical universities

본 연구에서는, GHQ에 근거한 [침체된 무드]와 [변화에 대한 준비도] 사이에는 아무런 상관관계가 없었으며, [변화에 대한 준비도]를 저해하는 주요 요인이 직업적 소진보다는 우울증일 수 있다는 초기 우려를 배제했다.

In our study, there was no correlation between depressed mood based on the GHQ and readiness to change in study population, abolishing the initial concern that the main factor hindering readiness to change may be depression rather than job burnout.

보건의료 종사자들이 흔히 '번아웃' 증후군에 걸릴 위험이 있지만, 현대의 번아웃 대책은 번아웃이 완전히 된 다음에서야 그것을 인식할 수 있다[28]. 일부 학자들은 TCI와 같은 성격과 기질에 대해 서로 다른 시험을 적용하였다.

Although health care personnel are frequently at risk for the ‘burnout’ syndrome, modern measures of burnout could recognize burnout just only when it is fully developed [28]. Some scholars have applied different tests for personality and temperament such as TCI (The Temperament and Character Inventory)

한 연구는 기질과 성격 특성 및 소진 사이의 관계를 보여주었다[31]. 또 다른 연구에서는 기질적 특성은 (주로 정서적 피로, 비개인화 및 개인의 성취 감소에 의해 대표되는) 번아웃 퍼포먼스와 크게 관련이 있다는 것을 보여주었다[6].

One study showed relationship between the temperament and character traits and burnout [31]. Another study showed that temperamental traits have been largely correlated with burnout performance, mostly represented by emotional exhaustion, de-personalization and reduced personal accomplishment [6].

전반적으로, 우리의 연구 결과와 기존 문헌은 임상 교수진의 [변화 단계와 소진 단계 사이의 관계]를 나타낸다. 이는 의료 커리큘럼 수정 프로세스에서 니즈 평가 접근방식의 핵심 부분으로서 번아웃 탐색의 유용성을 시사한다 [12,28].

Overall, our findings and the existing literature indicate a relationship between stages of change and burnout in clinical faculty. This suggests the usefulness of exploring burnout as a key part of a needs assessment approach in medical curriculum modification process [12,28].

이 의학 커리큘럼 개혁을 위한 예비 연구의 의미는 무엇인가? 번아웃이 낮은 의사들은 더 내적인 동기부여가 될 가능성이 높으며 직업 만족도도 높아져 변화할 준비가 되기 쉽다는 것, 즉 행동 단계에 있다. 행동 단계에서, 그들은 커리큘럼 개혁에 의과대학의 이니셔티브에 참여할 가능성이 더 높다. 

What are the implications of this preliminary research for medical curriculum reform? Doctors with lower burnout are more likely to be more internally motivated and also have more job satisfaction, which makes it more likely to be ready to change, that is, they are in the action stage. In the action stage, they are more likely to engage medical school initiatives in curriculum reform. 

추가적인 관찰은 외과의사들이 내과의사들과 비교했을 때 변화할 준비가 더 많았다는 것이다. 따라서, 한 가지 시사점은 의대 교과과정의 변경이 내과의사보다 외과의사들로부터 더 성공적일 수 있다는 것이다 – 분명히 전문 분야들 사이의 뜨거운 논쟁을 위한 주제일 것이다!

An additional observation is that surgeons had more readiness to change in comparison with the internists. Thereby, one implication is that medical school curriculum change could be more successful starting with surgeons than with internists – surely a topic for hot debate between specialties!

한계

Limitations

결론

Conclusion

그러므로 의과대학에서 성공적인 학제개편을 하기 위해서는 임상 교수진들 사이에서 직업상의 소진을 평가하고 관리하는 것이 유익할 것이다. 게다가, 소진과 의사 전공 사이에는 연관성이 있는 것으로 보인다.

To have successful academic reform in medical schools, it therefore would be beneficial to assess and manage occupational burnout among clinical faculty members. In addition, there appears to be a link between burnout and doctor specialty.

J Eval Clin Pract. 2016 Feb;22(1):86-92. doi: 10.1111/jep.12439. Epub 2015 Nov 13.

Linking medical faculty stress/burnout to willingness to implement medical school curriculum change: a preliminary investigation.

특권과 편향 인식하기: 보건의료제공자의 개인적 인식 확장을 위한 상호작용적 연습(Acad Med, 2017)

Recognizing Privilege and Bias: An Interactive Exercise to Expand Health Care Providers’ Personal Awareness

Amanda L. Holm, MPH, Marla Rowe Gorosh, MD, Megan Brady, MPH, MSW, and Denise White-Perkins, MD, PhD

문제

Problem

특권의 편재성을 고려할 때, 우리는 특권이 의료에서의 상호작용과 결과에도 영향을 준다고 믿는다. 예를 들어, 명백한 인종 차별은 감소했지만, 사회적 특권의 혜택을 받는 집단은 여전히 암묵적인 편견을 보이며, 의료 불균형을 부추기고 있다.2

Given the ubiquity of privilege, we believe, also influence health care interactions and outcomes. For example, though overt racism has declined, groups that benefit from social privilege still exhibit implicit biases, feeding into health care disparities.2

공감을 촉진하는 개입은 [무의식적인 인종적 태도와 그들의 해로운 영향에 대한 의료제공자의 인식]을 높이는데 초점을 둔다.6 자신의 문화적 경험의 보편성에 대한 참가자들의 확신에 균열을 일으켜서 타인의 다양하고 타당한 경험에 눈을 뜨게 할 수 있다.7

Interventions that foster empathy increase providers’ awareness of unconscious racial attitudes and their detrimental effects.6 Challenging participants’ certainty about the universality of their cultural experiences can open their eyes to the different and valid experiences of others.7

헨리 포드 건강 시스템(Henry Ford Health System, HFHS)은 미시간 주 디트로이트에 본사를 둔 수직 통합 의료 기관이다.

Henry Ford Health System (HFHS) is a vertically integrated health care organization headquartered in Detroit, Michigan.

접근

Approach

HFHS의 다문화 건강 연구소와 함께 일하는 직원들은 보건 시스템 전반에 걸쳐 인식-향상 활동을 수행했다. 참가자들의 질문, 논평, 평가를 분석한 결과, 특권 및 무의식적 편향이 환자 치료에 미치는 영향에 대한 교육의 필요성이 드러났다.

Staff members working with HFHS’s Institute on Multicultural Health conducted awareness-raising activities throughout the health system. Participants’ questions, comments, and evaluations indicated a need for training on the impact of privilege and unconscious bias on patient care.

따라서 우리는 우리의 필요에 맞춘 독창적인 도구인 양방향 권한 및 책임 커리큘럼 연습(PRCE)을 개발했다.

PRCE의 목적은 참가자들이 일상생활과 작업 환경에서 특권에 대한 인식을 높이고 특권이 자신과 타인의 살아있는 경험에 미치는 영향에 대한 이해를 향상시키는 것이었다.

The PRCE’s aim was to raise participants’ awareness of privilege in their everyday lives and work environments and to improve their understanding of the impact privilege has on their own and others’ lived experiences.

따라서 우리는 PCE를 Peggy McIntosh의 "보이지 않는 배낭" 작업에 기초했는데, 이 작품은 미국 문화 내에서 백인이라는 사회적 신분을 가진 사람들에게 부여되는, [흔히 잘 인식하지 못하지만, 노력으로 얻은 것도 아닌unearned 특권]을 해명하는 데 도움을 주었다.1 PRCE는 참가자들에게 자신에게 적용되는 특권의 진술들을 스스로 선택하라고 요구했다. 우리는 이것들 중 일부를 백인 특권에 초점을 맞춘 McIntosh의 리스트에서 수정했고, 다른 것들은 사회적 정체성을 포함하도록 만들었다. 22개의 진술은 각각 하나 이상의 사회적 범주와 지배적인 사회 규범을 반영한 경험을 참조했다(표 1).

We therefore based the PRCE on Peggy McIntosh’s “invisible knapsack” work which has helped elucidate the unearned, frequently unrecognized privileges that accrue within American culture to people with white social identities.1 The PRCE asked participants to self-select statements of privilege that apply to them. We adapted some of these from McIntosh’s list focused on white privilege,1 and we created others to encompass additional social identities. Each of the 22 statements referenced one or more social categories and experiences reflecting dominant societal norms (Table 1).

우리는 전형적으로 약 25명의 참가자들과 함께 PRCE를 수행했지만, 때로는 훨씬 더 큰 그룹들과 함께 PCE를 수행하기도 했다. 우리는 22개의 스테이션을 교실위에 배치했고, 각각의 스테이션에는 각각의 진술문이 카드에 인쇄되어 있었고, 참가자 숫자 만큼의 페니가 들어 있는 그릇이 들어 있었다. 참가자들은 각 스테이션에 작은 '배낭'을 들고 가서 진술문을 읽고, 자신들에게 해당한다고 느끼는 진술 하나하나에 대해 1페니를 챙겼다. 그룹이 커서 이동이 어려운 경우, 참가자들은 22개의 성명서와 함께 유인물을 받았고, 그들 자신의 경험을 설명했다고 느끼는 것에 동그라미를 쳤다.

We typically conducted the PRCE with about 25 participants, but sometimes with much larger groups. We placed 22 stations around a classroom, each with one statement printed on a card and a bowl containing the same number of pennies as participants. Participants took a small “knapsack” to each station, read the statements, and took a penny for each statement that they felt was true for them. In larger groups, for which moving around would have been difficult, participants received handouts with the 22 statements and circled those that they felt described their own experiences.

그런 다음 참가자들은 얼마나 많은 동전을 모았는지(예: 0–5, 6–12, 13–18, 19–22페니)를 기준으로 그룹을 이루어 서 있었다. 그룹은 참가자 수에 따라 유동적이었다.

The participants then stood in groups based on how many coins they had gathered (e.g., 0–5, 6–12, 13–18, and 19–22 pennies). Groupings were flexible depending on the number of participants.

그런 다음 퍼실리테이터는 참가자들에게 "0이나 1개의 문이 동그라미를 친 경우, 앉으십시오."와 같이 동그라미를 친 문장이 몇 개인지에 따라 앉도록 요청했다. 그런 다음 진행자는 참가자가 앉도록 잠시 멈추고 "5개 이하의 문장이 동그라미 쳐져 있으면 앉으십시오."라고 묻고 10, 14, 18, 20개 문항까지 계속하여 22개 문장이 동그라미 쳐진 상태로 끝났다.

The facilitator then asked participants to sit down according to how many statements they circled, requesting, for example, “If you had zero or one statement circled, please sit down.” The facilitator would then pause for participants to sit before asking, “If you had five or fewer statements circled, please sit down,” and continuing through 10, 14, 18, and 20 or fewer statements, finally ending with all 22 statements circled.

소그룹(약 5명의 참가자)으로 진행된 디브리핑은, 참가자들 간의 차이를 강조하기 위한 간단하고 편안한 질문으로 시작되었다. 우리는 개개인이 자신의 행동과 특권을 더 잘 이해할 수 있도록 돕기 위해 소그룹 설명 질문(표 2)을 설계했다. 우리는 소규모 그룹 논의가 더 안전한 환경에서 개인적인 경험을 공유할 수 있게 해주었다고 본다.

Debriefing in small groups (of about five participants) began with simple, comfortable questions that graduated toward highlighting differences among participants. We designed the small- group debriefing questions (Table 2) to help individuals better understand the exercise and their own privileges. We believed small-group discussion increased the safety of sharing personal experiences.

성과

Outcomes

PRCE는 다양한 사회적 범주에 부여된 특권에 대한 인식을 높이는 자기 발견의 과정이었다. 일반적으로, 더 많은 특권을 가진 사람들은 자신이 지배적인 문화 그룹에 속해있음을 깨달았고, 다른 사람들에게 일상적인 활동이 더 어려울 수 있다는 것을 인식하게 되었다. 아래에 기술된 바와 같이, 높은 점수를 받은 참가자들에게는 익숙하지 않지만, 특권을 거의 경험하지 못하는 사람들에게는 익숙한 경험이 무엇이지 모두 깨닫게 되었다.

The PRCE engaged participants in self-discovery that increased their awareness of the privileges conferred upon various social categories. In general, those with more privileges gained insight into their membership in dominant cultural groups, recognizing that everyday activities might be more difficult for others. As described below, experiences unfamiliar to high-scoring participants but well known to those who claimed fewer privileges became accessible to all.

토론을 하다보면, 사회적 편견의 존재를 의심하는 부정, 우회, 일화가 등장한다. 퍼실리테이터는 이러한 분열적 반응에 대응해야 했다. 이에 대해 퍼실리테이터들은 참가자들들 모두가 의료 분야에서 고용되어있는 것 만으로도 어느 정도의 특권을 가지고 있음을 상기시켰다. 진행자들은 공정하고 공평한 방법으로 특권을 사용하는 것이 중요하다고 강조했다. 즉, 

• 모든 사람을 회의에 포함시키고, 

• 특권과 편견의 렌즈를 통한 임상적 질적 차이를 조사하고, 

• 환자에 대한 문화적 겸손함을 보여주는 등 .

Discussions would sometimes unearth divisive responses that facilitators had to challenge, such as denial, diversion, or anecdotal accounts questioning the existence of societal bias. In response, facilitators reminded participants that they all had some degree of privilege related to being employed in the health care field. Facilitators emphasized the importance of using privilege in just and equitable ways: 

• including everyone in meetings; 

• examining gaps in clinical quality through the lens of privilege and bias; and 

• exhibiting greater cultural humility toward patients.

일부 참가자들, 특히 전통적으로 비특권층이었던 참가자들은, 높은 "점수"를 자신감, 외향, 노력, 결단력 같은 개인적 특징 덕분이었다고 언급했다. 이러한 코멘트는 "더 적은 특권을 가진 사람들이 구조적인 불평등의 환경에서 성공하려면 어떻게 더 많은 노력을 기울이거나 대처 능력을 개발해야 하는지"를 보여주었했다.

Some participants, particularly those from groups that traditionally lack privilege, attributed their high “scores” to personal characteristics like confidence, extroversion, hard work, and determination. Such comments reflected the ways in which people with fewer privileges must put forth increased effort or develop coping abilities to succeed in an environment of structural inequities.

역사적으로 특권층(dominant) 그룹의 일부 참가자들은, 그들이 성명을 주장할 수 없다는 것을 공유할 때, 그들이 특권을 주장할 수 없다는 사실이 사회적 정체성의 중요성을 반증한다고 느꼈다. 이런 반응은 "공항 보안검색대를 향해 걸어간다면 용의자로 비춰지지 않을 것이라는 것을 느낄 수 있다"는 진술에 대해 가장 자주 일어났다. 특권층 그룹의 참가자들은 그들이 thorough check을 위해 자주 선택되었다고 느낀다고 주장했다. 이러한 경우, 퍼실리테이터는 먼저 참가자들이 민족이나 종교와 같이 그들이 소유하고 있는 특성 때문에 수색을 위해 선별되었다고 느끼는지를 탐구하는 것으로 응답했는데, 참여자들은 전형적으로 그렇지 않다고 인정했다. 그러고 나면, 퍼실리테이터는 '검문의 이유'를 '자신의 사회적 정체성에 귀속시켰던 사람들'이 그 상황을 전혀 다르게 경험함을 보았다.

Some participants from historically dominant groups, when sharing that they could not claim a statement, felt the fact that they could not claim a privilege disproved the importance of social identities. This response happened most frequently in reaction to the statement “If I walk towards a security checkpoint in the airport, I can feel that I will not be looked upon as suspect.” Participants from historically dominant groups asserted that they felt they were routinely chosen for more thorough checks. In these instances, the facilitator responded by first exploring whether these participants felt singled out for a search because of characteristics they possessed, such as ethnicity or religion, which, the participants admitted, was not typically the case. The facilitator then observed that those who attributed searches to their social identities may experience them quite differently.

• [가장 적은 특권을 가진 참가자]들은 그들이 직면하고 있는 장벽과 도전의 인식을 인정해주었다는 감정과 그 이슈에 대한 관심에 대한 감사의 마음을 표현했다. 

• 반대로, [가장 많은 특권을 가진 사람들]은 자기네들이 극복해야 할 장벽이 적은 것에 대한 감사와 당황과 죄책감이 혼합된 감정을 표현했다. 

우리는 새로 훈련된 대사들 사이의 이러한 유형의 개인적 폭로를 문화적 겸손과 시스템 변화를 촉진하는 새로운 동기 부여로 보았다.

• Participants with the fewest privileges expressed feelings of validation for the recognition of the barriers and challenges they face and of gratitude for the attention brought to the issue. 

• Conversely, those with the most privileges expressed a mixture of appreciation for having fewer barriers to overcome and of embarrassment and guilt. 

We viewed these types of personal revelations among newly trained ambassadors as precursors to both cultural humility and a fresh motivation to promote systems changes.

다음 단계

Next Steps

PRCE는 참가자들이 특권 인식에 대해 반성하고 다음을 통해 불평등을 해결할 것을 고려하도록 허용했다.

The PRCE allowed participants to reflect on their recognition of privilege and to consider addressing inequity through:

1. 상대적 사회적 지위에 대한 개개인의 인식 증가,

1. Increased personal awareness of their relative societal position,

2. 이런 활동의 결과를 타인과 논의한 후, (동료들, 심지어 표면상으로는 같은 전문직이거나 또는 사회적 지위가 비슷한 동료들 사이에서도) 경험이 불평등하고 부당하다는 것을 깨닫는다.

2. A realization, after discussing the results of the exercise with others, that the experiences of peers—even those with ostensibly similar professional or societal standing—are unequal and unjust,

3. 그룹 간에 불균등하게 특권을 부여하는 사회적 구조에 대한 민감성 증가

3. An enhanced sense of societal structures that bestow privilege unequally across groups, and

4. 격차를 해소하기 위해 특권을 자원으로서 활용하는 방법 탐구.

4. An exploration of ways to capitalize on privilege to address disparities.

의료는 사회적 불평등에 면역이 되어있지 않다; 특권과 권력의 사회체계는 일상적으로 의료 종사자들에게 영향을 미친다. 그리고 이러한 영향은 우리를 병원, 클리닉, 연구실 그리고 그 너머에까지 동반한다. 전문직업성은 우리가 이러한 영향을 얼마나 잘 무시하느냐가 아니라, 특권이 우리의 직업에 미치는 영향을 우리가 얼마나 용감하게 마주하느냐에 의해 측정된다. 의료 전문가들은 모두에게 평등을 보장하기 위해 특권과 무의식적인 편견에 대한 개선된 인식이 필요하다. 우리는 PRCE가 이 필수적인 목표의 확대에 대한 약속을 가지고 있다고 믿는다.

Health care is not immune to societal inequities; social systems of privilege and power influence health care workers every day, and this influence accompanies us into the hospital, the clinic, the research laboratory, and beyond. Our professionalism is not measured by how well we ignore these influences, but by how courageously we confront their impact on our work. Health care professionals need an improved awareness of privilege and unconscious bias to ensure equity for all. We believe the PRCE holds promise for the furtherance of this essential goal.

Acad Med. 2017 Mar;92(3):360-364. doi: 10.1097/ACM.0000000000001290.

Recognizing Privilege and Bias: An Interactive Exercise to Expand Health Care Providers' Personal Awareness.

복잡성 이론을 의과대학 평가에 활용하기 (Acad Med, 2018)

Using Complexity Theory to Guide Medical School Evaluations

Christine Jorm, MBBS, MD, PhD, and Chris Roberts, MBBS, MBChB, PhD

현재의 교육 시스템은 "쉽게 표현되는 그 어떤 이론적 또는 개념적 틀이 아니라, 전통, 의식, 문화, 역사의 산물"로 묘사되어 왔다.2 이러한 상황 때문에, 1 교육자들은 현재의 관행을 필요한 것, 근본적인 것, 완전한 것처럼 여기는 경향이 있다. 그 결과, 기존 교육적 요소와 실천의 개선은 점진적인 변화만 이뤄진다.

The current education system has been described as “More often the result of tradition, ritual, culture, and history than of any easily expressed theoretical or conceptual framework.”2 Because of this situation,1 educators tend to act as if current practices are necessary, elemental, and complete. Thus, only incremental changes are offered to improve existing educational elements and practices.

또한 인증 프로세스는 불만족스러운 현상태를 유지하는데 기여한다. 왜냐하면 "인증을 위한 개별 프로그램 성과의 모니터링이 반드시 시스템으로서 프로그램 자체에 대한 이해를 진전시키는 것은 아니"기 때문이다.

In addition, accreditation processes may be contributing to this unsatisfactory status quo1 as “Monitoring of individual program outcomes for accreditation does not necessarily advance a program’s understanding of itself as a system.”3

의학교육 시스템을 선형적으로 보는 기존의 평가 프로세스는 정보를 체계적으로 수집하고 해석하여 판단을 내리고 변화에 대한 권고사항을 제공한다.4 거의 20년 전에 Gerrity와 Mahaffy5에 의해 묘사된 접근법은 여전히 내적internal, 양적 과정에 초점을 맞추고 있는 현재의 의과대학 평가 문화에 상응한다. 의과대학평가는 보통 단일 개입의 결과(예: 새로운 교수 방식)에 초점을 맞추고 있으며, 종종 개입의 결과는 시스템 수준에서 보고되지 않고, 개입에 의해 즉시 영향을 받는 교사나 학생의 평균 반응 수준에서 보고된다. 하지만, 의학 교육 시스템의 디자인이 의미하는 것은, 학생마다 그들의 임상적 로테이션 동안에 독특한 경험을 가지고 있다는 것이다.

Traditional evaluation processes, which take a linear view of medical education systems, systematically gather and interpret information to make judgments and offer recommendations for change.4 The approach described by Gerrity and Mahaffy5 nearly two decades ago still captures the current medical school evaluation culture, where the focus is on internal and quantitative processes. Measurement usually centers on the outcomes of a single intervention (e.g., a new way of teaching), and often those outcomes are reported at the level of the average reaction of the teachers or students who are immediately impacted by the intervention, rather than at the system level. Yet, the design of the medical education system means that individual students have unique experiences during their clinical rotations.6

전통적인 의과대학 평가

Traditional Medical School Evaluations

성과기반교육 프레임워크9는 종종 측정 가능한 역량에 대한 원자화된 접근방식을 선호하여, 복잡한 통합적 기술을 무시한다.10,11 하지만 의과대학평가에도 변화가 필요하다. [도구적, 점진적 변화를 추구해온 기존의 방식]에서 [직원, 학생 및 환자의 행동에 대해서, 헬스케어 성과에 대해서, 커뮤니티 태도에 대해서 여러 단계의 변화]를 봐야 한다.

Outcomes-based education frameworks9 often ignore complex integrative skills in favor of an atomized approach to measurable competencies.10,11 However, evaluating a medical school requires a shift from seeking instrumental and incremental linear change to seeking multilevel change in the behaviors of staff, students, and patients, in health care outcomes, and in community attitudes.

복잡성 이론에 대하여

About Complexity Theory

복잡성 이론은 [시스템 구성 요소들 사이의 상호작용에 초점을 맞춘 복잡계를 연구하기 위한 접근방법]이다.12 복잡계는 다양성에 의해 동력을 공급받고, 네스팅이 있으며, 자가 조직화된다.

Complexity theory is an approach to studying complex systems that focuses on the interactions between the components of the system.12 Complex systems are energized by diversity, display nesting, and are self-organizing.

• 다양성은 서로 관련을 갖는 상호연결된 여러 요소의 수를 말하며 [입력의 다양성]과 [상호작용과 출력의 다양성]으로 측정된다. 

• 네스팅은 초기 시스템을 둘러싸는 더 큰 복잡한 시스템을 말한다(더 큰 시스템도 그 자체로 상위 시스템의 구성 부품일 수 있다). 

• 자기조직화는 다양한 [상호연결된 시스템 요소들이 의도적인 방법으로 자발적으로 배열하는 능력]을 기술한다. Outcome은 Emergent하다. 따라서 Emergent outcome은 사전에 완벽하게 구체화될 수 없는 성격과 타이밍을 가지고 있다.

• Diversity refers to the number of different and interconnected elements involved and is measured by the variety of inputs and the multiplicity of interactions and outputs. 

• Nesting refers to the larger complex systems that surround the initial system (which also may have component parts that are themselves complex systems). 

• Self-organizing describes the capability of the various interconnected system components to spontaneously arrange themselves in a purposeful way. Outcomes are emergent; they have a nature and timing that cannot be specified fully in advance.

복잡성 이론이 의과대학의 이해를 도울 수 있는 방법

How Complexity Theory Can Help Us Understand Medical Schools

일부 사람들은 선형 모델이 교육 시스템을 이해하기에 충분하다고 주장하지만, 13 [다수준 결과multilevel outcome의 출현emergence]은 모든 교육환경에 존재하는 핵심적 복잡성 개념이다.14 즉, 새로운 지식은 학생, 교수진 및 교육 시스템의 중요한 요소들 사이의 많은 상호 작용에서 생성된다.

While some claim that linear models suffice for understanding education systems,13 the emergence of multilevel outcomes is a central complexity concept that is present in all educational settings.14 That is, new knowledge is created from the many interactions between students, faculty, and the material elements of education systems

교육 연구에서 복잡성 이론은 개인을 강조하고 학습의 역동적인 사회성에 초점을 맞추는 Sociomaterial 학습 이론들 중 하나이다.18,19

In educational research, complexity theory is among the sociomaterial learning theories that deemphasize the individual and focus on the dynamic social nature of learning.18,19

다양성

Diversity

의과대학의 시스템 다양성은 많은 원천sources을 가지고 있다. 인적 자원의 예를 이용하여, 다양성은 의대에 받아들여지고 다양한 적합성, 지식, 기술, 행동, 에너지를 가지고 오는 성인 학습자들에 의해 만들어진다. 그것은 다양한 배경, 경험, 관점의 아카데믹과 임상의사를 가르치는 교수진에 의해 만들어진다. 마지막으로 다양성은 의료 교육에 항상 존재하는 개별 환자, 질병 및 그들의 이야기를 포함하여 다양한 임상 경험에 노출되는 것에서도 비롯된다.

System diversity in a medical school has many sources. Using the example of human resources, diversity is created by the adult learners who are accepted into medical school and bring with them varied aptitudes, knowledge, skills, behaviors, and energy. It is created by the faculty who teach—academics and clinicians from varied backgrounds, experiences, and perspectives. Finally, diversity comes from exposure to a variety of clinical experiences, including to individual patients, their illnesses, and their stories, which are always present in medical education.

네스팅

Nesting

어떤 평가에서 nested system을 고려하려면 평가에 대한 비선형 접근방식이 필요하다. 

In any evaluation, the inclusion of nested systems demands a nonlinear approach to evaluation. 

이 논의의 중심을 이루는 핵심적 nested system은 보건의료 시스템과 그것의 설계, 자금 지원이며, 보건의료시스템과 의과대학과의 연계이다.21 보다 광범위하게 보자면 정부 역시 nested system이다. 왜냐하면 법, 자금 및 기타 정치적 전략을 통해 대학과 보건 시스템의 조직을 지도함으로써 사회적 우려와 지역사회 건강 문제에 대응하기 때문이다. 

A central nested system in this discussion is the health care system, its design, funding, and links with medical schools.21 More broadly, the government is also a nested system, as it responds to societal concerns and community health problems by guiding the organization of universities and health systems through laws, funding, and other political strategies.

자기조직화

Self-organizing

의과대학 내에서 자기조직을 하는 예로는 [의대생들이 자신의 교육 및 임상경험에서 인지된 격차를 매우기 위해서 능동적인 주체로서 취하는 행동방식]이 있다. 그들은 튜토리얼을 자체 조직하고, 새로운 동료 기반 학습 활동을 개발하고, 임상 환경에서 새로운 학습 기회를 모색한다.23

An example of self-organizing within a medical school is how medical students act as active agents who fill perceived gaps in their didactic education and clinical experience. They self-organize tutorials, develop new peer-based learning activities,22 and seek out new learning opportunities in clinical placements.23

복잡성 이론을 사용하여 의과대학 평가 설계

Using Complexity Theory to Design Medical School Evaluations

우리는 의학교육자들이 복잡성 이론을 사용하여 평가 프레임워크를 설계하는 데 도움이 되는 두 가지 유용한 도구를 설명한다: 로직모델, 센스메이킹

We describe two useful tools to help medical educators design evaluation frameworks using complexity theory—logic models and sensemaking.

프로그램 로직 모델은 평가에 대한 생각을 발전시킬 수 있는 잠재력을 가지고 있다.24–26 기존 모델은 네 가지 기본 요소인 입력, 활동, 산출, 결과를 가진 선형 구조를 가지고 있다.4 의과대학의 결과는 무수하고, 논쟁적이고, 이해하기 어려운 것이며, 로직모델은 여러 관점, 상황 복잡성 또는 동적 관계를 쉽게 포착할 수 없다.27,28 그러나 [입력과 결과 사이에 예측 가능한 선형 관계를 가지고 있다]는 가정을 제거하면, 입력과 결과라는 개념이 도움이 된다.

Program logic models have the potential to advance thinking about evaluation.24–26 Traditional models have a linear structure with four basic components—inputs, activities, outputs, and outcomes.4 The outcomes of medical schools are myriad, contested, and elusive, and logic models are not easily able to capture multiple perspectives, contextual complexity, or dynamic relationships.27,28 However, the notion of inputs and outcomes is helpful if we remove the assumption that inputs and outcomes have a predictable linear relationship.

예를 들어, 우리는 간호학과 의대생을 위한 복잡한 대량 외상 시뮬레이션을 평가했다.29 

• 투입에는 촉진, 응급 처치 장비, 교육 공간 및 미리 훈련된 학생들을 위한 직원이 포함되었다. 

• 활동에는 시뮬레이션된 외상환자에 대한 소규모 그룹 학습이 포함되었다. 

• 산출에는 학생 출석, 직원 및 학생 학습 경험이 포함되었다. 

• 성과에는 트라우마 치료의 맥락에서 협력적인 팀워크에 필요한 학생들의 새로운 지식과 비기술적 기술의 개발이 포함되었다.

For example, we evaluated a complex mass trauma simulation for nursing and medical students.29 Inputs included staff for facilitation, first aid equipment, educational space, and pretrained students. Activities involved small-group learning around a simulated trauma patient. Outputs included student attendance and staff and student learning experiences. Finally, outcomes included students’ new knowledge and their development of the nontechnical skills required for collaborative teamwork in the context of trauma care.

복잡성 이론을 사용하여 평가 프로그램을 설계하는 또 다른 유용한 과정은 센스메이킹이다.30 센스메이킹은 교육자가 복잡성을 줄일 수 있는 방법을 제공하며, 이는 [진단 과정을 통해서 임상의사가 무수한 임상 및 사회적 정보를 make sense하는 방법]과 유사하다. 임상팀이 복잡한 환자를 관리하는 것처럼, 조직 수준에서 최적의 센스메이킹은 [귀납적 결론이 나올 수 있도록 충분한 양의 데이터를 분석하는 참여적 과정]이다.17

Another helpful process in designing evaluation programs using complexity theory is sensemaking.30 Sensemaking provides a way for educators to reduce complexity which is similar to how the diagnostic process provides a way for clinicians to make sense of myriad clinical and social information. Just as the clinical team manages the complex patient, optimal organizational sensemaking is a multimethod, participatory process that analyzes sufficient amounts of data to allow inductive conclusions to emerge.17

조직적 학습(즉, 평가 과정의 바람직한 성과)은 창발적이고, 유동적이며, 실험을 동반하고, 지속적으로 역동적 복잡성이 추가된다. 교육적 변화는 의대 내 시스템 역학을 변화시킬 것이며, 의과대학 내부적으로, 외부적으로 중첩된 복잡성nested complexity을 야기할 것이다. 필연적으로, 몇몇 창발적 결과들은 예상치 못한 것이 될 것이다. 그런 다음 (복잡한 환자들에게서 진단 과정이 계속되는 것과 같은 방식으로) 센스메이킹 과정이 이어진다. 센스메이킹은 바람직하지 않은 시스템 역학을 추적할 수 있고, 시스템 개선을 위한 새로운 가설을 쉽게 만들 수 있다.

Organizational learning (i.e., the desired outcome of an evaluation process) is emergent and fluid (self-organizing), and it involves experimentation and the addition of continuing dynamic complexity. Educational changes will alter system dynamics within the medical school and produce complexity nested both internally within the medical school and externally within the systems in which the medical school is nested. Inevitably, some of the emergent outcomes will be unexpected. The process of sensemaking then continues in the same way in which the diagnostic process continues in complex patients. Sensemaking can trace some of the undesirable system dynamics and facilitate the generation of new hypotheses for system improvement.

의과대학 평가의 복잡성 이론 기반 메타포

A Complexity-Theory-Based Metaphor for Medical School Evaluations

강력한 센스메이킹 수단은 은유를 사용하는 것이다.

A powerful means of sensemaking is through the use of metaphor.

그러한 비유 중 하나는 "기계로서의 조직"이다. 세계가 그렇게 합리적이지 않고 잘 정돈되어 있지 않은 대안적 은유는 "이상한 나라로서의 조직"이다.33 소설 "이상한 나라의 앨리스 모험"을 그린다.34 이 은유는 부조리성, 불합리성, 불확실성, 무질서와 같은 문제를 중심에 두고 있으며 아마도 몇몇 의학 교육자들에게 학문적 또는 임상적 삶의 역설적 성격을 이해하는 방법으로서 매력적일 수 있다.

One such metaphor is the “organization as machine.” An alternative metaphor in which the world is not so rational and well ordered is the “organization as Wonderland,”33 which draws on the novel Alice’s Adventures in Wonderland.34 This metaphor places issues such as absurdity, irrationality, uncertainty, and disorder at its center and is perhaps appealing to some medical educators as a way to understand the paradoxical character of academic or clinical life.

그러나 평가는 방향을 제시해야 한다. 앨리스도 이렇게 묻는다.

Yet evaluation needs to provide direction. Even Alice asks:

"제발, 여기서부터 어느 길로 가야 하는지 말해 주시겠습니까?" "그것은 당신이 어디에 가고 싶은지에 달려있다."고 그 고양이는 말했다.34

“Would you tell me, please, which way I ought to go from here?” “That depends a good deal on where you want to get to,” said the Cat.34

우리는 의과대학 평가를 이해할 수 있도록 새로운 비유, 즉 복잡한 신경망 내에 위치한 뉴런으로서의 조직을 제안한다(그림 1 참조). 그것은 기계에 대한 은유라기 보다는 커넥션에 의해 정의되는 유기체로서 은유로이다.

We propose a new metaphor—the organization as a neuron situated within a complex neural network—to make sense of medical school evaluation (see Figure 1). It is an organic metaphor rather than a mechanical one and is very much defined by its connections.

이러한 은유에서는, 투입과 성과는 비선형이라는 수정된 로직 모델을 사용한다. 우리는 그림 1의 

• 왼쪽에 있는 dendrites를 사용하여 교사, 학생 및 교육 설계의 투입 정보를 표시한다. 

• 오른쪽 축을 이용하여 성과(졸업자의 증거 기반 관리 관행, 사회적 책임 등)를 표시한다. 

이 시스템은 우리가 라벨을 붙인 것보다 더 많은 입력과 결과(선도 및 축도)를 가지고 있다.

For this metaphor, we used a modified program logic model in which inputs and outcomes were nonlinear. We indicate inputs—teachers, students, and educational design—using the dendrites on the left side of Figure 1. We indicate outcomes—the practice of evidence-based care by graduates, social accountability, and so forth—using the branched axons on the right side. This system has many more inputs and outcomes (dendrites and axons) than those we have labeled.

이 은유는 [신경의 출력을 결정하는 흥분과 억제 입력]이라는 competing nature를 고려하여 더욱 확장될 수 있다.

the metaphor can be extended by considering the competing nature of excitatory and inhibitory inputs in determining neuronal output,

의료 교육의 활동과 결과에 영향을 미치는 몇 가지의 핵심적 중첩 시스템은 의대 뉴런을 둘러싸고 있는 촘촘하게 네트워크로 연결된 조립체를 형성하는 다른 뉴런에 대응될 수 있다. 이러한 중첩된 시스템nested system(대학, 보건 시스템 및 정부)은 여러 가지 방법으로 의대에 영향을 주고, 의대로부터 영향을 받는다.

Several important, related nested systems that affect the activities and outcomes of medical education are illustrated by the other neurons that form the densely networked assemblage that surrounds the medical school neuron. These nested systems—the university, the health system, and the government—influence and are influenced by the medical school in multiple ways.

의학교평가에 있어서 감각제정을 위한 복잡성 이론의 사용원리

Principles for Using Complexity Theory for Sensemaking in Medical School Evaluations

We suggest that eight key principles (http://links.lww.com/ACADMED/A465).

의대졸업생들의 건강관리 시스템 참여에 대한 센스메이킹 적용

Applying Sensemaking to the Issue of Medical School Graduates’ Engagement With the Health Care System

의대 졸업생들이 헬스케어 시스템에 참여하는 것이 왜 중요한가? 임상의사가 참여하지 않으면 환자 치료에 대한 개선은 일어나지 않을 것이며, 지속되지 않을 것이다.37–40 참여 근로자들은 그들의 일을 다시 설계하고 개선하지 않을 것이다.41 자부심과 자기 효율성이 높은 사람들은 이것을 더 잘 할 수 있다.42 그리고 능동적이고 양심적인 사람들은 그렇게 할 가능성이 더 높다.43 

Why is it important that medical school graduates engage with the health care system? Without clinician engagement, improvements to patient care would not happen, nor would they be sustained.37–40 Engaged workers redesign and improve their jobs .41 Those with higher levels of self-esteem and self-efficacy are better ableto do this,42 and those who are proactive and conscientious are more likely to do so.43 

임상의가 어느 정도 관여하게 되면, 직원 이직과 결근률이 낮아지고, 감염률이 감소하고, 환자 만족도가 높아지고, 환자 사망률이 낮아진다.44–46 많은 의사들(및 최근 의과대학 졸업생들)은 시스템 참여를 자기의 업무의 일부로 보지 않으며, 시스템적 사고나 개선 노력에 참여하기를 거부한다. 또한 관심 있는 사람들조차 이 일을 효과적으로 하는데 필요한 기술이 부족하다.

When clinicians are measurably engaged, staff turnover and absenteeism is lower, infection rates decrease, patient satisfaction increases, and patient mortality is lower.44–46 Many doctors (and recent medical school graduates47) do not see system engagement as part of their job, are somewhat resistant to systems thinking and being involved in improvement efforts,48–51 and lack the skills to be effective in this work even if they are interested.48,52

졸업생의 engagement는 의과대학에 귀중한 결과물이므로 측정해야 한다.

Graduates’ engagement is a valuable outcome for medical schools, so it should be measured.

관련 이해당사자들에 의한 센스메이킹은 [의대 밖의 대표]들과 [학교 내부의 대표]들이 포함될 것이다. "무엇이 가장 중요한가?"와 "어떻게 하면 각 요소를 연구할 수 있는가?"와 같은 질문을 함으로써, 이러한 질문은 평가 문제와 적절한 방법론을 반복적으로 다듬도록 아이디어의 workshopping을 촉진할 수 있다.

Sensemaking by the relevant stakeholders would include representatives from outside the medical school as well as those from within the school. This metaphor also can facilitate the workshopping of ideas so that the evaluation question and appropriate methodology are iteratively refined—for instance, by asking “What is most important to understand?” and “How can we study each element?”

교사의 투입 평가

Evaluating teachers’ input

사회적 학습 이론은 교육자들이 학생과 역동적으로, 사회적 참여를 함으로써 학습을 유발한다는 개념을 뒷받침한다.53 그렇다면 어떤 교육적 투입이 더 많은 참여 졸업생들을 만들 수 있는가? 우리는 세 가지 영역, 즉 

• 교육자의 다양성, 

• 교육자의 건강 시스템과의 연결, 

• 교육 공동체의 중첩된 시스템의 특성과 강점

...을 탐구하는 것을 추천한다. 표 1.

Social learning theories support the notion that educators’ dynamic social engagement with students creates learning.53 What kind of educator input then might create more engaged graduates? We recommend exploring three areas—diversity, connection to the health system, and the nature and strength of the nested system that is the teaching community of practice. Table 1.

졸업생들의 참여를 준비하는 문화와 교육과정 평가

Evaluating the culture and curriculum that prepares graduates to be engaged

환자 안전 및 품질 커리큘럼을 제정하여 품질 향상을 가르치려는 시도가 있었다.54–57 예를 들어, 세계보건기구(WHO)는 그러한 교육과정을 시행했지만, 전체적으로 성공적이지 못했고, 제한적으로만 받아들여졌고, 결국 세계보건기구가 정한 목표를 달성하지 못했다.

Attempts have been made to teach quality improvement by enacting safety and quality curricula.54–57 For example, the World Health Organization (WHO) implemented such a curriculum; however, it has not been successful as a whole,58 has had limited uptake,54,55 and has failed to meet the goals established by the WHO.

따라서, 우리는 여기서 더 근본적인 요소들에 초점을 맞춘다.

Thus, we focus here on the more fundamental elements

표 2는 이론적으로 정보에 입각한 교육 개선 사례, 자기조절학습 이론을 포함하고 있다.

Table 2 includes examples of theoretically informed educational improvements, drawing on the work of Kalet and colleagues59 and self-regulated learning theory.

의료 시스템 평가

Evaluating the clinical care system

빈번한 로테이션은 개인적인 고립, 불완전한 해결책, 열악한 환자 치료와 관련이 있다.61 추가적으로, 근로 시간 단축으로 인해 다음과 같은 필연적인 결과가 생겼다: 더 많은 교대 근무, 더 많은 핸드오버 및 훨씬 더 세분화된 작업 경험. 아마도 그 결과, 근로시간을 줄이는 것이 후배 의사들의 심리적 고통과 기진맥진을 줄이는 데 기대만큼 효과적이지 못했다.62,63

Frequent rotations are associated with personal isolation, dysfunctional workarounds, and poor patient care.61 Additionally, working hours are now restricted; an inevitable consequence of reduced working hours is more shift work, more handovers, and an even more fragmented work experience. Perhaps as a consequence, reducing working hours has not been as effective as expected in reducing psychological distress and burnout in junior doctors.62,63

현재의 의료 고용 관행은 졸업생들이 이 시스템에 참여할 수 있는 능력을 제한하고 있지만, 의과대학들은 그들이 의료 시스템에 nested 되어있음에도 불구하고 변화를 일으키는 데 거의 영향을 미치지 않는다. 우리의 센스메이킹 연습은 의료 교육 연구원들이 보건 서비스 연구원들과 정책 입안자들과 협력하여 졸업생들의 고용 관행 변화를 뒷받침할 증거를 개발해야 할 절박한 필요성을 보여주었다.

Current health care employment practices restrict the ability of graduates to engage with the system, but medical schools have little influence to make changes even though they are nested within health care systems. Our sensemaking exercise revealed a pressing need for medical education researchers to work with health services researchers and policy makers to develop the evidence to support changes to graduates’ employment practices.

중첩된 시스템에서 모든 이해당사자들의 견해는 명시적으로 추구되거나 의과대학 평가에 통합되지 않을 수 있다. (정책 입안자 및 자금 제공자뿐만 아니라) 보건 시스템의 이해당사자들과 함께 의과대학 평가를 공동 설계하는 것은 의과대학이 보건 시스템과 치료의 결합자라는 것을 받아들이는데 있어 중요한 다음 단계다.

Currently, the views of stakeholders from all nested systems may not be explicitly sought or incorporated into medical school evaluations. Co-designing medical school evaluations with stakeholders from the health system, as well as with policy makers and funders, is a crucial next step in accepting that the medical school is a coproducer of care with the health system.

표 1 의료전문학교 졸업생의 의료시스템 참여성 평가를 위한 복잡성 이론을 이용한 교사 입력 평가

Table 1 Evaluating Teachers’ Input Using Complexity Theory to Assess Medical School Graduates’ Engagement With the Health Care System

표 2 의과대학 졸업생을 건강관리 시스템에 참여시키는 문화와 교육과정 평가

Table 2 Evaluating the Culture and Curriculum That Prepare Medical School Graduates to Be Engaged With the Health Care System

우리는 "의학교육을 [본질적으로 복잡한 사회적 개입을 위한 개선 과학]으로 재인식할 필요성"을 지지한다.65

We endorse the need to “reconceptualise medical education as intrinsically an improvement science for complex social interventions.”65

결론

Conclusion

평가 노력에 대한 청중은 학교 내의 의과 교육자들을 넘어서고 있다. 그러므로 의과대학 평가에 있어 가장 큰 어려움은 (의과대학이 nested in되어있는, 영향을 주고, 영향을 받는) 지역사회를 평가 과정에 어떻게 포함하느냐이다.

The audience for evaluation efforts extends beyond medical educators within the school. Thus, the biggest challenge for medical school evaluation is how to include the communities the medical school is nested in, influences, and is influenced by, in the evaluation process.

우리가 발견한 차이점은 의학교육에 대한 다른 평가 접근법에 의해서는 포착되지 않는 것이다. 복잡성 이론을 사용하는 것은 그러한 창발적 성과를 고려하게 해준다. 창발적 성과는 의과대학 평가를 새로운 초점을 맞추도록 장려할 것이며, 학생들을 미래의 잠재적 change agent로 생각하게 하고, 보건 시스템과 환자의 삶을 변화시킬 것이다.

The gap we found would not have been identified by other evaluation approaches to medical education. Using complexity theory encourages the consideration of such emergent outcomes. Emergent outcomes in turn encourage medical school evaluations to take on a new focus, reimagining students as future potential change agents, who transform health systems and the lives of patients.

20 Jorm C, Nisbet G, Roberts C, Gordon C, Gentilcore S, Chen TF. Using complexity theory to develop a student-directed interprofessional learning activity for 1220 healthcare students. BMC Med Educ. 2016;16:199. XXX

1 Holmboe ES, Batalden P. Achieving the desired transformation: Thoughts on next steps for outcomes-based medical education. Acad Med. 2015;90:1215–1223.

7 Mossop L. The curse of the teenage learner. Med Educ. 2014;48:231–233.

3 Bowe CM, Armstrong E. Assessment for systems learning: A holistic assessment framework to support decision making across the medical education continuum. Acad Med. 2017;92:585–592.

65 Yardley S. Lost in translation: Why medical education research must embrace “real-world” complexities. Med Educ. 2014;48:225–227.

57 World Health Organization. Multi- professional Patient Safety Curriculum Guide. http://www.who.int/patientsafety/education/curriculum/tools-download/en/. Published 2011. Accessed May 16, 2017.

Acad Med. 2018 Mar;93(3):399-405. doi: 10.1097/ACM.0000000000001828.

Using Complexity Theory to Guide Medical School Evaluations.

보건전문직 교육에서 학습환경 개선을 위한 개입 설계: Scoping Review (MedEdPublish, 2018)

Interventions Designed to Improve the Learning Environment in the Health Professions: A Scoping Review

Larry Gruppen[1], David M. Irby[2], Steven J. Durning[3], Lauren A. Maggio[3]

도입과 목적

Introduction and Purpose

교육학습 환경(LE)은 참가자들이 생각하고 느끼고 참여하고 일하는 방식에 극적으로 영향을 미친다. 긍정적 LE는 학습을 지원하며 따뜻하며, 협력적(Chinthammitr and Chierakul, 2014; Thomson et al., 2014; Tackett et al., 2017)이고, 상호존중하는 반면 부정적 또는 "냉랭한" 학습환경(Janz and Pyke, 2000)은 파괴적이고 참여와 학습을 제한한다.

Educational learning environments (LE) dramatically affect the way participants think and feel, engage and work. Positive LEs support learning and are welcoming, collaborative, (Chinthammitr and Chierakul, 2014; Thomson et al., 2014; Tackett et al., 2017)and respectful while negative or "chilly" LEs (Janz and Pyke, 2000)are destructive and restrict participation and learning

LE는 학습이 발생하는 물리적 및 가상 공간에서, 참여자의 역동적이고 공동구축된 인식, 경험, 행동을 설명한다. 그러나 더 중요한 것은 교육적 풍토나 문화의 분위기, 그리고 사람들이 일상적으로 교류하는 방식을 가리키는 것이기도 하다.

LEs describe the dynamic, co-constructed perceptions, experiences and behaviors of participants in the physical and virtual spaces within which learning occurs. But more importantly, it also refers to the tone of the educational climate or culture, and the routine way people interact.

LE는 학습자와 제공자 모두에게 중요한 매우 다양한 요인에 영향을 미친다. 즉, 

• 탈진, 정서적 피로, 

• 만족과 행복, 

• 정체성 형성, 

• 성과와 협력(Darcy A). Reed 등, 2011; Thomson 등, 2014; Castillo-Angeles 등, 2017; Tackett 등, 2017.

LEs affect a wide variety of factors important to learners and providers alike: 

• burnout, depersonalization and emotional exhaustion; 

• satisfaction and well-being; 

• identity formation; 

• performance and collaboration (Darcy A. Reed et al., 2011; Thomson et al., 2014; Castillo-Angeles et al., 2017; Tackett et al., 2017).

개입이란 것은, [학습 환경에 영향을 미칠 것으로 예상되는 새로운 계획된 활동(예: 니어피어 코칭)이나 조직 변화(예: 커리큘럼, 훈련 현장, 근무 시간)의 도입]을 의미한다.

By interventions, we mean the introduction of a planned new activity (e.g., near peer coaches) or organizational change (e.g., curriculum, training site, duty hours) that is anticipated to have an impact on the learning environment.

HPE문헌에 자주 등장하는 학습 환경(LE)은 통일된 정의가 결여된 복잡한 이론적 구조다(Genn, 2001b, 2001a; Roff and McAleer, Sean Sue Roff, 2001). 이 용어를 둘러싼 개념적 모호성은 부분적으로 이러한 현상을 조사하기 위해 사용되는 다양한 학문들과 관련 이론 렌즈(즉, 인류학, 교육, 심리학, 사회학)에서 기원한다.

The learning environment (LE), which appears frequently in the health professions education literature, is a complex theoretical construct that lacks a unified definition (Genn, 2001b, 2001a; Roff and McAleer, Sean Sue Roff, 2001). The conceptual ambiguity surrounding this term has arisen, in part, from the varying disciplines and associated theoretical lenses used to investigate this phenomenon (i.e., anthropology, education, psychology, and sociology).

LE는 학습이 일어나는

• 개인의 경험과 인식(심리학 및 교육), 

• 사회적 상호작용(사회학 및 교육), 

• 조직 문화와 실천(인류학과 사회학), 

• 물리적 시설과 학습이 이루어지는 온라인 공간(사회학 및 교육학)

...등을 모두 의미할 수 있다. 그것은 교실, 온라인, 시뮬레이션 및 임상 환경에서 발생하는 공식 및 비공식 학습 경험과 연관될 수 있다.

The LE can describe 

• personal experiences and perceptions (psychology and education), 

• social interactions (sociology and education), 

• organizational culture and practice (anthropology and sociology), 

• physical facilities and online spaces (sociology and education) 

...within which learning occurs. It can be associated with formal and informal learning experiences that occur in classroom, online, simulation and clinical settings.

LE는 종종 분위기, 교육환경, 학습기후, 조직문화와 같은 용어와 교환하여 사용된다. LE는 "각 상황 및 기관에 인격, 정신, 문화를 부여하고, 그 조직 내에서 학습자가 된다는 것이 어떤 것인지를 보여주는 특징"으로 정의되었다(Holt and Roff, 2004).

The LE is often used interchangeably with such terms as atmosphere, educational environment, learning climate and organizational culture. The LE has been defined as "a set of features that gives each circumstance and institution a personality, a spirit, a culture and describes what it is like to be a learner within that organization" (p. 553) (Holt and Roff, 2004).

LE는 특정 환경에서 개인, 그룹 및 단체에 의해 공동 생성되고, 상황별 분위기와 문화에 의해 형성되는, 복잡한 정신-사회-물리적 구조라고 생각할 수 있다(Palmgren, 2016).

The LE can be thought of as a complex psycho-social-physical construct co-created by individuals, groups, and organizations in a particular setting, and shaped by contextual climate and culture (Palmgren, 2016).

다양한 교육 결과(Genn, 2001a, 2001b)와 다수의 인증 규정(예: LCME, ACGME, GMC)을 보자면, LE가 중요하다는 것에는 이견이 거의 없다.

There is little disagreement that the LE is important, linked to various educational outcomes (Genn, 2001a, 2001b), and the focus of a number of accreditation regulations (e.g., LCME, ACGME, GMC).

LE를 위한 개념적 프레임워크

Conceptual framework for the learning environment

우리는 LE가 위치한 인식, 위치한 학습, 생태 심리학, 직장 학습을 포함하는 사회 문화 학습 이론의 렌즈를 통해 가장 잘 이해하고 연구될 수 있다고 믿는다.

we believe that the LE can be best understood and studied through the lens of sociocultural learning theories that include 

• situated cognition, 

• situated learning, 

• ecological psychology, and 

• workplace learning.

• situated learning 프레임워크 내에서 학습은 처음에는 합법적인 주변적 참여자로, 그리고 완전한 참여자로 부상함으로써 새로운 지식 공동체 또는 실천 공동체로 발전하는 것을 포함한다(Lave and Wenger, 1991).

Within the situated learning framework, learning involves acculturation into a new knowledge community or community of practice through active participation – initially as a legitimate peripheral participant and emerging into a full participant (Lave and Wenger, 1991).

• Ecological psychology and workplace learning은 학습/작업 환경에서의 어포던스(도구, 비계된 관계, 업무, 언어, 개념)과 학습자의 적극적인 참여(기관, 참여 및 신흥 자치권을 통해)를 통해 사회적 상호작용이 촉진된다는 점을 강조한다(Billett, 2001).

Ecological psychology and workplace learning emphasize that social interaction is facilitated through affordances in the learning/working environment (tools, scaffolded relationships, tasks, language, concepts) and the active engagement of learners (through their agency, engagement and emerging autonomy) (Billett, 2001).

• Situated cognition 은 학습이 사회적이며 사람과 환경 사이의 상호작용을 수반한다고 보며, 따라서 학습, 상황 및 문화를 연결한다. 특히, 지식은 습득되는 활동, 상황 및 문화에 내재되어 있다(Brown et al., 1989).

Situated cognition theorizes that learning is social and involves an interaction between persons and environment – thus linking learning, situations and culture. Specifically, knowledge is embedded in the activity, context and culture in which it is learned (Brown et al., 1989).

이 각각의 이론들은 다른 사람과의 상호작용과 협업의 중요성을 강조한다. (상호작용은) "학생들의 학습/참여를 위한 수단이다. 학습은 [다른 사람들로부터 지식과 기술을 배움]으로써, 그리고 [자신이 새로 참여한introduced 커뮤니티에 존재하는 문화적 믿음과 태도, 규범에 친숙해지는 것을 통해] 일어난다."

Each of these theories emphasizes the importance of interactions and collaborations with others "as the means for students’ learning/participation, both through learning knowledge and skills from others, and through becoming familiar with the norms, cultural beliefs and attitudes existing in the communities to which they (the learners) are being introduced" (p. 739) (Schönrock-Adema et al., 2012).

LE는 어떤 특정한 이론적 관점에서 "소유"되어 있지 않다는 것을 강조해야 한다. LE 또한 종종 중심적인 관심사가 아니며, 이것은 그 구조를 이론적으로 불확실한 것으로 남겨둔다.

It should be emphasized that the LE is not "owned" by any particular theoretical perspective. Neither is the LE often a central concern, which leaves the construct in something of a theoretical limbo.

LE의 구성요소

Components of the learning environment

중복되는 네 가지 핵심 구성 요소(그림 1)를 식별:

we identified four overlapping and interactive core components (Figure 1):

1. 개인적 구성 요소. 개별 학습자는 활동을 통해 LE와 상호작용하고, LE에 대한 인식을 발전시키며, 목표에 대한 명확성, 관련되고 의미 있는 학습의 선택 등을 통해 개인적 성장에 관여하며, 그 과정에서 전문직 정체성을 개발하고 자율성을 높인다.

1. Personal Component. The individual learner interacts with the LE through activity, develops perceptions of the LE, and engages in personal growth through clarity about goals, selection of relevant and meaningful learning; and in the process develops professional identity and increasing autonomy.

2. 사회적 구성요소. 학습자는 타인과 교제를 하고 여러 관계를 탐색하는데, 이는 LE에 대한 그들의 인식과 경험을 형성한다. 이러한 관계로는 

• 학습자 대 학습자 (경쟁, 협력, 공유 가치 및 학습자 문화), 

• 학습자 대 교수/스태프(신뢰, 피드백, 커뮤니케이션, 교육 전략, 멘토링) 및 

• 학습자 대 환자(책임, 수용 및 신뢰)가 있다. 

이러한 모든 사회적 관계는 학생들이 무엇을 어떻게 배우는지에 영향을 미친다.

2. Social Component. Learners engage with others and navigate multiple relationships, which shapes their perceptions of and experiences with the LE. These relationships include: peer-to-peer (competition, cooperation, shared values and learner culture), learner-to-faculty/staff (trust, feedback, communication, instructional strategies, mentoring), and learner-to-patient (responsibility, acceptance and trust). All of these social relationships influence what and how students learn.

3. 조직적 구성 요소. 조직은 커리큘럼 리소스 및 인공물artifact, 지리적 배치, 인증 규칙과 같은 구조/가이드/서포트 뿐만 아니라 조직의 관행, 문화 및 정책(정돈된 환경, 규칙의 명확성, 근무 시간, 규제 환경, 교사 제어, 커리큘럼, 배치, 기술 인프라)을 제공한다.

3. Organizational Component. Organizations provide structure, guidance and support for learning, including curriculum resources and artifacts, geographic placements, accreditation rules as well as organizational practices, culture and policies (orderly environment, rule clarity, duty hours, regulatory environment, teacher control, curriculum, placements, technology infrastructure).

이것의 한 예는 ACGME에서 구현한 임상 학습 환경 검토(CLER)이다. CLER 프로그램의 기본 전제는 환자 안전, 의료 품질, 관리 전환, 감독, 피로 관리 및 전문성과 관련하여 건설적인 조치를 취할 경우 교육 프로그램과 환자 관리가 개선된다는 것이다. 우리는 또한 이 조직 구성 요소에도 지역사회에서의 배치(지리적 설정/위치)를 포함한다.

One example of this is the Clinical Learning Environment Review (CLER) implemented by ACGME. The underlying premise of the CLER program is that the educational program and patient care will be improved if constructive actions are taken regarding patient safety, health care quality, care transitions, supervision, fatigue management, and professionalism (Accreditation Council on Graduate Medical Education, no date; Weiss, Wagner and Nasca, 2012). We also include placements in the community (geographical settings/locations) in this organizational component as well.

4. 물리적 구성 요소 및 가상 구성 요소. 학습과 연습은 교육 및 실습 환경의 물리적 공간 내에서 이루어진다. 마찬가지로 정보 인프라와 자원(예: 온라인 자원, 전자 건강 기록)도 학습을 육성하거나 방해하는 가상의 "공간"을 제공한다.

4. Physical and Virtual Component.Learning and practice take place within physical spaces of educational and practice settings. Similarly, informational infrastructures and resources (e.g., online resources, electronic health records) also provide a virtual "space" in which learning is fostered or obstructed.

방법

Methods

우리는 LE 개입 및 관련 요인에 대한 문헌의 범위를 결정하기 위해 범위 지정 검토를 선택했는데, 사전 검색에서는 문헌에 대한 완전한 체계적 검토를 하기에 충분히 광범위하지 않을 수 있음을 나타냈다.

We chose a scoping review to determine the extent of the literature on LE interventions and associated factors, which our preliminary search indicated might not be extensive enough for a full systematic review of the literature.

결과

Results

우리의 검색은 2,662개의 기사를 검색했다. (PubMed=1,491; CINAHL=77, ERIC=132, Scopus=244, Embase=718). 중복제거된 것은 2,201개의 독특한 인용문이 있었다. 모든 제목과 추상적인 내용을 검토한 결과, 240개의 전문 논문이 검토 대상으로 선정되었다. 전체 텍스트 검토 후, 68개의 기사가 포함되도록 유지되었다(그림 2). 연구 집합에서, 18개 국가가 대표되었고 6개의 직업이 연구되었다(의사 n=54; 간호 n=11; 치과의사 n=1, 약사 n=1, 수의사 n=1, 지압 n=1). 사전임상 및 임상 학생은 1차 모집단(n=45)이었지만, 여러 연구에서는 전공의(n=12) 및/또는 교수진(n=4)도 포함되었다. 어떤 경우에, 연구는 둘 이상의 인구, 설정 및/또는 직업을 포함했다.

Our search retrieved 2,662 articles (PubMed=1,491; CINAHL=77, ERIC=132, Scopus=244, Embase=718); with duplicates removed there were 2,201 unique citations. Based on examination of all titles and abstracts, 240 full-text articles were selected for review. Following full-text review, 68 articles were retained for inclusion (Figure 2). In the set of studies, there were 18 nations represented and six professions studied (medicine n=54; nursing n=11; dentistry n=1, pharmacy n=1, veterinary n=1, chiropractic n=1). Preclinical and clinical students were the primary population (n=45), but several studies also included residents (n=12) and/or faculty members (n=4). In some cases, studies included more than one population, setting and/or profession.

우리는 LE의 개입 연구에 대한 네 가지 접근법을 확인했다.

We identified four approaches to the study of interventions in the LE.

첫째, 특정 개입 또는 일련의 개입이 LE에 미치는 영향을 평가하기 위한 연구가 있다. 여기에는 근무시간, 커리큘럼, 배치 및 교수진 개발의 변화와 그것이 LE에 미치는 영향에 대한 연구가 포함된다. 우리는 중재적 연구를 말한다.

First, there are studies designed to assess the impact of a specific intervention or series of interventions on the LE. These include studies of changes in duty hours, curricula, placements, and faculty development and their impact on LE. These we term interventional studies.

둘째로, 조사자들은 교육 형식, 커리큘럼 모델, 지리적 배치 및 채점 관행과 관련된 두 개의 다른 그룹에서 LE 평가를 비교했다. 우리는 이것을 비교 연구라고 불렀다.

Second, investigators compared two different groups’ assessments of the LE related to instructional formats, curriculum models, geographical placements, and grading practices. We titled these comparison group studies.

셋째, 탄력성, 소진, 학대, 성취, 웰빙과 같은 하나 이상의 관심 변수가 LE의 인식과 연관되었다. 우리는 이러한 연관성 연구라고 불렀다.

Third, one or more variables of interest, such as resilience, burnout, mistreatment, achievement, and well-being, were associated with perceptions of LE. We called these association studies.

넷째, 정성적 방법을 이용한 서술적 연구는 참가자의 관점을 조명하고 환영환경과 교수문화, 참여자의 연속성, 학습/실무공간의 이용가능성 등과 같은 LE의 개입과 관련된 주제를 식별한다. 우리는 이것을 서술적 연구라고 불렀다.

Fourth, descriptive studies using qualitative methods illuminate participant perspectives and identify themes associated with interventions in the LE, such as establishing a welcoming environment and teaching culture, continuity of participants, and availability of learning/practice space. We termed these as descriptive studies.

개입 연구

Interventional Studies

Sixteen studies described specific interventions to improve the LE (Table 1).

대조군 연구

Comparison Group Studies

Comparison group studies were the most common of the four approaches and also quite diverse in how the comparison conditions were defined. See Table 2.

연관 연구

Association Studies

We found 14 studies that reported associations of another important variable (such as burnout, career choice, department academic support) with the LE. (Table 3).

기술 연구의 주제들

Themes from Descriptive Studies

While the vast majority of studies of the LE were quantitative and used standardized measures of the LE, a few descriptive studies used qualitative research methods to explore learners’ perceptions of the LE. (Table 4).

고찰

Discussion

이 범위 검토에 포함된 대부분의 연구는 18개국의 LE에 긍정적인 영향을 미친 개입과 영향에 대해 보고되었다.

The vast majority of studies included in this scoping review reported on interventions and influences that had a positive impact on the LE in 18 different countries

대부분의 연구는 조직적 요소에 집중되었고, 그 다음으로 사회적 요소와 개인적 요소들에 집중되었다. 물리적 공간이나 가상 공간 구성 요소의 영향을 조사한 연구는 거의 없었다.

The majority of studies were focused on the organizational component, followed by the social component and the personal component. Very few studies examined the impact of the physical or virtual space component.

보건직 종사자들의 LE에 어떤 개입이 영향을 미치는가? 표 5

What interventions affect the LE in the health professions? Table 5.

LE의 개인적 구성요소

Personal Component of LE

우리의 LE 모델의 개인적 구성요소는 개별 학습자가 LE와 상호작용하고, LE에 대한 인식을 개발하고, 개인적 성장에 관여하고, 전문직 정체성을 개발하는 방법을 설명한다. 그것은 특정 환경의 심리적, 경험적, 지각적 차원을 설명한다.

The personal component of our LE model describes how individual learners 

• interact with the LE, 

• develop perceptions of the LE, 

• engage in personal growth and 

• develop professional identity. 

It describes the psychological, experiential and perceptual dimensions of a particular setting.

LE의 개인 구성 요소와 긍정적으로 연관된 개입 또는 요인은 다음과 같다. 

• 직접적인 환자 치료에 초점을 맞춘 시간, 

• 동료의 커뮤니티, 

• 좋은 삶의 질과 높은 수준의 복원력, 

• "의미 있는" 장소에서 배우는 것, 그리고 

• 이들을 지원하기 위해 규제된 시스템에 대한 신뢰. 

Interventions or factors positively associated with the personal component of LE included: 

• time focused on direct patient care, 

• having a community of peers, 

• a good quality of life and high levels of resilience, 

• learning in a "meaningful" place, and 

• trust in a regulated system to support them. 

부정적인 연관성을 가진 요소들은 삶의 질이 좋지 않아서 더 많은 감정적 피로, 비소셜화, 그리고 미래의 지구력과 능력에 대한 걱정으로 이어졌다. 이러한 요인들은 개입보다는 학습자의 심리적 특성과 환경에 대한 인식에 더 많은 영향을 미친다.

Factors with negative associations were poor quality of life leading to more emotional exhaustion, depersonalization, and worries about future endurance and capacity. These factors are less about interventions and more about the psychological characteristics of the learners and their perceptions of the environment.

자율성, 목적/목표, 숙달성, 관계성을 강조하는 동기이론 역시 이러한 권고사항과 연관된다(Deci, Koestner 및 Ryan, 1999; Pintrich, 2003). 학습자는 학습의 과정에서 지원을 받는 경우, [학습, 자율성 개발, 더 큰 목표와 목적 추구, 다른 사람들과의 협력]에 대하여 본질적으로 동기를 부여받는다.

Motivation theory, which emphasizes autonomy, purpose/goals, mastery and relatedness also connect with these recommendations (Deci, Koestner and Ryan, 1999; Pintrich, 2003). Learners are intrinsically motivated to learn, develop autonomy, pursue a goal and purpose larger than themselves, and work collaboratively with others, especially if they are supported in the process.

LE의 사회적 구성요소

Social Component of LE

학습의 사회적 요소를 탐구하는 연구는 건설적인 LE를 육성하는데 있어서 대인관계의 중요성을 강화시켰다. 이러한 관계에는 

• 교사 및 학습자(예: 직접 대면 또는 혼합된 지시와 종적 임상 멘토링), 

• 학습자와 학습자(예: 동료 교육 및 지원) 

• 교수와 교수(예: 리더십 퍼포먼스)이 포함된다. 

Studies exploring the social component of learning reinforced the importance of interpersonal relationships in fostering a constructive LE. These relationships include 

• teacher and learner (e.g. face-to-face or blended instruction and longitudinal clinical mentoring), 

• learner to learner (e.g. peer instruction and support), as well as 

• faculty to faculty (e.g. leadership performance). 

기존 연구에서는 학습자와 환자 관계를 다루지 않았다. 이러한 연구는 또한 성과와 관계에 대한 기대치를 설정하고 다시 방문하는 가치뿐만 아니라 종단적 관계의 중요성을 강조했다.

Studies did not address the learner and patient relationship. These studies also underpinned the importance of longitudinal relationships as well as the value of setting and revisiting expectations about performance and relationships.

서술적 연구들은 다음을 강조하였다.

The descriptive studies highlighted the role of a 

• 강한 교육 문화, 

• 강한 역할 모델 기술과 가치, 

• 함께 일하는 여러 수준의 학습자들(예: 동료 교육 가까이)의 역할, 

• strong teaching culture, 

• strong role model skills and values, 

• multiple levels of learners working together (e.g. near peer teaching) as well as 

반대로, 다음을 피해야 함을 강조하였다

the need to avoid 

• 혹사, 

• 불분명한 기대, 

• 불충분한 감독. 

• mistreatment, 

• unclear expectations, and 

• insufficient supervision without feedback. 

팀워크와 LE와의 관계는 우리의 검토에 포함된 연구에서 명시적으로 다루어지지 않았다. 이러한 연구 결과는 위에서 언급한 바와 같이 위치 학습(실무 공동체 및 합법적인 주변적 참여), 위치 인식 및 고의적 실천 이론과 일치한다.

Teamwork and its relationship to LE were not explicitly addressed in the studies included in our review. These findings are consistent with situated learning (communities of practice and legitimate peripheral participation), situated cognition, and deliberate practice theory, as noted above.

LE의 조직적 구성요소

Organizational Component of LE

LE 모델의 조직적 구성요소는 LE들을 서로 비교하는 연구를 통해 가장 자주 연구되었다. 종종, 이러한 대조적인 환경은 LE에 미치는 영향에 대해 특별히 세심하게 설계된 연구보다는 "자연 실험"이었다. 이들 중 

• 대부분은 대안적 커리큘럼 모델(예: 문제 기반 학습, 팀 기반 학습) 또는 

• 특정 커리큘럼 개입(예: 피드백, 교수진 개발, 팀워크 기술) 또는 

• 더 넓은 세팅에서 학교 간 비교(조직 대 도시, 더 큰 학술 기관 내의 대체 임상 설정)

The organizational component of the LE model was most frequently studied through comparative studies of contrasting LEs. Frequently, these contrasting environments were "natural experiments" rather than carefully designed studies specifically of the impact on the LE. Many of these were comparisons of 

• alternative curricular models (e.g., problem-based learning, team-based learning) or 

• specific curricular interventions (e.g., augmenting feedback, faculty development, team-work skills) or 

• larger setting of school comparisons (rural vs urban, alternative clinical settings within a larger academic institution).

이러한 연구의 통제되지 않고 무작위화되지 않은 특성은 결과에 배치할 수 있는 신뢰도를 제한하지만, 그 증거는 일반적으로 일부 환경이 다른 환경보다 더 긍정적으로 인식된다는 것을 나타내는 데 있어 긍정적이다. 긍정적 환경의 특징에는 다음이 포함된다. 

The uncontrolled and non-randomized nature of these studies limits the confidence one can place in the results, but the evidence is generally positive in indicating that some environments are perceived as better than others. These include: 

• 피드백을 강화하고, 존중과 복지를 증진하며, 학대를 줄이기 위한 과정 또는 혁신

• 특정 교수기술보다는 LE에 초점을 맞춘 교수개발 프로그램

• 근무 시간제한 도입, 평가 시스템, 감독 모델, 전담 교육 유닛과 같은 구조적 특징

• 학습자에게 더 많은 주의/관심이 갈 수 있는 시골지역 세팅, 더 작은 임상 장소, 학습 공동체 및 선택적 로테이션

• Courses or innovations to augment feedback, increase respect and well-being, and reduce mistreatment

• Faculty development programs focused on aspects of the LE rather than specific teaching skills

• Structural features like duty hour implementation, grading systems, supervisory models, and dedicated educational units

• Rural settings, smaller clinical placements, learning communities, and elective rotations, which may be surrogates for having more attention given to learners.

조직적 특성이 LE와 어떻게 관련되는지에 대한 역학 관계를 이해하는 것은 우리 모델의 개인적, 사회적 요소에 대한 섹션에서 인용된 사회문화적 및 대인관계적 상호작용의 이론에 근거한다. 그러나 조직적 요소는 또한 LE 연구에서 거의 인용되지 않는 제도적, 조직적 문화에 대한 고려로 이어진다. 조직 변화(Kotter, 1995; Bolman and Deal, 2013), 리더십 모델(Avolio, Walumbwa and Weber, 2009), 시스템 과학(Miller, 1978)은 LE가 상위 수준의 인간 시스템에서 어떻게 기능하는지 더 잘 이해하기 위해 적절하고 유익할 수 있는 몇 가지 개념적 영역이다.

Understanding the dynamics of how organizational features relate to the LE clearly builds on the theories of sociocultural and interpersonal interactions cited in the sections on the personal and social components of our model. However, the organizational component also leads to considerations of institutional and organizational culture that are seldom cited in LE studies. Organizational change (Kotter, 1995; Bolman and Deal, 2013), leadership models (Avolio, Walumbwa and Weber, 2009), and systems science (Miller, 1978)are a few of the conceptual domains that may be relevant and beneficial for better understanding how the LE functions at higher level human systems.

LE의 물리적, 가상적 공간 요소

Physical and Virtual Space Component of LE

LE의 물리적/가상 공간 구성요소는 학습과 실습이 발생하는 교육 및 실습 설정의 물리적 공간과 가상 또는 온라인 학습 공간을 포괄한다.

The physical/virtual space component of the LE encompasses the physical spaces of educational and practice settings in which learning and practice occur, and the virtual or online learning spaces.

이러한 연구 내에서, LE의 물리적 구성요소는 연구의 주요 초점이라기 보다는 주변적이다. 예를 들어, 125명의 보훈병원을 대상으로 한 조사에서 물리적 공간은 LE와 관련된 조사된 4개의 하위 영역 중 하나이다(Cannonet al., 2008). 본 연구는 전공의와 의대생의 경우 병원 시설의 유지와 청결이 LE에 영향을 미친다는 점에 주목한다.

Within these studies, physical components of the LE are peripheral rather than the main focus of the study. For example, in a survey of 125 Veterans’ Affairs hospitals, physical space is one of four investigated subdomains that are associated the LE (Cannonet al., 2008). This study notes that for residents and medical students the maintenance and cleanliness of hospital facilities impacts the LE.

보건 전문 교육 기관이 혼합 학습blended learning을 시행함에 따라 LE의 물리적/가상적 요소에 대한 지식의 필요성이 더욱 뚜렷해질 것이다(Mehtaet al., 2013; Prober and Khan, 2013). 혼합된 학습 접근법을 사용하여, 교수진은 의도적으로 [온라인과 대면으로 연습생을 참여]시켜 둘 모두에서 어포던스를 최적화하도록 교육 계획을 세운다. 혼합 학습은 학습의 일부를 물리적 공간에서 벗어나 온라인으로 이동시키는 반면, 소그룹 학습을 직접적으로 지원하는 물리적 학습 공간에의 기회가 필요하다는 것도 강조한다.

a need for knowledge about physical/virtual components of the LE will become more pronounced as health professions education institutions implement blended learning (Mehtaet al., 2013; Prober and Khan, 2013). Using blended learning approaches, faculty intentionally plan their teaching to engage trainees online and in-person to optimize the affordances of both modalities. While blended learning moves some of the learning out of the physical space and into the ether, it underscores the need for those opportunities in the physical learning space to directly support small group learning.

또 전문직 간 교육과 실습이 늘어나면서 직장 내에 컨퍼런스와 소회의를 할 수 있는 새로운 공간이 필요할 것으로 보인다. 특히 학생들이 아직 비효율적인 학습의 초기 단계에서는 의대생 실습에도 외래 클리닉 공간이 필요하다.

In addition, as interprofessional education and practice increase, new spaces for conferences and huddles in the workplace will be needed. Ambulatory clinic space is also required for medical student practice, especially in the early stages of learning when they are inefficient.

우리는 특히 확장되고 개선된 물리적 공간과 온라인 강좌(AAMC)를 목표로 하는 기금 모금 캠페인에 쏟는 시간과 에너지, 재정적 자원을 감안할 때 물리적 공간과 가상 공간 요소는 우리의 조직 프레임워크에서 네 가지 요소 중 가장 적은 관심을 받았다는 점에 주목한다. 

We note that the physical and virtual space component received the least attention of the four components in our organizational framework, especially given the amount of time, energy and financial resources devoted to fundraising campaigns targeting expanded and improved physical spaces and online courses (Association of American Medical Colleges, no date).

권고

Recommendations

1. 학습 환경을 정의하고 그것이 다양한 교육 결과에 미치는 영향을 연구하기 위한 보다 포괄적인 프레임워크를 제공하기 위한 이론적 개발이 상당히 필요하다. 더 나은 정의적이고 이론적인 명확성의 필요성은 우리의 검토 과정 초기에 명백해졌다. 이러한 명확성의 결여는 우리의 문헌 검색과 우리의 조사 결과를 종합하는 데 있어서 도전이 되었다. 우리는 LE의 정의적이고 이론적인 명확성을 향상시키는 것이 중재에 대한 이해, 목표할 요소 및 연습 격차를 해소하는 중요한 다음 단계라고 믿는다.

1. There is a significant need for theoretical development to provide a more comprehensive framework for both defining the learning environment and studying its impact on various educational outcomes. The need for better definitional and theoretical clarity became evident early in our review process. This lack of clarity led to challenges in constructing our literature search, as well as in synthesizing our findings. We believe that enhancing the definitional and theoretical clarity of the LE is a critical next step to improve our understanding of interventions, the components to target, and addressing practice gaps.

2. 마찬가지로 학습 환경의 척도로서 학습자의 자기보고인식에 지나게  의존하는 것은 그룹과 제도적 수준에서 다른 관점과 LE의 특성을 더 잘 다루는 평가 방법으로 보완할 필요가 있다. 평가 도구의 리뷰를 이용할 수 있으며 일관된 이론적 프레임워크가 없다는 점에 주목한다(Schönrock-Ademaet al., 2012; Colbert-Getz et al., 2014).

2. Similarly, the over-reliance on learner self-reported perceptions as a measure of the learning environment need to be supplemented by assessment methods that better address other viewpoints and the characteristics of the LE at the group and institutional levels. Reviews of assessment instruments are available and note the lack of consistent theoretical frameworks (Schönrock-Ademaet al., 2012; Colbert-Getz et al., 2014).

3. 연구를 요하는 많은 공백이 있다: 환자의 LE에 대한 영향 탐구, 전문가 간 및 전문가 내 팀이 LE에 어떻게 영향을 미치는지 조사하는 것, 그리고 우리 모델에서 복수의 구성요소를 포함하는 중재안의 설계와 테스트가 향후 조사에 가치가 있을 것이다. 마찬가지로, LE를 개선하기 위한 잠재적 개입은 

• 동료의 공동체를 만들고, 

• 특히 전환과 스트레스 시기에 지원을 보장하며, 

• 근무지에서 의미를 강조하며, 

• 개인의 복원력과 자율성을 지원하는 것을 신중하게 고려해야 한다. 

3. There are a number of gaps that warrant research attention: exploring the patient’s impact on the LE, investigating how interprofessional and intra-professional teams influence the LE as well as the design and testing of interventions that are inclusive of multiple components from our model would be worthy of future investigations. Similarly, potential interventions to improve the LE should carefully consider 

• creating a community of peers, 

• ensuring support especially in times of transition and stress, 

• emphasizing meaning in the work, and 

• supporting personal resilience and autonomy. 

학습 설정으로서의 물리적 공간과 가상 공간도 문헌에서 충분히 표현되지 못하고 있다.

Physical and virtual spaces as settings for learning are also under-represented in the literature.

4. 교육학자 및 실무자는 LE의 [맥락적, 배경적 성격]이 그것을 개별 연구에서 명시적으로 식별될 수도 있고 그렇지 않을 수도 있는 구조로 만든다는 것을 인식해야 한다. 예를 들어, 우리의 검색은 LE의 한 요소로 상주 근무 시간에 대한 두 개의 기사(Lachanceet al., 2014; Schumacher 등, 2014)만 반환했다. 분명히 근무 시간 변화가 교육 결과에 미치는 영향을 조사하는 많은 연구들이 있지만, 이러한 근무시간 변화는 "학습 환경"으로 분류되는 일이 적었고, 결국 검색에서 누락되었다. "학습 환경"에 대한 언급이 누락되지 않도록 보다 광범위하게 검색하도록 주의해야 한다. 

4. Educational scholars and practitioners must recognize that the contextual, background nature of the LE makes it a construct that may or may not be explicitly identified in individual studies. For example, our search returned only two articles (Lachanceet al., 2014; Schumacher et al., 2014)on resident duty hours as an element of the LE. There are, obviously, many more articles that examine the impact of duty hour changes on educational outcomes, but these are seldom labeled as "learning environment" and were thus missed in our search. Care must be taken to search more broadly in a given LE intervention to include articles that do NOT mention "learning environment". 

Limitations

Conclusions

요약

Take Home Messages

학습 환경의 역학 관계를 정의하고 그것이 다양한 교육 결과에 미치는 영향을 연구하기 위한 이론적 개발이 상당히 필요하다.

There is a significant need for theoretical development to defining the dynamics of the learning environment and studying its impact on various educational outcomes.

학습 환경의 척도로서 학습자의 자기보고된 인식에 대한 지나친 의존이 있다. 그룹 및 기관 수준에서 LE의 다른 관점과 특성을 더 잘 다루기 위해 다른 평가 방법이 필요하다.

There is an over-reliance on learner self-reported perceptions as a measure of the learning environment. Other assessment methods are needed to better address other viewpoints and characteristics of the LE at the group and institutional levels.

환자가 LE에 미치는 영향을 탐구하는 것과 같은 영역에 추가적인 연구가 필요하다. 

• 전문 팀간 및 전문 팀 간 영향력이 LE에 미치는 영향을 조사하면서 

• 동료의 커뮤니티를 만들고, 

• 특히 전환과 스트레스가 있을 때 지원을 보장하며, 

• 작품에서 의미를 강조함. 

• 개인의 회복력과 자율성을 지지하는 것 

Additional research attention is needed in such areas as exploring the patient’s impact on the LE, 

• investigating how interprofessional and intra-professional teams influence the LE, 

• creating a community of peers, 

• ensuring support especially in times of transition and stress, 

• emphasizing meaning in the work, and 

• supporting personal resilience and autonomy. 

학습 설정으로서의 물리적 공간과 가상 공간도 문헌에서 충분히 표현되지 못하고 있다.

Physical and virtual spaces as settings for learning are also under-represented in the literature.

LE의 상황별 배경 특성은 이를 개별 연구에서 명시적으로 식별하거나 식별하지 않을 수 있는 구조로 만든다. 예를 들어, 근무 시간 변경이 교육 결과에 미치는 영향을 조사하는 많은 기사들이 있지만, 이러한 기사들은 거의 "학습 환경"으로 분류되지 않고, 따라서 우리의 검색에서 누락되었다. "학습 환경"을 언급하지 않는 기사를 포함하도록 주어진 LE 개입에서 광범위하게 검색하도록 주의해야 한다.

The contextual, background nature of the LE makes it a construct that may or may not be explicitly identified in individual studies. For example, there are many articles that examine the impact of duty hour changes on educational outcomes, but these are seldom labeled as "learning environment" and were thus missed in our search. Care must be taken to search broadly in a given LE intervention to include articles that do NOT mention "learning environment".

미래에 대한 학습 준비: 보건전문직 교육의 잃어버린 역량? (Med Educ, 2016)

Preparation for future learning: a missing competency in health professions education?

Maria Mylopoulos,1 Ryan Brydges,2 Nicole N Woods,3 Julian Manzone4 & Daniel L Schwartz5

도입

INTRODUCTION

현재 자료에 따르면, 의사들은 커리어를 쌓아감에 따라 환자들에 대한 경험을 통해 강력한 사례 지식을 개발한다고 한다.2-4 동시에, 의사들은 그들의 임상 문제 해결에 필요하지만, '새로운, 상충되는 정보'를 습득하지 않을 수 있다. 5,6 즉, 의사들이 모든 형태의 환자 치료로부터 지속적으로 배울 준비가 되어있는것은 아님을 시사한다.

Current data suggest that as their careers progress, doctors do develop a strong body of case knowledge through their experiences with patients.2–4 At the same time, doctors may not incorporate ‘novel, conflicting information’ as much as needed into their clinical problem solving,5,6 suggesting that they are not adequately prepared to learn continuously through all forms of patient care.

지속적인 학습을 위해 의사들을 준비하는 데 있어 중요한 어려움은 현재 임상의사 준비의 평가가 후향적/소급적retrospective 경향이 있다는 것이다.

A major challenge in preparing doctors for continued learning is that current assessments of clinician preparation tend to be retrospective.

예를 들어, Tamblyn et al.8에 의한 대규모 데이터베이스 연구는 trainee가 받은 시험점수가 미래의 임상 성과와 일관된 관계를 갖지 않는다는 것을 보여주었다.

For instance, a large database study by Tamblyn et al.8 showed that how trainees scored on their exam did not have a consistent relationship with their future clinical performance.

유사한 연구에서 Asch 등 9.9는 산부인과 의사 면허 시험 점수는 [레지던트 훈련 기관와 출산 합병증 비율 사이의 견고한 관계]에 영향을 미치지 않는다는 것을 발견했다.

In a similar study, Asch et al.9 found that accounting for obstetricians’ licensure exam scores did not affect the robust relationship between location of residency training and birth complication rates in practice.

이 두 가지 연구에서 가장 낙관적이지 않은 해석은 현재의 의료면허시험이 누가 그 직장에서 잘 배울지를 알아내는 데 도움이 되지 않으며, 최고의 레지던트 프로그램에도 등록한다고 해서 의사들이 미래의 학습에 대해 포괄적으로 준비가 되어 있는 것은 아니라는 것이다.

The least optimistic interpretation of these two studies is that current medical licensure exams do not help us identify who will learn well on the job, and that enrollment in even the best residency programmes does not guarantee that doctors are comprehensively prepared for future learning.

현재의 시험은 직접 가르침을 받는 시기를 벗어났을 때, 미래 학습에 얼마나 준비되었느냐보다, 이전에 배운 지식의 적용을 강조한다.

current exams emphasise application of previously learned knowledge rather than preparation for future learning outside of the confines of direct instruction.

미래의 학습을 위한 준비(PFL)는 '[실제 학습과 문제 해결을 지원하기 위해] 새로운 정보를 배우고, 자원을 효과적으로 활용하고, 새로운 procedure를 고안하는 능력'으로 이해된다.10

Preparation for future learning (PFL) is ‘understood as the ability to learn new information, make effective use of resources, and invent new procedures in order to support learning and problem solving in practice’.10

예를 들어, 임상의사가 진료를 할 때, 특히 새롭고 복잡한 상황에서, 그들은 자신의 지식을 유연하게 사용하여 자신이 속한 환자, 사회, 시스템 맥락 안에서 효과적인 해결책을 개발해야 한다.11

For example, as clinicians work, particularly in situations of novelty and complexity, they are required to use their knowledge flexibly to develop an effective solution within the patient, social and system contexts in which they find themselves.11

반대로, adaptive하지 않은 의사들도 여전히 일상적인 문제를 해결할 수는 있지만, 이들은 불확실성, 새로움, 복잡성의 상황에서는 잘 수행하지 못할 가능성이 있다. 더욱이, 그들은 무심코 일상적이지 않은 문제에 일상적인 해결책을 적용하려고 들 수도 있다.5

By contrast, those who are not adaptive can still solve routine problems, but will likely not perform well in situations of uncertainty, novelty or complexity. Moreover, they may inadvertently apply their routine solutions to non-routine problems.5

이 두 가지 형태의 전문지식은 각각 '적응적 전문성'과 '루틴 전문성'으로 설명되어 왔다.7,10 

• 루틴 전문성은 효율성에 대한 프리미엄이 있는 안정적이고 반복적인 작업에 유용하다. 

• 적응적 전문성은 높은 수준의 변동성과 변화가 있을 때 유용하며, 새로운 아이디어와 결과 달성을 위한 방법을 배우는 것이 중요하다.

These two forms of expertise have been described as ‘adaptive’ and ‘routine’, respectively.7,10 Routine expertise is useful for stable, recurrent tasks where there is a premium on efficient completion. Adaptive expertise is useful where there is a high degree of variability and change, and it is important to learn new ideas and ways of accomplishing outcomes.

적응형 전문가들은 과거의 지식을 이용하여 '새로운 것에서 옛 것'을 볼 수 있다. 그들은 또한 필요에 따라 그들의 관행을 재고하고 진화시킴으로써 '오래된 것에서 새로운 것'를 볼 수 있다.

Adaptive experts are able to see the ‘old in the new’ by using their past knowledge. They can also find the ‘new in the old’12 by reconceptualising and evolving their practice as necessary.

의사들이 의료행위를 하는 과정에서, [배울 가치가 있는 새로운 것이 있다]는 강한 신호를 늘상 받는 것은 아니다. 더구나 어떻게 적응해야 하는지에 대한 단서 자체가 자명하지 않을 수도 있다. 사람들이 새로운 학습의 기회를 인식하고 행동하도록 돕는 한 가지 방법은 적응adaptation을 지원하는 환경을 만드는 것이다. 예를 들어, 의료 훈련생들은 익숙한 상황에서도 새로운 것이 무엇일지를 직간접적으로 알려줄 수 있는 전문의와 함께 로테이션을 완료해야 한다13

doctors may not always receive equally strong signals that there is something new that is worth learning in their practice. Moreover, the cues for how to adapt may not be self-evident. One way to help people recognise and act upon opportunities for new learning is to create environments that support adaptation. Medical trainees may, for example, complete their rotations with an expert doctor who may, directly or indirectly, indicate what is new about an otherwise familiar situation.13

보건 직업 교육에서의 현대의 교육 및 평가 시스템은 '루틴 전문성'을 개발하고 유지하는 데 집중되어 있다.14~16 의사가 실습을 하기 전에 반드시 익혀야 하는 기술들이 많이 있으며, 미리 알 수 있는 그러한 기술들에 대해서는 표준 평가가 적당하다. 그러나 의사들이 새로운 것에 적응할 준비가 되어 있는지 결정하기 위해서는 적응적 전문성을 개발하는 것을 목표로 하는 혁신적인 교육 및 평가 설계가 필요하다.

Contemporary systems of instruction and assessment in health professions education are heavily focused on developing and maintaining routine expertise.14–16 There are many skills that doctors must master before they graduate into practice, and for those skills that can be known in advance, standard assessments are adequate. However, to determine whether doctors are prepared to adapt to what is new, we need innovative instructional and assessment designs aimed at developing adaptive expertise.

그림 1은 그들의 논리에 대한 개략도를 제공한다.

Figure 1 provides a schematic of their logic.

저자들은 두 가지 경우에, STP에 대해서는 성과가 유사했지만, TTP문제에 대해서는 성과에 큰 차이가 있다는 것을 발견했다.

The authors found that the two instructional treatments led to similar performance on the standard transfer problem, but there were large differences in performance on the target transfer problem.

의학에서, 이중 전이 설계는 현재 다양한 형태의 교육이 PFL에 미치는 영향을 자세히 설명하는 데 도움이 되고 있다.

In medicine, double transfer designs are now helping to elaborate the impact of different forms of instruction on PFL.22

임상 지식과 기초 생물의학 지식의 통합은 질병 범주에 대한 더 깊은 이해를 만들어, 초보자들로 하여금 고립된 임상 사실에 의해 지식 기반이 지배되는 동료들을 능가할 수 있게 한다. 그러나 이러한 수행능력상의 이득은 지연된 'transfer out' 평가만을 사용하여 연구되어왔다.

The integration of clinical knowledge and basic biomedical knowledge creates a deeper understanding of disease categories, allowing novices to outperform their peers whose knowledge base is dominated by isolated clinical facts. However, this outperformance has been studied only using delayed ‘transfer out’ assessments

그러나 (transfer out 외에도) 새로운 자료를 얼마나 잘 배워서 최종 평가로 옮기는지에 큰 차이가 있었다. 이중 전송 설계는 모든 평가가 다른 형태의 지시의 영향을 가시적으로 만들 수 없다는 점을 강화한다.

there was a significant difference in how well they learned new material and transferred it out to a final assessment. Double transfer designs reinforce the point that not all assessments can make visible the impact of different forms of instruction.

이중 전이 패러다임은 초기 지침의 효과에 대한 상대적으로 부담스러운 시험이다.

The double transfer paradigm is a relatively onerous test of the effectiveness of initial instruction,

(이중 전이 패러다임은) 많은 학습과 시험이 필요하기 때문에 실현 가능성이 잠재적으로 제한된다.

feasibility becomes a potential limitation, given that so many learning and testing episodes are required

그럼에도 불구하고, 전반적 설계는 많은 의사들이 직면하고 있는 실제 상황을 반영하는데, 의학교육 초반에 어떻게 배우는지가 그들이 [새로운 문제를 다루는 방법]에 영향을 미칠 뿐만 아니라, 자신의 [실천을 지속적으로 개선하기 위해 새로운 문제들로부터 배우는지 여부]에도 영향을 미친다.

Nevertheless, the overall design does reflect the situation facing many doctors, whose initial medical instruction not only influences how they handle new problems, but also whether they learn from those problems to improve subsequent practice.

무엇보다, PFL 지향적 교육방식이 효과적이라면, 학생들이 미래에 더 효과적으로 배울 준비가 되었기 때문에, 추가적인 saving이 있을 것이다.

More importantly, if PFL minded instruction is effective, then there will be additional savings down the line, because students have been prepared to learn more effectively in the future.

평가가능한 구인으로서 PFL: 학습 프로세스 측정

PFL AS AN ASSESSABLE CONSTRUCT: MEASURING LEARNING PROCESSES

미래 학습은 기술과 의지에 따라 좌우된다는 가정 하에, 이러한 평가는 미래의 학습을 지원하는 전략을 사용하려는 연습생들의 의지를 포착하기 위한 것이다.

Premised on the assumption that future learning depends on both skill and will, these assessments seek to capture trainees’ willingness to use strategies that support learning in the future.

연구 결과에 따르면 PFL이 보건 직업 교육에 대한 개입의 의도된 결과인 경우, 연구자들은 보다 전략적으로 PFL 관련 행동을 평가해야 한다. PFL관련 행동에는 다음과 같은 것들이 있다.

findings show that if PFL is the intended outcome of an intervention in health profession education, researchers must assess PFL-related behaviours, such as 

• 더 전략적으로 피드백을 구하고, 

• 환자 치료에 대한 적응형 솔루션을 만들고,

• 동료들에게 그것에 대해 가르치고, 

• 다학제 회진에서 좀 더 적절한 질문을 하는 것

• seeking feedback more strategically, 

• creating an adaptive solution to patient care and 

• teaching colleagues about it, and 

• asking more pertinent questions during multidisciplinary rounds.

PFL 관련 행동들은 건강 전문가 교육에서 체계적으로 연구되지 않았다.

PFL-related behaviours have not been systematically studied in health professions education.

연습생들이 학습하는 동안 학습에 필요한 정보를 얻는 방법, 자신의 선택을 선택을 이해하기 위한 노력(예: 어떻게 피드백을 찾는가? 어떤 종류?)

how trainees take action to gain the information needed to learn or seek to capture trainees’ choices as they learn (e.g. How do they seek feedback? What kind?)

참가자들이 자료를 검토하는데 시간을 쓰는 것. 이것은 자신의 오류를 수정하는 방법에 집중했다는 것 뿐만 아니라 (즉, 자신감과 실제 수행능력을 align하기 위해)자신의 성과를 스스로 모니터링하는 것에 집중했다는 것을 보여준다.

how participants spent time reviewing the material revealed that they concentrated on how to correct errors in their performance as well as in how they self-monitored their performance (i.e. to better align confidence and performance).

접근의 두 가지 주요 패턴: (i) 성적이 높은 학생들은 대개 그들의 우수한 성과의 특성을 설명하는 페이지보다는 동료들과 비교하는 방법을 보여주는 페이지를 보았고, (ii) 시험을 '그냥 통과한' 학생들은 웹사이트를 가장 적게 보았다.

two major patterns of access: (i) high performing students mostly viewed pages showing how they compared with peers, rather than pages explaining the nature of their superior performance, and (ii) students who ‘just passed’ the examination viewed the website least often.

학생들이 피드백을 찾는 방식을 연구한 결과, 학생들은 [현재의 학습 요구를 확인하는 것]보다는, 자신의 수행능력에 대한 긍정적인 확신을 얻기 위해 피드백을 사용했다는 것을 암시하여 우려를 자아낸다.

how students seek feedback revealed somewhat worrisome patterns suggesting students used feedback for positive affirmation (‘I’m better than everyone’ or ‘Woo, I passed!’), rather than for identifying current learning needs.

교육자들이 자연스럽게 물을 수 있는 질문은, 그렇다면 미래의 학습을 준비할 수 있는 교육방식이 무엇이냐는 것이다.

the natural question for educators to ask is how to design instruction that prepares trainees for future learning.

증거들은 점점 더 guided discovery과 direct instructional approach을 결합할 수 있는 가능성을 보여주고 있다.30 guided discovery은 학생들이 실제로 해결책이나 설명을 발견해야 한다는 것을 의미하는 것이 아니라, 오히려 학생이 그 과정에 참여해야 한다는 것을 의미한다. guided discovery 학습 활동은 연습생들로 하여금 그들이 결코 문제로서 경험하지 못한 과제에 대해 잘 알고 있는 해결책을 베끼는 것이 아니라, 자신이 해결해야 할 문제에 대한 그들의 이해를 발전시키도록 자극한다.

evidence is increasingly showing the promise of combining guided discovery and direct instructional approaches.30 Guided discovery does not mean that students must actually discover the solution or explanation, but rather that they need to engage in the attempt. Guided discovery learning activities stimulate trainees to develop their understanding of a problem to be solved, in contrast to copying a told solution for a task they never experienced as a problem.

비록 잘 디자인된 발견의 이점들에도 불구하고, 30 guided discovery는 강사의 direct guidance를 받을 때 더 유익해 보인다. 예를 들어, 군사 훈련에서의 학습은 대부분 디브리핑 동안 일어난다. 연습이 없다면, 디브리핑 내용은 공허할 것이지만, 디브리핑을 하지 않으면, 군인들은 그러한 훈련과 다른 훈련들에 적용되는 더 넓은 원칙을 배우지 못할 것이다. 

Although the benefits of well-designed discovery ,30 it seems that guided discovery is highly beneficial when followed by direct guidance from an instructor. For instance, much of the learning from military exercises occurs during the debriefing. Without the exercises, the debriefing would be hollow, but without the debrief-ing, soldiers would not learn the broader principles that apply to those exercises and others. 

실험 교육 연구는 유사한 결론에 도달했다. 예를 들어, 초등학생들을 대상으로 한 연구는 "발견 후 설명" 집단이 "설명 후 발견" 집단에 비해 뛰어난 개념적 지식을 나타낸다는 것을 보여주었다.

Experimental education research has reached similar conclusions. For example, a study of primary school students showed that a discover-then-tell group displayed superior conceptual knowledge compared with a tell-then-practice group

대부분의 커리큘럼에서, 먼저 강의가 진행된 이후 학생들이 연습하도록 하는 것이 일반적인 접근법임을 감안할 때, 발견-후-설명을 지지하는 증거는 논쟁적이다. 강사와 연습생 모두의 시간을 더 효율적으로 사용하는 것처럼 보이는 초기 직접 교육은 연습생의 초점을 지나치게 협소화시킬 위험을 가져온다. 훈련생들은 해결책이 적용되는 문제의 본질에 대한 주의를 흐리게 하는 설명된 해결책에 주의를 기울인다.

Given that the conventional approach in most curricula is to lecture first and allow trainees to practise second, the increasing evidence supporting the discover-then-tell sequence is controversial. Initial direct instruction, which seems to be a more efficient use of both instructors’ and trainees’ time, brings with it the danger of overly narrowing a trainee’s focus. Trainees pay attention to the told solution, which overshadows their attention to the nature of the problem to which the solution applies.

선교육 후발견 방식에서, 종종 학생들은 자신의 지식을 활성화하고 문제를 이해하고 해결하는 (비록 틀렸더라도) 여러 가지 잠재적 경로를 경험하지 않고 '올바른 대답'에만 관심을 갖는다

Tell-first instruction often emphasises ‘correct answers’ without allowing trainees to activate their own knowledge and to experience multiple potential (albeit incorrect) pathways to comprehending and solving a problem.

전반적으로, PFL 관련 지표에 대한 지침 설계 관련 문헌은 개방형 학습 활동 중 '생산적 실패'를 허용하는 훈련이 학습을 강화시키는 도전적인 조건을 조성한다는 것을 시사한다.32 이러한 형태의 지침은 실제 환자 사례에서 임상의사가 경험하는 조건을 authentic하게 보여줄 강력한 기회를 제공한다. 즉, 의사들은 자신이 문제가 있다는 것을 인식하고 정의해야 하며, 문제를 자신의 지식과 연관시켜야 하며, 늘 그런 것은 아니더라도, 여러 가지 잠재적 해결책을 만드는 과정에서 실패를 경험할 가능성이 높다.

Overall, the literature relating instructional designs to PFL-related metrics suggests that training that permits ‘productive failure’ during open-ended learning activities creates challenging conditions that enhance learning.32 these forms of instruction offer a powerful opportunity that authentically represents the conditions clinicians experience during challenging patient cases in practice: they must recognise and define that they have a problem, they must relate the problem to their own knowledge, and they will likely, though not necessarily, fail as they create multiple potential solutions.

나아가기: 보건전문직 교육의 PFL

MOVING FORWARD: PFL IN HEALTH PROFESSIONS EDUCATION

어떤 교육적 설계가 PFL을 장려하는가? 첫 단계는 적응형 전문지식과 PFL 관련 행동에 대한 경험적 근거의 이해를 개발하는 것이다. 

• 강의실 맥락에서, 연구는 PFL 평가에서 어떤 교육설계가 개선된 결과를 초래하는지, 또한 초기 학습 중에 관찰된 행동과 전략은 PFL 평가 결과와 상관관계가 있는지 탐구할 필요가 있을 것이다. 

• 임상적 맥락에서 연구는 실제 적응형 전문가 활동이 의료 사업장에서 어떻게 전개되는지를 탐구할 필요가 있을 것이다.36–38

To identify which instructional designs encourage PFL, a foundational step will be to develop an empirically grounded understanding of adaptive expertise broadly and PFL-related behaviours specifically. 

• In the classroom context, studies will need to explore which instructional designs result in improved performance on PFL assessments, as well as which behaviours and strategies observed during initial learning correlate with PFL assessment outcomes. 

• In the clinical context, studies will need to explore how real-world adaptive expert activity unfolds in the health care workplace.36–38

사회문화적 관점에서, authentic 학습 기회와 잘 조화된 평가가 강력한 교육 촉매라는 것을 시사하는 증거가 형성되고 있다.40

From a sociocultural perspective, evidence is building to suggest that assessments that map onto authentic learning opportunities are powerful educational catalysts.40

예를 들어, 한 최근의 연구는 의료의 질과 임상 효율을 강조하기 때문에 임상 환경에서 학습하는 시간이 제한될 수 있다는 것을 보여주었다.41

For example, one recent study showed that time for learning in the clinical context may be limited due to the emphasis on quality of health care and clinical efficiency (i.e. ‘getting the patient out’).41

마지막으로, 현대의 대부분의 의료면허시험은 과거의 지식을 입증하는 것에 초점을 두고 있으며, 이러한 스냅샷 방식의, 격리된 평가는 trainee로 하여금 루틴 전문성 개발만을 우선시하는 고정적인 학습 관점을 배양한다. 

Finally, most, if not all, contemporary medical licensure examinations employ a form of snapshot, sequestered assessment, which emphasises demonstrating past knowledge and cultivates a static perspective of learning that can lead trainees to prioritise developing routine expertise alone.

결론

CONCLUSIONS

더 넓은 점은 새로운 평가 시스템에서 바람직한 능력으로서 PFL을 캡슐화하여 모든 전문 지식을 평가할 수 있는 교육자의 능력을 확대하는 것이다.

The broader point is to encapsulate PFL as a desirable capability in new assessment systems, thereby expanding educators’ abilities to assess all facets of expertise.

모든 교육 및 평가 시스템의 궁극적인 목표는 연습생들이 

• 기존에 쓰던 유용한 전략을 복제하여 새로운 것에서 오래된 것을 볼 수 있도록 하고, 

• 새로운 적응 전략을 혁신하고 탐구함으로써 오래된 것에서 새로운 것을 볼 수 있도록 하는 것이다.12

The ultimate goal of any system of instruction and assessment is to enable trainees 

• to see the old in the new by replicating previously useful strategies, and 

• to see the new in the old by innovating and exploring new adaptive strategies.12

PFL이 적응형 전문지식에 중요하긴 하지만, 일부 임상실무 환경에서 학습이 항상 목표는 아니며, 마찬가지로 일부 교육 환경에서는 항상 PFL이 목표가 되는 것은 아니다. 모든 문제가 혁신이 필요한 것은 아니다. 일상적인 문제를 해결하기 위해 지식을 효율적으로 적용하거나 복제하는 임상의는 효과적인 실천의 핵심 측면을 보여주고 있다.43

Although PFL is critical to adaptive expertise, in some clinical practice settings learning is not always the goal and, likewise, in some education settings PFL is not always the goal. Not every problem requires innovation. A clinician who efficiently applies or replicates knowledge to solve routine problems is exhibiting a key aspect of effective practice.43

교육자와 연구자는 자신의 교육 설계가 학습 경험의 원하는 결과와 어떻게 일치하는지 신중하게 고려할 때 이러한 전문 지식의 여러 측면에 주의를 기울여야 한다(예: 보존, 이전 또는 이전할 것인지).

Educators and researchers must attend to these multiple facets of expertise as they carefully consider how their instructional designs align with the desired outcomes of a learning experience (e.g. do we want to cultivate retention, transfer in or transfer out?).

4 Mylopoulos M, Lohfeld L, Norman GR, Dhaliwal G, Eva KW. Renowned physicians’ perceptions of expert diagnostic practice. Acad Med 2012; 87 (10):1413–7.

34 Asch DA, Weinstein DF. Innovation in medical (9):794–5. education. N Engl J Med 2014;

Med Educ. 2016 Jan;50(1):115-23. doi: 10.1111/medu.12893.

Preparation for future learning: a missing competency in health professions education?

원인과 효과: 기초과학의 인지적 통합을 위한 메커니즘과 방법 검증(Acad Med, 2015)

Cause and Effect: Testing a Mechanism and Method for the Cognitive Integration of Basic Science

Kulamakan Kulasegaram, PhD, Julian C. Manzone, MSc, Cheryl Ku, MSc, Aimee Skye, PhD, Veronica Wadey, MD, and Nicole N. Woods, PhD

기초과학을 통합하는 것은 학부 의학의 영원한 고민이다.

Integrating basic science is an enduring concern for undergraduate medical education.

우리는 최근에 학부 의과정에 기초과학의 성공적인 통합의 증거를 위해 8개의 문헌을 검토했다. 통합은 종종 커리큘럼의 모든 수준에서 설명되었지만, 9,10 통합 방법에 대한 가장 설득력 있는 증거는 교육 세션 수준의 연구들에서 발견되었다.

we recently reviewed8 the literature for evidence of successful integration of basic science in undergraduate medical curricula. Although integration was often described at all levels of the curriculum,9,10 the most compelling evidence for how to successfully integrate was found in studies at the level of teaching sessions.

또 통합은 기초과학과 임상과학의 관계를 형성하는 방식으로 기초과학 정보를 제시해야 한다는 의견도 제시했다.

The review also suggested that integration requires presenting basic science information in a manner that creates relationships between basic and clinical science.

우즈17 등은 이런 관계 형성의 이점을 '개념적 공생conceptual coherence'의 창조라고 규정했다. 개념적으로 일관된 임상 및 기초 과학 정보의 정신 표상을 개발하면 학습자가 임상 문제에서 의미를 찾는데 도움이 될 수 있다17;

Woods17 and others have labeled the advantage of this relationship formation as the creation of “conceptual coherence.” Developing a conceptually coherent mental representation of clinical and basic science information can help learners find meaning in clinical problems17;

이 모델은 유망하지만, 개념적 공생과 그에 따른 통합을 어떻게 가장 잘 만들 것인가에 대한 해답이 없는 질문들이 있다.

Although this model is promising, there are unanswered questions as to how best to create conceptual coherence and thus integration.

한 가지 선호하는 옵션은 기초과학 지식과 임상 개념의 가르침 사이의 시간적, 공간적 거리를 줄이는 것 또는 더 나아가 개념적으로 구별된 두 개념을 동시에 제시하는 것이다.

One favored8 option is to decrease the temporal and spatial distance between the teaching of basic science knowledge and clinical concepts or even to present them simultaneously while keeping both areas conceptually distinct.

교육을 동시화synchronize하는 것 또는 정렬하는 것은 의학 교육에서 일반적인 통합 방법21,22이며, 하든의 통합 사다리에서도 다루고 있다.

Synchronizing or aligning teaching is a common method of integration in medical education21,22 and is addressed in Harden’s23 Integration Ladder.

개념적 공생은 통합이 궁극적으로 학습자의 인지 활동이라는 가설을 전제로 한다. 다른 연구에서 입증되었듯이, 이것은 쉽거나 자발적인 과정이 아니라 숙고와 노력이 필요하다. 우리는 인지 통합이 특정 기초과학 메커니즘과 학습자에게 임상적 특징 사이의 관계를 명시적으로 노출시킬 것을 주장한다.

Conceptual coherence is premised on the hypothesis that integration is ultimately a cognitive activity of the learner. As evidenced by other work, this is not an easy or spontaneous process24–27 but is deliberate and effortful. We argue that cognitive integration requires explicitly exposing relationships11–16 between specific basic science mechanisms and clinical features to learners.

예를 들어, 뇌척수증의 진단

For example, the diagnosis of a brainstem stroke

통합을 위해서, 개념적 공생 모델을 따른다면, brainstem의 생리적, 해부학적 기능과의 관계(예: 안구 근육을 제어하는 신경은 뇌계에서 발생하며 기능 상실은 이중 시력으로 이어진다)와 함께 각각의 징후나 증상을 제시할 것을 제안할 것이다.

for integration, the conceptual coherence model would suggest presenting each sign or symptom along with its relationship to the physiology and anatomy functions of the brainstem (e.g., the nerves that control eyeball muscles arise in the brainstem, and loss of their function leads to double vision).

이 방법은 인과관계를 노출하는 통합방법으로서, 학습자에게 holistic presentation을 할 것을 요구한다.15 이러한 인과관계 임베딩이 더 효과적일 수 있지만, 또한 더 노동집약적이고 자원집약적일 수 있다. 교육자료는 종종 이런 식으로 만들어지지 않는다. 8 그리고 모든 개념이 이런 방식으로 정복될 수 있는 것은 아니다.

This method of creating integration—exposing causal relationships—requires a holistic presentation to learners.15 Although this causal embedding may be more efficacious, it may also be more laborious and resource intensive. Instructional materials are often not created this way, 8 and not all concepts can be mastered in this fashion.

방법

Method

집단

Population

First-year에 대학생 의료(nx82), 보조(nx9)간호대 학생들은 토론토 대학과 그랜트 MacEwan 대학에서(n=10)이 연구를 신규 채용되었다.2011년과 2014년까지 실시되었다.

First-year undergraduate medical (n = 82), physician assistant (n = 9), and nursing students (n = 10) at the University of Toronto and Grant MacEwan University were recruited for this study, which was conducted between 2011 and 2014.

참가자는 네 가지 연구 조건 중 하나에 무작위로 할당되었다. 

Participants were randomly allocated to one of four study conditions: 

• (1) 과학 기반 인과적 설명(SC)을 사용하여 특정 임상적 특징과 기초 과학 지식을 연결하는 단락을 제공했다. 

• (2) 먼저 기초과학과 분리한 후 임상적 특징을 나타내며, 기초과학에 이어 임상적 특징(BC)을 기술하는 단락을 제공했다. 

• (3) 임상적 특징으로 분리한 후 기초과학(CB)을 사용한다. 

• (4) 임상적 특징 목록(FL)으로, 관련 역학과 함께 진단을 위한 관련 징후 및 증상의 단락을 제공했다.

• (1) science-based causal explanations, which provided a paragraph linking specific clinical features to basic science knowledge using cause-and-effect-type explanations (SC); 

• (2) separated with basic science first followed by clinical features, which provided a paragraph describing the basic science followed by the clinical features (BC); 

• (3) separated with clinical features followed by basic science (CB); and 

• (4) a clinical feature list (FL), which provided a paragraph of the relevant signs and symptoms for diagnosis along with relevant epidemiology.

In the SC group, the same content was presented as the separated groups but rewritten to explain the causal links between a component of anatomy and physiology and the clinical features. Participants in this condition were exposed to cause-and-effect narratives that highlighted the reason for observing a specific sign or symptom using a basic science mechanism relevant to the disorder.

설명의 모든 유형의 예를 들어, 표 1참조하십시오.

For an example of all types of explanations, see Table 1.

암기 시험

Memory testing

두가지 형태의 시험이 이 연구에 사용되었다. 기억 시험을 8개의 true-or-false 문제, 객관식 문제, 간략한 short-answer 질문 순이다. 질문은 지식의 설명에서 리콜을 측정하기 위해 고안되었다. 이 시험은 학생들에게 정답의 형태로 피드백을 제공했다. 두 가지 버전이 균형 조정을 위해 만들어졌으며, 참가자의 절반이 즉시 또는 지연된 테스트에서 각 버전을 보았다. 기억력 테스트는 전문가 임상의에 의해 만들어졌고 다른 독립적인 임상 전문가에 의해 검증되었다.

Two types of testing were used in this study. A memory test consisting of eight true-or-false and multiple-choice questions followed by brief short-answer questions. The questions were designed to measure recall of knowledge from the explanations. This test provided feedback in the form of the right answer for students. Two versions were created for counterbalancing with half of participants seeing each version at either immediate or delayed testing. The memory test was created by an expert clinician and verified by another independent clinical expert.

진단 시험

Diagnostic testing

진단 테스트는 학생들이 네 가지 가능한 장애 목록으로부터 정확한 진단을 식별해야 하는 12개의 임상 기록으로 구성되었다. 각 vignette는 환자의 인구통계에 대한 설명을 제공했으며, 기초 장애와 관련된 4-5개의 징후와 증상으로 구성되었다. 또한 즉각 테스트와 지연 테스트에서 균형 잡힌 관리를 통해 총 24개의 사례에 대해 두 가지 버전이 생성되었다. 각 테스트에 대한 총 시간과 vignette당 시간 데이터도 수집되었다. 

The diagnostic test consisted of 12 clinical vignettes for which students had to identify the correct diagnosis from a list of four possible disorders. Each vignette provided a description of a patient’s demographics and consisted of four or five signs and symptoms associated with the underlying disorder. Two versions were also created for a total of 24 cases with counterbalanced administration at immediate and delayed testing. Data on total time for each test and time per vignette were also collected. 

이러한 시험사례는 우리의 학습 자료와 마찬가지로 학부 실습생들을 가르친 경험이 있는 전문 임상의사에 의해 만들어졌으며, 또 다른 독립적인 임상 전문가에 의해 추가로 검증되었다. 이 사례들은 유사한 프로토콜과 자극을 사용한 기초과학 통합에 관한 세 가지 이전 연구에서 사용되었다.11–13 이 평가들은 기존 연구에서 의대생의 학습과 진단 추리 과정을 연구하기 위한 목적으로 적절함이 입증되었다. 임상 환경에서의 성과로 전이하는 것은 이러한 자료로 평가되지 않았지만, 우리는 이 자료들이 보건전문직 학생들의 학습 메커니즘을 연구하는 데 적합하다고 생각했다.

These test cases, as with our learning materials, were created by an expert clinician with experience in teaching undergraduate trainees and further validated by another independent clinical expert. The cases were used in three previous studies of basic science integration using a similar protocol and stimulus.11–13 These assessments have previously demonstrated adequate measurement properties for the purposes of studying medical students’ learning and diagnostic reasoning processes. Although transfer to performance in clinical settings has not been assessed with these materials, we deemed them appropriate for studying the mechanisms of learning in health professions students.

절차

Procedures

참가자들은 맞춤 설계된 컴퓨터 프로그램을 사용하여 개별적으로 이 연구를 완료했다. 프로그램 작동 방법과 연구의 흐름에 대한 지침을 받은 후, 참가자들은 테스트로 이동하기 전에 각각의 설명을 주의 깊게 읽도록 요청 받았다. 참가자는 시험 중 시간이 제한되지는 않았지만 학습 단계에서는 30분 이상 허용되지 않았다. 

Participants completed this study individually using a custom-designed computer program. After receiving instructions on how to operate the program and the flow of the study, participants were asked to read each explanation carefully prior to moving on to the tests. Participants were not allowed more than 30 minutes during the learning phase, though they were not time restricted during testing. 

참가자들은 먼저 메모리 테스트를 완료한 후 진단 테스트를 완료했다. 진단 테스트에 대한 피드백이 제공되지 않았다. 1주일 후에, 참가자들은 다시 시험을 보기 위해 돌아왔다. 참가자들은 학습한 장애의 이름을 간략히 상기시켜 주고, 그 후에 진단 테스트의 대체 버전과 대체 메모리 테스트를 실시하였다. 참가자가 기억력 테스트에 의해 준비되지 않았고 진단에 대한 성과가 참가자의 이전 학습에 기초하도록 시험 응시 순서를 변경했다. 설계 및 절차에 대한 요약은 그림 1을 참조하십시오.

Participants first completed the memory test followed by the diagnostic test. No feedback was given for the diagnostic test. After a one-week delay, participants returned for testing again. Participants were briefly given a reminder of the names of the disorders they learned, after which they took the alternate versions of the diagnostic test followed by the alternate memory test. The order of test taking was switched to ensure that participants were not primed by the memory test and so that performance on diagnosis was based on participants’ previous learning. Please see Figure 1 for a summary of the design and procedure.

분석

Analysis

1차 분석은 대상 간 요인(FL, BC, CB, SC)을 그룹(FL, CB, SC)으로 하는 공분산(ANCOVA)의 혼합된 반복측정 분석을 사용하여 진단 테스트(즉시 및 지연)에 대한 성능이었다.

The primary analysis was performance on the diagnostic test using a mixed, repeated-measures analysis of covariance (ANCOVA) with group (FL, BC, CB, SC) as the between-subjects factor and test (immediate and delayed) as the repeated factor.

결과

Results

테스트 시 vignette/case당 학습 시간과 시간에 대한 그룹 간의 차이는 통계적으로 유의하지 않았지만(F[3,94] = 0.54, P < 0.63; F[3,94] = 0.12, P < 2.8) 지연 시 총 스터디 시간과 진단 테스트 성능 사이의 약하지만 유의한 상관관계를 감지했다(r = 0.26, P <01).t 또한 즉각적인 진단(r = 0.27, P < .008) 및 지연 진단 테스트(r = 0.29, P < .005)에 대한 즉각적인 테스트.

Differences between groups for time on learning and time per vignette/case at testing were not statistically significant (F[3,94] = 0.54, P < .63; F[3,94] = 0.12, P < .28); however, we detected weak but significant correlations between total study time and diagnostic test performance at delay (r = 0.26, P < .01), as well as with time per vignette at immediate testing for both immediate diagnostic (r = 0.27, P < .008) and delayed diagnostic testing (r = 0.29, P < .005).

메모리 테스트(F[3,92] = 3.1, P < 04, η 2 = 0.056)의 복수 선택 및 참/거짓 부분에 대한 지연의 통계적으로 유의한 영향을 감지했으며, 1의 참가자는 지연에서 73%로, 68%로 떨어졌다. 4개 그룹(F[3,92] = 0.59, P < .73) 또는 시간 지연과의 상호작용(F[3,92] = 1.12, P < .14)에는 유의미한 차이가 없었다. 메모리 테스트의 성능은 즉각적인 진단 평가(r = -0.11, P < .48) 또는 지연 테스트(r = 0.15, P < .32)에서의 성능과는 상관관계가 없었다.

We detected a statistically significant effect of delay on the multiple-choice and true/false sections of the memory test (F[3,92] = 3.1, P < .04, η 2 = 0.056), with participants at time 1 scoring at 73% with a drop to 68% at delay. There was no significant difference between the four groups (F[3,92] = 0.59, P < .73) or interaction with time delay (F[3,92] = 1.12, P < .14). Performance on the memory test was not correlated with performance on the diagnostic assessment at either immediate (r = −0.11, P < .48) or delayed testing (r = 0.15, P < .32).

즉시 및 지연 진단 테스트의 표준 오류와 함께 그룹별 평균 성능을 그림 2에 요약하였다.

Average performance by group along with standard error on the immediate and delayed diagnostic test is summarized in Figure 2.

Discussion

우리의 결과는 즉각적인 테스트에서는 모든 그룹이 진단 작업에서 유사한 성능을 보였다는 것을 보여주었다. 모든 그룹이 지연에서 성능 저하를 경험했지만 원인 설명 그룹은 가장 작은 하락을 보였다. 대조적으로, 기초 과학 설명이 없었던 그룹, 그리고 기초 과학보다 먼저 임상적 특징을 설명한 그룹들은 지연 시험에서 20% 이상 감소를 경험했다. 임상적 특징보다 기초과학을 먼저 학습한 집단은 감소가 더 적었지만, 여전히 지연시험에서 이 집단보다 인과적 설명을 받은 집단이 더 높은 성과를 보였다.

Our results revealed that at immediate testing, all groups had similar performance on the diagnostic task. Although all groups experienced a drop in performance at delay, the causal explanation group experienced the smallest drop. In contrast, the groups taught without basic science and with clinical features preceding basic science experienced a drop of 20% or more at delayed testing. Although the group with basic science preceding clinical features experienced a smaller drop, this group was still outperformed by the causal explanation group at the delayed test.

이러한 결과는 임상 추론에서 기초 과학의 가치를 연구한 다른 연구자들의 연구 결과와 일치한다.18,19,28

These results are consistent with findings by other researchers who have examined the value of basic sciences in clinical reasoning.18,19,28

이 연구의 결과는 단순히 기초과학을 임상 지식에 근접하게 제시하는 것만으로는 통합적 이익을 보장하지 못할 수 있다는 것을 시사한다. 대신에, 우리의 연구결과는 통합적인 이해를 위해서는 holistic contents를 만들 필요가 있다는 것을 암시한다. 그 결과는 인지 활동으로서의 통합이란, [다른 유형의 지식들 사이의 연결의 생성]이라는 점점 늘어나는 연구결과들과도 일치한다.28,29 이처럼 (기초와 임상의) 연결을 명확히 노출된 형태로 교육 자료를 제시함으로써 학습자들을 통합적 이해를 갖출 수 있게 한다. 

The results from this study suggest that simply presenting basic science in close proximity to clinical knowledge may not guarantee the putative benefits of integration. Instead, our findings suggest that integrated understanding requires the creation of holistic content. The results are consistent with and add to a growing body of literature which argues that integration as a cognitive activity is best understood as the creation of connections between different types of knowledge.28,29 Presenting instructional materials in a form that already exposes these connections likely enables learners to form an integrated understanding.

기초과학 지식을 먼저 교육받은 그룹은 임상적 특징을 먼저 교육 받은 그룹보다 retention시험에서 높은 점수를 받았다. 이러한 차이에 대한 한 가지 설명은 프레젠테이션 순서가 자료의 목적적합성에 대한 평가나 프라이머시 효과를 만든다는 것이다. 임상적 특징을 먼저 제공하는 것은 참가자들이 이 정보를 더 중요하게 여기고 기초 과학 콘텐츠에 대한 관심을 줄이도록 이끌었을 수 있다. 다른 연구자들은 학생들이 임상 내용에 비해 기초과학의 관련성에 대한 평가가 낮을 수 있으며, 이 메커니즘이 작동 중일 수 있다고 지적했다.

the group receiving the basic science knowledge first having higher scores at the retention test compared with the group that received the clinical features first. One explanation for this difference is that the order of presentation creates a primacy effect or an appraisal of relevance of the material. Providing clinical features first may have led participants to consider this information to be more important and to reduce their attention to basic science content. Other researchers have noted that students may have a lower appraisal of the relevance of basic science32 compared with clinical content, and this mechanism may be at play.

우리의 결과는 기초과학 가르침의 가치를 극대화하는 방법으로서 개념적 일관성conceptual coherence 모델과 인과적 설명에 증거를 제공한다.

Our results lend evidence to the conceptual coherence model and causal explanations as ways of maximizing the value of basic science teaching.

기초과학을 맥락에 따라 내장embed하여 가르치는 것은 학습자가 기초과학의 임상적 개념과의 연결 및 그 의미를 볼 수 있도록 한다. 이것은 또한 보다 전문가와 같은 임상 스키마를 만들기 위한 비계를 지원한다.19,20 비록 이것이 직관적으로 보이지만, 이것을 실천으로 변환하는 것이 간단하지 않을 수 있음을 암시한다. 인지 통합을 촉진하려면, 특정 콘텐츠 수준에서 인과 관계를 보여주는 고도로 상세하고 주의 깊은 조작manipulation이 필요할 수 있다.

Teaching basic science in an embedded, contextualized manner allows learners to see connections and meaning in clinical concepts; this also supports scaffolding for building more expert-like clinical schemas.19,20 Although this may be an intuitive concept, our results suggest that translating this into practice may not be straightforward. It may require highly detailed and attentive manipulation to causal relationships at the level of specific content to facilitate cognitive integration.

그러나 통합을 이러한 관점으로 바라보는 기존 커리큘럼은 거의 없다. 그보다, 시간적으로 분리해두었지만 근접하게 배치한 상태를 "통합"이라 묘사할 가능성이 더 높다.8

However, few curricula create integration with this perspective. Instead, a scaled version of our separated but proximate conditions is more likely to be described as integration.8

비록 기초 과학교육과 임상의학교육을 시간적으로 점점 더 가까이 두는 것이 가치 있는 일일 수 있지만, 우리의 결과는 이것이 특정한 개념을 서로 의도적으로 연결하는 것만큼 효과적이지 않을 수 있다는 것을 암시한다. 즉 기초과학과 임상개념 강의를 연속적으로 하는 것, 또는 같은 날이나 같은 주에 하는 것은 통합을 보장하지 않는다. 근접성은 통합의 기회를 만들 수도 있지만, 궁극적으로는 교사들과 학습자들에 의해 능동적이고 목적적인 연계가 이루어져야 하는 것이다.

Although increasing proximity with basic science teaching can be valuable, our results suggest that this might not be as efficacious as purposefully linking discrete and specific concepts together. In other words, putting a basic science and a clinical concepts lecture back-to-back, or on the same day or week, is no guarantee of integration. Proximity may create an opportunity for integration, but ultimately, it seems that active, purposeful linkages must be made by teachers and learners.

우리는 통합의 메커니즘을 명확히 하기 위해 해부학과 생리학을 이 연구의 기본 과학 내용으로 하는 인과적 설명을 사용했다. 그러나 많은 장애들은 복잡한 사회적, 구조적 원인을 포함한다. 게다가 여러 질병들은 기본적인 과학 메커니즘의 관점에서 원인을 잘 이해하지 못했다. 분명히, 인과적 설명이 모든 상태나 임상 활동에 적합하지 않을 수 있다.

We used causal explanations with anatomy and physiology as the basic science content for this study to clarify mechanisms of integration. But many disorders involve complex social and structural causes. Furthermore, several diseases have poorly understood causes from the perspective of basic science mechanisms. Clearly, causal explanations may not be appropriate for every condition or clinical activity.

원인 설명은 통합을 뒷받침하는 많은 가능한 방법들 중 하나일 것이다. 다른 교수 형식과 실습(예: 문제 기반 학습, 사례 기반 학습, 실무 경험)은 개념 일관성 개발을 지원하는 한 통합을 지원하는 데 기능할 수 있다. 일상적인 가르침의 맥락에서, 교사들이 지식 영역 간의 관계를 만들고 통합을 지원할 수 있는 다양한 방법이 있을 것이다. 여러 가지 유사한 전략을 사용하는 기초 과학의 상황 파악은 학습자에게 가장 큰 영향을 미칠 수 있다.

Causal explanations are likely only one of many possible ways to support integration. Other teaching formats and practice (e.g., problem-based learning, case-based learning, practical experiences) may function to support integration, so long as they support the development of conceptual coherence. In the context of everyday teaching, there are likely multiple ways teachers can create relationships between knowledge domains and support integration. Contextualization of basic science using multiple, similar strategies may have the greatest impact on learners.

결론

Conclusions

이 개념적 일관성은 두 도메인이 뚜렷하게 그러나 근접하게 제시되어 있을 때에도 자발적으로 발생하는 것이 아니다. 진단 추론을 이용하려면 학습자가 연결과 관계에 직접 노출되어야 한다.

This conceptual coherence does not occur spontaneously, even when both domains are presented distinctly but in proximity. To benefit diagnostic reasoning, learners must be exposed directly to the connections and relationships.

Cause and Effect: Testing a Mechanism and Method for the Cognitive Integration of BasicScience.

전이를 최적화하기 위한 기초의학교육(Med Teach, 2009)

Teaching basic science to optimize transfer

GEOFF NORMAN

McMaster University, Canada

Flexner 시대 이후, 전 세계의 의학 교육은 2년 이상의 전임상 교육과, 이어지는 비슷한 기간의 임상 훈련 시간으로 구성되었다. 그러한 arrangement는 의료행위를 생물학, 심리학 및 기타 분야의 과학적 기반과 연결시키는 Flexner의 우려를 정당화한다. 그러나 이러한 보편적 접근의 기반은 학습의 본질에 대한 100년도 넘은 오래된 관점이다; 즉, "기초"과목을 먼저 배우고, 그 이후에 그 과목과 관련된 일반적 "mental faculties"를 심어준다는 생각이다.

Since the time of Flexner, medical education worldwide has consisted of 2 or more years of preclinical education followed by an equivalent time of clinical training. Such an arrangement legitimizes Flexner’s concerns about linking the practice of medicine to the scientific underpinnings in biology, psychology, and other disciplines. Yet this universal approach rests on a century old perspective on the nature of learning; the notion that there are ‘‘foundational’’ subjects that can be taught early, and will inculcate general ‘‘mental faculties’’ related to the subject matter.

1950년대까지 이 철학을 인용한 교육자들은, [라틴어가 모든 서양 언어의 근본이고 철학이 과학의 기초]라는 입장을 취하여, 공립학교 학생들에게 라틴어 강좌와 논리학을 강요하였다. 슬프게도, 그러한 관행에 의해 길러진 "general mental facilities"의 개념은 손다이크(1913년)에 의해 틀리다는 것이 증명되었지만, 그 관습은 이후에도 적어도 50년은 더 지속되었다.

Until the 1950s, educators who ascribed to this philosophy took the position that Latin was the underlying foundation of all Western languages, and philosophy was the basis of science, so inflicted courses in Latin and logic on public school students. Sadly, although the notion of ‘‘general mental facilities’’ fostered by such practices was disproved by Thorndike (1913), the practice survived for at least another 50 years.

그러나 교육학에 대한 이와 같은 역사적 관점과 더불어, 심리학은 행동주의에 의해 지배되었는데, 행동주의의 기본 전제는 모든 학습은 (특정)자극에 따른 반응에 해당하며 일반화되지 않는다는 것이다. 이 이론적 틀에서, 모든 반응은 특정한 자극에 조건화되기 때문에, 그 반응이 새로운 상황에 일반화되는 것은 도저히 가능하지 않았다.

However, paralleling this historical view in education, psychology in the last century was dominated by behaviorism, whose fundamental premise is that all learning amount to stimulus – response links, with no generalization. From this theoretical framework, generalization to novel situations was simply not possible, since all responses are conditioned to specific stimuli.

일반화와 전이현상에 대한 보다 온건한 견해가 1960년대부터 시작된 인지심리의 혁명으로 나타났다. 초기에, 인지에 대한 은유로서 심리학에서는 '장기 기억', '작업 기억', '감각 입력 시스템'과 같은 컴퓨터에서의 개념을 사용하였다. 인지적 관점에서, 학습은 장기기억의 변화였으며, 그 이상도, 이하도 아니었다.

A more moderate view of the phenomenon of generalization and transfer has emerged with the revolution in the cognitive psychology beginning in 1960s. Cognitive on metaphor, psychology was initially based a computer with concepts like ‘‘long-term memory’’, ‘‘working memory’’, and ‘‘sensory input systems’’. in the cognitive view, learning amounts to changes in long-term memory – no more and no less,

많은 교육자들에게 기억과 학습에 대한 인지적 관점은 환원주의적이며, 인간 학습의 본질과 풍부함에 대한 광범위한 견해와 양립할 수 없는 것처럼 보일 수 있다. (인지적 관점은) 학습에 있어서의 사회적 요인에 대한 고려나 동기 부여와 같은 정서적 영향을 명확하게 배제하며, 흔히 학습에 영향을 미칠 수 있는 지적 능력이나 공간적 능력 등의 개인별 적성 차이도 examine하지 않는다. 그럼에도 불구하고 인지적 관점은 학습, 사고, 추론의 많은 측면을 설명하는 데 상당한 성공을 거두었다.

To many educators, the cognitive view of memory and learning may seem reductionist and incompatible with broader views of the nature and richness of human learning. It clearly excludes considerations of social factors in learning, or emotional influences such as motivation, nor does it typically examine individual differences in aptitude that may influence learning, such as intelligence or spatial ability. Nevertheless, the cognitive perspective has had considerable success in explaining many aspects of learning, thinking, and reasoning.

인지 심리학에서 반복되는 연구 주제는 "전이transfer"이라는 개념이다. 즉, 한 맥락에서 습득한 지식을 사용하여 다른 맥락에서 새로운 다른 문제를 해결하는 것이다.

One recurring research theme in cognitive psychology is the idea of ‘‘transfer’’ – using knowledge acquired in one context to solve a new dissimilar problem in another context.

전형적으로, 하나의 문제 맥락에서 개념을 배운 학생들은 새로운 문제를 해결하기 위해 개념을 적용하는 데 있어 10-30%의 성공률을 가질 뿐이다.

Typically, students who have learned a concept in one problem context will only have a 10–30% success rate in applying the concept to solve a new problem.

의학 교육자들은 이 문제를 확실히 인식했다. 과학을 배우고, 시험에 합격했지만, 실제 문제를 해결하거나 설명하는 데에는 이 지식을 적용하지 못하는 의대생들의 이야기는 흔한 일이다.

Medical educators have certainly recognized the issue. basic Stories of medical students who have learned the science, passed the examinations, but were then unable to apply this knowledge to solve or explain problems, are commonplace.

지난 50년 동안 가장 중요한 두 가지 혁신은 1950년대의 케이스 웨스턴 리저브 대학의 장기 시스템 접근법과 1960년대 후반 맥매스터가 개척한 문제 기반 학습(PBL)이다. 이러한 두 가지 혁신의 상당한 보급에도 불구하고, 그들이 실제로 기초과학과 임상과학의 통합을 개선하는 데 성공했다는 증거는 거의 없다.

The two most significant innovations of the past 50 years, the organ system approach of Case Western Reserve University in the 1950s and problem-based learning (PBL), pioneered by McMaster in the late 1960s were both directed to integrating basic science and clinical learning. Despite the significant dissemination of these two innovations, there is little evidence that they have actually succeeded in improving the integration of basic and clinical science.

커리큘럼 수준에서의 비교는 (교육과정에 따른) 차이가 작거나 전혀 없음을 보여준다. 맥락을 활용한 학습이 성과에 있어 극적인 이점을 갖지 않는다고 봐도 무방하다.

curriculum-level comparisons show small or no differences; it is safe to say that no dramatic advantages in performance have emerged from learning in context.

흥미롭게도, 몇몇 저자들은 PBL이 실제로 전이을 방해할 수도 있다고 주장했다. Bransford 외 연구진(1999)은 학생들이 하나의 문제 맥락에서 개념을 배울 때, 그 개념은 맥락에 너무 밀접하게 '묶여' 있어서 맥락 없이out of context 학습한 경우보다 전이에 덜 이용될 수 있다고 주장했다. 로스(1987년)는 이것에 대한 증거를 입증했다.

Interestingly, several authors have argued that PBL may actually impede transfer. Bransford et al. (1999) has argued that when students learn a concept in one problem context, the concept is so tightly bound to the context that it may be less available for transfer than if it were learned out of context. Ross (1987) has demonstrated evidence of this,

...학습의 초기단계에서, 사전에 제시된 사례에 의해서만 원리를 이해한다. 이 시기에 원칙과 사례는 함께 묶여 있다. 학습자에게 원칙이나 공식이 주어진다 하더라도, 그들은 현재의 문제에 어떻게 그 원리를 적용할지를 알아내는 데 앞서 본 문제의 세부사항을 사용할 것이다.

개념 학습의 모델

A model of concept learning

단순성을 위해, 우리는 선형 흐름을 가정한다.

For simplicity, we assume a linear flow.

첫째, 학습자가 개념을 습득한다introduced. 이것은 텍스트, 첨부된 사진이 있는 텍스트, 강의, e-러닝 모듈 또는 그 사이에 있는 어떤 것일 수 있다. 그러나 본질적인 요소는 내용-배워야 할 개념이다.

First, the learner is introduced to the concept. This may be as text, or text with accompanying picture, a lecture, an e-learning module, or anything in between. But the essential element is the content – the to-be-learned concept.

둘째, 학습자는 개념이 적용되는 사례를 본다. 즉, 개념이 어떻게 '실제적 세계'에서 발생하는지 말이다. 기호를 포함할 수 있고 추상적일 수 있는 원래의 개념과는 대조적으로, 이 단계에서는 그 개념이 프로토타입적 사례에 의도적으로 내재되어 있다. 이 단계에서 기본 요소는 개념과 상황 정보를 모두 포함하는 예시적 사례다.

Second, the learner may well see an example of the concept – how the concept arises ‘‘in the real world’’. In contrast to the original concept, which may involve symbols and is abstract, in this phase, the concept is deliberately imbedded in a prototypical example. In this stage, the basic element is the illustrative example containing both concept and contextual information.

마지막으로, 학습자는 연습 문제에 참여하도록 권장될 수 있다. 이것들은 모두 방금 학습한 동일한 원리를 적용하는 예시일 수도 있고(blocked), 또는 의도적으로 다른 관련 개념을 설명하여 혼동을 유발할 수 있는 예(mixed)일 수도 있다. 그러나 본질적으로는, 여러 가지 연습 문제를 접하는 것이다.

Finally, the learner may be encouraged to engage in practice problems. These may all be illustrations of the same principle just learned (blocked practice), or may deliberately contain confusable examples illustrating other related concepts (mixed practice). But the essential element is multiple practice problems.

• 원리만 가르친다면 새로운 문제로 전이될 가능성은 약 5%이다(Quilici & Mayer 1996). 

• 원리가 단일 프로토타입의 예와 함께 설명된다면, 전이는 약 25%에 이를 수 있다. 

• 원리가 여러 예와 함께 설명될 경우, 전이율은 47%에 이를 수 있다(Catrambone & Holyoak 1989; Lowensteinet al. 2003). 

 if only the principleis taught, likelihood of transfer to new problems is about 5%(Quilici & Mayer 1996). If the principle is illustrated with asingle prototypical example, transfer may go to about 25%. Ifthe principle is illustrated with multiple examples, transfer canbe as high as 47% (Catrambone & Holyoak 1989; Lowensteinet al. 2003). 

왜 그렇게 어려운가?

Why is it so difficult?

새로운 문제를 해결하기 위해 학습된 개념을 retrieve하는 것은 왜 그렇게 어려운가? 난관은 정신적 표상에 있다.

Why is it so difficult to retrieve a learned concept to solve a new problem? The difficulty lies in the mental representation.

문제를 어렵게 만드는 흔한 이유는 문제가 적어도 표면적으로는 다른 예와 유사하게 보이지 않는다는 것이다. 실제로, 만약 어떤 사람이 그 문제를 본질적으로 해결할 수 있는 정확한 비유를 찾을 수 있다면 문제를 해결할 수 있을 것이다. 그러나 이것은 생각하는 것보다 더 어려워 보인다.

frequently, what makes the problem difficult is that it does not, on the surface, look analogous to other examples. Indeed, if one can find the correct analogy, that essentially solves the problem, but this appears more difficult than one might think.

왜 이렇게 어려운가? 간단히 말해서 유사성을 식별하기 위해서는 깊은 (개념적인) 구조 수준에서 동일성을 파악해야 하기 때문이다. 밝혀진 대로 이것은 학습자가 아니라 전문가의 특징이다. 한 예(Chi et al. 1981) 전문가 물리학자들은 말 그대로 문제를 초보자와 전혀 다르게 "볼" 것이다. 초보자들은 이를 "공을 굴리는" 문제로, 전문가는 "에너지 보존" 문제로 표현할 수 있다.

Why is it so difficult? Simply, because in order to identify the analogy, the similarity must be identified at the level of the deep (conceptual) structure. As it turns out, this is a characteristic of experts, not learners. As one example (Chi et al. 1981) expert physicists will literally ‘‘see’’ a problem differently from novices – novices may describe it as a ‘‘ball rolling down a plane’’ problem; experts as a ‘‘conservation of energy’’ problem.

그리고 문제의 깊은 구조를 보는 것이 왜 그렇게 어려운가? 인지 심리학에서 한 이론은 근본적으로 다른 두 가지 사고방식이 있다고 단언한다. 시스템 1은 물리적 물체의 식별과 관련하여 빠르고 무의식적이며 구체적이며 맥락적이다. 시스템2는 느리고, 심의적이며, 개념적이며, 추상화와 관련이 있다.

And why is it so difficult to see the deep structure of a problem? One theory in cognitive psychology posits that there are two fundamentally different ways of thinking. System 1 is rapid, unconscious, concrete, and contextual, associated with identification of physical objects. System2 is slow, deliberative, and conceptual, and associated with abstractions.

• 초보자들은, (기계학과 같은 추상적인 분야에서 이용할 수 있는) 구체적인 예만 가지고 있어서, 표면적 구조만을 문제로 바라본다. 

• 대조적으로, 전문가들은 추상적인 문제들에 대한 수많은 예들을 가지고 있기 때문에, 이 문제를 보다 정교한 시스템 1 사고를 이용하여 근본적인 원리로 볼 수 있다. 

확실히, 우리는 의학에서 전문가 진단이 시스템 1, 비분석적 추론에 의해 지배되고 있다는 충분한 증거를 가지고 있다(Norman et al. 2007b).

novices, who only have concrete examples available in an abstract field such as mechanics, represent problems by surface structure. Experts, by contrast, have numerous examples of abstract problems to draw on, so can see the problem as an underlying principle, using a more refined System 1 thinking. Certainly, we have ample evidence in medicine that expert diagnosis is dominated by System 1, non-analytic reasoning (Norman et al. 2007b).

메이어(1997)는 멀티미디어 학습에 관한 문헌을 검토했다.

Mayer (1997) reviewed literature on multimedia learning,

일련의 연구에 따르면, 전달방식medium에 따른 차이는 없었다. 컴퓨터 애니메이션은 도면이 있는 종이에 대한 프레젠테이션보다 아무런 이점이 없었고 평균은 컴퓨터 7.5, 책 7.3이었다. 이와는 대조적으로, 텍스트 설명만 제시한 것에 비해서 (텍스트와 일러스트레이션을) 복합적 교육combined instruction의 극적인 효과를 보여주었다. 평균 효과는 내레이션과 애니메이션으로 100% 증가했으며 텍스트와 일러스트레이션 대 텍스트로 67% 증가하였다.

Over a series of studies, there was no demonstrable effect of the medium – a computer animation had no advantage over a presentation on paper with drawings – with a mean of 7.5 for computer and 7.3 for book. By contrast, he showed dramatic effects of combined instruction (text and illustration) against a text explanation alone. Average effect was 100% gain with narration and animation, and 67% gain with text and illustration vs. text.

마지막으로 메이어는 텍스트와 그림을 함께 제공하는 것이 놀라울 정도로 큰 효과를 보여 주었다. 평균 62%의 이득.

Finally, Mayer has shown surprisingly large effects from simply providing text and picture together vs. apart (contiguity); an average gain of 62%.

문제 맥락과 개념의 관계

Relation between problem context and concept.

PBL의 본질은 학습해야 할 개념을 문제 맥락에서 imbedding하는 것이다. 단, 단일 문제의 사용과 관련된 불이익이 수반될 수 있다. 그렇다면 PBL과 같은 조작이 전이를 용이하게 하거나 방해할 수 있다는 증거는 무엇인가?

The essence of PBL is the idea of imbedding the concept to be learned in a problem context. However, there may be accompanying disadvantages, related to the use of a single problem. What then is the evidence that PBL-like manipulations can facilitate or impede transfer?

이러한 조작이 PBL의 효과를 포착하는 범위까지, 우리는 원리를 문제에 imbed하는 것은 잠재적으로 작은 이익이 있다고 결론지을 수 있다. 그러나 메커니즘은 다소 불명확한 상태로 남아 있다.

To the extent that these manipulations capture the effect of PBL, we might conclude that there is a potential small benefit for imbedding principles on problems. However, the mechanism remains somewhat unclear.

사례 교육을 위하여

For teaching examples

예를 들어, 로웬슈타인 등이 있다. (2003)은 두 가지 개입을 대조했다. 학생들이 원칙을 가르치고 전이 과제에 대한 하나의 예(공통 연습) 수행을 했을 때 19%가 되었다. 예를 설명해야 한다면, 실적은 44%이다. 암묵적 원리로 두 가지 예를 제공하면 38%의 전송 정확도가 나왔다. 그러나 분명한 비교와 함께 두 가지 경우 정확도는 61%로 거의 세 배나 높았다.

For example, Lowenstein et al. (2003) contrasted two interventions; When students were 

• taught a principle and given a single example (common practice) performance on a transfer task was 19%. 

• If they had to explain the example, performance was 44%. 

• Providing two examples with an implicit principle yielded a transfer accuracy of 38%. 

• But two cases, with an explicit comparison, yielded an accuracy of 61%, nearly three times as great.

결론은 명백하다. "여러 개"가 고작 "두 개"인 경우에조차, 학생들을 여러 개의 교육 사례에 참여시킴으로써 실질적인 이득을 얻을 수 있다. 학생들이 매우 다르게 보이는 사례들 사이의 깊은 구조적 유사성을 식별하기 위해 적극적으로 비교하고 대조하도록 함으로써 추가적인 이득이 발생한다.

the evidence is quite clear. Substantial gains can be achieved by engaging students in multiple teaching examples, even where multiple is two. Additional gain results from getting students to actively compare and contrast to identify the deep structural similarities between examples that appear very different.

실천을 위하여 

For practice

"챕터 끝 문제"는 두 가지 심각한 결손을 가지고 있다. 

• 첫째, 우리는 그것이 어떤 종류의 문제인지 이미 알고 있다. "t-test" 챕터 끝의 문제는 항상 t-시험 문제다. 

• 둘째로, 그 실천은 지식이 "신선할 때" 이루어지지만, 지식이 썩을 시간이 생긴 후에는 반복되지 않는다.

the ‘‘problems at the end of the chapter’’ has two serious deficits. First, we already know what kind of problem it is. Problems at the end of the ‘‘t-test’’ chapter are always t-test problems. Second, the practice takes place while the knowledge is fresh, but are not repeated after the knowledge has had time to decay.

첫 번째 이슈는 '블록' 대 '혼합' 연습의 개념과 관련된다. 이번 주에 일련의 t-테스트 문제, 그리고 다음 주에 분산 분석 문제를 하는 것은 "블록"연습이다. 그것들을 섞어서 학습자는 그것이 어떤 종류의 문제인지(혼합 연습)를 해결하려고 노력해야 한다.

The first issue is captured in the notion of ‘‘blocked’’ vs. ‘‘mixed’’ practice. Doing a series of t-test problems this week, then some ANOVA problems next week, is ‘‘blocked’’ practice. Mixing them up, so the learner must try to work out what kind of problem it is (mixed practice) can lead to substantial gains in transfer.

문헌에서 흔히 볼 수 있는 다른 연습 조작은 "집중" 대 "분산" 연습이다. 이 연습은 모두 한 세션에서 수행되거나 여러 세션에 걸쳐 배포된다.

The other practice manipulation common in the literature is ‘‘massed’’ vs. ‘‘distributed’’ practice, where the practice is all done in a single session or is distributed over several sessions.

Conclusions

Med Teach. 2009 Sep;31(9):807-11.

Teaching basic science to optimize transfer.

CMBE: 무결점의 담론 (Med Educ, 2018)

Competency-based medical education: the discourse of infallibility

Victoria A Boyd,1 Cynthia R Whitehead,2,3,4 Patricia Thille,2 Shiphra Ginsburg,1,2,5 Ryan Brydges1,2,6 & Ayelet Kuper1,2,7

도입

INTRODUCTION

2000년대 초 북아메리카에 역량 기반 의료 교육(CBME)의 도입은 학자들이 교육과 평가 이론과 실천을 개념화하는 방식에 변화를 일으켰다.

The introduction of competency-based medical education (CBME) in North America in the early 2000s initiated a shift in how scholars conceptualise education and assessment theory and practice.

CBME에 대한 이러한 이해는 1940년대 후반으로 거슬러가 실증주의와 행동주의에 뿌리를 둔 오래된 교육 이론의 흐름에서 비롯된다.4 역량 운동은 세계 의학 교육 연맹WFME이 제안한 에든버러 선언에 의해 더욱 추진되었다.

This understanding of CBME stems from an older stream of educational theory, rooted in positivismand behaviourism, beginning in the late 1940s.4 The competency movement was further propelled by the Edinburgh Declaration put forward by the World Federation for Medical Education.

그러나 의료 교육 내에서 역량 기반 접근의 역사는 간단하지도 않고 명확straightforward하지도 않았다. 많은 학자들은 성과에 초점 둠으로써 더 나은 의사를 생산하고 진화하는 의료 환경에서 직면하고 있는 도전을 완화시킬 것이라고 믿는다. CBME의 개념적 근거가 직관적으로 타당할 수는 있지만, 역량 기반 접근법을 뒷받침하는 경험적 근거는 부족하며, 이를 촉진하기 위해 사용된 '혁명적 수사'에 대한 우려가 제기되었다. 또한, 일부 연구자들은 이 모델의 이론적 기반과 의학교육에 있어서 CBME의 실용적 적용 가능성에 의문을 제기한다.

Yet the history of the competency-based approach within medical education has been neither simple nor straightforward. Many scholars believe a focus on outcomes promises to produce better doctors and mitigate challenges faced in the evolving health care landscape.6–9 Although its conceptual basis may make intuitive sense, concerns have been raised about the paucity of empirical evidence4,10,11 supporting the competency-based approach and the ‘revolutionary rhetoric’ used to promote it.12 Further, some researchers question the theoretical underpinnings of the model,13–16 as well as the feasibility of its practical application in medicine.11,17

의료 교육에서 역량 프레임워크의 국제적 이해를 고려할 때, 한 걸음 물러서서 이러한 변화를 이끄는 가정을 검토하는 것이 중요하다.

Given the international uptake of competency frameworks in medical education, it is crucial to step back and examine the assumptions driving this change.

우리는 CBME를 [정치적 및 역사적 맥락에 내재된 사회적 구성]으로 바라볼 것이다.12,18 이러한 관점에서 CBME(또는 교육학적 접근법)는 의대생들을 독립적 의료인으로서 어떻게 준비시킬 것인가에 대한 일련의 가정이나 예비preliminary 신념에 기초한다. 그러나 CBME의 토대가 되는 가정은 일반적으로 명확하게 설명되지 않으며, 그냥 당연한 것으로 간주된다.

We approach CBME as a social construction embedded in its political and historical context.12,18 From this perspective, CBME (or any pedagogical approach) is built on a series of assumptions or set of preliminary beliefs about how to prepare medical students for their future practice as doctors. Such assumptions are generally unarticulated and taken for granted;

담론은 담론의 사회적 맥락을 반영할 뿐만 아니라, 그 자체가 현상의 사회적 구축에 기여한다.19 따라서 우리는 CBME에 초점을 맞춘 학술문헌에 대한 비판적 담론 분석을 실시했다.

Discourse both reflects its social contexts and contributes to the social construction of phenomena.19 Therefore, we undertook a critical discourse analysis of the academic literature focused on CBME.

방법

METHODS

우리는 CBME 문헌의 Foucoldian 비판적 담론 분석20(CDA)을 수행하여 그 구조를 뒷받침하는 지배적인 담론을 묘사했다. 비판적 담론 분석은 텍스트의 집합에서 가정과 전제를 탐구하기 위한 렌즈로서 많은 분야에서 사용되는 사회과학 방법론이다.21,22 다양한 형태의 비판적 담론 분석이 존재하지만, 푸코적 관점은 담론, 사회 관행, 지식 및 권력 상대 사이의 관계를 식별하는 것을 추구한다. Michel Foucault는 사회적 관행과 그 관행이 지식 및 권력에 연결된 방식이 담론의 생산과 사용을 제약한다고 이론화했다.19 담론이라는 용어는 확고부동한 사고, 발화, 행동의 방식을 보여준다.

We conducted a Foucauldian critical discourse analysis20 (CDA) of the CBME literature to delineate the dominant discourses underpinning the construct. Critical discourse analysis is a social science methodology used in many disciplines as a lens to explore the assumptions and presuppositions in a group of texts.21,22 Although various forms of critical discourse analysis exist, a Foucauldian perspective seeks to identify relationships between discourse, social practices, knowledge and power relations. Michel Foucault theorised that social practices and their links to knowledge and power constrain the production and use of discourse.19 The term discourse refers to entrenched ways of thinking, speaking and acting.23,24 

담론이란 문자와 구어를 통한 논의의 표시이다. 25,26 그것은 특정한 형태의 텍스트를 가능하게 하고, 다른 어떤 것들은 불가능하게 한다.19 진술된 진실은 '깊고 더 복잡한 담화 시스템의 표면적 표현'이다.12 Truth statements는 주어진 맥락에서 [어떤 것이 진실 또는 거짓으로 인식될지], 그리고 어떤 것이 [승인되거나 비승인될지authorised and unauthorised]에 대한 정당한 가정으로 인식된다.12 그러한 진술은 무언가에 대해 생각하고, 말하고, 실행하는 것인 가능하거나 불가능하게 만드는 구분을 확립한다.27 푸코적 CDA는 우리에게 무엇이 진실이라고 인식되는지 뿐만 아니라, 어떻게 그것이 '진실'으로 받아들여지는지를 질문할 수 있는 도구를 쥐어준다.

Discourse manifests through written and spoken text;25,26 it renders certain forms of text possible, and others less possible.19 Statements of truth are ‘the surface manifestation of deeper and more complex systems of discourse.’12 Truth statements are recognised as legitimised assumptions regarding what is perceived as true or untrue and authorised or unauthorised in a given context.12 Such statements establish dividing practices that make it possible to think, say and do certain things but not others.27 Foucauldian CDA equips us with the tools to interrogate not only what is perceived as true, but how it becomes accepted as ‘truth’.28

푸코는 저항resistance이라는 용어를 [지배적인 의지에 반대하는 대체적인 추론]을 언급하는 용도로 사용한다.29 저항 담론은 사회적 변화를 enact하기 위한 목적으로 고착된 사고와 글쓰기 방식을 훼손undermine하는 수단이 될 수 있다. 저항 담론에 대한 연구는 종종 지배 담론의 근본적인 체계를 푸는 열쇠가 된다. Foucauldian 접근법을 사용하면 CBME 문헌을 뒷받침하는 지배적 성향과 저항적 성향 사이의 경계를 발굴하고 조사하기 위해 승인된 진실 진술이 가지고 있는 문제를 찾아낼 수 있다.

Foucault uses the term resistance to refer to alternative lines of reasoning that oppose dominant discourses.29 A resistance discourse can be a vehicle for undermining entrenched ways of thinking and writing in order to enact social change. The study of a resistance discourse is often the key to unlocking the fundamental mechanics of a dominant discourse. Our use of a Foucauldian approach20,25,26 allows us to problematise authorised truth statements in order to unearth and examine the boundaries between dominant and resistance discourses underpinning the CBME literature.

푸코의 관점에서 보면, 개인과 조직의 인가된authorised 혹은 저항resistance 담론의 사용이 반드시 의도적인 것은 아니다. 오히려 그러한 욕구는 특정 시기의, 특정 사회적 맥락에서 비롯된다. 담론의 이해(및 생산)는 그 사회적, 정치적, 역사적 형태에서 분리될 수 없다.310,31 따라서 CBME 문학 내에서 의욕의 구성과 사용을 추적할 때, 독자는 특정한 사고 방식이나 글쓰기 방법이 반드시 의식적이거나 고의적인 것은 아니라는 것을 기억해야 한다. 오히려 그러한 관행은 주어진 시간과 장소에서 지배적인 담론의 범위 내에서 허용되기 때문에 발생한다.

From a Foucauldian perspective, individuals’ and organisations’ use of authorised or resistance discourses is not necessarily intentional. Rather, such discourses derive from a certain social context at a particular time. The uptake (and production) of a discourse cannot be disentangled from its social, political and historical formations.30,31 Therefore, as we trace the construction and use of discourses within the CBME literature, the reader must remember that particular ways of thinking or writing are not necessarily conscious or deliberate. Rather, such practices occur because they are allowed within the bounds of a dominant discourse, in a given time and place.

검색 전략 및 포함 기준

Search strategy and inclusion criteria

CDA가 텍스트 집합을 통해 욕구조성을 입증할 수 있는 넓은 렌즈를 필요로 한다는 점을 감안하여, 질적, 정량적, 혼합적 방법 경험적 연구, 위치 조각, 논평, 논평, 사설 및 합의 컨퍼런스의 보고를 포함한 모든 유형의 출처를 고려하였다.

Given that CDA requires a broad lens to demonstrate the construction of discourses through a collection of texts, we considered all types of sources, including qualitative, quantitative and mixed methods empirical studies, position pieces, commentaries, reviews, editorials, and reports of consensus conferences.

푸코의 비판적 담론분석

Foucauldian critical discourse analysis

몇 가지 광범위한 연구 질문이 우리의 분석을 이끌었다. 

(i) CBME 문헌의 기초가 되는 지배적인 성향은 무엇인가? 

(ii) 담론을 어떻게 사용하는가? 

(iii) 이러한 의욕을 뒷받침하는 가정은 무엇인가?

Several broad research questions guided our analysis: 

(i) What are the dominant discourses underlying the CBME literature? 

(ii) How are the discourses used? 

(iii) What assumptions underpin these discourses?

Foucoldian 원칙과 일치하는 분석은 본문의 반복적인 정밀 판독과 형성 그룹 논의에 의해 진전된 협업 과정이었다. 한 연구팀 구성원(VB)은 각 기사의 전문을 읽고 반복적인 진술과 개념을 코드화했다. 코딩 프레임워크는 해석적이고 데이터 중심적인 접근방식을 사용하여 설정되었다. 여기서 관련 개념은 이산형 패턴으로 분류되었다. 코딩 프레임워크는 보관소의 지속적인 탐색과 정기적인 팀 회의로 추진되는 진화하는 실체였다. 각 텍스트가 코드화되면, 우리는 어떻게, 그리고 어떤 목적으로, 다른 유형의 학구적 기사에 불분명한 추세가 사용되는지를 조사했다. 

Consistent with Foucauldian principles,20,25,26 the analysis was a collaborative process advanced by iterative close readings of the texts and formative group discussions. One research team member (VB) read the full text of each article and coded recurring statements and concepts. A coding framework was established using an interpretive, data-driven approach, wherein related concepts were grouped as discursive patterns. The coding framework was an evolving entity propelled by continued exploration of the archive and regular team meetings. Once each text was coded, we examined how, and for what purposes, discursive trends were used in different types of scholarly articles. 

그런 다음 우리는 이러한 discursive한 관행을 정당화하는 데 사용되는 합리성을 탐구하기 위해 이러한 주장들의 반복적인 변화와 변화를 추적했다. 우리는 또한 반복되는 논쟁이 서로를 지지하거나 반박하거나 반대함으로써 문학에서 대화를 만들어 내는 방법을 고려했다. 그렇게 함으로써, 우리는 이러한 관행이 당연하게 여겨지는take-for-granted 담론과 진실 진술truth statements에서 어떻게 발생arise하는지를 문제 삼았다. 마지막으로, 우리는 이러한 의학적 교육 연구와 실천의 미래에 대한 의욕의 영향을 고려했다. 분석은 Nvivo 정성 분석 소프트웨어(QSR International, Doncaster, Victoria, Australia)를 사용하여 구성되었다.

We then traced recurring arguments and shifts in these arguments25,34 to explore the rationales used to legitimise these discursive practices. We also considered the ways in which recurrent arguments created a dialogue in the literature by supporting, contradicting or opposing each other. In doing so, we problematised how these practices arise from taken-for-granted discourses and truth statements. Finally, we considered the implications of these discourses for the future of medical education research and practice. The analysis was organised using Nvivo qualitative analysis software (QSR International, Doncaster, Victoria, Australia).

FINDINGS 

역량은 주로 관찰 가능하고 측정 가능한 능력으로 이해되며, 실천을 통해 능동적으로 통합될 때 의사의 역량이 된다.3 그럼에도 불구하고 모든 저자가 역량 프레임워크의 기초가 되는 개념적 전제를 수용하는 것은 아니며, 의학교육에서의 구현에서도 역량의 개념이 온전히 수용되는 것도 아니다.

Competencies are predominantly understood as observable and measurable abilities that, when actively integrated in practice, constitute physician competence.3 Nevertheless, not all authors accept the conceptual premise underlying competency frameworks, nor their implementation in medical education.

CBME 문헌을 뒷받침하는 불온한 '대화'

A discursive ‘dialogue’ underpinning the CBME literature

CBME의 분석가들은 접근법의 개념적 특성에 의문을 제기하는 많은 비판을 제시한다. 종합적으로, 이러한 비평은 역량 프레임워크의 이론적 기반에 도전하는 저항 담론을 확립한다. 표 1.

Detractors of CBME present a number of critiques questioning the conceptual nature of the approach. Collectively, these critiques establish a resistance discourse that challenges the theoretical underpinnings of competency frameworks. Table 1

CBME의 지지자는 종종 두 가지 반복된 주장을 통해 이러한 주장에 대응한다. 

(i) CBME는 구현하기 어렵고, 

(ii) CBME에 대한 오해가 구현의 장애물이다.

Proponents often counter these arguments by drawing on two repeated assertions: 

(i) CBME is difficult to implement and 

(ii) misunderstanding CBME is a barrier to implementation.

이 진술들은 실제로 CBME 이론을 성공적으로 운용하는 것이 어렵다는 점을 강조한다.; 그것들은 문제가 발생할 경우 관련된 CBME 자체가 아니라 "사람"이 문제의 근원이라는 가정에 기초한다.

The statements emphasise the challenges of successfully operationalising the theory of CBME in practice; they are built on the assumption that if issues arise, those involved are the source of the problem, not CBME itself.

우리가 앞으로 보여주는 것처럼, 이러한 레토릭은 CBME 개념에 대한 비판을 [불완전한 구현]이나 [오해로 인한 문제]로 축소시켜버림으로써, 결과적으로 CBME의 토대에 대한 관심을 다른 곳으로 돌려버린다.

As we will demonstrate , this rhetoric reduces conceptual critiques to matters of poor implementation or misunderstanding, and, consequently, deflects attention away from the basis of CBME.

문헌을 통해 '대화' 추적하기: 네 가지 예

Tracing the ‘dialogue’ through the literature: four examples

첫 번째 대표적 논문에서는 CBME의 개념적 토대에 대해 지적하고 있다. ['역량에 대한 부적절한 인식에 기초한 전문직 교육']이 이뤄지고 있으며, 그 결과 다른 형태의 학습 담론에서 통찰력을 얻을 수 없게 만든다고 지적한다. 이 논문에서는 CBME 관행이 '전문적 실무관행에 필요한 심화된, 성찰적 참여를 부정하는 심각한 위험을 초래한다'고 경고하고 있다.

The first representative article13 challenges the conceptual underpinnings of CBME by rejecting the practice of ‘professional education based upon an inappropriate epistemology of competency’, in which other forms of learning discourse are unable to bring their insights. The text cautions that this practice ‘runs the serious risk of negating a deep and reflective engagement with a professional practicum’.

또한, 이 논문은 CBME를 지지하는 행동주의 가정들에 의문을 제기하며, '전문가에게 필요한, 전체적이고, 잘 발달된 실천을 위해 필요한 성찰, 직관, 경험, 그리고 고차원의 역량을 제한한다'고 지적한다. 평가와 관련하여, 이 논문은 CBME는 '더 쉽게 측정될 수 있는 것과 관련된 질문'만을 던진다고 경고한다. 그것은 객관적 척도만으로는 [고차원의 역량]과 같은 우리가 관심 있는 모든 능력을 포착할 수 없다는 것을 지적하며 주장을 더욱 확장한다.

Further, the article questions the behaviourist assumptions supporting CBME, suggesting they ‘limit reflection, intuition, experience, and higher order competency necessary for expert, holistic, or well-developed practice’. Withregards to assessment, the article warns of only asking ‘questions related to those things that may be more easily measured’. It extends this argument to suggest objective measurements cannot capture all the abilities we are interested in, such as higher- level competence. 

이 논문을 직접 언급하며, 두 번째 논문에서는 CBME 토론에 대해 '이 두 그룹이 근본적으로 반대 입장에 있는가, 아니면 역량을 정의하는 데 있어서 다른 언어를 구사하기 때문에 오해가 있는가?'라고 질문하며, '역량이라는 용어에 대한 혼란을 좀 더 자세히 살펴봐야 할 때'라고 말한다. 이 논문에 따르면, 앞선 논문에서의 주장은 역량의 언어에 대한 혼돈으로 인한 오해라고 축소시킨다. 즉, 앞의 논문에서 비판한 construct는 진정한 CBME가 아니라 저자가 잘못 해석된 모조품이라고 말한다. 이 주장은 CBME의 개념적 전제에서 벗어나 비판적 주의를 분산시키는 산만한discursive 전략으로서 기능한다.

In directly referencing this article, a second text35 questions the ongoing CBME debate by asking, ‘do these two groups of authors fundamentally disagree, or is there misunderstanding because they speak a different language when it comes to defining competency? It seems time to take a closer look at the confusion about competence terminology’. This excerpt reduces the arguments of the former article to a matter of misunderstanding caused by confusion over the language of competence. It suggests the construct being critiqued is not truly CBME, but a misinterpreted imitation. This assertion functions as a discursive strategy deflecting critical attention away from the conceptual premise of CBME.

아카이브의 세 번째 논문 14는 행동주의 기반에 초점을 두고 있는 CBME의 핵심 가정에 의문을 제기한다. 의학 교육으로 옮겨진 행동주의 이론은 전체론적 전문지식을 '일련의 분할된 과제'로 축소함으로써, 이러한 과제를 '전체'로서 만드는데 필요한 [연계]를 무시하는 경향이 있다고 지적한다. 이 논문에서는 '전문직 교육을 평가하는데 역량의 개념은 '의사에 관한 가장 중요한 사항들을 다루는데 실패하기 때문에 무용지물'이라고 설명하고 있다. 이이러한 추론에 따르면, '누군가의 능력을 판단할 수 있는 객관적 기준은 없다.[...] 모든 경우, 면밀하게 따져보면, 뛰어난 판단에는 주관적 요소가 항상 존재한다'고 말하면서 객관적 평가를 거부한다. 이 논문은 의학은 도덕적 추구이며 객관적이고 행동 중심적인 역량 모델은 이러한 견해를 내포할 수 없다고 제안함으로써 결론짓는다.

A third paper14 from the archive questions the core assumptions of CBME by targeting its behaviourist underpinnings. Behaviourist theories, transposed into medical education, tend to reduce holistic expertise to a ‘series of discrete tasks’ and ignore the connections that make these tasks ‘a purposeful whole’. The text explains that the ‘concept of competency is useless for assessing the education of the professional’ because it ‘fails to address the most important things about a physician’. This line of reasoning rejects objective assessments, stating ‘there are no objective criteria by which we may determine someone’s competency. [...] In all cases, when closely examined, the subjective element of the competent judge is always present’. The paper concludes by suggesting that medicine is a moral pursuit and the objective, action-focused competency model cannot embody this view.

이 논문에 대한 답에서는 이전의 텍스트와 답변을 인용하며, '독립적 의료행위에 대비한 훈련의 결과를 평가하기보다는, CBME를 그저 역량에 기초한 훈련을 체크리스크에 체크하는 것으로 경험한 사람들의 주장과 같다'라고 반박한다. 이 논문에서는 [체크박스 관행]을 [CBME]와 구분함으로써, 앞선 비판을 부실한 시행의 문제로 재구성recast한다. 이러한 레토릭에 따르면, 이러한 버전의 CBME는 CBME의 '진정한' 접근법을 반영하지 않는다고 본다. 행동주의자들의 비판을 실제 역량 프레임워크 [운영의 문제]로 간주할 때, 이 모호함 전략discursive strategy은 CBME에 대한 비판을 효과적으로 완충한다.

A responding paper36 quotes the previous text and replies by stating, the argument ‘resonates with others who experience the practice of competence- based training as checking boxes on checklists rather than assessing the outcome of training in preparation for practice’. By distinguishing the practice of checking boxes from CBME, this quotation recasts the critiques of the former paper as an issue of poor implementation. This rhetoric suggests this version of CBME is not reflective of the ‘true’ approach. In subsuming behaviourist critiques as a problem of operationalising competency frameworks in practice, this discursive strategy effectively buffers the approach from critical appraisal.

CBME를 비판한 또 다른 텍스트는 '역량 기반 접근법은 잠재적으로 개별화된 유연한 훈련, 투명한 표준 및 공공 책임 증대로 이어질 수 있다'라고 말하며, CBME에 대한 유용성과 함정pitfalls을 요약한다. 또한 CBME가 부적절하게 시행될 경우, 그것은 또한 동기 저하, 최소한의 기준에 초점, 행정 부담 증가, 교육 내용 감소로 이어질 수 있다고 지적한다.' 이 논문에 따르면, '강력하게 정의된 상위 수준의 역량이 available하지 않는 한, 역량 기반 접근법을 보편적으로 적용하는 데 신중해야 한다'고 제안하며 결론짓는다.

Another text summarises the perceived benefits and pitfalls by stating, ‘the competency-based approach potentially leads to individualised flexible training, transparent standards, and increased public accountability. If applied inappropriately, it can also result in demotivation, focus on minimal acceptable standards, increased administrative burden, and a reduction in the educational content.’ The review concludes by suggesting, ‘we should be cautious of applying the competency-based approach universally unless robustly defined higher order competencies are available’.

이 논문에 대한 답신에서는 '역량 기반 접근법[...]에 대한 논의는 용어의 의미에 대한 합의 부족 때문임'을 강조하며 대응한다. 이 논평은 CBME의 이론을 다루고자 시도한 대화theoretical dialogue를 '역량 기반 교육의 의미에 대한 쓸모없는 논쟁'으로 축소시킨다. "정의의 다양성이 CBME의 구현을 어렵게 한다"라는 주장을 사용함으로써, 이 논문에서는 CBME와 '역량에 대한 환원주의적 접근법'을 서로 다른 두 가지 별개의 것으로 포지셔닝한다. 이러한 모호함 전략은 앞서 제기된 비판을 그저 [CBME에 대해서 잘 못 해석한 버전]이라고 평가절하하고 있으며, 비판의 대상이 된 construct는 틀리게 해석한 버전이라고 주장하며, CBME를 환원주의에 대한 비판으로부터 떨어뜨려 놓는다.

A corresponding commentary37 directly responds to this review by noting the ‘controversy over the competency-based approach [...] centres on a lack of consensus over what the term means’. The commentary reduces the theoretical dialogue to ‘a fruitless debate about the meaning of competency- based education [which] is likely to detract from the real challenges in the next decade’. In using the assertion that a multiplicity of definitions prohibits implementation, these quotations position CBME and ‘the reductionist approach to competence’ as two distinct constructs. This discursive strategy reduces the concerns expressed within the review to a matter of misunderstanding and distances CBME from the reductionist critique by claiming the construct in question is a wrongly interpreted version.

마지막 예로 보여줄 한 체계적인 검토에서는 CBME에 대해 '지금까지의 문헌이 6개의 ACGME의 일반 역량을 독립적인 구조로서 평가할 수 있는 어떠한 방법도 산출하지 않았다는 것을 지적한다. 오히려 대부분의 역량 기반 평가는 ACGME 프레임워크에 명확하게 매핑되지 않는 단일 구성 또는 다중 구성을 측정할 가능성이 있다. 이 연구는 '6개의 핵심 역량이 서로 독립적으로 측정될 수 없는 경우, 이를 독립적 역량의 기준으로 규정하는 데 실질적인 효용이 거의 없다'고 명시함으로써 결론짓는다.

The final example is drawn from a systematic review16. The systematic review finds that the ‘literature to date has not yielded any method that can assess the six ACGME general competencies as independent constructs’. Rather, most competency-based assessments likely measure either a single construct or multiple constructs that do not clearly map onto the ACGME framework. The study concludes by stating, if the ‘six core competencies cannot be measured independently of one another, there [is] little practical utility in specifying them as independent criteria of competence’.

이 지적에 대응하는 논문에서는, 앞선 논문에서 '임상 역량을 해부anatomize하는 것'의 위험에 대한 비판은 인정하지만, '현재 이용할 수 있는 도구가 전공의를 평가하기 부적절하다라는 허무주의적 잡음'에 대응하는 데 초점을 맞추고 있다. 이 저자들은 '역량을 평가하는 데 있어 가장 큰 문제는 적절한 평가 도구가 부족한 것이 아니라, 비숙련 교수들이 이용할 수 있는 평가 도구들의 일관성 없는 사용과 해석이다. 그러나 우리는 교수들을 경멸하려는 것도 아니며, 교수들의 헌신과 노력을 인정하지 않으려는 것도 아니다'라고 말한다. 이 반박에서는 근거에 기반한 비평이 [구현과 해석]이라는 레토릭으로 뭉뚱그려져버린다. 이로서 CBME의 본질이 비판으로부터 보호받을 수 있는데, 왜냐하면 문제의 근원은 CBME 자체가 아니라 교직원이기 때문이다.

In a responding article38 , the text acknowledges critiques regarding the risks of ‘anatomizing clinical competence’, but focuses on responding to ‘the nihilistic din that the instruments currently available are inadequate for evaluating residents’. The text reads, ‘the biggest problem in evaluating competencies is, in our opinion, not the lack of adequate assessment instruments but, rather, the inconsistent use and interpretation of those available by unskilled faculty. We do not make this claim pejoratively. Nor do we fail to recognise the commitment and effort of faculty’. In this quotation, the evidence-based critique of the previous study is subsumed by the rhetoric of implementation and interpretation. The core nature of CBME is shielded from critical appraisal because faculty members are positioned as the source of the problem, rather than CBME itself.

CBME의 분산 전략을 지원하는 증거 검토

Examining the evidence supporting the discursive strategy for CBME

우리는 이러한 주장들이 주로 비-경험적 단편들과 논평으로부터 제기되었다는 것을 확인할 수 있었다. CBME를 지지하는 진술들은 일관되게 경험적인 증거에 의해 지지받지 못했다. CBME의 정의의 다원성에 대한 증거로 특별히 인용된 몇 가지 경우를 제외하고는, 대부분의 논문은 unreferenced였거나, 반대 입장이나 논평자를 인용하는 방식으로 지지되지 않았다 그림 1은 이러한 참고문헌 패턴의 지도를 보여준다.

We found these assertions were predominantly raised in non-empirical position pieces and commentaries. The statements were consistently unsupported by empirical evidence. They were either unreferenced or supported by citations of other position pieces and commentaries, except for a few instances wherein literature reviews were cited specifically as evidence for the plurality of definitions of CBME. Figure 1 maps these referencing patterns.

CBME의 구현과 관련된 과제를 경험적으로 검토하는 문헌의 수가 증가하고 있지만, 이 연구는 증거적 지원evidentiary support로 사용되지 않았다.

Although there is a growing body of literature empirically examining the challenges associated with implementation,39–43 this research was not used as evidentiary support.

CBME를 지지하는 문헌들은 근거-기반 패러다임에 자리함으로써, CBME의 개념적 비평에 대해 증거가 부족하다고 주장하지만, 정작 그 문헌들은 증거 인용을 게을리한다. 참조 패턴에 근거하여보자면, [CBME와 관련된 우려가 구현이나 해석의 결과\라는 수사적 주장은, 경험적 증거에 의해 뒷받침되지 않는 수사적 주장일 뿐이다. 이 관행은 CBME 문헌을 뒷받침하는 모호한 대화의 핵심 특징이다.

The texts are situated in an evidence-based paradigm by insisting conceptual critiques lack evidence, yet they neglect to cite evidence themselves. Based on referencing patterns, the rhetorical claim that concerns related to CBME are the result of implementation or interpretation is simply that: rhetoric, unsupported by empirical evidence. This practice is a key feature of the discursive dialogue underpinning the CBME literature.

CBME의 저항 평가를 뒷받침하는 증거 검토

Examining the evidence supporting the resistance critiques of CBME

불분명한 전략 뒤에 있는 증거를 매핑한 후, 우리는 CBME의 저항 비판resistance critiques을 뒷받침하는 증거에 주목했다.

After mapping the evidence behind the discursive strategy, we turned our attention to the evidence underpinning resistance critiques of CBME.

이 연구는 철학, 심리학, 사회학, 역사, 교육 등과 같은 학문으로부터 유래하여 의학 분야 이외의 접근에 대한 오랜 역사를 반영한다. 70년에 걸친 이 지식의 본체는 주로 저항적 담론에 의해 활용되었다. 테이블 

This research reflects a long history of consideration of the approach outside the field of medicine, stemming from disciplines such as philosophy, psychology, sociology, history and education. This body of knowledge, which spans seven decades, was leveraged predominantly by the resistance discourse. Table 2

고찰

DISCUSSION

문헌을 찾아본 뒤, 저항 담론이 CBME와 관련된 개념적 비평의 집합체array을 발전시켰다는 것이 명백해졌다. CBME를 지지하는 측의 담론은 종종 이러한 비판을 평가절하minimize하고, 역량 프레임워크의 기본적 개념에서 주의를 분산시키는 명확한 분산 전략으로 대응해왔다.이 과정의 한 가지 방식은, CBME와 관련된 우려를 구현과 해석이라는 두 가지 현실적인 문제로 귀결시키는 것이다. 우리는 이 과정이 CBME의 무결점 담론에 기여한다고 주장한다.

Moving through the textual archive, it became clear that a resistance discourse has advanced an array of conceptual critiques related to CBME. The CBME discourse has often responded to these, not with evidence, but with a clear discursive strategy that minimises these critiques and deflects attention from the underlying concept of competency frameworks. As part of this process, concerns related to CBME are attributed to two practical problems: implementation and interpretation. We argue this process contributes to a discourse of infallibility of CBME.

CBME의 무결점 담론

The discourse of infallibility of CBME

CBME에 대한 개념적 비판을 구현 또는 해석의 문제로 리프레이밍해버림으로써, 무결점 담론은 CBME의 핵심 가정을 부정적인 평가로부터 보호하는 모호성discursive 버퍼를 갖게 된다. 이로서 이들은 비판적 목소리를 잠재우고 역량 기반 접근방식에 대한 엄격한 검사를 방해한다. 이와 같이 무결점 담론은 CBME를 의심할 수 없는 '진리'로서 구성함으로써 스스로를 강화한다. 이와 같이, 역량 기반 접근은 의료 교육의 합리적이고 피할 수 없는 발전으로 인식된다.

In reframing conceptual critiques as matters of implementation or interpretation, the discourse of infallibility establishes a discursive buffer that shields CBME’s core assumptions from negative appraisal. This practice silences critical voices and hinders a rigorous examination of the competency- based approach. In this way, the discourse of infallibility strengthens CBME by constructing it as a ‘truth’ that cannot be questioned. As such, the competency-based approach comes to be perceived as a rational and inevitable advancement in medical education.

CBME에 대한 인증된, 및 인증되지 않은 비평

Authorised and unauthorised critiques of CBME

다른 사회적 구성과 마찬가지로 CBME 역시 '반복되는 정당화된 진술에 바탕을 둔 힘과 지식 관계'의 산물이다.26

CBME, like any social construct, is a product of ‘power and knowledge relationships founded on a series of repeated and legitimised statements’.26

이러한 관점에서, CBME 문헌에서 어떤 일련의 추론들이 참 또는 거짓으로 인식되는지, 합법적이거나 불법적인 것으로 인식되는지, 그리고 인가되거나 인가되지 않는지가 명백해진다. 무결점의 담론은 [실행과 해석]을 역량 프레임워크의 이론 및 실천과 관련된 legitimate and legitimated 관심사로 포지셔닝 시킨다.

From this perspective, it becomes clear which lines of reasoning are perceived as true or untrue, legitimate or illegitimate, and authorised or unauthorised in the CBME literature. The discourse of infallibility positions implementation and interpretation as both legitimate and legitimated concerns related to the theory and practice of competency frameworks.

그러나 방어가 필요한 다른 우려들, 특히 인식론적 및 행동주의 문제에 근거한 개념적 의문inquiry는 이러한 모호성 경계 내에서 정당화되지 않았다. 따라서 Foucault의 공인된authorized 진실 진술의 명명법에 따라, 이러한 지점에 대한 비판은 무익성의 담론의 범위 내에서 승인되지 않았다unauthorised고 볼 수 있다.

Yet other defensible concerns, particularly conceptual inquiry grounded in epistemological and behaviourist issues,13–16 have not been legitimated within these discursive boundaries. In keeping with Foucault’s nomenclature of authorised truth statements, these forms of criticism are therefore unauthorised within the bounds of the discourse of infallibility.

[합당하고 인가된 CBME의 비평]과 [합당하지만 인가되지 않은 비평] 사이의 명확한 구별이 있다.

a clear distinction between critiques of CBME that are legitimate and authorised, and critiques that are legitimate but unauthorised.

인가된 비평과 인가되지 않은 비평 사이의 첨예한 분리는 CBME에 대해 말할 수 있는 것과 말할 수 없는 것의 경계를 정의하는 진실 진술의 힘을 보여준다. [인가된 비평]이 대안적 견해를 침묵시키거나, 단순히 무시해버릴 수 있는 능력을 갖는 것은 바로 이 힘의 역동성을 통해서이다. 이러한 모호한 경계는 저항 담론에 의해 진전된 인식론적 및 행동주의적 우려를 제거해버리는dismissal 데 기여하며, 그 결과 이러한 우려는 대부분 문헌에서 언급되지 않는다. 그러나 사실 이렇게 무시되어 온 담론과 주장이야말로 CBME의 기본 원칙과 패러다임 전환을 뒷받침하는 근거의 부족성에 대해 엄격하고 타당한 주장으로 의문을 제기한다.4,10,11

The sharp division between authorised and unauthorised criticism illustrates the power of a truth statement to define the boundaries of what can and cannot be said about CBME. It is through this power dynamic that authorised critiques have the ability to silence, or simply ignore, alternative views. These discursive boundaries contribute to the dismissal of epistemological and behaviourist concerns advanced by the resistance discourse, leaving them largely unaddressed in the literature. This disregarded body of work raises valid arguments that rigorously question the foundational tenets of CBME,13–16 as well as the paucity of evidence supporting the paradigm shift.4,10,11

CBME는 진실 진술에 의해 생성된 범위 내에서만 비판될 수 있고, CBME는 무결점 담론으로 뒷받침되고 있다. 이러한 구분은 궁극적으로 '개인과 기관이 사고하고, 말하고, 행동할 수 있는 방법을 제한한다'.24 시간이 지남에 따라 특정 형태의 지식과 앎의 방식은 더 수용가능해지지만, 다른 것들은 덜 허용less acceptable된다.44 이러한 관점에서 보자면, CBME를 가능하게 만드는 것은 [CBME의 주요 문제는 그것의 도입과 관련한 실행과 해석이라는 반복적 주장]이다.

CBME can only be critiqued within the confines produced by the statement of truth and upheld by the discourse of infallibility. This dividing practice ‘shapes and limits the ways individuals and institutions can think, speak, and conduct themselves’.24 Over time, this causes certain forms of knowledge and ways of knowing to become more acceptable, and others less so.44 From this perspective, CBME is made possible by the recurring claim that the construct’s primary issues are its practical implementation and interpretation.

CBME에 대해 [말할 수 있는 것]과 [말할 수 없는 것]이 무엇인가를 나누는 관행은 결국 말할 수 있는 사람은 누구이고 말할 수 없는 사람은 누구인지를 알려준다. [사상과 언어에 대해 사회적으로 구성된 제약]은 권력을 가진 특정 개인 집단에게 더 집중invest되는데, 이는 궁극적으로 누가 CBME에 대해 쓰거나 말할 권한을 갖는지 결정한다. 지배적인 담론에 부합하는 학문적 의견을 가진 사람들은 합법성에 동의하는 반면, 다른 목소리들은 억압된다. 또한, 의학 교육의 구조 내에서 개인의 위치는 그들이 말할 수 있는 것에 영향을 미칠 수 있으며, 어떤 근거로 그것을 말할 수 있는지에도 영향을 미친다.45 이러한 역동을 고려한다면, CBME에 대한 무결점 담론을 주장하는 저자들이 CBME를 받아들이고 거기에 투자하고 있는 기관에 소속되어 있는 것은 전혀 놀랄만한 것이 아니다. 

The same dividing practices that shape what can and cannot be said about CBME also inform who can and cannot say it. Socially constructed constraints on thought and speech invest certain groups of individuals with power, which ultimately determines who has the authority to write or speak about CBME. Those whose scholarly opinions align with the dominant discourse are accorded legitimacy, whereas other voices are suppressed. Further, individuals’ positions within the structure of medical education can influence what they are able to say, and on what grounds they may say it.45 It is perhaps not surprising, when considering this dynamic from a Foucauldian perspective, that many authors using the discourse of infallibility are affiliated with organisations that promote the competency-based approach and are invested in its uptake in medical education.

시간이 지남에 따라, 이러한 권력 구조는 의학 교육 문헌에서 정상화normalize되었다. 그림 1의 서지학적 분석은 이 정규화 과정의 결과를 보여준다. 그것은 [시행과 해석]이 CBME와 관련된 유일한 합법적 우려사항이라는 주장이 이제 당연하게 받아들여져서 학술 간행물에서 경험적 증거를 뒷받침할 필요가 없음을 나타낸다.

Over time, these power structures have become normalised in the medical education literature. The bibliographic analysis in Figure 1 illustrates the result of this normalisation process. It indicates that the assertion implementation and interpretation are the only legitimate concerns related to CBME is now so taken for granted it does not require supporting empirical evidence in academic publications.

그릇된(가짜) 반론으로서의 무불변의 담론.

The discourse of infallibility as a faux resistance

푸코에 따르면 권력은 종종 [소유]보다는 [전략]의 형태로 나타나며, 복잡한 담화 체계로 확산된다.46 역량 프레임워크의 운영과 관련된 합법적이고 정당한 우려로서, 시행과 해석implementation and interpretation은 CBME의 이용자들이 잠재적 좌절감을 내보일 수 있는 배출구 역할을 한다. 시행과 해석이라는 인증된authorised 비평은 CBME를 지속적으로 실천하는 과정에서 어려움이 발생할 때 사용자가 책임을 물을 수 있는 희생양을 제공한다. 이러한 방식으로, 시행과 해석은, 부분적으로는, 일종의 저항 담론으로 기능한다.

According to Foucault, power often manifests in the form of a strategy rather than a possession, diffused throughout a complex system of discourse.46 As both legitimate and legitimated concerns related to the operationalisation of competency frameworks, implementation and interpretation act as an outlet through which users of CBME can channel potential frustration. The authorised critiques provide users with a scapegoat to bear the blame when challenges arise in the sustained practice of CBME. In this way, implementation and interpretation appear to be, and partially function as, a resistance discourse

시행과 해석이라는 인가된 비평은 CBME의 반대측 담론에 연루되어 있는 것처럼 보이지만, 사실은 CBME가 절대 무결하다는 개념을 강화하고 보존한다는 점에서 "가짜" 저항일 뿐이다. 이러한 명백한 모순은 CBME의 지배력을 증가시키는 엄청난 생산성을 가지고 있다. 이 담론이 CBME를 반대하는 척 위장하고 있기 때문에, 여러 문헌에서는 '무결점 담론'에 대한 특별한 설명이 없더라도 그렇게 인식되지 않는 상태로 작동할 수 있다. CBME 담론은 그것의 가짜 저항에 의해 지속되며, CBME의 개념을 [강력하고 경험적인 방식으로 질문하는 것]을 방지한다.

The authorised critiques are a faux resistance in that they seem to be implicated in an opposing discourse, yet instead strengthen and preserve the notion that CBME is infallible. This apparent contradiction has immense productivity in increasing the dominance of CBME. Disguised as a form of opposition, the discourse of infallibility can operate unarticulated and unrecognised in the literature. Thus, the discourse is perpetuated by the way its faux resistance facade prevents the concept of CBME from being questioned in a robust, empirical manner.

함의

IMPLICATIONS FOR MEDICAL EDUCATION

우리는 무결점 담론의 생산과 전파가 의식적으로, 의도적으로 사용된다고 생각하지는 않는다. 오히려 푸코다이드 CDA는 '개인이 시대적 의욕에 어떻게 내재되어 있는지'를 밝히는데, 이는 '사회적 구성과 언어의 수용은 그 맥락에서 분리될 수 없으며, 의도하지 않은 영향을 미리 예측할 수 없다'는 뜻이다.31

In discussing the production and propagation of the discourse of infallibility, we do not suggest it is used consciously or intentionally. Rather, Foucauldian CDA illuminates how ‘individuals are embedded in the discourses of their times’, meaning ‘the social construction and uptake of language cannot be divorced from its context, nor can unintended effects be predicted in advance’.31

CDA는 언어와 힘의 결합을 가시화하는 과정에서 지배담론과 저항담론 사이의 이분법을 지나치게 강조할 수 있다. 그럼에도 불구하고 CDA는 언어가 사회적, 정치적, 역사적 형식과 불가분의 관계에 있기 때문에 중립으로 간주될 수 없다는 것을 상기시킨다.31 담론, 관행, 권력의 교차점을 검토할 때 CDA는 지역적local 수준을 다루지 않는다. 오히려, CDA는 집단을 이룬 개개인이 어떻게 그리고 왜 "당연하게 여겨지는 관행"에 관여implicated하는지를 고려함으로써, 사회적 수준에 주의를 기울인다.

CDA can over-emphasise the dichotomy between dominant and resistance discourses when making visible the integral link between language and power. Nevertheless, CDA reminds us that language cannot be considered neutral because it is inextricably tied to its social, political and historical formations.31 In examining the intersections between discourse, practices and power, CDA does not address the local level. Rather, it attends to the societal level by considering how and why groups of individuals are implicated in taken-for-granted practices.

우리는 그렇다면 개인의 무능력이나 반대되는 저항의 담론을 사용하는 것은 의도의 문제가 아니라, 역량 기반 접근법의 구상, 개발 및 이행 중 의학교육 연구와 실천에 engage하는 과정에서 발생하는 직접적인 결과라고 제안한다.

We suggest, then, that individuals’ use of the discourse of infallibility or the opposing resistance is not a matter of intent, but a direct consequence of their engaging with medical education research and practice during the conception, development and implementation of the competency-based approach.

CBME 문헌을 뒷받침하는 '대화'를 해체할 때, 우리는 우리의 담론의 범위 밖에서 작동하고 있다고 주장하지 않는다. 모든 개개인이 그러하듯, 우리의 사고와 글도 필연적으로 우리의 문맥과 시간의 산만한discursive 구조와 연결되어 있다.

In deconstructing the ‘dialogue’ underpinning the CBME literature, we do not claim to operate outside the bounds of these discourses. Like all individuals, our thinking and writing are inevitably tied to the discursive structures of our context and time.

비록 우리가 이 연구를 하는 동안 자신의 위치에 대한 성찰적 고려를 유지하려고 노력했지만, 우리는 우리가 작동하는 담론에서 완전히 벗어날 수는 없다. CDA는 이 과정을 안내하기 위한 강력한 개념적, 방법론적 프레임워크를 제공하지만, 그것 역시 세계를 이해하는 기초가 되는 일련의 가정에 놓여 있다. 이 연구는 필연적으로 그러한 가정들에 관련되어 있다.

Although we endeavoured to maintain a reflexive consideration of our own positionalities throughout this study, we cannot entirely disentangle ourselves from the discourses within which we operate. CDA offers a strong conceptual and methodological framework to guide this process, but it too rests on a set of assumptions that serve as a basis for understanding the world. This research is inevitably implicated in those assumptions.

우리의 연구는 문헌에서 중요한 inquiry들이 어떤 방식으로 언급되지 않고 지나가는지를 강조한다. 이 연구 기관은 의료 교육에서의 역량 프레임워크의 이론과 실천에 의문을 제기하는 정당한 주장을 제기하였다. 이러한 주장은 경험적 연구에 바탕을 두지 않는 경우가 많았지만, 오래 지속되고 잘 발달된 이론적 고려에 의해 진전되었다. 더 나아가서, 우리는 인증되지 않은unauthorised 비평을 타당한 연구 질문으로 리프레임reframe할 것을 제안한다. 다른 분야의 과거 지식을 기초로 삼아, 이 비평은 의료 교육에서 역량 기반 접근방식을 뒷받침하는 가정의 엄격한 검사에 귀중한 진입점을 제공한다.