DREEM: 도입과 활용 리뷰 (Med Teach, 2012)

DREEM: 도입과 활용 리뷰 (Med Teach, 2012)

The Dundee Ready Education Environment Measure (DREEM): A review of its adoption and use

SUSAN MILES, LOUISE SWIFT & SAM J. LEINSTER

University of East Anglia, UK

도입

Introduction

학생들이 접하는 교육 환경이 학습 과정, 인식된 행복, 열망 및 학업 성취도에 대한 만족도에 영향을 미친다는 증거가 있다(Plucker 1998; Pimparyon 등). 2000; Genn 2001; Lizzio et al. 2002, Audin et al. 2003; Mayya &Roff 2004). 측정 가능한 것 외에도, 교육 환경도 변화할 수 있다. 따라서 교육환경의 퀄리티과 교육 프로세스 자체를 향상시킬 수 있다(Genn &Harden 1986). [커리큘럼의 혁신]과 [의대 과정에서의 학생 모집단의 다양성 증가]는 의과대학의 교육 환경을 평가하고자 하는 욕구와 필요성 둘 다에 대한 인식을 증가시키는 결과를 가져왔다(마일 2011).

There is evidence that the educational environment encountered by students has an impact on satisfaction with the course of study, perceived well-being, aspirations and academic achievement (Plucker 1998; Pimparyon et al. 2000; Genn 2001; Lizzio et al. 2002, Audin et al. 2003; Mayya &Roff 2004). In addition to being measurable, the educational environment can also be changed; thus enhancing the quality of the environment and the medical education process itself (Genn &Harden 1986). Innovations in medical curricula and increasing diversity of the student population on medical courses have lead to increasing recognition of both a desire and a need to evaluate the educational environment of medical schools (Miles 2011).

DREEM(Dundee Ready Education Environment Measure)은 특히 의대 및 기타 보건 직업에 대한 교육 환경을 측정하도록 설계되었다(Roff et al. 1997). 10여 년 전 국제 의과대학/건강 전문직의 교수진들로 구성된 델파이 패널을 사용하여 개발된 후 여러 나라의 학생들을 대상으로 유효성 검사를 실시하였다. DREEM의 precursor인 설문을 비롯하여, MEEM(Medical Education Environment Measure) 및 특정 PGME에서 교육 환경을 측정하도록 설계된 몇 가지 후속 도구(PHEEM(Postgradstudio Education Environment Measure), STEEM(Surgical Theatre Education)Ational Environment Measure) 및 ATEEM(Annaestic Theatre Educational Environment Measure).도 개발되었다.

The Dundee Ready Education Environment Measure (DREEM) was designed to measure the educational environment specifically for medical schools and other health professions (Roff et al. 1997). It was developed over 10 years ago using a Delphi panel of faculty members from international medical schools/health professions and then tested on students in several countries for validation purposes. There are other related tools including the pre-cursor to the DREEM, the MEEM (Medical Education Environment Measure) and several subsequent tools that have been designed to measure the educational environment in specific post-graduate medical settings: the PHEEM (Postgraduate Hospital Educational Environment Measure), STEEM (Surgical Theatre Educational Environment Measure) and ATEEM (Anaesthetic Theatre Educational Environment Measure).

DREEM은 50개 문항 폐쇄형 질문이다. 이 50개 항목은 다음 5개 항목 중 하나에 속한다. 학습에 대한 학생들의 인식(12개 항목) 교사에 대한 학생들의 인식(11개 항목) 학생들의 학문적 자아 인식(8항목) 학생들의 분위기 인식(12항목)과 학생들의 사회적 자아 인식(7항목). 50개의 문장은 각각 5점 단위로 점수가 매겨지며, "강력하게 동의한다"(4), "학점"(3), "확실하지 않다"(2), "불확실하다"(2), "불합리하다"(1) 및 "강력하게 반대한다"(0)라는 라벨이 붙어 있다. 4, 8, 9, 17, 25, 35, 39, 48 및 50 항목에 대해 역코딩이 필요하다. 그러므로 점수가 높으면 긍정적인 평가를 나타낸다. DREEM은 200점 만점으로 이상적인 교육 환경을 나타낸다.

The DREEM is a 50-statement closed question questionnaire. These 50 items fall into one of the following five subscales: 

• Students’ perception of learning (12 items); 

• Students’ perceptions of teachers (11 items); 

• Students’ academic self-perceptions (8 items); 

• Students’ perceptions of atmosphere (12 items) and 

• Students’ social self-perceptions (7 items). 

Each of the 50 statements is scored on a five-point scale, with the following labels: ‘‘Strongly agree’’ (4), ‘‘Agree’’ (3), ‘‘Unsure’’ (2) (some publications use the midpoint ‘‘Uncertain’’), ‘‘Disagree’’ (1) and ‘‘Strongly disagree’’ (0). Reverse coding is required for items 4, 8, 9, 17, 25, 35, 39, 48 and 50. Thus, higher scores indicate a more positive evaluation. The DREEM has a maximum score of 200, representing an ideal educational environment.

DREEM의 결과는 (i) 개별 항목, (ii) 하위척도, (iii) 전체 DREEM의 세 가지 수준에서 고려될 수 있다. 항목별 점수는 5개의 하위척도로 합산되며, 이 합계 점수의 평균을 소급 요약 점수를 주기 위해 취한다. 전체 DREEM 점수를 얻기 위해 하위 척도 합계 점수를 합산한다. 각 항목에 대해 모든 참가자가 획득한 평균 점수를 살펴 개별 항목을 검사하면 교육 환경 내에서 특정 강점과 약점을 파악할 수 있다.

The results of the DREEM can be considered at three levels: (i) individual items, (ii) subscales and (iii) overall DREEM. The raw scores obtained for the items making up each of the five subscales are summed for each participant, and then the mean of this summed score is taken to give subscale summary scores. To obtain the overall DREEM score, the subscale summary scores are summed. Examination of the individual items by looking at the mean score obtained across all participants for each item enables the identification of specific strengths and weakness within the educational environment.

개발자들은 DREEM을 기술한 원문에서 달성된 총점 및 하위 척도 점수를 가능한 최대 점수의 백분율로 보고하였으나, DREEM 해석과 관련하여 권고 사항은 하지 않았다. 그 후, 개발자 중 2명(McAleer & Roff 2001)은 세 가지 수준 각각에서 점수를 해석하는 방법에 대한 지침을 제공했다. 그들은 전체 DREEM과 5개 항목별 점수 범위에 대한 구두 설명을 제공한다. 이러한 점수 설명자는 항목별 해석을 할 때 가이드로 사용할 수 있다. 개별 항목에서 평균점수가 3.5인 항목은 특히 강한 영역으로 간주되며, 평균점수가 2.0인 항목은 특별한 주의가 필요하며 평균점수가 2-3인 항목은 개선될 수 있는 교육환경의 영역이다. 그러나 개발자들은 의학교육자들이 (예를 들어 서로 다른 학생 그룹 간에 또는 동일한 학생 그룹과 시간의 경과에 따라 비교하기를 원하는 경우 등에서) 세 가지 수준 중 어느 것에서도 DREEM을 분석하는 방법에 대한 권고안을 제공하지 않았다.

In the original article describing the DREEM, the developers reported the achieved total and subscale scores as a percentage of the maximum score possible, but made no recommendations regarding interpretation of the DREEM. Subsequently, two of the developers (McAleer & Roff 2001) provided guidance as to how to interpret scores at each of the three levels. They present a verbal description of a range of scores for the overall DREEM and each of the five subscales. These score descriptors can be used as a guide when interpreting the subscales. Regarding individual items, those with a mean score of  3.5 are regarded as especially strong areas, items with a mean score of  2.0 need particular attention and items with mean scores between 2 and 3 are areas of the educational environment that could be improved. The developers, however, did not provide any recommendations as to how to analyse the DREEM at any of the three levels should medical educators wish to make comparisons, for example, between different groups of students or over time with the same group of students.

DREEM은 연간 평가 과정의 일환으로 Norwich Medical School, University of East Anglia(UEA)에서 사용되며, 이를 통해 시간 경과와 코호트에 걸쳐 자신의 데이터를 비교할 수 있으며, DREEM을 사용하는 다른 의과대학과 비교할 수 있다. 그러나, DREEM을 사용하는 동안 우리는 DREEM이 보고되고 분석되는 방식에 상당한 불일치가 있다는 것을 알게 되었고, 이는 기관 간의 비교를 어렵게 만든다.

The DREEM is used at the Norwich Medical School, University of East Anglia (UEA), as part of the annual evaluation process so that we can compare our own data over time and across cohorts, and to enable comparisons to be drawn with other medical schools using the DREEM. However, whilst using the DREEM we have become aware that there is considerable inconsistency in the way the DREEM is reported and analysed, which makes comparison between institutions difficult.

방법

Method

결과

Results

DREEM의 사용

Use of the DREEM

표 1은 검토에서 확인된 DREEM 문서를 요약한다.

Table 1 outlines the DREEM articles identified in the review.

발표된 동료 검토 문헌에서 확인된 40개의 논문을 통해, DREEM은 다음과 같은 20개 국가에서 사용되었음을 알 수 있다. 호주, 브라질, 캐나다, 칠레, 중국, 인도, 이란, 아일랜드, 일본, 쿠웨이트, 말레이시아, 네팔, 나이지리아, 사우디아라비아, 싱가포르, 스리랑카, 스웨덴, 터키, 영국 및 서인도 제도. 목적상 최소 8개 언어(아랍어, 중국어, 일본어, 페르시아어, 평가 포르투갈어, 스페인어, 스웨덴어, 터키어)로 번역되었다.

Through the 40 papers identified in the published, peerreviewed literature, it is found that the DREEM has been used in 20 countries, including: Australia, Brazil, Canada, Chile, China, India, Iran, Ireland, Japan, Kuwait, Malaysia, Nepal, Nigeria, Saudi Arabia, Singapore, Sri Lanka, Sweden, Turkey, the UK and the West Indies. It has been translated into at least eight languages (Arabic, Chinese, Japanese, Persian, evaluation Portuguese, Spanish, Swedish, Turkish) for purposes.

DREEM은 학부 의대생들에게 가장 흔하게 사용되어 왔으나(n = 31 논문), 다른 그룹과도 함께 사용되어 왔다.

The DREEM has most commonly been used with medical students in undergraduate medical schools (n¼31 papers); but it has also been used with other groups

여러 가지 이슈를 탐구하는 데 사용되었으며, 크게 네 가지 그룹으로 분류할 수 있다.

It has been used to explore a number of issues, which can be broadly classified into four groups:

(1) 진단적

(1) Diagnostic

. 현재 교육 환경에 대한 인식 조사 및 강도 및 약점 영역 식별(예: Roff et al. 2001; Bassaw et al. 2003; Vieira et al. 2003; Dunne et al. 2006; Whittle et al. 2007; Thomas et al. 2009; 아하몰래이 & 파젤 2010). 

. Investigating perception of the current educational environment and identifying areas of strength and weakness (e.g. Roff et al. 2001; Bassaw et al. 2003; Vieira et al. 2003; Dunne et al. 2006; Whittle et al. 2007; Thomas et al. 2009; Aghamolaei & Fazel 2010). 

. 기성 의과대학의 기존 교육 환경을 커리큘럼 변경의 사전 커서로 측정하여 변경에 대한 우선순위 영역을 식별하고 커리큘럼 변경 후 비교의 기준 역할을 한다(예: Al-Hazimi 등). 2004a; 아발로스 외 2007; 알아이드 & 셰이크 2008). 

. Measuring the existing educational environment in the established medical schools as a pre-cursor to curriculum change, both to identify priority areas for change and to act as a baseline for comparison after curriculum change (e.g. Al-Hazimi et al. 2004a; Avalos et al. 2007; Al-Ayed & Sheik 2008). 

. 새/개정된 커리큘럼이 교육환경 인식에 미치는 영향 조사(예: Demiro ̈ren 2004; et al. 2008; O'Brien et al. 2008; Riquelme et al. 2009; Edgren et al. 2010).

. Investigating the impact of a new/revised curriculum on perception of educational environment (e.g. Till Demiro¨ren 2004; et al. 2008; O’Brien et al. 2008; Riquelme et al. 2009; Edgren et al. 2010).

(2) 비교 - 서로 다른 그룹

(2) Comparison – Different groups

. 서로 다른 의료 교육 기관 비교(예: Roff et al. 2001; Al-Hazimi et al. 2004b). 

. Comparing different medical education institutions (e.g. Roff et al. 2001; Al-Hazimi et al. 2004b). 

의학적 훈련의 다른 단계에 있는 학생들을 비교하는 것.

. Comparing students at different stages of their medical training.

임상 대 비임상/전임상(예: Jiffry et al. 2005; Dunne et al. 2006; Avalos et al. 2007; Abraham et al. 2008) 

Clinical versus non/pre-clinical (e.g. Jiffry et al.   2005; Dunne et al. 2006; Avalos et al. 2007; Abraham et al. 2008). 

다른 연도의 학생(예: 알-하지미 등) 2004b; Dunne 등 2006; Al-Ayed & Sheik 2008; Demiro ̈ren et al. 2008. 

Students in different year groups (e.g. Al-Hazimi   et al. 2004b; Dunne et al. 2006; Al-Ayed & Sheik 2008; Demiro¨ren et al. 2008). 

학생 대 졸업생(예: Bassaw et al. 2003).  

Students versus graduates (e.g. Bassaw et al. 2003).  

. 성별 비교(예: n1⁄416 논문) Mayya & Roff 2004; Dunne et al. 2006; Abraham et al. 2007; Al-Ayed & Sheik 2008; Bourhaimed et al. 2009). 

. Comparing gender (n¼16 papers, e.g. Mayya & Roff 2004; Dunne et al. 2006; Abraham et al. 2007; Al-Ayed & Sheik 2008; Bourhaimed et al. 2009). 

. 서로 다른 학습 사이트(예: 임상 배치 위치 또는 대학 사이트) 비교(예: Varma 등, 2005; Carmody 등) 2009; McKendree 2009; Bennet et al. 2010; Denz-Penhey & Murdoch 2010). 

. Comparing different sites of learning (e.g. clinical placement location or university site) (e.g. Varma et al. 2005; Carmody et al. 2009; McKendree 2009; Bennet et al. 2010; Denz-Penhey & Murdoch 2010). 

학업 성취도를 저학력 학생들과 비교하는 것은 성취도가 낮은 사람들이다(예: Mayya & Roff 2004; Abraham et al. 2007). 

. Comparing academic achievers with those students are who under-achieving (e.g. Mayya & Roff 2004; Abraham et al. 2007). 

. 직원과 학생 비교 (예: 마일즈 & 린스터 2009) 

. Comparing staff and students (e.g. Miles & Leinster 2009). 

. 커리큘럼 변경(기존과 문제 기반 학습 포함) 후 새로운 코스와 오래된 코스에 대한 인식 비교(예: Bourhaimed et al. 2009).

. Comparing perception of an old course with a new course following curriculum change (including traditional versus problem-based learning) (e.g. Bourhaimed et al. 2009).

(3) 비교 - 같은 그룹

(3) Comparison – Same groups

. 학생들이 경험한 실제 교육 환경과 의대 개학 기대치를 비교한다(예: 마일즈 & 린스터 2007). 

. Comparing the actual educational environment experienced by students with what they expected on starting medical school (e.g. Miles & Leinster 2007). 

. 학생들이 경험하는 실제 교육 환경을 이상적/우선적 환경과 비교(예: 2005년까지).

. Comparing the actual educational environment experienced by students with their ideal/preferred environment (e.g. Till 2005).

(4) 다른 척도와의 관계

(4) Relationship with other measures

. 학업성취도(예: de Oliveira Filho & Schonhorst 2005). 

. Academic performance (e.g. de Oliveira Filho & Schonhorst 2005). 

. 업무에 대한 자기 인식 능력/준비성(예: Lai 등) 2009; Tokuda et al. 2010). 

. Self perceived competency/preparedness to work (e.g. Lai et al. 2009; Tokuda et al. 2010). 

. 스트레스 (예: O'Rouke et al. 2010). 

. Stress (e.g. O’Rouke et al. 2010). 

. 질적 평가 데이터(예: Denz-Penhey & Murdoch 2009). 

. Qualitative evaluation data (e.g. Denz-Penhey & Murdoch 2009). 

. 작업 환경의 측면(예: de Oliveira Filho et al. 2005a). 

. Aspects of working environment (e.g. de Oliveira Filho et al. 2005a). 

.또 다른 학생 체험 기구(예: Sobral 2004)

. Another student experience instrument (e.g. Sobral 2004)

. 평가 척도(예. 2006년.

. An assessment measure (e.g. Thome´ et al. 2006). .

DREEM 자료 보고와 분석

Reporting and analysis of DREEM data

대다수의 저자들은 개별 항목, 항목별 평균, 총 점수를 보고한다. 일부 저자는 평균(n=15 논문)뿐만 아니라 표준 편차를 보고하지만 대부분은 그렇지 않다. 몇 가지 경우, 가능한 최대 점수의 백분율로 점수가 제시된다(Jiffry et al. 2005; Varma et al. 2005; Avalos et al. 2007; Bourhaimed et al. 2009; Riquelme 등. 2009). 50개 모든 DREEM 항목에 대해 점수를 보고하는 사람도 있고, 하위 집합에 대해서만 점수를 매기는 사람도 있다(예: 특히 점수가 낮아 주의가 필요한 항목에 대해서). 일부 저자는 각 항목에 대해 동의함, 동의하지 않음, 확신하지 못함에 해당하는 응답자의 비율을 보고한다(Till 2004; Miles & Leinster 2009). 문제 영역을 진단하는 것이 목적인 경우, 여러 저자가 위에 보고된 대로 DREEM 개발자가 권장하는 평균 접근방식의 임계값을 채택했다(즉, 2.0보다 작거나 같은 항목은 주의가 필요하며, 일부 저자는 2.5 임계값보다 작거나 같은 항목) (n = 14 논문). 일부 저자들은 그들의 결과를 다른 발표된 결과와 비교한다. 대개 그들의 기사의 "토론" 섹션에서.

The majority of authors report the means of individual items, subscales and the total score. Some authors report the standard deviation as well as the mean (n¼15 papers), but most do not. In a few cases, the score as a percentage of the maximum possible scores is presented (Jiffry et al. 2005; Varma et al. 2005; Avalos et al. 2007; Bourhaimed et al. 2009; Riquelme et al. 2009). Some report scores for all 50 DREEM items; others only for a subset (e.g. those which are particularly low and need attention). A couple report the percentages of respondents who agree, disagree or are unsure for each item (Till 2004; Miles & Leinster 2009). Where the aim is to diagnose problem areas, several authors have adopted the threshold for the mean approach recommended by the DREEM’s developers as reported above (i.e. items scoring less than or equal to 2.0 need attention, with some authors adopting a stricter less than or equal to 2.5 threshold) (n¼14 papers). Some authors compare their results with other published results, usually in the ‘‘Discussion’’ section of their article.

두 개의 분리된 학생 그룹의 점수를 비교하는 경우, 보고하는 것은 때때로 순전히 서술적이다. 그러나 일반적으로 독립적인 표본 t-시험(모수) 또는 Mann-Whitney U 검정(비모수, Wilcoxon Mann Whitney에 상당함)이 사용된다. 이 선택은 표본 크기와 관련이 없는 것으로 보인다. 일부 저자는 중요한 항목이 강조된 50개 항목 모두에 대해 시험 결과를 보고하지만, 일부 저자는 중요한 항목만 보고한다(예: Dunne 등 2006). 동의하는 비율, 동의하지 않는 비율 등에 의해 항목이 보고되는 경우 그룹 간에 카이 제곱 시험을 사용한다.

Where scores from two separate groups of students are compared, reporting is sometimes purely descriptive. However, usually either an independent samples t-test (parametric) or Mann–Whitney U test (non-parametric, equivalent to Wilcoxon Mann Whitney) is used. This choice does not appear to be related to sample size. Some authors report test results for all 50 items, perhaps with significant items highlighted, but some report significant items only (e.g. Dunne et al. 2006). Where items are reported by the percentage who agree, disagree, etc., a chi-squared test is used between groups.

3개 이상의 그룹이 비교를 필요로 하는 경우, ANOVA(모수)과 Kruskal-Wallis 검정(비모수)은 모두 하위 척도 점수 및 합계, 때로는 항목 점수에서 사용되어 왔다. 때로는 복수의 시험(예: Bonferroni 보정을 사용한 Miles and Leinster 2007)에 대해 조정이 이루어지지만, 때로는 그렇지 않다. 때때로 특정 그룹 쌍 간의 시험이 수행된다.

When three or more groups require comparison, both the one way ANOVA (parametric) and the Kruskal–Wallis test (non-parametric) have been used on subscale scores and the total, and sometimes on item scores. Sometimes adjustment is made for multiple tests (e.g. Bonferroni in Miles and Leinster 2007), but sometimes not. Sometimes tests between particular pairs of groups are performed.

점수를 예상 점수 또는 최대 예상 점수 또는 최대 점수와 비교해야 하는 경우, Wilcoxon 서명된 순위 테스트 또는 단일 샘플 t-테스트를 사용한다. 한 논문(Till 2005)은 어떤 영역이 이상으로부터 가장 먼 점수를 받는지 나타내기 위해 실제 점수와 예상 점수의 평균 차이에 따라 항목을 순위를 매긴다.

Where scores are to be compared with an expected or maximum possible score, the Wilcoxon signed rank test is used or the single sample t-test. One paper (Till 2005) ranks the items in order of the mean difference between the actual and expected scores to indicate which areas score furthest from the ideal.

또한 DREEM은 교육 환경에 대한 인식과 기타 조치(예: Lai 등) 사이의 연관성을 조사하는 데 사용되어 왔다. 2009; O'Rourke et al. 2010), 예를 들어 상관 관계 또는 선형 회귀 분석을 사용한다. 여기서 방법의 선택은 다른 조치의 성격에 따라 달라질 것이다.

The DREEM has also been used to investigate the association between perception of the educational environment and other measures (e.g. Lai et al. 2009; O’Rourke et al. 2010), for instance, using correlation or linear regression. Here the selection of a method will depend on the nature of the other measures.

검증 목표(예: 요인 분석, Cronbach의 알파 계수 계산)에 특정한 통계 분석 결과를 보고하는 것 외에, 일부 논문에서는 일차적으로 새로운 유형의 환경에서 DREEM의 사용을 검증하는 것이 목적인 경우도 있고, 이 경우 데이터를 평가 데이터로 보고한다(예: de Oliveira Filho et al. 2005b; Wang et al. 2009), 

Some papers whose primary aim is to validate the use of the DREEM in a new type of environment also report their data as evaluation data, as described above (e.g. de Oliveira Filho et al. 2005b; Wang et al. 2009), in addition to reporting the results of statistical analysis specific to the validation goal (e.g. factor analysis, calculation of Cronbach’s alpha coefficients).

고찰

Discussion

그러나, 검토는 또한 DREEM 데이터가 어떻게 분석되고 보고되었는지에 대한 합의가 거의 없음을 보여준다. 매개변수(예: t-검정, 분산 분석)와 비모수(예: Mann-Whitney–U, Kruskal-Wallis) 시험이 모두 사용되었다. 다른 접근방식의 선택은 시험의 목적이나 표본의 크기에 기인할 수 있지만, 이것은 그렇지 않은 것 같다. 일상적인 평가에 관련된 사람들은 통계적 배경이 있을 것 같지 않기 때문에 그러한 불일치는 혼란을 야기하거나, 변화가 필요한 영역을 잘 못 해석하는 것으로 이어질 수 있다. 더욱이, 그들은 다른 곳에서 수집된 것과 비교하여 한 기관에서 획득한 DREEM 데이터를 해석하는 것을 어렵게 한다.

However, the review also shows that there is little consensus on how DREEM data has been both analysed and reported. Both parametric (e.g. t-test, analysis of variance) and non-parametric (e.g. Mann–Whitney–U, Kruskal–Wallis) tests have been used. Whereas the choice of differing approaches could be due to the purpose of the test or the size of the sample, this does not seem to be the case. Those involved in routine evaluation are not likely to have a statistical background, so such inconsistencies could lead to confusion and possible misinterpretation of the areas for change. Furthermore, they make it difficult to interpret the obtained DREEM data in one institution in comparison to that collected elsewhere.

위에서 상세히 기술한 바와 같이, 종종 논문은 관심 있는 부분군 간에 유의적인 차이가 있었던 개별 항목에 대한 수단만 보고한다. 종종 저자들은 허용된 단어나 표의 수에 대한 저널의 제한으로 인해 보고할 수 있는 것에 제약을 받는다. 기관 내부에서 과정 평가 목적으로 DREEM을 사용하는 평가자는 그러한 제약조건이 없을 것이다. 기관 간 DREEM 데이터의 유용한 비교를 가능하게 하려면 이상적으로 각 항목에 대해 평균을 보고해야 하며, 성별 또는 연구 연도와 같은 주요 하위 그룹에 의해 세분되어야 한다. 실용적인 이유로 이것이 가능하지 않은 경우, 저자는 자신의 데이터를 관심 있는 당사자가 이용할 수 있도록 해야 한다.

As detailed above, often papers only report means for those individual items where there was a significant difference between subgroups of interest. Often authors are constrained in what they can report due to journal imposed limits on the number of words or tables allowed. Evaluators using the DREEM for internal course evaluation purposes would have no such constraints. To enable useful comparisons of DREEM data between institutions, ideally the means need to be reported for each item, broken down by any key subgroups such as gender or year of study. Where this is not possible for practical reasons, authors should make their data available to any interested party.

대부분의 평가는 해당 평가를 수행하는 기관의 교육 환경을 개선하는 것을 목표로 실시되므로 비교할 필요가 없다고 주장할 수 있다. DREEM을 사용하여 자신의 장단점을 파악하여 완전히 독립적으로 기관의 교육 환경을 진단할 수 있다. 그러나, 당신의 기관의 학생들이 제기한 문제들과 걱정들이 다른 기관들도 공통적으로 가진 문제인지 아는 것이 유용할 수 있다. 더욱이, 다른 기관들이 당신 자신의 기관에서 이러한 동일한 영역의 교정조치에 도움이 될 수 있는 약점 영역을 어떻게 다루고 있는지에 대한 교훈을 얻을 수 있다.

One could argue that most evaluation is conducted with the goal of improving the educational environment at the institution performing that evaluation, thus there is no need for comparisons. It is possible to diagnose the educational environment of your institution completely independently, identifying your own strengths and weaknesses using DREEM. However, it can also be argued that it is useful to know whether issues and concerns raised by students at your institution are common to other institutions. Furthermore, lessons can be learnt about how other institutions are dealing with areas of weakness that may assist in remediation of these same areas at your own institution.

최근, 사용 가능한 기구들에 대한 검토에 따라, 소에만트리 외 연구진(2010년)은 DREEM이 학부 의료기관의 교육 환경을 측정하는 데 가장 적합한 도구일 가능성이 높다고 결론지었다. 그러한 검토는 DREEM이 사용되는 빈도와 그 데이터가 보고되는 빈도를 더욱 증가시킬 수 있다. 이는 DREEM을 여러 기관들 사이에서across institution 보다 효과적이고 일관성 있게 사용할 수 있으려면, 가능한 일관된 분석 및 보고의 필요성을 강화한다.

Recently, following a review of the available instruments, Soemantri et al. (2010) concluded that DREEM was likely to be the most suitable instrument for measuring the educational environment in undergraduate medical institutions. Such a review may lead to a further increase in the frequency with which the DREEM is used and its data are reported. This reinforces the need for consistent analysis and reporting, where possible, to enable the DREEM to be used more effectively and consistently across institutions.

---

Med Teach. 2012;34(9):e620-34. doi: 10.3109/0142159X.2012.668625. Epub 2012 Apr 3.

The Dundee Ready Education Environment Measure (DREEM): a reviewof its adoption and use.

Miles S1, Swift L, Leinster SJ.

Author information

1

Norwich Medical School, Faculty of Medicine and Health Sciences, University of East Anglia, Norwich, UK. susan.miles@uea.ac.uk

Abstract

BACKGROUND:

The Dundee Ready Education Environment Measure (DREEM) was published in 1997 as a tool to evaluate educational environments of medical schools and other health training settings and a recent review concluded that it was the most suitable such instrument.

AIMS:

This study aimed to review the settings and purposes to which the DREEM has been applied and the approaches used to analyse and report it, with a view to guiding future users towards appropriate methodology.

METHOD:

A systematic literature review was conducted using the Web of Knowledge databases of all articles reporting DREEM data between 1997 and 4 January 2011.

RESULTS:

The review found 40 publications, using data from 20 countries. DREEM is used in evaluation for diagnostic purposes, comparison between different groups and comparison with ideal/expected scores. A variety of non-parametric and parametric statistical methods have been applied, but their use is inconsistent.

CONCLUSIONS:

DREEM has been used internationally for different purposes and is regarded as a useful tool by users. However, reporting and analysis differs between publications. This lack of uniformity makes comparison between institutions difficult. Most users of DREEM are not statisticians and there is a need for informed guidelines on its reporting and statistical analysis.

PMID:

 

22471916

 

DOI:

 

10.3109/0142159X.2012.668625