DREEM의 심리측정적 평가 (BMC Med Educ, 2012)

DREEM의 심리측정적 평가 (BMC Med Educ, 2012)

A psychometric appraisal of the DREEM

Sean M Hammond1*, Margaret O’Rourke2, Martina Kelly2, Deirdre Bennett2 and Siun O’Flynn2

배경

Background

1998년, 세계 의학 교육 연맹은 의료 교육 프로그램의 평가 대상 중 하나로 학습 환경을 강조하였다[1]. 의학 교육자들 사이에서 academic and clinical 환경 모두에서 교육 환경의 영향이 의대생들의 태도, 지식, 기술, 진행 및 행동의 중요한 결정 요소라는 것은 널리 동의되어 있다[2,3]. 학술 사이트와 임상 사이트 모두에서 교육 환경에 대한 평가는 우수한 품질의 학생 중심의 커리큘럼을 제공하는 데 중요하다[4]. 많은 사이트에서 이러한 평가를 수행하려면, 전문 분야와 학생 집단이 포괄적이고, 유효하며, 신뢰할 수 있는 도구를 사용하는 것이 필수적이다.

In 1998, the World Federation for Medical Education highlighted the learning environment as one of the targets for the evaluation of medical education programmes [1]. It is widely agreed among medical educators that the effects of the educational environment, both academic and clinical, are important determinants of medical students attitudes, knowledge, skills, progression and behaviours [2,3]. Evaluation of the educational environment at both academic and clinical sites is key to the delivery of a high quality, student centred curriculum [4]. In order to conduct such evaluation across many sites, specialties and student groups use of a comprehensive, valid and reliable instrument is essential.

DREEM은 의료, 치과, 간호 및 지압 학습 환경과 같은 다양한 의료 환경에서 국제적으로 유용한 것으로 입증되었다[13]. 그것은 변화[18-21]을 도입하기 위한 관점에서 커리큘럼의 약점을 식별하기 위해 사용되었으며, 새로운 커리큘럼 개입의 영향을 평가하기 위해 적용되었다[22,23,16]. 학생 경험에 초점을 맞추면서 학생들의 기대와 경험[24] 또는 학생의 실제적 경험과 이상화된 경험[20] 사이의 차이를 식별하는 데 사용하게 되었다. 더욱이, 의과대학 내의 다른 현장에서의 학생 경험의 차이 [25,26]와 의학교육의 다른 단계에 있는 학생 인식의 차이[22]도 DREEM을 사용하여 조사되었다. DREEM의 한 가지 중요한 용도는 의과대학 간의 국제적 비교를 위한 효용이었다 [27,28]. 이를 통해 의과대학은 그들이 제공하고 있는 교육 환경을 벤치마킹할 수 있게 되었다 [29,30].

The DREEM has proved itself internationally useful in a variety of healthcare settings [13], such as medical, dental, nursing and chiropractic learning environments [14-17]. It has been used to identify weaknesses in curricula with a view to introducing change [18-21], and has been applied to assess the impact of new curricular interventions [22,23,16]. Its focus on student experience has led to its use in identifying the gap between student expectations and experience [24] and student actual and idealised experience [20]. Furthermore, differences between student experience at different sites within medical schools [25,26] and between students perceptions at different stages of their medical education [22], have also been examined using the DREEM. One important use of the DREEM has been as a utility for international comparisons between medical schools [27,28]. This has allowed medical schools to benchmark the educational environment they are providing [29,30].

그것의 개발자들은 DREEM에서 도출한 점수를 해석하기 위한 간단한 지침을 제공함으로써 의료 교육 환경에서 학습 환경을 평가하기 위한 접근 가능하고 사용하기 쉬운 장치를 만들었다[31]. 그럼에도 불구하고, 그것이 국가 간 비교에 매우 일반적으로 사용되고 있기 때문에, 문화적 편견으로부터 보호하기 위해서는, 지속적으로 심리측정적으로 정밀한 검토를 받는 것을 특히 중요하게 만든다. 도구의 심리측정적 특성이 국가 간에 변동이 심하다면, 척도에 기초한 결론은 (신뢰성이 떨어지고 유효성이 부족하여) 실상은 아티팩트artifact를 반영할 수 있다. cross-national하게 사용되는 척도의 정신학적 특성에 대해 엄격한 평가를 해야한다는 요구가 반복되어 왔지만[32-34], 교육 기후 연구에서는 일반적으로 적용되지 않는다.

Its developers have provided a simple guide to interpreting the scores derived from the DREEM making it an accessible and easy-to-use device for evaluating the learning environment in medical education settings [31]. Nevertheless, the fact that it is very commonly used for cross-national comparisons makes it particularly important that it is subject to close ongoing psychometric scrutiny to protect against cultural bias. If the psychometric properties of a device fluctuate across countries, conclusions based on the scale may actually reflect artifacts due to unreliability and lack of validity. There have been repeated calls for rigorous evaluation of the psychometric properties of measures used cross-nationally [32-34], but they are not commonly applied in educational climate studies.

DREEM의 개발자가 수행한 초기 정신측정학 평가[12] 외에, 발표된 연구 중 어떤 세부사항으로도 DREEM의 정신측정학 특성을 보고하는 것은 거의 없다. 두 가지 예외는 포르투갈, 그리스 및 스웨덴의 연구를 포함한다[28,29,35]. 

• 5개 하위척도에서는 내부 일관성의 variable level을 보여주는 결과가 혼합되었다. 

• 또한 요인 분석은 DREEM 개발자가 주장하는 5요소 구조를 지지하지 않았다. 

두 연구 모두 DREEM이 분명한 가치를 가지고 있고 서로 다른 프로그램에 걸쳐 잘 일반화되었다고 결론지었지만 그들의 연구에서 드러난 심리측정적 단점들은 추가적인 조사를 유발한다.

Apart from the initial psychometric evaluation of the DREEM carried out by its originators [12], few of the published studies report it’s psychometric properties in any detail. Two exceptions include studies in Portugal, Greece and Sweden [28,29,35]. Results were mixed showing variable levels of internal consistency for the 5 subscales. In addition, factor analyses did not support the 5-factor structure claimed by the DREEM developers. Both studies concluded that the DREEM had clear value and generalized well across different programs but the psychometric shortcomings exposed by their study do invite further scrutiny.

방법

Method

Participants

Materials/Instruments Used

Procedure

Data Management/Analyses

결과

Results

샘플에 있는 DREEM의 기본 정신계 특성은 표 1에 나와 있다.

The basic psychometric properties of the DREEM in our sample are reported in table 1.

오직 두 척도(학습 및 학업 자기 인식)만이 널리 채택된 엄지손가락 가이드의 규칙을 초과하는 알파값을 나타낸다[37]. 대조적으로 총 DREEM 점수는 허용 가능한 수준의 내부 일관성을 나타내는 것으로 보인다. 

Only two of the scales (Perception of Learning and Academic Self-perception) manifest an alpha exceeding the widely adopted rule of thumb guide of 0.70 [37]. The total DREEM score, in contrast, appears to manifest an acceptable level of internal consistency. 

하위척도가 설득력 있는 내부 일관성을 결여하고 있다는 사실은 DREEM의 구인 타당성에 대한 우려를 불러일으킨다. 설문지의 투입 하위 척도 구조를 평가하기 위해 DREEM 점수 키를 가설 매트릭스로 사용하여 다중 그룹 확인 요인 분석 [38,39]을 수행했다. 그 결과는 표 2에 제시되어 있다. 제안된 5요소 모델이 완벽하게 들어맞는다면, 각 DREEM 항목은 0으로 나타나는 다른 모든 요인에 대한 하중과의 통합 값을 생성하는 하나의 요인에만 적재되어야 한다. 그러나 실제로 그러한 완벽한 결과는 결코 발생하지 않으므로, 모델에 적합한 정도를 평가하기 위해 적합성 지수를 사용한다. 이 연구에서 플레밍 지수를 [40] 사용했다. 이것은 각 항목의 적합도(표 2의 마지막 열에 표시됨)와 각 요인이 모형에 맞는 정도(마지막 열에 표시됨)를 보여준다.

The fact that the subscales lack convincing internal consistency raises concerns about the construct validity of the DREEM. In order to evaluate the putative subscale structure of the questionnaire a multiple group confirmatory factor analysis [38,39], was carried out using the DREEM scoring key as an hypothesis matrix. The results are presented in table 2. In a perfect fit to the proposed 5-factor model each DREEM item will load on only one factor producing a value of unity with loadings on all other factors manifesting as zero. In reality such perfect solutions never arise so, in order to evaluate the degree of fit to the model, indices of fit are used. In this study, Fleming’s index is used [40]. This shows the fit for each item (seen in the last column of table 2) and also the degree to which each factor fits the model (seen in the last column).

전체적인 핏은 0.76으로 추정된다. 신호 대 잡음비로서 플레밍의 지수는 크론바흐의 알파 논리를 공유하며 유사하게 해석될 수 있다.따라서 0.76의 지수는 약하지만 수용 가능한 적합 수준을 나타낸다. 그럼에도 불구하고, 복수의 그룹 요인 분석 절차의 친크러스트 기준을 염두에 두고, 해당 모델이 견고하고 신뢰할 수 있는 경우 더 높은 수준의 적합성이 기대될 것이다. 

The overall fit is estimated as 0.76. As a signal to noise ratio, Fleming’s indices share the logic of Cronbach’s alpha and may be interpreted similarly.Therefore, an index of 0.76 represents a weak but acceptable level of fit. Nevertheless, bearing in mind the pro-crustean basis of the multiple group factor analysis procedure, a higher degree of fit would be expected if the model in question was robust and reliable. 

50개 항목 중 17개 항목이 적합 지수 0.70보다 작은 것으로 나타났다. 

It is found that 17 of the 50 items manifest fit indices less than 0.70. 

그것은 요소들 사이의 상관관계를 제공하며 이것들은 표3에 보고되어 있다. 이러한 상관관계는 매우 커서 개별 척도의 독립성에 의문이 제기될 수 있다.

it provides correlations between the factors and these are reported in table3. These correlations are very large suggesting that the independence of the separate scales is open to question.

고찰

Discussion

DREEM은 의심할 여지 없이 의학 교육의 교육 환경을 평가하는 데 유용한 도구로서, 그것의 광범위한 국제적 사용은 그러한 장치가 필요하다는 것을 보여준다. 그러나, 아마도 그것의 정신측정학 신뢰성credentials들을 확립하고 유지하는 데에는 충분히 초점을 맞추지 않았을 것이다. 본 연구는 주의가 필요할 수도 있는 두 가지 우려를 강조한다. 

• 첫째, 5 척도의 내부 일관성은 상당히 가변적이며, 이 표본에서는 다소 낮게 나타난다. 

• 둘째로, 구인 타당성 (5개 항목별 기준)은 잘 지지되지 않는다. 

이 두 가지 연구 결과는 모두 위에서 인용한 포르투제[28], 그리스어 [29] 및 스웨덴어 [35] 연구와 일치하는 것으로 보인다. 우리의 연구 결과가 아일랜드 의과 학생들에 기초하고 있다는 점을 감안할 때, 이러한 약점들이 번역 때문에 생겼을 가능성은 낮다. 결과적으로, DREEM 개발자들이 제안한 투입변수 5요소 모델은 지원되지 않으며 개정이 필요할 수 있다.

The DREEM is undoubtedly a useful tool for appraising the educational climate in medical education and its widespread international use reveals the need for such a device. However, there has perhaps been an inadequate focus on establishing and maintaining it’s psychometric credentials. The present study highlights two concerns that may need attention. Firstly, the internal consistency of the 5 scales is quite variable and, in this sample, appears rather low. Secondly, the construct validity (the basis for the 5 subscales) is not well supported. Both of these findings do appear to be consistent with the Portugese [28], Greek [29] and Swedish [35] studies cited above. Given that our findings are based on Irish medical students it is unlikely that these weaknesses can be attributed to translation factors. As a result it is clear that the putative 5-factor model proposed by the developers of the DREEM is not supported and may be in need of revision.

또한 요인 분석에서 확인된 가장 약한 17개 항목을 분사하여 단축된 33개 항목 DREEM을 형성할 수 있음을 제안하는 것도 유혹적일 수 있다. 그러나 이런 전략을 채택하는 데는 큰 주의가 필요하다. 

• 첫째, 아일랜드 표본에서 가장 약한 항목은 다른 국적의 항목과 동일하지 않을 수 있으며, 

• 둘째, 항목을 제거할 때 기본적인 요인 구조가 크게 변할 수 있다. 

It may also be tempting to suggest that a shortened 33 item DREEM may be formed by jettisoning the 17 weakest items identified in our factor analysis. However, great care needs to be taken in adopting such a strategy. 

• Firstly, the weakest items in an Irish sample may not be the same as those identified in another nationality and 

• secondly, in removing items the underlying factor structure may change dramatically. 

DREEM의 개발을 기술하는 Roff 등[12] 논문에 따르자면, 서브스케일 구조가 기존의 이론적 추론에 의해 추진된 것은 분명하다. 그러나 경험적 데이터가 이 모델에 잘 부합하지 않는다는 사실은 항목들을 모델에 맞게 재구성하거나 모델 자체를 재고할 필요가 있음을 시사할 수 있다. 이 점에서 어떤 것이 가장 유익한 경로인지를 제안하기 위해 아직 DREEM에 대하여 다양한 국가 전체에 걸쳐 발표된 정신측정학 분석이 충분하지 않다.

In the Roff et al. paper [12] describing the development of the DREEM it is clear that the subscale structure was driven by a-priori theoretical reasoning. The fact that empirical data do not conform well with this model might suggest that either the items need to be reframed to fit the model or that the model itself needs to be reconsidered. There is not yet sufficient published psychometric analysis across nationalities on the DREEM to suggest which is the most beneficial route to take in this regard.

실제로, 하위 척도 요소들 사이의 매우 높은 상관관계를 보여주는 우리의 발견은 DREEM이 본질적으로 하나의 단일 척도 instrument이라는 주장을 뒷받침할 수 있다. 5개 항목별 구분은 거의 없으며, 여러 DREEM 보고들은 일반적으로 항목별 differential validity을 검사하지 않는다.

Indeed, our finding showing very high correlations between the subscale factors may support the contention that the DREEM is essentially a one-factor single scale instrument. There is very little discrimination evident between the 5 subscales and reports of the DREEM do not typically examine the differential validity of the subscales.

결론

Conclusion

본 연구의 하위척도 요인 분석은 기본 심리측정적 특성과 구인타당도에 대한 의문을 제기한다. 확실히, DREEM이 개발된 잠재적 모델은 근본적으로 수정되어야 할 필요가 있을 것이다. 이는 새로운 경험적 기반 잠재 모델에 대한 정보를 제공하기 위해 DREEM 구조에 대한 기존의 다국적 탐색 분석을 완전히 통합함으로써 가장 잘 달성될 수 있다. 그런 다음 전체 구조 방정식 모델링 분석을 수행하는 대규모 국제 표본이 뒤따를 수 있다.

subscale factor analysis raise questions about its basic psychometric properties and construct validity. Certainly, the latent model upon which it is built may need to be radically revised. This may be best achieved by a full integration of the existing multinational exploratory analyses of the DREEM structure to inform a new empirically based latent model. This might then be followed by a large scale international sample being subjected to a full Structural Equation Modelling analysis.

---

BMC Med Educ. 2012 Jan 12;12:2. doi: 10.1186/1472-6920-12-2.

A psychometric appraisal of the DREEM.

Hammond SM1, O'Rourke M, Kelly M, Bennett D, O'Flynn S.

Author information

1

School of Applied Psychology, University College Cork, Cork, Ireland. s.hammond@ucc.ie

Abstract

BACKGROUND:

The quality of the Educational environment is a key determinant of a student centred curriculum. Evaluation of the educational environment is an important component of programme appraisal. In order to conduct such evaluation use of a comprehensive, valid and reliable instrument is essential. One of most widely used contemporary tools for evaluation of the learning environment is the Dundee Ready Education Environment Measure (DREEM). Apart from the initial psychometric evaluation of the DREEM, few published studies report its psychometric properties in detail. The aim of this study was to examine the psychometric quality of the DREEM measure in the context of medical education in Ireland and to explore the construct validity of the device.

METHODS:

239 final year medical students were asked to complete the DREEM inventory. Anonymised responses were entered into a database. Data analysis was performed using PASW 18 and confirmatory factor analysis performed.

RESULTS:

Whilst the total DREEM score had an acceptable level of internal consistency (alpha 0.89), subscale analysis shows that two subscales had sub-optimal internal consistency. Multiple group confirmatory factor analysis (using Fleming's indices) shows an overall fit of 0.76, representing a weak but acceptable level of fit. 17 of the 50 items manifest fit indices less than 0.70. We sought the best fitting oblique solution to the 5-subscale structure, which showed large correlations, suggesting that the independence of the separate scales is open to question.

CONCLUSIONS:

There has perhaps been an inadequate focus on establishing and maintaining the psychometric credentials of the DREEM. The present study highlights two concerns. Firstly, the internal consistency of the 5 scales is quite variable and, in our sample, appears rather low. Secondly, the construct validity is not well supported. We suggest that users of the DREEM will provide basic psychometric appraisal of the device in future published reports.

PMID:

 

22240254

 

PMCID:

 

PMC3277479

 

DOI:

 

10.1186/1472-6920-12-2