DREEM 파트1: Osteopathy 교육 프로그램의 교육환경 측정(BMC Med Educ, 2014)

DREEM 파트1: Osteopathy 교육 프로그램의 교육환경 측정(BMC Med Educ, 2014)

The DREEM, part 1: measurement of the educational environment in an osteopathy teaching program

Brett Vaughan1,2*†, Annie Carter1†, Chris Macfarlane1† and Tracy Morrison1†

배경

Background

교육 환경은 초등에서 3차까지, 심지어 대학원 교육까지 전체 스펙트럼에 걸쳐 연구되었다. 교육 환경의 구성요소에는 강의실, 자습서 및 임상 활동, 학습 촉진 및 제약 요소, 동료 학생이 만든 분위기, 그리고 교수, 임상 및 행정 직원을 포함한 교수진이 포함된다[1,2]. 

The educational environment has been studied across the entire spectrum from primary through to tertiary level, and even beyond to post-graduate training. Components of the educational environment include, but are not limited to: 

• the physical infrastructure such as 

• rooms for lectures, tutorials and clinical activities; 

• facilitating and constraining factors for learning; 

• the atmosphere created by fellow students; and 

• faculty including teaching, clinical and administrative staff [1,2]. 

교육 환경의 개념과 문제에 대한 훌륭한 담론은 프로그램에 의해 생성된 환경이 학생들의 행동에 영향을 미친다고 지적하는 Gen[3,4], 즉 [4,5], 실천요강의 이해[6] 및 달성된 교육 결과[3,7]를 참조하십시오.

For an excellent discourse on the concepts and issues around the educational environment see Genn [3,4] who points out the environment created by a program impacts student behaviour i.e. 

• approach to study [4,5], 

• understanding of practice [6] and 

• the educational outcomes achieved [3,7].

교육 프로그램 환경을 이해하는 것은 프로그램이 개선될 수 있는 위치를 식별하고, 그 후에 구현되는 변화를 평가함으로써 품질 보장에 도움이 될 수 있다[3,8,9]. 건강 전문가 교육 내에서 환경 측정은 특히 교육 결과에 미치는 영향을 탐구하는 데 어느 정도 관심을 받았다. 특정 교육 이론[1]에 근거하지는 않지만, 건강 전문가 프로그램에서의 교육 환경의 수많은 척도가 발표되었다[10]. 가장 일반적으로 활용되는 척도는 던디 준비 교육 환경 측정[11]이다.

Understanding an educational program environment can assist with quality assurance by identifying where a program can be improved, and subsequently evaluating changes that are implemented [3,8,9]. Within health professional education, measurement of the environment has received some attention exploring particularly the impact on educational outcomes. Although not based on any specific educational theory [1], numerous measures of the educational environment in health professional pro-grams have been published [10]. The most commonly utilised measure is the Dundee Ready Education Environment Measure(DREEM)[11].

Methods

Setting

Participants

Measures

DREEM

DREEM은 Roff 등이 개발한 50항목 질문이다. [11] 보건 전문 교육 프로그램의 교육 환경을 측정한다. 설문지는 다양한 환경 및 다른 국가에서 다양한 건강 전문가 교육자를 포함하는 델파이 접근법을 사용하여 개발되었다. 이와 같이, DREEM은 의료뿐만 아니라 건강 전문가 프로그램 내에서 사용하기에 적절하다고 보고되며, 문화나 맥락에 특정되지 않는다[10,14,15].

The DREEM is a 50-item questionnaire developed by Roff et al. [11] to measure the educational environment in health professional education programs. The questionnaire was developed through the use of a Delphi approach involving a range of health professional educators in different settings and different countries. As such, the DREEM is reported to be appropriate for use within health professional programs, not just medicine, and is not culture or context specific [10,14,15].

각 항목은 5점 리커트 척도를 사용하여 측정한다: 0은 강하게 반대, 1은 반대, 2는 동의 또는 반대, 3은 동의, 4는 강하게 동의한다. 응답자는 진술서를 제출하고 응답자를 선택하도록 요청한다. 항목 4, 8, 9, 17, 25, 35, 39, 48, 50은 부정적으로 단어화되며, 이것들은 총점과 하위 척도를 계산하기 전에 재코딩이 필요하다. 총점, 항목 점수에 대한 DREEM의 해석은 표 1 [2,16]에 제시되어 있다.

Each item is measured using a five point Likert scale: 0 is strongly disagree, 1 is disagree, 2 is neither agree or disagree, 3 is agree and 4 is strongly agree. Respondents are presented with a statement and asked to select a response. Items 4, 8, 9, 17, 25, 35, 39, 48 and 50 are negatively worded and these require recoding prior to calculating the total and subscale scores. The interpretation of the DREEM for the total score, subscales scores and item scores is presented in Table 1 [2,16].

Data collection

Data analysis

결과

Results

인구통계학적 변수는 표 2에 제시되어 있다.

The demographic variables are presented in Table 2.

기술통계

Descriptive statistics

각 DREEM 항목에 대한 기술 통계는 표 3에 제시되어 있으며, 연도별 각 DREEM 항목에 대한 기술 통계는 추가 파일 1로 제시되어 있다.

Descriptive statistics for each of the DREEM items are presented in Table 3 and descriptive statistics for each of the DREEM items by year level are presented as Additional file 1.

내적일관성

Internal consistency

Cronbach의 DREEM의 알파값은 0.923이었다. 제거 항목 28번(나는 좀처럼 외롭지 않다)만이 알파 점수가 0.925로 향상되었다. 항목-총상 상관관계는 DREEM 항목에 대한 표 3에 제시되어 있다. 표 4는 또한 DREEM 항목별 '삭제된 경우' 데이터를 보고한다.

The Cronbach’s alpha for the DREEM was 0.923. Only the removal item 28 (I seldom feel lonely) resulted in an improvement of the alpha score to 0.925. The item-total correlations are presented in the Table 3 for the DREEM items. Table 4 also reports the ‘if item deleted’ data for the DREEM subscales.

Relationship with demographics

Age

최고 수준의 교육 및 임상 교육

Highest level of education and clinical education

학생이 성취한 최고 수준의 교육 수준과 이전 코스의 임상적 요소가 있는지 여부는 총 DREEM 점수(r < 0.09) 또는 하위 척도 점수(r < 0.01)와 관련이 없었다.

The highest level of education achieved by the student and whether the previous course had a clinical component was not related to the total DREEM score (r < 0.09) or subscale scores (r < 0.01).

Between group analysis

Gender

Country of birth

Year level

Living arrangements

Employment

Government allowance

Clinical phase

학생들은 임상전 단계 그룹과 임상전 단계 그룹으로 나뉘었다. 1학년과 2학년은 임상전, 4학년과 5학년은 임상전형으로 분류되었다. 3학년 학생들은 임상 환경에 있지만 1차 환자 관리 책임만 있다. 이러한 이유로 그들은 분석의 임상 단계에 포함되지 않았다. 시기 간 평균 총 DREEM 점수에 대해 통계적으로 유의한 차이가 없었다(F211 =0.178, p = 0.530). 그러나 교사의 지각(F211 =0.080,p=0.014)과 학계의 자기 지각 모집단(F211 = 1.102, p <0.001)의 단계 사이에는 통계적으로 유의한 차이가 있었다. 

Students were divided into pre-clinical and clinical phase groupings. Students in year 1 and 2 were classified as pre-clinical and those in year 4 and 5 were classified as clinical. Students in year 3 are in the clinical setting but only have primary patient care responsibilities late in the year. For this reason they were not included in the clinical phase of the analysis. There was no statistically significant difference for the mean total DREEM score between the phases (F211 =0.178, p = 0.530). There were however statistically significant differences between the phases for the Perception of Teachers (F211 =0.080,p=0.014) and Academic self-perception subscales (F211 = 1.102, p <0.001). 

임상 전 단계의 학생은 교사 지각에 대해 평균점수(33.02 +/- 9.35 대 30.80 +/- 6.61)를 높였고, 임상 단계의 학생들은 학업 자기 지각에 대한 평균점수(22.68 +/- 3.53 대 19.85 +/- 3.89)를 더 많이 제공했다. 이러한 그룹 간의 개별 항목 차이는 추가 파일 2에 제시되어 있다.

Students in the pre-clinical phase provided higher mean scores (33.02 +/− 9.35 vs 30.80 +/− 6.61) for Perception of Teachers, and students in the clinical phase provided higher mean scores for Academic selfperception (22.68 +/− 3.53 vs 19.85 +/− 3.89). Individual item differences between these groups are presented in Additional file 2.

고찰

Discussion

DREEM 데이터를 조회하려면 Miles 등. [17] 결과를 i) 전체, ii) 항목, ii) 항목 세 가지 수준에서 조사해야 한다고 제안한다. 해먼드 외 [18] 또한 DREEM을 사용하는 저자들이 기본적인 정신측정학을 보고할 것을 제안한다.

To interrogate the DREEM data, Miles et al. [17] suggest the results are investigated at three levels: 

• i) overall; 

• ii) subscales; 

• iii) items. 

Hammond et al. [18] also suggest that authors using the DREEM report the basic psychometrics.

DREEM의 평균 총점은 135점이었으며, Lai 등이 제안한 해석에 따르면 다음과 같다. [19] 및 McAleer와 Roff [16], VU 골병증 프로그램은 긍정적인 편인 것으로 분류된다.

The mean total score for the DREEM was 135 and according to the interpretation suggested by Lai et al. [19] and McAleer and Roff [16], the VU osteopathy program would be classified as more positive than negative

그림 3은 브라운 외 연구원이 제시한 데이터에 기초한 평균 DREEM 하위 척도 점수를 나타낸다. [12] 및 현재 연구의 데이터.

Figure 3 demonstrates the mean DREEM subscale scores based on the data presented by Brown et al. [12] and data from the present study.

인구통계

Demographics

성별

Gender

인구 통계학 및 총 DREEM 점수와 관련하여, 연령, 최고 수준의 교육 또는 학생들의 이전 프로그램이 임상 교육 구성요소를 가지고 있는지 여부에 대해 관찰된 관계는 없었다.

With regard to the demographics and total DREEM score, there was no relationship observed for age, highest level of education achieved or whether the students’ previous program had a clinical education component.

학년, 임상시기

Year level & clinical phase

통계적으로 유의한 차이는 총 DREEM 점수 및 모든 하위 척도 점수에 대해 입증되었다(그림 4).

Statistically significant differences were demonstrated for the total DREEMscore and all subscale scores (Figure 4).

문항별 응답

DREEM item responses

항목 수준 결과를 상세히 조사할 때 평균 2 이하의 항목은 주의를 요하며, 2와 3 사이의 항목은 개선할 수 있으며, 3 이상의 항목은 강항목으로 간주된다[16,17]. 강력한 항목과 주의가 필요한 항목은 표 5에 제시되어 있다. 다른 모든 품목은 '개선될 수 있다' 범위 내에 있다. 주의가 필요한 분야를 제시하는 항목 중, 두 가지는 사실적 학습의 강조와 이 정보를 암기해야 하는 후속적 필요성과 관련이 있는 것으로 보인다. DREEM을 사용한 수많은 연구[2,21,24,25]는 동일한 사실적 학습 문제를 강조하였으며, 이 응답은 학생들이 더 깊은 학습의 해악을 위해 표면 학습 전략을 채택하고 있음을 나타내는 것으로 제안되었다. 골수학 프로그램에 대한 검토가 현재 진행 중이며, 그 결과에는 내용 전달, 동료 및 근친상간 교육[2,24] 포함, 현재 포트폴리오[26]에서 5년 이상의 연도까지의 확장, 사실적 학습과 통합 커리큘럼을 강조하지 않는 평가가 포함될 것으로 예상된다[24]. 이 모든 것은 더 깊은 학습자 참여를 장려하고 교육 환경을 개선하는 데 도움이 될 것이다.

When examining the item level results in detail, those items with a mean of 2 or less require attention, those between 2 and 3 could be improved, and above 3 are regarded as being strong items [16,17]. Strong items and those that require attention are presented in Table 5. All other items are within the ‘could be improved’ range. Of the items suggesting areas that require attention, two would appear to be related to an emphasis on factual learning and the subsequent need to memorise this information. Numerous studies [2,21,24,25] using the DREEM have highlighted the same factual learning issue, and it has been suggested this response indicates that students are employing surface learning strategies to the detriment of deeper learning. A review of the osteopathy program is currently underway and it is anticipated that the result will include changes to the delivery of content, inclusion of peer and near-peer teaching [2,24], extension of the current portfolio [26] to year levels beyond year 5, assessments that do not emphasise factual learning and an integrated curriculum [24], all of which will assist in encouraging deeper learner engagement and improve the educational environment.

학생들은 사회적, 교육적 관점에서 볼 때, 교실 환경에 만족하는 것처럼 보인다. 이 결과는 아마도 매 년 수준의 학생들이 같은 해에 골병리학 학생들과 수업하는 동안만 있다는 사실 때문일 것이다; 그들은 VU에서 프로그램 동안 다른 학생들과 함께 하는 수업이 전혀 없다. (거의 전적으로 골수증 학생들과 관련된) 교직원들은 각 학생들이 강의와 자습서에서 좀더 개인적이고 편안한 분위기를 만들어내는 것에 익숙해진다. 많은 저자들은 또한 물리적 환경(예: 건물, 실험실 시설)에 대한 항목이 학생들의 전반적인 인식에 영향을 미칠 수 있기 때문에 DREEM에 추가되어야 한다고 제안했다.

Students appear to be happy with the classroom environment, both from a social and educational standpoint. This result may be attributable to the fact that the students in each year level are only ever in classes with osteopathy students in the same year; they do not have any classes at all during their program with other students at VU. The teaching staff, who are almost exclusively involved with osteopathy students, become familiar with each student creating a more personal, relaxed atmosphere in lectures and tutorials. A number of authors [27,28] have also suggested that an itemabout the physical environment (e.g. buildings, laboratory facilities) be added to the DREEM as these could influence the student’s overall perception.

DREEM의 고전검사이론적 특성

Classical test theory properties of the DREEM

해먼드 외 [18] 저자들은 DREEM의 사용을 보고할 때 정신측정학적 특성을 문서화할 것을 제안한다. 전체 알파 점수는 α=0.923으로 측정값이 내부적으로 이 코호트에 대해 일관되고 이전 연구[29]와 일치하지만 0.9 이상의 알파 점수는 항목 중복성을 나타낼 수 있다. 표 4는 각 하위 척도에 대한 알파 점수를 보고한다. 0.7 이상의 알파 점수는 내부 일관성을 나타내는 것이 일반적으로 받아들여진다. 학술적 자기 인식 및 사회적 자기 인식 subscale에서 이 임계값보다 낮았다(De Oliveria et al과 유사). [29] 및 Kossioni 등. [30]), 어떤 항목이 사회적 하위 척도에서 제거되었을 때에도.

Hammond et al. [18] suggest that authors document the psychometric properties when reporting the use of the DREEM. The overall alpha score was α =0.923 suggesting the measure is internally consistent for this cohort and consistent with previous research [29], however alpha scores over 0.9 can indicate item redundancy. Table 4 reports the alpha scores for each subscale. It is generally accepted that alpha scores over 0.7 indicate internal consistency. The Academic self-perception and Social self-perception subscales were below this threshold (similar to de Oliveria et al. [29] and Kossioni et al. [30]), even when an item was removed from the social subscale.

항목별 알파 점수를 개선하기 위해 삭제 대상으로 식별된 항목 중 많은 항목이 부정적으로 단어화된 항목이 관심이다. 응답은 가변적이며 설문지의 정신측정학적 특성에 부정적인 영향을 미칠 수 있기 때문에 이러한 유형의 항목은 포함하지 않아야 한다고 제안되었다[31,32]. 본 연구는 DREEM 개발자가 보고한 요인 구조를 검증하려고 한 것이 아니라, 이러한 저자가 보고한 항목별 구분을 사용했다. 많은 저자들이 DREEM[18,20]의 원래 요인 구조를 복제할 수 없었고, 이후 내부 일관성과 시공 타당성에 의문을 제기하였다[18]. 비록 현재 연구와 루시아니 외 연구 간에 비교가 이루어졌지만. [13] 및 Brown 등. [12], 두 사람 모두 그들의 연구에서 어떤 정신분석학도 보고하지 않았다. 따라서 DREEM의 성질에 대한 어떠한 판단도 골병증 교육 기관이나 호주 연합 건강 컨텍스트 중 하나에서 하기 어렵다. 

It is of interest that many of the items identified for removal to improve the alpha score for the subscales were negatively worded items. It has been suggested that this type of item should not be included as the responses are variable and can adversely impact the psychometric properties of the questionnaire [31,32]. The present study did not attempt to validate the factor structure reported by the DREEM developers [11], but did use the subscales reported by these authors. A number of authors have not been able to replicate the original factor structure of the DREEM [18,20] and have subsequently questioned its internal consistency and construct validity [18]. Although comparisons have been drawn between the present study and the studies by Luciani et al. [13] and Brown et al. [12], neither reported any psychometrics in their studies. Therefore is it difficult to make any judgements about the properties of the DREEM in either an osteopathy teaching institution or Australian allied health context. 

이전 저자들과 일관되게 [17,18] DREEM을 사용하는 연구자들은 모든 항목, 항목, 항목 및 총점, 성별의 영향, 항목과 항목 및 항목별 해석 방법, 총합 및 항목별 내부 일관성 통계 등을 보고해야 한다. 고전적인 시험 이론과 항목 반응 이론을 이용하여 DREEM의 정신학적 특성을 확립하는 것이 이 일련의 논문에서 파트 2의 주제가 될 것이다.

Consistent with previous authors [17,18], it is suggested that those researchers using the DREEM should report: means and standard deviations for all items, subscales and the total score; effect of gender on total and subscale scores; how the items and subscales were interpreted; and internal consistency statistics for total scale and subscales. Establishing the psychometric properties of the DREEM using classical test theory and item response theory will be the subject of Part 2 in this series of papers.

혁신과 품질 향상은 "...학생들의 학습 경험이 목적적합하고, 동기부여하며, 생산적이고, 즐겁다는 것을 보장하기 위해 모든 건강 전문가 교육 프로그램[2]에 필수적이다[15]. 본 연구에서 제시된 데이터는 호주 연합 건강 프로그램 및 전 세계의 골병증 프로그램에 있는 연구원들에게 그들 자신의 프로그램과 비교할 수 있는 물질/항목을 제공하기 위해 의도적으로 광범위하다.

Innovation and quality improvement are essential for any health professional teaching program [2] to ensure that the “…students’ learning experiences are relevant, motivating, productive, and enjoyable” [15]. The data presented in the present study is deliberately extensive in order to provide researchers in Australian allied health programs, and osteopathy programs around the world, with material/items from which they can draw comparisons with their own programs.

Strengths and limitations

Conclusions

---

BMC Med Educ. 2014 May 20;14:99. doi: 10.1186/1472-6920-14-99.

The DREEM, part 1: measurement of the educational environment in an osteopathy teaching program.

Vaughan B1, Carter A, Macfarlane C, Morrison T.

Author information

1

College of Health & Biomedicine, Victoria University, Melbourne, Australia. brett.vaughan@vu.edu.au.

Abstract

BACKGROUND:

Measurement of the educational environment has become more common in health professional education programs. Information gained from these investigations can be used to implement and measure changes to the curricula, educational delivery and the physical environment. A number of questionnaires exist to measure the educational environment, and the most commonly utilised of these is the Dundee Ready Educational Environment Measure (DREEM).

METHODS:

The DREEM was administered to students in all year levels of the osteopathy program at Victoria University (VU), Melbourne, Australia. Students also completed a demographic survey. Inferential and correlational statistics were employed to investigate the educational environment based on the scores obtained from the DREEM.

RESULTS:

A response rate of 90% was achieved. The mean total DREEM score was 135.37 (+/- 19.33) with the scores ranging from 72 to 179. Some subscales and items demonstrated differences for gender, clinical phase, age and whether the student was in receipt of a government allowance.

CONCLUSIONS:

There are a number of areas in the program that are performing well, and some aspects that could be improved. Overall students rated the VU osteopathy program as more positive than negative. The information obtained in the present study has identified areas for improvement and will enable the program leaders to facilitate changes. It will also provide other educational institutions with data on which they can make comparisons with their own programs.

PMID:

 

24884931

 

PMCID:

 

PMC4048620

 

DOI:

 

10.1186/1472-6920-14-99