카이로프락틱 훈련 기관에서 학부학생들의 교육환경 재평가(J Chiropr Educ, 2015)

카이로프락틱 훈련 기관에서 학부학생들의 교육환경 재평가(J Chiropr Educ, 2015)

Reassessing the educational environment among undergraduate students in a chiropractic training institution: A study over time

Per J. Palmgren, RC,MMedEd, Tobias Sundberg, PT, DO, PhD, and Klara Bolander Laksov, PhD

도입

INTRODUCTION

지난 10년간 의료 전문 훈련에서 교육 환경의 역할에 대한 관심이 증가하고 있다. 교육의 질을 위한 교육 환경의 가치는 연구 결과에 의해 뒷받침되고 있으며, 환경이 효과적인 커리큘럼의 중요한 결정요인이며 학생들의 행동과 행복감에 영향을 미친다는 것은 널리 인정받고 있다.1-3 결과적으로, 학생 학습에서 효과적인 프레임워크로서의 교육 환경에 대한 인식이 증가하고 있다.4 연구에 따르면 학생들의 환경에 대한 인식이 교육 결과와 학업 진척도에 크게 영향을 미치고 바람직한 학습 결과가 사회 검사적 환경의 측면과 긍정적으로 연관되어 있다고 한다.8,9 게다가 기능 장애가 있는 환경은 비용이 많이 들고 비생산적인 환경이다.10,11

The last decade has witnessed a growing interest in the role of educational environments in health care professional training. The value of the educational environment for the quality of education is underpinned by research outcomes, and it is widely acknowledged that the environment is an important determinant of an effective curriculum and affects students’ behavior and sense of well-being.1–3 Consequently, there is increasing recognition of the educational environment as an effective framework in student learning.4 Studies have shown that students’ perceptions of the environment significantly influence educational results and academic advancement5–7 and that desirable learning outcomes are positively linked with aspects of sociopsychological environments.8,9 Moreover, dysfunctional environments are costly and counterproductive.10,11

교육 환경에 대한 경험적 조사는 풍부한 계층과 다양한 특징, 설정 및 이해당사자를 포괄할 수 있기 때문에 상대적으로 복잡할 수 있다. 학생들은 주요 이해당사자들 중 하나이며, 그들의 교육 환경에 대한 그들의 인식은 매우 유용한 정보의 원천이다. 따라서 교육 환경은 부분적으로 다른 이해당사자들 사이의 상호작용에 의해 특징지어질 수 있다. 그것들은 효과적인 교육에 기여할 수 있는 많은 요소들을 포함하고 있으며, 그것들은 교과 과정이 존재하는 중추다.12

Empirical investigations of educational environments can be relatively complex, as they can encompass abundant layers and a multitude of different features, settings, and stakeholders. Students are among the key stakeholders, and their perceptions of their educational environment are highly useful sources of information; thus, educational environments can be partially characterized by interactions between different stakeholders. They embody many factors that can contribute to effective education, and they are the backbone in which a curriculum resides.12

교육 환경은 개인이 사회적으로 구성되는 감정, 지적, 물리적 현으로 이루어진 복잡한 거미줄이며, 이는 여러 가지 함축이 있는 다소 모호한 구조를 구성하며, 따라서 비록 시도는 있었지만 정의내리는 것을 어렵게 만든다.2 이러한 어려움은 아마도 그것의 모든 것을 포용하는 성격 때문일 것이다.13 교육 환경은 외부적이고 가시적인 객관적 요소들뿐만 아니라 기관의 "인성" 특성과 같은 미묘하고 내적인 특징들을 구성한다고 가정할 수 있다. 그러므로, 교육 환경은 직접적으로 측정할 수 없는 이론적 구조로서, 그러나 그것의 만연하고 실질적인 영향은 학생들의 일상적인 경험과 인식에서 나타나며, 이는 탐구하고 평가할 수 있다.

The educational environment is an intricate web of emotional, intellectual, and physical strings, which are socially constructed by individuals.1,2,13 It constitutes a somewhat vague construct with a multitude of connotations, thus making definitions challenging—although there have been attempts.2 This difficulty is probably due to its all-embracing nature.13 It can be presumed that educational environments constitute not only externalized and tangible objective components but also subtle and internalized features, such as the ‘‘personality’’ traits of an institution. Thus, the educational environment is foremost a theoretical construct that cannot be measured directly; however, its pervasive and substantial effects are manifested in students’ mundane experiences and perceptions, which can be explored and assessed.

설계, 유효성 및 신뢰성의 측면에서 각각 강점과 단점을 가진 의료 전문 교육의 교육 환경을 측정하기 위해 다양한 도구를 사용할 수 있다. DREEM(Dundee Ready Education Environment Measure)은 아마도 가장 광범위하게 사용되는 도구일 것이다.14 그것은 기관간 차이, 다양한 교육단계, 16–18 커리큘럼 개혁, 19 및 성별 불일치와 같은 학부 교육 환경의 다양한 측면을 탐구, 평가 및 비교하는 데 사용되어 왔다. 

Various instruments can be used to measure educational environments in health care professional education, each with strengths and drawbacks in terms of design, validity, and reliability. The Dundee Ready Educational Environment Measure (DREEM) is perhaps the most extensively used instrument.14 It has been used to explore, evaluate, and compare various aspects of undergraduate educational environments, such as institutional differences,15 levels of training,16–18 curriculum reform,19 and gender discrepancies.20,21

DREEM은 교육적 맥락에서 환경을 측정하는 데 적합하며, 테스트 내용(내용 및 구성 유효성)22~24 및 내부 일관성(신뢰성)에 기반한 증거와 함께 다양한 맥락에서 양호한 심리측정적 특성을 가진 것으로 보고되었다. 그 기구는 의심할 여지 없이 전문 의료 교육에 대한 더 큰 맥락적 이해를 확립하는 데 기여했다.

 DREEM is suitable for gauging the environment in educational contexts,14 and it has been reported to have good psychometric properties in many diverse contexts, with evidence based on test content (content and construct validity)22–24 and internal consistency (reliability).19,25–28 The instrument has undoubtedly contributed to establishing a greater contextual understanding of professional health care education.

방법

METHODS

Empirical Setting

Study Design and Methodology

이 연구는 실용적 연구 전통에 입각한 혼합 방법론적 다중 사례 연구 방법론을 채택하고 있는 보다 큰 미래 연구 프로젝트의 일부였다.

The study was part of a larger prospective research project employing a mixed-method multiple–case-study methodology anchored in a pragmatic research tradition.

Participants and Sampling

Data Collection

DREEM은 교육 환경과 직접적인 관련이 있는 다양한 주제와 관련하여 자체 통제되고 폐쇄된 재고자산이다. 스웨덴에서 사용할 수 있도록 번역되고 검증된 19는 리커트 응답의 5점 만을 사용하여 0부터 4까지 점수를 매긴 50개의 문장으로 구성되어 있다: 01⁄4 반대, 1⁄4 반대, 2 1⁄4 반대, 3 1⁄4그라이, 4 1⁄4 강하게 동의한다. 이 항목들은 교육 환경의 다양한 특징을 포함하는 5개의 항목으로 수집된다. 

• 학습에 대한 학생들의 인식(SPL; 12개 항목/최대 점수 48) 

• 가르침에 대한 학생들의 인식(SPT; 11개 항목/최대 점수 44) 

• 학생들의 학업 자기 인식(SASP; 8항목/최대 점수 32점)

• 학생들의 대기에 대한 인식(SPA; 12항목/최대점수 48) 및 

• 학생들의 사회적 자아 인식(SSSP; 7항목/최대 점수 28). 

DREEM is a self-administered, closed-ended inventory relating to a variety of topics of direct relevance to educational environments. Translated and validated for use in Sweden,19 it comprises 50 statements scored from 0 to 4 using a 5-point Likert response: 0 ¼strongly disagree, 1 ¼disagree, 2 ¼unsure, 3 ¼agree, and 4 ¼strongly agree. The items are congregated into 5 subscales covering different features of the educational environment: 

• students’ perceptions of learning (SPL; 12 items/maximum score 48), 

• students’ perceptions of teaching (SPT; 11 items/ maximum score 44), 

• students’ academic self-perceptions (SASP; 8 items/maximum score 32),

• students’ perceptions of the atmosphere (SPA; 12 items/maximum score 48), and 

• students’ social self-perceptions (SSSP; 7 items/maximum score 28). 

항목 중 9개는 부정적이어서 역점수를 받는다. 따라서 모든 항목과 하위 척도 점수에 대해 높은 점수는 더 긍정적인 반응을 나타낸다.

Nine of the items are negative statements and are therefore scored in reverse. Thus, for all the item and subscale scores, a higher score designates a more positive response.

항목들은 3가지 레벨로 분석할 수 있다: 개별적으로, 5개의 항목으로 풀링, 그리고 전체적으로. 이 도구의 전체 점수는 200점이며 전체 및 하위 척도 점수는 표준 지침과 비교하여 해석할 수 있다.31 Edgren 등 19는 교육 환경과 항목별 전반적인 인식은 명시적인 교육 문제를 잠재울 수 있기 때문에 항목 수준에서 데이터 분석의 중요성을 강조했다. 개별 항목 점수는 또한 확정적 강점과 단점을 정확히 파악하기 위해 조사할 수 있다.31 평균 점수가 3.5보다 큰 항목은 주로 강점을 나타내고, 예상 평균 2보다 작거나 같은 점수는 문제가 있는 영역을 나타내며, 2와 3 사이의 점수는 개선이 가능한 영역을 나타낸다.

The items can be analyzed on 3 levels: individually, pooled into 5 subscales, and overall. The instrument has an overall score of 200, and overall and subscale scores can be interpreted against standard guidelines.31 Edgren et al19 highlighted the importance of analyzing data on an item level because the overall perception of the educational environment and the subscales could conceivably conceal explicit educational problems. Individual item scores can also be examined to pinpoint definitive strengths and shortcomings.31 Items with a mean score greater than 3.5 mainly represent strong areas; a score of less than or equal to the expected mean of 2 indicates problematic areas; and scores between 2 and 3 indicate areas in which improvements could be made.

데이터 분석 

Data Analysis

모든 항목이 응답자에 의해 완성되는 경우에만 해당 항목을 개별, 집합 및 전체 3단계로 분석하였다. 분석의 주된 초점은 개별 항목 수준이었다. 모든 수준의 데이터는 평균으로 보고되었다. 전체 및 하위 척도 점수는 각각 최대 달성 가능 점수의 백분율로 표현되었다.22,32

The items were analyzed on 3 levels—individually, pooled, and overall—only if all items were completed by the respondents. The main focus of the analysis was the individual item level. The data from all levels were reported as averages through means. The overall and subscale scores were expressed as percentages of the respective maximal attainable scores.22,32

데이터 분포는 중심 경향의 매개변수들 사이의 잠재적 불일치를 대조하고 분포의 편차 및 첨도를 평가하고 Kolmogorov-Smirnov 및 Shapiro-Wilk 테스트를 채택하여 상자 그림을 통해 시각적으로 평가되었다.

The data distribution was assessed visually via boxplots by contrasting potential discrepancies among the parameters of central tendency, evaluating the skewness and kurtosis of the distributions, and employing Kolmogorov-Smirnov and Shapiro-Wilk tests.

기준 변수는 재고자산의 전체, 하위 척도 및 개별 점수로 측정한 교육 환경의 인식이었으며, 예측 변수는 코호트의 연도(2009년과 2012년)와 연구 연도(1~5년)였다. Swift 외,33에 의해 설명된 지침에 따라 5개의 응답 범주는 동의/강력한 동의, 확실하지 않음, 그리고 반대/강력한 불일치로 3가지로 분류되었다.

The criterion variables were the perceptions of the educational environment as measured by the overall, subscale, and individual scores of the inventory, and the predictor variables were the cohorts’ year (2009 and 2012) and year of study (1 to 5). Following the guidelines outlined by Swift et al,33 the 5 response categories were trichotomized into agree/strongly agree, unsure, and disagree/strongly disagree.

효과 크기는 변경 점수의 평균을 합동 표준 편차로 나누어 계산했다.36 효과 크기 통계, 0.2는 작은 유의미한 변화의 크기를 나타냈으며 0.2–0.7은 중간 변화, 0.7은 큰 변화를 나타냈다. 이러한 분석은 세 가지 분석 수준 모두에 대해 수행되었다.

Effect size was calculated by dividing the mean of the change scores by the pooled standard deviation.36 Effect size statistics ,0.2 indicated a small meaningful magnitude of change, 0.2–0.7 a moderate change, and .0.7 a large change. These analyses were performed for all 3 analytical levels.

Ethical Considerations

RESULTS

하위 척도 점수를 사용하여 수행된 DREEM의 내부 일관성은 Cronbach가 2009년에 각각 SPL, SPT, SASP, SPA 및 SSSP에 대한 값을 보여주었고, 각각 0.781, 0.75, 0.512, 0.75 및 0.743의 값을 나타내었으며, 2012년에는 각각 0.710, 0.645, 621, 627, 0.569의 값을 보여주었다.

The internal consistency of DREEM, conducted using the subscale scores, showed Cronbach a values for SPL, SPT, SASP, SPA, and SSSP of .781, .725, .512, .759, and .743, respectively, in 2009; and .710, .645, .621, .727, and .569, respectively, in 2012.

Overall and Subscale DREEM Scores at 2 Points in Time

Longitudinal Overall and Subscale DREEM Scores

Comparison of Individual DREEM Scores at 2 Points in Time

Comparisons of Individual DREEM Scores of Longitudinal Matching Samples

DISCUSSION

Key Findings

The Study’s Contribution and Relation to Empirical Evidence

내적 일관성

Internal Consistency

우리의 데이터는 Cronbach가 DREEM 항목별 값이 다양하다는 것을 보여주었고, 5개의 항목 중 4개가 2009년에 임계값을 초과했지만 2012년에는 2개 항목만 해당 항목에서 내부 일관성이 저하되었음을 나타낸다. 유소프 외 37은 유사한 모집단을 다른 시간 및 경우에 유사한 결과를 제공하는 DREEM 재고의 능력을 위태롭게 할 수 있다고 주장했다. 이전의 연구는 최근 5개 항목에서 Cronbach의 가변성과 관련하여 DREEM의 불일치를 지적했다.38–40 

Our data demonstrated that the Cronbach a values for the DREEM subscales varied, with 4 of the 5 subscales surpassing the a threshold34 in 2009 but only 2 doing so in 2012, indicating that their internal consistency was compromised. Yusoff et al37 asserted that this may jeopardize the ability of the DREEM inventory to give analogous results if a similar population is being studied at different times and occasions. Previous research has recently pointed to discrepancies in the DREEM in relation to the variability of Cronbach in the 5 a subscales.38–40 

따라서 값이 낮다는 것은 부적절한 문장의 수, 항목 간 상호관련성 또는 이질적인 구성의 결과일 수 있다는 것이 문헌에서 제시되었다. 반대로, 매우 높은 값은 동일한 구조를 테스트하기 때문에 일부 항목이 중복됨을 나타낼 수 있다.41,42 낮은 값에 대한 우리의 데이터는 DREEM에 의해 측정되고 있는 5개 이상의 구조가 있음을 나타낼 수 있으며, 이는 다른 사람들에 의해 지지된 개념이다.43 이러한 다차원성으로 인해서 Cronbach alpha가 신뢰도를 과소평가하는 결과로 이어졌을 수 있다.

Thus, it has been suggested in the literature that low a values could be a result of an inadequate number of statements, poor interrelatedness between items, or heterogeneous constructs. Conversely, very high values may indicate that some items are redundant because they are testing the same construct, though in a diverse form.41,42 Our data on low a values might indicate that there are more than 5 constructs being measured by the DREEM, a notion which has been supported by others.43 Such multidimensionality could lead to Cronbach a underestimating the level of reliability.44

Overall and Pooled DREEM Scores

점수가 높은 이유는 추측만 할 수 있지만, 소규모 사립 기관들이 주로 좋은 점수를 받는지 여부를 탐구하는 것은 흥미로울 것이다. 이 개념은 최근 연구들에서 DREEM 점수가 더 높은 것은 사립기관이 규모가 작다는 것에 기인할 수 있다고 제안하면서 지원되었다.48 그러나 학자들은 DREEM 목록으로 측정했을 때 지각적으로 좋은 교육 환경을 가진 소규모 교육 기관에서도 중요한 성별, 인종 및 소수민족 관련 문제는 빈약한 교육 환경이라는 그늘을 드리울 수 있다.49 게다가 McKendree45는 이해관계자의 열정이 전체 기관에 퍼져 있는 "신규 학교"가 교육 환경에 대한 높은 인식을 부분적으로 설명할 수 있다고 제안했다. '조직적 사가'50라는 용어는 고등교육의 일부 기관이 왜 매우 좋은 것으로 간주되는지를 설명하기 위해 사용되었다. 버턴은 '사가saga'는 미션을 갖춘 소그룹의 강한 비전으로 시작되는 경우가 많으며, 이러한 현상은 소조직에서 종종 더 구체적이고 구체적이라고 지적했다. 

The reason for the high score can only be speculated upon, but it would be intriguing to explore whether small private institutions score predominantly well. This notion has recently been supported, with investigators suggesting that higher overall and subscale DREEM scores could be attributed to smaller class sizes in private institutions.48 However, scholars have shown that even in small training institutions with a perceivably good educational environment, as measured with the DREEM inventory, subtle but important gender-, ethnic-, and minority-related issues could overshadow the propensity of a scanty educational environment.49 Furthermore, McKendree45 proposed that a ‘‘new school’’ in which stakeholder enthusiasm pervades the entire institution could partly explain high perceptions of the educational environment. The term ‘‘organizational saga’’50 has been used to explain why some institutions in higher education are regarded as very good. Burton50 pointed out that a saga often begins with the strong vision of a small group with a mission, and that this phenomenon is often more tangible and concrete in smaller organizations. 

다른 연구에 따르면, 이 재평가는 교육 프로그램의 첫 해와 마지막 해에 교육 환경에 대한 인식이 가장 높은 것으로 보인다는 것을 입증한다. (우리의 경우, 3년차 및 4년차). 3,27,53–55 그러나 2009년에 1학년 학생들은 T에 대해 더 긍정적이었다.2012년에 그의 동료들보다 교육적인 환경; 비록 질량적 중요성에 대한 본페로니 조정은 이것이 유의하지 않다는 것을 보여주었지만, 같은 경사형 모양이 프로그램을 통해 명백했다. 이에 합치하여 연구자들은 많은 학생들의 초기 열정이 연구 과정 동안 감소하는 것으로 보이며, 교육 환경의 지각적 악화는 전적으로 교육 전달에 의한 것이 아니라 나이가 더 들고, 비판적이 되고, 자율성을 중요시하게 되는 것과 같은 개별적인 요소에 기인한다고 제안했다.21,56 젊은 학생들의 성인의 삶 진입과 고등 교육 연구 참여와 관련된 행복은 초기 높은 점수를 설명할 수 있으며, 학생들이 긴 교육 프로그램의 정점에 가까워짐에 따라 점수가 다시 오를 것이라는 것은 직관적으로 그럴듯해 보인다. 

In accordance with other studies, this reassessment corroborates the finding that the perception of the educational environment seems to be at its highest in the first and last years of an educational program, with a measurable slope in the middle (in our case, years 3 and 4).3,27,53–55 However, in 2009, 1st-year students were more positive about the educational environment than their peers in 2012; though the Bonferroni adjustment for mass significance showed that this was not significant, the same sloped shape was apparent halfway through the program. In congruence, researchers have proposed that the initial enthusiasm of many students appears to decrease during the course of their studies and that the perceived deterioration of the educational environment is not entirely due to educational delivery but also to individual factors, such as becoming older, more critical, and autonomous.21,56 Young students’ happiness in relation to entering adult life and taking up higher education studies could explain the initial high scores, and it seems intuitively plausible that the scores would rise again as students approach the culmination of a long educational program. 

이와는 대조적으로, 시간에 따른 최근의 비교 연구에서, 모하디디 외 30은 교육 환경에 대한 그들의 인식과 관련된 임상 단계 학생들의 점수가 임상 전 단계 학생들의 점수보다 더 높다고 보고했다. 그들은 이것이 시간이 지남에 따라 교육 환경의 변화를 나타내는 것일 가능성이 높다고 주장했다. 마찬가지로, 강 교수 등은 최근 훈련 프로그램을 중간에서 DREEM 점수가 감소하는 것은 임상 교육의 시작과 공식 대 임상 환경의 인식의 차이로 설명할 수 있다고 보고했다. 그러나, 교육 학습 환경에 대한 높은 기대를 가지고 훈련 프로그램을 시작하는 학생들은 프로그램 과정 내내 환경에 대한 보다 긍정적인 전체적인 인식을 갖게 되기 쉽다는 경험적인 증거가 있다.57

In contrast, in a recent comparative study over time, Mojaddidi et al30 reported that the scores of clinical phase students regarding their perception of the educational environment were higher than those of preclinical phase students. They argued that this was most likely an indication of change in the educational environment over time. Likewise, Kang et al57 recently reported that this decline in the DREEM scores halfway through a training program could be explained by the commencement of clinical education and the differences in perceptions of the formal vs the clinical environment. However, there is empirical evidence suggesting that students who start a training program with a higher expectation of their educational learning environment are prone to having more positive overall perceptions of the environment throughout the course of the program.57

개별 DREEM 문항

Individual Item DREEM Scores

Edgren 등이 지적한 바와 같이, 교육 환경에 대한 전체 및 subscale의 인식에서 얻은 19점은 명백한 교육 문제의 존재를 은폐할 수 있으므로, 항목 수준에서 DREEM 인벤토리를 해석하기 위해 주의를 기울여야 한다. 이와 같이 시간에 따라 지속적으로 박탈된 점수를 받는 3개 항목은 아래에서 별도의 실체로 논의한다.

As pointed out by Edgren et al,19 scores from overall and subscale perceptions of the educational environment may conceivably veil the presence of explicit educational problems; therefore, particular attention must be paid to interpreting the DREEM inventory on an item level. As such, the 3 items persistently receiving deprived scores over time are discussed below as separate entities.

스트레스 받은 학생에 대한 지원 부족

Limited Support for Stressed Students

사실적 지식의 과다한 강조

Overemphasizing Factual Learning

많은 DREEM 연구는 가르치는 것이 사실적 학습을 지나치게 강조한다는 학생들의 인식을 강조해왔다. 따라서 학생들이 더 깊은 학습을 하지 않고 표면 학습 접근법을 채택하고 있음을 암시한다.64 사실적 과부하 인식은 표면 학습 접근법과 관련이 있는 것으로 나타났다.65 실제로, 의료 전문 훈련의 많은 특징들이 학생들을 표면 학습을 유도하곤 한다.66 게다가, 학자들은 교육 환경을 부정적으로 인식하는 학생들이 학문적으로 덜 숙련된 학생일 수 있다는 것을 보여주었다.67,68

Many DREEM studies have highlighted students’ perception that teaching overemphasizes factual learning,3,18,19,47,54,57,63 thus insinuating that students are employing surface-learning approaches to the detriment of deeper learning.64 Perceptions of factual overload have been shown to be correlated with surface-learning approaches.65 Indeed, many features of health care professional training might propel students toward surface learning.66 Furthermore, scholars have shown that students who perceive the educational environment deleteriously may be those who are less academically proficient.67,68

연구에 따르면 authentic 맥락을 강화하는 교육 환경은 의미 부여를 촉진하고 지식의 적용을 촉진하며 반복적인 성찰을 촉진하여 교사 중심성과 사실적 학습에 대한 강조를 모두 극복한다.19,72–74

Research has shown that educational environments that enhance authentic contexts facilitate meaning making, stimulate the application of knowledge, and promote iterative reflection, thus combating both teacher centeredness and the emphasis on factual learning.19,72–74

권위주의적 교사Authoritarian Teachers

의료 전문가 교육에서 학생들의 centeredness과 자발적이며, 평생학습자 패러다임으로의 변화에도 불구하고, 그리고 선생님들의 역할이 완전히 바뀌었음에도, 많은 다른 연구와 유사하게, 우리들은 학생들에 대한 전반적인 인식 선생님들은 권위주의적임을 발견했다.

Despite a paradigmatic shift in health care professional education toward student centeredness and self-directed, lifelong learning, as well as the transformation of teachers’ roles from the ‘‘sage on stage’’ to the ‘‘guide by the side,’’75 similar to many other studies3,26,54,57,76 we found an overall perception among students that teachers were authoritarian.

그러나, 이후에 이어지는 학생들과의 질적 인터뷰에서, 참가자들은 '권위주의자'라는 단어의 함축에 대해 설명하는데 어려움을 겪었고, 따라서 이 항목이 어쩌면 instrumental artifact이며, 이는 결국 안면타당도에 의문을 제기한다. 앞서 우리가 이것에 대해 보고했으며, 우리는 권위주의라는 단어의 함축에 문화적 차이가 있을 수 있다고 믿는다. DREEM 개발자들의 이전의 주장과는 달리, 이 도구가 문화에서 독립되지 않을 수도 있다.24,40,81 반면에, 우리의 자료는 2009년과 2012년 모두 학생들이 '교실에서 교사가 화를 낸다'는 말에 동의하지 않는다는 것을 보여주었다."에 대해서 평균보다 높은 점수를 보여주었으며, strong areas로 드러났다. 그럼에도 불구하고 권위주의라는 개념은 정확성을 형성할 수 있고 학생들의 인식에 대한 평가는 더 조사되어야 한다.

However, in an ensuing qualitative interview with students (data not reported here), the participants had difficulty explaining the connotation of the word ‘‘authoritarian,’’ thereby making this item a possible instrumental artifact, which in turn, raises questions over its face validity. While we reported on this earlier,54 we believe that there may also be cultural differences in the connotation of the word authoritarian. It is possible, contrary to previous claims made by the DREEM developers,22 that the inventory might not be independent of culture, a viewpoint supported by others.24,40,81 On the contrary, both in 2009 and 2012, our data revealed that students demonstrated disagreement with the statement ‘‘The teachers get angry in class,’’ displaying scores above the estimated mean and greater than the cutoff for strong areas. Nevertheless, the notion of authoritarianism could form an accurate and assessment of the students’ perception must be investigated further.

종단적 검사의 DREEM 변경 사항

Longitudinally Examined DREEM Changes

그러나 DREEM을 이용한 많은 학술적 조사에서는 최종 단계에서 약간의 점수 상승을 제외하고는 훈련기관에서 보내는 시간에 따라 환경에 대한 인식이 감소한다는 것을 보여주었다. 그러나 중요한 것은 이러한 연구의 대부분이 종단 설계가 아닌 단면 설계를 채택했다는 점이다.

However, many scholarly investigations using DREEM have shown that perceptions of the environment decrease with the time spent in the training institution,3,27,29,53–55 except for slight score escalations in the final phase. Importantly, however, most of these studies have employed cross-sectional—not longitudinal—designs.

모델 합성

Synthesizing a Model

앞서 언급한 연구결과, 실증적 증거, 그리고 기존의 이론적 틀에 기초한 납치적 추리 접근법을 사용하여 교육환경 문제와 부정적 인식 사이의 상호적 연관성을 예증하고 묘사할 수 있는 모델을 제안한다(그림 2). 이 순환은 교육 과정이 학생과 교사 모두에게 스트레스 요인이 되기 보다는 격려가 되는 편안한 환경을 조성함으로써 중단되어야 한다. 

• 스트레스 처리를 위한 적절한 지원 시스템의 구축, 

• 선생님들을 전통적인 교육 마인드셋에서 구해내고, 

• 교육/학습 프로세스에서 맥락화되고 결정적인 의미 있는 사실적 학습을 촉진하는 학생 중심의 환경을 구축한다.

Using an abductive reasoning approach based on the aforementioned findings, empirical evidence, and existing theoretical frameworks, we propose a model that could illustrate and depict the reciprocal connections between educational environment issues and negative perceptions (Fig. 2). This iterative cycle should be interrupted by creating a congenial environment wherein educational processes become an encouragement rather than a stressor for both students and teachers, 

• result in the establishment of adequate support systems for handling stress, 

• extricate teachers from traditional teaching mind-sets, and 

• construct student-centered environments wherein teaching/learning processes promote meaningful factual learning that is contextualized and decisive.

방법론적 성찰 및 한계

Methodological Reflections and Limitations

거의 80년 동안 과학 문헌에서 논의된 주제인 Likert 데이터를 어떻게 분석해야 하는지에 대해 논란이 있으며, DREEM 목록도 이러한 담론을 적용 받아왔다. 비모수 분석을 선택한 근거는 데이터의 서수 분포와 비-가우스 분포에 기초하였다. 그러나 모수적 기법의 적합성에 대한 증거가 있다. 문항이 모여서 subscale로 구성되는 독립 항목의 합계가 덜 왜곡되고 정규 분포될 가능성이 높으며, 항목 자체보다 항목별 데이터를 서수로서 취급하는 것이 모수 통계 추론과 같은 보다 강력한 분석 모드의 사용을 평균한다고 주장할 수 있다. 

There is controversy regarding how Likert data should be analyzed—a topic debated in the scientific literature for nearly 80 years83–85—and the DREEM inventory has also been subjected to this discourse.33,86 The rationale behind our choice of nonparametric analysis was grounded in the ordinal nature and non-Gaussian distributions of data. However, there is evidence on the suitability of parametric techniques.84,85,87 One could argue that the sums of the independent items, constituting subscales, are likely to be less skewed and more normally distributed than the items themselves, and that treating the data from subscales as ordinal in character averts the use of more potent modes of analysis, such as parametric statistical inferences. 

그럼에도 불구하고 이론적으로는 5단계(리커트 항목 등)의 범주형 변수로는 정규 분포를 따를 수 없는 반면, 이론적으로는 연속 변수만 분포할 수 있다. 변수는 대칭이 될 수 있으므로 리코딩된 값을 모수적 테스트로 해석할 수 있다. 그러나 이것이 적절한지 아닌지는 오랜 문제가 되어왔다. 프라그매틱하게 민감도 분석의 한 유형으로서, 이러한 파라메트릭 방법을 채용하고 사후 분석(보고되지 않음)을 실시했지만, 항목 중 9% 미만의 diametric significance level만 제외하고, 별다른 상이한 결과는 검출하지 않았으며, 이는 평균과 비율의 차이에 기인할 수 있었다.

Nevertheless, theoretically, only continuous variables can be normally distributed, while a categorical variable with 5 levels (such as Likert items) cannot. The variable can be symmetric, thus permitting recoded values to be interpreted with parametric tests. However, whether this is appropriate or not has been a long-standing issue. Pragmatically, as a type of sensitivity analysis, we also employed these parametric methods and performed a post hoc analysis (not reported), but we did not detect any major dissimilar results, except for diametric significance levels for less than 9% of the items, which could be attributed to differences between means and proportions.

비모수 통계 분석은 중앙 경향의 척도로 중앙값을 사용하여 계산한다. 그러나, Swift al,33과 마찬가지로 중위수는 5개의 가능한 점수 중 1개만 취할 수 있기 때문에 중위수보다는 평균을 제시하는 것이 더 의미 있다고 생각한다. DREEM 항목에 대해 다소 흔해 보이는 왜곡된 분포의 경우, 만족스러운 중심 측정치를 가진 항목은 여전히 부정적인 반응의 높은 비율을 숨길 수 있다. 따라서 우리는 Swift et al33 및 trichotomized 된 Likert 반응 범주에 의해 요약된 권고사항을 준수하고 그 방법을 보고했다.

Nonparametric statistical analyses are calculated using the median as a measure of central tendency. However, concurring with Swift al,33 we believe et it is more meaningful to present means rather than medians because the median can only take 1 of the 5 possible scores. For skewed distributions, which seem rather common for DREEMitems, an itemwith a satisfactory central measure may still conceal a high proportion of negative responses. We therefore adhered to the recommendations outlined by Swift et al33 and trichotomized Likert response categories and reported the means.

또한 최근, 예상 평균 이하의 값, 즉 개발자가 권장하는 임계값은 보다 엄격한 분석을 달성하기 위해 2.5로 상향 조정될 수 있다는 제안이 제기되었다.33 그러나, 현재 연구에서 우리는 발신자22의 지침을 따르는 것을 선택하고 2.0을 한계로 채택했다.

It has also recently been proposed that values below the expected mean, the threshold as recommended by the developers, could be a priori elevated to 2.5 to attain a more stringent analysis.33 However, in the current study, we chose to follow the guidelines of the originators22 and employed 2.0 as the limit.

학생들의 고등교육에 대한 인식을 탐구하기 위해 DREEM을 활용하는 많은 연구에도 불구하고, 매우 적은 수의 심리측정적 보고만이 발표되었다. 결과적으로, DREEM 계측기의 심리측정적 robustness에 대한 최근 우려가 표면화되었다. DREEM 도구는 원래 맥락에서 양호한 construct 타당성을 가진 것으로 보고되었지만, 더 최근에는 다른 맥락에서 이 척도의 안정성과 construct 타당성에 의문을 제기하였다. Original scale structure의 재현은 일부만 성공적이었을 뿐이며, 아마도 inventory의 취약성을 나타낸다. 

Despite the large number of studies utilizing DREEM to explore students’ perceptions of their higher education, very few psychometric reports have been published. Consequently, some recent concerns have surfaced about the psychometric robustness of the DREEM instrument.24,38–40 Although the DREEM instrument was initially reported to have good construct validity in its original context,22,23 more recently, investigators have questioned the stability and construct validity of the measure in other contexts.37,38,40 Reproductions of the original scale structures have been only moderately successful, probably indicating weaknesses in the instrument.24,39 

신뢰성과 유효성은 수집된 데이터의 산물이기 때문에, 88 또한 우리의 연구에서 사용된 DREEM 도구에서 파생된 데이터의 문화적cultural 타당성에 관한 몇 가지 의문도 있다. Vaughan 등 40은 최근 osteopathic 학생의 데이터를 기반으로 한 DREEM의 새로운 짧은 버전을 제안했지만, 이는 원래 제안된 하위 척도 구조와 마찬가지로 추가 조사를 필요로 한다. 또한 이러한 저자들은 계측기가 하나의 기초적인 구조를 측정할 수 없었기 때문에 전체 합계 점수를 심령학적 결과에 기초하여 계산할 때 주의해야 한다고 주장했다. 그럼에도 불구하고 교육 환경 연구에서는 기관 간 비교를 위해 전체 DREEM 합계 점수를 보고하는 것이 관례로 되어 있으며, 이 문제가 더 심리측정적으로 탐구될 때까지 이러한 결과를 보고해야 한다.

Because reliability and validity are products of data gathered,88 there are also some questions regarding the cultural validity of data derived from the DREEM instrument used within our study. Vaughan et al40 recently proposed a new short version of the DREEM instrument based on data from an osteopathic setting, but this warrants further investigation, as does the originally proposed subscale structure. These authors40 also advocated caution when calculating the overall sum score on the basis of psychometric results, as the instrument was unable to gauge a single underlying construct. Still, it is customary in educational environment research to report overall DREEM sum scores for cross-institutional comparisons, and until this issue has been further psychometrically explored, we shall report these results.

• 높은 계수는 항목 간 중복성과 다차원 척도를 반영할 수 있다고 가정했다. 

• 본 연구에서, 비록 그러한 점수는 다소 높은 것 같았고 (보고되지 않은) 문항들이 서로 강하게 연관되어 있다는 것을 암시할 수도 있지만, 우리는 전체 점수를 발송하지 않았다.

• 크론바흐 a는 각 시험항목이 동일한 척도에서 동일한 잠재 특성을 측정한다고 가정하는 "타우 등가 모형"에 기초한다.

• DREEM 목록을 활용하는 많은 저자들 사이에서 모든 DREEM 항목에서 도출한 전체 점수의 신뢰성에 대해 보고하는 것이 관례다. 

• 그러나 이는 모형이 구성되는 가정에 위배되기 때문에 부적절할 수 있으며, 이는 부풀려진 점수를 줄 수 있다.

• It has been postulated that high a coefficients could reflect redundancy among items89,90 and multidimensional scales.91 

• In the present study, we did not dispatch any overall a scores, though those scores seemed rather high (not reported) and might suggest that the items correlated strongly with each other.42 

• Cronbach a is grounded in the ‘‘tau equivalent model,’’ which assumes that each test item measures the same latent trait on the same scale.92 

• It is customary among many authors utilizing the DREEM inventory to report on the reliability of the overall a score derived from all the DREEM items. 

• However, this can be inappropriate, as it violates the assumption upon which the model is constructed—which can give an inflated score.

제이콥슨 외 24명은 스웨덴어 버전의 DREEM을 사용하여 의대생 표본에 대한 심리측정학적 조사를 실시했으며, 하위규모 구조를 제외하고 타당하고 신뢰할 수 있다고 보고했으며, 새로운 5요인 솔루션을 제안했다. 그러나 그들은 후속적으로 새로운 요인 설계로 얻은 결과가 원래의 결과보다 우수하지 않다고 언급하였다. 다양한 맥락과 설정에서 DREEM 계측기의 정신학적 특성을 탐구하고 결정하기 위한 지속적인 연구가 필요함에도 불구하고, 교육 환경에 대한 맥락적 이해에 크게 기여했다.

Jakobsson et al24 performed a psychometric investigation using the Swedish version of DREEM on a sample of medical students and reported that it was valid and reliable, except for the subscale structure; they proposed a new 5-factor solution. However, they subsequently stated that the results obtained with the new factor design were not superior to those of the original. Despite the need for continued research to explore and determine the psychometric properties of the DREEM instrument in a variety of contexts and settings, it has contributed immensely to a greater contextual understanding of the educational environment.

단일 방법 접근법의 사용과 조사 기반 연구의 사용은 문제가 될 수 있고 의심스러울 수 있다. 

• 정량적 도구는 다른 이해관계자들이 자신의 교육 환경을 어떻게 인식하는지에 대한 즉각적인 표현representation을 만들 뿐, 이러한 환경에 대한 이해관계자들의 경험 및 부족한 점수의 기초가 되는 우려에 관한 풍부한 데이터를 제공할 수 없다. 또한, 그러한 이해관계자들이 이러한 환경에 대해 포함하지 않는 다른 구조를 조명할 수 없다. 

• 교육 환경의 다층 현상을 더 깊이 이해하기 위해서, 심층적인 질적 조사는 복잡한 특징들을 조명할 수 있고 현재 상황의 장단점에 대한 우리의 이해를 향상시킬 수 있다. 또한 교육 이해당사자의 환경에 대한 경험과 인식에 영향을 미치는 보다 다양한 요인을 알려줄 수 있다.

The use of mono-method approaches and the employment of survey-based research can be problematic and dubious. 

• Quantitative instruments merely create an instantaneous representation of how different stakeholders perceive their educational environment but cannot offer rich data regarding the stakeholders’ experiences of these environments and the concerns underlying deprived scores; neither can they illuminate other constructs that are not encompassed by the inventories. 

• To gain a deeper understanding of the multilayered phenomenon of the educational environment, in-depth qualitative investigations could shed light on the complex characteristics and enhance our understanding of both the strengths and weaknesses of the current context, as well as of more eclectic factors influencing educational stakeholders’ experiences and perceptions of their environment.

미래보건교육연구의 관련성

Relevance for Future Health Care Education Research

경험적이고 이론적인 증거는, 비록 교육환경의 개념이 다소 무형의 것intangible으로 잘못 이해되고 있지만 그 효과는 광범위하고 유형적이며 설득력이 있다는 것을 시사한다. 다른 사람들과 함께, 우리는 이러한 현상이 소외된 개인의 인식뿐만 아니라 교육 결과에 현저한 영향을 미치는 다차원적 요인 때문이라고 주장한다. 그러므로 교육환경과 그 구성원의 개념에 대한 정의를 포함하여 관련된 요소와 개념에 대한 추가 연구가 필요하다.

Empirical and theoretical evidence suggests that although the concept of the educational environment is rather intangible and poorly understood, its effects are extensive, tangible, and persuasive. Concurring with others,40 we argue that this phenomenon is not only due to the perceptions of marginalized individuals but also because of multidimensional factors with noticeable effects on educational outcomes. Thus, there is a need for further research on the factors and concepts involved, including definitions of the concept of the educational environment and its constituents.

비록 다수의 이질적인 맥락에서 새로 나타난 정신측정학적 증거는 DREEM의 정신학적 특성과 가능한 다중공선성에 의문을 제기할 수 있지만, 그것은 여전히 학부 보건전문직 교육환경을 평가하는데 가장 널리 사용되는 수단이다. 단, DREEM subscale의 차원에 관한 문제를 해결하기 위해 더 많은 경험적 작업을 수행해야 한다. 다양한 비례 대응 패턴과 연계하여 예상 평균보다 낮은 점수를 지속적으로 받는 개별 DREEM 항목은 항목 구성, 구문 및 구문에 관하여 심리측정적이고 질적으로 탐구되어야 한다. DREEM은 약 15년 전에 개발되었기 때문에, 항목들을 수정하고 교육 환경의 물리적, 기술적 측면에 대한 인식과 같은 새로운 특징들을 통합하는 것이 적절할 수 있다.

Although newly emerging psychometric evidence from a multitude of heterogeneous contexts may cast doubt on the psychometric properties and possible multicollinearity of the inventory, it is still the mostly widely used instrument for assessing the undergraduate professional health care educational environment. However, more empirical work should be performed to address issues of dimensionality regarding the DREEM subscales. Individual DREEM items that consistently score below the expected mean in conjunction with diverse proportional response patterns should be explored psychometrically and qualitatively with regard to item construction, syntax, and phraseology. Because the DREEM was developed about 15 years ago, the moment may be opportune to revise the items and possibly incorporate new features, such as perceptions of physical and technological aspects of the educational environment.

임상 교육 환경에 대한 학생들의 인식을 구체적으로 평가하기 위한 몇 가지 도구만 개발되었다.

Only a few instruments have been developed to specifically assess students’ perceptions of the clinical educational environment,

DREEM은 아마도 임상 환경을 측정하는 데 완전히 적합하지 않을 수 있기 때문에, 그러한 환경은 교육 환경의 모든 측면을 평등하고 명확하게 다루기 위해 더 적합한 도구를 사용하여 조사될 수 있다.

Because the DREEM is perhaps not completely appropriate for measuring clinical environments, such environments might be investigated using more suitable instruments in order to equally and unambiguously cover all aspects of the educational environment.

정량적 접근법을 이용한 연구는 현상의 측정 가능한 속성을 강조한다. 그러나 특정 근본적, 명시적 요인을 배제할 수 있기 때문에 DREEM과 같은 도구를 교육 환경에 대한 인식을 평가하기 위해 사용하는 것은 복잡하고 어려울 수 있다. 질적 접근에서 연구는 현상의 의미, 폭, 변동을 이해하려고 시도한다. 포커스 그룹, 반구조적 인터뷰 또는 인종적 접근과 같은 정성적 방법을 채택하고, 주요 이해관계자 및/또는 특이치로부터 데이터를 수집하는 것은 교육 환경의 개념을 더 탐구하고 이해하는 데 유용할 수 있다. 엄격하고 포괄적이며 심층적인 질적 조사는 기계적으로 포착되지 않는 교육환경의 측면을 탐구할 때 정당화될 수 있다고 우리는 믿는다. 예를 들어, 전체적인 경험, 감정적 측면, 이해관계자 간의 상호 의존성의 특징, 불평등의 문제 및 조직의 위계적 특성과 같은 것이다.

Studies using quantitative approaches emphasize the measurable attributes of a phenomenon. However, the use of instruments such as DREEM to assess perceptions of an educational environment can be complex and arduous because of the possibility of excluding certain fundamental and explicit factors. In qualitative approaches, research attempts to understand the meaning, breadth, and variations of a phenomenon. Employing qualitative methods, such as focus groups, semistructured interviews, or ethnographic approaches, and collecting data from key stakeholders and/or outliers could be valuable in further exploring and understanding the concept of the educational environment. It is our belief that rigorous, comprehensive, and in-depth qualitative investigations additional are justified when exploring aspects of the educational environment that are not captured instrumentally, such as overall experiences, emotional aspects, features of reciprocated dependencies among stakeholders, issues of inequity, and the hierarchical traits of the organization.

학생들은 중요한 이해당사자들 중 하나이고, 그들의 교육 환경에 대한 그들의 인식은 적절한 정보의 원천이다. 그러나 앞에서 주장했듯이, 학생 동료들 사이의 교육 환경에 대한 인식은 특이하며 매년 크게 다를 수 있다.54 그럼에도 불구하고 학생들은 동전의 한 측면일 뿐이며 교수진과 다른 이해당사자들의 인식도 똑같이 중요하다. 교사들은 종종 오랫동안 교육 환경에 머물러 있기 때문에, 그들이 환경을 더 일관되게 지각할 가능성이 있다. 학자들은 환경에 대한 교사들의 관점을 조사하는 경험적 연구의 부족에 주목해 왔다.1,2,56,97 그것들이 학생들이 인식하는 환경의 복잡한 부분이기 때문에 교사들이 환경을 어떻게 인식하고 경험하는지에 대한 추가적인 연구가 필요하다.

Students are one of the key stakeholders, and their perceptions of their educational environment are a pertinent source of information. However, as asserted earlier, the perception of the educational environment among student cohorts is idiosyncratic and may differ widely on a year-to-year basis.54 Notwithstanding, students are only one side of the coin; the perceptions of faculty and other stakeholders are equally important. As teachers often remain in an educational environment for extended periods, it is plausible that they would perceive the environment more consistently. Scholars have drawn attention to the paucity of empirical studies investigating teachers’ perspectives on the environment.1,2,56,97 There is a need for further research on how teachers perceive and experience the environment, as they are an intricate part of the environment perceived by students.

3. Till H. Identifying the perceived weaknesses of a new curriculum by means of the Dundee Ready Education Environment Measure (DREEM) Inventory. Med Teach. 2004;26(1):39–45.

27. Palmgren PJ, Chandratilake M. Perception of educational environment among undergraduate students in a chiropractic training institution. J Chiropr Educ. 2011; 25(2):151–163.

54. Palmgren PJ, Lindquist I, Sundberg T, Nilsson GH, Bolander Laksov K. Exploring perceptions of the educational environment among undergraduate physiotherapy students. Int J Med Educ. 2014;5:135–146.

55. Bouhaimed M, Thalib L, Doi SA. Perception of the educational environment by medical students undergoing a curricular transition in Kuwait. Med Princ Pract. 2009;18(3):204–208.

57. Kang I, Foster Page LA, Anderson VR, Thomson WM, Broadbent JM. Changes in students’ perceptions of their dental education environment. Eur J Dent Educ. 2015;19(2):122–130. doi: 10.1111/eje.12112.

53. Riquelme A, Oporto M, Oporto J, et al. Measuring students’ perceptions of the educational climate of the new curriculum at the Pontificia Universidad Catolica de Chile: performance of the Spanish translation of the Dundee Ready Education Environment Measure (DREEM). Educ Health (Abingdon). 2009;22(1):112.

---

J Chiropr Educ. 2015 Oct;29(2):110-26. doi: 10.7899/JCE-14-37. Epub 2015 May 29.

Reassessing the educational environment among undergraduate students in a chiropractictraining institution: A study over time.

Palmgren PJ, Sundberg T, Laksov KB.

Abstract

OBJECTIVE:

The aim of the study was twofold: (1) to compare the perceived educational environment at 2 points in time and (2) to longitudinally examine potential changes in perceptions of the educational environment over time.

METHODS:

The validated Dundee Ready Educational Environment Measure (DREEM), a 50-item, self-administered Likert-type inventory, was used in this prospective study. Employing convenience sampling, undergraduate chiropractic students were investigated at 2 points in time: 2009 (n = 124) and 2012 (n = 127). An analysis of 2 matching samples was performed on 27% (n = 34) of the respondents in 2009.

RESULTS:

A total of 251 students (79%) completed the inventory, 83% (n = 124) in 2009 and 75% (n = 127) in 2012. The overall DREEM scores in both years were excellent: 156 (78%) and 153 (77%), respectively. The students' perceptions of teachers differed significantly between the 2 cohort years, decreasing from 77% to 73%. Three items received deprived scores: limited support for stressed students, authoritarian teachers, and an overemphasis on factual learning; the latter significantly decreased in 2012. In the longitudinal sample these items also displayed scores below the expected mean.

CONCLUSION:

Students viewed the educational environment as excellent both in 2009 and 2012. The perceptions of teachers declined with time; however, this could be attributed to teachers' new roles. Certain aspects of the educational environment factored prominently during the comparative points in time, as well as longitudinally, and these ought to be further investigated and addressed to provide an enhanced educational environment.

KEYWORDS:

Chiropractic; Education; Educational Measurement

PMID:

 

26023892

 

PMCID:

 

PMC4582609

 

DOI:

 

10.7899/JCE-14-37