교육환경평가도구(ECI): 전임상과 임상단계에서 의과대학생의 인식 측정(Acad Med, 2017)

교육환경평가도구(ECI): 전임상과 임상단계에서 의과대학생의 인식 측정(Acad Med, 2017)

The Educational Climate Inventory: Measuring Students’ Perceptions of the Preclerkship and Clerkship Settings

Edward Krupat, PhD, Nicole J. Borges, PhD, Richard D. Brower, MD, Paul M. Haidet, MD, MPH, W. Scott Schroth, MD, MPH, Thomas J. Fleenor Jr, MEd, and Sebastian Uijtdehaage, PhD

초등학교부터 레지던트까지의 환경에서는 학습환경에 대한 학생들의 긍정적 인식이 학습 의욕 증가, 성취도 향상, 피로감 감소 등 다양한 결과와 연관되어 있음을 입증했다.1 66 이와 일관되게 미국과 캐나다에서는 의료교육연락위원회7과 캐나다 의과대학 인가위원회8은 긍정적인 환경이 존재함을 보장한다는 목표를 가지고 의과대학이 학습환경을 감시할 것을 명시적으로 요구한다.

In settings from elementary school through residency, it has been demonstrated that students’ perceptions of the learning environment as positive are associated with a variety of outcomes such as greater motivation for learning, higher levels of achievement, and lower levels of burnout.1–6 Consistent with this, in the United States and Canada, the Liaison Committee on Medical Education7 and the Committee on Accreditation of Canadian Medical Schools8 explicitly require medical schools to monitor their learning environments, with the goal of ensuring that a positive environment exists.

의과대학 학습환경을 평가하기 위한 여러 척도가 존재하며, 졸업후의학교육환경을 평가하는 도구도 등장하기 시작하고 있다.10 그러나, 최근 2014,11,12, 2010,13에 발표된 의과대학 기울기 환경기구에 대한 세 가지 체계적인 리뷰는 이러한 계측기 대부분이 적절한 심리측정적 표준을 충족하지 않음을 보여준다.

Several instruments exist to assess the medical school learning environment, and instruments that assess the graduate medical education environment are beginning to appear.10 However, three recent systematic reviews of medical school leaning environment instruments, published in 2014,11 2012,12 and 2010,13 indicated that most of these instruments do not meet appropriate psychometric standards.

환경 심리학자들이 지적한 바와 같이 "환경"은 여러 가지 방법으로 특징 지을 수 있다.14,15 의과대학 환경을 평가하는 대부분의 기구들은 여러 가지 관점에서 폭넓게 고려한다. 전세계적으로 널리 사용되고 있는 던디 레디 교육 환경 측정 16,17은 4요소 구조를 가지고 있다. 의대 학습환경조사, 18,19 최근 수정하여 28개 학교 연구의 일부로 사용, 18개 또한 다양한 영역을 다룬다.

As noted by environmental psychologists, the “environment” can be characterized in many different ways.14,15 Most instruments that assess the medical school environment consider it broadly, from multiple perspectives. The Dundee Ready Educational Environment Measure,16,17 which has been used widely throughout the world, has a four-factor structure . The Medical School Learning Environment Survey,18,19 recently modified and used as part of a 28-school study,18 also covers a variety of domains

존스 홉킨스 학습 환경 척도20,21은 동급생 커뮤니티("다른 SOM [의학 학교] 학생들과 얼마나 연결되어 있다고 생각하십니까?")에서 포함 및 안전("SOM에서 학생들이 학대를 당할까 염려된다")에 이르는 7가지 항목으로 구성되어 있다.

The Johns Hopkins Learning Environment Scale20,21 has seven subscales ranging from 

• community of peers (“How connected do you feel to other SOM [school of medicine] students?”) to 

• inclusion and safety (“I am concerned that students are mistreated at the SOM”).

이와는 대조적으로, 우리가 여기서 소개하는 기구는 의대 환경의 한 가지 중요한 측면인 교육 분위기climate에 초점을 맞추고 있다. 잘 존중되는 캐롤 드벡222424의 이론적 모델을 의학 교육에 접목시켜 우리는 의과대학의 교육적 가치와 문화가 두 가지 방법 중 하나로 집중될 수 있다는 점에 주목한다.

In contrast, the instrument we introduce here is focused on one critical aspect of the medical school environment, the educational climate. Adapting the well- respected theoretical model of Carol Dweck22–24 to medical training, we note that the educational values and culture of a medical school can be focused in one of two ways.

• 학습 지향적 또는 숙달 지향적 환경에서는, 커리큘럼(공식적·비공식적)이 지식과 기술을 향상시킬 뿐만 아니라 비판적 사고와 자기주도적 학습을 장려하는 쪽으로 맞춰지는 풍토를 조성하는 데 초점이 맞춰져 있다. 그러한 환경에서는 불확실성은 두려워하기 보다는 수용되어야 할 것으로 여겨진다; 교수들은 학생들의 답이 옳은지 아닌 이성적인 능력을 중시한다; 그리고 학생들은 많은 세부적인 피드백을 받고 어떻게 개선할 것인지에 대해 성찰하도록 권장된다. 형성적 평가 시스템 개발 필요성에 대한 최근의 논의는 이 접근법과 일치한다.25,26

In a learning- or mastery- oriented climate, the focus is on students’ development and growth, on creating a climate in which the curriculum (formal and informal) is geared toward not only increasing knowledge and skills but also encouraging critical thinking and self-directed learning. In such a climate, uncertainty is to be embraced rather than feared; faculty value students’ ability to reason, not just whether their answers are correct; and students receive a great deal of detailed feedback and are encouraged to reflect on how to improve. Recent discussions about the need to develop formative assessment systems are consistent with this approach.25,26

• 이와는 대조적으로, 성과 지향적인 분위기는 역량의 발전보다는 역량의 demonstration에 중점을 둔다. 이런 분위기 속에서 학생들은 역량의 성장보다 역량의 외관에 더 신경을 쓴다. 그들은 다른 사람들의 눈에는 자신만만한 것처럼 보이려고 애쓰면서, 그리고 부정적인 결과를 초래할 수 있는 것에 대한 두려움 때문에 피드백을 피하려고 애쓰면서, 불확실성을 감추기 쉽다.

In contrast, a performance-oriented climate places the emphasis on the demonstration of competence rather than its development. In such a climate, students are concerned more about the appearance of competence than the growth of competence. They are likely to hide their uncertainty, while trying to seem confident in the eyes of others, and to avoid feedback for fear of its possible negative consequences.

방법

Method

자료 수집

Data collection

2014년 봄 6개 의과대학에서 자료를 수집했다.

Data were collected in spring 2014 at six medical schools.

비록 이것이 의과대학의 무작위 표본은 아니었지만, 6개는 지리적 위치, 크기, 민간의 지위가 다양하며, 그들의 주요 교육 임무에서는 상당히 다르다. 자료수집 당시 이들 학교 중 3곳은 최소 3단계 이상 등급이 매겨진 전점제를, 3곳은 단순 합격불합격제를 사용했다. 6개 학교 모두 핵심 사무소에서 학생들에게 점수를 주었다.

Although this was not a random sample of medical schools, the six are diverse in geographical location, size, and public–private status, and they differ considerably in their primary educational missions. At the time of data collection, three of these schools used a preclerkship grading system with at least three levels of grades, and three used a simple pass–fail system. All six schools gave grades to students in their core clerkships.

확장 개발 및 관리

Scale development and administration

의대 교실이나 임상 환경과 동등하게 관련이 있다고 표현된 50개 항목의 풀은 학생들의 평가를 위해 생성되었다. 대부분의 항목은 첫 번째 작성자(E.K)가 작성했으며, 모든 항목은 전체 공동연구자에 의해 피드백과 가능한 수정에 대해 검토되었다. 이 문항들은 드벡의 학습-퍼포먼스 구별의 다양한 측면을 포착하기 위해 의도적으로 작성되었다.22–24 블루프린트는 다음의 차원이 포함한다.

• 학습의 목표 또는 집중(예: 적용 대 사실 유지) 

• 교직원 관계와 학생 관계의 특성 

• 숨겨진 커리큘럼의 존재(즉, 명시된 목표와 실제 정책 및 교수진의 조치 사이의 불일치)

A pool of 50 items, phrased to be equally relevant to the medical school classroom or clinical setting, was generated for rating by students. Most items were written by the first author (E.K.), and all were reviewed for feedback and possible revision by the full set of co-investigators. The items were written intentionally to capture various aspects of Dweck’s learning–performance distinction.22–24 The blueprint included specific dimensions, such as 

• goal or focus of learning (e.g., application vs. retention of facts); 

• nature of faculty–student relationships and student–student relationships; and 

• presence of a hidden curriculum (i.e., inconsistencies between stated goals and actual policies and actions by faculty). 

50문항은 긍정적이고 부정적인 단어를 모두 포함했다. 모든 응답은 "강력하게 동의한다"부터 "강력하게 반대한다"에 이르는 4개항의 리커트 척도를 사용하여 이루어졌다. 분석을 위해, 모든 부정적으로 단어화된 항목은 역코딩되어 더 높은 점수가 항상 더 학습 지향적인 환경을 반영하도록 하였다.

The 50 items included both positively and negatively worded items. All responses were made using a four-point Likert scale, which ranged from “strongly agree” to “strongly disagree.” For analysis purposes, all negatively worded items were reverse coded so that a higher score always reflected a more learning-oriented climate.

이 평가도구에서는 학생들에게 "의과대학"에서 경험했던 대로 "PRECLERKSHIP (또는 3학년 학생, CLERKSHIP) 학습 환경에 관한 느낌"을 제공하도록 요청했다. 학생들은 50개 항목에 동의하거나 동의하지 않는 정도를 나타내기 위해 4점 척도를 사용하도록 지시받았고, 의대에 대한 만족도를 2개 항목으로 평가하도록 했다(지금까지 의과대학에서의 경험에 대해 극도로 만족한다, 친구가 물어보면 우리 의과대학에 오라고 적극 추천하고 싶다). 그리고 직업으로서의 의학의 선택(1항목: 나는 내가 의학에 들어갈 때 올바른 선택을 했다고 확신한다.)을 물어보았다. 학생들에게는 제한된 인구통계학적 정보를 제공하도록 요청하였.

The instrument’s instructions asked students to provide their “feelings concerning the PRECLERKSHIP [or for third-year students, CLERKSHIP] learning environment as you have experienced it here at [medical school name].” Students were instructed to use the four-point scale to indicate the extent to which they agreed or disagreed with the 50 items as well as to rate their satisfaction with their medical school (2 items: “I am extremely satisfied with my medical school experience so far”; “If asked by a friend, I would strongly recommend that he or she go to my medical school”) and their choice of medicine as a career (1 item: “I feel certain that I made the right choice in going into medicine”). They were also asked to supply limited demographic information.

마지막으로, 학생들은 그들의 노력과 성적에 따라 평가받기를 원하는 비율과 성과에 기초하여 평가받기를 원하는 비율을 표시함으로써, 그들의 노력과 성적에 따라 평가 받는 것에 대한 선호도를 100퍼센트까지 증가시키기 위해 평가하도록 요구받았다. 학생들이 실제 숫자로 노력 대 평가 수행에 선호되는 상대적 가중치를 나타냈지만, 분석 목적을 위해 이 변수는 세 가지 범주로 분류되었다. 

• 노력보다 성과(이상 51%)로 평가받기를 더 좋아하는 사람, 

• 50대 50을 선호하는 사람

• 성과보다 노력(이상 51%)으로 평가받기를 더 좋아하는 사람.

Finally, students were asked to rate their preference for being judged by faculty according to their effort versus their performance, by indicating the percentage they desired to be assessed based on effort and the percentage based on performance, to add up to 100%. Although students indicated in real numbers the relative weight that they preferred to be given to effort versus performance in assessments, for analysis purposes this variable was coded into three categories: 

• those who preferred to be judged more by their performance (≥ 51%) than by their effort, 

• those who preferred a 50–50 split, and 

• those who preferred to be judged more by their effort (≥ 51%) than by their performance.

임상 전 학생들에게 보내진 평가 계측기 사본은 http://links.lww.com/ACADMED/A452에서 보충 디지털 부록 1로 이용할 수 있다. 임상 학생에게 보낸 기구는 위에서 언급한 한 가지 예외를 제외하고 동일했다.

A copy of the survey instrument that was sent to preclinical students is available as Supplemental Digital Appendix 1 at http://links.lww.com/ACADMED/A452. The instrument sent to clinical students was identical, with the one exception noted above.

척도 분석

Scale analysis

총 표본의 크기가 안정된 요인 분석 결과를 생성하는 데 필요한 항목별 응답 비율을 훨씬 초과했기 때문에,31 우리는 50개 항목에 대한 탐색 요인 분석(EFA)을 수행하기 위해 표본의 절반을 무작위로 선택했다. EFA의 경우, 최대우도 분석과 함께 구획의 상호 상관 관계를 설명하기 위해 판촉 회전을 사용했다. 요인은 생성된 스크리 플롯의 팔꿈치 위에 있고 고유값이 1보다 높은 경우 유지되었다. 이러한 요인 내의 항목은 1차 요인에 대해 ≥ 0.40을 로드한 경우 또는 1차 요인에 대해서만 0.35를 로드한 경우 유지되었다.

Because the size of the total sample far exceeded the respondents-per-items ratio required to generate stable factor analytic results,31 we selected half the sample at random to perform an exploratory factor analysis (EFA) on the 50 items. For the EFA, we used a promax rotation to account for the subscales’ intercorrelation along with a maximum likelihood analysis. Factors were retained if they were above the elbow of the generated scree plot and had eigenvalues > 1. Items within those factors were retained if they loaded ≥ 0.40 on their primary factor— or, if they were not factorially complex, if they loaded ≥ 0.35 on one factor only.

EFA의 경험적 발견을 이용하여 저울의 기초구조를 확립한 결과, 보유품목만을 이용하여 표본의 나머지 절반에 대해 확인인자분석(CFA)을 수행하였다. 이는 계측기의 잠재적 구조를 검증하고, 항목 요인 관계의 패턴을 검증하며, 적절한 요인의 수를 추가로 결정하기 위해 수행되었다.

Having established the underlying structure of the scale using the empirical findings of the EFA, we performed confirmatory factor analysis (CFA) on the other half of the sample using the retained items only. This was done to verify the latent structure of the instrument, validate the pattern of item–factor relationships, and further determine the appropriate number of factors.

결과

Results

표본

The sample

총 1441명의 학생이 설문조사를 완료했으며, 조사 대상 6개 학교 각각에서 99~407명의 응답자가 응답했다. 학교 A–F의 응답률은 각각 59%, 47%, 78%, 49%, 81%, 22%로 전체 응답률은 56%(1,441/2,590명)로 나타났다.

A total of 1,441 students completed the surveys, with 99 to 407 respondents from each of the six schools surveyed. The response rates of Schools A–F, respectively, were 59%, 47%, 78%, 49%, 81%, and 22%, yielding an overall response rate of 56% (1,441/2,590).

총표본의 특성은 표 1에 대략 절반의 남성(48%)이었다.

The characteristics of the total sample, which was approximately half male (48%), are reported in Table 1.

요인 분석 및 ECI 항목 선택

Factor analysis and ECI item selection

50개 항목의 평균 점수 중 어느 것도 너무 극단적이지 않았고 표준 편차도 너무 좁지 않았다. 결과적으로 모든 항목은 EFA에 대해 유지되었다.

None of the 50 items’ mean scores were too extreme, nor were their standard deviations too narrow; as a result, all items were retained for the EFA.

보유기준을 충족하지 못한 품목을 삭제한 후 각각 10, 6, 4개 항목으로 3가지 요소를 남겨 두었다(표 2 참조).

After eliminating items that did not meet the criteria for retention, we were left with three factors of 10, 6, and 4 items, respectively (see Table 2).

요인 1에 대해서는 "학습 중심성과 상호존중"이라고 표기된 항목(0.65)이 가장 많았다.(0.65)는 "이 의과대학에서는 발견의 감각과 탐구에 대한 열정에 초점을 맞추고 있다" "나는 종종 어떻게 개선할 것인가에 대한 교직원의 가치 있고 지지적인 조언을 받는다."

For Factor 1, labeled “centrality of learning and mutual respect,” the highest loading items (0.65) were “In this medical school, we focus on a sense of discovery and the excitement of inquiry” and “I often get invaluable and supportive advice from faculty on how to improve.”

요인 2에 대해서는, "경쟁과 스트레스"라는 라벨을 붙였다. 가장 loading이 큰 문항은 "여기의 분위기는 경쟁이 심하다""이곳 주변은 자신이 하는 것이 뭔지 몰라도 당당하게 행동해야 한다"라고 하는 것이 가장 많았다.

For Factor 2, labeled “competiveness and stress,” the highest loading items were “The atmosphere here is highly competitive” and “Around here you have to act confidently even if you have little idea what you are doing.”

요인 3은 "수동적 학습과 암기"라고 명명했으며, "여기서 하는 일은 대부분 지식의 수동적 전달에 초점이 맞춰져 있다" "여기에서의 교육은 가능한 한 많은 내용을 암기하는 것"의 loading이 가장 컸다.

For Factor 3, labeled “passive learning and memorization,” the highest loading items were “Most of what we do here is focused on the passive transfer of knowledge” and “Education here is all about memorizing as much content as you can.”

표본의 무작위화된 하반기를 사용하는 CFA는 EFA에서 추출한 3인자 구조를 지원했다.

The CFA using the randomized second half of the sample supported the three- factor structure extracted from the EFA.

ECI 점수와 다른 변수 간의 관계

Relationship of ECI scores to other variables

학교 전체에 걸쳐 변동성이 존재하는지 여부를 판단하기 위해, 각 학교의 평균 점수(총 규모와 세 가지 요인 각각에 대해)를 비교했다(표 3 참조). 6개 학교의 점수는 상당히 달랐다(P < .001, eta2 = 0.08). 더욱이, 요소들이 적당히 상관관계가 있었지만, 주어진 요소들에 대한 학교의 상대적 지위는 다른 요소들에 대해 동일한 상대적 지위를 유지한다는 것을 보장하지 않았다.

To determine whether variability existed across schools, we compared the mean scores for each school, both for the total scale and for each of the three factors (see Table 3). Scores for the six schools differed considerably (P < .001, eta2 = 0.08). Moreover, although the factors were moderately correlated, a school’s relative standing on any given factor did not ensure that it would hold the same relative standing for a different factor.

표 4에서 보듯이, 응답자 성별이나 대학 전공에 따른 총점수에서 차이가 없음을 발견했다. 그러나 (노력보다는) 성과에 의해 평가받는 것을 선호하는 학생들은, 특히 요인 2(경쟁력 및 스트레스)의 측면에서, 학교 환경을 더 learning oriented되어있다고 볼 가능성이 상당히 높았다.

As shown in Table 4, we found no differences on total score according to respondent sex or college major. However, students who preferred to be judged more by performance than by effort were significantly more likely to see their school’s environment as learning oriented, most notably on Factor 2 (competitiveness and stress)

임상실습 학생들의 총 점수는 전임상실습 학생들에 비해 현저히 낮았고, 임상실습 학생들이 학습 환경을 상당히 더 성과(퍼포먼스) 지향적인 것으로 평가했음을 나타낸다(점원 = 58.4, 점원 = 52.9, P < .001; eta2 = 0.07).

the total scores of the clerkship students were significantly lower than those of the preclerkship students, indicating that the clerkship students rated their learning climate as significantly more performance oriented (preclerkship = 58.4; clerkship = 52.9; P < .001; eta2 = 0.07).

또한 학습기후를 보다 숙달지향적으로 인식한 학생들과 비교했을 때, 자신의 환경을 보다 성과지향적으로 본 학생들은 자신의 의과대학에 대한 만족도가 낮고(5.79 대 7.29; P < .001; eta2 = 0.25)과 직업으로서의 의학을 추구하기로 한 결정에 대한 만족도가 낮았다(3.35 대 3.77; P <001; eta2 = 0.10). 이러한 관계는 학생들이 임상 또는 재직 연도에 관계없이 동일했다.

In addition, compared with students who perceived their learning climate as more mastery oriented, students who viewed their environments as more performance oriented were less satisfied with their own medical school (5.79 vs. 7.29; P < .001; eta2 = 0.25) as well as their decision to pursue medicine as a career (3.35 vs. 3.77; P < .001; eta2 = 0.10). This relationship was the same regardless of whether students were in their clinical or preclerkship years

마지막으로, 훨씬 더 많은 수의 전임상 학생들이 노력(20%)보다 그들의 성적에 의해 더 많이 평가 받는 것을 선호한다고 말했다. 이러한 관계는 임상실습 학생들 사이에서 역전되었는데, 그 중 성적(27%)보다는 노력(41%)에 의해 평가받는 것을 더 선호한 비율이 더 높았다(P < .001).

Finally, a far greater percentage of preclerkship students indicated that they preferred to be judged more by their performance (56%) than by their effort (20%). This relationship was reversed among clerkship students, among whom a greater percentage preferred to be judged more by their effort (41%) than by their performance (27%) (P < .001).

고찰

Discussion

우리의 예측과 일치하여 

• 학생들에 의해 전임상(교실) 경험보다 임상실습 경험이 더 성과performance 지향적인 것으로 평가되었고, 

• 학생들의 전임상실습 학습 분위기에 대한 평가는 P-F 시스템 학교보다 grade 시스템 학교에서 성과performance 지향적이라고 여겨졌다(후자의 효과 크기는 작았다)

Consistent with our predictions, we found that the clerkship experience was rated by students as more performance oriented than the medical school classroom experience, and that students’ ratings of the preclerkship learning climate were more performance oriented in schools with grades than in schools with a pass–fail system, although the effect size for the latter was small.

ECI 점수는 또한 만족스러운 일관된 연관성을 보여주었다. 자신의 환경을 보다 performance oriented된 것으로 인식한 학생들은 (mastery oriented된 것으로 인식하는 학생들에 비해) 직업으로서의 의대 선택과 의대 자체에 만족하지 않았다.

ECI scores also demonstrated a consistent set of associations with satisfaction: Students who perceived their environment as more performance oriented were less satisfied with both their choice of medicine as a career and with their medical school itself compared with students who perceived their learning climate as more mastery oriented.

ECI의 신뢰성 및 유효성

Reliability and validity of the ECI

한계

Limitations

한 가지 주목할 만한 제한은 학교 전체의 응답률의 변동성에 관한 것이며, 전체 비율은 22%에서 81%까지 개별 학교 비율에서 파생된 56%이다. 많은 의학 교육 연구자들이 "조사 결과를 신뢰할 수 없다고 보아야 하는 절대적인 기준"을 갖고 있지만, 이것을 심층적으로 연구한 사회과학자들은 서로 다른 결론에 도달했다. Singer36은 이 문제에 전념하는 여론 분기 특별호에서 "조사 추정치가 반드시 편향되었다고 볼 수 있는 최소 응답률은 없으며, 반대로 절대 편향되지 않았다고 볼 응답률 기준도 없다"고 결론지었다. 최근, Meterko와 동료들은 "‘낮은’ 응답률 조사의 결과는 인구의 태도를 정확하게 나타낼 수 있다. 따라서 응답률이 낮다고 해서 결과를 uninformative라고 치부해서는 안 된다고 말했다.

One notable limitation concerns the variability in response rates across the schools, with an overall rate of 56% derived from individual school rates as low as 22% and as high as 81%. While many medical education researchers have set absolute thresholds below which they believe survey findings cannot be trusted, social scientists who have studied this in depth have come to differing conclusions. In a special issue of the Public Opinion Quarterly devoted to this issue, Singer36 concluded that “there is no minimum response rate below which a survey estimate is necessarily biased; and conversely, no response rate above which it is never biased.” More recently, Meterko and colleagues37 stated, “Results from ‘low’ response rate surveys may accurately represent attitudes of the population. Therefore, low response rates should not be cited as reasons to dismiss results as uninformative.”

학생들이 평가받기를 원하는 방법

How students want to be assessed

전임상시기의 대다수의 학생들이 그들의 성적에 의해 평가되는 것을 선호한다는 것은 놀라운 일이 아니다. 이들은 의과대학에 들어가기 위해 꾸준히 높은 성취를 보이는 교실 수행자들이어야 했기 때문이다. 그러나 이러한 학생들을 위하여 많은 교육자들이 학습과 숙달을 지원하는 교육적 환경을 조성하려고 시도하고 있음에도 이러한(노력보다 성과로 평가받길 원하는) 결과가 나온 것은 아이러니하다. 

It is not surprising that the majority of students in their preclerkship years indicated that they preferred to be judged by their performance, as they had to be consistently high-achieving classroom performers to get into medical school, although it is ironic that many educators are attempting to create educational climates for these students that support learning and mastery—that is, environments consistent with assessment on effort over performance.

우리는 학생들이 (임상교수들이 높은 수준의 성과를 기대하는) 필수 임상실습을 마쳤을 때 이 패턴이 뒤집어진다는 것에 다소 놀랐다. 이에 대한 한 가지 가능한 설명은 일단 병동에서 학생들의 임상 능력에 대한 불확실성과 교직원과 거주자의 높은 기준에 따라 수행하지 못할지도 모른다는 두려움이 학생들을 그들이 통제할 수 있는 한 가지 것에 따라 평가받기를 원하게 만든다는 것이다.

We were somewhat surprised to find the reverse pattern for students completing their core clerkships, where high levels of performance are expected by clinical faculty. One possible explanation for this is that once on the wards, students’ uncertainty about their clinical competence and fear that they may not be able to perform to the high standards of the faculty and residents lead students to want to be judged according to the one thing they can control: their effort.

이 설명과 일관되게, 학습자의 선호(노력에 따른 평가 vs 성과에 따른 평가)는 시간에 따라 달라질 수 있다

• 초보자(예: 핵심 실습 또는 레지던트 1학년)인 환경에서는, 노력에 근거한 평가를 선호할 수 있다. 

• 더 경험이 많고 자신감 있는 상황(예를 들어, 서브인터네셔널이나 레지던트 3학년)에서는 수행 능력에 따라 판단되는 것을 선호하게 된다.

Consistent with this explanation, we would predict that the preference for being judged on effort versus performance may vary over time as learners move 

• from settings in which they are novices (e.g., core clerkships or first year of residency), where they may prefer assessment based on their effort, 

• to settings in which they are more experienced and confident (e.g., subinternships or third year of residency), where they may prefer to be judged according to their ability to perform.

Conclusions

---

Multicenter Study

 

, 92 (12), 1757-1764

 Dec 2017

The Educational Climate Inventory: Measuring Students' Perceptions of the Preclerkship and Clerkship Settings

Edward Krupat 1, Nicole J Borges, Richard D Brower, Paul M Haidet, W Scott Schroth, Thomas J Fleenor Jr, Sebastian Uijtdehaage

Affiliations 

Affiliation

• 1E. Krupat is associate professor of psychology, Department of Psychiatry, Beth Israel Deaconess Medical Center, Boston, Massachusetts. At the time of the research, the author was also director, Center for Evaluation, Harvard Medical School, Boston, Massachusetts. N.J. Borges is assistant dean, Medical Education Research and Scholarship, and professor, Department of Pediatrics, University of Mississippi Medical Center, Jackson, Mississippi. At the time of the research, the author was on the faculty of Wright State University Boonshoft School of Medicine, Dayton, Ohio. R.D. Brower is associate dean for medical education, associate professor of medical education, and clinical associate professor of neurology, Paul L. Foster School of Medicine at Texas Tech University Health Sciences Center, El Paso, Texas. P.M. Haidet is professor of medicine, humanities, and public health sciences and director of medical education research, Penn State College of Medicine, Hershey, Pennsylvania. W.S. Schroth was associate dean for administration, George Washington University School of Medicine and Health Sciences, Washington, DC, at the time of the research. T.J. Fleenor Jr is project manager, Office of Educational Quality Improvement, Harvard Medical School, Boston, Massachusetts. S. Uijtdehaage is professor of medicine and associate director, graduate programs in health professions education, Uniformed Services University of the Health Sciences, Bethesda, Maryland. At the time of the research, the author was on the faculty of the David Geffen School of Medicine at the University of California, Los Angeles, California.

• PMID: 28562457
 
• DOI: 10.1097/ACM.0000000000001730

Abstract

Purpose: To develop an instrument to assess educational climate, a critical aspect of the medical school learning environment that previous tools have not explored in depth.

Method: Fifty items were written, capturing aspects of Dweck's performance-learning distinction, to distinguish students' perceptions of the educational climate as learning/mastery oriented (where the goal is growth and development) versus performance oriented (where the goal is appearance of competence). These items were included in a 2014 survey of first-, second-, and third-year students at six diverse medical schools. Students rated their preclerkship or clerkship experiences and provided demographic and other data. The final Educational Climate Inventory (ECI) was determined via exploratory and confirmatory factor analysis. Relationships between scale scores and other variables were calculated.

Results: Responses were received from 1,441/2,590 students (56%). The 20-item ECI resulted, with three factors: centrality of learning and mutual respect; competitiveness and stress; and passive learning and memorization. Clerkship students' ratings of their learning climate were more performance oriented than preclerkship students' ratings (P < .001). Among preclerkship students, ECI scores were more performance oriented in schools with grading versus pass-fail systems (P < .04). Students who viewed their climate as more performance oriented were less satisfied with their medical school (P < .001) and choice of medicine as a career (P < .001).

Conclusions: The ECI allows educators to assess students' perceptions of the learning climate. It has potential as an evaluation instrument to determine the efficacy of attempts to move health professions education toward learning and mastery.