학습환경에 관한 의대학생과 전공의의 인식 평가: 기존 도구의 타당도근거 탐색(Acad Med, 2014)

학습환경에 관한 의대학생과 전공의의 인식 평가: 기존 도구의 타당도근거 탐색(Acad Med, 2014)

Assessing Medical Students’ and Residents’ Perceptions of the Learning Environment: Exploring Validity Evidence for the Interpretation of Scores From Existing Tools

Jorie M. Colbert-Getz, PhD, Sooyoun Kim, Victoria H. Goode, MLIS, Robert B. Shochet, MD, and Scott M. Wright, MD

학습 환경(LE)은 연습생들이 몰입하고immersed 그들의 직업1과 도덕2 발달에 중요한 역할을 한다고 여겨지는 교육, 신체적, 사회적, 심리적 맥락을 포괄한다. 대부분의 사람들이 효과적인 의료 교육을 위해 LE를 지원하는 것이 필수적이라는 것에 동의하지만, LE의 품질에 대한 정확한 평가는 교육자와 관리자들에게 어려운 일이었다. 의학 교육 연락 위원회는 의과대학이 "LE를 정기적으로 평가해야 한다."3 그러나 표준 LE 지표가 없는 한 학교는 이 표준을 준수하는 방법을 알지 못한다. 또한 최근 ACGME(Accreditation Council for Medical Education)는 인증 시스템의 일부로 임상 학습 환경 검토 프로그램을 만들었다.4 학생들과 레지던트들이 LE를 어떻게 인식하는지를 모른 채, 기관들은 효과적으로 LE를 개선하기 위한 수단에 한계가 있다.

The learning environment (LE) encompasses the educational, physical, social, and psychological context in which trainees are immersed and is thought to play a significant role in their professional1 and moral2 development. Although most agree that supportive LEs are essential for effective medical education, an accurate assessment of LE quality has been challenging for educators and administrators. The Liaison Committee on Medical Education stated that medical schools “should regularly evaluate the LE.”3 Yet, in the absence of a standard LE metric, schools do not know how to comply with this standard. In addition, the Accreditation Council for Graduate Medical Education (ACGME) recently created the Clinical Learning Environment Review program as part of their accreditation system.4 Without knowing how students and residents perceive the LE, institutions are limited in their means to effectively improve it.

의학 교육에서 LE를 평가하기 위해 처음 발표된 도구는 고등 교육에 사용되는 LE 도구인 CCI를 AAMC에 의해 수정된 것이었다.6 본 의과대학 환경 목록은 180개의 항목을 사용하여 1960년 의대 졸업생들의 교수진 및 동급생에 대한 인식을 탐구하였다. 가장 높은 점수를 받은 척도를 바탕으로, 그 해 평균적인 의과대학 졸업자들은 교수들이 학생들의 독립성을 촉진하고 학생들의 성적을 요구했지만, 그들은 학생들에 대해 아무런 관련이 없다고 생각했다. 즉, 학생들은 교직원들이 집단으로 학급과 연결되어 있다고 느끼지 않았다. 응답자들은 또한 또래들이 경쟁적이고 계급 밖의 사회적 상호작용이 거의 없다고 보고했다. 게다가, 그들은 교직원과 동료들 모두 휴머니즘적이라고 생각했다.

The first published tool to assess the LE in medical education was adapted by the Association of American Medical Colleges5 from the College Characteristics Index, an LE tool used in higher education.6 This Medical School Environment Inventory explored medical school graduates’ perceptions of faculty and peers in 1960 using 180 items. Based on scales with the highest scores, the average medical school graduate that year thought that although faculty facilitated independence across students and were demanding of students’ performance, they remained unaffiliated towards students. That is, students did not feel that faculty connected with the class as a group. The respondents also reported that peers were competitive and had little social interaction outside of class. In addition, they perceived both faculty and peers to be humanistic.

이후 수십 년 동안, 연구원들은 의대생들의 LE에 대한 인식을 평가하기 위한 도구를 계속해서 개발했다. 그러나 1993.7 Selig의 레지던트 프로그램 평가 설문지는 작업 부하, 교수진 및 스트레스에 대한 거주자의 인식을 LE와 관련된 것으로 평가하기 전까지는 LE에 대한 레지던트의 인식을 측정하기 위한 도구가 개발되지 않았다. 1990년대 초반부터, 많은 도구들이 대학원 의학의 전문분야에 걸쳐 특정분야의 LE 또는 LE를 평가하기 위해 개발되었다. 따라서 LE에 대한 의대생들과 레지던트의 인식은 50년 이상 동안 의학 교육에서 중요한 연구 분야로 남아 있었다.

Over the ensuing decades, researchers continued to develop tools to assess medical students’ perceptions of the LE. However, a tool to measure residents’ perceptions of the LE was not developed until 1993.7 Seelig’s Residency Program Evaluation Questionnaire assessed residents’ perceptions of workload, faculty, and stress as related to the LE. Since the early 1990s, many tools have been developed to assess either the LE of a particular specialty or the LE across specialties in graduate medical education. Thus, medical students’ and residents’ perceptions of the LE have remained important areas of research in medical education for more than 50 years.

LE를 평가하기 위해 건강 전문가에 사용되는 두 개의 검토 도구, 8,9이지만 둘 다 검색에서 몇 가지 도구를 놓쳤다. 

• Schönrock-Adema 및 동료9는 향후 도구 개발을 안내하는 이론적 프레임워크를 생성하는 것을 목표로 11개의 LE 도구를 식별했다. 2011년 이전에 발표된 16가지 도구를 검토에 포함시키지 않았고, 그들의 제안된 프레임워크는 오늘날의 의대생과 레지던트가 직면할 수 있는 LE 문제에 덜 적용 가능한 것으로 보인다.10 

• Soemantri와 Colla Gues8은 2008년 이전에 발표된 LE 도구 점수의 유효성을 검토했지만 12가지 도구를 누락했다.

Two reviews explored tools used in the health professions to assess the LE,8,9 yet both missed some tools in their search. 

• Schönrock-Adema and colleagues9 identified 11 LE tools with the goal of generating a theoretical framework to guide future tool development. How ever, they did not include in their review 16 tools published prior to 2011, and their proposed framework seems less applicable to the LE issues that today’s medical students and residents may encounter.10 

• Soemantri and colleagues8 reviewed the validity of LE tool scores published before 2008 but missed 12 tools.

UME vs GME

Undergraduate Medical Education Versus Graduate Medical Education

우리는 두 환경이 다르다고 보기 때문에 학부 의대 교육과 대학원 의과대학의 LE를 따로 검토하기로 했다. 대학원 의학 교육은 순전히 직업 훈련 환경이다. 그러나, 학부의학교육은 교육 환경에서 훈련 환경으로 옮겨가는 혼합된 LE이다. 전임상 시기는 의대생의 요구에 독특한 초점을 맞추지만, 일단 의대생이 임상시기에 진입하면 그 초점이 환자에게 옮겨진다. 또한, 의대생들은 고객에게 돈을 지불하고 있다. 따라서, 그들의 LE는 그들의 학습과 전문적인 발전을 지원해야 한다. 대학원 의료 교육에서는 인턴과 레지던트를 고용하여 환자를 돌보는 한편, 감독하고 가르치는 일을 맡는다. 마지막으로, 그들의 관심사는 전공과에 따라 다르다. 예를 들어, 다양한 관심사를 가진 의대생들에 비해, 전공의들은 모두 정신의학이나 소아과와 같은 한 분야를 추구한다.

We decided to review the LEs of undergraduate medical education and graduate medical education separately because we see the two environments as different. Graduate medical education is purely a job training environment. Undergraduate medical education, however, is a blended LE, moving from an educational environment to a training environment. The preclinical years create a unique focus on the needs of the medical student, but the focus shifts to the patient once the medical student enters the clinical years. Also, medical students are paying customers; thus, their LE must support their learning and professional development. In graduate medical education, interns and residents have been hired and are paid to care for patients, while being supervised and taught. Finally, their interests are more discipline-specific; for example, all have opted to pursue one field, like psychiatry or pediatrics, compared with medical students, who have diverse interests.

초점 질문

Focused Questions

본 리뷰에서는 다음과 같은 연구 문제를 다루는 것을 목표로 하였다. 

• (1) 의료 교육에서 LE를 측정하기 위해 개발된 도구는 무엇인가? 그리고. 

• (2) 이러한 도구의 점수 해석과 관련된 유효성 근거(내용, 대응 프로세스, 내부 구조, 다른 변수와의 관계)의 강점은 무엇인가?

In this review, we aimed to address the following research questions: 

• (1) What tools have been developed to measure the LE in medical education? and 

• (2) What is the strength of the validity evidence (content, response process, internal structure, relationship to other variables) associated with the interpretation of the scores from these tools?

LE 도구 점수는 현 시점에서 규범적 점수보다 기술적이기 때문에 이 검토에서 결과 타당성 증거를 수집하지 않았다.

We did not collect consequence validity evidence in this review because LE tool scores are more descriptive than prescriptive at this point in time.

방법

Method

우리는 이 체계적인 검토를 PRISMA 표준에 따라 수행했다.12

We conducted this systematic review in accordance with PRISMA standards.12

검색 전략 Search strategy

포함과 스크리닝 프로세스 Inclusion and screening process

데이터 추상화 Data abstraction

모든 저자들은 같은 기사를 읽으면서 코딩 시트를 조종한 다음 두 번 다듬었다. 코딩 시트에는 설명 정보 질문(도구의 이름과 유형 [새로운, 수정된, 기존]), 샘플 특성 질문 및 각 유형의 유효성 증거와 관련된 질문이 포함되었다. 

• 컨텐츠의 타당성을 위해, 저자들이 항목을 생성하기 위해 문헌 검토, 청사진 및/또는 그룹 합의를 사용했는지 여부를 확인했다. 

• 대응 과정에 있어, 우리는 항목들이 시험적으로 시험되었는지, 그리고/또는 응답자들이 항목에 대한 피드백을 제공했는지, 또는 실제 점수를 정확하게 검토했는지 여부를 결정했다. 

• 내부 구조의 경우, 신뢰성 계수가 제공되는지 여부, 요인 분석으로 점수를 분석했는지 여부를 표시했다. 

• 다른 변수와의 관계에 대해서는 점수가 다른 관련 평가 점수와 상관관계가 있는지 여부를 결정했다.

All authors piloted the coding sheet, reading the same articles, then refined it twice. The coding sheet included descriptive information questions (name and type [new, modified, existing] of tool), sample characteristics questions, and questions relating to each type of validity evidence. 

• For content validity, we identified if the authors used a literature review, blueprint, and/or group consensus to generate items. 

• For response process, we determined whether items were piloted and/or whether respondents provided feedback on the items or if actual scores were reviewed for accuracy. 

• For internal structure, we indicated if a reliability coefficient was provided and if scores were analyzed with factor analysis. 

• For relationship to other variables, we determined whether scores were correlated with other related or unrelated survey scores.

분석 Analysis

결과 

Results

연구 숫자와 도구

Number of studies and tools

2012년 현재 102개의 연구가 LE에 대한 의대생 또는 레지던트의 인식을 평가했다. 15개의 고유 도구가 의대 5,14–27에서 LE를 평가했고 레지던트에서 13개의 고유 도구를 평가하였다. 따라서 우리는 28개의 고유 도구를 이 체계적 검토에 포함시켰다. 의과대학과 레지던트 설정에서 모두 사용된 도구는 단디 준비 교육 환경 측정(DREEM), 재향군인 학습자의 인식 조사(VA LPS), 대학원 병원 교육 환경 측정(PHEEM), 외과 연극 교육 환경 측정(STEEM) 등 4가지뿐이다.

As of 2012, 102 studies have assessed medical students’ and/or residents’ perceptions of the LE. Fifteen unique tools assessed the LE in medical school5,14–27 and 13 in residency.7,28–39 Thus, we included 28 unique tools in this systematic review. Only four tools have been used in both the medical school and residency settings—the Dundee Ready Education Environment Measure (DREEM), the Veterans Affairs Learners’ Perceptions Survey (VA LPS), the Postgraduate Hospital Educational Environment Measure (PHEEM), and the Surgical Theatre Educational Environment Measure (STEEM).

연구 퀄리티와 통합

Study quality and synthesis

표 2는 전체 타당도 증거 점수를 포함하여 28개의 고유한 LE 도구에 대한 유효성 증거를 요약한 것이다. 이 28개 도구 연구 중 17개(61%)가 어떤 형태로든 내용 타당성 증거를 제공했다. 

• 연구는 32%(9/28)의 내부 구조 증거를 제공하고, 

• 21%(6/28)는 다른 변수 증거와 어떤 형태의 관계를 제공했으며, 

• 14%(4/28)는 응답 프로세스 증거를 제공했다. 

다른 변수 근거와의 관계를 제공한 6개 연구 중 3개 연구만이 예상 수렴 또는 분산 관계에 대한 가설을 명시했다. 즉, 과정 유효성 검사, ACGME 조사 및 Fahy의 LE 도구. 또한 대부분의 연구(23/28; 82%)는 복수의 LE 도메인을 제시했지만, 가설 구조를 뒷받침하기 위한 요인 분석 결과를 제공한 것은 5개에 불과했다.

Table 2 provides a summary of the validity evidence for each of the 28 unique LE tools, including an overall validity evidence score. Seventeen of these 28 tool studies (61%) provided some form of content validity evidence. Studies were less likely to provide evidence for the other three sources—32% (9/28) provided some form of internal structure evidence, 21% (6/28) provided some form of relationship to other variables evidence, and 14% (4/28) provided some form of response process evidence. Only 3 of the 6 studies that provided relationship to other variables evidence specified a hypothesis for the expected convergent or divergent relationships—the Course Valuing Inventory, the ACGME survey, and Fahy’s LE tool. Additionally, the majority of studies (23/28; 82%) suggested multiple LE domains, but only 5 provided factor analysis results to support the hypothesized structure.

학부 의대 LE 도구의 평균 유효 증거 점수는 21%(표준 편차 = 16%)였으며, 두 개 이상의 유효 근거 소스를 제공한 도구는 없었다. 대학원 의학 교육 LE 도구의 평균 유효 증거 점수는 32%(표준 편차 = 17%)였으며, 4가지 타당도 근거 출처를 모두 제공하는 도구는 없었다.

The average validity evidence score for undergraduate medical education LE tools was 21% (standard deviation = 16%), and no tools provided more than two sources of validity evidence. The average validity evidence score for graduate medical education LE tools was 32% (standard deviation = 17%), and no tools provided all four sources of validity evidence.

그림 2는 유효 증거량과 LE 도구의 후속 간행물 수(사용 후) 사이의 약한 관계를 보여준다(rho = 0.10).

Figure 2 illustrates the weak relationship between the amount of validity evidence and the number of subsequent publications of the LE tool (later use) (Spearman rho = 0.10).

고찰

Discussion

LE에 대한 의대생이나 레지던트의 인식을 평가하기 위한 gold standard는 존재하지 않는다. 만약 그렇다면, 그러한 도구는 내용, 대응 과정, 내부 구조 및 다른 변수와의 관계에 대한 강력한 유효성 증거를 이상적으로 보유할 것이다. 이상적인 도구는 효율적으로 시행할 수 있고, 참가자가 완료하는 데 빠르고, 광범위하게 적용되며, 시간이 지남에 따라 변화에 민감해야 한다. LE 평가는 3년에 한 번씩 완료되는 완전한 과정이 아니어야 한다. 대신에, LE는 민첩한 도구를 사용하여 정기적으로 재평가해야 한다.

No gold standard exists for assessing medical students’ or residents’ perceptions of the LE. If one did, such a tool would ideally possess strong validity evidence for content, response process, internal structure, and relationship to other variables. It would be efficient to administer, quick for participants to complete, widely applicable, and sensitive to change over time. Assessing the LE should not be an exhaustive process completed once every three years; instead, the LE should be regularly reassessed using a nimble instrument.

이 검토는 타당성 입증, 사용 및 항목 수 등 LE 도구의 보다 객관적인 차원에 초점을 맞추었다. 우리는 효율성과 관리 시간을 대신하여 항목 수를 사용했다. LE는 다면적인 구조여서, LE 도구는 너무 짧아서 이러한 모든 면을 캡처할 수 없다. 그러나, 연구원들은 참가자들이 비교적 쉽게 LE 도구를 완성할 수 있도록 노력해야 한다. 그렇게 하면 응답률이 높아질 뿐만 아니라 (a) 전체 설문조사를 끝내고 (b) 질문에 대한 성찰과 솔직한 답변을 할 가능성이 높아진다. 

This review focused on the more objective dimensions of LE tools— validity evidence, use, and number of items. We used number of items as a proxy for efficiency and time to administer. The LE is a multifaceted construct, so an LE tool cannot be too short so as to not capture all of these facets. However, researchers should strive to keep LE tools relatively easy for participants to complete. Doing so will not only facilitate a higher response rate but also increase the odds that respondents will (a) finish the entire survey and (b) reflect on the questions and submit honest responses. 

본 검토와 LE에 대한 조사를 모두 수행한 경험에 근거하여, LE는 50개 미만의 항목으로 평가될 수 있다고 본다. 우리는 조사 항목의 수를 제한하기 위해 요인 분석과 같은 분석 방법을 사용할 것을 강력히 촉구한다. 인자 분석을 통해 연구자가 LE 점수에 대한 요인 구조를 결정할 수 있을 뿐만 아니라 조사 항목 수를 줄일 수 있다. 예를 들어, 요인 분석 결과에 따르면 LE가 5개의 인자로 구성되는 경우, 연구자는 각 인자에 대한 하중 값이 가장 높은 6개 항목을 선택하여 30개의 항목 조사를 수행할 수 있다.

On the basis of our experience conducting both this review and researchon the LE, we believe that the LE can  be assessed with a survey of fewer than 50 items. We strongly urge researchers to use analytic methods, such as factor analysis, to limit the number of survey items. Factor analysis not only will allow researchers to determine the factor structure for LE scores but also can be used to reduce the number of survey items. For example, if the results of a factor analysis suggest that the LE comprises 5 factors, a researcher could select the 6 items with the highest loading values for each factor, resulting in a 30- item survey.

흥미롭게도, 학부 의학 교육(폴리의 도구)과 대학원 의학 교육(ACGME)에 대한 가장 높은 수준의 유효 증거를 가진 LE 도구는 후속 출판물에는 사용되지 않았다. 타당성 증거에 있어서는 열등하지만, DREEM은 전 세계 학술 의료 센터에서 LE를 평가하기 위해 40개 이상의 연구에서 사용되었다. 총 유효 증거 점수와 이후 사용 간의 상관관계가 낮은 것은 연구 간 발표 이후의 시간 차이 때문일 수 있다. 최근 발표된 연구가 우리의 분석에서 누락되었을 때, 유효 증거 점수와 이후 사용 사이의 관계는 온건했다.

Interestingly, the LE tools with the highest degree of validity evidence for undergraduate medical education (Pololi’s tool) and graduate medical education (ACGME) were not used in subsequent publications. Although it is inferior in terms of validity evidence, the DREEM was used in more than 40 studies to assess the LE at academic medical centers around the world. The low correlation between total validity evidence score and later use could be due to the difference in time since publication between studies. When studies published recently were omitted from our analysis, the relationship between validity evidence score and later use was moderate.

낮은 유효 증거 점수에도 불구하고, DREEM은 다른 LE 도구에 대한 많은 연구에서 사용되었다. 던디대 의과대학의 의과대학 석사 과정에 등록한 국제 학생 그룹에 의해 개발되었다. 그런 다음, 이 학생들은 그들의 가정home 기관에서 이 조사를 사용했고, 따라서 같은 기관의 연구자들에 의해 만들어진 조사보다 더 많은 네트워크 사용 효과를 만들어냈다. 네트워크 효과는 또한 더 빠른 이름 인식name recognition으로 이어질 수 있었다. 연구자가 LE 도구가 필요한 경우, 다른 도구를 찾기 위한 문헌 검토를 실시하기보다는 DREEM을 알고 있었기 때문에 DREEM 사용을 고려할 가능성이 더 높았을 수 있다. 또한, DREEM을 사용함으로써, 그들은 학교 결과를 다른 학교 결과와 비교할 수 있었다. 따라서 연구자들은 타당성 입증 이외의 이유로 LE 도구를 선택할 수 있다. 우리는 표 2에 제시된 우리의 결과가 연구자들과 교육자들이 타당성 증거를 토대로 LE 도구를 선택하도록 안내할 것으로 기대한다.

Despite its low validity evidence score, the DREEM was used in a large number of studies relative to other LE tools. It was developed by a group of international students enrolled in Dundee University Medical School’s medical education master’s degree program. These students then used the survey at their home institutions, thus creating more of a network effect of use than would a survey created by a group of researchers at the same institution. The network effect also could have led to faster name recognition. When researchers needed an LE tool, they may have been more likely to consider using the DREEM because they knew of it, rather than conducting a literature review to find a different tool. Also, by using the DREEM, they could compare their school’s results with those of other schools. Thus, researchers may be selecting LE tools for reasons other than validity evidence. We are hopeful that our results presented in Table 2 will guide researchers and educators in selecting LE tools on the basis of validity evidence.

이 리뷰는 건강 전문가에 사용된 LE 도구에 대한 이전에 발표된 두 개의 리뷰의 결과에 깊이와 엄격함을 더한다.8,9  

• Schnrock- Adema와 동료9의 리뷰는 LE의 이론적 기반을 구축하고 그것의 다른 측면에 초점을 맞춘다. 따라서, 우리의 검토는 LE(점수의 유효 증거)를 평가하기 위한 다른 렌즈를 제공했다. 

• 소이만트리와 동료8의 검토에서도 타당성 증거를 평가했지만 많은 단점이 있었다. 우리의 결론과는 대조적으로, 소이만트리 외 연구진은 DREEM과 PHEEM이 각각 의대생과 LE에 대한 거주자의 인식을 평가하기 위한 최고의 도구라고 결론지었다. 

This review adds depth and rigor to the findings of the two previously published reviews of LE tools used in the health professions.8,9 The review by Schönrock- Adema and colleagues9 aimed to build a theoretical base for the LE and focused on its different facets. Thus, our review offered a different lens for assessing the LE—the validity evidence of scores. The review by Soemantri and colleagues8 also assessed validity evidence, but it had many shortcomings. In contrast to our conclusions, Soemantri et al concluded that the DREEM and PHEEM were the best tools for evaluating medical students’ and residents’ perceptions of the LE, respectively. 

우리는 검토된 LE 도구의 수와 유효 증거 패러다임이라는 두 가지 이유로 Soemantri 등으로부터 서로 다른 결론에 도달했다고 믿는다. "학습 환경"에 대해 여러 개의 핵심 단어를 사용하여 포괄적인 검색 전략을 모색했기 때문에, 우리의 리뷰는 더 많은 공개된 LE 도구를 포착했다. Soemantri 외 연구진은 세 가지 유형의 유효성(내용, 기준 관련 및 구성)을 가진 구형 패러다임을 사용했으며, 우리는 유효 증거의 다섯 가지 출처(내용, 대응 프로세스, 내부 구조, 다른 변수와의 관계, 결과[이 검토에서 평가되지 않음])를 가진 새로운 패러다임을 사용했다.

We believe that we reached disparate conclusions from Soemantri et al for two reasons—the number of LE tools reviewed and the validity evidence paradigm. Our review captured more published LE tools because we sought a comprehensive search strategy, using multiple key words for “learning environment.” Soemantri et al used the older paradigm with three types of validity (content, criterion- related, and construct), while we used the new paradigm with five sources of validity evidence (content, response process, internal structure, relationship to other variables, and consequences [not assessed in this review]).

우리의 검토에는 몇 가지 한계가 있다. 

• 첫째, 대부분의 초기 연구들은 단일 사이트에서 비교적 적은 수의 학습자를 사용했으며, 특히 학부 의대 교육 LE를 평가하는 학습자를 사용했다. 그러므로 타당성 증거가 더 강했더라도 다른 기관의 학습자와 함께 도구의 효용에 대한 일반화는 문제가 될 수 있다. 

• 둘째, 동료 검토 저널에 게재된 LE 도구만 포함시켰다. 

• 마지막으로, 기술 및 끊임없이 변화하는 의료 제공 시스템과 같은 요인들로 인해 의료 교육이 계속 발전함에 따라, 이러한 요소들을 설명하기 위한 새로운 도구가 필요할 것이다. 따라서, 우리가 검토한 도구들 중 일부는 사실 이미 구식일 수도 있고, 따라서 덜 유용할 수도 있다.

Our review has several limitations. First, most of the original studies used relatively small numbers of learners at a single site, especially those assessing the undergraduate medical education LE. Thus, even if validity evidence had been stronger, generalizations about any tool’s utility with learners at other institutions may be problematic. Second, we only included LE tools published in peer-reviewed journals. Finally, as medical education continues to evolve because of factors such as technology and our ever- changing health care delivery systems, new tools will be needed to account for these factors. Thus, some of the tools we reviewed may in fact already be dated, and thus of lesser utility.

검토한 28개의 LE 도구에 대한 제한된 유효성 증거를 고려할 때, 연구자들은 추가 연구를 통해 타당성 증거를 수집하거나, 또는 LE에 대한 의대생과 레지던트 인식을 평가하는 새로운 도구를 개발하기를 원할 수 있다. 새로운 LE 도구는 효용성을 확립하기 위해 복수의 기관에서 견습생을 대상으로 강력한 유효성 증거 시험과 샘플링을 필요로 한다. 또한 의학 교육자와 학자는 LE와 같은 복잡한 구조를 평가할 측정지표를 선택할 때 유효 증거를 신중하게 고려해야 한다. 그러한 타당성 증거는, 그것이 없다면, 교육자들은 어떤 구조를 정확하게 포착할 수 있는 능력에 한계가 있기 때문에 매우 중요하다.

Given the limited validity evidence for the 28 LE tools that we reviewed, researchers may wish to collect validity evidence with further study or, alternatively, to develop new tools to assess medical students’ and residents’ perceptions of the LE. Any new LE tool will need robust validity evidence testing and sampling across multiple institutions with trainees at multiple levels to establish its utility. Additionally, medical educators and scholars should carefully consider validity evidence when selecting a metric to assess a complex construct, such as the LE. Such validity evidence is extremely important because, without it, educators are limited in their ability to accurately capture a construct.

---

Acad Med. 2014 Dec;89(12):1687-93. doi: 10.1097/ACM.0000000000000433.

Assessing medical students' and residents' perceptions of the learning environment: exploringvalidity evidence for the interpretation of scores from existing tools.

Colbert-Getz JM1, Kim S, Goode VH, Shochet RB, Wright SM.

Author information

1

Dr. Colbert-Getz is senior director of medical education development and assessment, University of Utah School of Medicine, Salt Lake City, Utah. Ms. Kim is a fourth-year medical student, University of Sydney Medical School, Sydney, Australia. Ms. Goode is a clinical librarian, William H. Welch Medical Library, Johns Hopkins University School of Medicine, Baltimore, Maryland. Dr. Shochet is assistant professor of medicine and director, Colleges Advisory Program, Johns Hopkins University School of Medicine, Baltimore, Maryland. Dr. Wright is professor of medicine and division chief, Division of General Internal Medicine, Johns Hopkins Bayview Medical Center, Johns Hopkins University School of Medicine, Baltimore, Maryland.

Abstract

PURPOSE:

Although most agree that supportive learning environments (LEs) are essential for effective medical education, an accurate assessment of LE quality has been challenging for educators and administrators. Two previous reviews assessed LE tools used in the health professions; however, both have shortcomings. The primary goal of this systematic review was to explore the validity evidence for the interpretation of scores from LE tools.

METHOD:

The authors searched ERIC, PsycINFO, and PubMed for peer-reviewed studies that provided quantitative data on medicalstudents' and/or residents' perceptions of the LE published through 2012 in the United States and internationally. They also searched SCOPUS and the reference lists of included studies for subsequent publications that assessed the LE tools. From each study, the authors extracted descriptive, sample, and validity evidence (content, response process, internal structure, relationship to other variables) information. They calculated a total validity evidence score for each tool.

RESULTS:

The authors identified 15 tools that assessed the LE in medical school and 13 that did so in residency. The majority of studies (17; 61%) provided some form of content validity evidence. Studies were less likely to provide evidence of internal structure, response process, and relationship to other variables.

CONCLUSIONS:

Given the limited validity evidence for scores from existing LE tools, new tools may be needed to assess medical students' and residents' perceptions of the LE. Any new tools would need robust validity evidence testing and sampling across multiple institutions with trainees at multiple levels to establish their utility.

Comment in

• Towards robust validity evidence for learning environment assessment tools. [Acad Med. 2015]
• Towards robust validity evidence for learning environment assessment tools. [Acad Med. 2015]
• In reply to Roff and McAleer and to Loo and Byrne. [Acad Med. 2015]

PMID:

 

25054415

 

DOI:

 

10.1097/ACM.0000000000000433