임상학습환경 측정을 위한 도구의 심리측정적 특성(Med Educ, 2007)

임상학습환경 측정을 위한 도구의 심리측정적 특성(Med Educ, 2007)

Psychometric properties of an instrument to measure the clinical learning environment

K Boor,1 F Scheele,2 C P M van der Vleuten,3 A J J A Scherpbier,4 P W Teunissen2 & K Sijtsma5

도입

INTRODUCTION

임상 환경에서 일하고 배우는 것은 의사들에게 훈련에서 도전적인 시기를 나타낸다. Daugherty 등에 따르면, 그들은  "...환자 치료에 대한 책임, 경제적 어려움, 당직 일정, 환자 사망, 지속적인 학습의 필요성, 가르치는 일, 의사 및 노인 거주자의 요구 사항, 가정과 사생활의 필요성 등 다양한 요구 사항의 균형을 맞추는 법을 배워야 한다." 이 단계는 서유럽과 미국에서 최근 근로시간 관련 법률의 변경으로 더욱 복잡해졌다. 교육 활동에 사용할 수 있는 시간이 줄어든 반면, 임상 업무량은 증가했다.2–4 한편, 의료의 질은 대중의 관심을 더 끈다.5,6

Working and learning in the clinical environment represents a challenging phase for doctors in training. According to Daugherty et al., they  …must learn to balance such diverse demands as responsibility for patient care, economic hardships, on-call schedules, patient death, the need for constant learning, the task of teaching, the requirements of attending physicians and senior residents, along with the necessities of family and personal life .1 This phase is further complicated by recent changes in legislation for working hours in Western Europe and the USA; the clinical workload has grown, whereas the time available for educational activities has diminished.2–4 Meanwhile, the quality of health care attracts greater public attention.5,6

교육 경험의 중요한 요소 중 하나는 임상 학습 환경이다. 이러한 환경은 감독 품질, 교사의 질, 그리고 시설과 분위기와 같은 많은 중요한 측면을 포괄한다. SCOPME는 다음과 같이 명시하였다.  ...학습에 도움이 되는 작업 환경은 성공적인 훈련에 매우 중요하다.

One important component of the educational experience is the clinical learning environment. This environment encompasses many important aspects, such as the quality of supervision,7,8 the quality of teachers,9,10 and facilities and atmosphere.11,12. The Standing Committee on Postgraduate Medical Education (SCOPME) stated that  …a working environment that is conducive to learning is critically important to successful training .13,14

임상 학습 환경의 품질을 구체적으로 평가하는 기구는 몇 가지에 불과하다. Roff 등. PHEEM(Postgradors Hospital Educational Environment Measure, PHEEM)을 구성하고 검증하였다.16 설문지 개발자들은 PHEEM16,17의 항목을 검증하기 위해 대상 모집단에서 추출한 포커스 그룹, 공칭 그룹 및 델파이 패널을 포함하는 근거 이론의 형식을 사용했다.

Only a few instruments specifically assess the quality of the clinical learning environment. Roff et al. constructed and validated the Postgraduate Hospital Educational Environment Measure (PHEEM).16 The developers of the questionnaire used a form of grounded theory involving focus groups, nominal groups and a Delphi panel drawn from the target population to validate the items of the PHEEM.16,17

40항목 설문지는 교육의 질과 업무의 내용에 관한 항목으로 구성되지만, 팀의 일원이 되는 것, 감독의 질, 비난 없는 문화에서 일하는 것 등 사회적, 감정적 요소도 고려한다. 원저자는 

• 역할자치role autonomy에 대한 인식, 

• 사회적 지지에 대한 인식 

• 교육에 대한 인식

...을 측정하는 세 가지 항목과 이들의 항목별 점수를 표 1에 나타냈다.

The 40-item questionnaire consists of items about the quality of teaching and content of work, but also takes into account social and emotional factors, such as being part of the team, quality of supervision and working in a no-blame culture. The original authors identified 3 subscales which measured perceptions of role autonomy, perceptions of social support and perceptions of teaching.16,17 The items and their subscales are shown in Table 1.

이 기사에서 우리는 PHEEM의 두 가지 정신측정학적 특성을 조사한다. 

• 첫 번째 심리학적 특성은 3개 하위척도의 구성 타당성이다. 우리가 아는 바로는, 이러한 구독에 대한 검증은 이전에 출판된 적이 없다. 

• 두 번째 속성은 시간과 경우에 관계없이 데이터나 점수의 재현성으로 정의되는 설문지의 신뢰성이다. 

따라서 평가자의 개인 의견의 변동성과 불일치는 도구의 재현성에 부정적인 영향을 미칠 수 있다. 따라서 우리의 연구 목표는 PHEEM의 신뢰성에 대한 그러한 영향을 검토하는 것이다.

In this article we investigate 2 psychometric properties of the PHEEM. The first psychometric property is the construct validity of the 3 subscales. To our knowledge, no validation of these subscales has been published previously. The second property is the reliability of the questionnaire, defined as reproducibility of data or scores, independent of time and occasion.18 Variability and inconsistency among raters’ personal opinions may, hence, negatively affect the instrument’s reproducibility.18,19 Our research goal is therefore to examine such influences on the PHEEM’s reliability.

METHODS

도구

Instrument

각 과목(점원과 등록자)은 리커트 5점 만점으로 40개 항목을 채점했는데, 1점은 전혀 동의하지 않고 5점은 전적으로 동의한다. (원래 설문지에서는 0~4점의 5점 리커트 척도를 사용했는데, 우리는 이 척도를 더 통상적인 1~5 범위로 대체했다.) 4개 항목(항목 7, 8, 11, 13)에 부정적인 문구가 들어 있었기 때문에, 우리는 척도로 점수를 역전시켰다. 임상실습생과 등록의사는 본인을 지칭하는 단어를 제외하고는 똑같은 설문지를 받았다.

Each subject (clerks and registrars) scored the 40 items on a 5-point Likert scale, where 1 ¼ totally disagree and 5 ¼ totally agree. (The original questionnaire used a 5-point Likert scale of 0)4, which we replaced with the more conventional 1)5 range.) Because 4 items contained negative statements (items 7, 8, 11 and 13), we inverted the score on the scale. Clerks and registrars received the exact same questionnaire, except for the use of specific words such as  clerk  and  registrar .

대상과 절차

Subjects and procedure

PHEEM을 채운 6개 병원의 14개 부서(내과, 외과, 산부인과, 지네시스, 소아과, 신경과, 정신의학 포함)

Clerks from 14 different departments (including internal medicine, surgery, obstetrics and gynaecology, paediatrics, neurology and psychiatry) in 6 different hospitals filled out the PHEEM

25개 병원의 소아과 레지스터와 44개 병원의 산부인과 및 지내과 레지스터는 2005년 3-4월에 설문지를 작성했다.

Paediatrics registrars from 25 hospitals and obstetrics and gynaecology registrars from 44 hospitals completed the questionnaire during March–April 2005.

통계 분석

Statistical analysis

PHEEM 점수 분포의 정규성을 확인한 후 데이터의 간격 수준을 가정하고 파라메트릭 통계 방법을 사용했다.

After checking the normality of the distribution of PHEEM scores, we assumed an interval level of the data and used parametric statistical methods.

탐색적 요인분석

Exploratory factor analysis

PHEEM의 3개 항목별 구성 타당성을 평가하기 위해 탐색적 요인 분석(특히, 주요 성분 분석)에 이어 분산 분석(varimax 회전)을 사용했다. 탐색적 요인 분석을 통해 관측 변수(즉, 항목)가 상당히 적은 수의 요인에 의해 설명될 수 있는지 여부를 판단할 수 있다.20 주요 성분 분석은 설명된 항목과의 차이를 극대화하기 위해 0 상관 요인(직교 성분이라고 함)을 계산하여 통계 정보를 요약한다.가능한 한 효율적으로 항목에 n. 다음으로, 각 회전 인자와 각 항목의 상관 관계(이 맥락에서 부하)에 대해 최적의 해석을 가진 솔루션을 얻기 위해 이 선택된 인자에 대해 바리막스 회전을 수행했다. 우리는 그 결과를 고유값을 산술적으로 해석했다.

To evaluate the construct validity of the 3 subscales of the PHEEM, we used an exploratory factor analysis (specifically, principal components analysis) followed by varimax rotation. Exploratory factor analysis enables us to determine whether the observed variables (i.e. the items) can be explained by a considerably smaller number of factors.20 Principal components analysis calculates 0-correlating factors (called orthogonal components) to maximise explained variance fromthe items and thus summarises the statistical information in the items as efficiently as possible. Next, we performed a varimax rotation on these selected factors to obtain a solution that had optimal interpretation in terms of the correlations (in this context known as  loadings ) of each of the items with each of the rotated factors. We interpreted the results with a scree plot of the eigenvalues.

우리는 Mokken 척도 분석으로 알려진 연속적인 클러스터링 방법을 사용하여 탐색적 요인 분석의 결과를 확인하였다.21,22 이 방법은 동일한 구조를 클러스터로 측정하여 PHEEM 데이터의 차원성을 결정하는 데 사용할 수 있는 항목을 선택한다. 탐색적 요인 분석과 Mokken 척도 분석을 주의 깊게 비교한 결과, 이러한 방법들이 데이터의 차원성에 대한 다른 관점을 제공한다는 것이 밝혀졌다. 예를 들어 탐색적 요인 분석은 모든 항목을 동시에 고려하는 반면, Mokken 척도 분석은 항목을 하나씩 항목을 선택한다. 마찬가지로 탐색적 요인 분석은 설명된 분산을 최대화하는 것을 목표로 하고 있는 반면, Mokken 척도 분석은 심도적 확장성 기준을 최적화한다. 그러나 이들의 차이에도 불구하고, 이러한 방법들은 차원 구조가 분명히 존재할 때 같은 결론으로 이어진다.23

We checked the results of the exploratory factor analysis by means of a successive clustering method, which is known in psychometrics as Mokken scale analysis.21,22 This method selects items that measure the same construct into clusters and thus can be used to determine the dimensionality of the PHEEM data. A careful comparison of exploratory factor analysis and Mokken scale analysis revealed that these methods provide different perspectives on the dimensionality in data. For example, exploratory factor analysis considers all items simultaneously, whereas Mokken scale analysis selects items one after another. Likewise, exploratory factor analysis aims at maximising explained variance, whereas Mokken scale analysis optimises a psychometric scalability criterion. However, despite their differences, these methods lead to the same conclusions when a dimensionality structure is clearly present.23

일반화가능도 이론

Generalisability theory

우리는 신뢰성에 관한 연구 문제를 해결하기 위해 일반화 이론을 사용했다. 이 이론은 측정에 영향을 미치는 관련 영향의 크기를 추정할 수 있다. 이후 계측기의 신뢰성 추정은 다양한 신뢰성 지수에 기초한다. 여기에서 신뢰성은 측정 시 노이즈의 표준 편차(SD)로 표현되며, 즉 측정에 무작위 또는 노이즈(신호 대 노이즈에서와 같이 소음)가 발생하는 모든 영향의 SD로 표현된다. 우리는 항목을 고정 면으로 간주하고 PHEEM 총점(하위 척도)을 분석 단위로 사용했다. 우리는 사무원과 등록자를 위한 2가지 요인을 별도로 가지고 무작위 효과 분산 분석 모델을 수행했다. 그 요인은 부서(d)와 과목(s)이었다. 일반성 이론의 용어로, 우리는 사무원과 등록자를 위해 따로 부서 내에 내포된 주제를 가지고 단일 페이셋 분석을 실시했다. UrGenova 프로그램을 사용한 불균형 설계 추정 분산 성분.24 분산 성분 추정 후 사무원 및 등록자에 대해 별도로 측정(SEM)의 표준 오류를 추정했다.

We used generalisability theory to address the research questions about reliability. This theory allows estimation of the size of the relevant influences that affect the measurement. The subsequent estimation of the reliability of the instrument is based on a variety of reliability indices. Here reliability is expressed as the standard deviation (SD) of the  noise in the measurement , i.e. the SD of all influences that have a random or noisy effect on the measurement (noisy as in signal-versus-noise). We considered items to be a fixed facet and used the PHEEM total (subscale) score as the unit for analysis. We carried out a random-effects ANOVA model with 2 factors for clerks and registrars separately. The factors were departments (d) and subjects (s). In generalisability theory terms, we carried out a single-facet analysis with subjects nested within departments, separately for clerks and registrars. An unbalanced design using the UrGenova program estimated variance components.24 Following variance component estimation, we estimated the standard error of measurement (SEM), again separately for clerks and registrars.

결과

RESULTS

표 1은 두 그룹의 응답률, 기술 통계 및 평균 항목 점수를 보여준다.

Table 1 shows the response rate, descriptive statistics and mean item score for both groups.

3개 항목별 타당성 구축

Construct validity of the 3 subscales

설명요인 분석 후 점원 그룹의 분산 회전으로 고유값 > 1을 가진 10개의 요인이 나타났다. 첫 번째 인자의 고유값은 12.2(분산 30.6%에 대한 계산)였으며, 다음 9개 인자의 고유값은 <2.1(그림 1의 나무 그림)>이었다. 등록자 집단의 분석은 고유값 >1을 가진 9개의 요인을 보여주었다. 첫 번째 인자는 고유값 1⁄412.4 (분산 31.1%에 대한 계산)이었고, 다음 8은 고유값 <1.9 (그림 1의 나무 그림)>를 가지고 있었다. 이러한 결과는 3가지 뚜렷한 요인을 측정하는 설문지와 일치하지 않는다. 이러한 경우, 결과는 비교적 높은 고유값을 가진 세 가지 요인을 나타낼 것이다(이 요인은 가급적 함께 큰 비율의 분산을 고려한다). 그러나 그 결과는 1인자, 따라서 1차원 척도를 제시한다. 다음으로, 두 데이터셋에 대해 Mokken 스케일 분석을 수행했다. 그 결과 요인 분석 결과가 확인되었는데, 1개의 대형 항목 군집이 발견되어 1차원 척도를 나타냈다.

Exploratory factor analysis followed by varimax rotation of the clerk group resulted in 10 factors with an eigenvalue > 1. The first factor had an eigenvalue of 12.2 (accounting for 30.6% of variance), and the next 9 factors had eigenvalues <2.1 (scree plot in Fig. 1). The analysis of the registrar group showed 9 factors with eigenvalues >1. The first factor had an eigenvalue ¼12.4 (accounting for 31.1% of variance), and the following 8 had eigenvalues <1.9 (scree plot in Fig. 1). These findings are not consistent with a questionnaire measuring 3 distinct factors. In such a case, the results would show 3 factors with relatively high eigenvalues (which would preferably together account for a sizeable percentage of the variance). The results, however, suggest 1 factor and thus a 1-dimensional scale. Next, we performed a Mokken scale analysis on both datasets. The results confirmed the factor analysis results: 1 large item cluster was found, indicating a 1-dimensional scale.

2개의 독립적인 통계 분석 방법이 단차원 데이터 구조를 지원했고 3개의 항목별 존재에 대한 지지를 찾지 못했기 때문에, 우리는 평균 항목 점수와 함께 신뢰성 분석 결과만 제시한다.

As 2 independent statistical analysis methods supported a unidimensional data structure and we found no support of the existence of 3 subscales, we present only the results of the reliability analysis with the mean item score.

신뢰도 분석

Reliability analysis

임상실습생

Clerks

평균 항목 점수는 3.87점이었다.

The mean item score was 3.87.

표 2는 점원을 위한 우리의 추정된 SEM과 RMSE를 제시한다. 표 2의 상부는 1개 부서의 평가를 위한 SEM을 제시한다. SEM은 ‡14명의 응답자가 PHEEM을 완료했을 때 신뢰성 있는 수준 <0.13>에 도달했다.

Table 2 presents our estimated SEMs and RMSEs for clerks. The upper part of Table 2 presents SEMs for the evaluation of 1 department. The SEM reached a reliable level <0.13 when ‡14 respondents completed the PHEEM.

복수의 부서(표 2의 하위 부분)에 대한 평가의 신뢰성은 응답자 및 부서의 수에 따라 달라진다. RMSE <0.13>은 15개 부서와 2명의 응답자로 설정될 수 있다. 10개 부서와 3개 응답자도 믿을 만한 결과를 낸다. 이와는 대조적으로, 1개 부서는 응답자 수가 있을 수 없을 정도로 많지 않으면 신뢰할 수 있는 결과를 달성할 수 없다. 분명히 학과 그룹을 평가할 때는 응답자 수보다 학과 수를 늘리는 것이 효율적이다. 

The reliability of an evaluation of multiple departments (lower part of Table 2) depends on the number of respondents and departments. An RMSE <0.13 could be established with 15 departments and 2 respondents. Ten departments and 3 respondents also give a reliable result. By contrast, 1 department cannot achieve a reliable outcome unless the number of respondents is unfeasibly high. Clearly, when evaluating a group of departments, it is more efficient to increase the number of departments than the number of respondents. 

전공의

Registrars

표 3은 등록자에 대한 우리의 추정된 SEM과 RMSE를 보여준다. ‡11명의 응답자를 통해 1개 부서의 임상 학습 환경에 대한 신뢰할 수 있는 평가를 달성할 수 있다. 여러 부서에 대한 그룹 평가의 신뢰할 수 있는 결과를 얻으려면 응답자 수보다 부서의 수를 늘리는 것이 가장 쉬운 선택이다. 3개의 응답자와 10개의 부서가 신뢰할 수 있는 결과를 제공한다.

Table 3 shows our estimated SEMs and RMSEs for registrars. A reliable evaluation of the clinical learning environment of 1 department could be achieved with ‡11 respondents. For a reliable outcome of group evaluation of multiple departments the easiest option is to increase the number of departments rather than the number of respondents. Three  respondents and 10 departments give a reliable result. 

DISCUSSION

이 연구는 PHEEM으로 알려진 임상 학습 환경을 측정하기 위한 3개 항목의 구성 타당성과 기기의 신뢰성을 조사했다.

This study investigated the construct validity of 3 subscales and the reliability of an instrument to measure the clinical learning environment, known as the PHEEM

이러한 가입자의 통계적 분석은 앞에서 가설한 3차원 구조를 뒷받침하지 못했다.16 대신, 우리의 분석은 1차원 척도를 제안했다. 명백히, 원본 저자들에 의해 수행된 PHEEM의 내용 분석은 경험적으로 복제될 수 없다. 

The statistical analysis of these subscales did not support the 3-dimensional structure hypothesised earlier.16 Instead, our analysis suggested a 1-dimensional scale. Apparently the content analyses of the PHEEM as performed by the original authors cannot be replicated empirically. 

이 연구에 우리는 각각 256개와 339개의 완성된 설문지를 사용했다. 이 수치는 신뢰할 수 있는 탐색 요인 분석과 Mokken 척도 분석을 수행할 수 있을 정도로 높다. 따라서 PHEEM에 의해 측정된 1차원 구조의 발견은 그럴듯해 보인다. 설문지의 수도 PHEEM의 신뢰성을 충분히 추정할 수 있을 정도로 많다. 이와는 대조적으로, 각기 다른 전공과목과 병원은 동등하게 대표되지 않는다. 이번 연구에 포함된 45개 병원 중 소아과, 산부인과 의사만 조사했다. 임상실습생은 주로 1개의 병원과 2개의 전문분야(산부인과, 내과)에서 유래되었다. PHEEM의 광범위한 적용을 위해, 다른 나라의 다른 전문 분야들 간의 추가 연구가 필요하다.

We used 256 and 339 completed questionnaires, respectively, for this study. These numbers are high enough to perform a reliable exploratory factor analysis and a Mokken scale analysis. Thus, our finding of a 1-dimensional construct as measured by the PHEEM seems plausible. The number of questionnaires is also large enough to give a good estimation of the PHEEM’s reliability. By contrast, the different specialties and hospitals are not represented equally. Among the 45 different hospitals included in our study, we investigated only paediatrics, and obstetrics and gynaecology registrars. Clerks were mainly derived from 1 hospital and 2 specialties (obstetrics and gynaecology, and internal medicine). For widespread application of the PHEEM, further research among other specialties in different countries is necessary.

PHEEM의 기초가 되는 구조를 단 1개 발견했기 때문에 임상 학습 환경을 정확히 구성하는 것이 무엇인지 조사하는 것이 흥미로울 것이다. 다시 말해서 PHEEM의 내용 유효성은 무엇인가?

Because we found only 1 construct underlying the PHEEM, it would be of interest to investigate what exactly constitutes the clinical learning environment: in other words, what is the content validity of the PHEEM?

PHEEM은 점원과 등록자 모두의 임상 학습 환경을 측정하기 위한, 신뢰할 수 있는, 단차원 설문지이다.

The PHEEM is a 1-dimensional, reliable questionnaire for measuring the clinical learning environment for both clerks and registrars.

16 Roff S, McAleer S, Skinner A. Development and validation of an instrument to measure the postgraduate clinical learning and teaching educational environment for hospital-based junior doctors in the UK. Med Teach 2005;27 (4):326–31.

---

Med Educ. 2007 Jan;41(1):92-9.

Psychometric properties of an instrument to measure the clinical learning environment.

Boor K1, Scheele F, van der Vleuten CP, Scherpbier AJ, Teunissen PW, Sijtsma K.

Author information

1

Department of Medical Education, Sint Lucas Andreas Hospital, Amsterdam, The Netherlands. k.boor@slaz.nl

Abstract

OBJECTIVES:

The clinical learning environment is an influential factor in work-based learning. Evaluation of this environment gives insight into the educational functioning of clinical departments. The Postgraduate Hospital Educational Environment Measure (PHEEM) is an evaluation tool consisting of a validated questionnaire with 3 subscales. In this paper we further investigate the psychometric properties of the PHEEM. We set out to validate the 3 subscales and test the reliability of the PHEEM for both clerks (clinical medical students) and registrars (specialists in training).

METHODS:

Clerks and registrars from different hospitals and specialties filled out the PHEEM. To investigate the construct validity of the 3 subscales, we used an exploratory factor analysis followed by varimax rotation, and a cluster analysis known as Mokken scale analysis. We estimated the reliability of the questionnaire by means of variance components according to generalisability theory.

RESULTS:

A total of 256 clerks and 339 registrars filled out the questionnaire. The exploratory factor analysis plus varimax rotation suggested a 1-dimensional scale. The Mokken scale analysis confirmed this result. The reliability analysis showed a reliable outcome for 1 department with 14 clerks or 11 registrars. For multiple departments 3 respondents combined with 10 departments provide a reliable outcome for both groups.

DISCUSSION:

The PHEEM is a questionnaire measuring 1 dimension instead of the hypothesised 3 dimensions. The sample size required to achieve a reliable outcome is feasible. The instrument can be used to evaluate both single and multiple departments for both clerks and registrars.

PMID:

 

17209897

 

DOI:

 

10.1111/j.1365-2929.2006.02651.x