13.1 신뢰성분석의 개요


척도의 신뢰성(reliability)

한 대상을 유사한 측정도구로 여러 번 측정하거나 한 가지 측정도구로 반복 측정했을 때 일관성 있는 결과를 산출하는 정도

일관성 있는 결과가 산출될수록 그 척도(혹은 측정치)의 신뢰성은 높다.


척도의 신뢰성 평가하는 방법

내적일관성 (internal consistency) : 가장 많이 사용되는 방법

반복측정 신뢰성(test-retest reliability)

대안항목 신뢰성(alternative form reliability)


내적일관성

한 construct를 다항목(multi-item)으로 측정했을 때 항목들이 일관성(consistency) 혹은 동질성(homogeneity)를 갖는가에 관한 것이다.

내적일관성은 항목들 간의 상관관계로써 평가되는데, 항목들 간의 상관과계가 높을수록 내적일관성이 높다.

일반적으로 가장 많이 쓰이는 내적일관성에 의한 척도의 신뢰성 평가방법은 Cronbach's coefficient alpha (줄여서 Cronbach's α 계수)를 이용하는 것이다.


Cronbach's α 계수

0에서 1 사이의 값을 가지며, 높을수록 바람직하나 반드시 몇 점 이상이어야 한다는 기준은 없다.

흔히 0.8~0.9 이상이면 바람직하고 0.6~0.7이면 수용할 만한 것으로 여겨진다.

그러나 0.6보다 작으면 내적일관성을 결여한 것으로 받아들여진다.

=> 이 경우 Cronbach's α 계수의 크기를 저해하는 항목들을 제거함으로써 계수값을 크게 할 수 있다.

이러한 항목들은 그 항목과 전체 항목들 간의 상관관계(item-to-total correlation)가 낮은 항목들이다.







When the entire scale points to the same direction, you can compute the overall Cronbach Coefficient Alpha. In this example, the standardized Cronbach Coefficient Alpha is .85. It is a good sign if the entire instrument is considered one scale. However, this instrument carries seven subscales. A high Alpha indicates that all response patterns are internally consistent. The next questions are: Are there seven subscales in this instrument? If there are subscales, are they independent from each other conceptually?


어떤 설문조사의 Cronbach's α가 높게 나올 경우, 그 설문조사 문항이 단차원(한 가지 면만 검사하고 있는지)적일 것이다라는 주장이 있을 수 있다. 그래서 subscale에 대한 추가적인 확인이 불필요하다고 주장하는 사람이 있다. 하지만 이것은 흔히 저지르는 오류이다. consistency와 dimensionality는 서로 별개로 확인되어야 한다.


One may argue that when a high Cronbach Alpha indicates a high degree of internal consistency, the test or the survey must be uni-dimensional rather than multi-dimensional. Thus, there is no need to further investigate its subscales. This is a common misconception. Actually consistency and dimensionality must be assessed separately. 


The relationship between inconsistency and uni-dimensionality is illustrated in the figure on the left. Uni-dimensionalityis a subset of consistency. If a test is uni-dimensional, then it will show internal consistency. But if a test is internally consistent, it does not necessarily entail one construct (Gardner, 1995; 1996). 


Internal consistency는 reliability와 연관이 되어있고, dimensionality는 validity와 연관이 있다.

Internal consistency is a form of reliability while dimensionality is associated with construct validity. Reliability is a necessary, but not a sufficient condition, for validity. This logic works like this: If I am a man, I must be a human. But if I am a human, I may not be a man (could be a woman). The logical fallacy that "if A then B; if B then A" is termed as "affirming the consequent" (Kelly, 1998). This fallacy often happens in the misinterpretation of Cronbach Alpha.


(출처 : http://www.creative-wisdom.com/teaching/assessment/subscales.html)



+ Recent posts