신뢰도 분석(Reliability Analysis)

신뢰도 : 한 척도가 측정하고자 하는 것을 일관되게 반영하고 있는가

신뢰도에 대해서 생각해볼 수 있는 한 가지 방법은, 한 사람이 서로 다른 두 시점에 시험을 보았을 때 동일한 점수를 받아야 한다는 것이다. 

다른 방법으로 split half reliability가 있는데, 임의로 반으로 나눠서 두 개의 절반을 비교하면 그 둘이 같거나 거의 같아야 한다는 것이다. 그러나 이 방법의 문제점은 어떻게 반을 나누느냐에 따라서 결과가 달라질 수 있다는 것이다. 이 문제를 해결하기 위해서 Cronbach는 loosely equivalent to splitting data in two in every possible way and computing the correlation coefficient for each split을 사용했다. 이 값의 평균은 Cronbach's alpha와 같은데, 흔히 신뢰도의 척도로 사용되는 것이다.

두 가지 버전이 있는데 한 가지는 normal이고 다른 하나는 standardized version이다. normal은 한 척도에 속하는 아이템의 총합이 그 척도에 대한 하나의 대표값을 이루는 것이다. 이 경우 standardized alpha는 적절하지 않다. Standardized alpha는 합해지기 전에 한 척도에 속하는 아이템들이 standardized 될 때 사용한다.

Cronbach's alpha의 해석.

흔히 0.7~0.8이 수용가능한 Cronbach's alpha라는 말을 듣곤 할 것이다. 이것보다 값이 크게 낮다면 신뢰할 수 없는 척도라고 할 수 있다. Kline은 비록 일반적으로 0.8이 수용할 수 있는 수준이긴 하나, 지능검사 같은 인지적 검사에서는 0.7을 쓸 수도 있다고 말했다. 또한 psychological construct에 대해서는 심지어 0.7보다 작을 수도 있다고 주장했다.

또한 Cortina는 alpha의 값이 그 척도에 몇 개의 아이템이 있느냐에 따라 달라지기 때문에 이러한 일반적인 가이드라인은 유의해서 사용해야 한다고 지적했다.

alpha는 또한 '역으로 채점되는 아이템'에 의해서도 영향을 받는다.

신뢰도 분석에서 심지어 이런 'reverse scored item'은 Cronbach's alpha를 음수로 만들 수도 있다.

따라서 그러한 문항이 있다면 그 문항이 계산되는 방식을 바꿔서 다시 계산해야 한다.

Factor Analysis 편에서 orthogonal rotation을 사용하여 4개의 subscale을 만든 바 있다.

Scale if item deleted를 체크하면, 그 아이템이 지워졌을 경우 alpha가 어떻게 변하는지 보여준다. 만약 설문이 reliable하다면 하나의 아이템이 지워졌다고 해서 전체의 reliability에 크게 영향을 주면 안된다.

Corrected Item-Total Correlation은 아이템과 총점 사이의 correlation울 보여준다. 신뢰성이 있는 척도라면 모든 아이템은 총합 점수와 correlate해야한다. 만약 0.3보다 작은 것이 있다면 그 특정 아이템이 잘 correlate하지 않는 다는 것을 말하고, 그 아이템은 제거되어야 한다.

마지막으로, 가장 중요한 것은 아래 나와있는 alpha는 Cronbach's alpha로서 overall reliability of the scale을 뜻한다. 

만약 어떤 아이템을 제거해야 할 필요가 생기면 factor analysis를 다시 수행하는 것이 좋다.

Cronbach's alpha를 보고하는 법은 간단하다.

~은 good internal consistency를 가지는 것으로 나타났으며, alpha=.82이다.

(부가적) 모든 아이템은 포함시킬 가치가 있으며(worthy of retention), 10번 item을 삭제시 alpha가 가장 많이 증가하였지만, 0.005수주이었다. 모든 아이템은 총점과 일정정도의 상관관계를 가졌다. (r 최저값 = .40)

(출처 : http://www.statisticshell.com/docs/reliability.pdf)