질적 연구의 다양한 타당성에 대한 비교 분석 연구(교육평가연구, 2006)

질적 연구의 다양한 타당성에 대한 비교 분석 연구(교육평가연구, 2006)

나 장 함 (한국교육개발원)

Ⅰ. 문제제기

Ⅱ. 양(계량)적연구와 질적연구 비교: 찬·반(방법, 해석, 타당도), 평가목적

질적 연구는 현상에 대한 비제한적 접근을 시도한다. 즉, 자연주의적 패러다임을 추구하는 질적 연구에서 연구자는 주어진 현상, 실제적인 상황에서의 연구대상 및 현상에 대한 어떠한 조작 없이 있는 그대로를 탐구하고자한다. 질적 연구에도 자료수집 및 해석에 관한 표준화된 절차가 다소 있기도 하지만, 질적 연구는 본질적으로 연구를 수행하는 연구자를 도구로 하고 있다. 즉, 질적 연구에서는 자료수집의 방법 및 수집된 자료에 대한 해석 방법 등을 연구자 자 신이 결정하여야 한다. 바로 여기에 질적 연구의 장점과 단점이 존재한다고 할 수 있다. 즉, 질 적 연구는 연구자를 도구로 활용함으로써 

1)심층적인 자료와 자료 해석의 근거를 함께 제공하 는 데 도움을 주지만, (양적 연구자 입장에서 보면) 

2)이는 타당도에 대한 통계적 (과학적 연구 의 객관성) 검증을 수반하지 않으므로 연구자의 편견이 개입될 위협성에 상대적으로 더욱 노출 되어있는 것으로 보일 수 있다.

다시 말해서, 질적 연구는 연구 현장·대상에 대하여 전체론적인 관점으로 접근하여 주어진 상황·맥락·사건에 대한 상세한 자료를 수집하고, 연구자와 연구대상 사이의 상호작용을 통하여 형성된 간주관성(inter-subjectivity)을 토대로 해석·이해를 시도한다. 따라서 질적 연구 결과는 연 구 현장의 맥락과 거기서 일어났던 사건들을 바라보는 논리적 창(window)을 제공한다.

<표 1> 양(계량)적 연구와 질적 연구 비교: 방법, 해석, 타당도&신뢰도

양적 접근과 질적 접근 중 어떤 연구방법을 선택할 것인가의 문제는 어떻게 판단할 수 있을 까? 양자 중 어떤 연구 방법을 선택할 것인가의 문제는 궁극적으로 연구자의 패러다임과 연구 (평가)의 목적에 의하여 결정된다. 질적 연구와 양적 연구의 패러다임이 다르다는 것은 위에서 이미 언급하였으므로, 여기서는 연구(평가)의 목적에 따라 양자 중 어떤 연구 방법이 보다 유용 한 선택이 될 수 있을지를 검토하는 몇 가지 사항들을 제시하고자 한다.

첫째, 이론을 생성할 것인가, 아니면 기존 이론을 테스트 할 것인가에 관한 사항이다. 양적 연구와 질적 연구 모두 현상에 대한 접근을 시도하고 연구를 통하여 지식을 산출한다. 질적 연 구는 현장에 대한 직접적인 경험에 관여하지만, 양적 연구는 현장에서 발생한 사건들에 관하여 수동적으로 관여한다. 질적 연구방법에 내재된 탐험적 특성에 기인하여 질적 연구는 새로운 이 론을 생성할 가능성이 크다. 반면, 양적 연구는 기존 이론들이 설정되어 있으며 그것을 다시 재검하고자 할 때 유용하다.

둘째, 문제를 구성하고 있는 변인들이 이미 밝혀진 것인가, 아니면 문제를 구성하는 변인들 을 발견하는 것인가에 관한 사항이다. 질적 연구는 연구하는 현상·대상에 영향을 주는 (새로운) 요소·변인들을 발견하는데 유용하다. 그러나 선행연구(양적 또는 질적 연구)에서 밝혀진 변인들 의 명확한 관계를 규명하고자 할 때에는 양적인 연구에 유용성이 있다. 예를 들어, 우리나라 교육개혁 실패 원인에 관한 연구를 질적으로 수행한다면, 교육행정가, 교사, 교수, 학부모, 학습 자 등의 다양한 집단에 대한 면담조사를 실시하여 무엇이 문제를 구성하고 있는지를 규명하고 자 할 것이다. 이러한 질적 연구 과정에서 문제를 구성하는 변인들이 밝혀 질 수 있으며, 또한 어떠한 변인들이 주요한 변인들로 작용하고 있는지 파악 할 수 있을 것이다. 그러나 이렇게 밝 혀진 변인들 간의 상대적 관련성·중요성 등을 명확히 밝히기 위해서는 양적 연구가 따라야 할 것이다.

셋째, 연구를 통하여 얼마나 상세한 정보를 얻고자 하는가, 또는 연구 결과의 일반화를 목적 으로 하는가에 관한 사항이다. 질적 연구는 상대적으로 소수의 연구 참여자를 대상으로 하여 개인 및 맥락에 대한 역동적이고 상세한 정보를 제공한다. 질적 연구는 특정 상황에 대한 심층 적인 자료를 제공하여 비슷한 맥락에 있는 대상의 이해에 도움을 줄 수 있으나, 연구결과를 외 부로 일반화시키기에는 많은 제약이 따른다. 반면, 양적 연구결과는 다수의 연구 참여자를 대 상으로 실시한 통계분석에 기반을 두고 있으므로, 그들의 전체적인 경향성 제시할 수 있으며, 그러한 경향성을 일반화시키기에 유리하다.

위에서 다룬 것과 같이 연구의 문제 및 목적에 따라 양적연구와 질적연구 양자 중 어느 것 을 택할 것인가가 결정될 수 있다는 것을 다른 각도로 해석해 보면, 양자 간의 협력적 관계성 설정의 단초가 될 수 있다. 즉, 먼저 양적연구를 통하여 전체적인 경향성을 파악하고, 질적 연 구방법을 통하여 왜 그러한 경향성이 나타나고 있는가를 밝히는 것으로 연구를 설계하거나, 질 적연구를 통하여 새롭게 밝혀진 변인들의 영향력 정도를 측정하기 위하여 양적연구를 수반하 는 등의 상호보완적인 연구 설계가 가능할 것이다.

Ⅲ. 타당성(validity)의 정의 재고

Hammersley(1987)는 원래 기술하 고자 하고 이론화하려고 했던 현상을 정확하게 나타낼 수 있다면 그 설명은 근거가 있으며 진 실 된 것이라고 타당도를 정의하였다. 이러한 정의는 실증주의자들에게는 타당도에 대한 포괄 적이며 정당한 정의로 보일 수 있으나, 그들과는 다른 패러다임 (구성주의적, 비판적 패러다임) 을 갖고 있는 질적 연구자들에게는 받아들이기 어려운 측면이 있다.

연구자의 인신론적 관점, 신념체계, 세계관 등과 밀접한 관련이 있으므로 타당도에 관한 다양한 정의와 대체적 정의가 존재할 수 있음을 알 수 있다. 타당도의 정의에 대한 또 하나의 비판적 논의는 타당도와 신뢰도를 조합하는 것과 관련이 있다.

타당도에 관한 집합적인 정의는 정확성에 관한 것이며, 신뢰도에 관한 집합적인 정의는 반복·복제 가능성에 관한 것으로 요약할 수 있다.

질적 연구에서 실증주의적 패러다임에 근거한 타당도, 신뢰도 정의(양적 연구에서 제시 하 는)를 받아들이는 입장은 크게 세 유형(차용, 중재, 거부)으로 나눌 수 있다. 양적 연구의 타당 도, 신뢰도 개념을 그대로 적용한다는 것은 질적 연구의 패러다임과 본질적으로 상치하고 있으 므로, 질적 연구자들은 질적 연구에 고유한 연구방법, 타당도 확보 방법 등을 구상하여 나름대 로의 엄격성(rigor)을 추구하게 된다.

Ⅳ. 질적 연구의 타당성 검증 기법 선정틀

질적 연구도 그들의 연구가 신뢰할 만하다는 것을 입증할 필요성이 있 다. 이러한 필요성에 따라 일군의 학자들은 질적 연구에서 타당성을 확보할 수 있는 보편적인 절차들을 고안하고자 하였다(Lincoln & Cuba, 1985; Maxwell, 1996; Merriam, 1998). 위와 같은 학 자들의 주장이 주목 받게 됨에 따라 많은 질적 연구자들은 그들이 제시한 참여자 확인(member checking), 삼각검증(triangulation), 풍부한 기술(tick description), 동료검사 (peer reviews), 외부감사 (external audits) 등을 거의 기계적으로 적용하였다. 연구자들은 이러한 기법들 중 일부를 고용한 것을 설명하며 자신들의 연구결과가 신뢰할 만한 것임을 입증 하려는 경향이 있다. 그러나 질 적 연구에서 타당성을 제고할 수 있는 방안으로 제안되고 있는 위와 같은 절차적 기법들에 관 한 논의에서 왜 특정 전략이 선택되었으며, 왜 다른 방법은 배재되었는가에 관한 설명을 충분 히 제공해 주지 못하고 있다. 그렇다면 선택된 기법과 배제된 기법의 정당성은 어떻게 규명할 수 있을까? Creswell과 Miller는 질적 연구 수행에 있어서 타당성 제고 기법들은 

• 1) 연구의 근거 를 확고히 하기위해 연구자가 선택한 렌즈, 

• 2) 연구자의 패러다임 가정

에 의하여 선택이 결정 될 수 있음을 주장 하였다(Creswell & Miller, 2000).

1. 연구자가 활용하는 렌즈

연구자 렌즈는 연구자가 타당도를 설정하기 위하여 사용하는 한 관점에 해당한다. 양적 연 구의 전통적인 렌즈와는 다른 렌즈를 질적 연구에서는 필요로 한다. 양적 연구자는 심리(정신) 측정 도구의 검사결과로부터 생성된 구체적인 추론, 내적·외적 타당도, 의사실험설계 (quasi-experimental design) 등에 가장 많은 관심을 보인다. 반면, 질적 연구자들은 측정치, 검사도 구, 연구 설계 등이 아니라, 연구를 수행하는 연구자, 연구 참여자, 연구 결과를 읽게 될 사람 들의 관점을 활용하여 연구의 렌즈를 설정하게 된다.

연구자는 얼마나 많은 기간 동안 연구현장에 남아 있을 것인가, 유효한 분석 주제와 분류 를 설정하기 위하여 수집된 자료는 충분한 것인가, 자료분석 결과가 얼마나 설득력 있을까 등을 결정한다(Creswell & Miller, 2000, p. 125).

• 위의 예를 보면, 질적 연구의 신용성을 결정하는 주요한 렌즈는 연구자 자신의 고유한 렌즈 임을 알 수 있다. 또한 그러한 연구자 렌즈를 고용한 질적 연구자는 자신의 분석결과에서 도출 된 주제, 분류, 설명, 해석들이 이해될 만한 것인가를 원자료를 지속적으로 참조하며 검토하여 야 한다(Patton, 1990). 이와 같이 연구자, 주제, 그리고 이해 가능하게 만드는 과정 등이 상호작 용하는 것을 반성적 설명으로서의 타당도라고 한다(Altheid & Johnson, 1998).

• 질적 연구에서는 연구의 타당도를 높이기 위하여 연구자뿐만 아니라 연구 참여자 또한 연구 의 렌즈로 활용할 수 있다. 질적 연구의 패러다임에서 실제는 사회적으로 생성된 것이라고 가정하고 또한 그 실제는 연구 참여자가 그럴 것이라고 지각하고 있는 것이라고 가정한다. 연구 참여자 렌즈는 연구 참여자들이 인식하고 있는 실제가 최종 기술·설명에 얼마나 정확하게 반영 되어 있는지를 검사하는 것의 중요성을 시사한다. 이러한 연구 참여자 렌즈를 고용한 연구자는 연구결과의 해석이 연구 참여자들을 제대로 잘 나타내고 있는가의 여부를 평가하기 위하여 적 극적으로 연구 참여자들과 관여한다.

• 질적 연구자가 활용할 수 있는 세 번째의 렌즈는 외부 평가자의 렌즈이다. 연구와 직접적인 관련이 없는 외부 평가자의 검증은 연구자가 제시하는 기술·설명에 대한 신뢰성을 더해 주어 질적 연구의 타당도를 제고하는 데 기여할 수 있다.

한편, 일군의 학자들은 외부 독자(평가자), 연구 참여자, 연구 결과를 활용할 집단 등이 분석 결과를 감정하도록 하는 것으로 검증작업을 정의하는 경향에 대하여는 보다 신중할 것을 당부 하고 있다(Hammersley, 1987; Morse et al, 2002). 이들은 그러한 검증 정의의 과도한 적용이 오히 려 질적 연구의 타당도를 위협할 수 있다고 주장한다. 한 예로, 연구 참여자의 렌즈를 고용한 연구자가 참여자 확인 등으로 기술·설명을 검토할 수 있지만, 연구 결과는 개별 참여자들로부 터 종합되고, (개별) 맥락으로부터 떨어지게 되며, 추상화되므로 개별 연구 참여자들이 연구 결 과를 자신들의 경험으로 인지할 수 없게 되는 문제에 직면하게 되는 경향이 있다. 또한 참여자 들의 특정 관심영역에 반응하고자 하는 조사자는 개별 참여자의 관심영역을 다루기 위해 자신 의 연구 결과를 보다 설명적인 수준으로 만들도록 강요받게 될 것이다. 그러므로 참여자 확인 의 과도한 적용은 조사자의 연구의 타당도를 떨어뜨리며, 분석의 수준을 부적절하게 할 수 있 다(Morse et al, 2002).

2. 패러다임 가정

연구자가 활용하는 렌즈(연구자 자신, 연구 참여자, 외부 검토자)뿐만 아니라 연구자의 패러 다임 가정 또는 세계관 등도 질적 연구의 타당도 검증 기법과 절차를 선정하는데 작용 한다. 질적 연구의 진화에 따라 질적 연구에는 후기 실증주의적 패러다임, 구성주의적 패러다임, 비 판적 패러다임 등의 패러다임 가정 등이 존재 하고 있다(Guba & Lincoln, 1994). 이들 패러다임 가정의 특징을 간략하게 살펴보면 다음과 같다.

첫째, 후기 실증주의적 패러다임은 질적 연구가 엄격한 연구방법과 체계적인 탐구 형태로 구성되어야 한다고 보았다. 이러한 철학적 패러다임은 질적 연구의 비교적 초창기라 할 수 있 는 1970년대 근대주의적 시기에 나타났으며, 현재까지도 계속되고 있다. 후기 실증주의적 패러 다임이 방법론상에서 실증주의적 요소를 차용하고 있었음을 지적해 보면 다음과 같다.

...덴진(Denzin, 1978)의 삼각검증법은 실증주의적 요소를 대부분 간직하고 있다...(중략) 즉, 연구자의 바깥 세계에 객관적인 문화나 의미가 존재하고 있으며 그것을 연구자의 일정한 방법적 원리를 동원하여 발견할 수 있다고 생각한다(이혁규 2004. p. 178).

후기 실증주의적 패러다임을 따르는 학자들은 양적 연구의 타당성과 거의 동치(同値)적인 타 당성을 추구하며 구체적인 연구 계획안에 의거하여 타당성 설정을 위한 절차들을 고용한다. 즉, 후기 실증주의적 패러다임은 양적 연구의 질을 관리하는 전통적인 준거라고 할 수 있는 내 적타당도, 외적타당도, 신뢰도, 객관도 등과 부합하는 개념으로 신뢰성(credibility), 전이가능성 (transferbility), 의존성(dependability), 확증성(confirmability)을 활용하였다. 그러나 질적 연구를 양적 연구자들에게 보다 쉽게 받아들여지게 하기 위한 후기 실증주의자들의 이러한 시도(양적 연구 의 준거들과 평행한 준거들을 고용한)는 그들의 논리적 모순(낙관성), 질적 연구에 내재된 고유 한 신실성 확보 가능성에 대한 경시 등에 대한 비판이 따르게 된다. 그리고 오늘날에도 질적 연구의 절차적 엄격성을 강조하고 연구결과의 적용 및 일반화 범위의 확대를 추구 하는 학자 들은(Maxwell, 1996) 후기 실증주의적 패러다임에 의거한 타당성을 가정하고 있다.

둘째, 구성주의적, 해석적 패러다임은 1970년대와 1980년대에 출현 하였으며, 이는 오늘날의 질적 연구 타당성에 대한 개념에 많이 반영되고 있다. 구성주의적 패러다임은 실제에 관하여 복수적·해석적이고, 정해진 답이 없으며, 맥락을 강조하는 관점을 갖고 있다. 이러한 입장에 반 영된 질적 연구의 타당성 개념은 양적 연구의 타당성과는 다른 타당성 개념을 제시한다. 이들 은 양적 연구의 실증주의적 패러다임과 질적 연구의 자연주의적 패러다임은 상이하므로 질적 연구 수행을 위해서는 새로운 타당도 개념과 연구설계가 필요하다고 지적하였다. 1980년대에 Guba와 Lincoln은 양적 연구의 신뢰도와 타당도에 해당하는 대등한 개념으로 신실성을 제안하 였으며, 신실성의 하위 범주로는 신뢰성, 전이가능성, 의존성, 확증성 을 제시하였다. 또한 1980 년대 후반에 그들은 구성주의적 패러다임에 고유하며 방법론적 특질을 넘어 연구의 질을 가늠 하기 위하여 사용할 수 있는 진정성 준거를 개발하였다(Guba & Lincoln, 1981; Guba & Lincoln, 1989). Guba(1981)는 그가 개발한 준거들이 초보적인 것으로 한 정통이기 보다는 가이드라인으 로 사용할 것을 제안하였으나, 이러한 준거들은 오늘날 질적 연구의 질을 가늠하는 기준 개발 의 기본으로 활용되고 있다(Morse et al, 2002).

셋째, 비판적 패러다임은 1980년대에 “대표성의 위기”가 대두되던 시기에 부상하였다(Denzin & Lincoln, 1994, p. 9). 비판적 패러다임에 영향을 준 비판이론은 사회체제를 구성하는 경제, 성, 인종, 계급, 이데올로기, 담론, 교육, 종교, 사회 제도, 문화 등에 관한 권력분석을 통하여 이들 이 어떻게 상호작용하는가를 규명하고자 한다(이혁규, 2004). 비판적 패러다임은 연구자들이 이야기체(narrative) 기술·설명에 내재된 가정(그것이 어떻게 형성되고, 읽히고, 해석되는 가)들을 밝혀내어 현대 국가(주의)에 도전할 수 있는 비판을 가할 것을 주장하였다. 그들에 따르면, 이야 기체(에 대한 우리의 관점을 지배하는 것은, 탐구에 있어 역사적으로 주어진 상황성(historical situatedness)- 연구된 상황의 사회적, 철학적, 문화적, 경제적, 인종적, 성적 전례에 기초하여 주어 진 상황성-이다. 이러한 관점은 기존의 타당도 개념에 대하여 의구심 갖게 되며 기존의 타당도 개념의 가정에 대하여 심문하고 도전하는 태도를 취하게 된다. 따라서 연구자는 보다 반성적인 관점을 갖고 이야기체에 숨겨진 의미들을 드러내는데 충실할 것을 요구하였다. Richardson(1994) 는 비판적 패러다임이 추구하는 타당도에 관하여 크리스탈을 비유로 들어 설명하였다.

크리스탈은 외부(외관)를 반영하면서도 동시에 내부를 반영(반성)하는 프리즘이다...(중략) 우리가 보는 것은 우리의 안식각(安息角, angle of repose)에 달려 있다(p. 522).

따라서 비판적 패러다임에서 연구자는 자기 반성, 연구자들과의 공조 등을 통하여 타당도를 확보하고자 한다. 이러한 기법들은 연구 참여자가 종종 직면하게 되는 불평등성(연구자와 연구 참여자간의)을 최소화 시키는데 도움을 준다.

• 후기실증주의 패러다임을 따르는 연구자는 연구자의 편견을 최소화하기 위한 전략으로 추적 조사, 외부 감사, 빈도 계산 등과 같이 양적연구자들에게 친숙한 신뢰도·객관도 확보 기법들을 사용할 가능성이 크다고 할 수 있을 것이 다. 

• 반면, 구성주의적 패러다임이나 비판적 패러다임은 연구자를 의미 생성의 공조자, 자료 해 석에 있어 없어서는 안 될 존재로 간주하며, 연구자의 편견을 극복하기 위하여 부정적 사례 샘 플링, 장기간의 현장조사, 연구자 반성 등을 보다 적극적으로 사용할 것이라고 전망할 수 있을 것이다.

<표 3> 연구자 렌즈 및 패러다임 유형과 9가지 타당도 확보 기법

Ⅴ. 질적 연구의 타당성의 유형과 기법의 조화

타당도에 관한 논의는 양적 연구방법의 전통에 부속되어 있다. 따라서 질적 연구자들은 양 적 연구자들이 주장하는 타당도의 개념을 일부 수용하거나 거부하는 태도들 보였다. 양적 연구 에 뿌리를 두고 있는 타당도 개념을 극단적으로 부정하는 질적 연구자 집단은 질적 연구의 수 행에는 양적 연구자들이 제시한 신뢰도 및 타당도 개념을 적용하는 것이 무의미 하다고 주장 하였다(Smith, 1984). Smith는 본질적으로 양적 연구와 질적 연구의 기본적인 인식론적, 존재론적 가정이 서로 양립할 수 없으므로 그들(양적 연구자)이 제안하는 신뢰도와 타당도 정의를 질적 연구에서 따를 수 없음을 역설하였다. 그러나 오늘날 대부분의 질적 연구자들은 위와 같은 극 단적인 입장 보다는 보다 관대한 관점을 갖고 있는 듯하다. 여러 질적 연구들 간의 질적 차별 성을 논의 할 때, 타당도는 자주 검토되는 요소이다. 또한 질적 연구자들이 연구의 타당도에 관하여 논을 할 때, 그들은 주로 그럴듯하고, 믿을 만하며, 신실성이 확보되어 변론이 가능한 연구들을 언급한다. 따라서 질적 연구의 타당도에 관한 논의들과 타당도 확보 전략들을 살펴보 는 것은 질적 연구 수행에 있어서의 질적 제고를 위해 매우 유용하다 할 수 있다.

질적 연구의 타당성을 저해하는 한 가지 내재적인 위험요소로써 질적 연구자들의 부단한 주 의를 요하는 것은 연구자의 편견이라 할 수 있다. 흔히 질적 연구는 연구자가 보고 싶어 하는 것을 보고, 듣고 싶어 하는 것만을 정리하여 연구를 수행하게 되는 문제가 생기지 않겠냐는 지 적을 받게 된다. 질적 연구가 양적 연구와는 달리 비구조화 되어 있으므로 이와 같은 연구자 편견이라는 문제는 질적 연구 수행에 있어 자주 언급되는 사항이다. 그러나 이는 질적 연구의 탐험적인 특성에 연유하는 것이다. 그럼에도 불구하고 궁극적으로 질적 연구에서의 연구자 편 견은 연구자의 선별적인 관찰과 기록 및 연구자 개인의 관점이 연구수행과 자료 분석 과정에 영향을 받도록 내버려 둔 것에서 기인한다(이러한 관점에서 연구자 편견은 질적 연구에서만 나 타날 수 있는 문제는 아니라고 사료된다).

질적 연구에서는 연구자 영향(편견)을 극복하기 위한 방안을 제시하고 있는데 그 대표적인 전략이 반성과 부정적 사례 샘플링이다. 

• 반성은 연구자가 적극적으로 자신의 잠재적 편견과 성 향에 관하여 비판적으로 사고하는 것을 의미한다. 즉, 연구자는 반성을 통하여 자신의 내면을 깊게 들여다보게 되며 연구자가 가질 수 있는 편견을 깨닫게 되어 자신의 편견을 감시하고 통 제하기를 시도하게 된다. 질적 연구자 중에는 연구 프로포절에 연구자 편견 부분을 포함하는 경우가 있는데, 여기에는 연구자 자신의 개인적 배경과 이것이 연구에 미치는 영향, 그리고 이 를 어떻게 대처할 것인가를 함께 제시한다. 이와 같이 연구자 자신의 배경, 관점, 약점 등을 소 개하며 이를 해결하기 위하여 연구자 스스로가 설정한 전략들에 관하여 알려준다는 것은, 연구 자 자신의 렌즈가 어떤 색깔을 띠고 있으며 어떤 상태에 있는가를 표명하고 또한 그 렌즈에 묻은 때를 제거하기 위하여 연구자가 어떠한 노력을 하였는가를 제시하여 독자들의 판단에 대 한 준거를 더하여 준다. 

• 부정적 사례 샘플링도 연구자의 영향(편견)을 극복하기 위한 대표적인 전략이다. 이는 연구자의 기대 또는 설명이 일치하지 않은 부정적인 사례를 의도적으로 면밀히 검토하는 것을 의미한다. 이러한 전략을 활용하게 되면 연구자는 중요하지만 자신의 기대, 설 명에 일치하지 않는 정보를 쉽게 무시하지 못하게 된다. 따라서 불일치에 대한 지속적인 분석 이 따르게 되어 보다 신뢰성 있고 근거 있는 연구결과를 도출하는데 기여하게 된다.

1.  기술적  타당도

기술적 타당도는 주로 자료수집 과정의 정밀성과 연관되어 있는 것으로 연구자가 보고하는 상황·사건·행위 등에 관한 설명·기술의 정확성을 의미한다. 즉, 기술적 타당도는 연구자가 연구 현장에서 벌어진 상황·사건·행위 등을 정확하게 보고 들으며 보고하고 있는가를 검증하는 것이 다. 관찰법과 질문법 등으로 얻어진 현장 자료를 우선 정확하게 기술하는 것이 질적 연구의 타 당성 확보에 기본이라 할 수 있다. 앞에서 질적 연구의 타당성을 저해하는 한 가지 내재적인 위험요소로 연구자의 편견을 언급 하였다. 그런데 반드시 연구자의 편견이 개입된 경우가 아니 더라도 질적 연구의 기술적 타당도가 위협받을 수 있는 경우가 있다. 아래의 인용부분은 Katzer(1978)의 고전적 실험결과이며 이는 갑작스럽게 사건이 전개되어 관찰의 타당도가 위협받 을 수 있음을 지적하는 예라고 볼 수 있다.

유사한 맥락에서 Patton(1992)은 질적 연구자로서의 훈련을 충분히 받지 못했다거나, 사건이 갑자기 진행되어 그러한 상황을 포착할 준비가 되어있지 못해 부정확한 기술·설명이 발생할 수 있음을 지적하였다. 현장에서 질적 연구를 수행할 때 Katzer(1978)의 실험과 같은 갑작스런 상황 이 발생하는 경우는 극히 드물다 하겠지만, 질적 연구자는 철저한 훈련(현장 관찰기록 작성 훈 련, 상세한 것과 사소한 것을 분리하는 능력, 관찰을 유효하게 만들 수 있는 방법의 구비 등)과 준비로써 의미 있는 정확한 정보를 포착하는 데 근접할 수 있을 것이다. Katzer(1978)의 실험의 예와 같은 경우에는 적용이 용이하지 않지만, 질적 연구를 수행하는 기술적 타당도를 높일 수 있는 일반적이고도 쉬운 방법은 조사자 삼각검증을 들 수 있다. 조사자 삼각검증은 복수의 연 구자가 연구 참여자의 행위, 연구 현장을 관찰하고 기록하는 것을 의미한다. 즉, 복수의 조사자 를 고용하게 되어 조사자들의 관찰과 기록에 대하여 교차검증이 실시 할 수 있다면, 연구결과 는 보다 믿을만하며 외부 검토자의 지적에도 보다 견고할 수 있음을 기대할 수 있다. 그러나 만약 두 사람의 조사자가 동일한 사건·상황에 대하여 각기 상이한 기술·설명을 제공하고 있다 면, 조사자 삼각검증의 활용은 용이하지 않게 보인다.

예를 들어, 한 연구자는 자료수집 과정에서 특정인의 존재를 언급하였으나, 다른 한 연구자 는 그 특정인의 존재를 포착하지 못했다면, 주요한 오류를 범하고 있는 것으로 보인다. Maxwell(1992)은 두 연구자가 동일한 사건·상황에 대하여 각기 상이한 자료 기술·설명을 제공하 고 있다면, 이는 기술적 타당도에 있어서 의문을 제기한다고 할 수 있음을 지적하였다. 그리고 그는 이러한 불일치의 문제는 1) 기술·설명을 변형하여(연구자들이 자신들의 기술적 정확성에 대하여 합의하게 됨), 그리고 2) 연구자들의 관점과 관찰의 목적이 달라서 그러한 불일치가 나 타난 것이며, 연구자들에게 주어진 관점들과 목적들에서 양자 모두 기술적으로 타당함을 규명 함으로써 해결 가능하다고 주장하였다. 그러나 실제 질적 연구 수행에 있어서 Maxwell의 주장 은 좀 더 신중하게 접근할 필요성이 있다. 두 연구자의 자료수집 과정 및 서술에 있어서 나타 난 위와 같은 불일치는 모든 연구에 내재하는 선별적이며 주관적인 자료수집 과정을 증명하는 것임에 더욱 주목하여야 한다(이러한 불일치의 심각성에도 불구하고). 만약 연구자가 진실 되지 못하거나 그와 같은 불일치의 문제를 성실히 처리하지 않으려 한다면 타당도는 단지 고결함 (integrity)만을 추구하는 것에 놓이게 된다. 따라서 동일한 사건에 대한 연구자 기술·설명의 불 일치가 발생할 경우에 연구자는 이를 재검토하며 해결할 방안을 충실하게 강구하도록 하여야 할 것이다. 그렇지 않고 두 연구자가 쉽게 타협하여 타당도를 확보하려 한다면 그들은 단지 타 협된 타당도를 추구하게 될 것이다. 반면, 자료수집의 과정이 신실하게 수행하였음에도 불구하 고 동일한 사건에 대한 두 연구자의 상이한 설명·기술이 나타나게 되었다면, 이러한 불일치는 단지 두 연구자의 복수적인 관점과 경험을 나타내는 것으로 해석할 수 있다(자료수집 상황·과 정에 존재하는 두 연구자의 실제적인 경험에 대한 진실 되고 근거 있는 기술·설명임). 이러한 관점은 질적인 연구에서 보다 깊이 탐구할 필요성이 있는 흥미로운 질문을 제공하는 것으로 받아들여 질 수 있다(물론, 이러한 관점이 양적인 연구에서는 용인 될 수 없겠지만. 인간의 생 명, 개성, 경험에 초점을 두는 질적 연구방법은 기술·설명 내에 대등하고도 상반된 진실의 모순 과 존재의 필연성을 인정하게 된다).

2. 해석적 타당도

기술적 타당도가 얼마나 정확하게 관찰하고자 하는 대상을 기술·서술하고 있느냐에 해당하 는 개념이라면, 해석적 타당도는 연구 참여자(대상)의 내면에 존재하는 의미를 얼마나 정확하게 묘사하고 있느냐에 해당하는 개념이라 할 수 있다. 구체적으로 해석적 타당도는 연구 참여자의 내면적 세계(관점, 사고, 감정, 의도, 경험 등)를 얼마나 정확하게 연구자가 이해하며 연구 보고 서에 묘사하고 있느냐를 의미한다. Patton(1990)은 연구 참여자의 인식, 내면 세계를 드러내는 데 질적접근(특히, 면담법)이 유용함을 다음과 같이 역설하였다.

면담조사의 목적은 연구 참여자의 내면에 무엇을 주입하는 것이 아니라, 그들의 내면에 무엇이 존재하고 있는가를 밝히는 것이다...(중략) 우리는 사람들이 어떻게 세상을 조직하는 지 그리고 세상에서 벌어지는 일 속에 귀착된 그들의 의미를 보는 것만으로는 알 수 없다 (Patton, 1990, p.278).

질적 연구의 패러다임 내에서 해석은 자료 수집에서 분리할 수 없는 요소이다. 이러한 맥락 에서 기술과 해석의 분리는 잘못된 구분일 뿐 아니라 사실상 불가능 하다(Maxwell, 1992). 질적 연구에서 해석은 본질적으로 연구자가 상황을 기술하는 문체 속에 표현되어 있으며, 연구자와 연구 참여자 간의 상호작용 속에서 생성되는 것이다(이와는 달리 양적 연구자는 질적 연구자와 같은 해석과 자료수집의 연결부터 분리되어 있지만, 양적 연구자도 그들의 자료 분류화와 선정 에서 해석과 자료 수집의 연결은 역시 피할 수 없을 것이다).

기술적 타당도를 높일 수 있는 한 전략으로는 참여자 확인을 들 수 있다(IV장의 연구자 렌 즈에서 언급한 것과 같이, 참여자 확인 결과는 연구자의 인식을 민감하게 하는 부수적인 자료 수준을 활용). Lincoln과 Guba(1985)는 참여자 확인을 신뢰성을 확립하는 가장 중요한 기법으로 설명하였다. 참여자 확인은 수집된 자료와 이에 대한 기술·설명을 연구 참여자로 하여금 검토하는 것으로, 중점 그룹(focus group)을 선정하여 실행할 수 있으며, 대안적으로는 원 자료만을 연구 참여자에게 나누어 주고 이에 대한 주석·설명을 달 것을 요청하는 방식으로 실행할 수도 있다. 이러한 검토를 종합적으로 다시 분석하여 연구자의 기술·설명을 재구성 한다면, 연구 참 여자의 내면적 세계를 보다 충실하게 반영할 수 있을 것이다. 또한 질적 연구가 연구 참여자의 내면적 세계를 충실하게 반영한다는 관점에서, 연구자는 연구 참여자의 살아 있는 그대로의 언 어(verbatim)를 담아내도록 하여야 할 것이다(우리나라의 질적 연구에서는 이를 연구 참여자의 언어가 그대로 담아 내지 못하는 경우를 종종 보게 됨). 아래는 시범학교 위주의 교육개혁 관 행을 비판하는 한 교사의 언어를 있는 그대로 나타낸 예이다.

3. 이론적 타당도

이론적 타당도는 어떤 현상에 대한 이론으로서의 기술·설명에 해당한다(Maxwell, 992). 모든 이론에는 두 가지의 공통적인 요소가 있다. 하나는 이론이 활용하고 있는 개념 이며, 다른 하 나는 그러한 개념들 사이에 존재하는 관계성이다. 이론적 타당도도 이론의 이러한 양상에 부합 하여 1)현상에 적용된 개념들에 대한 타당성, 그리고 2)개념들 간에 가정된 관계성에 대한 타당 성이라는 두 요소가 있다. 전자는 연구자가 모델을 세우려 할 때 이용하는 벽돌에 해당된다 할 수 있고, 후자는 벽돌을 쌓아 놓아 가는 방법의 타당성이라 할 수 있다. 이론의 개발은 단지 사실 제공을 넘어서 현상에 대한 설명을 요구한다. Maxwell(1992)은 다음과 같은 예를 들어 이 론적 타당도에서의 두 요소를 설명하였다.

...연구자는 한 학생이 지우개를 던지는 행동을 저항의 행위라고 분류하고, 이를 다시 교 사의 억압적인 행동, 학교의 사회적 구조, 그리고 미국 사회에서의 계급 관계성 등과 연결 할 수 있다. 던지는 행위를 저항으로 동일시하는 것은 이론(적) 구조물(theoretical construct)의 적용을 구성한다...(중략) 던지는 행위를 다른 연구 참여자, 학교, 커뮤니티로 연결하는 것은 이러한 구조물 사이의 이론적 관계성의 가정을 구성한다(p. 291).

위의 예에서는 ‘지우개를 던지는 학생의 행위’를 설명하기 위하여 ‘저항’이라고 명명한 이론 적 구조물이 활용되었다. 이론은 타 이론적 구조물들과 관련시켜서 개발될 수 있으며, 저항이 라는 이론적 구조물도 유사한 다른 이론적 구조물과 연관 지워 볼 수 있다. Maxwell(1992)은 이 론적 타당도는 질적 연구 수행 과정 중에 연구자가 적용하고 개발하는 이론적 구조물과 관여 한다고 주장하였다. 질적 연구에서 이론적 타당도를 향상 시킬 수 있는 기법으로는 장기간의 현장조사를 들 수 있다. 연구자가 현장 조사에 충분한 시간을 할애함으로써 연구자는 연구 참 여자들과 연구 현장에서 밝혀지는 유형, 관계들이 안정적으로 작용하는 것을 검증해 보며 확신 을 갖게 되어, 그러한 관계성에 대한 설명 및 이론 생성의 기반을 구축할 수 있게 된다.

Ⅵ. 결 론

양적 연구와 질적 연구는 서로 다른 패러다임 가정을 추구하고 있으므로 양적 연구에서 제 시하는 타당도 개념 및 정의를 그대로 수용한다는 것은 질적 탐구의 본질과 상치된다 하겠다. 그렇지만 이를 전면적으로 부정하며 질적 연구에서의 타당도는 양적 연구의 타당도와는 다르 다는 주장에만 주목하게 된다면, 질적 연구의 질적 연구물은 신뢰할 수 있는 과학적 연구로 (양적 연구자뿐만 아니라, 질적 연구자들로부터도) 인정받기 어려워지며, 질적 연구 질에 대한 심각한 문제를 야기할 수 있다. 따라서 질적 연구자들은 질적 탐구에 고유한 연구방법, 타당도 확보 방법 등에 기초하여 나름대로의 엄격성(rigor)을 추구하여야 할 것이다.

질적 연구의 다양한 타당도 확보·검증 기법을 적절히 적용한다는 것은 단편적이고도 구체적 인 기법·절차의 적용을 넘어서 연구에 고용된 렌즈와 연구자의 패러다임 가정을 종합적으로 고 려한 거시적인 시각에서 강구하여야 한다. 즉, 주로 사용되는 9가지 기법들 (삼각검증, 불일치 적 증거, 연구자 반성, 참여자 확인, 장기간의 현장조사, 공조, 추적조사, 풍부한 기술·서술, 동 료복명)의 선정은 연구자의 렌즈 유형과 패러다임 유형들과의 관계성 속에서 결정되는 것이다. 따라서 연구의 편의성에 의존한 몇몇 타당도 확보·검증 기법을 활용한 것으로 연구의 엄격성과 신실성을 보장 받을 수 없다.

또한 질적 연구에서 제시하는 다양한 타당도 확보·검증 기법들에 대하여 사후 검사적인이며 일회성에 그치는 접근이 아니라, 과정적이며 지속적인 태도를 갖출 필요가 있다. 연구가 종료 된 시점에서 질적 연구의 표준화된 타당도 확보·검증 기법을 활용하는 것으로는, 실질 적인 타 당도 획득이 불가능하다. 이는 질적 연구에서 과정으로부터 분리된(연구 현장의 맥락 에서 분 리된) 타당도 검증기법의 적용으로는 연구의 엄격성과 신실성을 보장 받을 수 없기 때문이다.

또한 사후검사적인 접근으로 질적 연구의 타당도를 확보할 수 없다는 것은, 사전적인 조정·중 재로 질적 연구의 타당성을 위협하는 요소를 미리 제거할 수 없다는 것을 의미한다.

다시 말해서, 질적 연구의 타당도 확보·검증의 궁극적인 관건은 외부 평가자가 아니라 연구 의 전 수행과정을 관장하는 연구자 자신에게 달려있다는 것을 다시 한 번 강조 한다. 따라서 연구자는 질적 탐구 자체에 내재된 엄격성과 신실성 확보 방안들을 인지하고 그 적용을 강구 하여야 할 것이다.

결론적으로, 양적 연구와 질적 연구의 타당도 개념 상이성에 대한 논의를 차치하더라도, 각 연구 접근에서 추구하는 타당도를 성취할 수 있는 방법에는 명확한 차이가 있음을 알 수 있다. 이와 같은 타당도 성취 방법의 차이는 각기 다른 목적과 다른 진리를 추구하는 양적 연구와 질적 연구의 차이에서 기인한 것으로 이해할 수 있다. Foucault(1972)의 진리의 복수성(multiplicity of truth) 정의를 토대로 볼 때, 각각의 진리들은 저마다의 타당도 방안을 필연적으로 요구할 수 밖에 없다고 할 수 있다. 즉, 추구하는 진리가 어떤 것이냐에 따라 그 성취방법의 타당도는 재 구성되어야 할 것이다. 그러므로 타당도는 진리 추구 과정을 가장 잘 반영할 수 있는 연구방법 의 활용에 내재되어 있다고 할 수 있다. 이러한 관점에서 타당도에 대한 원론적 정의(타당도는 연구가 본래 평가하려고 했던 바를 제대로 평가하고 있는가를 탐구하는 것이다)를 다시 살펴볼 때, 질적 연구 타당도 탐구는 그 연구가 원래 평가하려고 했던 바를 제대로 평가하고 있는가에 대한 진단뿐만 아니라, 그 연구가 궁극적으로 추구하려던 진리에 제대로 근접할 수 있는가에 대한 조명이 수반되어야 할 것이다.

---

질적 연구의 다양한 타당성에 대한 비교 분석 연구

A comparative analysis of validity issues in qualitative research

나장함(Na Jangham) 저

간행물명 : 교육평가연구

권/호 : 교육평가연구 제19권 제1호 / 2006 / 265~283 (19pages)

발행기관 : 한국교육평가학회

간행물유형 : 학술저널

주제분류 : 교육학

초록

한국어초록

  타당도에 관한 논의는 실증주의적 패러다임에 근거한 양(계량)적 연구에 뿌리를 두고 있다. 양적 연구와는 다른 자연주의적 패러다임에 근거한 질적 연구에서는 양적 연구에서 제시하는 타당도 개념과는 다른 나름대로의 타당도를 개념을 설정하기 위한 노력이 지속적으로 있어왔다. 1990년대 이후부터 우리나라에서도 질적 연구에 대한 관심이 교육학계에서 꾸준히 고조되고 있으나, 우리의 학문적 맥락에서는 질적 연구의 타당도에 관한 논의가 활성화 되어 오지 않아, 오늘날 양산되는 질적 연구물의 질적 수준에 대한 문제가 제기되고 있다. 이러한 문제의식에서 본 연구는 1)양적 연구와 질적 연구의 특성 비교, 2) 타당도 정의 재고, 3) 질적 연구 타당도 확보 선정틀로서의 연주자 렌즈와 연구자 패러다임, 4) 질적 연구 타당성의 유형과 타당도 확보 기법의 조화 등을 논의하였다. 즉, 본 논문은 질적 연구수행에서 혼란을 초래하였으며, 간과되었던 영역을 종합적으로 논의하여, 질적 연구 타당성에 대한 통찰을 제공하고 있다.

영어 초록

  Because the various definitions of validity is rooted in positivist quantitative approach, qualitative research should redefine them for their use in naturalistic approach. Although the total number of research using qualitative approach has rising since the 1990s in Korea, the quality of their comes call into question. One of the major reason responsible for this problem is the lack of discussions on the quality criteria of qualitative research. In this sense, this study explores and analyzes the nature of validity in both quantitative and qualitative research in order to provide a insight into insuring rigor in qualitative research. I begin this study by comparing some of the major differences in quantitative and qualitative research. Next, I review and analyze a range of various definitions for validity given by leading authors. Than, I discuss the lens of researcher and researcher"s paradigm assumption as a determinant of choosing validity procedures. Finally, I offer 3 type of validity in qualitative research and its application with verification procedures. This study concludes with recommendations for enhancing the quality of qualitative research.