질적 연구 방법론과 그 철학적 토대

신충식(성균관대)

1. 질적 연구방법과 제일인칭 시각의 현상학

이러한 참여적 관찰보다 심층 인터뷰 기법을 사회학자는 물론 여타 사회영역에서 널리 활용하고 있다. 심층 인터뷰는 반쯤 구조화되거나 전혀 구조화되지 않은 방식으로 문 제들을 토론하는 것을 쉽게 하기위해서 인터뷰 가이드와 끝없이 진행되는 질문 및 정보를 얻기 위한 끊임없는 탐구에 기초하고 있다. 이러한 심층 인터뷰는 안내를 받고 있는 대화라 할 수 있을 것이다. 또한 이러한 긴 인터뷰는 일상적으로 작은 샘플들에 한해서 행해질 수 밖에 없다. 마지막으로 연구자들은 집단 인터뷰를 활용한다. 개인들 인터뷰보다 집단 인터 뷰가 갖는 이점은 특수한 주제에 대한 토론에서 참여자들이 상호작용을 할 수 있으며 어떤 관점에서 다른 인터뷰를 받는 자들과 동의하거나 반대하며 새로운 이슈와 관심을 제기할 수 있다는 점이다. 의사-자연적인 환경에서 모든 참여자들 간의 상호 작용은 일상적인 집단 대 화와 그렇게 다르지 않다.

따라서 질적 연구의 목적은 근본적으로 사람들의 주관적인 경험들과 그들이 그러한 경험들에서 얻게 되는 의미들을 탐구하는 것이다. 예컨대 심층 인터뷰는 사건의 당사자들이 자유롭게 이야기하고 사건에 대한 그들의 해석들을 제공할 수 있으며 그들이 구성하고 있는 사고과정과 이야기들을 재구성할 수 있도록 해준다. 결국 질적인 방법은 의미과정의 맥락을 포착하는 데 가장 유용한 방식이라 할 수 있을 것이다.

I. 질적인 연구방법의 철학적 토대

1. 서론

2. 객관학문의 발생

3. 초월학문의 발생

4. ‘초월론적인(transcendental)’ 것의 의미

II. 질적 연구방법의 특징과 연구 설계

1. 양적인 연구와 질적인 연구 방법의 차이

방법에 있어 옳고 그름의 문제는 있을 수 없다. 문제는 자신이 선택하고자 하는 방 법이 연구 주제와 연구 모델에 얼마큼 부합하는지에 있다.

이러한 양적 연구와 질적 연구의 진리주장의 차이를 다음과 같이 도표화할 수 있을 것이다.

2. 질적 연구의 특징

Dryman, A. (1988) Quality and Quantity in Social Research, London; Macmillan. 

1. 연구 참여자의 눈을 통하여 보는 것, 또는 연구 참여자의 관점을 수용하는 것 

2. 일상세계; 세속적 일들을 기술하는 것 

3. 사회적 상황에서 행위와 의미들을 이해하는 것 

4. 개방적이고 비구조화된 연구 설계들이 사용되는 것 

5. 연구 초기 단계에 개념들과 이론들을 결정하지 않는 것

Hammersley, M. (1990). Classroom Ethnography: Empirical and methodological Essays, Open University Press.

1. 실험적 조건 대신에 일상적인 상황에서 연구 

2. 다양한 자료수집 방법들 

3. 비구조화된 자료수집 방법 

4. 사회생활에서 나타나는 미시적 특징에 대한 관심 

5. 사회적 행위의 의미와 기능에 대한 관심 

6. 양화가 부수적인 역할을 함

Hammersley, (1992), Some

1. 수 대신에 언어의 사용 

2. 자연적인 상황에서의 자료수집 

3. 행동 대신에 의미에 대한 관심 

4. 연구 방법으로서 자연과학 모델의 거부 

5. 가설 검증이 아니라 가설 생성적 방법

Bogdan and Biklen (1992), Qualitative Research for Education, Bacon.

1. 자연적 상황 

2. 연구 도구로서 연구자 

3. 수가 아닌 언어나 사진 형식을 통한 서술 

4. 결과나 산출보다 과정에 대한 관심 5. 귀납적 분석 방법 

6. 연구의 목적으로서 의미

Eisner (1991), The Enlightened Eye, Macmillan.

1. 현장 중심 

2. 연구 도구로서 연구자의 자아 

3. 해석의 강조 (상황에 대한 참여자의 설명) 

4. 표현적 언어의 사용 

5. 특별한 세부사항에 대한 관심 

6. 글쓰기와 자료제시를 통한 설득

김영천 (2006)『질적연구방법론 I』문음사.

1. 내부자적 관점의 포착

연구 참여자인 내부자의 시각을 기술하고 이해하는 데 있다. 이는 특정한 생활세계의 참여 자가 가지고 있는 그들의 시각을 기술하고 이해하는 것이다. 또한 문화적 상대주의 관점에 서 그들이 삶을 어떻게 구조화시키고 의미를 부여하며 상호작용하였는지를 기술하고 이해하 고자 한다.

2. 특정 사례에 대한 연구 관심

일반화를 목적으로 대규모의 소집을 대상으로 하는 양적 연구와는 달리 연구자가 관심을 두 고 있는 특정한 사례나 사건 그리고 현상에 대하여 심층적으로 연구하고자 한다.

3. 목적 표집

이것은 연구자가 관심을 둔 특별한 사례를 의도적으로 선택하여 연구대상으로 삼은 표집방 법을 말한다.

4. 현장 작업

현장 작업은 연구자가 직접 현장에 들어가 참여자들과의 계속적인 상호작용을 하면서 자료 를 수집하고 연구하는 것을 말한다.

5. 장기간의 관찰

진실한 자료를 얻기 위하여 연구자는 연구 현장 속에서 연구자들과 생활하거나 대화하면서 장기간 그들을 관찰할 필요가 있다.

6. 유연한 연구 설계

이는 연구 설계가 연구 이전에 결정되는 것이 아니라 연구가 진행되면서 점차적으로 구체화 되는 것을 말한다.

7. 자료 수집과 자료 분석의 순환성

이는 자료 수집 단계와 자료 분석 단계가 일직선상으로 전후 관계가 있는 것이 아니라 수집 과 분석이 사이클을 이루면서 진행된다는 것을 의미한다. 따라서 자료 수집 단계와 자료 분 석의 단계는 선후의 관계로서 확실하게 분리되어 진행되는 것이 아니라 두 개의 연구 과정 이 상호 보완적인 관계를 유지하면서 진행되는 것을 말한다.

8. 연구자와 연구 대상 간의 친밀도

이는 연구자가 연구 참여자와 심리적 공감대인 라포르를 형성하는 것을 의미한다. 외부자의 시각인 연구자의 관점을 확인하려는 양적 연구의 경우 연구 참여자와의 이러한 라포르의 형 성이 굳이 필요가 없지만 내부자의 시각과 그들의 생각을 이해해야 하는 질적 연구의 경우 연구 참여자와의 심리적 공감대의 형성은 무엇보다 연구 작업의 성공에 필요한 작업 요소가 된다.

9. 점진적 주관성

이는 연구가 진행되면서 초기에 설정한 연구 문제나 연구 내용에 비하여 어떠한 새로운 변 화가 생겼으며 얼마나 현장에 대한 이해가 깊어졌는가를 연구 도구인 연구자가 개인적으로 반성하는 작업을 뜻한다.

10. 기술적 형태의 자료 표현

기술적 형태의 자료 표현은 연구의 결과가 기술적인 형식의 글쓰기 양식을 통해서 표현된다 는 것을 의미한다. 따라서 질적 연구를 질적으로 만들게 하는 특징 중의 하나인 이 준거는 연구자가 수집한 연구 자료나 연구 결과를 숫자가 아닌 기술적인 형식의 표현 체계로서 나 타내는 것을 의미한다.

11. 투명성

투명성은 질적 연구의 결과가 연구 현장의 세계를 얼마나 투명하게 그리고 이해할 수 있을 정도로 자세하게 기술되어 있느냐를 나타내는 언어이다.

12. 연구 도구로서 연구자

연구 도구로서 연구자는 연구자가 연구의 전체 과정에서 연구 도구가 되어 연구에 참여하는 것을 말한다. 더욱 구체적으로 자료를 수집하는 작업을 연구자가 하고 수집된 자료를 분석하는 과정 역시 연구자가 직접 하는 것을 의미한다. 연구 도구로서 연구자의 역할은 첫째, 연구자가 직접 현장에 들어가 필요한 자료들을 수집하고 둘째, 자료 분석의 과정에서 연구 자의 직접적인 개입이 이루어진다는 점에서 양적 연구의 자료 수집과 다르다.

13. 반성적 연구 활동

이는 연구자가 질적 연구를 하면서 끼친 여러 가지 인간적인 제약들과 특징들이 연구의 전 체 과정에 어떻게 영향을 끼치는지를 해체적으로 분석하고 기술하고 노출시키는 작업을 말 한다.

3. 질적 연구자의 기본적인 절차

1. 첫째, 친숙한 영역에서 시작하라. 

2. 둘째, 우리가 작업하고 있는 완결된 이론적인 정향을 발견하라. 

3. 셋째, 일단 정해진 분야에 대해서 느낌을 갖게 되면 가능한 빨리 연구 주제를 좁혀가 라. 

4. 넷째, 기존의 다른 사람이 연구했던 것을 발견하고 그것을 따르라. 다시 말해서 연구를 위 한 새로운 바퀴를 발명하려 하지 마라. 

5. 다섯째, 계속 써라. 그 페이퍼가 얼마나 짧고 거친지에 대해서는 걱정하지 마라. 

6. 여섯째, 즉시 데이터 분석을 시작하라. 우리가 초기 연구 단계에 어떤 데이터를 얻지 못했 다면 다른 사람의 데이터를 가지고 분석하려 하라. 

7. 일곱째, 자신의 데이터에 대해서 비판적으로 생각하라. 그 데이터에서 어떤 패턴을 확인하 기 시작할 때도 서둘러서 결론을 끌어내려 하지 마라. 

8. 여덟째, 지도교수에게 자신의 아이디어를 시험하라. 지도교수는 우리의 아이디어를 실험하 는 것을 도울 수 있고, 자신감을 부여할 것이다. 

9. 아홉째, 자기 자신의 분야 안과 밖에서 다른 자료들과 기회들을 활용하라. 가급적 자신의 연구 분야와 상관있는 학술 모임에 참석할 기회를 찾고, 가능하다면 작업 중인 페이 퍼들을 소개할 필요가 있다. 

10. 열째, 꾸준한 학습곡선을 기대하지 마라. 어떤 연구도 위기 없이 진행될 수는 없다. 

11. 열한째, 연구 일기를 작성하라. 

12. 열두째, 다른 여타 활동들을 완성하기 위한 작업시간을 책정하라. 

13. 열셋째, 연구가 진전이 없을 때 자기 자신을 책망하지 말고 휴식을 위한 시간을 가져라. 

14. 열넷째, 자신의 연구 분야에 있어서의 관계들을 데이터로 다루어라. 즉 연구 주제와의 상호 작용이 자신의 데이터를 어떻게 형성해 가는지 숙고할 필요가 있다. 

15. 열다섯째, 완벽한 연구 디자인 모델이 없음을 숙지할 필요가 있다. 이 말은 우연하게 얻게 될 어떤 데이터를 가지고 작업하는 것을 두려워할 필요가 없다는 것이다.

4. 질적인 연구 프로포잘 작성방식

1. 제목

제목은 독자의 관심을 끌 수 있으면서도 연구 주요 사안에 관한 정보를 적절히 제공할 수 있어야 할 것이다. 통상 주제목과 부제목의 이단으로 된 제목이 효율적이다. 주제목은 논문 주제를 포괄적으로 제시하면서 독자의 시선을 끌 수 있어야 할 것이고, 반면에 부제목은 보다 기술적이면서 한정적이어야 할 것이다.

2. 초록

초록은 첫째, 연구문제(research problem)를 드러내야 하고, 둘째, 그 문제가 왜 중요하고 연구할 가치가 있는지를 보여주어야 하고, 셋째, 연구 데이터와 방법, 넷째, 연구를 통한 주 요 발견(findings), 마지막으로, 다른 연구에 비추어 볼 때 그 연구가 갖는 함의를 밝힐 필 요가 있다. 초록 형식의 글쓰기는 가능한 한 적은 단어로 가능한 한 많을 것을 말하는 것이 다. 또한 초록은 연구주제를 가급적 생생하게 보여주고 필요한 정보도 제공할 수 있어야 한 다.

3. 연구 배경을 알리는 짤막한 서론

첫째, 다른 어떤 것보다 왜 이 주제를 선택하였는가? (예컨대, 연구 부재 또는 기존 연구의 부적절성 등) 둘째, 이 연구 주제가 관심을 끄는 이유는 무엇인가> 셋째, 원용하고자 하는 연구 방법이나 기법은 무엇인가? 넷째, 연구를 주도하게 될 질문이나 문제는 무엇인가?

4. 연구 목적 또는 연구 질문

5. 연구에 적절한 문헌에 대한 조명 (궁극적으로는 연구 분야에서 고전적인 문헌의 맥락에 서 연구 프로젝트의 중요성을 보여 줄 수 있어야 함)

6. 연구 방법론 소개 (선택된 사례나 기법에 대한 소개, 이론적인 정향과 연구 기법의 적절 성의 측면에서 데이터 수집과 데이터 분석의 절차에 대한 소개를 담아야 한다)

7. 정교한 참고문헌 소개: 각 문헌에 대한 비판적인 논평 환영

III. 스토리텔링과 전기적 생애사

IV. 근거이론

근거이론은 콜롬비아 대학 출신으로 양적 연구방법의 훈련을 받은 글래이져 교수 와17) 시카고 대학의 상징적 상호작용론(symbolic interaction) 전통의 영향 하에18) 질적 연구를 추구해온 슈트라우스 교수(Barney Glaser & Anselm Strauss의 저서 The discovery of Grounded Theory, 1967를 참조하라)가 1960년대 초반 병원에서 임종을 앞둔 환자들 을 돌보는 의료진들의 관찰을 토대로 한 현장 연구의 일부로서 최초로 개발하였다. 서로 상 이한 전통에서 훈련받은 이 두 연구자는 공히 모든 전문가들뿐만 아니라 일반 대중에게도 유용할 수 있는 연구 기법을 추구하였다. 그러면서도 그들은 분석대상이 되는 현상에 대해 최대한 있는 그대로를 엄밀하게 기술하며 귀납적인 방식으로 현상의 구조를 도출해내고자 일정한 지침과 절차를 제공하고자 하였다.

이러한 근거이론은 접근방법에 있어 두 가지로 나뉜다. 

• 첫째, 앞에서 언급한 글래이져의 방식으로 이는 해석주의적 시각을 가지고 연구자가 선행이론을 정교화하거나 수정하 고자 하는 의도 없이 축적된 자료로부터 이론을 생성하고자 하는 정통적인 근거이론 방식이 다. 다시 말해서, 연구자가 연구 이전에 어떤 이론도 정립하지 않은 가운데에 여러 단계와 절차를 거쳐 자료를 수집하고 분석한 다음 여러 정보군 간의 내적 관련성에 대해 비교분석 하여 새로운 이론을 도출해내는 방식이라 할 수 있다. 

• 반면에 슈트라우스와 간호사였던 코 빈(Corbin)이 새롭게 제시하고 있는 방식에서 연구자는 현상을 연구하는 데 근거가 되는 이 론으로부터 그의 연구를 시작하며 수집된 자료를 중심으로 이론을 형성하거나 근거가 되는 이론을 수정, 보완, 재해석하여 이론을 도출하는 방식이다. 다시 말해서 이 방법은 선행 연 구를 바탕으로 하는 이론을 근거로 사회현상을 비교분석하며 기존의 이론을 보완하거나 수 정하려는 방식이다.

따라서 근거이론은 실제 현장에서 어떤 행동의 변화를 설명하고 범주와 범주, 개념 과 개념 간의 관계를 형성하는 것을 그 목적으로 하며 해석주의자들과 같이 실재하고 있는 사회적, 문화적 현상의 바탕이 되고 있는 전체적인 과정을 기술하고자 한다. 이러한 점에서 관찰 가능한 것만 선택적으로 파악하려고 하는 실증주의적 분석 방식과 확연히 구분된다. 요컨대 근거이론은 현장에서 수집한 자료에 근거하여 개발된 이론으로서 수집하는 자료가 포화상태에 이를 때 가능한 범주를 상세히 기술하고자 한다. 자료가 포화상태에 이른다 함 은 연구자가 범주의 속성을 파악하는데 더 이상 새로운 자료를 발견할 수 없는 단계까지 도 달하였음을 의미한다.

제1단계. 자료수집: 녹취(transcribing)와 메모 작업(memoing)

근거이론에서 자료 수집은 통상 20-30명과의 심층 면접, 포커스 집단 면접, 직접 관찰 및 기록 등을 통해서 이루어진다. 일반적으로 자료 수집은 주로 현장참여 관찰과 심층 인터뷰 방식을 통해서 이루어지며 항상 인터뷰의 지속성과 관찰 자료들의 연계성을 고려할 필요가 있다. 근거이론에서 표본의 크기는 생성된 자료에 의한 자료 분석에 따라 결정된다.

아무래도 표본크기의 적정선은 

1) 범주에 대한 자료들의 다양성과 자료집단 간의 차이를 극 대화하는 지점; 

2) 이론의 통일성과 밀도; 그리고 무엇보다 

3) 연구자의 이론적 민감도 (theoretical sensitivity)에 따라서 결정되어야 할 것이다.

한편 이론적 민감성을 제고하고 자료 수집의 연속성을 유지하기 위해서 연구의 전 과정을 통해서 꾸준히 메모를 해 나갈(memo-ing) 필요가 있다. 이것은 연구자가 연구과정 에서 주제에 관련된 아이디어를 적는 과정이자 이론 형성에 도움이 되는 분석의 기록이기도 하다. 질적 연구의 유일한 연구수단인 연구자가 메모하는 동안의 사고과정은 귀납적임과 동 시에 연역적이다. 코딩하고 메모할 때 범주화 및 개념화하는 과정은 귀납적이다. 그러나 그 개념이 이론 구성에 어떻게 적절할 수 있는지를 메모하는 과정은 연역적이라 할 수 있을 것 이다.

제2단계: 자료의 분석으로서 코딩작업

1) 코딩의 정의

근거이론은 수집된 자료의 분석 과정에서 체계적인 이론 설계를 도출해 내기위해서 코딩(coding) 과정을 강조한다. 코딩은 근거이론은 물론 질적 분석의 가장 대표적인 방법으 로 이른바 ‘주제별 약호화’라 할 수 있다. 수집되고 녹취된 자료들을 계속 읽으면서 그 속에 내재된 주제를 찾아내는 과정으로서 코딩은 텍스트가 담고 있는 메시지와 의도 그리고 의미 가 무엇인가를 최초로 개념화하는 작업이다. 사실 질적 자료의 많은 분석들은 텍스트에 담 겨져 있는 중요한 주제나 패턴 등을 찾는 것을 목적으로 한다. 한마디로 코딩은 구분한 자 료에 상징, 기술적인 단어, 범주 등을 가지고 명칭을 부여하는(labeling) 과정이다.

2) 코딩의 역할

1. 텍스트를 특정 주제나 이름으로 범주화시켜 하나의 분석 단위를 생성함으로써 무수히 많 은 자료들 중에서 분석의 대상이 될 자료와 그렇지 않을 자료를 구분한다.

2. 자료의 내용이나 의미를 개념화시킴으로써 텍스트를 특정한 탐구의 대상으로 승화시켜 준다. 무의미해 보이는 자료들이 살아있는 새로운 가치 있는 자료들로 재인식된다. 즉 무관 해 보이는 자료들을 공통주제나 범주로 연계시켜 많은 원자료들을 의미 있는 방식으로 체계 화, 배열 및 조직화시켜준다.

3. 코딩은 연구자에게 연구의 결론을 도출할 수 있는 기초적인 정보를 제공해준다. 현장 작 업을 통하여 수집된 자료들을 이 과정을 통하여 분류하고 특징화하고 개념화하여 연구 질문 이나 목적에 부합한 연구 결과를 도출해낸다.

3) 코딩 방법

1. 개방코딩(open coding)

개방 코딩이란 논리적이고 연역적인 추론대신 수집된 자료들을 연구자의 감(sense) 또는 직관(categorial intuition)에 따라 최초로 귀납적 방식을 통해서 범주화하고 코드를 만 들어 내는 과정을 의미한다. 즉 피면담자의 진술을 ‘행 분석(line-by-line)' 하여 자료 속에 함축된 의미에 맞는 주제나 용어를 연구자가 직접 찾아내거나 만들어내는 방법이다. 이러한 코딩의 절차로 첫째, 세그멘팅(segmenting), 둘째, 초기 코드의 발견, 셋째, 심층 코드의 생성을 생각해 볼 수 있다.

1) 세그멘팅

세그멘팅은 어떤 자료들(문장, 단락, 대화, 관찰 자료 등)에서 그 자료의 의미나 요지가 잘 들어가 있는 문장들을 추후 코딩을 위하여 괄호를 치거나 줄을 긋는 작업을 의미한다.

2) 초기 코딩

초기 코딩은 세그멘팅이 끝난 자료들 중에서 첫 단계로서 코딩을 하는 작업을 말한다. 세그 멘팅을 통하여 집적한 많은 자료들 중에서 중요하게 의미를 도출하고 메시지를 찾을 필요가 있는 자료들을 가지고 연구자가 그 세그멘팅 된 자료들을 종합적으로 평가하면서 일련의 반 복되는 내용, 의미, 주제에 최초로 이름을 부여하는 작업이다.

3) 심층 코드의 생성

심층 코드를 생성하기 위해서 템플릿 분석 방식이 원용된다. 이 분석은 텍스트 자료의 핵심 적인 주제들을 목록(템플릿)으로 제작하는 접근 방법이다. 이는 내용 분석과 근거 이론을 바탕으로 이루어진다. 즉 코드를 일목요연하게 정렬함으로써 해석을 보다 용이하게 하고 주 제 간의 내용을 비교분석할 수 있다.

2. 축 코딩(axial coding)

축 코딩은 개방 코딩한 다음 범주들을 서로 연결함으로써 자료들을 새로운 방식으 로 다시 조합하는 과정이다. 연구자는 하나의 개방 코딩 범주를 선택하고 이것을 탐구하려 는 과정의 중심에 위치시킨 다음 이것과 다른 범주들을 연계시키고자 한다. 

이 과정은 

• 핵심 범주에 영향을 미치는 인과관계 조건, 

• 전략에 영향을 미치는 구체적인 조건인 맥락, 

• 전략에 또 다른 영향을 미치는 일반적인 배경으로서 중재적인 조건, 

• 그 다음 핵심 범주로부터 발생 하는 구체적인 행위 또는 상호작용인 전략 그리고 

• 전략을 채택한 성과물인 결과로 진행된 다.

3. 선택적 코딩(selective coding)

선택적 코딩은 이론을 통합하고 정교화 하는 과정이다. 통합 과정에서는 문제의 연 구가 무엇에 관한 것인지를 보여주는 선택된 중심사상을 근간으로 축 코딩 모형에서의 범주 들을 조직화하게 된다. 그러한 조직화를 통해서 연구자는 연구에서 탐구하려는 과정에 대해 이론적 설명을 제공한다. 따라서 이 과정에서 이론구도를 개략할 필요가 있으며 이론의 정 교화를 꾀할 필요가 있다. 즉, 내적 일관성을 위한 구도의 재검토와 논리의 간극을 메우기 위해 개발이 미흡한 범주들의 보완과 과도한 범주의 간소화 및 구도의 타당성 검증으로 이 루어진다. 여기서 개발이 미흡한 범주들은 추가적인 이론적 표본추출을 통해서 보완되어야 할 것이다.

V. 질적 연구의 타당성과 신뢰성 제고 방법

질적인 연구의 질은 어떻게 결정되는가? 질적 연구의 신뢰도와 타당도는 어떻게 가능한가? 질적 연구자의 초미의 관심사는 타당성과 신뢰도는 제고할 수 있는 연구 설계 방법 들을 결합하는데 있다. 복잡한 통계처리를 가하지 않는 이러한 질적 연구를 위해서 우리는 연구주제를 이론적으로 정교화 할 필요가 있으며 이와 동시에 방법론적 엄밀성(rigor)을 보 다 강화할 필요가 있다. 이러한 이유에서 D. 실버만은 질적인 연구에서 질적인 이슈는 이른 바 방법론적 자각과 동일시 할 필요가 있다고 주장한다(David Silverman & Am Marvasti, Doing Qualitative Research: A Comprehensive Guide, 2008, 257). 여기서 방법론적 자 각(awareness)은 특수한 결론으로 이끌었던 절차와 증거를 최대한 드러내려는 투신 (committment)과 결부된다. 물론 그 결론은 또 다시 새로운 증거에 비추어 언제나 수정될 가능성에 열려있다.

현상학적 사고에 기초한 질적 연구는 집적된 연구 자료들을 통해서 어떤 객관적이 고 절대적인 진리를 드러내는 것보다 다양한 시각들을 끌어내는 사고를 형성하는 데 주안점 을 두고 있다. 일반적으로 타당성은 과학적 연구결과의 정확성을 의미한다. 즉 연구자가 자 신의 연구에서 측정하고자 하는 것을 정확히 측정하고 있는지 그리고 연구에서 일반적인 구 성개념들이나 전제들이 다른 집단에서도 얼마나 적용가능한지의 문제와 관련이 있다. 하지 만 질적 연구에 있어서 타당성은 보통 진리에 대한 또 다른 이름이다. 즉 타당성은 “I mean truth: interpreted as the extent to which an account accurately represent the social phenomena to which it refers” (258). 여기서 해석은 필수불가결한 문제이다. 심 지어는 ‘탄탄한’ 양적 수치를 원용할 때조차도 해석의 문제가 개입된다. 그 이유는 모든 방 식의 데이터 수집은 분석 행위가 하나의 해석인한 질적으로 분석될 수밖에 없으며 따라서 필연적으로 “선택적 번역(a selective rendering)”(259)의 문제가 되기 때문이다.

하지만 질적 연구자들이 극복해야 할 문제는 일화주의(anecdotalism)의 유혹이다. 다시 말해서 문화적 필드 연구의 강점 즉 사회적 환경에 대해서 두텁게 기술할 수 있는 능 력은 그 자체로 약점이 될 수 있다는 것이다. 수집된 데이터가 양적이 되었던 질적이 되었 던 무엇으로 추론과정을 보장할 수 있는가? 나아가서 질적 연구에서 얻어진 발견이 데이터 에 대한 비판적 검토는 거쳤으며 단지 몇몇 잘 선정된 샘플에만 의존하고 있는 것은 아닌 가?

질적인 연구의 타당성에 늘 오류의 소지(fallible)가 있다. 여기서는 삼각측정 (triangulation) 방법을 통해서 그 방법 이외의 질적 연구 분석을 비판적으로 사유할 수 있 는 네 가지의 상호 관련된 방식들을 논의할 것이다. 물론 여기에 소개된 방법들은 보다 타 당한 발견들을 그 목표로 하고 있다.

• 1. 적절한 삼각측정 방법의 활용 

• 2. 논박가능성의 원리 

• 3. 지속적인 비교방법 

• 4. 포괄적인 데이터 처리 

• 5. 일탈사례 분석 

• 6. 현상학적 자명함(self-evidence)

1. 적절한 삼각측정 방법의 활용

질적연구의 타당성을 제고하기 위해서 연구과정에 대한 헌신과 연구시간의 양도 중 요하겠지만, 보다 근본적으로 우리는 

• 다양한 시간과 공간의 자원들을 끌어들이는 데이터의 삼각측정법(data triangulation), 

• 다수의 조사자들을 연구의 과정에 개입하도록 하는 조사자 의 삼각측정법(investigator triangulation), 그리고 

• 다중적 연구방법들을 동원하는 방법적 삼각측정법(methodological triangulation)

을 적극적으로 원용할 필요가 있다. 하지만 무엇 보다 중요한 것은 질적 연구 결과의 타당성과 신뢰도를 높이기 위해서 어떤 현상에 대한 연 구자의 편견, 즉 주관성을 가능한 한 피할 수 있는 방안이 연구되어야 한다.

2. 논박가능성의 원리

질적 연구자들은 객관성을 확보하기 위해서 그들의 데이터에 대한 초기과정들을 논 박할 필요가 있다. 커크와 밀러에 따르면, “객관성을 위한 탐구 저변에 깔려있는 가정들은 단순하다. 세계 밖에 경험적 실재의 세계가 있다. 우리가 그 세계를 지각하고 이해하는 방 식은 대체로 우리에게 달려있다. 하지만 그 세계는 그것을 모두가 동일하게 이해하는 것을 용납하지 않는다” (Kirk, J. & Miller, M. Reliability and Validity in qualitative Research 1986, 11).

오늘날의 영점가설개념은 포퍼식 사고의 좋은 예라 할 수 있다. 그의 기본 입장은 우리들이 논리실증주의의 열망과는 반대로 어떤 진술을 ‘증명하거나’ ‘검증할’ 수는 없지만 최소한 그것을 ‘오류화’ 할 수 있다는 것이다. 어떤 진술이 그것을 오류화하려는 반복된 시 도들을 견디면 견딜수록 그 진술은 더욱더 진리인 것으로 받아들여진다. 어떤 관계의 존재 를 더 이상 논박할 수 없는 경우에야 비로소 “객관적인” 지식에 대해서 말할 수 있게 된다 는 것이다.

3. 지속적인 비교방법

이 방법은 질적인 연구자가 늘 잠정적인 가설을 시험하는 또 다른 사례들을 발견하고자 시도하는 것이다. 베커와 기어(Becker & Geer)는 의과대학생들 수련과정에서 한 그룹의 학생들과 또 다른 그룹의 학생들을 비교함으로써 각자의 커리어단계의 영향에 대한 떠오르는 가설들을 테스트하였다. 예컨대 이 테스트 결과 초창기 의과대학생들은 이상주의적인 경향을 띠고 있다고 주장할 수 있다. 이러한 지속적인 비교방법은 단순사례에서 발생하는 모든 데이터 파편들을 단순히 검토하고 비교하는 것과 상관있다. 이런 방법이 가지고 있는 두 개의 실질적인 어려움으로써 

• 첫째, 질적 연구자들은 분석 가능한 형식 안에서 모든 데이터들을 끌어 모으는 자원들이 부족할 수 있다는 점이다. 예컨대 모든 데이터 집합들을 글로 옮긴다는 것은 대단히 많은 시간을 요하고 연구자들을 데이터 분석으로부터 분산시킨다는 점이다. 
• 둘째, 우리가 잠정적인 가설이나 초기에 어떤 범주집합들을 낳을 수 없는 경우 데이터를 비교하는 것이 불가능할 것이라는 점이다. 이러한 문제들을 극복하기 위해서 우리는 상대적으로 적은 양의 데이터를 분석하여 어떤 의미를 도출해내고 그런 다음 일단의 범주들을 생성해 내고 그 다음 데이터 군을 꾸준히 확장시켜서 드러나게 되는 가설들을 테스트할 수 있게 된다. 

하지만 지속적인 비교방법은 연구자가 수집한 상향 데이터 부분 사이에서 반복해야하므로 훨씬 더 큰 데이터 집합을 포함하며 그 데이터들의 모든 부분을 분석하고 검사할 필요가 있게 된다.

4. 포괄적인 데이터 처리

텐 헤브는 지적하기를 회화분석에서 발견된 통찰들은 주관적으로 선택이 되어서 아마도 편견이 들어있는 사례들의 샘플에 입각할 수 있을 것이라는 점을 지적하였다. 이러한 문제는 일화주의의 비난을 면할 수 없는 것으로서 우리는 이를 포괄적 데이터처리라 부른다. 이런 포괄성이 발생하는 이유는 질적인 연구에서 모든 데이터 사례들이 분석 안에서 서로 얽혀있기 때문이다. 그런 포괄성은 또 많은 양적인 방법에서 정상적으로 필요로 하는 범주들을 뛰어넘고 있다. 예컨대 서베이 리서치에서 사람들은 의미 있는 확고한 상호 관련성을 확보함으로써 만족하게 되는 것과 대조적으로 질적인 연구에 있어서는 반복되는 검토가 가능한 작은 집단의 데이터를 가지고 작업하게 되므로 연구자가 일반화하는 과정은 그 연구자가 수집했던 적절한 데이터들 모두에게 적용될 수 있을 때까지 만족하지 말아야 한다. 그 결과가 바로 통계학적 상관관계와 같이 모든 부분이 타당할 수 있는 일반화이다. 미한(Mehan)의 표현에 의하면 “결과는 특정한 현상을 포괄적으로 기술하는 통합되고 정확한 모델이지 이전과 이후 조건들에 대한 단순히 상호연관성이 있는 명제들이 아니다”(

5. 일탈사례 분석

앞에서 살펴본 포괄적인 데이터처리 기법은 적극적으로 일탈사례나 비정상성을 찾고자하는 것을 의미한다. 바로 일탈이나 비정상성을 기술함에 있어서 무엇이 중요한가의 문제가 따를 것이다. 이러한 일탈사례분석에 있어서 필요한 분석기법은 적은 양의 데이터로부터 시작해서 잠정적인 분석구도(scheme)를 잡아내는 것이다. 그 다음 그 구도와 다른 데이터들을 비교하고 점차적으로 그 구도 내에서 어떤 수정을 필요로 하게 될 것이다. 이러한 잠정적인 분석구도는 연구자가 분석에서 모든 데이터들을 끌어 모으는 반복적인 일단의 규칙들을 얻어낼 때까지 부정적이거나 상이한 사례들을 끊임없이 대면해야 한다. 이러한 방법은 양적인 서베이 연구에서 일탈사례분석의 의미와 다음 두 가지 측면에 있어서 매우 차이가 있다.

양적 연구자는 

• 첫째, 기존의 변수들이 매우 높은 통계적 상관성을 낳지 못할 때, 
• 둘째, 흡족한 상관성이 발견되었지만 우리가 이것들을 확신하지 못하고 의심하게 되는 상황에서 

일탈적인 사례들을 주목하게 된다. 

이와 대조적으로 질적인 연구자들은 그들의 데이터 안에서 나타나는 모든 변수들을 설명함으로써 만족하지 말아야한다. 다시 말하지만 질적인 연구에서 모든 데이터들은 그 데이터 조각이 충분히 설명될 수 있을 때까지 이용되어야 한다. 결국 일탈사례분석은 포괄적인 데이터처리를 지향하며 모든 일탈사례에서 응답자들은 그들의 입장에 대한 정당성을 제공하도록 해야 할 것이다. 요컨대 일탈사례에 있어서 응답자들은 도덕적 적절성을 드러내는 것으로부터 출발하는 것이 아니라 대안적인 수단을 통해서 그들의 도덕적 적절성을 성공리에 드러낸다. 이러한 과정에서 그들은 정상적인 행위로부터 일탈한 사건에 대한 정향을 보여주었고, 이는 반드시 설명을 요하며 오히려 일반적인 사례들을 강화시키는 장점이 있다.

6. 현상학적 자명성(self-evidence)

보다 구체적으로 그 극복방안을 현상학적으로 살펴보면 다음과 같다. 본래 현상학자들은 의식의 나타남을 기술할 뿐이다. 의식은 주어진 사실이고 이 사실로부터 의식의 현상을 기술할 뿐이다. 이 정도의 수준에서 모든 현상학이 이루어진다면 굳이 이를 심각하게 궁구할 필요가 있을까 하고 의아해 할 수 있다.

우리는 이러한 의식의 중층기술(thick description)로서 현상학적 과제는 무엇일까에 대해 간단히 살펴보자. 현상학적 과제는 엄밀한 과학적 정신 속에서 모든 학문의 진정한 출발점의 찾고자 하는 시도에서 기인하는 것이라 할 수 있다. 여기에 모든 학문적 접근이 피해갈 수 없는 '방법론적 자각(methodological awareness)'의 문제가 걸려 있다. 그렇다면 무엇을 위한 방법론적인 자각인가? 양적인 연구에서의 연구 설계와 분석과정에서는 연구자의 주관성은 철저히 배제되어야 할 사안이었던 반면에, 우리는 지금까지 질적 연구에서 가장 관심을 쏟는 것은 연구자의 주관성(subjectivity)임을 누누이 강조해 왔다. 이러한 의미에서 질적인 연구에서 무엇이 진리, 즉 타당성의 문제는 개인의 주관성에 의해서 좌우된다는 현상학적/초월론적 사고에 기초하고 있다.

따라서 타당성을 위한 질적 연구의 방법론적 자각은 초월론적 동기와 자명함(self-evidence)을 위한 것이라 할 수 있다. 잘 알려져 있는 바와 같이 19세기 현상학은 물론 20세기 현상학은 철저하게 초월론적 전통 위에 서있다. 먼저 19세기 이전의 초월철학과 20세기 초월철학의 근본적인 차이는 무엇일까? 그것은 판단중지와 환원이라는 방법에 의해서 확연히 구분된다 할 수 있다. 후설 이후 하이데거, 사르트르, 레비나스 등을 포함한 거의 모든 현상학적 전통위에 있는 사상가들은 현상학적 환원의 진정한 의미에 대해서 무시해왔다. 바로 그 무시를 통해 대단히 다양하고 풍요로운 현상학적 사유의 가능성이 열린 것도 사실이다

V. 혼합 활용 방법연구(Mixed Methods)

1. 혼합 활용 방법의 가능성

왜 혼합활용된 방법 설계를 사용하게 되는가? 그린, 카라첼리 및 그레함의 연구에 따르면 혼합활용된 연구방법을 원용하는 데 다섯 가지 이유가 있다.

첫째, 가장 일반적인 이유로 삼각측정(tringulation)이 있다. 이러한 전략은 동일한 연구 질문을 연구하는 데 있어서 한 방법 이상을 활용해야 하는 경우와 관계있다. 특히 이 러한 전략은 양적인 데이터가 부분적이고 질적인 연구가 연구 여건에 의해서 방해 받는 경 우에 적절하다. 예를 들어서 우리의 사회 체계 네트워크 안에서 리더십 순환의 정책 효과를 양적으로 분석하고 사례연구 방법을 활용하려는 경우에 적절하다. 즉 양쪽 방법론을 채택하 여 공공정책의 순환 효과를 테스트하는 데 있어서 더 나은 방식에 대해서 소홀하게 되는 경 우 이러한 접근들 중에 하나를 선정하는 과정에서 필요한 방식이다.

또한 삼각측정은 다른 방식들로 가설을 구체화하는 데 적절하다. 어쨌든 연구자는 연구에서의 발견들에 신뢰도를 높이기 위해서 그 여타 발견들을 끌어 모을 필요가 있다. 여 기에 여타 이론적인 시각들을 활용하는 이론적 삼각측정과 동일한 방법 내지는 상이한 방법 들을 활용하여 다른 데이터 자료들을 활용하는 데이터 삼각측정이 있다. 예컨대 쓰나미 프 로젝트에 있어서 우리가 인터뷰한 사람들의 복지를 확인하기 위해 양적인 심리테스트를 주 도하면서 보다 광범위한 심층 인터뷰도 곁들일 수 있다. 그렇게 함으로 해서 심리적 양적 측정은 인터뷰를 통해서 끌어 모은 심층심리학적 발견들에 대한 타당성 체크를 시도하는 데 활용할 수 있다.

둘째, 혼합활용된 연구방법을 채택하게 되는 두 번째 이유는 연구자가 연구 문제를 보다 잘 이해하려 하고 주어진 연구 결과를 명확히 할 수 있는 보완적인 속성을 가지고 있 다는 데 있다. 혼합활용된 방법들은 무엇보다도 연구 문제에 대한 연구자의 전체적인 이해 를 돕는 목적으로 활용된다. 그 적절한 예로서 다시금 우리는 쓰나미 재난에 대한 질적 연 구가 재난 생존자들의 생생한 경험들을 확인하기 위해서 활용되는 반면에 양적인 연구는 마 을 사람들이 어떻게 재난 구호 노력의 효율성을 지각하고 있는지 평가하려는 서베이 연구를 활용하는 것과 결부된다.

셋째, 다른 방법을 발전시키는 데 도움을 주는 한 방법으로부터 빚어지는 발전과 상관이 있다. 쓰나미 재난 연구에 있어서 연구자는 양적인 연구를 위한 설문지를 발전시키 기 위해서 질적인 연구로부터의 발견들을 활용할 수 있다.

넷째, 주어진 연구에 있어서의 여러 발견들이 보다 명확한 해명을 요구하는 질문들 을 제기하거나 모순들을 포함하고 있는 시발점에 있는 경우이다. 이러한 경우 새로운 연구 는 연구 중인 현상을 이해하는 데 있어서 새로운 통찰들을 더할 목적으로 시작된다. 다시금 쓰나미 재난 연구에 있어서 마을 사람들이 자연적인 재해를 어떻게 바라보고 있는지와 관련 된 모순적이며 질적인 발견들이 나타날 수 있음을 고려할 필요가 있다. 그러한 상이한 발견 들은 성별과 민족성에 의한 연구 결과에 대해서 보다 미묘한 해석으로 이끌 수 있다. 사실 그러한 발견은 전체적으로 새로운 연구를 시작하도록 한다.

마지막으로 이러한 연구 주제의 확대과정에서 연구 기법을 활용할 필요가 있다. 여 기서 연구 주제 확대는 연구 범위와 영역의 확장으로 이어진다. 예컨대 상이한 재난 유형을 대면했을 때 성차를 비교할 필요가 있을 것이다. 또 다른 예로 911테러 생존자들의 인터뷰 를 포함하는 연구를 성별과 국적 및 재난유형에 의한 메커니즘과 관련하여 유사성과 차이점 들을 음미하는 것으로 자신의 연구를 확대시킬 필요가 있다. 이러한 경우 연구 확장의 목적 은 자신의 연구에 타당성을 증대시키기보다는 보다 광범위한 영역의 연구목적을 포괄하는 것으로 확대된다.

2. 혼합 활용 방법의 연구 설계

우리는 데이빗 모오간의 제안에 따라 혼합활용 연구방법을 설계하는 실질적 전략들 을 살펴볼 필요가 있다. 그는 연구의 시차적 관점과 각 방법의 상대적 중요성에 입각하여 네 종류의 혼합방법을 제시하고 있다. 특수한 혼합방법을 설계함에 있어서 고려해야할 두 가지 질문은 

• 첫째, 무엇이 주된 연구방법이고 무엇이 부차적인 것이냐이다. 

• 둘째, 어떤 방법 이 선행하고 어떤 방법이 그 다음인가이다. 

이에 따라서 모오간의 가능한 네 가지 연구 설 계를 제공한다. 

• 설계 1) 양적인 연구에 이은 질적 연구; 

• 설계 2) 질적인 연구에 이은 양적 연구; 

• 설계 3) 질적인 연구에 이은 양적 연구; 

• 설계 4) 양적인 연구에 이은 질적 연구 

상이 한 범주들을 활용하여 양적인 연구와 질적 연구방법들을 결합시키는 다양한 혼합방법 설계 가 있음을 주목할 필요가 있다.

첫 번째 연구 설계는 연구 프로젝트의 질적인 구성요소를 첫째로 행하고 그것을 프 로젝트의 목적을 위해 부차적으로 유지하는 것과 관련이 있다. 여기서 양적인 연구가 우선 이고 질적인 연구는 이를 뒷받침하는 것으로 활용된다. 양적인 연구에 앞서 질적인 설계를 활용하는 것은 특정한 주제에 친숙하지 않은 연구자에게 프로젝트의 양적부분에 필요로 하 는 특정한 이념들이나 가설들을 생성할 수 있는 기회를 제공한다. 예를 들어서 연구자들은 불치병을 앓고 있는 환자들의 생생한 체험을 이해하는 데 흥미를 가질 수 있다. 이러한 단 계의 환자에게 ‘케어는 환자의 마음, 몸 및 정신적인 필요를 설명하는 것이지 의학적인 개 입을 강조하는 것이 아닐 수 있다. 이러한 경우 불치병 환자의 생생한 경험을 이해하고 케 어를 제공하는 사람들에게 직접 그 필요성을 전달하는 것이 중요한 사안이 될 것이다. 연구 자는 그들 연구의 결과를 양적으로 보다 광범위하게 일반화시킬 수 있기를 바랄 것이다. 따 라서 이러한 연구 설계는 질적인 방법인 환자들 간의 인터뷰로부터 시작하여 필요한 질적 정보를 취합하여 가설적인 시나리오가 아닌 환자들의 경험에 입각한 일단의 설문지를 창출 해낼 수 있을 것이다. 이 경우 양적 연구의 서베이적 요소가 질적 연구 요소인 환자의 직접 적인 경험에 입각하고 있음을 알 수 있다.

두 번째 연구 설계에서는 양적인 연구가 부차적으로 활용되고 질적인 연구가 주가 되는 방법이다. 이 경우에 있어서 양적 연구는 보다 깊은 탐구를 위한 특정한 환자 분포나 이슈들을 확인하는 데 활용된다. 이러한 연구 유형의 예외로서 일반 의사들이 그들 환자들 의 흡연 이슈를 논의하는 태도를 통해서 알아볼 수 있다. 즉 연구자들은 상이한 태도를 주 장하는 일반 의사들의 다양한 경우들을 확인하기를 원한다. 이러한 경우 양적인 연구가 다 양한 태도를 가진 응답자들의 경우수를 확인하는 데 큰 도움을 주게 되고 이와 더불어 흡연 을 보다 심층적으로 이해하려는 질적인 인터뷰 방식이 원용될 수 있을 것이다.

세 번째 연구 설계는 질적인 연구에 이은 양적 연구를 강조하는 것이다. 이 연구 설계는 양적인 연구를 주요탐구 양식으로 삼으면서 질적인 연구를 부차적으로 활용하는 것 이다. 즉 양적인 발견으로부터 나온 연구결과를 명확히 하고 정교화 할 필요성에서 비롯되 었다. 여기서 질적인 연구의 기능은 부정적인 연구결과를 이해하는 데 도움을 주는 것이 될 것이다. 다시 말해서 어떤 연구결과의 발견이 전반적인 가설이나 이론적인 시각에 적합하지 않은 경우(outlier)를 해명하는데 이러한 질적 연구방법이 필요하게 된다. 요컨대 질적인 데 이터는 양적 연구자가 자신의 서베이 데이터의 잘못된 결과를 이해하는 데에 그들의 양적인 데이터들을 보완할 목적으로 이러한 설계의 예로써 저자는 스웨덴 사회에서 이민자 가족의 통합에 대한 연구를 들고 있다. 이 연구의 주요 데이터는 이민자와 본국 스웨덴 사람들에 대한 인구 정보를 수집하려는 두 개의 양적 서베이에 입각하고 있다. 이러한 경우 질적 연 구는 가족의 다이내미즘과 공동체 관계 문제를 해명하기 위해서 부차적인 방식으로 활용된 다. 예컨대 결핍된 서베이 데이터로 나타나는 것은 이민자의 삶에 있어서 종교의 중요성을 질적인 방식을 통해서 이해함으로써 해명될 수 있다. 여기서 연구자는 스웨덴이 종교적 감 각을 크게 강조하지 않는 세속사회임을 주목하게 될 것이다. 이 연구에서 질적인 연구는 인 류학적 관점을 가진 연구자들을 위해서 행해질 수 있는 반면에 양적인 연구는 인구통계학자 의 관점에 의해서 행해짐을 알 수 있다. 따라서 이러한 양자의 방법을 혼합하려는 경우 동 일한 철학적 방법과 시각들을 공유하지 않는 연구자들 사이에 학제 간의 연구 참여를 필요 로 하며 연구자들 간의 소통의 문제가 제기될 수 있을 것이다.

네 번째 연구 설계는 양적인 연구에 이은 질적인 방법을 활용하는 것이다. 여기서 질적인 연구가 추가되고 보다 작은 양적 연구가 뒤따르게 되며, 양적 연구가 갖는 기능은 질적인 연구가 다른 연구에도 적용될 수 있는지를 확인하기 위해서 다른 표본들을 통해서 그 결과를 테스트하려는 데 활용된다. 여기서 연구자는 예컨대 한 대학의 관리팀에 대한 단 일한 사례연구와 같은 질적 방법을 활용하여 대학교의 고위층 행정가들의 생생한 체험을 얻 는다. 이러한 질적 사례연구는 연구자들로 하여금 대학 행정가들이 대학정책의 변화를 기하 는 데 도움이 될 만한 핵심적인 두 주제로 대학의 이미지와 정체성을 확인하도록 해준다. 이 경우 질적 연구를 통한 발견은 이미지, 정체성 및 해석들 간의 관계와 관련된 일단의 명 제들로 표현된다. 그 다음 이 명제들은 다른 대학들의 대학 행정가들에 대한 양적 서베이 방식을 통해서 검증된다. 이러한 혼합된 방법을 활용한 연구 설계에서 질적인 데이터는 연 구문제를 이해함에 있어서 핵심적인 사안이 되고 양적인 연구는 연구자들이 질적인 연구로 부터 얻은 발견들을 증명하고 그 결과들을 보다 큰 범주로 일반화시키는 데 도움을 제공한 다.

VI. 질적 연구 평가 기준

1. 질적 연구 일반에 대한 평가 기준

• 1) 적절한 연구계획인가? 연구계획의 상이한 특징들을 보여주는 설득력 있는 논점을 가지고 있는가? 

• 2) 신뢰할만한 자료인가? 방법들을 잘 기술하고 있는가? 필드노트 또는 트랜스크립션 관행 은 잘 지켜지고 있는가? 

• 3) 명확한 이론 가설들이 설정되었는가? 연구과정에 대해 적절한 문헌화가 이루어지고 있는 가? 자료와 방법에 장점과 약점에 대한 논의가 이루어지고 있는가? 연구 설계에 나타나는 변화의 과정을 문헌화하고 있는가? 

• 4) 연구에서 찾아낸 발견들은 어떻게 신뢰할 수 있는가? 그 발견들이 자료들을 통해서 지지 받고 있는가? 자료, 해석 및 결론들 사이의 연결은 명쾌한가? 

• 5) 그 발견들이 일반화될 수 있는가? 보다 광범위하게 그 발견들을 추론하고자할 때 그에 상응하는 증거는 잘 제공되고 있는가?

2. 연구 평가 기준

• 1) 연구자가 제기한 질문이 성격에 부합한 연구의 방법인가? 

• 2) 기존의 지식이나 이론체계와의 연관성이 분명한가? 

• 3) 사례연구나 근거이론에 사용된 범주에 대한 설명은 명확한가? 자료 수집과 분석의 범주 에 대한 설명은 명확한가? 

• 4) 연구 방법의 민간도가 연구 질문의 필요성과 잘 조응하는가? 자료 수집과 자료 기록은 체계적인가? 

• 5) 추론은 수용되고 있는 분석절차를 위해서 이루어졌는가? 

• 6) 분석은 어떤 방식으로 체계적인가? 

• 7) 주제, 개념 및 범주가 자료로부터 파생되는 방법을 적절히 논의하고 있는가? 

• 8) 연구자 논점의 찬반에 대한 증거를 적절히 논의하고 있는가? 

• 9) 자료와 그 해석 사이를 명확하게 구분하고 있는가?

3. 근거이론 평가 기준

• 1) 최초의 표본이 어떻게 선택되었는가? 무엇을 근거로 하는가? 

• 2) 어떤 주요 범주들이 나타났는가? 

• 3) 주요 범주로 지목된 사건, 부수적인 사건, 행동 등은 무엇인가? 

• 4) 어떤 범주에 기초하여 이론적 표본 추출이 이루어졌는가? 자료 수집은 어떤가? 이것이 범주들을 대표하는가? 

• 5) 개념적 관계(즉, 범주들 간의 개념적 관계)와 관련된 가설은 무엇인가? 가설이 형성되고 검증되는 근거는 무엇인가? 

• 6) 가설이 실제로 나타나는 것을 지지하지 않을 때가 있는가? 이러한 차이를 어떻게 설명할 것인가? 이들은 가설에 어떠한 영향을 미쳤는가? 

• 7) 핵심논증은 어떻게, 왜 선택되었는가? (갑자기, 점진적으로, 어렵게, 쉽게)? 어떤 근거에 서?

스트라우스와 코비는 근거이론 연구의 질을 판단하는 기준과 더불어 그 연구에 경험적 근거 와 관련된 다음 여섯 가지 기준을 덧붙이고 있다.

1) 개념이 만들어졌는가? 

2) 개념들이 체계적으로 관련되었는가? 

3) 개념적 연결이 많은가? 범주가 잘 개발되었는가? 밀도는? 

4) 이론이 많은 다양성을 반영하며 구축되었는가? 

5) 광범위한 조건들이 설명되었는가? 

6) 과정(변화 혹은 움직임)이 고려되었는가?

VII. 질적 연구자의 연구윤리

질적 연구/후기 실증주의 연구 과정에서 연구윤리가 핵심적인 문제로 제기된다. 실증주의 연구와 같은 객관학문의 경우 만인을 위한 객관적 연구결과를 얻을 수 있다면 연구에 참여 했던 연구 참여자의 이익과 복지는 중요한 문제가 되지 않았다. 따라서 연구자가 연구 참여 자의 연구자를 속이거나, 기만하거나, 아니면 연구대상으로 물신화시키거나 하는 등의 비윤 리적인 절차나 속임수를 쓰는 연구 활동들은 나쁜 것으로 간주되지 않았다. 하지만 질적 연 구자가 현장에 참여하면서 중요한 것은 현장의 상황적 윤리와 연구의 윤리적 규범을 여하히 잘 조화시켜 가는가이다. 현장연구의 정치와 윤리는 질적 연구 전반에 지대한 영향을 미치 게 된다.

1. 질적 연구에 영향을 주는 주요 요인들

• 1. 연구자의 인성 - 현장 연구에서 연구자는 그 자신의 연구 도구이다. 즉, 질적 방법의 핵 심은 선택이다. 빈도보다는 의미(sense)가 대단히 중요한 선택의 문제이자 해석의 문제이기 때문이다. 결국 주제의 선택, 연구 접근 방법, 현장에서의 능력이 질적 연구의 결정적인 도 움을 준다. 

• 2. 연구 대상의 성격 - 이는 연구 배경에서의 접근과 연구 계약 및 대립 가능성과 갈등에 관련된 중요한 문제이다. 

• 3. 연구비 - 질적 연구를 위한 모든 비용과 시간은 연구의 질을 위해 결정적인 역할을 한 다. 

• 4. 현장에서 연구자의 영향력 - 연구자의 현장 참여가 갖는 영향력은 현장 연구에 커다란 영향을 미친다. 

• 5. 연구진 내의 협력과 조화 - 현장에서의 행동을 방해하고 성과에 대해 갈등을 일으킬 수 있는 연구진 각기 그들의 기대와 역할의 다양성을 잘 조절할 필요가 있다. 

• 6. 연구 수행과 현장에서의 성공은 연령, 성, 지위, 인종적 배경, 지나친 동일시, 거부감, 관 료주의적 태도, 사고, 행운 등 수많은 요인에 영향을 받는다. 7. 현장에서의 조화로운 관계는 전체 연구에 커다란 영향을 미친다. 8. 현장 연구에 의해서 생성된 사회적, 도덕적 의무 사항이 중요하다.

3. 연구윤리 계획서에서 답해야하는 질문 내용

• 1. 이 연구에 참여하는 피험자가 심리적, 사회적, 신체적 또는 법적으로 위험에 빠질 가능성 이 있는가? 만약 그렇다면 그 상황을 진술하시오. 

• 2. 이 연구에 참여하는 피험자가 연구에 의한 스트레스를 느낄 가능성이 있는가? 있다면 어 떤 스트레스를 야기할 수 있는지 설명하시오. 

• 3. 연구의 목적 때문에 이 연구에 참여하는 피험자를 의도적으로 소개하는 경우가 있는지 말씀해주시오. 혹시 있다면 그 이유에 대해 설명하시오. 

• 4. 수집할 자료의 내용이 지나치게 연구 피험자의 개인적 정보를 묻는 것은 아닌가? 

• 5. 수집할 자료의 내용이 지나치게 모멸적인 것이어서 피험자의 기분을 상하게 하거나 당황 하게 하지는 않는가? 

• 6. 이 연구에 참여할 피험자를 어떻게 설득시킬 것인가? 연구 동의를 얻기 위하여 연구 참 여자에게 제출할 연구 계획서를 문서형식으로 그리고 구술형식으로 작성하여 피험자에게 보 여주시오. 

• 7. 이 연구에 참여하는 피험자는 자발적으로 연구에 참여하는가? 피험자가 자발적으로 참여 하였을 때 피험자가 받게 될 보상은 어떤 것이 있는가? 

• 8. 피험자가 연구에 자발적으로 참여하였다는 사실을 어떻게 입증하겠는가? 

• 9. 이 연구에 참여하는 피험자가 연구를 위하여 투자하는 시간은 얼마나 되는가? 

• 10. 연구를 통하여 획득한 자료의 기밀유지를 위하여 어떻게 보관할 예정인가? 

• 11. 연구가 끝난 후 수집된 자료는 어떻게 처리할 것인가?

6. 동의의 기본적인 요소

• 1. 뒤따르는 절차, 실험을 하는 사람들의 신분 증명을 포함한 그들의 실험 목적을 설명하고 연구 참여자가 이 실험에 참여하는 데 소요되는 예상기간을 설명한다. 

• 2. 실험 참여자들에게 예상되는 불편한 사항과 위험한 사항들에 대해 합리적으로 설명해 준 다. 

• 3. 실험 참여자들에게 예상되는 이점에 대해 합리적으로 설명해 준다. 

• 4. 실험 참여자들에게 이득이 되는, 선택 가능한 적합한 절차들을 발표한다. 

• 5. 연구 참여자의 신분상의 기록에 대한 비밀보장과 그 범위를 설명한다. 

• 6. 연구 참여자가 어떠한 협박이나 손해 없이 그 연구에서 언제든지 그만둘 수 있음을 알려 준다. 

• 7. 생물 의학적 또는 행동적 해를 당하였을 경우에 어떠한 의학적 치료와 경제적 보상이 주 어지는 지에 대해 설명한다. 

• 8. 연구 참여자의 권리와 관련한 질문에 응답해 줄 사람이 누구인지, 그리고 그 실험과 관 련하여 피해를 입었을 경우 누구와 연락해야 하는 지를 설명해 준다.

(방법론)신충식 (1).hwp

(방법론)신충식 (1).pdf

해석적 관점에서의 질적 연구과정과 연구설계(서울행정학회 동계학술대회 발표논문집, 2009)

박석희･이종원(가톨릭대학교)

Ⅰ. 머릿말

질적 연구는 오히려 우리의 삶의 현장으로서 사회적 실체를 보다 제대로 이해하고 해석하기 위한 것으로 우리가 질적 연구에 대한 일정한 ‘입장취하기’를 결정한다면 그것은 보다 용이하게 사회적 실체에 가깝게 접근할 수 있는 방법론적 지평을 제공해 줄 수 있다.

학문이란 주어진 가설에 대한 검증과 반증을 통해 성장한다는 후기실증주의적 사조가 행정학 분야에 널리 받아들여져 왔다.

Ⅱ. 질적 연구의 특징: 포괄적 접근

1. 질적 연구의 의의

질적 연구는 지식 구성에 대한 풍부한 관점을 지닌 매우 흥미 있는 다학문적 지평이라고 할 수 있으며, 지식형성의 과정에 대한 포괄적 접근(holistic approach)을 강조한다. 질적 연구 는 광범위한 인식론적, 이론적, 방법론적 가능성을 제공하며, 지식형성의 포괄적 접근과 관 련해서 질적 연구는 내용, 초점, 형태에 있어 매우 독창적이라고 할 수 있다. 포괄적 접근이라 는 것은 질적 연구가 반성적(reflexive)이며, 과정지향적(process driven) 연구를 통해 이론, 방 법, 연구자와 연구대상 간에 지속적인 상호작용을 통해 궁극적으로 문화적 특수성이 있고 (culturally situated) 이론적으로 짜여진(theory-enmeshed) 지식을 창출한다는 것을 의미한다. 또한 연구과정의 포괄적 특성이란 연구주제 선정부터 연구결과 작성에 이르기까지 연구의 다양한 국면들 간의 상호작용이 이루어짐을 의미한다. 질적 연구는 오랜 기간 지배적 위치를 차지한 인과모형에 의한 설명보다는 탐색적이고 기술적인 지식의 창조를 강조한다.

그 동안 양적 연구는 경성과학(hard science) 혹은 좋은 과학(good science)으로서의 특권적 지위를 점해 왔다. 이에 반해 심층면접, 포커스집단면접, 구전역사면접(스토리텔링), 참여관찰(민속학방법론), 내용분석 등의 연구방법을 채택하는 질적 연구는 공통적으로 응답자의 언어와 관점에 기반해서 주제와 프레임을 발견하고 자료를 해석하는데 초점을 맞춘다. 질적 연구자는 문자(texts)와 언어(words)에 관심을 두고, 문장과 언어에 담겨 있는 일정한 주제 (theme or thematic category)1)를 발견하고 분석하는데 초점을 맞추며, 이러한 주제를 연구대 상자들이 갖고 있는 의미를 해석하기 위해 코드(code)화한다. 이를 위해 질적 연구는 다양한 연구방법을 통합하여 사회현상에 대한 연구대상자들이 갖는 의미에 대한 해석을 시도한다.

비록 질적 연구방법이 다양한 이론적 패러다임을 갖고 있지만 질적 연구방법론에서는 공 통적으로 사회적 실체의 본성에 관한 해석적 접근법(interpretative approach)을 강조한다. 즉, 사회적 실체를 이해하기 위해 사상(events)을 검정하거나 통제하는 대신 각 개인은 사회적 실 체의 본성에 어떠한 의미를 부여하는지, 인간은 각 개인이 사회적 실체에 부여 다양한 의미 를 어떻게 생각하는지 등에 관심을 갖는다.

논리실증주의(positivist)와 후기논리실증주의(post-positivist)의 시각에서 보면 ‘좋은 과학 (good science)’은 실증주의에 기반을 둔 양적 연구를 의미하며, 질적 연구방법은 방법론적 엄 밀성(rigorousness)이 결여되어 있는 것으로 이해되었다. 

• 실증주의에 의하면 사회적 실체란 객관적 연구자에 의해 기술되고, 설명되거나, 

• 후기실증주의 입장에서는 적어도 근사하게 파 악될 수 있는 연구자의 밖(out there)에 존재하는 외부적 실체로 이해된다. 연구의 객관성을 강조하며 가치개입을 배제한다.

Denzin and Lincoln(1998)은 질적 연구에서의 세 가지 해석적 패러다임으로 구성주의적 해 석론(constructivist-interpretive), 비판론(critical), 패미니즘(feminist)을 강조하였고, Newman (2003)은 세 가지 질적 패러다임으로 실증주의(positivism), 해석론(interpretive), 비판론 (critical)을 지적하였다. 각각의 패러다임은 실체와 개인의 본성(존재론), 이론의 유형(방법 론), 무엇이 지식을 형성(constitute)하는지(인식론)에 관해 차별화된 특성을 보인다. 가령 구 성주의 혹은 해석론에 입장을 취할 경우 개인들에 의해 구성되고 생산된 이야기와 의미로 구 성된 주관적 실체를 가정하며, 객관적 사회적 실체의 존재를 부정한다. 사회적 실체는 실제 (real) 혹은 진실(truth)보다는 표상되는 것(representational)으로 이해된다.2)

2. 이론(theory), 연구방법(methods), 방법론(methodology)과 인식론

전통적으로 양적 연구를 통해 획득된 자료는 경성(hard)이며 과학적인 것이고, 일반화가 능하고 대표성 있는 것(representative)으로 간주된 반면, 질적 연구를 통해 얻어진 자료는 연 성(soft)이며 덜 과학적인 것이고, 표상적(representational)인 것 혹은 구성된 것(constructed)으 로 간주되었다.3) 여기서 표상과 구성이란 덜 과학적이고, 덜 엄밀하며, 덜 중요함을 의미한 다. 질적 지식은 사회적 실체에 과한 다양한 관점(perspective)에서 창출되며, 공통적으로 해 석의 과정을 공유하면서도 사회적 실체의 상이한 측면에 초점을 맞춘다.

인식론은 이론과 밀접한 관련이 있으며, 인식론적 신념은 이론적 프레임을 통해 활성화될 수 있다. 이론은 경험적으로 조사되어 온 것 이상의 사회적 실체 또는 그것의 구성요소에 대 한 설명이며, 이론은 연구과정의 일부분이라고 할 수 있다. 질적 연구의 궁극적 목적이 이론 을 창출하고, 형성하며, 정교화하는데 있기 때문에 질적 연구의 수행에 있어 이론은 매우 중 요하다. 질적 연구자들은 단지 이론을 사용하는 것이 아니라 이론을 창조하는데 초점을 맞춘 다. 따라서 연역적 방법을 강조하는 양적 연구와 달리 질적 연구는 귀납적 접근을 강조한다. 가령 해석적 연구자와 패미니즘 연구자들은 근거이론(grounded theory)의 모형을 자주 사용 한다.

흔히 연구방법을 논의할 때 그것은 자료수집방법의 의미로 사용되지만, 보다 궁극적으로 연구방법(research method)은 인식론 및 이론과 밀접한 관련이 있으며, 특히 질적 연구에서 연 구방법과 이론의 연결은 더욱 강조된다. 즉, 질적 연구자들은 자신의 이론적 입장에 따라 민 속학방법론(참여관찰 등), 자전적 민속학방법론(autoethnography), 심층면접, 구전역사면접 (스토리텔링), 핵심집단면접, 사례연구, 담론분석 및 내용분석 등 다양한 연구방법을 사용한 다. 그런데 연구문제 형성부터 자료 분석과 해석에 이르는 연구설계에 대한 지침을 작성하기 위해 방법론 이론과 연구방법을 통합하는 역할을 수행한다. 이에 Harding은 방법론은 연구가 어떻게 수행되는지 그리고 어떻게 수행되어야 하는지에 관한 이론이라고 설명하였다(1987: 3).

요컨대 방법론(methodology)은 일정한 인식론적 토대를 전제로 이론(theory)과 연구방법 (method)을 연결 짓는 가교(nexus)역할을 수행한다. 즉, 각 연구자가 취하는 연구방법론은 논리실증주의 혹은 해석학적 인식론 기반에 따라 달라질 수 있고, 이러한 인식론적 기반에 따 라 비판이론, 현상학, 해석학, 실증주의, 후기실증주의 등의 이론적 입장과 연구방법이 상이 하게 영향을 받는다. 즉, 방법론은 이론, 방법, 인식론의 통합적 연결고리라고 할 수 있다. 방 법론은 연구과정을 통해 전략적이지만 가변적인 지침으로서 역할을 수행하며 이론과 방법 을 통합한다. 가변적이라는 개념은 연구자의 인식론적 신념이 허락하는 범위 내에서 연구수 행 중에 방법론이 변화될 수 있음을 의미한다. 따라서 질적 연구는 연구가 수행되는 맥락에 의존적이기 때문에 연구방법론의 변화에 보다 유연하게 접근할 수 있는 것이다.

3. 실체(social reality)와 객관성(objectivity)의 문제

1) 실증주의의 인식론과 객관성

질적 연구에서는 대체로 사회적 실체가 무엇인지(what) 혹은 사회적 실체가 어떻게(how) 구성되는지에 관심을 가지며, 왜(why) 사회적 실체가 그렇게 형성되는지에 대한 일반화를 지향하는 인과모형적 설명에는 관심을 갖지 않는다. 양적 연구에서는 보편적 시스템으로부 터 인과모형적 설명에 의한 복제(reproduction)를 강조하는 반면 질적 연구에서는 개별 행위 자들 혹은 그들 간의 의미작용에 관심을 둔다.

실증주의 혹은 후기실증주에서 강조하는 객관적 인식론은 연구자가 파악할 수 있는 인과 모형과 같은 사회적 실체(knowable reality)는 연구과정과 독립해서 존재하며, 주체와 객체의 구분이 지식발견에 있어 필수적이라고 강조한다. 실증주의적 인식론은 연구자와 분리돼서(out there) 존재하며, 객관적이고 가치중립적 연구자에 의해 객관적인 복제가능한 방법 (replicable method)을 통해 설명될 수 있는 객관적 실체가 존재한다고 본다. 이에 의하면 사회 적 실체는 객관적이며, 가치중립적 연구자에 의해 경험적으로 연구되고 검증될 수 있다. 또 한 연구대상자는 물론 연구자도 연구의 복제를 위해 쉽게 대체될 수 있다고 본다.

2) 사회적 실체의 본성에 관한 해석적 인식론

질적 연구방법은 전체주의적 접근법(holistic approach)을 취하며, 의미창출과 해석을 통한 이론형성을 추구하기 때문에 논리실증주의와는 다른 인식론적 기반을 두고 있다. 질적 연구 는 탐색적 지식, 기술적 지식 창출을 모두 목적으로 할 수 있고, 사회적 실체에 대한 유일한 인과모델의 중요성을 배척한다. 이는 연구주제의 선정부터 연구결과의 기술에 이르기까지 연구과의 전 과정이 보여주는 전체적 상호작용에 주목한다.

연구문제의 선정은 연구방법의 유형을 결정지으며, 반대로 특정한 연구방법의 선호가 연 구문제 선정에 영향을 미칠 수도 있다. 연구문제 선정과 구체화에 있어 질적 연구방법론에 있어서도 문헌검토(literature review)는 연구자의 관심영역과 연구문제 선정간의 가교역할을 할 수 있다. 다만 질적 연구에서 문헌검토는 연구과정의 특정한 시점에서만 이루어지는 것이 아니라 연구의 전 과정에서 반복적으로 발생할 수 있다. 특히 분석적 귀납에 의한 새로운 이 론의 발견 시 연구의 후반부에 이러한 새로운 발견을 이해하기 위한 맥락을 제공하기 위해 문헌검토가 이루어지는 경우도 많다.

Ⅲ. 질적 연구과정과 연구설계

1. 질적 연구에서의 타당성(validity)과 신뢰성(reliability)의 의의

1) 질적 연구에서의 타당성의 의의

질적 연구에서는 기존 논리실증주의에서 제시된 타당성 유형인 내용타당성(content validity), 기준타당성(criterion validity), 구성개념타당성(construct validity) 등과는 차별화된 타당성 개념을 강조한다. 질적 연구에서 사회적 실체란 사회적으로 구성된다고 보기 때문에 객관적 실체와의 일치성(correspondency)로서의 타당성 개념을 사용하지 않는다. 질적 연구 에서 타당성이란 진실로 우리가 무엇을 의미하는가를 의미한다. 즉 경쟁적 주장이나 해석에 대해 어떠한 연구자의 발견을 주관화하는 형태 그리고 독자들에게 연구자의 특정한 지식에 대한 강한 논변을 제공하는 형태를 취한다. Kvale(1996)는 질적 연구에서 타당성의 세 가지 타당성(validity as craftsmanship), 기준으로 연구전문가로서의 의사소통적 타당성 (communicative validity), 실천적 타당성(pragmatic validity)을 지적하였다.

(1) 전문가적 타당성(validity as craftsmanship)

전문가적 타당성은 ‘연구자가 도덕적으로 고결한가(moral integrity)’와 같은 연구자와 연 구의 신의(credibility)에 대한 지각의 문제를 말한다. 고결함과 신의는 연구자의 지각된 행동 을 통해 형성된다. 연구자가 발견된 사실을 어떻게 조사하였는가 혹은 연구가 어떻게 검토되 었는가 등과 관련이 있다. 이로 인해 전문가적 타당성은 검토적 타당성(validity as checking) 을 의미하며 질적 연구자료에 대한 검토는 통상 ‘반대사례분석(negative case analysis)’을 통 해 확인될 수 있다. 반대사례분석은 연구자의 초기 이론적 주장이 수집된 자료에 의해 타당 화될 수 있는 정도와 관련하여 일정한 환류를 제공해 줄 수 있다. 전문가적 타당성의 또 다른 측면은 연구자가 질적 자료로부터 이론을 도출하는 능력이다. 즉 질적 연구에서 연구자는 확 신할 만한 이야기를 말할 수 있어야 하며, 이는 연구자가 수집한 자료를 주어진 이론적 프레 임에 적합하게 할 수 있는가 그리고 그것에 대해 독자들에게 신의를 줄 수 있는가와 관련된 다.

(2) 의사소통적 타당성(communicative validity)

의사소통적 타당성은 지식형성에 있어 경쟁적인 주장을 하는 정당성 있는 지식인들 간에 이루어지는 대화를 통해 획득될 수 있다. 어떠한 발견에 대한 각자의 해석은 많은 연구자들 간에 자유롭게 토론되고 반박될 수 있어야 하며, 경우에 따라서는 이러한 토론과 반박이 연 구대상집단에까지 확대될 수 있어야 한다. 의미를 둘러싼 대화가 필요하고, 대화를 통해 의 미에 대한 상호주관적인 이해에 대한 관념으로 나아갈 수 있다. 물론 누가 이러한 대화에 참 여할 수 있고, 지식을 해석할 권한을 누가 갖고 있으며, 의미에 대한 불일치를 어떻게 해소해 야하는지에 대해서는 연구자들 간에 완전한 합의는 없지만, 연구자들 간 혹은 연구자와 연구 대상자 간에 지속적인 대화와 담론이 연구결과의 의사소통적 타당성을 제고할 수 있다.

(3) 실천적 타당성(pragmatic validity)

사회과학연구에서 연구는 연구대상과 분리해서 존재하는 것이 아니며 연구자와 연구대 상자는 상호작용을 하게 된다. 이에 따라 질적 연구에서 실천적 타당성은 매우 중요하다. 실 천적 타당성이란 발견된 사실이 연구대상에 영향을 미치는 정도, 그리고 연구가 수행된 사회 적․역사적 맥락 내에서 발생한 변화와 관련된다. 즉, 수행된 연구와 발견의 유형에 따라서 우리는 어떤 특정한 행동결과를 발견할 것을 기대하는데, 우리는 어떠한 연구의 결과로 발견된 사실이 연구가 수행된 지역이나 사회에 어떠한 영향을 미쳤는가를 확인해야 한다. 따라서 실 천적 타당성은 권력동학(power dynamics)과 관련이 있다.

2) 타당성 확보수단으로서의 통합(triangulation)

연구결과의 타당성을 확보하기 위해 

• 첫째, 연구방법(methods triangulation)의 통합을 채택 할 수 있다. 두 가지 연구방법이 동일한 결과를 가져다 준다면 이는 연구결과의 타당성을 제 고할 수 있으며, 이를 위해 양적 연구방법(설문조사)과 질적 연구방법(면접)을 통합할 수도 있다. 

• 둘째, 동일한 연구문제에 대해 이론적 통합(theoretical triangulation)을 채택할 수도 있 다. 

• 셋째, 동일한 연구 내에서 다양한 자료원천을 사용하는 자료통합(data triangulation)을 채 택할 수도 있다. 

• 넷째, 동일한 현상을 연구하는 다양한 연구자를 채택하는 연구자 통합 (investigator triangulation)을 활용할 수도 있다.

다만 질적 연구에서 타당성을 확보하는 것은 특정한 실체나 목적이 아니라 그것은 연구자 들이 옳은 길을 가고 있다는 독자들의 신뢰(confidence)를 확보하는 하나의 과정(process)이라 고 할 수 있다. 따라서 질적 연구에서는 진실(truth)보다는 신빙성(trustworthiness)을 강조하며, 따라서 연구자 편이(researcher bias), 측정편이(measurement bias) 등이 타당성을 위협하는 요 인이라고 하더라도 이것을 명확하게 측정할 수 있는 방법은 없다. 질적 연구결과를 평가하는 명확한 기준을 찾는 것은 연구과정에 대한 실증주의적 모형으로의 귀환을 의미한다.

3) 질적 연구에서 신뢰성(reliability)의 문제

전통적 실증주의에서 신뢰성은 반복측정의 일관성을 의미하는 반면, 질적 연구에서 신뢰 성은 크게 내적 일관성(internal consistency)과 외적 일관성(external consistency) 개념에서 접 근할 수 있다(Neuman, 2003). 내적 일관성은 수집된 자료가 합리적인가(reasonable), 수집된 자료들이 모두 일치하는가, 관찰결과가 시간과 공간을 넘어 일관성이 있는가 등의 문제와 관 련된다. 한편 외적 일관성은 관찰결과를 다른 자료원천들과 상호검토(cross-checking) 혹은 확인(verifying)하는 것을 의미한다. 질적 연구에서도 타당성과 신뢰성은 비록 그것이 실증주 의 관점과는 상이하다고 하더라도 그것은 중요하고 복잡한 쟁점이라고 할 수 있다. 타당성은 표상(representation)과 일반화가능성과 밀접한 관련이 있다. Gay and Airasian(2003: 56)은 질적 연구에서 신뢰성을 평가하기 위한 체크리스트를 다음과 같이 제시하고 있다.

• 연구자의 연구대상과 연구현장의 관계가 완전하게 기술되었는가?

• 모든 현장기록(field documentation)이 포괄적이고, 완전 상호언급되고(cross- referenced), 주석이 달리고, 엄밀하게 상세하게 작성되었는가?

• 관찰과 면접이 다양한 수단(기록노트, 녹음 등)을 사용해서 기록되었는가?

• 면접자의 훈련이 기록되었는가?

• 모든 도구의 구성, 계획, 검증이 기록되었는가?

• 핵심 피면접자들이 표상하는 집단과 그들의 공동체 지위에 관한 정보를 포함해서 핵심 피면접자들이 완전히 기술되었는가?

• 조사대상선정방법(sampling technique) 연구에 적합할 정도로 충분히 기술되었는가?

2. 질적 연구에서 연구대상 선정(sampling)

질적 연구는 적은 표본에 대한 심층적 이해에 초점을 맞춘다. 이는 연구대상이 그들의 주 어진 사회적 상황에 부여하는 의미와 과정을 이해하는 것으로 반드시 일반화를 목적으로 하 는 것은 아니다.4) 따라서 이러한 연구목적 달성을 위해 질적 연구에서 자주 활용되는 연구대 상선정방법(sampling)으로 목적표출(purposive sampling) 혹은 판단표출(judgement sampling), 우연표출(opportunistic sampling) 혹은 편의표출(convenience sampling), 이론표출(theoretical sampling) 등이 활용되고 있다.

목적표출과 판단표출은 연구자가 특정한 연구목적에 부합하는 연구대상을 주관적 판단 을 통해 선정하는 것으로 연구자가 이용할 수 있는 자원에 대한 고려뿐 아니라 특정한 연구 문제에 따라서 영향을 받는다. 경우에 따라 연구자는 연구대상들이 갖는 특성이 연구에 포함 되도록 하기 위해 층화목적표출(stratified purposive sampling)을 채택하기도 한다.

둘째, 질적 연구에서는 일정한 논리적 계획 등에 근거하지 않고 상황에 따라 발생하는 우 연표출(opportunistic sampling)이 이루어지는 경우가 많다. 이는 일종의 편의표출(convenience sampling)로서 연구대상집단이 모두 샘플에 포함될 기회를 갖는 것은 아니다.

셋째, 이론표출(theoretical sampling)은 근거이론접근법(grounded theory approach)의 한 부 분으로 자주 활용되는데 이는 이론형성을 위한 자료수입의 과정을 의미한다(Glaser and Strauss, 1967). 질적 연구에서 분석가는 자료 수집, 코드화 및 분석을 통합적으로 수행하는데, 중요한 것은 이전 단계에서의 연구결과와 비교하기 위해 다음 단계에서는 어떠한 자료를 수 집할 것인가를 결정해야 한다. 만약 다른 표본을 통해서도 똑같은 결론에 도달하고, 새로운 것을 발견하지 못한다면 이는 이론적 포화(theoretical saturation)상태를 의미하며, 따라서 연구자는 새로운 각도에서 연구를 수행하기 위해 다른 집단을 연구대상으로 선정하게 된다.5)

3. 질적 연구의 과정

기존 논리실증주의 연구과정에서는 연구문제의 정의, 선행연구 검토, 가설설정, 연구설계 (연구방법), 도구화(instrumentation) 및 표본추출, 자료수집, 자료분석, 결론 및 해석, 가설수정 등의 단선적 방향으로 이루어져 왔다. 양적 연구과정에서 가설은 반박과 대안가설을 통해 수 정될 수 있으며, 후기실증주의자들은 실체에 대한 진실보다 궁극적 실체에 다가가는 개연성 혹은 실체에 대한 연속적 근사치(successive approximate)를 강조한다. 그러나 질적 연구설계 는 인식론과 방법론 간에 긴밀한 연결을 강조하며 이는 연구문제 선정, 표본추출절차, 자료 분석 유형 및 해석전략 등 질적 연구의 연구궤도를 결정짓는다. 특히 질적 연구에서는 이러 한 연구과정의 각 요소들이 일정한 방향으로 작용하는 것이 아니라 역동적 상호작용을 나타 낸다.

즉, 질적 연구에서의 연구과정은 역동적 무도장(dynamic dance)이라고 할 수 있다. 질적 연 구에서 중요한 것은 철학적 기반(philosophical substructure) 혹은 패러다임 선택(paradigm choice)이라고 할 수 있다. 이는 ‘분석적 귀납화(analytical induction)’를 통한 이론형성(theory generation)을 추구하며, 일부 질적 연구자들은 근거이론관점(grouded theory perspective)6)을 채택하기도 한다. 즉, 질적 연구에서는 가설설정, 자료수집, 자료해석, 결론도출 등이 일방향 적으로 전개되는 것이 아니라 동시적으로(synchronic) 혹은 반복적으로(iteratively) 이루어지 는 과정을 거친다. 연구자는 자료를 수집함과 동시에 그것을 해석하고 광범위한 관념들을 검 증하고, 다시 추가자료를 수집한다.

Ⅳ. 질적 자료의 분석과 해석

질적 연구에서 자료의 수집, 분석 및 해석은 선형적인 것이 아니라 상호적(dialectic)이며, 순환적으로 이루어진다(Agar, 1980: 9). 일반적인 질적 자료의 분석과 해석은 다음과 같은 단 계를 거쳐 이루어진다고 할 수 있지만, 단일의 최선의 방법이 존재하지는 않는다. 이와 관련 Tesch(1990)에 의하면 질적 분석은 예술적으로, 경우에 따라서는 극적으로(playfully) 이루어 질 수 있고, 또 이루어져야 하지만 그것은 많은 방법론적 지식과 지적인 성찰을 요구한다.

첫째, 자료준비(data preparation) 단계는 자료의 필사(transcribing) 단계로서 연구자는 다양 한 연구방법(심층면접, 핵심집단면접 등)을 통해 얻어진 자료를 문자화된 형태로 정리하고, 이를 주의 깊게 읽어보면서 관련 오류를 수정할 수도 있다. 해석적 입장에서 보면 필사단계 에서 연구자가 자료를 어떤 형태로 혹은 어느 정도까지 정리할 것인지는 연구자의 이론적 입 장과 연구질문에 따라 달라질 수 있고, 연구대상과 긴밀한 상호작용을 통해 이루어진다.

둘째, 자료탐색(data exploration) 및 자료축소(data reduction) 단계는 동시에 이루어진다. 탐 색단계에서 연구자는 각종 문자, 시각, 청각자료를 분석하며, 핵심적인 내용 등을 요약하여 문자, 도표, 그래프 형태 등의 메모를 작성하면서 코드화 작업을 하게 된다. 자료의 코딩과 분 석은 주로 근거이론접근7)에 의해 이루어진다. 연구자는 자료수집과 동시에 개방형 코딩 (open coding)을 통해 분석과정을 시작하는데, 메모작성을 통해 코드를 범주(category, 개념) 의 수준으로 발전시킬 수 있다.8) 근거이론접근에 의한 분석은 한 줄 한 줄 주의 깊게 읽어 가 면서 각 줄, 문장, 단락에 대한 코딩과 메모작성을 통해 핵심적인 범주나 개념을 도출하는 것 이다.

연구자가 작성한 코드는 기술적일 수도 있고, 경우에 따라 해석적일 수도 있다. 질적 자료 에 대한 1차 코딩(initial coding)이 이루어지고 나면, 2차적으로 심화된 코딩작업(focused coding)이 이루어지며, 심화코딩을 통해 개념형성과 구체화가 이루어진다. 즉, 심화코딩에서 는 단순히 자료에 이름을 붙이는 것이 아니라 분석적 범주화(analytical category)를 요구하게 되며, 이러한 과정을 통해 이론적 구성(theoretical constructs)을 시작하게 된다. 또한 코딩과 메모작성의 과정은 선형이 아닌 순환적 과정을 통해 역동적으로 이루어지게 된다.

셋째, 자료해석(Interpretation) 단계에서는 코딩과 메모작성을 통해 도출된 질적 자료의 핵 심개념, 주제들에 대한 의미를 부여하게 된다. 최근에는 방대한 양의 질적 자료분석을 위한 각종 컴퓨터 소프트웨어의 발전으로 소프트웨어에 의한 분석과 해석과 관련한 이슈도 제기 되고 있다. 그런데 근거이론접근뿐 아니라 모든 질적 연구에서 자료의 분석과 해석이 구별되 는 것은 아니며, 자료수집과 동시에 분석과 해석이 이루어진다. 특히 메모작성이 질적 자료 의 분석과 해석을 연결하는데 중요한 역할을 수행하게 된다. 또한 질적 자료의 해석에 있어 연구자와 연구대상자의 역학관계(power dynamics)가 중요한 영향을 미칠 수도 있다.9)

넷째, 원고작성(writing up) 단계로서 질적 자료에 대한 분석과 해석이 이루어지고 나면 혹 은 분석 및 해석과 동시에 원고를 작성하게 된다. 여기에는 실존주의적 관점(realist)과 비실존 주의적 관점(non-realist)이 대립된다. 연구자에 의해 발견될 수 있는 실재가 연구자 밖에 존재 한다고 가정하는 실존주의 관점에서는 전통적으로 공식화된 글씨기가 강조되는 반면, 포스 트모더니즘을 토대로 하는 비실존주의 관점에서는 연구발견을 표출(represent)하는 방식에 차이가 있다. 즉, 극장공연과 같이 예술과 인문으로부터 글쓰기 장르를 차용하면서, ‘공연과 같은 글쓰기(performative style)’ 형태를 취하게 된다. 그러나 이러한 실험적 글쓰기와 전통적 글쓰기가 상호 배타적인 것은 아니며, 연구과정에서 상호 활용되기도 한다.

Ⅴ. 맺음말

질적 연구들은 어떠한 이론적 입장을 채택하든지 공통적으로 사회적 실체에 대한 접근에 있어 해석적 과정(interpretative)을 통한 사회적 구성(social construction)을 강조한다.

질적 연구에 있어서는 정형화된 단일의 연구방법과 연구설계가 존재하지 않는다. 질적 연구는 응답자의 특성, 연구가 수행되는 맥락 등에 따라 상황의존적으로 이루어지게 된다. 단일의 질적 연구방법을 강조하는 것은 역설적으로 양적 패러다임으로의 귀환을 의미하기 때문이다.

질적 연구 방법의 내용과 적용전략: 양적인 질적 연구와 질적인 질적 연구*

1)임도빈**

Ⅰ. 질적 연구가 왜 중요한가?

질적연구방법이란 빈도(frequency) 등 수치적 방법에 의한 이외의 방법으로 현 상을 해석하고, 재코딩하고, 설명하는 다양한 방법론을 의미하는 광범위한 개념 이다(Van Maanen, J. 1979).

한국의 행정학 및 정책학의 연구경향은 경험적이고 실증적인 연구가 큰 비중을 차지하고 있다(권경득, 2006; 박흥식, 2006). 이에 따라 학생들의 질적 연구에 대한 이해는 매우 혼란스럽고 단순히 계량연구의 반대적인 것으로 오해하는 경우도 있 다. 하지만, 밀턴 프리드만(Friedman, M,1966:4)이 제기한 대로, 실증연구는 원칙적 으로 규범적 연구와는 다른 연구이므로, 만약 어떤 질적 연구가 계량 연구가 아니 면서 동시에 규범적 연구가 아니라고 한다면 이는 실제 일어난 일 또는 행위에 대 한 연구일 수 있으므로 경험적, 실증적 연구로 볼 수도 있을 것이다. 따라서 질적 인 방식으로 수행된 연구가 경험적 실증적 연구가 아닐 것이라는 편견은 일종의 과학주의의 미신이다. 다만, 질적 연구의 중대한 특성으로 연구자와 사물 간에 상 호의존과 상호작용을 토대로(윤견수, 2005:1) 연구자 저마다의 사회적 현실 (multiple realities)의 형성(구성)이 가능하다. 그 과정은 연구자가 사물을 이해해가 는 의미해석(sensemaking)과정과도 무관하지 않으므로 가치개입적일 수 있으며, 결국은 “실증적(positive)”이라는 용어는 ‘질적 연구다운’ 것과는 어느 정도는 상존 하기 곤란한 것이 되기도 한다.

Ⅱ. 기존 질적 연구들의 맥락적 이해

질적 연구(qualitative research)라는 용어가 가져다주는 의미는 다른 배경을 가진 사람들에게 다 다르게 나타난다(Strauss and Corbin, 1998:11).

1. 무엇이 ‘ 질적’ 인 것인가에 관한 다양한 견해들

질적 연구를 정의하기는 쉽지 않다. 많은 사람들은 비수학적(non-mathematical) 분석, 비수치적(non-numeric) 자료, 비통계적(non-statistical) 방법을 차용(Strauss & Corbin, 1998: 10-12) 하는 연구를 질적 연구라고 알고 있다. 또한 어떤 이들은 질적 인 것이란 주관적인 것과 동일하다고 보아 심지어 비과학적인 것으로 보기도 한 다. 혹은 계량적 방법이나 사례연구를 하지 않은 것이란 의미에서 이론적인 것과 동일한 것으로 받아들이는 경향이 있다.

그러나, 사회과학에서 완벽하고 객관적이고 명확한 사실이나 개념이란 존재하 지 않는다. 사회현상에 대한 서로 다른 다양한 견해가 존재할 뿐이다. 이런 점에서 질적인 것은 주관적인 것 즉, 가치적인 측면을 포함하여 생각하는 경우가 많다. 따 라서 많은 사회과학자들은, 관찰이란 것이 이론에 기반하여 이루어지기 때문에 체계적인 관찰이 현실에 대해 진실을 말해줄 것이며 과학적 주장은 검증할 수 있 다고 보는 실증주의자들의 생각에 동의하지 않는다(Johnstone, 2000). Cameron 등 (1992)은 관찰과 현실에 대한 이러한 딜레마를 해결할 수 있는 두 가지 방법을 제 시한다. 

• 하나는 이른바 상대주의(relativism)로서 관찰만이 아니라 현실 또는 이론 에 의존하므로, 세상은 개인들에 따라 차이가 나며 따라서 기술(describe)할 수 있 는 단일한 현실은 존재하지 않는다고 본다. 이들은 서로 다른 사례에서 관찰과 현 실간의 상호작용이 같은 방식으로 일어나는지 여부에 대한 일반화 작업을 하지 않는다.

• 반면 객관적 현실주의(realism)는 관찰은 이론에 기반하지만 현실은 그렇지 않 다고 보면서, 사람들이 사용하는 문장들은 서로 다르며 잘못 들릴 수도 있지만 같 은 발언을 듣는 두 사람의 경험은 어느 정도 같다고 보고 있다. 대부분의 사회학자 들은 다소 차이가 있겠지만 현실주의적 입장에 서 있다고 볼 수 있다(Johnstone, 2000).

한편, 어떤 이들은 접근방법과 패러다임 등도 질적인 것으로 간주하기도 한다. 접근방법이란 어떤 현상의 가장 두드러진 특징을 중심으로 연구하는 것을 말하 며, 이러한 특징은 특정 학문분과에 있어서 “문제와 자료”의 선정기준이 된다.

이렇듯, 질적 연구란 매우 다양하고 다중(multiplicity)적인 방법론을 포괄하는 것 으로 ‘질적’의 의미를 밝히기 위해서는 여러 질적 연구방법의 공통분모를 추출해 보는 것이 유용할 수 있다. 질적 연구는 비교적 덜 알려진 영역에서의 사회적 실체 와 현상이 어떻게 해석, 이해되고 경험되거나 생성되는가에 관심을 두기 때문에, 무엇보다도 연구대상의 사회적 맥락에 큰 관심을 갖는다. 설명방법에 있어서도

현상의 피상적인 유형, 추세나 상관관계의 묘사보다는 ‘본질적인’ 형태의 분석과 설명을 보다 강조한다(제니퍼 메이슨, 1999).

2. 양적 연구와 어떻게 다른가?

일반적으로 양적 연구는 질적 연구와는 달리 ‘객관적 연구’라고 받아들여지고 있다. 그렇다면 객관적이라는 것이 어떤 의미인가를 살펴볼 필요가 있다. 객관적 이라는 말은 사실(fact)이라는 말과 일맥상통한다. Simon(1958)은 행정현상을 가치 (values)와 사실(facts)로 분리하여 후자에만 국한하여 실증적으로 연구할 것을 주 장하였다.

사회과학에서 통상적으로 간주하는 ‘객관성’2)의 의미는 첫째, 경험적 사실인가 여부, 둘째, 모든 사람들이 동일하게 느끼는가의 여부, 셋째, 신뢰성 있는 사실인 지에 따라 달라진다. 그런데 모든 사람들이 동일하게 인식하거나 느끼는가 하는 문제에서 많은 사람들이 특정 현상을 동일하게 보고 느낀다는 이유자체만으로 그 현상을 사실이라고 규정할 수는 없다. 과거 천동설이 지배적인 시대에 사람들은 지구가 고정되어 있고, 태양이 움직인 것으로 경험적으로 느꼈지만, 실제로는 지 구가 움직이는 것이 올바른 사실이었다. 신뢰성이 있는 사실이란 같은 조건에서 같은 실험을 수행했을 때 동일한 결과를 가져오는 경우에 성립한다.

질적 연구는 양적 연구가 추구하는 수치의 통계적 결과에 의해 제시된 “사실 (facts)”를 추구하는 것(남궁근, 2004)과는 다르다. 즉, 연구대상이 특정 사회 환경에 놓여 있는 행위자에 의해 지각된 사회적으로 구성된 실제(socially constructed reality)를 추구한다(Meyer and Rowan, 1977; Granovetter, 1985; Weick, 1993). 행위자나

연구자의 인식(perception)을 중시한다는 점에서 상술한 객관성의 기준에서 볼 때 문제성을 띠고 있는 것이 사실이다.

<그림 1> 연구방법의 유형

그런데, <그림 1>의 [유형 Ⅱ, Ⅲ, Ⅳ] 모두 질적 연구로 알려져 있다. [유형 Ⅱ, Ⅲ, Ⅳ]는 귀납적이라는 점에서 질 적인 방법론이라고 알려져 있는 것 같다.

그러나 [유형 Ⅱ]는 일단 자료수집단계에서 개방적인 태도로 문제를 본다는 점 에서 질적인 연구로 간주하는 경향이 있는데, 실제 연구에서 주장하고자 하는 것 을 수치(즉, 통계)로 판별한다는 점에서 엄밀한 의미에서는 질적인 연구라고 보기 는 어렵다. 특히 [유형 I]은 물론이고 [유형 II]의 연구도 연구자가 연구대상이란 연 구자와는 별도로 객관적으로 존재하는 것으로 보는 자세를 갖는 경우, 협의의 질 적 연구라고 보기 어렵다.

흔히 알려진 내용분석(contents analysis)이 그것인데, 연설이나 대화에서 특정단 어의 출현빈도수를 찾아 통계법(예, 카이자승법)으로 분석하는 것이 대표적인 예 이다. 또한 과거 인간관계를 연구하는 방법으로 소시오메트리(sociometry)를 사용 하다가 최근에는 네트워크 이론이 발달되고 있다. 컴퓨터를 이용한 네트워크 분 석기법에 의해 시각적으로 일목요연하게 네트워크가 표시될 수 있다. 그러나 이 를 그래픽화하는 것을 넘어서 통계적 유의성 검증기법에 의해(예컨대 두 네트워 크의 중심성(centrality)을 유의성여부를 검증하는 소프트웨어가 있다) 검증한다면 질적 연구라기보다는 오히려 ‘양적 연구에 가깝다’고 할 수 있다.

본고에서 말하는 질적인 질적 연구는 결국 [유형 Ⅲ]과 [유형 Ⅳ]이다. 이 두 유형 의 공통점은 주요한 결론을 통계방법에 의존하지 않고 연구자의 사유능력에 의존 한다는 점이다. [유형 Ⅲ]의 대표적인 것은 근거이론과 행위이론 등이다. 미리 정 해진 분석틀이 아니라 철저히 개방적인 태도로 현실을 이해하고 순차적인 귀납적 방법에 의해 이론에 도달한다는 것이다. Michel Crozier(1964)나 Friedberg의 행위이 론은 조직연구에서 인터뷰에 의하고, 연구대상 행위자들의 실제 행위내용을 근거 로 한다는 점에서 연구자의 주관을 배제하려고 한다. 이런 점에서 연구자의 주관 을 인정하고 밝히도록 하는 근거이론과는 차이가 있다.

[유형 Ⅳ]는 현상학이나 비판이론과 같이, 통합적 접근법이라는 점에서 [유형 Ⅲ]과 구분된다. 결국 연구자의 주관이 가장 중요한 연구추진력이 되고, 사회는 부 분으로 나누어 분석적으로 하기보다는 전체적으로 이해되는 경향이 있다.

3. 양적 연구와의 보완 가능성

King et.al.(1995)은 최고의 사회과학 연구들은 계량적 연구와 질적 연구의 혼합이 주류인데, 이것은 근본적인 추론과정 간 에 모순이 없기 때문이라고 말한다. 그러나 엄밀성이라는 가치를 얻기 위해서는 지불해야 하는 비용이 반드시 있기 마련이다. <그림 1>에서 제시한 유형들을 기분으로 할 때, [유형 I]과 다른 유형들 간 결합을 한다는 것은 그리 쉬워보이지 않는다.

그러나 국내 질적 연구가로서 조용환(1999a:104~109)은, 한국에서 수행되는 소 위 양적 연구와 질적 연구의 결합은 “질적 연구와 양적 연구를 어정쩡하게 결합시 켜놓은 경우로, 석･박사 학위논문에서 자주 발견되며, 그 원인으로써, 질적 연구 에 관심을 가진 학생이나 지도교수가 심사위원들의 몰이해와 반발을 우려하여 과 감하게 질적 연구를 추진하지 못하고 우회”하기 때문에 발생한다고 주장하면서 “질적 연구와 양적 연구가 연구기법상 혼합할 수는 있지만 연구논리상 화합할 수 는 없다”고 강조하고 있다. Sydney Tarrow(1995) 역시도 다각화(Triangulation)의 효 능은 양적 데이터가 부분적이고 질적 조사가 정치적 환경에 의해 막혀있을 때 특 히 적합하다고 강조하고 있다.

Ⅲ. 질적 연구의 유형과 연구전략

1. 양적인 질적 연구: [유형 II]

양적인 질적 연구에서는 ‘검증해야 하는 기존이론이란 좋은 것’이라는 암묵적 인 전제를 하고 있다. 가상적 예로서, 대통령의 라디오 연설에서 ‘공공서비스’ 정 신이 많이 포함되면 될 수록 대통령의 지지율이 높을 것이라는 가설을 검증하는 것이다. 이때 ‘공공서비스 정신’을 담은 단어를 찾아내는 내용분석을 하는 것이다.

즉, 양적인 질적 연구를 옹호하는 시각을 가진 사람들은, 질적 연구를 수행하는 방식에 있어서도, 선행연구를 통해 연구문제를 도출하는 쪽으로 흐를 가능성이 크므로 이론으로부터 가설을 도출할 가능성이 많으며, 자료에서 가설을 도출하는 세련되지 못한 경험주의((brute empiricism)를 피할 수 있게 된다. 충분히 개방되고 유동성 있는 질문(홍영기, 2006)을 가지고 자료와 연구자와의 상호작용을 토대로 (Creswell, 1998) 진행되는 질적인 질적 연구와는 다른 것이다,

결국 진정한 질적 연구는 연구문제에서부터 차이가 있게 된다. 

• 양적인 연구는 사회의 모든 현상이 인과관계라는 법칙에 의해 움직인다고 전제하고 이를 규명하 기위해 이론(가설)검증한다. 따라서 어떤 설명대상(종속변수)이나 독립변수의 출 현여부나 정도를 어떻게 경험적으로 측정하느냐의 문제와 이들 간에 관계가 있느 냐 여부를 통계적 유의성으로 검증하는데 중점이 있다. 이에 비하여 

• 질적 연구는 사회현상의 단일성이나 인과관계를 전제하지 않고, 개별 사례(연구대상)의 독특 성을 이해하는데 중점을 둔다. 따라서 독립변수나 종속변수의 측정보다는 이들이 어떤 과정을 통해 왜 일어나는가를 탐구하는데 연구자의 노력이 집중된다. 

• 예컨 대 관료부패와 관료의 월급관계를 규명하는 것이 양적 연구가 해결해야 하는 연 구문제라고 한다면, 젊고 청렴한 관료가 어떤 환경과 과정을 통해 부패에 연루되 는가의 과정을 이해하는 것은 질적 연구의 대상이 된다. 따라서 같은 관료에 대한 인터뷰의 내용도 이 접근방법에 따라 상이할 수밖에 없다.

이러한 시각에서 볼 때 아무리 계량화되지 않는 자료(인터뷰, 비디오, 문서 등의 질적 자료)를 활용한다고 하더라도 모두 질적인 연구라고 보기는 어렵다. 양적인 질적 연구는 방법 자체가 이론부터 설 명하고 들어가거나, 혹은 그렇지 않더라도 이론을 전제로 연구 참여자의 인터뷰 내용이 사실을 뒷받침하는 수단으로 사용된다. 이 점은 인터뷰 내용의 진실의 신 빙성 여부나 인지적 편이(bias)문제를 중요 이슈로 다루는 질적인 질적 연구에서 는, 인용문을 사실적 주장의 수단으로 보지 않는다. 이 점에서 두 연구방식의 인식 의 간극이 매우 큼을 알 수 있다.

2. 질적인 질적 연구

1) 연구의 관심과 특성

흔히 질적인 연구를 겨냥한 잘못된 비판(Eight Common Erroneous Critiques)을 보면 다음과 같다.7)

첫째, 논문작성은 가설을 가지고 출발해야 한다(This paper needs to start with a hypothesis). 이것은 가설검증을 연구의 핵심으로 보는 실증주의자들이 주장하는 내용이다. 연구자가 어떤 연구대상을 대상으로 가지고 있는 궁금증(즉, 넓은 의미 의 연구문제)만 가지고 있어도 연구의 개시는 충분한 것이다. 넓은 의미의 연구문 제가 있으면 논문작성에 아무런 지장이 없다.

둘째, 외적 타당성이 있어야 한다(This study lacks external validity). 가설검증을 주 장하는 실증주의자들이 가진 편견으로 이를 해결하는 방법이 통계적 유의성검증 이다. 즉, 일반화를 위해 다른 유사한 집단에 적용가능성을 표본추출 오차라는 측 면에서 검증하는 것이다. 그런데 질적 연구에서는 개별 연구대상의 독특성을 강 조하기 때문에 연구결과의 외적 타당성에 비중을 두지 않는다.

이와 같은 맥락에서 왜 극단사례를 가지고 연구하느냐(Why are you focusing on these extreme, negative cases anyway?)라는 비판을 하게 된다. 그래도 대표성이 있는 중간정도의 사례를 연구하는 것을 선호하는 경향이 있다. 그러나 극단적 사례를 통한 이해가 훨씬 설명력이 더 클 수 있다. 더구나 사회과학 연구의 목적이 현실을 이해하는 것에 중점을 둔다는 점과 모든 연구대상들은 독특하다는 것을 전제하기 때문이다.

셋째, 종속변수가 무엇인가( So what’s the dependent variable?)라는 비판을 받게 된다. 질적 연구에서 현상에 대한 이해에 중점을 두면 소위 독립변수라고 할 수 있 는 것을 파악하는데 전력을 기울이게 된다. 이런 과정에서 작성된 연구는 가설검 증을 지지하는 연구가의 눈에는 가치가 없는 것으로 보인다. 질적 연구는 무엇이 원인이고 결과인가를 묻는 연구가 아니다. 따라서 시간선행, 혹은 인과관계를 규 명하는 것이 아니다. 다만, 질적 연구의 관점은 “현재진행형(ongoing)”으로 진리를 향해 정진하는 것이다. 나아가서 연구대상은 항상 진화 내지 변하는 것이기 때문 에 어떤 확정성은 없다고 봐야 한다.

넷째, 연구자의 주관성 문제나 오류문제(Author error)가 배제되었느냐의 비판이다. 실증주의에서는 연구자의 무오류성을 추구한다. 그러나 질적 연구는 객관적 데이터를 해석하는 것이 아니라 연구자가 가진 편견을 그대로 내포하면서 연구를 진행하므로 항상 연구자로부터 기인하는 오류가 있다고 비판을 받는다.

그러나 질적 연구에서는 객관적인 데이터는 존재하지 않는다고 믿는다. 예컨대 GNP와 같은 자료도 사실 그 나라의 자연적 조건, 산업구조, 인적 자원, 분배구조 등에 따라 나라마다 서로 다른 의미를 가질 수 있는 것이다. 이런 차이를 무시한채 국가간 GNP를 비교하는 가설 검증을 한다면 ‘다른 것을 같은 것으로 믿는 더 큰 오류’를 범할 수 있는 것이다. 두 사람이상의 연구자가 인터뷰를 하고 코딩을 하는 경우에는 이들 연구자들간의 일관성이 문제가 될 수 있다. 특히 근거이론과 같이 개방코딩, 축코딩을 하는 경우 이들 간 코딩결과가 완전히 서로 다른 것이 된다면 문제가 될 수도 있을 것이다( The problem with this coding process is that you can’t establish inter-rater reliability about what things mean?). 이 점은 질적인 연구방법의 태 생적인 약점으로 연구자간에 상호비교하고 토론하는 과정을 거침으로써 어느 정 도 해결할 수 있다. 그러나 질적 연구는 일반화나 객관성의 확보가 연구의 핵심적 목적이 아니므로 치명적이라고 할 수는 없다.

다섯째, 질적 연구는 소수 표본이어야 한다는 믿음도 절대적인 기준은 아니다 (But Helen, you’re not a qualitative type; you interviewed 200 people!). 200명이 넘는 사 람을 인터뷰하여 질적인 연구를 진행할 수도 있다. 사실 질적인 연구도 다양한 사 례를 보고 연구를 하면 바람직할 것이다. 그러나 질적인 연구에서는 연구대상 표 본이 많을수록 좋은 것은 아니다. 따라서 소수 표본으로도 훌륭한 연구가 가능하 다. 거꾸로 최근 통계기법이 발달하여 소수의 표본의 경우는 정규분포를 가정하지 않고 통계검증을 하는 양적 연구를 할 수 있다.

여섯째, 질적인 연구는 사적인 비밀보호의 원리를 침해한다(Aren’t the death row inmates at risk of having their privacy violated by your research?). 연구의 기본단위가 주 로 개인이고, 인터뷰나 관찰 등의 방법으로 이들 연구대상 인간들의 생각이나 행 동을 면밀히 이해하는 데에서 시작하고 그 과정이 어떻게 되었느냐가 연구의 질 을 좌우 한다. 이 연구과정에서 연구대상인 개인의 사적 생활이 연구자에게 노출 될 수밖에 없다. 이로 인해 연구자와 연구대상간의 정보보호의 문제가 생긴다. 따 라서 질적인 연구에서는 연구윤리를 매우 중시한다. 우선 연구대상으로부터 연구 를 진행하겠다는 동의를 얻는 것이 필수적이고, 연구결과물에서는 익명성을 유지 하기 위한 각종 장치가 필요하다.

논문제목이나 내용목차에 “질적” 혹은 그밖에 질적 연구의 전통에 해당하는 용어가 포함되어있다고 해서 모두 질적 연구로 섣불리 단정할 수는 없음(조용환, 1999a:92)을 명심해야 한다.

2) 질적 연구방법(유형 Ⅲ)의 특성

Guba & Lincoln(1994:107)에 의하면 양적 연구와 질적 연구는 연구를 이끄는 존 재론, 인식론, 방법론상에 그 전제가 되는 신념체제(belief system)가 다르다고 한다. 바꾸어 말하면, 양자의 차이가 단순한 연구방법상의 차이가 아니라, 연구논리상 에 그 기저가 다름을 의미한다. 질적인 질적 연구란, 이렇게 연구방법상의 차이 뿐 만이 아니라 연구논리상 차이 즉, 패러다임이 완전히 다른 연구 방식인 것이다.

질적인 질적 연구(즉, [유형 Ⅲ], [유형 Ⅳ])는 연구의 출발 단계에서 전혀 이론 (theory)에 근거를 두지 않고 출발한다. 왜 이러한 질적 연구를 해야 하는가에 대한 이유(moments)는 다음 세 가지로 요약할 수 있다.

첫째, 연구참여자(natives 즉 연구대상)의 모멘트, 

둘째, 연구자(researcher)의 모멘트, 

셋째, 독자(audience)의 모멘트이다(Brower, 2007).

질적 연구는 바로 이 세 가지 모멘트들의 상호의존과 상호작용을 토대로 ‘의미’를 이끌어내는 장점이 있다(윤견수, 2005:1). 요컨대, 질적인 질적 연구는 기존 용어나 이론에 기대지 않 고, 생활세계(life world)의 상황에 근거를 두고, 그것을 담아 낼 수 있는 이론적 개 념(theoretical concept)을 정립(build)해 나간다.8) 그 일천(一淺)한 수준으로부터 발 견된 몇 가지 사실로부터 점점 더 코딩 작업을 고양화시킴으로써 마침내 모든 개 념을 아우르는 이론을 도출하는 것이다. 즉, 자료로부터 명명된(label) 개념으로부 터 점점 더 넓게 추상화 시켜나가는 상향식(bottom-up) 귀납연구이다.9)

이러한 과정에서, 많은 질적 연구가들이 여전히 자료 수집 이후의 과정을 ‘분석’ 으로 통칭하는 관행을 보여 왔다. 이는 다분히 양적 연구의 전통을 따른 것이라고 비판받을 수 있다(조용환, 1999b:28). 

• 나아가서 양적 연구(혹은 양적인 질적 연구) 에서는 연구자가 사물(thing)에 대해 대자(對自)적 관계로 설정되기 때문에 ‘적용’ 이라는 용어가 성립 가능하나, 

• 질적인 모멘트에서는, 연구자와 대상 간에 주객의 혹은 주종적 존재 양식의 구분이 더 이상 의미가 없어지게 되는 것이다. 이와 같 이, 질적인 질적 연구에서는 연구자가 사물과 즉자(卽自)적 관계에 놓여있음으로 말미암아, 연구자의 인식의 범위(perceptual field) 내에서 사물이 지각되고, 의미가 해석･재해석되는 것이다.10)

이러한 설명방식은 기존 이론을 사례를 통해 확인하는 연역주의적 방식과는 거 리가 있는 방식이고, 이러한 설명방식이 설득력이 있는 이유는 자료로부터 범주 화된 개념들이 이론을 구성함에 있어 직결되는 증거(evidence)가 되기 때문이기도 하지만, 연구자가 독자적(질적)으로 구축한 이론이 결국 ‘왜(why)에 대한 대 답’(Kaplan, 1964; Merton, 1967; Sutton & Staw, 1995: 378)으로서 그 역할을 잘 해주기 때문이다.

결국 이러한 질적인 질적 연구는, 개인 조직원이 제도를 사회적으로 습득한 사 고방식 즉, 각 개인의 의식에 각인된 사고의 사회적 습관으로 보는 사회학적 신제 도주의에 기초하여 질적 연구의 의미를 재조명할 수 있고, 그 방법으로서의 현상 학과 깊은 관련을 가지는 것이다.

따라서 질적 연구를 진행하는 데에는 중점을 둬야하는 측면이 타당도와 신뢰도 에 중점을 두는 양적인 연구의 경우와 다르다. 이를 몇 가지로 정리하면 다음과 같 다.(Lawrence F. Locke, Stephen J. Silverman & Waneen Wyrick Spirduso, 2004:221～225)

우선 충분한 연구기간(The machinary of time)의 문제이다. 사실 이러한 연구성과 물의 질은 연구자가 연구대상 상황에 얼마나 충분한 시간을 보냈는지가 절대적 결정요인이다. 실제로 몇 시간, 몇 일을 보내야 하는지 잘라서 말하기 어렵다. 그 러나 연구자가 연구대상에 대해 충분한(만족할만한) 수준의 정보를 얻는데 필요한 시간을 의미한다. 대체로 행정학계에서 질적 연구를 표명한 연구들이 매우 짧 은 시간을 소비하여 질을 담보하지 못하는 경우가 많다.

둘째, 주관성의 원칙(The machinary of subjectivity)이다. 질적 연구는 연구자의 주 관이 개입되는 것을 당연한 것으로 받아들이는데, 연구자가 이에 대해 스스로 어 느 정도 의식하고 있는가가 중요하다. 이 세상에서 객관성이라는 것은 존재하지 않는다고 보는 것이다. 1차 자료의 획득 후 한 걸음 물러서서 이를 관조해보는 자 세 등이 필요하다.

셋째, 부정합성의 원칙(The machinary of What Does Not Fit)이다. 조사결과 연구 목적에 부합되지 않는 것, 논리적으로 맞지 않는 것, 극단적 예외 등에 대해 양심 적으로 처리하고 깊이 생각해야 한다. 이를 그냥 무시하거나 의도적으로 누락시 키고, 마치 자신의 결론이 거의 현실에 부합되는 것처럼 해서는 절대로 안된다. 사 실 복잡한 현실세계를 이해하기 쉽게 멋있게 설명하는 것은 쉬운 일이 아니다. 그 러다 보니 거짓연구를 하려는 유혹이 있는 것이다.

넷째, 관계성의 원칙(The machinary of Relationship)이다. 연구 대상 사람들 간에 오간 대화나 인터뷰 내용에는 이들 간의 인간관계가 내포되어 있음을 항상 주의 깊게 감안해야 한다. 연구자와 인터뷰 대상자의 관계도 마찬가지 차원에서 엄격 히 고려되어야 한다. 즉, 연구자와 연구대상간의 상호작용에 각별히 주의해야 한 다. 정책연구에서는 정책입안부터 집행 시, 그리고 평가 시까지 외부연구자가 대 상집단과 긴밀히 상호작용하여 추진해야 한다. 예컨대 조직진단의 경우, 조직개 편안을 담은 보고서 제출이 최종점이면 안 되고, 그 개편안의 실행에도 연구자가 깊이 관여하여 소정의 효과가 나오도록 해야 한다.

다섯째, 맥락의 원칙(The machinary of Context)이다. 사회적, 역사적, 물리적 환경 을 제대로 묘사하고 분석(설명)의 주요 내용으로 포함시켜야 한다. 이를 통해 독자 들은 연구의 결론을 유사한 상황으로 적용해 볼 수 있을지를 판단하게 된다. 이것 은 두터운 기술(Thick description)의 주요 부분이기도 하다.

우선 근거이론을 사용한 정책시뮬레이션(권선필, 2007:34) 연구에서, 예컨대 검색된 뉴스기사 데이터는 개방코딩(open coding)의 개념들의 소스이다. 이후, 상위 범주인 축코딩(axial coding) 단계에서는 몇 개의 하위 단계의 개념들이 하나의 상 위 범주의 소속으로 묶이게 된다. 이때 하나의 개방코딩은 복수의 축코딩에 중복 되게 소팅(sorting)이 된다거나 혹은 누락되지 아니하며, 타개념과 상호 배타적으 로(즉, 비중복적으로) 일관성있게 범주화가 진행된다. 그러한 작업에 도움을 주는 것이, ATLAS.ti나 MAXqda와 같은 소프트웨어들이다.

3. 질적 연구의 유형별 연구전략

질적 연구를 하는 데에는 많은 타당한 이유들이 있다(Strauss & Corbin, 1998:11). 

• 첫째, 연구자들의 경험이나 선호로 인하여, 

• 둘째, 연구자들의 기질이 질적 연구 작 업의 형태를 수행하는데 더 적합하기 때문에, 

• 셋째, 연구자의 배경 학문 분야가 인 류학(anthropology)에서 왔거나, 전통적으로 질적인 방법을 이용하는 현상학이라 는 철학적 지향을 들고 있다. 

이러한 이유 중 어디에 속하느냐에 따라 여러 질적 방법론중 어느 방법에 의존할 것인가가 어느 정도 정해질 것이다.

우선 사례연구는 연구대상의 단위(unit)를 결정할 때 적어도 지리적으로 혹은 물리적으로 어느 정도 경계가 뚜렷한 경우를 의미한다. 사례의 크기는 천차만별 인데, 질적 연구를 할 때에는 대규모의 사례단위를 다루기는 쉽지 않다. 사례연구 란 이런 연구대상에 대한 관찰, 인터뷰, 자료분석 등을 통해 어떤 현상을 기록, 보 고, 진술하는 것이다. 실험이 자연과학에서 이론의 검증과 발전의 재료이듯이, 사 회과학에서는 관찰이 이론의 검증과 발전의 재료이고, 사례연구는 이 재료의 한 종류이다.13)

사례연구는 관찰의 보고 및 기록이고, 관찰은 어떤 시각과 관점이 없이는 이루 어질 수 없다. 이때 시각과 관점은 불가피한 선택이다. 포퍼는 관찰은 더욱이 관찰 진술이나 실험결과의 진술은 언제나 관찰된 사실의 해석이고, 이론에 비추어본 해석이라고 말한다. 뒤집어 본다면 이론(혹은 가설)이 없으면 어떤 의미 있는 해석 도, 관찰도 이루어질 수 없다는 뜻이다(최병선, 2006).

다음으로, 문화기술적 연구방법은 사회집단의 총체적인 문화(holistic culture), 즉 집단구성원들의 행위, 신념, 가치, 그리고 그러한 것들을 구성하는 문화적 요소들 을 종합적으로 기술하여 이해하고자 한다(남궁근, 2004). 이 경우 특정 민족집단, 원시사회, 갱(gang)집단과 같은 특수하위집단을 대상으로 심층연구하기 때문에 전술한 사례연구의 범주에 들어간다.

문화기술적 방법에서는 인간의 행위는 맥락적 성향(contextual orientation)이 있 다고 본다. 즉, 인간의 행위는 사회문화적 환경의 맥락에서 형성되며 모든 인간사 는 문화와 분리될 수 없다는 의미이다(남궁근, 2004). 따라서 이 연구에서는 사회 문화적 유형이 행위자들의 활동을 어떻게 규정하는가에 관심을 갖게 되며, 활동 이 일어나는 상황과 조건들에 집중한다. 문화기술적 연구는 양적 연구와는 달리, 사전에 연구가설을 명확하게 설정하지 않고, 자료를 수집하면서 연구가설을 명확 하게 하고 이에 따라 연구전략을 수시로 수정하는 전형적인 질적 연구방법의 특징을 가지고 있다(남궁근, 2004).

질적 연구 방법론의 의미 있는 또 다른 전통으로서, 근거이론(grounded theory)을 꼽지 않을 수 없다. 근거이론 접근법은 수집한 자료로부터 귀납적으로 이론을 개 발하는 방법이다. 연구자는 자료를 수집하고, 그 자료에 기초하여 가설을 설정하 고, 그 자료를 이용하여 가설을 검증하며, 이론을 개발하려고 시도한다(이종규, 2006). 이렇게 개발된 이론이 근거이론인데, 이는 이론이 특정한 상황에서 도출되 었고 그것에 직접 근거(grounded)하기 때문이다. 근거이론의 연구 절차는 매우 엄 격한 단계를 거치게 된다. 근거이론 방법을 개발한 Glaser와 Strauss는 근거이론 연구의 일곱 가지 주요단계를 제시했다.(남궁근, 2004:317～320)

첫째, 관심주제 선정를 선정한다. 중요한 것은 근거이론 연구에서는 미리 설정 된 가설을 가지고 연구주제를 선택하지 않고 연구를 시작한다. 이렇게 이미 시작 한 연구과정에서 수집한 자료로부터 비로소 가설이 도출되어야 한다. 그러나 반 드시 가설이 있어야 하는 것은 아니다.

두번째로는 연구목적을 결정해야 한다. Glaser와 Strauss는 근거이론의 목적을 

• 초기증거의 정확성 평가, 

• 경험에 기초한 일반론의 확립, 

• 개념의 확인, 

• 기존이론의 검증, 

• 새로운 이론 형성 

등 다섯 가지로 제시하고 있다. 

이 중 어느 것 을 연구목적으로 해도 좋은 논문이 될 수 있다. 그러나 이 가운데 가장 중요하고 궁극적인 것은 새로운 이론 형성이다.

세번째로 연구대상 집단을 선택한다. Strauss와 Corbin은 이를 이론적 표본추출 의 문제라고 불렀는데, 이는 연구주제에 관한 상당량의 정보를 제공할 수 있는 대 상을 선택하는 과정이라고 정의할 수 있다. 연구대상의 크기는 연구목적이나 자 연상태의 (연구대상가능) 집단의 크기에 달려 있다. 표본은 미리 몇 개로 정하는 것이 아니고, 대략 몇 개 정도라고 생각하고 시작하는 정도이다. 실제로 표본추출 과정은 한 차례에 끝나는 것이 아니라 연구가 진행되면서 새로운 표본을 추가로 선정한다. 필요에 따라 더 필요한 표본을 추가시키는 방법인 눈덩이(snow ball) 만 들기와 같은 것이다.

네번째로 실제로 연구자료를 수집한다. 이 때 자료는 인터뷰, 회의록 등 언어로 된 것이 지배적이다. 이를 풍부히 획득하는 것이다. 그런데 근거이론 방법이 가진 뚜렷한 특징 중 하나는 자료수집, 코딩, 그리고 해석 단계가 별개로 진행되는 게 아니라 동시에 진행된다는 점이다. 이러한 과정은 조사 시작부터 끝까지 상호 교 차적으로 진행되어야 한다. 따라서 예컨대 학위논문 논문프로포절을 할 때는 상 술한 3번째 단계까지 하고 가상적 설계를 하는 것이 아니라, 초보적이나마 어느 정도 연구를 진행한 상태에서 하는 것이 더 확실한 방법이다.

다섯째, 자료의 개방된 코딩단계이다. 개방형 코딩은 자료분석의 첫 단계이며 그 궁극적인 목적은 범주를 발견하고 설정하는 것이다. 자료분석을 진행하면서 새로운 자료를 범주와 대비하여 검증함으로써 연구자는 범주를 종합하고, 단순화 시키고, 축소하여 핵심개념으로 정립해 나간다.

여섯째, 자료의 이론적 코딩으로 이론적 또는 선택적 코딩은 자료의 최종적인 구조를 확정하고 개념적 범주들을 중요성에 따라 순위를 매기는 과정이다. 연구 자는 소수의 핵심범주를 제시하고, 수집한 자료 중 이에 적합한 자료를 골라낸다. 이 과정을 반복하여 모든 자료가 범주화될 때까지 계속한다.

마지막 단계는 새로운 이론을 개발하는 과정이다. 연역적 방법이 아닌 귀납적 이론개발이기 때문에 연구자의 사유(speculation)능력이 연구의 질을 좌우한다. 이 와 같이 개발된 근거이론은 다음과 같은 특징을 갖추어야 한다. 

• 첫째, 이론이 연구 주제 및 학문분야와 부합하는 것이어야 한다. 

• 둘째, 그 이론은 연구 상황의 참여자 들이 이해할 수 있어야 하며, 그들에게 유용해야 한다. 

• 셋째, 이론은 연구대상 영 역의 상당 부분을 설명할 수 있을 만큼 복잡한 것이어야 한다.

세 번째의 질적 연구방법으로는 행위 연구(action research)를 들 수 있다. Crozier (1964)의 행위연구는 인간의 행위를 체제론적 입장에서 연구하는 것이다.15) 행위 자의 생각보다는 실제로 행위한 결과만을 가지고 분석을 한다는 점에서 실증적이 면서 질적인 연구방법이다(임도빈, 2004;2009). 행위체제론에서는 조직구성원 개 인의 행위를 중시하여 실제로 일어난 조직의 상황을 충분히 고려하여 조직인들의 전략과 조직인들이 벗어날 수 없는 제약점을 본다. 이를 통하여 일종의 반복적인 행위전략들의 총합으로서 행위체제를 이해하는 것이다. 이는 현실에 밀접한 근거 를 둔 조직분석으로서 개인의 생각을 중시하는 포스트모던식 조직이해와는 구분된다. 즉, 주관성을 강조하는 질적인 방법론과는 달리 이런 점에서 행위체제론은 실증적이면서 객관적인 방법이라고 볼 수 있다.

네 번째로 행정학에 있어서 현상학적 방법의 가능성을 탐색하는 것도 실증주의 적 연구경향이 지배적인 한국행정학계에서 의미 있는 일이다.

최근에는 사례조사가 현상학적, 비판이론적 방법론에 적합한 것으로 인식되어 그 중요성이 새롭게 부각되고 있다(Hummel, 1991:31-32; 박병식, 1993:26 재인용).

끝으로, 해석학적 관점은 중요문헌과 서적, 서면 등으로 전달된 의미를 해석하 고자 한다(안영섭, 1996). 해석학은 19세기 성서를 분석했던 독일의 신학자들에 의 해 시작되었다. 그 이후 법규, 고전문학작품 등과 같이 문헌류에 부여된 의미들을 보다 잘 이해하기 위해서 자료에 대한 해석학적 접근이 시도되었다. 최근 사회과 학 연구자들은 성서해석에서 출발한 해석학의 응용영역을 확대하여 세속적인 문 헌을 해석하려고 시도한다(남궁근, 2004).

4. 좋은 질적 연구결과물의 요건

질적인 연구방법론에 입각하여 수행된 결과물에 양적인 결과물과 다른 기준으 로 판단해야 한다. 특히 학술지 논문심사에서 질적 연구방법론을 잘 이해하지 못 하는 심사자들이 맥락에 맞지 않는 평가를 하는 경우가 많이 있다. 그런데 질적 연 구물이 논문이 되었든 보고서가 되었든 전형적인 표현형식은 존재하지 않는다. ‘이론적 배경→가설→표본추출→가설검증→결론’ 으로 이어지는 전형적인 가설 검증적 양적 연구에 비하여 자유로운 편이다. 따라서 이런 기준으로 질적 연구물 을 판단하는 것은 학문발전을 저해하는 요소이다.

그럼에도 불구하고 질적 연구는 무형식에, 아무것이나 해도 되는 것은 아니다. 질적 방법론 나름대로 갖추어야 할 사항이나 조건이 있는 것이다. Lawrence F. Locke, Stephen J. Silverman & Waneen Wyrick Spirduso(2004:214~215)이 주장하는 질 적 연구물이 담아야할 내용은 다음과 같다.

• 첫째, 어느 것을 연구했는가 연구대상에 대한 설명이 필요하다. (You should find a description of the provenance of the study and what is about). 연구대상의 독특성이 연구의 핵심이 되기 때문이다.

• 둘째, 정보(자료)가 수집된 맥락에 대한 설명이 있어야 한다. (You should find a description of the context in which the data were collected). 같은 정보라고 하더라도 그 의미나 가치가 맥락에 따라 다르기 때문이다.

• 셋째, 위와 같은 맥락에서 과연 누가, 무엇을, 언제, 어떻게, 왜 했는가에 대한 설 명이 있어야 한다. (You should find an account of what was done in that context)

• 넷째, 실제 획득한 1차 정보가 제공되어야 한다. (You should find presentation of actual data) 비록 지면의 제약이 있다고 하더라도 인터뷰 내용 등 1차 정보가 어느 정도 제공되어야 그 내용이 실감 있게 전달된다. 핵심이론부분만 서술하지 왜 인 터뷰 내용을 넣느냐고 지적하는 것이나, 아니면 저속한 용어를 학술논문에 넣는 다고 비판하는 것이 적절치 않다.16)

• 다섯째, 이런 과정을 통해 얻은 지식을 하나 또는 복수이상의 결론으로 요약해 야 한다. (You should find an explicit effort to summarize as well as articulate, one or several conclusion)

이상의 내용은 보통 양적인 연구에서는 익명성이나 주관성의 배제를 보장하기 위해 연구물에 포함시키지 않는 내용들이다. 반면 양적 연구에서 중시하는 가설 설정이나 표본의 대표성 확보문제는 중요하지 않다. 따라서 질적인 접근법을 연 구물을 심사할 때 기고자와 심사자간에 갈등이 발생하는 것이 드물지 않은 것이 다. 질적인 연구방법에 이해가 부족한 사람은 질적 연구물에 대한 심사를 자제해 야 될 것이다.

그러나 질적인 연구가 제대로 되기 위해서는 외부 심사자의 기준보다는 연구자 자신의 윤리가 더욱 중요하다. 윤리성이 확보되지 않은 질적인 연구는 인권의 침 해는 물론이고 연구의 내용을 왜곡시키게 된다. 즉, 자칫 잘못하여 질적인 연구를 남용하면 거짓연구를 양산하게 될 것이다. 양적연구에 치우친 학계의 풍토를 감 안하면 질적 연구방법론의 확산도 중요하지만, 윤리성이 확보되지 않은 한국학술 풍토에서는 매우 주의를 요한다.

우선 연구자는 본인의 연구가 어떤 목적을 갖고 있으며, 그 연구에 누가 관심을 갖고 있고 있으며 이해관계가 있는지 등을 염두에 두고 연구를 진행해야 한다. 모 든 학술연구가 연구자 윤리를 요구하겠지만, 질적 연구에서는 특히 연구자의 윤 리가 중요하다. 이는 질적 연구의 특성상 연구 대상에 대한 직접적인 면담과 관찰 등으로 인해 프라이버시 침해 등의 직접적인 문제를 야기할 수 있기 때문이다. 연 구대상자도 모르는 사이에 요즘 잘 발달된 녹음기구인 MP3기기와 같은 것으로 녹음하는 것은 명백히 연구윤리를 어기는 것이다.

연구진행과정에서는 질적 연구는 풍부하고 세밀한 속성을 지니고 있으며, 분석 또한 이러한 세밀성을 활용하는 것을 강조한다. 그러므로 연구에 관련된 사람들 의 비밀이나 사생활권을 보호하기가 양적 연구에 비해 어렵게 된다. 질적 연구의 특성상 연구 대상자와 친밀한 관계가 발생할 가능성이 있지만, 이 경우에도 연구 자는 이러한 관계를 공식적인 목적을 위해 활용할 의도를 지닌 전문가일 수밖에 없다. 따라서 이 문제는 연구가 진행되는 동안 계속해서 고민해야 할 부분이다. 더 중요한 것은 연구결과물의 발표단계이다. 연구결과물에서는 전술한대로 생생한 1차 정보를 제공해야 한다는 요건과 연구자의 익명성과 정보비밀의 원칙을 확보 해야 한다는 상반된 요건을 충족시켜야 한다. 더구나 연구자가 고의든 실수든 인 터뷰내용을 다른 맥락에서 사용함으로써 의미를 완전히 왜곡시킬 수 있다.17) 이런 오류를 최소화하는 방법은 인터뷰나 관찰 대상이었던 본인들에게 연구논문을 읽히는 것이다. 대부분의 경우 당사자들은 자신이 한 얘기를 불리한 것은 삭제토 록 요구한다. 그러나 연구자와 대상자간에 충분한 대화를 통해 이를 만족할 만한 수준으로 하는 것이 필요하다.

또한 질적 연구는 매우 노동집약적인 연구이기 때문에 실행하기 어려움에도 불 구하고 남용 내지 오용될 소지가 많다. 본인이 현장조사를 직접 해야 가장 신뢰할 수 있으므로 다른 연구보조자에게 현장조사를 대신하게 하면 바람직하지 않다.

그런데 심층면접이나 관찰에 많은 시간이 소요되는데, 이를 실제로 준수하지 않 고 마치 한 것처럼 거짓진술을 하는 경우가 생긴다. 예컨대 실제로는 3명 정도 인 터뷰를 했는데, 일반화가능성에 대한 비판을 피하기 위해 20명을 인터뷰했다고 과장하는 것은 흔히 있는 일인 것 같다. 더 나아가서 하지 않은 말을 한 것처럼 꾸 며 내거나 문장을 의도적으로 바꾸는 행위도 드물지 않다. 사실 연구대상은 현실 은 이론과 같이 잘 정리된 것이 아니라 모순이 얽혀있는 복잡한 것이기 때문에 전 술한 부정합성의 원칙(The machinary of What Does Not Fit)이 많이 발견된다. 그런 데 이를 해결하기 위해 추가적인 인터뷰를 더 하든지, 이론적 사유(speculation)를 하기 위해 시간을 충분히 갖지 않고 성급하게 연구결과를 발표하려 든다. 여기서 정보의 고의적 누락이나 선택의 문제와 왜곡의 문제가 발생하는 것이다.

이런 점을 감안하면 진정한 질적 연구를 진행하는 사람이 일 년에 서로 다른 주 제의 논문이 여러 편 발표되는 다산(多産)은 거의 불가능하다. 이렇게 실제로 이러 한 노력을 기울이지 않았음에도 불구하고, 한 것처럼 위장하는 것은 표절보다 더 무거운 도덕적 윤리적 기준에 어긋나는 것임을 명심해야 할 것이다. 연구윤리가 담보되지 않으면 질적 연구는 사상누각에 불과하고, 진행하지 않는 것이 오히려 낫다.

Ⅳ. 맺는말

일단 질적 연구가 활성화 된다는 전제하에 좋은 질적 연구 를 활용하고 감상하는 방법은 다음과 같다.(Lawrence F. Locke, Stephen J. Silverman & Waneen Wyrick Spirduso, 2004:216~219)

- 연구자의 특성에 대해서 얼마나 잘 알아냈는가? : 질적 연구에서는 연구자가 연 구대상과의 거리를 두고 객관적인 관찰을 하는 것이 불가능하다고 봄으로, 연구 자의 주관적 특성을 이해하고, 그것이 얼마나 연구대상(내용)에 영향을 미쳤는 가를 감안할 수 있도록 이를 파악하는 것이 중요하다. 그래야 소위 ‘객관적’인 내용과 아닌 것과 다른게 비중을 두어 이해할 수 있다.

- 실제 연구에서 얻은 정보를 지칭하는데 얼마나 자주 어떤 단어나 표현을 쓰는가 를 알 수 있어야 한다 : 즉, 어떤 실제 현상에 대한 명명(naming)이 중요하다. 실제 무엇이 일어났는가, 무엇을 실제로 했는가, 어떻게 그것이 작동했는가, 어디에 서 그런 것이 일어났는가 등에 대한 정보가 있다. 예컨대 인터뷰의 실행시 행위 가 일어난 시간의 차원에 주의해야 한다. 주요 정보제공자가 제공해주는 정보는 시간차원에서 혼돈적인 것이 많다. 예컨대 공식적인 계획이 마치 일부 실현된 것처럼 과장하는 경향이 있다. 흔히 정부의 보고문서에도 보면 앞으로 할 일, 아직 진행되고 있는 것도 마치 실적(實績)인 것처럼 포장되어 있는 경우가 많다.

- 연구과정(연구방법이나 연구설계)에서 다른 대안을 얼마나 폭넓게 검토하여 특 정방법을 사용했느냐와 결과의 해석에서 얼마나 개방적으로 대안적 설명들을 충분히 찾았는가가 중요하다.

- 얼마나 생생하게 연구대상의 맥락, 참여자, 연구자, 사건에 대해 묘사했느냐가 중요하다. 양적 연구에서는 설명이나 해석에서 간결하고, 중립적이고, 명확한 표현이 바람직한 조건으로 꼽힌다. 그러나 질적 연구에서는 있는 그대로 생생하 게 표현을 하는 것이 바람직한 요건이다. 1차 자료에서 얻은 것을 인용문 등을 적절히 제시하고 있는지를 보고 판단할 수 있다.

기획논문 ｢정부학연구｣ 제15권 제1호(2009): 155~187 원고투고일: 2009. 3. 15

원고수정일: 2009. 3. 29

게재확정일: 2009. 4. 10

질적 연구 방법의 내용과 적용전략:

양적인 질적 연구와 질적인 질적 연구*

1)임도빈**

이 글은 최근 행정학계에서 관심이 제고되고 있는 질적 연구가 무엇인가에 대해 깊이 있는 소개를 하는 것을 목적으로 한다. 우선 흔히 질적인 연구라고 일컬어지는 것중 많은 부분이 양적인 질적 연구로서 협의의 질적인 연구와는 구분됨을 주장한다. 아울러 진정한 질적인 연구란 무엇인가에 대한 논의를 한다. 즉 질적 연구가 가져야 할 요건, 질적인 연구를 해야 하는 이유, 질적인 연구의 구체적인 유형 등을 제시한다. 구체적으로는 연구대상에 대해 얻은 자료를 계량화하는 방법으로 가공을 하느냐의 여부와 논문의 핵심 주장부분을 통계적 유의성 검증에 의존하느냐의 여부가 질적 연구인가 아닌가의 판단기준이 된다. 이런 기준에 의하면 계량적 실증적 연구에서부터 완전한 질적인 연구까지 다양한 연구유형이 존재한다. 이와 같이 질적인 연구가 다양하고 광범위함에도 불구하고, 좋은 질적인 연구란 평가하는 기준이 양적인 연구의 평가기준과는 다름을 제시한다. 마지막으로 질적인 연구는 무엇보다도 연구윤리의 확보가 치명적임을 주장한다. 

주제어: 질적 연구, 연구기준, 연구방법론

논문 프로포잘 양식(질적 논문)

1. 연구제목 혹은 주제

2. 연구의 필요성과 목적

3. 연구 맥락을 이해하기 위한 문헌고찰 / 선행연구의 개관

4. 연구문제 / 연구 질문

5. 연구방법: 방법, 참여자, 표집, 자료수집방법, 분석방법, 연구의 윤리

6. 연구의 타당성

7. 예비결과

8. 연구의 의의

9. 참고문헌

10. 부록

※ 프로포잘 작성의 구체적인 예는 다음 자료를 참고하시기 바랍니다.

합의적 질적 연구법(Consensual Qualitative Research)을 사용하는 논문계획서 작성기준

● Przeworski와 Salomon(1988)은 모든 논문계획서를 심사하는 사람들이 다음 세 가지 질문에 대한 해답을 찾는다고 한다. 

1) 제안된 계획서의 결과로서, 지금까지 알고 있지 못했던 어떤 것을 우리는 알 수 있게 되는가? 

2) 왜 그것은 알만한 가치가 있는가? 

3) 그 결과가 타당하다는 것을 우리는 어떻게 알 수 있는가?

첫 번째와 두 번째 질문에 대한 해답은 연구자들이 자신이 연구하려고 하는 주제 에 대해 기존의 이론이나 선행연구들을 충실하게 검토하면 할수록 더 명확하게 전 달될 수 있다. 연구자들은 선행연구들을 존중하면서도 한편, 비판적인 안목을 갖고 그것의 한계와 문제점을 인식할 수 있어야 한다. 질적 연구에서는 선행연구 뿐 아 니라 연구자 자신의 개인적 경험에 대한 반성과 실천적 목적에 대한 고려도 중요하 다. 이러한 과정을 통해 나온 연구 질문이라야 자신의 연구의 정당성과 가치를 방 어하고 입증하기 쉬울 것이다. 또한, 연구는 어떤 현상에 대한 새로운 지식이나 통찰 그리고 가치와 의미를 제시할 수 있어야 한다.

세 번째 질문에 대한 해답은 질적 연구에서 특별한 의미를 갖는다. 연구의 타당 성을 확보하는 질적 방법론의 절차를 심사자들에게 이해시키기 위해서, 연구자는 양적 연구방법과 질적 연구방법의 철학적, 방법론적 차이를 명확히 이해하고 있어 야 한다. 타당성과 관련된 문제는 뒤에서 다룰 것이다.

● 논문계획서에는 연구자 자신의 아이디어를 논리적으로 전개해야 한다. 기존이론 이나 선행연구들, 연구방법론에 대한 지식을 백화점식으로 나열해서는 안 된다. 자 신의 연구문제를 도출해내게 된 개인적 경험, 실천적 이유, 그리고 기존이론 및 선 행연구들의 모순이나 한계를 보여주는 것이 더 설득력 있을 것이다.

● CQR은 비교적 협소한 특정현상(예로, 상담관계에서 일어나는 전이현상)을 경험 한 소수의 참여자들을 집중적으로 연구하는데 적합한 질적 연구방법이다. 분석 데 이타는 대개의 경우 참여자들의 언어적 자료이며, 다수의 공동 평정자 및 감사들을 활용함으로써 연구의 타당성을 확보하려고 한다. 연구자는 자신의 연구목적을 달성 하는데 CQR이 적당한 방법인지 검토해야한다.

1. 서론 / 연구의 목적과 필요성

서론에는 연구자가 어떤 현상을, 왜 연구하고 싶은가에 대해 개요를 기술한다. 여기에서는 연구의 목적이 명확히 제시되어야 한다. 질적 연구의 목적은 연구적 목 적과 더불어 개인적 목적이 포함될 수 있다. 

• 연구적 목적에는 특정한 경험을 가진 참여자들의 경험에 대한 의미의 이해, 그러한 경험을 발생시키는 맥락에 대한 포괄 적인 이해, 특정사건이 발생하는 과정에 대한 이해 등이 포함된다. 

• 개인적 목적에는 연구자들이 이 연구를 하도록 동기화시키는 사적경험들, 실천적 이유들이 포함될 수 있다.

또한 연구의 필요성 혹은 정당성에 대해 설명하여야 한다. 기존의 이론이나 연구들의 한계(기존 연구의 부족도 포함) 혹은 기존 연구자들의 추후 연구를 위한 제안 사항, 개인적 경험 등이 연구의 필요성을 설명하기 위해 언급될 수 있다. 이 연구를 통해 얻을 수 있는 새로운 지식과 이해가 가치 있는 것인가? 누구를 위해 그리고 어떤 방식으로 유익한가에 대한 설득력 있는 논리를 개발하는 것이 필요하다.

2. 연구맥락 / 선행연구의 개관 및 문제점

자신이 연구하고자 하는 현상 혹은 문제에 대한 선행연구와 이론들을 논의한다. 그러나 이론이나 선행연구를 단지 요약하거나 제시해서는 안 되며, 자신의 연구에 대한 토대와 정당성을 확보하기 위한 근거로서 이들을 활용해야 한다. 질적 연구에 서 연구자는 문헌을 무비판적으로 따르기 보다는 비판적인 주관성을 갖고 문헌으로 부터 쟁점과 한계를 읽는 눈을 계발해야한다. 이를 위해 연구자는 연구현상에 대한 자신의 개인적 경험과 지식을 적절히 활용할 필요가 있다.

3. 연구문제 / 연구질문

연구 질문은 연구계획서의 가장 핵심적인 부분이다. 연구 질문은 연구의 목적이 나 필요성과 논리적으로 연결되어야한다. 즉, 이러한 연구 질문이 연구의 목적을 달 성할 수 있는 응답을 이끌어 낼 수 있는가 계속해서 질문해야 한다.

좋은 연구 질문은 명확하게 초점이 있어야 한다. 특히 CQR은 비교적 좁은 범위 의 현상을 집중적으로 연구하는 방법이므로 주제에 대한 물음들을 미리 만들어 보 는 것이 좋다. 그러나 명확하게 초점이 있는 질문과 지나치게 구체적인 질문 혹은 연구자의 의도를 이끌어내는 질문을 잘 구분해야한다. 질문은 개방적이어야 하지만 연구의 초점에 대한 일관성 없이 마구잡이식의 자료 수집은 곤란하다.

연구계획서에 포함될 초기 질문은 대략 3-5개 정도가 적당하다. 초심연구자들이 라면 초기질문에 대한 하위질문들을 미리 만들어보는 것이 좋다. 연구 질문은 인터 뷰가 진행됨에 따라 달라질 수 있으나, 초기 질문은 연구하려는 현상에 대해 연구 목적과 관계된 대답을 이끌어 낼 수 있도록 중요한 초점들을 담고 있어야 한다. 예비연구를 수행하고 있다면, 인터뷰 전과 후에 연구자가 생각한 질문내용이 어떻게 변화했는지를 계획서에 제시하면 더 설득력이 있을 것이다. 이 밖에 연구 질문과 관련된 주의사항은 질적 연구 방법론 책들을 참고하기 바란다.

4. 연구방법 / CQR소개, 연구참여자, 표집, 자료수집방법, 분석방법, 연구의 윤리.

연구방법에는 우선 자신의 연구목적을 이루기 위해 왜 질적 연구를 그 중에서도 CQR을 선택했는가를 설명한다. 어떤 방법론을 선택할 것인가는 연구의 목적 그리 고 질문과 논리적인 연결이 이루어져야 한다.

연구 참여자들과 연구자간의 관계에 대해 제시한다. 만약, 이중적 관계(예를 들 어,연구자와 상담자 혹은 치료자)에 놓여있다면, 그로인한 윤리적 문제나 연구타당 성 문제를 어떻게 해결할 수 있는지 방안이 제시되어야 한다.

CQR에서 연구 참여자의 표집은 목적적 표본 추출 방법을 사용한다. 이것은 특정 한 기준에 부합되는 사람들을 연구 참여자로서 선정하는 것을 말한다. 연구 참여자 는 연구하려는 현상을 경험했어야 하며 그것을 적절히 표현할 수 있는 사람이어야 한다. 연구현상에 대한 경험이 최근이어야 한다(예로 3개월 이내)는 기준을 정할 수 도 있다. 중요한 점은 연구 참여자는 연구자가 연구 질문에 대한 대답 을 얻을 수 있는 사람이어야 한다는 것이다. 연구 참여자의 대표성 혹은 전형성은 연구의 타당성이나 일반화 가능성(물론 질적 연구에서 일반화가능성은 그리 중요한 이슈가 아니다)을 높일 수 있다. 계획서에는 왜 이 사람들을 특정한 세팅에서 인터 뷰하려고 하는지를 설명한다.

CQR에서 자료수집 방법은 대개 언어적 자료에 의존한다. 인터뷰를 통한 녹음, 메모 등이 주요도구가 된다. 그러나 자료수집에서 삼각검증(triangulation)으로 알려 진 다층적 자료 수집을 할 수 있다면, 결과의 타당성을 확보하는데 좋은 근거가 된 다. 예를 들어, 명상경험에 대한 질적 분석에서 참여자 뿐 아니라 지도자로부터도 자료를 모은다면 더 타당성 있는 결과를 얻을 수 있을 것이다.

CQR의 자료분석 방법은 체계적인 절차를 제공해주고 있으므로 초심자들도 비교 적 손쉽게 따라할 수 있을 것이다. 공동 평정자 팀 및 감사의 구성을 어떻게 할 것 인지 기술한다. 영역설정, 중심개념, 범주생성, 교차 타당화, 감사과정, 데이터의 패 턴 발견하기(예를 들어 영역들 간의 경로생성) 등의 자료 분석 절차를 간단히 제시 한다.

5. 연구의 타당성

연구자는 자신의 연구에서 타당성을 훼손할 수 있는 요소들을 제거하는데 최선의 노력을 해야 한다. 연구 설계 단계에서 타당성 위협요소를 통제하려는 양적 연구와 달리, 질적 연구에서 결과의 타당성과 관련된 가장 중요한 문제는 자료로부터 도출 된 연구결과(연구자의 해석, 설명, 도출한 패턴 등)와는 다른 대안적인 가설들을 어 떻게 배제시킬 것인가이다. 연구자는 우선 데이터를 분석하여 결론을 도출한 후, 도 출된 결론을 반증하는 데이터가 있는지를 면밀히 재검토해야 한다. CQR에서 이러 한 작업은 연구자, 공동 평정자 그리고 감사의 공동과업이기도 하다.

질적 연구의 타당성을 위협하는 가장 큰 문제는 연구자의 편견과 반응성이다. 연 구자들(공동 평정자와 감사를 포함한)은 연구하려는 현상(혹은 연구 참여자들)에 대 한 각자의 이론이나 선입관을 충분히 인지해야 하며(하나의 방법으로 자료 분석전 메모를 활용하여 편견들을 적고 함께 논의할 수 있다), 연구자가 연구 참여자에게 미치는 영향인 반응성에 대해서도 고려해야 한다. 질적 연구에서는 연구자가 연구 참여자에게 미치는 영향을 최소화하려는 노력을 하는 대신, 이를 이해하고 생산적 으로 활용하는 것이 중요하다(예를 들어 연구문제가 사회적 혹은 도덕적으로 민감 한 문제라면 면접에서 나온 결과보다는 질문지를 활용하는 것이 더 나을 수 있다).

이 밖에 질적 연구의 타당성을 확보하는 방법으로 삼각검증(자료수집의 다양화), 참여자선정에서 엄격한 기준제시, 다수평정자의 사용, 참여자 확인(도출된 결과를 참여자에게 확인하는 것), 양적인 자료들의 활용 등이 있다.

6. 예비결과

연구자가 이미 연구를 시작했다면, 지금까지의 연구과정과 잠정적인 연구결과 그 리고 본 연구를 위한 제안사항 등을 제시할 수 있다. 예비연구는 연구의 실행가능 성을 증가시키고, 연구 질문을 정교화하며, 연구의 필요성과 가치를 부각시킬 수 있 다는 점에서 적극 추천한다. 질적 연구에서는 1-2명 정도의 참여자를 대상으로 자 료를 모으는 것으로도 자신의 연구전반에 걸친 훌륭한 통찰을 얻어낼 수 있을 것이 다.

7. 연구의 의의

여기서는 앞에서 논의된 연구의 목적, 필요성, 그리고 연구의 예상되는 공헌 사항 들을 제시한다. 이와 같은 연구를 해서 무엇을 하자는 것인가? 에 대한 답변들이 있어야 한다.

8. 참고문헌

9. 부록

부록에는 연구 진행 계획표, 연구참여동의서, 설문지(참여자들의 인구통계학적 자 료수집을 위한), 인터뷰 질문항목들, 예비연구가 있다면 참여자 정보, 메모노트 등 이 포함된다.

160517 국문참고문헌 2. 논문 프로포잘 양식(질적연구 CQR).pdf

설문 시행, 분석, 보고 (BMJ, 2004)

Administering, analysing, and reporting your questionnaire

Petra M Boynton

파일럿 시행

Piloting

파일럿 검사를 시행할 때 일반적 형식에 대해서, 그리고 구체적 질문에 대해서 설문응답자들이 어떻게 반응하는가를 자세히 기록해야 한다.

During piloting, take detailed notes on how partici- pants react to both the general format of your instrument and the specific questions.

• 얼마나 오래 걸리나 How long do people take to complete it?

• 질문을 반복 또는 설명해줘야 하나 Do any questions need to be repeated or explained?

• 어떻게 답을 골랐는가 How do participants indicate that they have arrived at an answer?

• 특정 질문에 혼란 또는 놀랐는가 Do they show confusion or surprise at a particular response—if so, why? Short, abrupt questions may unintentionally provoke short, abrupt answers.

자료 수집 계획

Planning data collection

데이터 보호와 관련된 법률, 그리고 기관 차원의 규약code를 따라야 한다.

You should be aware of the relevant data pro- tection legislation and ensure that you follow internal codes of practice for your institution—

파일럿팅 단계에서는 설문을 어떻게 배포하고 다시 받을 것인지를 점검해야 한다.

The piloting phase should include planning and testing a strategy for getting your questionnaire out and back—for example,

• 누구에게 응답을 요청할 것인가 who you have invited to complete it (the sampling frame),

• 누가 응답해 주었는가 who has agreed to do so (the response rate),

• 응답은 활용 가능한 형태로 왔는가 who you’ve had usable returns from (the completion rate), and

• 언제 reminder를 줄 것인가 whether and when you needed to send a reminder letter.

행정적 실수도 연구 프로세스 진행을 방해hamper할 수 있다.

Administrative errors can hamper the progress of your research.

설문 시행

Administering your questionnaire

과학적, 윤리적 고려에는 다음을 포함해야 한다.

Scientific and ethical considerations should include:

• 설문응답자의 니즈와 선호,
  The needs and preferences of participants,

• (응답자는) 자신에게 요구되는게 무엇인지 알아야 함
  who x should understand what is required of them;

• (응답자는) 설문 진행과정에서 흥미를 보이고 협조적이어야 함
  remain interested and cooperative throughout completion;

• (응답자는) 적절한 질문을 받아야 하며, 응답이 잘 기록되게 해야 함
  be asked the right questions and have their responses recorded accurately; and

• (응답자는) 설문 작성 중, 작성 후에 적절한 서포트를 받아야 함
  receive appropriate support during and after completing the questionnaire

비-완료 비율을 줄이기 위한 방법은 시작부터 엄격한 exclusion criteria를 세우는 것이다. 그러나 접촉하기 힘든 연구대상 그룹을 systematically 배제하는 것은 비윤리적이며, 추가적인 전략이 필요할 것이다.

One way of reducing refusal and non-completion rates is to set strict exclusion criteria at the start of your research. However, research that systematically excludes hard to reach groups is increasingly seen as unethical, and you may need to build additional strate- gies and resources into your study protocol at the outset.15

비-참여자 대상 자료 수집은 연구 프로세스 모니터에도 도움이 된다.

Collecting data on non-participants will also allow you to monitor the research process.

초반의 거절률이 이례적으로 높으면, 전반적 접근법을 다시 생각해봐야 한다.

In addition, if early refusals are found to be unusually high, you might need to rethink your overall approach.10

자료 입력, 확인, 클리닝

Entering, checking, and cleaning data

상당히 일이 많다.

In reality, entering, checking, and cleaning the data account for much of the workload. Some principles for keeping quantitative data clean are listed on bmj.com.

연구가 진행될 때 같이 정리해야지, 다 끝나고 해야겠다고 생각해서는 안된다.

It is good practice to enter data into an electronic database as the study progresses rather than face a mountain of processing at the end.

자료 분석

Analysing your data

어떤 분석을 할 것인지를 미리 생각해야 함.

You should be able to predict the type of analysis required for your different questionnaire items at theplanning stage of your study by considering the struc-ture of each item and the likely distribution of responses (box 3).1 Table B on bmj.com shows some examples of data analysis methods for different typesof responses.18 19 w1 

Table B: Analysis options18 19 w1  w10

논문 작성과 보고

Writing up and reporting

연구방법 부분

Methods section

연구방법 부분은 배제 기준을 구체적으로 기술해야 하며, 이것이 transferability에 주는 영향을 기술해야 한다. 거절refusal 혹은 적합하지 않은unsuitable 참여자가 있다면 이들을 제시하고 논의해야 하며, 참여자 모집 다이어그램을 활용하는 것이 좋다 통계적, 양적 분석법을 기술하고 justify하라.

The methods section should give details of your exclu- sion criteria and discuss their implications for the transferability of your findings. Data on refusals and unsuitable participants should also be presented and discussed, preferably using a recruitment diagram.w2 Finally, state and justify the statistical or qualitative analyses used.18 19 w2

연구결과 부분

Results section

연구결과 부분을 정리할 때, 원래의 연구질문으로 돌아가서 이것을 설명해주는 관찰결과를 정리set out해야 한다. 다른 말로는, 결과가 가설로부터 유도된 것이어야 한다hypothesis driven. 유의하지 않게 나온 결과를 보고하는 것을 두려워하지 않아도 되며, 실제로 유의한 결과만큼 중요할 수 있다. 모든 질문에 대해서 다 분석하고 보고하지 말아라

When compiling the results section you should return to your original research question and set out the find- ings that addressed this. In other words, make sure your results are hypothesis driven. Do not be afraid to report non-significant results, which in reality are often as important as significant results—for example, if partici- pants did not experience anxiety in a particular situation (box 4). Don’t analyse and report on every question within your questionnaire

가장 통계적으로 적합하면서 시각적으로 매력적인 형식의 그래프나 표를 사용하라. 그래프의 각각의 축에 대해서 라벨을 붙이고, 의미가 잇는 제목을 달아라. 표를 refer하고 주요 결과를 강조하라.

Choose the most statistically appropriate and visu- ally appealing format for graphs (table). w3 Label graphs and their axes adequately and include meaningful titles for tables and diagrams. Refer your reader to any tables or graphs within your text, and highlight the main findings.

개방형 질문을 했다면 결과 부분에서 cherry pick하지 말아라. 어떤 주제가 등장했는지를 outline해야 하며, 그 주제와 질적 관찰결과를 보충할 수 있는 quote를 사용해야 한다.

If you have used open ended questions within your questionnaire, do not cherry pick quotes for your results section. You need to outline what main themes emerged, and use quotes as necessary to illustrate the themes and supplement your quantitative findings.

고찰 부분

Discussion section

고찰 부분은 결과 부분으로 돌아와서 주요 결과가 무슨 의미인지를 제시해야 한다. 연구의 한계를 인정하고, 이 관점에서 couch the discussion해야 한다. 만약 설문 응답률이 낮으면, 이 preliminary result를 확인하기 위한 추가 연구를 제안해야 한다. 연구의 conclusion은 연구의 scope을 벗어나서는 안된다. 소규모의 지역에 국한된parochial 연구를 했다면, 국가적 정책을 제안해서는 안된다. 지속적으로 응답을 거절한 참여자, 혹은 기대했던 방향이 아닌 방식으로 응답한 것에 대해서 discussion해서는 안된다.

The discussion should refer back to the results section and suggest what the main findings mean. You should acknowledge the limitations of your study and couch the discussion in the light of these. For example, if your response rate was low, you may need to recommend further studies to confirm your preliminary results. Your conclusions must not go beyond the scope of your study—for example, if you have done a small, parochial study do not suggest changes in national policy. You should also discuss any questions your par- ticipants persistently refused to answer or answered in a way you didn’t expect.

심리적, 사회적 영향력을 고려하기

Taking account of psychological and social influences

설문 연구는 절대로 완벽하게 객관적일 수 없다. 연구자와 참여자는 인간이고 심리적/감정적/사회적 니즈가 있다. 너무 자주 우리는 이 요인을 연구의 계획/수행/분석에서 놓치곤 한다. 설문은 참여자와 응답자에게 서로 다른 식으로 해석될 수 있다. 연구자는 자료를 원한다. 잘 훈련되어있지 않은 상태에서 초보junior 연구진은 압박이 심할 경우 파일럿팅, 샘플링, 배포/수집/코딩에 실수를 저지를 수 있다.

Questionnaire research (and indeed science in general) can never be completely objective. Researchers and participants are all human beings with psychological, emotional, and social needs. Too often, we fail to take these factors into account when planning, undertaking, and analysing our work. A questionnaire means something different to participants and researchers.w4 Researchers want data (with a view to publications, promotion, academic recognition, and further grant income). Junior research staff and administrators, especially if poorly trained and supervised, may be put under pressure, leading to critical errors in

• piloting (for example, piloting on friends rather than the target group),

• sampling (for example, drifting towards convenience rather than random samples) and

• in the distribution, collection, and coding of questionnaires.15

설문 시행을 위해서 고용된 연구원은 연구에 익숙하지 않을 수도 있고, 자신의 무지를 덮기 위해서 한 행동이 연구 전체를 망칠 수도 있다.

Staff employed to assist with a questionnaire study may not be familiar with all the tasks required to make it a suc-cess and may be unaware that covering up their igno- rance or skill deficits will make the entire study unsound.

연구 참여자들은 설문에 응답할 때 흥미가 있을 수도 있고, 지루할 수도 있고, 다른 사람을 돕고자 할 수도 있고, 해야 할 것 같아서 할 수도 있고...등등. 이것들이 모두 잠재적인 bias의 요인이다.

Research participants, on the other hand, may be motivated to complete a questionnaire through interest, boredom, a desire to help others (particularly true in health studies), because they feel pressurised to do so, through loneliness, or for an unconscious ulterior motive (“pleasing the doctor”). All of these introduce potential biases into the recruitment and data collection process.

15 Boynton PM., Wood GW, Greenhalgh T. Hands-on guide to questionnaire research: reaching beyond the white middle classes. BMJ (in press).

Administering, analysing, and reporting your questionnaire.

설문지 선택, 설계, 개발 (BMJ, 2004)

Selecting, designing, and developing your questionnaire

Petra M Boynton, Trisha Greenhalgh

설문이 이렇게 유명해 진 것은 "응급조치"로 쓸수 있기 때문이다. 이렇게 남용된 방법론은 없었다.

The great popularity with questionnaires is they provide a “quick fix” for research methodology. No single method has been so abused.1

무슨 정모를 모으고자 하는가?

What information are you trying to collect?

간략히 말하자면, 연구분야에 대해서 충분히 잘 알지 못하거나, 가능한 응답의 범위를 예측하기 위한 특정 인구집단에 친숙하지 않고, 특히 그러한 자료가 문헌에 없다면 우선적으로 질적접근(포커스 그룹) 등을 통해서 영역territory를 파악하고, 핵심 영역을 파악해야 한다.

As a rule of thumb, if you are not familiar enough with the research area or with a particular population subgroup to predict the range of possible responses, and especially if such details are not available in the lit- erature, you should first use a qualitative approach (such as focus groups) to explore the territory and map key areas for further study.6

설문이 적합한 방법인가?

Is a questionnaire appropriate?

설문의 부적절한 활용 Table A

Table A on bmj.com gives some real examples where questionnaires were used inappropriately.1

기존 도구를 사용할 수 있는가?

Could you use an existing instrument?

시간과 자원을 절약할 수 있고, 다른 연구와 비교할 수 있다. 논문을 쓸 때도 개요만 적어주면 되고 논문 내기도 쉽다.

Using a previously validated and published question- naire will save you time and resources; you will be able to compare your own findings with those from other studies, you need only give outline details of the instru- ment when you write up your work, and you may find it easier to get published (box 1).

설문지가 타당성 신뢰성을 갖추었는가?

Is the questionnaire valid and reliable?

질문을 어떻게 보여줄 것인가?

How should you present your questions?

Open or Closed. 두 접근의 장단점(Table B)

Questionnaire items may be open or closed ended and be presented in various formats (figure). Table B on bmj.com examines the pros and cons of the two approaches.

• 자료를 빠르게 정리하기는 좋으나, 잠재적 응답의 풍요로움이 낮다.
  Closed ended designs enable researchers to produce aggregated data quickly, but the range of pos- sible answers is set by the researchers not respondents, and the richness of potential responses is lower. Closed ended items often cause frustration, usually because researchers have not considered all potential responses (box 2).18 

• 개방형 질문을 쓸 때는 사전에 어떤 식으로 분석할지 계획이 있어야 한다. 시간이나 전문성이 없다면 애초에 하지 마라
  If you plan to use open ended questions or invite free text comments, you must plan in advance how you will analyse these data (drawing on the skills of a quali- tative researcher if necessary).19 You must also build into the study design adequate time, skills, and resources for this analysis; otherwise you will waste participants’ and researchers’ time. If you do not have the time or expertise to analyse free text responses, do not invite any.

질문 외에 더 넣을 것은?

Apart from questions, what else should you include?

Table C 체크리스트. 도입부 혹은 설문 정보

A common error by people designing questionnaires for the first time is simply to hand out a list of the ques- tions they want answered. Table C on bmj.com gives a checklist of other things to consider. It is particularly important to provide an introductory letter or information sheet for participants to take away after completing the questionnaire.

어떤 식으로 보여야 하는가? (레이아웃)

What should the questionnaire look like?

연구자들인 물리적 레이아웃에 신경을 잘 안쓴다. 그러나 연구 결과를 보면, 낮은 응답률은 질문을 읽거나 따라잡기 어려워서 생기는 경우가 많다. 일반적으로 질문은 짧고, 요점을 바로 향해야 하며(12단어 이내), 민감하거나 내인적인 질문이 있어서는 안된다. 짧은 질문이 너무 abrupt하거나 threatening하다면, 더 긴 문장을 써도 된다.

Researchers rarely spend sufficient time on the physical layout of their questionnaire, believing that the science lies in the content of the questions and not in such details as the font size or colour. Yet empirical studies have repeatedly shown that low response rates are often due to participants being unable to read or follow the questionnaire (box 3).3w6In general, questions should be short and to the point (around 12 words or less), but for issues of a sensitive and personal nature, short questions can be perceived as abrupt and threatening, and longer sentences are preferred.w6

표본 선정

How should you select your sample?

Table D

Different sampling techniques will affect the questions you ask and how you administer your questionnaire (see table D on bmj.com).

무슨 승인을 받아야 하는가?

What approvals do you need before you start?

과학적으로 타당하지 않거나 의도하지 않은 offence나 트라우마를 유발하거나, 비밀유지를 깨거나, 사람의 시간이나 돈을 낭비하게 한다면 비윤리적인 것이다.

A study is unethical if it is scientifically unsound, causes undue offence or trauma, breaches confidential- ity, or wastes people’s time or money.

결론

Conclusion

Table E 체크리스트

Table E on bmj.com gives a critical appraisal checklist for evaluating questionnaire studies.

Boynton PM, Wood GW, Greenhalgh T. Hands-on guide to questionnaire 7 research: reaching beyond the white middle classes. BMJ (in press).

Table E Critical appraisal checklist for a questionnaire study

Research question and study design

• What information did the researchers seek to obtain?

• Was a questionnaire the most appropriate method and if not, what design might have been more appropriate?

• Were there any existing measures (questionnaires) that the researchers could have used? If so, why was a new one developed and was this justified?

• Were the views of consumers sought about the design, distribution, and administration of the questionnaire?

Validity and reliability

• What claims for validity have been made, and are they justified?
  (In other words, what evidence is there that the instrument measures what it sets out to measure?)

• What claims for reliability have been made, and are they justified?
  (In other words, what evidence is there that the instrument provides stable responses over time and between researchers?)

Format

• Was the title of the questionnaire appropriate and if not, what were its limitations?

• What format did the questionnaire take, and were open and closed questions used appropriately?

• Were easy, nonthreatening questions placed at the beginning of the measure and sensitive ones near the end?

• Was the questionnaire kept as brief as the study allowed?

• Did the questions make sense, and could the participants in the sample understand them? Were any questions ambiguous or overly complicated?

Instructions

• Did the questionnaire contain adequate instructions for completion
  —eg example answers, or an explanation of whether a ticked or written response was required?

• Were participants told how to return the questionnaire once completed?

• Did the questionnaire contain an explanation of the research, a summary of what would happen to the data, and a thank you message?

Piloting

• Was the questionnaire adequately piloted in terms of the method and means of administration, on people who were representative of the study population?

• How was the piloting exercise undertaken—what details are given?

• In what ways was the definitive instrument changed as a result of piloting?

Sampling

• What was the sampling frame for the definitive study and was it sufficiently large and representative?

• Was the instrument suitable for all participants and potential participants? In particular, did it take account of the likely range of physical/mental/cognitive abilities, language/literacy, understanding of numbers/scaling, and perceived threat of questions or questioner?

Distribution, administration and response

• How was the questionnaire distributed?

• How was the questionnaire administered?

• Were the response rates reported fully, including details of participants who were unsuitable for the research or refused to take part?

• Have any potential response biases been discussed?

Coding and analysis

• What sort of analysis was carried out and was this appropriate?

• (eg correct statistical tests for quantitative answers, qualitative analysis for open ended questions)

• What measures were in place to maintain the accuracy of the data, and were these adequate?

• Is there any evidence of data dredging—that is, analyses that were not hypothesis driven?

Results

• What were the results and were all relevant data reported?

• Are quantitative results definitive (significant), and are relevant nonsignificant results also reported?

• Have qualitative results been adequately interpreted (e.g. using an explicit theoretical framework), and have any quotes been properly justified and contextualised?

Conclusions and discussion

• What do the results mean and have the researchers drawn an appropriate link between the data and their conclusions?

• Have the findings been placed within the wider body of knowledge in the field (eg via a comprehensive literature review), and are any recommendations justified?

Selecting, designing, and developing your questionnaire.

설계로 망친 설문을 분석으로 고칠 수 없다: 설문도구 개발과 타당도 근거 수집

You Can’t Fix by Analysis What You’ve Spoiled by Design: Developing Survey Instruments and Collecting Validity Evidence

Gretchen Rickards, MD Charles Magee, MD, MPH Anthony R. Artino Jr, PhD

신뢰도와 타당도에 영향을 미치는 무수한 요인들. 잘 못 쓰여진 글귀, 레이아웃, 부적절한 보기

A plethora of factors affecting reliability and validity in surveys includes, but is not limited to, poor question wording, confusing question layout, and inadequate response op- tions.

질문1: 내 연구질문에 설문이 적절한 도구인가?

Question 1: Is a Survey an Appropriate Tool to Help Answer My Research Question?

설문 설계에서 contruct란 평가하고자하는 모델/아이디어/이론이다.

In the language of survey design, a construct is the model, idea, or theory you are attempting to assess.

설문은 종종 다른 유형의 자료 수집에서 보조자료이다.

surveys often supplement, rather than replace, other forms of data collection.

Contruct의 예로는 동기부여/만족/스스로 인식한 학습 등이 있다.

Examples of the constructs we often want to measure include things like motivation, satisfaction, and perceived learning.

질문2: 다른 사람이 이 construct를 연구한 적이 있는가?

Question 2: How Have Others Addressed This Construct in the Past?

당신이 어떤 construct 측정에 흥미가 있다면, 다른 사람들도 측정하려고 시도해봤을 가능성이 높다.

Odds are, if you are interested in measuring a particular construct, someone else has previously attempted to measure it, or something very similar.

이전에 타당도를 검증한 설문이라도, 추가적으로 신뢰도/타당도 검증이 필요하다.

It is important to note, however, that previously validated surveys require the collection of additional reliability and validity evidence in your specific context.

예컨대, 불안에 관한 설문은 well-being의 측면에서 적절할 수 있으나, 가장 knowledgeable한 학생을 평가하는데는 부적절하다. 평가도구는 그대로이고 해석만 달라져도 이렇게 된다.

For example, a survey of student anxiety might be appropriate for assessing aspects of well-being, but such a survey would be inappropriate for selecting the most knowledgeable medical students. In this example, the survey did not change, only the score interpretation changed.

질문3: 어떻게 문항을 개발할 것인가?

Question 3: How Do I Develop My Survey Items?

연구 대상자의 언어로 문항을 만드는 것이 중요하다. statement가 아니라 questio을 사용하라. 부정형 단어negatively worded 문항을 지양하라, 일반적인 동의 수준을 묻는 보기가 아니라, 측정하려는 구인을 강조하는 anchor를 사용하라 등이 있다. 널리 사용되긴 하나, 일반적인 동의 수준을 묻는 anchor(매우 동의, 동의, 중립, 반대, 매우 반대)는 상당한 측정 오차가 있다.

Developing items by using the vocabulary of your target population is also important. Other key principles of item development include writing questions rather than statements, avoiding negatively worded items, and using response anchors that emphasize the construct being measured rather than using general agreement response anchors.2,8 Although widely used, general agree- ment response anchors (eg, strongly disagree, disagree, neutral, agree, strongly agree) are well known to be subject to considerable measurement error.2

These sources have been described in the Standards for Educa- tional and Psychological Testing5 as evidence based on (1) content, (2) response process, (3) internal structure, (4) relationships with other variables, and (5) consequences.

질문4: 설문 문항이 construct에 관련되게 명확히 기술되었는가?

Question 4: Are the Survey Items Clearly Written and Relevant to the Construct of Interest?

질문5: 응답자는 내가 의도한 대로 문항을 해석할 것인가?

Question 5: Will Respondents Interpret My Items in the Manner That I Intended?

질문6: 내 설문 문항에서 얻은 점수의 신뢰도가 충분하며, 다른 척도와 관계는 어떠한가?

Question 6: Are the Scores Obtained FromMy Survey Items Reliable and Do They Relate to Other Measures as Hypothesized?

설문을 파일럿 테스트하고, 타당도 근거를 수집한다. 파일럿에서는 실제 수행 예정인 것과 동일한(웹-기반 혹은 종이-기반) 방식으로 설문을 하게 해야 한다.

The next step is to pilot test your survey and to begin collecting validity evidence based on reliability and rela- tionships with other variables. During pilot testing, membersof the target population complete the survey in the planned delivery mode (eg, web-based or paper-based format).

가장 흔한 신뢰도 평가는 Cronbach alpha 계수이다.

The most common means of assessing scale reliability is by calculating a Cronbach a coefficient.

단순히 말하게, 다섯 개의 문항이 '흥미'라는 구인을 측정하면, 이 다섯 개 문항은 서로 높은 상관이 있어야 한다.

Simply speaking, if 5 items on your survey are all designed to measure the construct resident interest, for example, then it follows that the 5 items should be moderately to highly correlated with one another.

composite score는 단순히 가중치 없이 평균낸 것이다.

As described earlier, a composite score is simply an unweighted average of all the items within a particular scale.

 J Grad Med Educ. 2012 Dec;4(4):407-10. doi: 10.4300/JGME-D-12-00239.1.

You Can't Fix by Analysis What You've Spoiled by Design: Developing Survey Instruments and Collecting ValidityEvidence.

리커트 척도 자료 분석하기

Analyzing and Interpreting Data From Likert-Type Scales

Gail M. Sullivan, MD, MPH, Anthony R. Artino Jr, PhD

1932년 Rensis Likert는 태도를 측정하기 위하여 개발하였고, 5 또는 7점의 ordinal scale로 어떤 statement에 대해서 어느 정도 동의하는지 응답하게 했다. Ordinal scale에서 응답자의 대답은 'rate'혹은 'rank'될 수 있지만, 각 응답 간 거리는 측정가능하지 않다. 따라서 '늘 그렇다' '종종 그렇다' '가끔 그렇다' 등의 응답 사이의 차이가 반드시 같은 것은 아니다.

Developed in 1932 by Rensis Likert1 to measure attitudes, the typical Likert scale is a 5- or 7-point ordinal scale used by respondents to rate the degree to which they agree or disagree with a statement (TABLE). In an ordinal scale, responses can be rated or ranked, but the distance between responses is not measurable. Thus, the differences between ‘‘always,’’ ‘‘often,’’ and ‘‘sometimes’’ on a frequency response Likert scale are not necessarily equal.

통증에 관한 여러가지 연속 척도

The various continuous measures for pain are well-known examples of this (FIGURE 1).

논쟁

The Controversy

의학교육 문헌에서 오랫동안 ordinal data에 대한 논란이 있는데, 이러한 순서 척도를 숫자로 변환하였을 때 간격 척도interval data처럼 처리가능하냐는 것이다. 즉, 표준편차, 'normally distributed'한 자료에 대해 쓸 수 있는 모수통계와 같은 것을 사용할 수 있는가?

In the medical education literature, there has been a long- standing controversy regarding whether ordinal data, converted to numbers, can be treated as interval data.2 That is, can means, standard deviations, and parametric statistics, which depend upon data that are normally distributed (FIGURE 2), be used to analyze ordinal data?

다행히도 Dr. Geoff Norman이라는 의학교육연구 방법론의 대가가 이 논란을 포괄적으로 정리한 바 있다. 그는 강력한 근거를 제시하면서 실제 자료와 가상 자료를 가지고 모수적 통계가 순서 자료에서 사용 가능할 뿐 아니라 비모수통계보다 더 robust함을 보여주었다. 즉 모수 통계는 심지어 통계적 가정(자료의 정규분포)이 위배된 상황에서조차 비모수적 통계보다 더 '옳은 답'을 줄 가능성이 높았다는 것이다. 따라서 비포수적 통계는 unbiased answer를 얻기에 충분히 robust하며, 이러한 결과는 Likert scale 응답을 분석할 때 '진실'에 가까운 답을 준다.

Fortunately, Dr. Geoff Norman, one of world’s leaders in medical education research methodology, has compre- hensively reviewed this controversy. He provides compel- ling evidence, with actual examples using real and simulated data, that parametric tests not only can be used with ordinal data, such as data from Likert scales, but also that parametric tests are generally more robust than nonparametric tests. That is, parametric tests tend to give ‘‘the right answer’’ even when statistical assumptions— such as a normal distribution of data—are violated, even to an extreme degree.4 Thus, parametric tests are sufficiently robust to yield largely unbiased answers that are acceptably close to ‘‘the truth’’ when analyzing Likert scale responses.4

요점

The Bottom Line

많은 전문가들이 이 논란에 참여했고, 결론은 상당히 명확하다. 모수적 통계가 Likert scale응답에 쓰일 수 있다. 그러나 자료를 묘사하는데 있어서 자료가 전형적인 정규분포를 따르지 않는 이상 평균은 그 의미가 제한적이며, 응답 분포를 보여주는 것이 더 도움이 될 것이다.

Now that many experts have weighed in on this debate, the conclusions are fairly clear: parametric tests can be used to analyze Likert scale responses. However, to describe the data, means are often of limited value unless the data follow a classic normal distribution and a frequency distribution of responses will likely be more helpful.

4 Norman G. Likert scales, levels of measurement and the ‘‘laws’’ of statistics. Adv Health Sci Educ Theory Pract. 2010;15(5):625–632.

 J Grad Med Educ. 2013 Dec;5(4):541-2. doi: 10.4300/JGME-5-4-18.

Analyzing and interpreting data from likert-type scales.

설문에서 응답률 높이기 & 무응답 편향 평가 (AMEE Guide No. 102)

ANDREW W. PHILLIPS1, SHALINI REDDY2 & STEVEN J. DURNING3

1Stanford University, USA, 2University of Chicago, USA, 3Uniformed Services University (USU), USA

도입

Introduction

설문은 의학교육연구에서 중심적 역할을 한다. 성공적인 설문은 표본이 전체 연구대상 그룹을 적절하게 대표할 수 있느냐에 따라 좌우된다. 다양한 충분히 넓게, 충분히 많은 응답자가 응답하지 않으면  설문의 결과는 전체 집단의 의견을 반영하지 못할 수도 있다.

Surveys are a central part of medical education research (Artino et al. 2014). Successful surveys depend on adequate representation from the entire group being studied. The survey results may not correctly reflect the group’s opinions if not enough people or a wide enough variety of people respond (Groves 2006).

따라서, 응답하지 않은 사람들의 수와 그들의 특성이 모두 설문결과의 정확성에 영향을 준다. 이러한 맥락에서 우리는 응답률과 비응답편향을 탐구하고자 하며, 이 두 가지는 관련되어있지만 서로 분리된 개념이다.

Thus, the number of people who do not respond and the characteristics of the people who do not respond can both impact the accuracy of survey results. It is in this context that we explore response rates and nonresponse bias, two related but separate concepts that are important for scholars who use surveys in their investigations.

비응답편향은 응답하지 않은 사람들이 응답한 사람들의 특성과 차이가 클 때 생기며, 이로 인해서 잠재응답자의 전체 그룹을 대표하지 못하게 되는 것이다.

Nonresponse bias occurs when the opinions from people who did not complete the survey are so different from those who did complete the survey that the results do not accurately represent the entire group of potential respondents (Dillman 2000a; Groves et al. 2002).

응답률 정의하기

Defining response rate

연구자들은 어떻게 응답률을 계산했는지를 정의해야 한다. 서로 다른 정의가 서로 다른 결과를 낳기 때문이다. 설문연구자들의 국제 커뮤니티에서는 여섯 가지의 AAPOR 정의를 지지한다.

It is important that researchers clearly define how they calculated the response rate since different definitions can yield different results. The international community of survey researchers has endorsed using one of the six American Association of Public Opinion Research (AAPOR) definitions of response rate (Box 1) (Groves et al. 2002; AAPOR 2011; Johnson & Wislar 2012).

이들 여섯개 정의는 다음을 어떻게 다루느냐에 따라 구분된다.

These six definitions differ by how they handle

(1) 부분 응답 partial responses (i.e. surveys with skipped questions (item non- response)) and

(2) 설문자격 여부가 불확실한 비응답자 nonrespondents whose eligibility for participation is unknown (i.e. there is a list of potential respondents but it is unknown if all of the people on the list meet study inclusion criteria).

AAPOR RR5와 RR6이 의학교육연구에서는 가장 잘 맞는다.

AAPOR RR5 and RR6 are usually the best-suited definitions for medical education research.

'설문자격여부가 불활실한 비응답자'에 대한 문제는 public opinion 연구에서 중요하나 의학교육에서는 덜 관련된다. 예컨대, 길가에서 '아이가 있는 사람'을 대상으로 설문을 한다고 했을 때, 설문을 받는 사람은 개개인이 부모인지 아닌지를 알지 못한다.

The issue of unknown eligibility for nonrespondents is a significant concern in public opinion research but is less commonly encountered in medical education research. For example, if someone is trying to survey people on a street corner about what it is like to have children, only parents would be eligible to participate. The surveyor does not know, however, if an individual who walks by and parent. ignores him is or is not

 

파트 1: 응답률 향상시키기

Part one: Improving response rates

응답 대상자는 응답을 할 수도 안할 수도 있으며, 모든 문항에 또는 일부 문항에 응답을 안할 수도 있다.

The potential respondents (sampling frame) can respond or not respond to the survey as a whole (unit nonresponse)or to just some of the survey questions (item nonresponse) (Dillman et al. 1993; Groves et al. 2002; Artino et al. 2014).

전체 비응답자

Unit nonresponse

통제가능한 요인들은 다음 중 하나이다.

Controllable factors that contribute to unit nonresponse (an individual not responding to the survey as a whole) generally fall into at least one of the following categories:

• 설문 전달 survey delivery,

• 설문 (필요성) 인정 survey acknowledgement, and

• 응답자의 참여 결정 the potential respond- ent’s decision to participate (Dillman et al. 1993; Groves et al. 2002).

설문 전달

Survey delivery

예를 들어서, email은 주소 오타로 인해서 전달되지 않을 수 있다. 우편도 마찬가지이다. 응답대상자마다 어떤 방법을 사용하였느냐에 따른 선호가 다를 수 있다. 이유 불문하고 설문이 전달되는 방식이 다른 응답률을 가져온다.

For example, an email may not be delivered because of a typographical error in the address; whereas a postal letter may be lost somewhere in the postal mail system. Moreover, potential respondents may have different comfort levels with different survey methods, par- ticularly electronic surveys (Groves et al. 2002; McMahon et al. 2003). Regardless of the reason, the mode of survey transmis- sion can yield a different response rate (McMahon et al. 2003; Beebe et al. 2007).

우편 설문이 웹 설문보다 초기 응답률을 높이기에는 더 낫다. 이는 심지어 컴퓨터에 익숙한 대학생 그룹 사이에서의 연구 결과도 마찬가지이다. 다만, 한 차례 이메일로 reminder를 주는 것은 웹 설문의 응답률을 single-request 종이설문만큼으로 응답률을 높였다.

Postal surveys appear to have better initial response rates than web surveys, even among computer literate college students using the internet for their classes in the USA as recently as 2011 (Millar & Dillman 2011). Of note, a single e-mail reminder raised the response rate of the web option to approximately that of a single-request paper questionnaire (51%) (Millar & Dillman 2011).

혼합된 방법으로 전달되는 설문(이메일+우편)은 정확히 동일한 언어로 쓰여져야 하며 문항 응답시 서로 다른 방식에 따른 차이의 영향을 최소화하게 설계되어야 한다.

Surveys distributed by mixed modalities (e.g. email and postal mail) should be written with the exact same language and format for all survey modalities to minimize the impact of different delivery modality on item response (Dillman & Christian 2005).

설문 시행자는 온라인 설문을 시행하는 것이 컴퓨터/스마트폰/태블릿 등 여러 종류의 기기에서 거의 동일하게 나타날 수 있게 해야함을 유의해야 한다.

Survey administrators must keep in mind that offering an online survey means offering a survey that almost invariably will be accessed by computer, smartphone and tablet, which has extensive design implications discussed in the final section of this Guide (Buskirk & Andrus 2013).

마지막으로, 설문 전달과 관련한 대부분의 연구는 '일반 인구'를 대상으로 했으나, 의학에서는 보다 captive audience를 대상으로 한다.

Finally, most studies on the topic of survey delivery, such as postal mail or door-to-door surveys, use the general popula- tion (Dillman 2011). However, medical trainees represent a more captive audience than found in the general population (Groves et al. 2002).

자료를 제시할 때 'AAPOR RR6에 따라 100명의 잠재 응답자 중 75%의 응답률을 얻었다'

When presenting the data, we suggest the following: ‘‘We obtained a response rate of 75% for the 100 potential respondents, AAPOR RR 6’’ (AAPOR 2011).

• 여러 방식을 혼합함 Mixed survey methods (e.g. internet and postal mail) (Beebe et al. 2007) 

• 설문 요청을 개별적으로 함 Personalized survey invitations (Dillman 2000a; Edwards 2002) 

• 금전 인센티브 Monetary incentive (Church 1993; Asch et al. 1998) 

• 예상 설문 응답시간 제공 안함 Not providing an estimated survey time

• 1000단어 이하로 만듬 Survey less than 1000 words (Edwards 2002) 

• 초기 응답 거부에 대한 인터뷰어의 구체적 반응 Specific interviewer replies to initial refusals (Dijkstra & Smit 2002) 

• 응답대상자와 다시 접촉 Repeated contact with potential participants (Lynn et al. 2002) 

• 사전 예고 Pre-notification (Edwards 2002)

설문 (필요성) 인정

Survey acknowledgement

설문 인정이란, 응답대상자가 이번 설문에 응답률이 높아야 한다는 필요성을 인식하는 것이다. 보통 응답대상자들은 심지어 자신이 설문지를 받았다는 것 조차 인식하지 못한다. 우편으로 설문을 받은 사람 중 10%는 받았다는 기억이 없다. 개개인별로 우편을 전달하고, 구체적으로 목적을 기술함으로써 응답자의 '인정'을 향상시킬 수 있다. 인터넷 설문의 경후

• '명확한 제목',

• '응답자가 아는 사람으로부터의 발송',

• '응답자의 이름을 salutation에 포함시키기',

• '참여를 요청하는 간략한 초대글 넣기'

등이 필요하다.

Survey acknowledgement – recognition by the potential – respondent that s/he received a survey is essential to achieve high response rates since potential respondents often do not even realize they received a survey. Approximately 10% of those in the general public who receive a postal mail questionnaire do not remember receiving it (Dillman 2000a). Personalizing the delivery and clearly stating the purpose of the mailing may improve acknowledgement by the recipient (Maheux et al. 1989; Dillman 2000b; Edwards 2002). For internet questionnaires delivered by email, for example, the survey should: include a clear subject line, be sent from someone the respondent knows (if possible), address the respondent by name in the salutation, and include a brief invitation to participate.

참여자 협조

Participant cooperation

통제가능요인과 통제불가능 요인이 있음

Factors that may influence potential participants’ decision to cooperate can be conceptualized as controllable or uncontrollable by the researcher.

통제가능요인

Controllable factors

인센티브

Incentives

공공부문과 의사 대상 설문 모두에서 지속적으로 초기 요청을 보낼 당시에 금전적 인센티브를 포함하는 것이 응답률을 유의미하게 높인다는 것을 보여주었다. '돈'이 '비금전 선물(음식 등)'보다 더 효과가 있다.

Studies in both the public sector and among physician respondents consistently demonstrate that monetary incentives included with the initial request significantly improve response rates (Berry & Kanouse 1987; Church 1993; Edwards 2002; Singer 2002; Keating et al. 2008). Money also yielded better response rates than nonmonetary gifts such as food (Church 1993).

응답률을 높이기 위해 필요한 최소 인센티브가 얼마인지는 불확실하다.

The minimum amount of monetary incentive needed to improve survey response rates remains unclear for medical trainees.

설문 길이

Length of survey

심지어 설문 길이가 짧은 경우에도 설문 길이에 대한 언급이 없는 편이 길이에 대한 언급이 있는 것보다 낫다.

not mentioning the survey length produced far greater cooperation than even mentioning short survey times

설문 길이는 짧을 수록 좋다.

Several studies of mailed general questionnaires to physicians and the population confirm that shorter is generally better (Edwards 2002; Jepson et al. 2005; McFarlane et al. 2007).

더 나아가서, 웹 설문일 경우 설문 길이는 더 중요해진다. 모바일 기기에서 컴퓨터에서보다 약 3배의 시간이 걸리기 때문이다.

Moreover, length may be even more important in electronic surveys since surveys taken on mobile devices take approximately three times longer than surveys taken on computers (Dijkstra & Smit 2002; Mavletova 2013).

심리적 비용

Psychological cost

'참여하고 싶지 않나요?'라고 말하는 것보다 '참 안타깝네요. 당신의 참여가 저에게는 매우 큰 의미거든요'라고 하는 것이 참여를 유도하는데 더 낫다.

For example, rather than the profes- sional repeating, ‘‘You don’t want to participate?’’ a response of ‘‘That’s a shame; your participation means a lot to me,’’ is more successful in getting potential respondents to participate in the survey.

개별화와 권위

Personalization and authority

개인적 관계를 활용하는 것이 스폰서 기관의 권위(대학에서 스폰서함 등)를 강조하는 것보다 통계적으로 유의하게 응답률을 향상시킨다.

Utilizing a personal connection between the researcher and potential respondents also makes a statistically significant improvement (23% absolute response rate increase in one study) in response rates, compared to emphasizing authority from the sponsoring body, such as a university.

이메일의 개별화, 감사인사가 포함된 봉투 등이 잠재적 응답률을 높이는데 도움이 된다. salutation에 대상자의 이름을 쓰고, 제목을 "당신의 교육을 개선시키는데 중요한 연구"라고 쓸 수 있다.

Personalization in emails, addressed envelopes and thank you letters may convince potential respondents to participate (Maheux et al. 1989; Edwards 2002; Lynn et al. 2002). For example, a researcher may write a personalized email to each potential respondent with their names in the salutation and a subject heading such as ‘‘An important study to improve your education.’’

설문 요청 횟수

Number of attempts

비용/효과를 고려했을 때 일반적으로 세 번 정도 시도하는 것이 권고된다. 만약 3번 시도 이후에도 응답이 없으면, 추가적 시도에서 응답을 얻을 가능성은 무척 낮다.

Generally, three attempts are recommended based on cost/benefit analyses and general practices by surveyors (Dillman 2000a; Kellerman & Herold 2001; Willis et al. 2013). If there is no response after three attempts and the contact information is known to be valid, additional attempts will likely have a very low yield (Dillman 2000a; Hamilton 2003).

Reminder를 보내는 최적의 타이밍은 연구에 따라 다르다. 약 절반정도의 응답이 설문을 시작한지 1일 이내에 오고, 90%는 2주 이내에 온다. 연구자들은 응답자의 스케쥴(시험 일정 등)을 고려해야 한다. 우리는 1일~2주 사이에, 그 기간 내에 충돌가능성이 있는 일정을 고려해서, reminder를 보낼 것을 권고한다.

The optimal timing for reminders depends on the study. Approximately half of all responses tend to occur within one day of initiating a request and more than 90% tend to occur within two weeks (Hamilton 2003; SurveyMonkey 2011; take Experian 2012; Mailchimp 2014). Researchers should into consideration potential participants’ schedules, such as exams, when planning the study period and sending reminders. We recommend a reminder interval between one day and two weeks, based on other timing conflicts the potential participants may have during that time period.

사전 예고 편지와 Reminders

Advance letters and reminders

사전 예고 편지가 도움이 된다. 이러한 사전 예고는 보통 설문 며칠 전 받게 한다.

Advance letters announcing the survey, whether mailed questionnaire or in-person interviewer, are uniformly helpfulin the public survey literature (Heberlein & Baumgartner 1978;Dillman 2000a; Edwards 2002; Groves et al. 2002). The pre-announcement typically arrives a few days before the survey.

Reminder 역시 응답률을 높여준다. 종이 설문이든 웹 설문이든, 편의성이 중요해서 reminder를 보낼 때 한 부의 설문지를 다시 보내거나 설문 링크를 다시보내야 한다.

Reminder communication has also been shown to increase questionnaire rates across the board regardless of modality. Whether paper or web, ease of use is important so the reminder should include another copy of the paper question- naire or another link to the web questionnaire (Dillman 2000a; Johnson et al. 2002).

통제불가능한 요인

Uncontrollable factors

성별

Gender

McFarlane 등은 여성이 초반에는 응답 가능성이 더 낮으나, 이러한 차이는 여러 차례 응답을 요청하여 해소된다. 이러한 결과는 다른 집단에서도 확인되었다. 비록 응답대상자의 성별은 통제불가능하지만, 반복해서 요청하는 것은 통제가능하므로 활용해야 한다.

McFarlane and colleagues found females less likely to respond initially, but that discrepancy was resolved with repeated survey attempts. The findings were repeated in other populations as well (Groves & Couper 1996; Groves et al. 2000; McFarlane et al. 2007). Thus, although the gender of each potential respondent is not controllable, the option to make repeated survey attempts is controllable and should be utilized to improve female representation in surveys.

문항 비응답

Item nonresponse

최소한 한 개 이상의 연구에서 refusal conversions(처음에는 응답하지 않겠다고 했다가, 다시 응답하기로 마음을 바꾼 경우에) 문항을 건너뛰거나 추가 문항에 NO라고 응답한 경우가 더 많음을 보여주었다.

At least one study demonstrated that refusal conversions (potential participants who initially declined participation but eventually participated after further contact) skipped or provided NO for more questions than participants who did not have to be converted from refusal status (Beatty & Herrmann 2002; Mason et al. 2002).

의견 없음

No-opinion (NO) responses

'cognitive hindrance'라는 용어는 응답자가 질문에 대한 답을 몰라서 어떤 질문에 대답할 수 없었을 때를 말한다.

'motivational hindrance'는 그 반대로, 응답자가 답을 알지만 답을 쓰기 싫을 때를 말한다.

The term cognitive hindrance describes when a person cannot respond to a question because he/she simply does not know the answer. A motivational hindrance, in contrast, occurs when the potential respondent knows the answer but does notwant to provide the answer.

cognitive question에 대해서는 주제나 응답대상자에 따라 NO 옵션을 주는 것이 필요하지만, NO가 아닌 다른 보기를 선택하는 경우에 그 응답에 대해서 100%의 확신이 없더라도 그것이 편안하게 느껴지게 해야 한다. 명확한 지침이 없을 경우, 어떤 응답자는 약간의 의심이 들 때 NO를 선택할 것이며, 어떤 응답자는 매우 의심이 들 때 NO를 선택할 것이다

Providing a NO option for a cognitive question may be necessary, based on the question topic and potential respond- ent, but the question should define the desired accuracy of judgment so people feel comfortable selecting something other than NO if they are not absolutely certain about the answer (Craig & McCann 1978; Bradburn & Sudman 1991; Dillman et al. 1993; Beatty & Herrmann 2002; Redline & Dillman 2002; Elliott et al. 2005). Without explicit instructions, one respondent may select NO if she has any doubt whereas another may select NO only if she has great doubt about the answer.

문항 건너뛰기

Skipped questions

일반적으로, 어떤 방식이든 설문은 가급적 짧게 만들어서 피로감을 덜어주어야 한다. 추가적으로, NO 보기가 주어질 경우 cognitive and motivational hindrance는 문항-비응답을 일으킬 수 있다.

In general, surveys of any modality should be kept as short as possible to avoid survey fatigue and subsequent item nonresponse. In addition, cognitive and motivational hindrances can cause item nonresponse in any survey modality if a NO response is provided.

우편 설문

Postal and paper questionnaires

응답자-친화적 설계가 중요하다.

Respondent-friendly designs are important and improve item response on postal questionnaires. Design points include:

• (1) providing single-step instructions on a standard size sheet of paper,

• (2) avoiding extra papers such as inserts,

• (3) 이름은 한 번만 쓰게 listing name (if necessary) and demographic information only once (rather than on each page),

• (4) 단면으로 using single sided forms,

• (5) 아무 필기구나 사용하게 allowing the use of any writing tool,

• (6) visually emphasizing the areas of the page that have the questions so respondents are not distracted by the optical scanner markings (Hox & de Leeuw 2002; Redline & Dillman 2002; Franko & Tirrell 2012).

종이 설문에서 질문을 branching하는 것은 문항-비응답 가능성을 높인다. 비록 이러한 비응답을 낮추기 위한 시각적 설계가 가능하지만, 가급적 사용하지 않기를 권고한다.

It is well established that branching questions in paper questionnaires are associated with greater item nonresponse rates (Hox & de Leeuw 2002; Redline & Dillman 2002; Franko & Tirrell 2012; Buskirk & Andrus 2013). Although there are visual designs to reduce the nonresponse impact, we recom- mend against any branching questions on paper question- naires.

면-대-면 설문, 전화 설문

Face-to-face and telephone surveys

웹/이메일 설문

Web/email surveys

웹 설문은 스마트폰의 활용과 함께 특히 어려워졌다. 스마트폰에서도 잘 보여야 한다.

The web questionnaire visual interface is particularly challenging with the increased use of smartphones (Franko & Tirrell 2012; Buskirk & Andrus 2013; Cullen 2013). A web survey designed for a standard desktop computer will appear jumbled and can even have answer spaces associated with the wrong question. Thus, researchers must choose to:

• (1) 모바일에서 못 하게 한다. block mobile device users from accessing the desktop- formatted survey 

• (2) 모바일용을 만든다 create additional surveys specifically designed for various mobile devices 

• (3) 모든 기기에서 가능하게 만든다 provide an internet version that adjusts to any device (responsive design) 

• (4) 응답자를 환경에 적응시킨다. force mobile users to adapt to the desktop interface (not recommended) (Franko & Tirrell 2012; Buskirk & Andrus 2013; Cullen 2013).

The overarching principle for reducing question skipping on web surveys is ensuring the questionnaire is clearly visible for various interfaces.

이러한 플랫폼을 염두에 두어야 함

Web surveys should be built with these platforms in mind so as to reach as many respondents as possible.

설문 서비스를 활용하라

We recommend using a survey service that offers a web interface that is designed to work well with most platforms and that surveys are tested by the questionnaire writers in all of the platforms. Use simple question layouts to avoid interface issues.

각 페이지에 얼마나 많은 수의 문항을 넣을 것인가도 고려사항이다. 페이지를 늘리는 것이 총 응답시간을 늘리고, 부담을 증대시킨다. 그러나 한 페이지가 너무 길면 그 페이지 중간에 응답자가 떠날 수 있다. 최적의 숫자가 명확하지는 않지만, 페이지당 다수의 문항을 넣는 것이 문항 응답률을 높인다.

Another important consideration for web surveys is how many questions to put on each page. Adding pages increases the total survey time (Dillman 2000a; Couper et al. 2001; Sue & Ritter 2012; Mavletova 2013), which increases survey burden. However, a long page may leave the respondent lost on the page, especially if he is using a mobile device. Optimal page length and number of questions on a page is not clear, but the literature consensus is that multiple questions per page improves item response rates (Dillman 2000a; Couper et al. 2001; Groves 2006; Sue & Ritter 2012).

간략한 도입 설명 Use a brief introduction (Dillman 2000a) 

Respondent already read information about the study in the invitation to participate 

간단하고 흥미로운 첫 질문 Provide an easy, interesting first question (Dillman 2000a). 

Motivates respondent 

개인식별번호를 넣도록 함 Consider a Personal Identification Number (PIN) to enter the questionnaire (Dillman 2000a) 

Prevents people outside of the study from accessing it and makes longitudinal studies easier 

각 질문이 숫자로 시작하게, 응답은 질문에 최대한 가까이 있게 Begin each question with a number and place the response to it as close as possible to the question (Dillman 2000a) 

Questionnaires aligned as blocks tend to be distorted when converted to different sizes 

지나친 색은 지양 Avoid excessive colour. Black on white is adequate (Dillman 2000a). 

Overlay of text on colour can be distorted depending on the user’s device palette 

각각의 질문-보기 짝을 분리시킴 Separate each question/answer pair (Dillman 2000a) 

Reduces wrap-around text and displacement of answer blocks that forces questions on top of one another 

"floating window"고려 Consider a ‘‘floating window’’ accessible by touching or hovering the cursor over a question (Dillman 2000a) 

Reduces propensity for wrap-around text and reduces total screen text. However, may not be viewed by everyone 

drop-down box의 숫자를 한 페이지에 보이게 제한함 Limit the number of drop-down box choices to a number visible at once on any screen (Couper et al. 2001) 

The options first visible may influence respondents to choose those answers over those for which they must scroll to view 

다운로드 시간에 영향을 주는 그래픽은 최소화 Minimize graphics and other features that increase page download time (Couper et al. 2001; Sue & Ritter 2012) 

Longer download times are associated with greater survey abandonment 

progress bar 포함 Include a simple progress bar (Couper et al. 2001; Sue & Ritter 2012) 

Motivates respondents to continue, but not strong evidence. Progress bar may increase download time

closed-ended or short open-ended questions 사용 Use closed-ended or short open-ended questions when possible rather than long, open-ended questions (Couper et al. 2001; Sue & Ritter 2012) 

Longer entry time reduces item response rates 

Difficult interface for respondents; confusion over which questions and answers correspond 

‘‘double banking’’ or ‘‘triple banking’’ 고려

Consider ‘‘double banking’’ or ‘‘triple banking’’ (two or three columns of answers, respectively) for lists of answers longer than a single screen view (Dillman 2000a; Sue & Ritter 2012) 

Ensures that all possible answers have similar probability of being seen 

Arial, Times New Roman,or Verdana 사용

Use Arial, Times New Roman,or Verdana fonts at 14 point (Sue & Ritter 2012)

Fastest and most accurate reading fonts

비응답 편향

Part two: nonresponse bias

비응답편향 관련 요인

A. Factors Associated with Nonresponse Bias

   Respondent does not have a relationship with the sponsoring organization.

   Government sponsored surveys.

   Interviewer-administered questionnaires (compared to self- administered).

   General population (compared to specific populations).

   Attitudinal type questions (compared to behavioral and demographic questions). 

비응답편향 무관 요인

B. Factors Not Associated with Nonresponse Bias

   Prenotification of the survey.

   Incentives to participate in the survey.

   Health topic (compared to other topics generally).

   Urban (compared to mixed locations of homes).

   Majority ethnicity (compared to minority ethnicity).

   Topic relevance to the potential respondent (topic salience).

비응답편향 계산

Calculating nonresponse bias

진정한 의미에서 비응답편향을 계산하는 것은 불가능하다.

It is impossible to calculate a true nonresponse bias since it is a number that does not exist. We must use either proxy data or proxy nonrespondents.

비응답편향 계산법

Ways to calculate nonresponse bias can be conceptualized as either

(1) 비응답자의 proxy를 활용함 measuring the variable of interest for proxy nonrespondents or

(2) 실제 비응답자에 대한 supportive data를 활용함 measuring supportive data (a proxy for the variable of interest) for the real nonrespondents. 

관심 변인 평가 방법

Methods evaluating the variable of interest

There are several methods for calculating response bias using proxy nonrespondents; here we explore the more common ones: wave analysis and follow up analysis.

1. wave analysis

늦게 응답을 하는 사람들이 nonrespondents의 proxy이다.

In wave analysis, late respondents (those who require reminders to respond) are proxies for nonrespondents. The responses in the last wave of surveys returned (such as after the final email reminder) are compared to the first wave of responses (such as the initial invitation to participate). This method uses late respondents as nonrespondent proxies and is a commonly used, simple, and well accepted method to evaluate nonresponse bias. Researchers can point to their wave analysis to directly demonstrate whether or not their study suffered from nonresponse bias. See Jutel and Menkes’ article as a published, real data example (Doherty & Ellis- Chadwick 2003; Jutel & Menkes 2009).

2. follow up analysis

어떤 시점에서까지 응답하지 않은 사람에게 매우 짧은 설문을 하게 하는 것. 여기에 응답한 사람들이 비응답자의 proxy가 된다.

Follow-up analysis is a common method in which researchers contact potential respondents in the sampling frame (population of interest) who are up to that point still nonrespondents and ask a very shortened survey, such as one or two most important questions, without demographic or other supportive information. The follow up respondents are considered proxies for the nonrespondents. Nonresponse bias is then calculated for the variable(s) asked of the (up to that point) nonrespondents. It is often difficult to obtain a large enough number of follow-up respondents amongst people who were already not responding to the survey. Nor is there a defined minimum number or proportion of follow-up respond- ents to analyse the data. Additionally, this method does not provide any information such as demographics or secondary survey questions to explain why the follow-up respondents are different from the original sample. In the wave analysis, researchers can look through the other supporting information available for all of the respondents, but not in follow-up analysis. A study by Doherty and Ellis-Chadwick is a good practical example of how to conduct a follow-up analysis (Doherty & Ellis-Chadwick 2003).

Supporting data의 평가방법

Methods evaluating supporting data

population comparison method

예) 1학년 대상 설문을 한다면, 응답자 중 여성응답자의 비율을 1학년 전체 중 여성의 비율과 비교하는 것

The population comparison method uses different sources for information about nonrespondents to compare demographic information between respondents and nonrespondents or between respondents and the entire population. For example, a researcher giving a survey to the entire first year medical student class could compare the proportion of female respondents against the proportion of females in the entire first year class, information that is typically readily available from the dean’s office.

중요한 점은, 남성의 응답률과 여성의 응답률을 비교하는 것이 아니다.

It is important to recognize that the population comparison method is NOT comparing the response rate between demo- graphic groups of responders. (e.g. whether the response rate for males was similar to the response rate for females).

Improving response rates and evaluating nonresponse bias in surveys: AMEE Guide No. 102.

교육연구를 위한 설문지 개발(AMEE Guide No.87)

Developing questionnaires for educational research: AMEE Guide No. 87

ANTHONY R. ARTINO, JR.1, JEFFREY S. LA ROCHELLE1, KENT J. DEZEE1 & HUNTER GEHLBACH2

1Uniformed Services University of the Health Sciences, USA, 2Harvard Graduate School of Education, USA

도입: 의학교육연구에서의 설문

Introduction: Questionnaires in medical education research

2011년과 2012년 Meadical Teacher에 출판된 원저를 분석한 연구에 따르면, 37개(24%)의 논문에서 설문조사를 연구 설계의 한 부분으로 활용하였다. 비슷하게, 설문은 GME 연구에서도 흔히 사용된다. JGME에 2011~2012년에 출판된 논문의 75%가 설문을 사용하였다.

In our recent review of original research articles published in Medical Teacher in 2011 and 2012, we found that 37 articles (24%) included surveys as part of the study design. Similarly, surveys are commonly used in graduate medical education research. Across the same two-year period (2011–2012), 75% of the research articles published in the Journal of Graduate Medical Education used surveys.

의학교육에서 설문이 널리 사용되고 있지만, 어떻게 설문을 설계하는 것이 최선인지에 대한 논문은 별로 없다.

Despite the widespread use of surveys in medical education, the medical education literature provides limited guidance on the best way to design a survey (Gehlbach et al. 2010). Consequently, many surveys fail to use rigorous methodologies or ‘‘best practices’’ in survey design.

설문 척도 설계의 체계적 7단계

A systematic, seven-step process for survey scale design

설문survey라는 용어는 광범위하게 사용되고 있어서, 전화 인터뷰, 포커스 그룹에 사용되는 문항 세트, 자기기입식 환자 설문의 질문 등을 포함한다.

The term ‘‘survey’’ is quite broad and could include the questions used in a phone interview, the set of items employed in a focus group and the questions on a self- administered patient survey (Dillman et al. 2009).

우리는 주로 자기기입식 설문에 초점을 두고자 하며, questionnaire라고 불리기도 한다.

we focus primarily on self-admin- istered surveys, which are often referred to as questionnaires.

questionnaire를 만들기 전에, 우선 설문이 연구질문이나 관심 대상이 되는 construct를 보는데 최선의 방법인지를 결정해야 한다. Construct란 연구자가 평가하고자 하는 모델/아이디어/이론을 말한다.

Before creating a questionnaire, however, it is imperative to first decide if a survey is the best method to address the research question or construct of interest. A construct is the model, idea or theory that the researcher is attempting to assess.

예컨대, 의과대학생의 만족도에 대해서 관심이 있다고 하면, 단순히 '얼마나 만족하나요?'라고 물어볼 수도 있다. 그러나 더 나은 방법은 만족도를 구성하는 여러 측면을 물어보도록 설계하는 것이다 (교육 시설에 대해서 / 교수자에 대해서 / 스케줄에 대해서 얼마나 만족하나요?)

As an example,consider a medical education researcher interested in assess-ing medical student satisfaction. One approach would be to simply ask one question about satisfaction (e.g. How satisfied were you with medical school?). A better approach, however,would be to ask a series of questions designed to capture the different facets of this satisfaction construct (e.g. How satisfied were you with the teaching facilities? How effective were your instructors? and How easy was the scheduling process?). 

단계1: 문헌조사

Step 1: Conduct a literature review

문헌조사의 목적에는 두 가지가 있다. (1)Cosntruct를 명확히 정의함, (2) Construct의 척도(혹은 관련된 construct)가 이미 존재하는지 확인함.

There are two primary purposes for the literature review: (1) to clearly define the construct and (2) to determine if measures of the construct (or related constructs) already exist.

모든 타당도 연구에서 construct를 명확히 정의내리는 것은 필수적인 단계이다. Construct에 대한 좋은 정의는 기존 문헌과의 관계 속에서 위치하게 되며, 다른 construct와 어떻게 관계되는지, 관련된 construct들과 어떻게 다른지 등을 필요로 한다. 잘 쓰여진 정의는 그 construct를 어느 수준에서 추상화하여 측정할 것인지를 결정하는데도 도움이 된다 ('입자 크기grain size'라고 불리는 것). 예컨대, 필수 임상술기 수행에 대한 피훈련자의 자신감을 연구할 때, 청진에 얼마나 자신이 있는지를 평가하는 척도를 개발할 수도 있고(small grain), 신체검진을 수행해보게 할 수도 있고(medium grain), 어떤 전공specialty에 관해서 필수 임상술기를 수행하게 할 수도 있다(large grain)

Formulating indispensable how a first clear step definition of the construct is an the in any validity study clarify (Cook & Beckman 2006). A good definition will construct is positioned within the existing literature, how it relates to other constructs and how it is different from related constructs (Gehlbach & Brinkworth 2011). A well-formulated definition also helps to determine the level of abstraction at which to measure a given construct (the so-called ‘‘grain size’’,as defined by Gehlbach & Brinkworth 2011). For example, to examine medical trainees’ confidence to perform essential clinical skills, one could develop scales to assess their confidence to auscultate the heart (at the small-grain end of the spectrum), to conduct a physical exam (at the medium-grain end of the spectrum) or to perform the clinical skills essential to a given medical specialty (at the large-grain end ofthe spectrum).

비록 많은 의학교육연구자들이 설문지를 독립적으로 개발하지만, 기존의 설문지를 활용하는 것이 더 효율적일 수 있다.

Although many medical education researchers prefer to develop their own surveys independently, it may be more efficient to adapt an existing questionnaire

SEPT에서 묘사된 것과 같기, '타당도'란 그 척도의 의도한 목적을 지지하는 근거의 정도degree이다.

As described in the Standards for Educational and Psychological Testing, validity refers to the degree to which evidence and theory support a measure’s intended use (AERA, APA, & NCME 1999).

비유를 들자면 의사와 환자는 둘 다에게 받아들여질 수 있는 새로운 계획을 개발해야 한다. 많은 의사들은 환자를 대하는데 어려움을 겪곤 한다. construct도 마찬가지인데, 연구자는 construct를 정의내릴 때 불가피하게 연구자 자신의 관점과 편견을 반영시키게 되므로, 타인의 관점이 필요하다.

The clinician and patient then must develop a new plan that is acceptable to both. Many clinicians have also experienced difficulty treating a patient, A construct is no different. the researcher unavoidably brings his/her perspectives and biases to this definition, Thus, other perspectives are needed.

설계 프로세스의 2단계를 완수하기 위해서, 설문 개발자는 응답자의 관점에서의 input을 필요로 한다. 인터뷰와 포커스 그룹은 그러한 input을 얻는데 합당한 방법이다.

In order to accomplish Step 2 of the design process, the survey designer will need input from prospective respondents. Interviews and/or focus groups provide a sensible way to get this input.

단계 3: 문헌리뷰와 인터뷰 결과를 합하기

Step 3: Synthesize the literature review and interviews/focus groups

3단계를 수행하는 합당한 방식 중 하나는, 문헌조사와 인터뷰 결과를 합해서 construct를 위한 지표의 포괄적 목록을 만드는 것이다.

One suitable way to conduct Step 3 is to develop a comprehensive list of indicators for the construct by merging the results of the literature review and interviews/focus groups (Gehlbach & Brinkworth 2011).

이들 자료가 개념적으로 유사하지만 문헌과 인터뷰 응답자가 서로 다른 용어로 construct를 묘사하고 있다면, 인터뷰 응답자의 용어를 활용하는 것이 보다 합당하다. 예컨대, 교사의 자신감('자기효능감')을 평가하 때, '새로운 테크닉을 시도할 때의 자신감'을 물어보는 것이 '신교수법 활용의 효과성'이라고 물어보는 것보다 낫다.

When these data are similar conceptually, but the literature and potential respondents describe the construct using different terminology, it makes sense to use the vocabulary of the potential respondents. For example, when assessing teacher confidence (sometimes referred to as teacher self-efficacy), it is probably more appropriate to ask teachers about their ‘‘confidence in trying out new teaching techniques’’ than to ask them about their ‘‘efficaciousness in experimenting with novel pedagogies’’ (Gehlbach et al. 2010).

최종적으로 문헌에서 찾은 것과 다른 식의 construct definition을 내리기 위해서는 합당한 이유가 있어야 한다.

It is worth noting that scholars may have good reasons to settle on a final construct definition that differs from what is found in the literature.

단계 4: 문항 개발

Step 4: Develop items

일반적으로, 궁극적으로 최종 스케일에 활용될 문항의 숫자보다 더 많은 수의 문항을 만드는 것이 낫다(8개 문항 설문을 만들기 위해서는 15개 문항 개발). 왜냐하면 일부 문항을 제거되거나 수정될 가능성이 높기 때문이다. 궁극적으로, 문항의 숫자를 결정하는 것은 professional judgment의 문제이긴 하나, 가장 협소하게 정의된 construct에 대해서 6~10개 정도의 문항으로 이뤄진 스케일이면 현상의 본질을 신뢰성있게 보여줄 수 있다.

In general, it is good practice to develop more items than will ultimately be needed in the final scale (e.g. developing 15 potential items in the hopes of ultimately creating an eight-item scale), because some items will likely be deleted or revised later in the design process (Gehlbach & Brinkworth 2011). Ultimately, deciding on the number of items is a matter of professional judgment, but for most narrowly defined constructs, scales containing from 6 to 10 items will usually suffice in reliably capturing the essence of the phenomenon in question.

Table 2 presents several item-writing pitfalls and offers solutions.

Table 2 and Figure 1 present several common mistakes designers commit when writing and formatting their response options.

Table 3 provides several examples of five- and seven-point response scales that can be used when developing Likert- scaled survey instruments.

단계 5: 전문가 확인validation

Step 5: Conduct expert validation

전문가 패널을 선정하기 전에, 누가 '전문가'로서의 자격을 갖췄는지에 대한 구체적 기준을 정해야 한다.

First, before selecting a panel of experts to evaluate the content of a new question- naire, specific criteria should be developed to determine who qualifies as an expert.

Rubio 등은 6~10명의 전문가를 권장했으며, 더 많은 전문가가 동원될수록 construct에 대한 더 명확한 합의가 생성될 수 있으며, 항목의 퀄리티와 관련성도 더 향상될 것이라고 했다.

Rubio et al. (2003) recommends using 6–10 experts, while acknowledging that more experts (up to 20) may generate a clearer consensus about the construct being assessed, as well as the quality and relevance of the proposed scale items.

일반적으로, 전문가 검토를 통해서 확인하려는 것은 대표성/명확성/관련성/분포 등이다.

In general, the key domains to assess through an expert validation process are representativeness, clarity, relevance and distribution.

• 대표성: 문항들이 얼마나 전체 construct를 나타내는가 Representativeness is defined as how com-pletely the items (as a whole) encompass the construct,

• 명확성: 문항의 기술된 형태가 얼마나 명확한가 clarity is how clearly the items are worded and

• 관련성: 각 문항이 construct의 구체적 측면과 얼마나 연관되어있는가 relevance refers to the extent each item actually relates to specific aspects of the construct.

• 분포: 분포는 늘 전문가 검토를 통해서 측정되는 것은 아니다. 왜냐하면 응답자가 특정 문항에서 '높은 점수를 선택하기에' 문항이 '얼마나 어려운가'와 같은 보다 미묘한 측면에 대한 것이기 때문이다. 다른 말로 하면, 평균적인 의과대학생 설문은 자신감 관련 문항에서 '해부학 시험에서 100점을 맞을 것으로 얼마나 자신합니까?'와 같이 물었을 때 높은 점수를 선택하기 매우 어렵다. 대신 이러한 문항을 '해부학 시험을 통과할 자신이 얼마나 있습니까'라고 물으면 학생들은 대답하기 더 수월할 것이다. 
  The distribution of an item is not always measured during expert validation as it refers to the more subtle aspect of how ‘‘difficult’’ it would be for a respondent to select a high score on a particular item. In other words, an average medical student may find it very difficult to endorse the self-confidence item, ‘‘How confident are you that you can get a 100% on your anatomy exam’’, but that same student may find it easier to strongly endorse the item, ‘‘How confident are you that youcan pass the anatomy exam’’. 

양적 자료 수집에 더하여, 설문 개발자들은 서술형 응답도 받아야 한다.

In addition to collecting quantitative data, questionnaire designers should provide their experts with an opportunity to provide free-text comments.

단계 6: 인지 인터뷰cognitive interviews 시행

Step 6: Conduct cognitive interviews

response process validity의 근거를 수집하는 것이 중요하다.

it is important to collect evidence of response process validity

이러한 근거를 수집하는 한 가지 방법은 cognitive interview 혹은 cognitive pre-testing 이라고 불리는 단계를 밟는 것이다.

One means of collecting such evidence is achieved through a process known as cognitive interviewing or cognitive pre-testing (Willis 2005).

cognitive interviews 의 결과는 응답자들이 문항 또는 보기를 어떻게 해석함에 있어서 어떠한 실수를 하는지 알아보기에 좋다. 질적 테크닉으로서, 이 단계의 분석은 수치자료에 대한 통계적 분석이 아니라, 인터뷰의 코딩과 해석에 의존한다. 따라서 표본 크기는 작은 편이며 10~30명의 대상자만 포함한다.

Results from cognitive interviews can be helpful in identifying mistakes respondents make in their interpretation of the item or response options (Napoles-Springer et al. 2006; Karabenick et al. 2007). As a qualitative technique, analysis does not rely on statistical tests of numeric data but rather on coding and interpretation of written notes from the interview. Thus, the sample sizes used for cognitive interviewing are normally small and may involve just 10–30 participants (Willis & Artino 2013).

Cognitive interviewing 은 심리학에서 테크닉을 가져왔으며, 통상적으로 응답자가 설문에 응답할 때 일련의 cognitive process를 거친다고 가정한다. 이 단계에는...

Cognitive interviewing employs techniques from psych- ology and has traditionally assumed that respondents go through a series of cognitive processes when responding to a survey. These steps include

• comprehension of an item stem and answer choices,

• retrieval of appropriate information from long-term memory,

• judgment based on comprehension of the item and

• their memory and finally selection of a response (Tourangeau et al. 2000).

응답자가 각 단계에서 difficulty를 겪을 수 있기 때문에, cognitive interview 는 모든 잠재적 문제에 대응할 수 있게 설계 및 기술script되어야 한다. 중요한 첫 번째 단계는 각 문항에 대하여 설문 개발자가 애초에 의도한 의미를 반영할 수 있는 코딩 기준을 만드는 것이다. 이것은 cognitive interview 과정에서 수집되는 응답의 해석을 도와준다.

Because respondents can have any cognitive interview difficulty at stage, a should be designed and scripted to address any and all of these potential problems. An important first step in the cognitive interview process is to create coding criteria that reflects the survey creator’s intended meaning for each item (Karabenick et al. 2007), which can then be used to help interpret the responses gathered during the cognitive interview.

cognitive interview 를 수행하는 두 가지 주요 테크닉은 think-aloud technique 와 verbal probing이다.

The two major techniques for conducting a cognitive interview are the think-aloud technique and verbal probing.

• 응답하면서 떠오르는 모든 생각을 말로 표현하게 함. 인터뷰어는 지속적으로 말을 하도록 장려함으로써 이 과정을 지지해주며, 말한 내용을 기록한다. 그러나 대부분의 응답자에게 이 과정은 부자연스럽거나 어려우며, 방대한 양의 free-response data를 생성한다는 단점이 있다.
  The think-aloud technique requires respondents to verbalize every thought that they have while answering each item. Here, the interviewer simply supports this activity by encouraging the respondent to keep talking and to record what is said for later analysis (Willis & Artino 2013). This technique can provide valuable information, but it tends to be unnatural and difficult for most respondents, and it can result in reams of free-response data that the survey designer then needs to cull through.

• 보다 능동적인 형태의 자료 수집으로서, 인터뷰어가 일련의 probe 질문을 던져서 구체적인 정보를 얻는 것이다. 보통 동시적 probing과 후향적 probing으로 나눠진다.
  A complementary procedure, verbal probing, is a more active form of data collection where the interviewer adminis- ters a series of probe questions designed to elicit specific information (Willis & Artino 2013; see Table 4 for a list of commonly used verbal probes). Verbal probing is classically divided into concurrent and retrospective probing.

• 동시적 프로빙: 응답을 하는 중간에 물어봄. 최근의 생각을 응답할 수 있음.
  In concur- rent probing, the interviewer asks the respondent specific questions about their thought processes as the respondent answers each question. Although disruptive, concurrent probing has the advantage of allowing participants to respond to questions while their thoughts are recent.

• 후향적 프로빙: 모든 설문을 마친 이후에 하게 되며, 덜 disruptive함. 단점은 recall bias와 hindsight effect.
  Retrospective probing, on the other hand, occurs after the participant has completed the entire survey (or section of the survey) and is generally less disruptive than concurrent probing. The down- side of retrospective probing is the risk of recall bias and hindsight effects (Drennan 2003).

• 즉각적 후향적 프로빙: 두 가지를 변형한 것으로서, 인터뷰어가 설문 중간에 자연스럽게 break를 포함히켜 두는 것이다. 각 항목 사이에 interruption이 없다. recall bias나 hindsight effect를 줄여준다.
  A modification to the two verbal probing techniques is defined as immediate retrospect- ive probing, which allows the interviewer to find natural break points in the survey. Immediate retrospective probing allows the interviewer to probe the respondent without interrupting between each item (Watt et al. 2008). This approach has the potential benefit of reducing the recall bias and hindsight effects while limiting the interviewer interruptions and decreasing the artificiality of the process.

실제로는 많은 cognitive interview는 think-aloud와 verbal probing을 모두 사용한다.

In practice, many cognitive interviews will actually use a mixture of think-aloud and verbal probing techniques to better identify potential errors.

일단 cognitive interview 가 완료되면, 몇 가지 분석법이 있다.

Once a cognitive interview has been completed, there are several methods for analyzing the qualitative data obtained.

한 가지 방법은 coding을 하는 것이다. 사전에 결정된 코드에 따라서 자주 발생하는 에러/각 에러의 빈도/에러의 심각성 등을 코딩한다.

One way to quantitatively analyze results from a cognitive interview is through coding. With this method, pre-determined codes are established for common respondent errors (e.g. respondent requests clarification), and the frequency of each type of error is tabulated for each item(Napoles-Springer et al. 2006). In addition, codes may be ranked according to the pre-determined severity of the error.

양적 결과가 해석을 하기에는 용이하나, 예측하지 못한 에러를 놓치거나 왜 그러한 에러가 발생하는지에 대한 설명은 해주지 못한다. 따라서 질적 접근법이 활용되기도 한다. interaction analysis는 사람들이 대화를 하는 도중에 해석하고 상호작용하는 방식을 묘사하고 설명할 때 사용되는 전형적인 방법이며, cognitive interview에도 적용되어서 응답의 의미를 해석하는데 사용할 수 있다.

Although the quantitative results of this analysis are often easily interpretable, this method may miss errors not readily predicted and may not fully explain why the error is occurring (Napoles-Springer et al. 2006). As such, a qualitative approach to the cognitive an interaction interview can also be employed through analysis. Typically, an interaction analysis attempts to describe and explain the ways in which people interpret and interact during a conversation, and this method can be applied during the administration of a cognitive interview to determine the meaning of responses (Napoles-Springer et al. 2006).

coding과 interaction analysis가 상당히 효과적이며, 새로운 설문지에 대한 cognitive validity를 제공한다.

Studies have demonstrated that the combination of coding and interaction analysis can be quite effective, providing more information about the ‘‘cognitive validity’’ of a new question- naire (Napoles-Springer et al. 2006).

가장 흔한 신뢰도 평가 척도는 Cronbach's alpha이다. 그러나 흔히 생각하는 것처럼 Cronbach's alpha는 척도의 단-차원성의 좋은 척도는 아니다. 따라서 대부분의 경우에 설문 개발자는 먼저 요인분석을 수행하여 척도의 단차원성을 평가한 다음, 신뢰도 분석을 진행해서 internal consistency를 평가해야 한다. Cronbach's alpha가 척도의 길이에 민감하기 때문에, 다른 모든 조건이 동등하다면 더 긴 척도가 더 높은 점수를 얻게 해준다. 당연히 척도의 길이와 이에 따른 내적 일관성의 향상은 응답자에게 과도한 부담이 되지 않도록 균형을 이뤄야 한다. 설문지가 너무 길거나 응답자가 피로해지면 응답의 오류가 수반되기 마련이다.

The most common means of assessing scale reliability is by calculating a Cronbach’s alpha coefficient. It is important to note that Cronbach’s alpha is not a good measure of a scale’s uni-dimensionality (measuring a single concept) as is often assumed (Schmitt 1996). Thus, in most cases, survey designers should first run a factor analysis, to assess the scale’s uni-dimensionality and then proceed with a reliability analysis, to assess the internal consistency of the item scores on the scale (Schmitt 1996). Because Cronbach’s alpha is sensitive to scale length, all other things being equal, a longer scale will generally have a higher Cronbach’s alpha. Of course, scale length and the associated increase in internal consistency reliability must be balanced with over-burdening respondents and the concomitant response errors that can occur when questionnaires become too long and respondents become fatigued.

척도의 단-차원성과 내적 일관성이 평가되고 난 다음에는, 설문 개발자는 각 척도를 종합한 점수composite score를 생성한다. 연구질문에 따라 다르겠지만, 이러한 종합점수는 독립/종속 변인으로 사용된다. 종합점수는 단순히 평균을 낸 점수가 될 수 있다(가중치가 있거나 없거나). 평균점수를 사용하는 것이 점수 합을 내는 것보다 장점이 있다.

Once a scale’s uni-dimensionality and internal consistency have been assessed, survey designers often create composite scores for each scale. Depending on the research question being addressed, these composite scores can then be used as independent or dependent variables. A composite score is simply a mean score (either weighted or unweighted) of all the items within a particular scale. Using mean scores has several distinct advantages over summing the items within a particular scale or subscale.

• 점수를 anchor에 따라 해석하기가 더 직관적
  First, mean scores are usually reported using the same response scale as the individual items; this approach facilitates more direct interpretation of the mean scores in terms of the response anchors.

• 개인이나 집단 수준에서 차이를 비교하기 좋음. Colliver는 "점수의 합계는 척도와 문항 수를 모두 반영하게 되는데, 이는 점수 간 차이를 더 과장시키며, 실제보다 그 차이가 가지는 의미를 더 과장시킨다"
  Second, the use of mean scores makes it clear how big (or small) measured differences really are when comparing individuals or groups. As Colliver et al. (2010) warned, ‘‘the sums of ratings reflect both the ratings and the number of items, which magnifies differences between scores and makes differences appear more important than they are’’ (p. 591).

Christian LM, Parsons NL, Dillman DA. 2009. Designing scalar questions for web surveys. Sociol Method Res 37:393–425.

Sullivan G. 2011. A primer on the validity of assessment instruments. J Grad Med Educ 3(2):119–120.

Sullivan GM, Artino AR. 2013. Analyzing and interpreting data from Likert- type scales. J Grad Med Educ 5(4):541–542.

Rickards G, Magee C, Artino AR. 2012. You can’t fix by analysis what you’ve spoiled by design: developing survey instruments and collecting validity evidence. J Grad Med Educ 4(4):407–410.

Developing questionnaires for educational research: AMEE Guide No. 87.

Qualitative research methods in medical education (Understanding Medical Education ch22)

Lorelei Lingard and Tara J Kennedy

질적연구의 패러다임과 목적

The Paradigm and Purpose of Qualitative Research

의학교육에서 질적연구는 무엇인가?

What is qualitative research in medical education?

질적연구를 통한 탐구에는 'how'와 'what'질문이 적합하다.

How and what questions are particularly suited for exploration through qualitative research ( see Box 22.1 ).

'질적연구'라는 용어는 넓은 범위의 접근법과 방법론을 포함한다.

The term ‘ qualitative research ’ encompasses a broad range of approaches and methods,

Harris에 따르면, 이들 학문분야에서 의학교육으로 방법론이 들어오게 된 것은 1980년대부터 시작되었으며, 이 당시는 '통제된 실험'이라는 우세적 패러다임을 보완하기 위하여, 보다 규범적인prescriptive 이론의 설립을 요구하던 시대였다. 흥미롭게도, 이러한 요구는 의학교육연구의 review에서 지속적으로 이론 설립을 요구하고 복잡한 사회적 의문을 탐구하는 질적 전략을 요구하면서 지속되었다.

According to Harris, (1) the importation of methods from these disciplines into medical education began in the 1980s amid calls for more prescriptive theory building to complement the dominant paradigm of controlled experiments. Interestingly, these calls persist as reviews of the medical education research fi eld continue to identify a need for increased theory building and qualitative strategies of inquiry to grapple with complex social questions. (2)

질적연구 패러다임이란?

What is the qualitative paradigm?

질적연구에 대한 논의는 종종 '질적 패러다임'에 대한 것으로부터 시작한다. Denzin and Lincoln이 설명했던 바와 같이 패러다임이란 '행동을 가이드해주는 신념의 기본 집합 basic sets of beliefs that guide action'이다. Harris는 이것을 ‘학자 집단으로부터 당연하게 여겨지는 가정, 인지적 로드맵 cognitive road maps, taken - for - granted assumptions within communities of scholars ’ 라고 설명하였으며, 연구자에게 의미와 노력의 방향을 제시해주는 것이라 하였다. Denzin and Lincoln에 따르면 패러다임의 개념은 세 가지 요소를 포함한다. 인식론epistemology, 존재론ontology, 방법론methodology이다. 인식론은 세계관을, 존재론은 현실에 대한 신념을, 방법론은 자료의 수집과 분석 도구를 의미한다.

Discussions on qualitative research often begin with reference to ‘ the qualitative paradigm ’ As Denzin and Lincoln (3) explain, paradigms are basic sets of beliefs that guide action; Harris describes them as ‘ cognitive road maps, taken - for - granted assumptions within communities of scholars ’ (1) that orient researchers towards meaning and the research endeavour. The concept of paradigm includes three elements accord- ing to Denzin and Lincoln: epistemology, ontology and methodology. (3) Epistemology refers to world view, ontology to beliefs about reality, and methodol- ogy to tools for data collection and analysis.

질적 패러다임qualitative paradigm 이란 용어는, 사실 부적절한 명칭인데, 왜냐하면 질적연구는 다양한 스펙트럼의 패러다임 안에서 이뤄지기 때문이다. 실증주의, 후기실증주의, 구성주의, 비판이론critical theory, 포스트모더니즘 등이다. 현재 의학교육에서 질적연구를 framing하는 우세적인 패러다임은 후기실증주의와 구성주의이다.

The qualitative paradigm is, in fact, a misnomer, for qualitative research takes place within a vast spectrum of paradigms: positivism, post - positivism, constructiv- ism, critical theory and post - modernism. In medical education, the dominant paradigms currently framing qualitative research tend to be post - positivism and constructivism.

• 후기실증주의는 옳은 연구 절차가 있다면 발견가능한 '객관적인 현실'이 존재한다고 보는 점에서 실증주의와 공유하는 점이 있다. 그러나 후기실증주의를 실증주의와 구분짓는 것인 인간의 복잡한 행동이 개개인의 motivation과 문화적 환경에 따라 만들어진다는 점을 인정한다는 것이다. 또한 연구를 할 때 이러한 복잡성을 생략elide하기 보다는 맥락적 '본질' contextual essence로 반영해야 한다.
  Post - positivism shares with positivism the belief that there is an objective reality that can be discovered if the correct research procedures are in place. What distinguishes post - positivism is the acknowledgement that complex human behaviour is shaped by individual motivations and cultural envi- ronments, and research must represent these complex- ities rather than elide them in search of a contextual ‘ essence ’ or truth.
• 사례: Irby ’ s account of how clinical teach- ers make decisions about what to prioritise in their round exchanges with students represents the post - positivist paradigm in his seeking for the essence of teachers ’ decision making while paying attention to the contextual and individual features that shape this process. (4)
• 구성주의는 현실reality를 받아들인다는 점에서 후기실증주의로부터 줄발하며, 의미meaning은 상대적인 것이고, 연구자와 연구대상의 상호작용에 의해서 생성되는 것이라고 본다. 구성주의적 패러다임에서의 연구는 연구자의 주관성을 인정하며, 사회적 현상을 설명함에 있어서 연구자와 현상의 상호작용을 반영한다.
  Constructivism departs from post - positivism in its acceptance of reality and meaning as relative, pro- duced through the interaction between researcher and researched. Research in the constructivism paradigm acknowledges the subjectivity of the researcher, pro- ducing accounts of a social phenomenon that refl ect the researcher ’ s interaction with the phenomenon.

의학교육연구에서 점차 두드러지는 한 가지는 critical theory paradigm인데, 연구하려는 현상에 존재하는 power dynamics를 드러내려는 목적을 가지며, 세심한 묘사와 이러한 역학dynamics의 분석을 통해서 empowerment를 촉진하려는 목적을 지닌다.

Also becoming apparent in medical education research is work within the critical theory paradigm, which is identifi able by its goal of revealing power dynamics in studied phenomena and fostering empow- erment through the careful description and analysis of these dynamics.

연구자의 패러다임이 반드시 연구 접근법이나 방법론을 예측해주는 것은 아니다. 왜냐하면 연구 접근법이나 방법론을 선택하는데 유연성이 존재하기 때문에, 'best fit' 원칙이 연구질문에 대한 접근법이나 프레임을 결정하는데 사용되기 때문이다. 최적의 접근법은 연구질문, 연구환경의 특성, 연구의 목적에 따라 달라진다. 이들 요인이 최적의 방법이 무엇인지를 결정한다. 이러한 접근의 유연성은 양적 패러다임과의 핵심적 차이가 되는데, 양적 패러다임에서는 RCT가 'gold standard'로 받아들여진다.

The researcher ’ s paradigm does not necessarily predict his or her research approach or methods. Because of this flexibility in the selection of an approach and a method, the principle of  ‘ best fit ’  is used to decide how best to approach or frame a research question.The best approach depends on the research question, the nature of the research setting and the objective of the research. These factors also determine what the best methods are. This flexibility of approaches and methods is a key difference from the quantitative par-adigm, where the randomised controlled trial is widely accepted as the  ‘ gold standard ’ 

질적연구와 양적연구의 관계는?

What is the relationship between qualitative and quantitative research?

신념 체계가 다르고, 현상의 본질을 바라보기 위하여 변인을 통제하려는 의도에서 차이가 난다. 또한 통계적 분석의 활용을 통해서 지식을 드러내고 대표하려는 것에서 차이가 난다.

belief system, thus the intent to control variables in order to see the essence of a phenomenon, and the use of statistical analyses to reveal and represent knowl- edge.

이러한 이분법적인 접근이 왜곡적이며 도움이 안된다는 인식이 늘어나고 있다. Irby부터 Norman에 이르기까지, 'best fit' 주의doctrine이 질적연구와 양적연구의 관계에 대한 논의를 이끌어가고 있다. 특정 연구질문은 특정 패러다임, 특정 접근법, 특정 방법론에 잘 맞는다.

There has been a gradual recognition that such dichotomising is distorting and unhelpful. From Irby ’ s invited address in 1990 (cited in Reference 1) to Norman ’ s editorial in 1998, (10) the doctrine of best fi t increasingly governs discussions about the uses and relationships of qualitative and quantitative research. Certain kinds of research question are suited to certain paradigms, certain approaches and certain methods,

Qualitative Research Approaches

민족지

Ethnography 

The tradition of ethnography originates in the field of anthropology, in which a researcher would travel to study an ‘ exotic ’ tribe. (12,13) Current - day ethnogra- phy often rejects the traditional notion of a privileged researcher, and ethnographic studies are now more likely to occur in local subcultures (such as a medical school or an operating room) than in far - fl ung loca- tions. However, ethnographic studies carry on the practice of long - term engagement in a study setting, and the collection, through observation and conversa- tional interviews, of data that are analysed to under- stand the meaning inherent in the everyday activities of a particular social group. (14)

There are a number of classic ethnographies in the domain of medical educa- tion, including Becker ’ s The Boys in White (15) a study of the nature of student culture in medical school, and Bosk ’ s Forgive and Remember (16) a study of the treat- ment of medical error in postgraduate surgical education.

근거이론

Grounded theory 

연구 참여자의 현실적 경험으로부터 유도된derived from, grounded in 이론적 설명을 개발함으로써 사회적 현상을 탐구하고자 하는 것. 근거이론은 1960년대 두 명의 사회학자 Glaser and Strauss로부터 개발되었으며, 질적 자료의 분석을 보다 systematic하게 하고자 했다. 이들은 양적 패러다임에서 부과된 standard of rigor에 부응하고자 하였으며, 이론의 검증보다는 이론의 생성에 초점을 두었다. 핵심 요소는 다음과 같다.

Grounded theory research explores social phenomena through the development of theoretical explanations that are ‘ grounded ’ in (i.e. derived from) the practical experience of study participants. (17) Grounded theory was developed by two sociologists, Glaser and Strauss, in the 1960s, to provide a systematic approach to the analysis of qualitative data that would live up to the standards of ‘ rigour ’ imposed by the quantitative par- adigm and that would focus on theory generation rather than theory testing. (17) Key elements of grounded theory methodology include:

• 반복적 연구 설계: 지속적, 반복적으로 진행되는 자료 수집과 자료 분석
     iterative study design (cycles of simultaneous data collection and analysis, in which the results of the ongoing data analysis inform the subsequent data collection)
• 의도적 표집: emerging theory를 확인/도전/확장하는 자료를 제공할 수 있는 능력에 따라 자료 출처를 선택
      purposeful sampling (purposeful selection of data sources for their ability to provide data that would confi rm, challenge or expand an emerging theory)
• (자료 분석 접근법에 대한) 지속적 비교: 자료에서 관심의 대상이 되는 사건이나 이슈가 다른 사례들과의 유사점이나 차이점에 대해서 비교함.
     constant comparison approach to data analysis (through which incidents or issues of interest in the data are compared against other examples for simi- larities and differences). (18 – 20)

사례연구

Case study 

Case study research involves an in - depth analysis of a ‘ bounded system ’ (a programme, an event, an activity, a process, a group, etc.). (27) The case study can have intrinsic value or can be used as a means of gaining understanding of a larger process. (28) Case study research has roots in sociological tradition as well as in the medical case report. (27) One hallmark of case study methods is triangulation, which is the use of multiple data collection tools or data sources to gain rich insight into the study phenomenon from multiple perspectives ( see Principles of rigour, below).

An example of a qualitative case study in medical educa- tion is Perley ’ s study of a group of primary care physi- cians to explore their use of the ‘ curbside consultation ’ with colleagues as a continuing education tool. (29)

현상학

Phenomenology 

어떤 것을 경험한 사람의 관점에서 사회적 현상의 본질을 이해하고자 하는 목표

연구자 자신의 선입견preconception은 옆으로 치워둠(bracketing)

소수의 개인의 경험만을 심층적으로 탐구하기도 함.

Phenomenology arose early in the 20th century from philosophical reflections on consciousness and perception. Phenomenological research aims to under- stand the essence of a social phenomenon from the perspective of those who have experienced it. (30) Phenomenology involves the ‘ bracketing ’ (or putting aside) of the researcher ’ s own preconceptions and per- spectives in order to understand the ‘ lived experience ’ of the research participants. (30) Phenomenological studies often involve an in - depth exploration of the experiences of a small number of individuals.

Bearman has used phenomenology to explore the experiences of medical students during interactions with virtual patients. (31)

해석학

Hermeneutics 

역사적으로는 성서문구의 해석을 의미했음. Hermeneutic circle이라는 순환적 프로세스를 포함함.

The term hermeneutics historically refers to the inter- pretation of biblical texts. In the domain of qualitative research, hermeneutics uses the lived experience of participants as a means of understanding their political, historical and sociocultural contexts. (32) Hermeneutic analysis involves a cyclical process called the ‘ hermeneutic circle ’ movement back and forth between the consideration of the meaning of individ- ual parts of a data set and the meaning of the whole text. (33)

Addison has explored how medical residents cope with their training through a hermeneutic approach in his chapter ‘ Grounded interpretive research: an investigation of physician socialization ’ (34)

서사 연구

Narrative research 

스토리텔링의 고전적 실천ancient practice에 기원을 둠. 개인적 account를 스토리로서 간청solicit하고 분석하는 것.

Narrative research stems from the ancient practice of storytelling as a method of communicating, arranging and interpreting human experience. Narrative inquiry is a qualitative approach that ‘ solicits and analyzes personal accounts as stories ’ (35) using these stories as a means of understanding or making sense of a par- ticular experience or situation. Narrative analysis seeks meaning in the content, the structure, the context and the relational aspects of a story. (36)

자료의 수집을 분석과 분리시키는 것은 질적연구에서는 두 가지 이유에서 약간 인위적이다.

This separation of data collection from analysis is somewhat artificial in qualitative research for two reasons.

• 첫째, 많은 질적연구는 iterative study design을 도입한다. 즉, 자료의 수집과 분석이 동시에 이뤄진다. iterative 연구 프로세스에서 초기에 수집된 자료의 예비적 분석을 통해서 더 명확하게 해야 할 질문이 드러나거나 더 탐구가 필요한 새로운 아이디어가 나타나기 때문에 어떻게 그 다음 자료수집과 분석 phase를 수행할지의 결정에 영향을 준다.
  First, many qualitative studies employ an iterative study design, (1) in which cycles of data col- lection and analysis occur simultaneously. In an itera- tive research process, preliminary analysis of data collected early in the study process affects decisions about how to go about the next phase of data collection by revealing questions that require clarifi cation or new ideas that require further exploration in subsequent data collection and analysis cycles. (17)
• 자료 수집과 분석이 연결되는 두 번째 방식은 자료수집방법의 선택이 분석방법에 영향을 주고, 마찬가지로 분석방법도 자료수집방법에 영향을 주는 형태이다.
  The second way in which data collection and analysis are linked in qualitative research practice is the way in which the choice of data collection methods necessarily informs the choice of the analytical approach and vice versa.

질적자료의 수집과 분석에서 특정 윤리적 이슈가 제기될 때도 있다.

particular ethical issues arise in the collection and analysis of qualitative data. These include both

• 절차적 윤리: 어떻게 연구 참여자를 해harm으로부터 보호하면서 수행할 수 있을 것인가.
  procedural ethics (how the research is conducted to protect research participants from harm) and
• 상황적 윤리: 연구자 자신이 '윤리적으로 중요한 순간'에서 어떻게 행동할 것인가
  situational ethics (how the researcher conducts himself or herself in what Guillemin and Gillam call ‘ ethically important moments ’ ). (42)

Reflexivity 는 연구자가 필드에 있는 연구참여자와의 상호작용 과정에서 나타날 수 있는 윤리적 긴장을 협상negotiate할 때 사용하는 sensitising concept이다.

Reflexivity is asserted as a sensitising concept researchers can use as they negotiate ethical tensions that may arise in their interactions with participants in the field ( see Box 22.3 )

자료 수집 도구

Data collection tools

면접

Interviews

질적연구 인터뷰에서 스탠다드는 'depth interview'(심층인터뷰)로서 연구질문에 대한 풍부하고 세세한 탐색을 진행하게 되며, 보통 45분부터 몇 시간에 걸쳐 진행된다. 형태는 반구조화 인터뷰 포멧.

Individual interviews are probably the most familiar and the most often used form of data collection in qualitative medical education research. (1,43) Interviews provide access to participants ’ personal perspectives and relevant experiences on an unlimited number of topics. (44) The qualitative interview stand- ard is the ‘ depth interview ’ (44) which provides a rich and detailed exploration of a research question and generally lasts between 45 minutes and a few hours. (45) Qualitative research interviews often follow a ‘ semi - structured ’ format. (43) The semi - structured interview is guided by a predetermined set of open - ended ques- tions, but the researcher and participant are free to pursue additional relevant topics as they arise ( see  Box  22.5  for a sample interview script). Qualitative inter-views are usually audiotaped and later transcribed to facilitate analysis,

가장 큰 단점은 기억을 통해 걸러진 정보만 수집가능하다는 것이며, 인터뷰의 사회적 맥락에 영향을 받는다. 인터뷰어는 유도질문을 하지 말아야 하며(멘토십 프로세스에서의 장애요인은?(X), 멘토십 프로세스에서의 경험은 어떠했나요?(O)), 면접에서의 권력관계에도 신경써야 함

The main disadvantage of the interview method of data collection is the fact that the information provided is filtered through the memory of the participant and is influenced by the social context of the interview. (46) Interview researchers must be careful to avoid leading questions (consider, for example, the potential differ- ence in responses to the questions ‘ What barriers to the mentorship process have you encountered? ’ and ‘ What have your experiences with the mentorship process been like? ’ ). Researchers must also attend to the power dynamics of the interview.

포커스 그룹

Focus groups

다양한 경험과 다양한 이야기를 효율적으로 수집가능하다. 역동적이며, 상호작용이 있는 교환을 통해서 상반되는 의견을 자극하고,  집단의 규범이나 일반적 수행common practice를 성찰하게 하고 당연하게 여겨졌던 가치를 드러내게 해준다.

moderator는 그룹역학이나 상호작용도 기록한다

Focus groups have recently become well known as a marketing research tool, but they have a long history in the domain of social sciences research. Focus groups are sessions involving 4 – 12 participants and a modera- tor or facilitator who guides the group discussion of a topic relevant to the research question. (47) Focus groups provide access to multiple stories and diverse experiences in an efficient manner. More importantly, focus groups provide a dynamic and interactive exchange that can stimulate exploration of contrary opinions, reflection on group norms and common practices and exposure of taken - for - granted values. (48) Like individual interviews, focus group discussions often follow a semi - structured format and are audiore- corded and transcribed for analysis. The focus group moderator also records notes on group dynamics and interactions.

포커스그룹을 통해서 탐구하기 적합한지 고려해보아야 함(매우 개인적인 주제는 개별 면접이 더 나을 수도 있음)

권력 관계power dynamics가 중요하다. 한 명의 영향력있는 개인이 전체 프로세스를 탈선시킬 수도 있음.

Researchers using focus groups must consider whether their topic would benefit from exploration in the synergistic and spontaneous focus group format (for example, some deeply personal topics might be more safely or productively explored in an individual interview). Issues of power dynamics are also critical in focus group methodology: one infl uential, opinion- ated group member can derail the entire process. (47)

관찰

Observation

Researchers conducting observa-tions have access to data on what participants do and not just on what they say they do. (50)  Qualitative researchers conducting observations make recordscalled  ‘field notes’ ( see  Box  22.6  for an illustrative example)

Observations are sometimes accompanied by audio recording of ‘ naturalistic ’ conversations, which are later transcribed for analysis.