응답자들은 우리가 물어보는 것에 대해서 뭘 생각하는가? 인지 인터뷰 사용하기 (J Grad Med Educ . 2013)

응답자들은 우리가 물어보는 것에 대해서 뭘 생각하는가? 인지 인터뷰 사용하기 (J Grad Med Educ . 2013)

What Do Our Respondents Think We’re Asking? Using Cognitive Interviewing to Improve Medical Education Surveys 

Gordon B. Willis, PhD

Anthony R. Artino Jr., PhD

최근 대학원 의학 교육의 저널 2개 사설에서 4,5 저자들은 설문지 설계자들이 사용할 수 있는 6단계 의사결정 과정을 제안했다. 본 기사에서는 6가지 의사결정 단계 중 5번째 단계, 특히 "내 응답자가 내가 의도한 대로 내 항목을 해석할 것인가?"를 고려함으로써 그러한 노력을 확대한다.’’

In 2 recent Journal of Graduate Medical Education editorials,4,5 the authors proposed a 6-step decision process for questionnaire designers to use. In this article, we expand on that effort by considering the fifth of the 6 decision steps, specifically, the following question: ‘‘Will my respondents interpret my items in the manner that I intended?’’

설문지는 의학 교육 연구의 주제를 조사하기 위해 정기적으로 사용되며, 표준화된 설문 조사 질문을 대본으로 작성하는 간단한 과정으로 보일 수 있다. 그러나, 연구자들이 완벽히 명확하다고 생각되는 항목들이 종종 유의미한 오해를 받거나, 그렇지 않으면 의도된 바를 측정하지 못한다는 것을 많은 증거들이 증명한다.1.2 예를 들어, "보건전문직"과 같은 추상적인 용어들은 질문지를 만든 사람이 생각한 것을 현저하게 벗어날 수 있는 광범위한 해석을 떠올리게 하는 경향이 있다.

Questionnaires are regularly used to investigate topics in medical education research, and it may seem a straightforward process to script standardized survey questions. However, a large body of evidence demonstrates that items the researchers thought to be perfectly clear are often subject to significant misinterpretation, or otherwise fail to measure what was intended.1,2 For instance, abstract terms like ‘‘health professional’’ tend to conjure up a wide range of interpretations that may depart markedly from those the questionnaire designer had in mind.

여기서 설명하는 방법, 즉 '인지 면접' 또는 '인지 시험'은 조사 질문(특성, 행동 또는 본질적으로 사실)이 의도한 목적(BOX)을 달성하는지 여부를 조사하기 위해 특별히 고안된 증거 기반의 정성적 방법이다. 그 방법은 구체적으로 모집된 개인과의 인터뷰에 의존한다. 이들 개인에게는 설문지 최종 초안을 관리하는 것과 동일한 방식으로 설문지 질문을 제시한다. 인지면접은 품질보증 절차로서 자료수집(예측) 전, 자료수집 중 또는 조사를 실시한 후에도 실시된다.

The method we describe here, termed ‘‘cognitive interviewing’’ or ‘‘cognitive testing,’’ is an evidence-based, qualitative method specifically designed to investigate whether a survey question—whether attitudinal, behavioral, or factual in nature—fulfills its intended purpose (BOX). The method relies on interviews with individuals who are specifically recruited. These individuals are presented with survey questions in much the same way as survey respondents will be administered the final draft of the questionnaire. Cognitive interviews are conducted before data collection (pretesting), during data collection, or even after the survey has been administered, as a quality assurance procedure.

1980년대에 인지 인터뷰는 실험 심리학 분야에서 성장했다; 인지 인터뷰의 일반적인 정의는 그러한 기원과 강조를 반영한다. 예를 들어 윌리스는 '인지 인터뷰는 개인이 정신적으로 설문지를 처리하고 응답하는 방식을 경험적으로 연구하기 위한 심리학적 지향적 방법이다'라고 말한다. 그 이론적 기반 때문에 인지 인터뷰는 전통적으로 투란게우가 도입한 4단계 인지 모델에 의존해 왔다. 이 모델은 설문조사 응답 프로세스는 다음의 네 단계를 포함하는 것으로 설명한다. 

• (1) 이해, 

• (2) 정보의 검색, 

• (3) 판단 또는 추정, 

• (4) 질문에 대한 응답 선택

During the 1980s, cognitive interviewing grew out of the field of experimental psychology; common definitions of cognitive interviewing reflect those origins and emphasis. For example, Willis6 states, ‘‘Cognitive interviewing is a psychologically oriented method for empirically studying the way in which individuals mentally process and respond to survey questionnaires.’’ For its theoretical underpinning, cognitive interviewing has traditionally relied upon the 4stage cognitive model introduced by Tourangeau.7 This model describes the survey response process as involving 

• (1) comprehension, 

• (2) retrieval of information, 

• (3) judgment or estimation, and 

• (4) selection of a response to the question.

예를 들어, ''지난 해에, 정식 교육 프로그램에 몇 번이나 참여하셨습니까?''라는 질문에 대한 정신적 처리는 아마도 다음의 것이 필요할 것이다. 

• 중요한 용어와 구문을 이해하고 해석한다(예: "지난 해" 및 "교육 프로그램"). 

• 정답을 회상하고, 정확한 숫자를 보고하기로 결정(예를 들어, 더 높은 값을 제공하는 것보다 더 높음)한다. 

• 그런 다음, 조사 요건에 부합하는 답변을 작성한다(예: "실제"가 아닌 "5회" 보고). 

For example, mental processing of the question ‘‘In the past year, how many times have you participated in a formal educational program?’’ presumably requires a respondent 

• to comprehend and interpret critical terms and phrases (eg, ‘‘in the past year’’ and ‘‘formal educational program’’); 

• to recall the correct answer; to decide to report an accurate number (rather than, for example, providing a higher value); and 

• then to produce an answer that matches the survey requirements (eg, reporting ‘‘5 times’’ rather than ‘‘frequently’’). 

가장 흔히 이해력 문제가 지배적이다. 예를 들어, '공식 교육 프로그램'이라는 용어가 다양하게 해석되고 있는 것을 발견할 수 있다. 즉, 응답자는 어떤 활동을 세어야 할지 확실하지 않을 수 있고, 나아가 어떤 유형의 참여에 대해 질문받고 있는지 모를 수 있다(예: 학생, 교사 또는 관리자로서의 참여).

Most often, comprehension problems dominate. For example, it may be found that the term ‘‘formal educational program’’ is variably interpreted. In other words, respondents may be unsure which activities to count and, furthermore, may not know what type of participation is being asked about (eg, participation as a student, teacher, or administrator).

보다 최근에 인지 인터뷰는 사회학적/인류학적 노력으로 어느 정도 재개념화되었다. 왜냐하면 조사 항목에 대한 개인주의적 정신 처리뿐만 아니라, 응답자의 삶을 의미 있게 포착하는 질문이 얼마나 잘 표현되는가에 영향을 미칠 수 있는 배경 사회적 맥락도 강조하기 때문이다. 특히 설문조사가 다양한 환경과 문화의 범위를 점점 더 반영함에 따라, 이러한 관점은 점점 더 대중화되었다. 이러한 관점에서 볼 때, 겉보기에는 '졸업후의학교육'처럼 간단해 보이는 용어의 정의 자체에는 통일성이 결여되어 있을 수 있다.

More recently, cognitive interviewing has to some extent been reconceptualized as a sociological/anthropological endeavor, in that it emphasizes not only the individualistic mental processing of survey items but also the background social context that may influence how well questions meaningfully capture the life of the respondent.8 Especially as surveys increasingly reflect a range of environments and cultures that may differ widely, this viewpoint has become increasingly popular. From this perspective, the definition of a term as seemingly simple as ‘‘graduate medical education’’ might itself lack uniformity.

인지 인터뷰(또는 인지 테스트)—조사 질문이 의도된 목적을 충족하는지 여부를 조사하기 위해 특별히 고안된 증거 기반의 정성적 방법.

Cognitive interviewing (or cognitive testing)—an evidence-based qualitative method specifically designed to investigate whether a survey question satisfies its intended purpose.

동시 탐색 - 응답자가 각 조사 항목을 소리 내어 읽고 답한 후 바로 면접관이 탐색 질문을 관리하는 구두 탐색 기법.

Concurrent probing—a verbal probing technique wherein the interviewer administers the probe question immediately after the respondent has read aloud and answered each survey item.

사전주도적 구두 탐색—잠재적인 문제를 찾기 위해 인지 면접 전에 체계적으로 제작된 구두 조사.

Proactive verbal probes—a verbal probe that is systematically fashioned before the cognitive interview in order to search for potential problems.

반응성 구두 탐색—인지 인터뷰 동안 종종 응답자의 행동에 대응하여 비표준화된 방식으로 개발된 구두 조사.

Reactive verbal probes—a verbal probe that is developed in a nonstandardized way during the cognitive interview, often in response to a respondent’s behavior.

반응성 효과—프로빙 질문에 대한 응답과 그 대답에 대한 설명과 관련된 추가적인 인지적 요구로 인해 발생하는 응답자의 행동의 불편함(대부분 조사 응답자의 일반적으로 행동보다 더 신중하게 고려한 답변을 하게 만든다).

Reactivity effects—bias in a respondent’s behavior caused by the additional cognitive demands related to answering probe questions and explaining those answers (most likely by leading to more carefully thought-out answers than a survey respondent might typically provide).

구두 조사—면접자가 일련의 조사 질문을 관리하는 인지 인터뷰 기법. 일반적으로 응답자가 제공하는 것보다 더 상세한 정보를 이끌어내기 위해 특별히 고안된 것이다.

Verbal probing—a cognitive interviewing technique wherein the interviewer administers a series of probe questions specifically designed to elicit detailed information beyond that normally provided by respondents.

후향적 조사—응답자가 전체 조사(또는 조사의 일부)를 완료한 후 면접관이 조사 질문을 관리하는 구두 조사 기법.

Retrospective probing—a verbal probing technique wherein the interviewer administers the probe questions after the respondent has completed the entire survey (or a portion of the survey).

Think-aloud 면접—조사에서 응답자들이 평가된 조사 항목에 답하려고 할 때 자신의 생각을 적극적으로 말하도록 요구하는 인지 인터뷰 기법.

Think-aloud interviewing—a cognitive interviewing technique wherein survey respondents are asked to actively verbalize their thoughts as they attempt to answer the evaluated survey items.

프로세스 개괄

Process Overview

인지면접은 2가지 주요 절차를 이용하여 실시한다.

Cognitive interviewing is conducted using 2 key procedures

첫째, 설문 응답자(종종 주제나 참여자로 개명)가 설문 질문에 답하려고 할 때 적극적으로 자신의 생각을 구두로 표현해 줄 것을 요청하는 think-aloud 방식의 인터뷰가 필요하다.9 여기서 인터뷰 진행자의 역할은 주로 피험자에게 '계속 이야기'를 하도록 요청함으로써 이러한 활동을 지원하고, 그 결과의 구두 기록, 즉 소위 인지 프로토콜이라고 불리는 것을 나중에 분석하기 위해 기록하는 것이다. 이 절차가 효과적이 되려면, 대상자의 think-aloud 스트림에는 접선적 또는 교묘한 자유 연관성이 아닌 조사 질문 기능의 평가와 관련된 진단 정보가 포함되어야 한다.

First, think-aloud interviewing requests that the survey respondents (often renamed subjects or participants) actively verbalize their thoughts as they attempt to answer the survey questions.9 Here the role of the interviewer is mainly to support this activity by asking the subject to ‘‘keep talking’’ and to record the resultant verbal record, or so-called cognitive protocol, for later analysis. For this procedure to be effective, it is necessary that the subject’s think-aloud stream contain diagnostic information relevant to the assessment of survey question function, as opposed to tangential or meandering free association.

지난 20년간 상당한 영향력을 획득한 [대안적 절차]는 구두 조사로, 인지 면접관이 일반적으로 응답자가 제공하는 것 이상의 상세한 정보를 유도하기 위해 특별히 고안된 일련의 조사 질문을 관리하는 보다 적극적인 형태의 데이터 수집이다. 일반적으로 사용되는 탐침은 TABLE 1. 

• 잠재적인 문제를 찾기 위해 면접 전에 체계적으로 제작하거나(프로액티브 프로브) 

• 면접 중에 대상 행동에 대응하여 비표준화된 방식으로 개발할 수 있다(리액티브 프로브). 

이와 같이 프로빙은 대개 엄격한 재료 표준화보다는 [면접관의 적응성에 크게 의존]하는 유연한 절차다.

The alternative procedure, which has gained considerable traction over the past 20 years, is verbal probing, which is a more active form of data collection in which the cognitive interviewer administers a series of probe questions specifically designed to elicit detailed information beyond that normally provided by respondents. Commonly used probes are provided in TABLE 1. 

• Probes may be systematically fashioned before the interview, in order to search for potential problems (proactive probes), or 

• they may be developed in a nonstandardized way during the interview, often in response to subject behavior (reactive probes). 

As such, probing is usually a flexible procedure that relies to a significant degree on interviewer adaptability rather than on strict standardization of materials.

think-aloud 절차의 장점은 면접관에 대한 요구를 훈련하는 방식에 거의 영향을 주지 않고, [반응을 편향시킬 수 있는 방식으로 지시하는 것]을 피한다는 것이다. 그렇게 말하는 것은, 큰 소리로 생각하는 것은 [피험자들에게 상당한 부담]을 주는데, 그들 중 많은 사람들은 그 과정이 부자연스럽고 어렵다고 생각한다. 게다가, 때때로 어설픈 말로 얻어지는 순전히 많은 양의 think-aloud 분석은 어려운 과제가 될 수 있다.

The advantages to a think-aloud procedure is that it presents little in the way of training demands on the interviewer and avoids being too directive in ways that could bias responses. That being said, thinking aloud places a significant burden on subjects, many of whom find the process to be unnatural and difficult. Further, analysis of think-aloud transcripts can be a daunting task because of the sheer quantity of the sometimes meandering verbalizations obtained.

반면에 구두 탐구는 면접관의 입장에서 더 많은 훈련과 생각을 필요로 하며, 주의 깊게 하지 않으면 [반응성 효과]를 일으킬 수 있다. 즉, 구두 탐구는 탐침 질문에 대답하고 그 대답을 설명하는 것과 관련된 추가적인 인지적 요구를 통해 [피험자의 행동에 편견]을 일으킬 수 있다. 예를 들어, 탐구는 설문 조사 응답자가 일반적으로 제공할 수 있는 것보다 더 세심하게 심사숙고된 답변을 이끌어 낼 수 있다. 그러나 구두 탐구는 일반적으로 효율적이며, 특정 인지 과정(예: 용어 또는 구문의 이해)을 대상으로 할 수 있으며, 피험자가 잘 수용하며, think-aloud 스트림보다 [세그먼트와 코드로 분리하기 쉬운 데이터]를 제공한다.

Verbal probing, on the other hand, requires more training and thought on the part of the interviewer and, if not done carefully, can create reactivity effects. That is, verbal probing may create bias in the subject’s behavior through the additional cognitive demands related to answering probe questions and explaining those answers. For example, probing may lead to more carefully thought-out answers than a survey respondent might typically provide. However, verbal probes are generally efficient, can be targeted toward specific cognitive processes (eg, comprehension of a termor phrase), are wellaccepted by subjects, and provide data that are easier to separate into segments and code than think-aloud streams.

표2

TABLE 2

인지면접 분석 

Analysis of Cognitive Interviews

인지면접은 정성적 절차이기 때문에 분석은 수치 데이터의 엄격한 통계적 분석이 아니라 면접 중(종종 면접자가) 또는 그 이후에(면접자나 분석가가) 취하는 서면 메모의 코딩과 해석에 의존한다.

Because cognitive interviewing is a qualitative procedure, analysis does not rely on strict statistical analysis of numeric data but rather on coding and interpretation of written notes that are taken during the interview (often by the interviewer) or after it (by either the interviewer or an analyst).

일련의 인터뷰는 일반적으로 각 평가 항목과 관련된 노트를 결합하고, 인터뷰 전체에서 취합하며, 공통의 주제를 찾고, 조사 개발자들이 원하는 해석에서 벗어나는 것을 나타낼 수 있는 주요 결과를 식별하여 분석한다. 예를 들어, 만약 "공식 교육 프로그램"의 의미에 대해 (광범위한 주제에서) 거의 일치성이 없다는 것을 발견한다면, 잠재적인 해결책은 조사에서 이 용어를 명시적으로 정의하는 것일 수 있다.

A set of interviews are typically analyzed by combining the notes pertaining to each evaluated item, aggregating across interviews, seeking common themes, and identifying key findings that may indicate departures from the interpretation desired by survey developers. For example, if one finds that there is little concurrence across a range of subjects about what is meant by ‘‘formal educational program,’’ a potential solution may be to explicitly define this term in the survey.

현실적 고려 

Practical Considerations

인지 인터뷰 프로젝트는 일반적으로 범위가 작고 총 10명에서 30명의 과목만 참여할 수 있다. 소규모 GME 프로젝트의 경우, 조사 개발자들이 매우 작은 표본의 편향 가능성에 민감하다면, 5~6명의 대상자만으로도 조사 항목 개선에 유용한 정보를 제공할 수 있다. 인지면접은 종종 반복적인 절차로 수행되는데, 이 절차에서는 소규모 면접(예: 10)이 실시된다. 조사 개발자는 자신의 결과를 분석하고 평가하고, 필요한 경우 조사 항목을 변경한 후 수정된 항목을 사용하여 추가 시험을 한다.

Cognitive interviewing projects are normally small in scope and may involve just 10 to 30 total subjects. For small-scale GME projects, as few as 5 or 6 subjects may provide useful information to improve survey items, as long as the survey developers are sensitive to the potential for bias in very small samples. Cognitive interviewing is often conducted as an iterative procedure, in which a small round of interviews is conducted (eg, 10); the survey developers analyze and assess their results, make alterations to survey items where necessary, and then conduct an additional round of testing using the modified items.

인지 면접은 면접관 주관식 및 자기 주관식 모두에 공통적으로 적용된다.

Cognitive interviewing is commonly applied to both interviewer-administered and self-administered

• Interviewer-administration에서는, 평가된 각 질문을 소리 내어 읽고 답한 후 탐색으로 구성되는 동시 탐사에 의존하는 것이 일반적이다. 질문을 제시해 응답자가 답하게 한 다음 targeted probe를 묻는 앞뒤로의 반복 과정은 면접관 주관식 설문조사에 잘 기능하는 것으로 보이며 대부분의 사람들에게는 별 어려움이 없다.

Under interviewer administration, it is common to rely on concurrent probing, which consists of probing after each evaluated question is read aloud and answered. The back and forth process of presenting a question, having the subject answer it, and then asking targeted probes appears to function well for interviewer-administered surveys and poses little difficulty for most people.

• Self-administration에서 interviewer는 보통 침묵하거나 부재한 상태에서 응답자가 아무런 도움 없이 설문조사를 완료하한다. 이 때는 후향적 조사 과정이 적용되는 경우가 많다. 후향적 조사에서는 응답자가 질문지를 완료한 후 인터뷰어 질문은 디브리프 세션에서 이뤄진다.

Under self-administration, where the interviewer is normally silent or absent and the respondent completes the survey unaided, the process of retrospective probing is often applied. In retrospective probing, interviewer questions are reserved for a debriefing session that occurs after the subject has completed the questionnaire.

[동시 탐색]은 그들의 생각이 최근일 때 그리고 아마도 신선할 때 탐구에 응답할 수 있도록 하는 반면, [소급 탐색]은 시간적으로 더 멀리 떨어져 있는 생각을 재방문해야 한다. 그러나 동시 탐구는 중간에 탐색질문을 던지기 때문에 interview를 방해할 수 있다.

Concurrent probing allows the subject to respond to probes when their thoughts are recent and presumably fresh, whereas retrospective probing requires revisiting thoughts that are more remote in time. However, concurrent probing can disrupt the interview through its imposition of probes in a way that retrospective probing does not.

일반적으로 인지인터뷰에서 recruitment의 목적은 [특정 유형의 통계적 표현도 달성하는 것]이 아니라 [시간과 비용의 제약이 있는 상황에서 가능한 한 광범위한 대상자를 포함하여 많은 영역을 포괄하는 것]이다. 인지 인터뷰에 사용된 데이터와 응답자는 최종 조사 연구의 일부로 사용되어서는 안 된다는 점에 유의해야 한다.

Usually the objective of recruitment is not to achieve any type of statistical representation but rather to cover the territory by including as wide a range of subjects as possible, given the constraints of time and cost. It is important to note, these data and the respondents used for the cognitive interviews should not be used as part of the final survey study.

결론 Concluding Thoughts

인지 인터뷰는 설문 조사 개발자가 설문 조사 내용에 근거한 타당성 증거와 참가자들이 설문 조사 질문에 답하면서 수행하는 사고 과정을 수집하는 데 도움이 될 수 있는 증거 기반 도구다.2,8–10

Cognitive interviewing is an evidence-based tool that can help survey developers collect validity evidence based on survey content and the thought processes that participants engage in while answering survey questions.2,8–10

4 Magee C, Byars L, Rickards G, Artino AR Jr. Tracing the steps of survey design: a graduate medical education research example. J Grad Med Educ. 2013;5(1):1–5.

5 Rickards G, Magee C, Artino AR Jr. You can’t fix by analysis what you’ve spoiled by design: developing survey instruments and collecting validity evidence. J Grad Med Educ. 2012;4(4):407–410.

---

. 2013 Sep;5(3):353-6.

 doi: 10.4300/JGME-D-13-00154.1.

What Do Our Respondents Think We're Asking? Using Cognitive Interviewing to Improve Medical Education Surveys

Gordon B Willis, Anthony R Artino Jr

• PMID: 24404294
 
• PMCID: PMC3771159
 
• DOI: 10.4300/JGME-D-13-00154.1

Free PMC article

No abstract available