설문조사에서 응답률과 비응답오차 (JAMA, 2012)

설문조사에서 응답률과 비응답오차 (JAMA, 2012)

Response Rates and Nonresponse Errors in Surveys

Timothy P. Johnson, PhD

Joseph S. Wislar, MS

응답률 추정

Estimating Response Rates

응답률은 역사적으로 설문조사 품질을 문서화하기 위한 일순위 방법이었고, 많은 저널들은 저자들이 조사와 관련된 응답률을 보고할 것을 요구한다. 응답률은 일반적으로 [표본에 적합하며, 궁극적으로는 조사에 참여한, 표본으로 선정된 개인(예: 환자, 관행, 병원)의 비율]로 정의될 수 있다. 응답률이 높으면 관심 집단을 더 대표하는 결과가 나온다는 전제 하에, 응답률은 설문조사의 품질을 평가하기 위한 지표로 사용된다. 응답률의 매력적인 특징으로는 직관적인 호소력과 어떤 조사에서도 쉽게 계산할 수 있다는 점이다.

Response rates have historically been the method of choice for documenting survey quality and many journals require authors to report the response rates associated with their surveys. Aresponse rate can be generally defined as the proportion of individuals (eg, patients, practices, hospitals) selected into a sample who are eligible and ultimately participate in the survey. Response rates are used as a common metric for evaluating survey quality under the premise that a higher response rate will produce findings that are more representative of the population of interest. Among the attractive features of response rates are their intuitive appeal and that they can be easily calculated for any survey.

역사적으로, 응답률을 정의하고 계산하는 최선의 방법에 대해 일반적인 의견의 불일치가 있었다. 공인된 표준절차가 없었기 때문에 문헌에 보고된 설문조사 응답률에는 그때그때의 임시방편으로 계산한, 그래서 때로는 불합리할 정도로 과대평가된 추정치가 사용되었다.1 그럴 만도 하다. 왜냐하면 연구자들은 다른 조건이 같으면, 응답률이 높을수록 원고가 출판될 가능성이 더 높다는 것을 알기 때문이다.

Historically, there has been a general lack of consensus regarding best practices for defining and calculating response rates. Lack of standard accepted procedures has led to the use of ad hoc and sometimes unreasonably optimistic estimations of survey response rates in the professional literature.1 This is easy to understand, because investigators are well aware that manuscripts reporting higher survey response rates are more likely to be published, everything else being equal.

조사연구의 과학이 성숙함에 따라 응답률 추정을 표준화하려는 노력이 보급되었다. 이 중 가장 포괄적인 것은 조사 연구를 위한 표준 정의로, 미국 여론 조사 협회(AAPOR)가 개발하고 지속적으로 업데이트하는 응답률 공식(및 기타 결과 통계)을 포함한다.2

As the science of survey research has matured, efforts to standardize the estimation of response rates have been disseminated. The most comprehensive of these are the Standard Definitions for survey research, which include response rate formulas (and other outcome statistics) developed and continually updated by the American Association for Public Opinion Research (AAPOR).2

그러나 어떻게 계산하든, 설문조사 응답률은 미국을 비롯한 여러 나라에서 수십 년 동안 가파른 하락세를 보여 왔다.4 과학적으로 보았을 때, 최소한의 허용 가능한 응답률이란 것은 없다. 응답률 60%는 일부에 의해 수용성의 기준으로 사용되어 왔으며 조사 품질의 척도로서 안면타당도는 있다. 그러나 통계검증에서 0.05가 의미하는 바와 같이, 60%는 더 복잡한 문제를 감추는 "주먹구구식 규칙"에 불과하다.

However calculated, survey response rates have been in steep decline in the United States and other nations for several decades.4 There is no scientifically proven minimally acceptable response rate. A response rate of 60% has been used as the threshold of acceptability by some and has face validity as a measure of survey quality; however, similar to P .05 in statistical comparisons, 60% is only a “rule of thumb” that masks a more complex issue.

지난 10년간의 경험을 평가해본 결과, 설문 조사의 응답률이 일반적으로 믿어온 [설문조사의 품질 또는 대표성]과 강하게 연관되지 않을 수 있다는 결론을 내렸다.5 이 연구는 응답률 자체보다는 "[표본 응답자]가 [조사 모집단]과 전체적으로 얼마나 다른지(즉, 비응답 편향)"가 조사의 대표성을 평가하는 데 중심적이라는 인식을 증가시켰다. 실제로 응답자가 비응답자와 응답자가 매우 다른 경우에는, 응답률이 상대적으로 낮더라도 응답자 그룹이 진정으로 무작위적이고 대표적인 조사보다 훨씬 더 편향된 결과를 얻을 수 있다.

Empirical assessments over the past decade have concluded that the response rate of a survey may not be as strongly associated with the quality or representativeness of the survey as had been generally believed.5 This research has led to an increasing recognition that the degree to which sampled respondents differ fromthe survey population as a whole (ie, nonresponse bias) is central to evaluating the representativeness of a survey, rather than response rates per se. Indeed, a survey with a relatively high response rate, albeit one in which nonrespondents are very different from respondents, might produce far more biased results than a survey with a lower response rate froma truly randomand representative group of respondents.

무응답 편차 평가

Evaluating Nonresponse Bias

무응답 편견을 평가하기 위한 접근방식은 다양하며, 그 중 어느 것도 완벽하지 않지만, 각각은 가치 있는 통찰력을 제공할 수 있다.

There are a variety of approaches to evaluating nonresponse bias, none of them perfect, but each can provide valuable insights.

초기 비응답자를 대상으로 후속 조사 수행

Conducting a Follow-up Survey With Initial Nonrespondents.

This approach involves the use of multiple and sometimes intensive strategies, including substantial incentives, to contact and complete abbreviated interviews (that include key measures of interest) with previous nonrespondents after formal data collection has been completed.6

샘플링 프레임에서 데이터를 사용하여 분석한다.

Analyses Using Data in Sampling Frame.

A cost-efficient approach that can sometimes be used is to leverage data that may be available in the complete frame used for sampling to compare survey respondents with nonrespondents and with the full population.4 

다른 데이터 소스와 조사 표본의 비교.

Comparisons of the Survey Sample With Other Data Sources.

In other cases, survey estimates will be contrasted with comparable information obtained from other sources to evaluate potential bias.7

외부 데이터 소스를 사용하여 분석.

Analyses Using External Data Sources.

This approach links auxiliary data from sources that offer complete coverage of the population being surveyed (eg, US Census) to compare respondents with nonrespondents and with the full population.8

초기 응답자 대 후기 응답자 비교.

Comparing Early vs Late Respondents.

이 전략은 [후기 응답자(및 그들의 답변)가 응답하지 않는 응답자와 가장 비슷하다는 가정] 하에 후기 응답자를 이전 응답자와 비교한다.9 이 전략의 다른 방식은, 처음에 참여를 거부했던(결국 동의한) 응답자와 다른 모든 응답자를 비교하는 것이다. 이는 이전에 참여를 거부했던 사람들이 무응답자와 더 비슷하다고 가정한다.

This strategy compares later respondents (and their answers to survey questions) with earlier respondents under the assumption that later respondents are most similar to nonrespondents.9 A variation of this strategy is to compare respondents who initially declined to participate (but eventually consented) with all other respondents. This assumes that those who had previously declined to participate are more similar to nonrespondents.

무응답 비율 보고

Reporting Nonresponse Rate

조사를 수행하는 연구자의 책임은 조사 과정과 이러한 잠재적 차이가 의사결정에 어떻게 영향을 미칠 수 있는지 신중하게 고려하고 보고해야 한다.

It is the responsibility of researchers who conduct surveys to carefully consider and report how their respondents and nonrespondents may vary in terms of the processes being investigated and how these potential differences might influence the conclusions being made.

---

JAMA. 2012 May 2;307(17):1805-6. doi: 10.1001/jama.2012.3532.

Response rates and nonresponse errors in surveys.

Johnson TP1, Wislar JS.

Author information

1

Survey Research Laboratory, University of Illinois, 412 S Peoria St, Chicago, IL 60607, USA. timj@uic.edu

PMID:

 

22550194

 

DOI:

 

10.1001/jama.2012.3532