설문 기반 연구를 보고할 때의 가이드라인(Acad Med, 2018)

설문 기반 연구를 보고할 때의 가이드라인(Acad Med, 2018)

Guidelines for Reporting Survey-Based Research Submitted to Academic Medicine

신중하게 설계되고 시행될 때, 조사는 다른 어떤 연구 방법도 할 수 없는 질문에 답할 수 있다.5

When designed and implemented carefully, surveys can answer questions that no other research method can.5

설문 조사에 대해서 완전히 기술하지 못한 것은 여러 가지 이유로 문제가 있다. (구인, 또는 수정, 사용 전 테스트 방법, 데이터 분석 방법)

The failure to fully describe a survey study—including the survey’s construction or adaptation, how it was tested prior to use, and how the data were analyzed—is problematic for several reasons.

첫째, 불충분한 보고는 리뷰어들로 하여금 그 연구가 얼마나 신뢰할 수 있고, 믿을 수 있는 데이터를 도출할 수 있는지를 정확히 평가하기 어렵게 만든다. 이러한 이해가 없으면 검토자는 출판을 위한 조사 연구를 거부할 가능성이 더 높다.

First, inadequate reporting challenges our reviewers, making it difficult for them to accurately assess how well the survey might yield reliable, credible data from which valid inferences can be made. Without this understanding, reviewers are more likely to reject a survey study for publication.

둘째, 부적절한 보고는 HPE의 과학 분야 성장을 억제한다. 비록 논문이 불완전하거나 그렇지 않으면 형편없는 조사 설명으로 출판되는 경우가 있지만, 그러한 보고서는 해석하기 더 어렵고 독자들에게 무엇이 행해지고 어떻게 되고 어떤 목적을 달성했는지에 대한 해답이 없는 많은 질문들을 남긴다.

Second, inadequate reporting stifles the growth of HPE as a scientific field. Although articles sometimes do get published with incomplete or otherwise poor survey descriptions, such reports are more difficult to interpret and leave readers with many unanswered questions about what was done, how, and to what end.

마지막으로, 다른 학자들이 자신의 의료 교육 맥락에 얼마나 관련될지, 신뢰할 수 있을지와 같은 정도를 적절하게 판단할 수 없다. 따라서 부적절한 보고는 조사 채택adoption이나 적응adaptation을 의심dubious스럽게 만든다.

Finally, inadequate reporting makes survey adoption or adaptation dubious because other scholars cannot appropriately judge the degree to which the survey is trustworthy and relevant to their own medical education contexts.

설문연구보고지침

Selected Reporting Guidelines for Survey Studies

설문 조사의 설계, 형식화, 구현 및 분석 방법에 대한 작은 차이는 설문 결과의 큰 차이로 이어질 수 있다.7 이 기본 원칙은 인지심리학이나 여론 조사와 같은 분야에서 40년간의 조사 연구를 이끌어 왔다. 조사 디자인 효과의 가장 강력한 예 중 하나는 2000년 미국 대선 당시 플로리다주 팜비치 카운티에서 사용된 악명 높은 "버터플라이 투표"이다.

Small differences in how a survey is designed, formatted, implemented, and analyzed can lead to large differences in survey results.7 This fundamental principle has guided four decades of survey research in fields like cognitive psychology and public opinion polling. One of the most powerful examples of the effects of survey design is the infamous “butterfly ballot” used in Palm Beach County, Florida, during the 2000 U.S. presidential election.

나비 투표 케이스는 조사 설계의 중요성을 강조하고, 연구 보급의 목적으로, 조사의 설계, 구현 및 분석을 정확하고 완전하게 보고하는 것의 중요성을 강조한다.

the butterfly ballot case emphasizes the importance of survey design and, for the purposes of research dissemination, the significance of accurately and completely reporting a survey’s design, implementation, and analysis.

1. 설문을 사용하는 rationale를 제공함

1. Provide a rationale for using a survey

설문조사는 태도, 의견, 신념 등 직접적으로 관찰할 수 없는 것들을 측정하는 데 이상적이다.3(코치의 피드백에 대한 레지던트의 만족도 등) 조사는 또한 사람들에게 과거의 행동에 대해 물어보거나 이전의 사실과 사건들을 상기시키는 데 사용될 수 있지만, 이렇게 사용하는 것이 골치 아픈 여러 이유가 있다.

Surveys are ideal for measuring things that are not directly observable, including attitudes, opinions, and beliefs, such as residents’ satisfaction with feedback from coaches.3 Surveys can also be used to ask people about their past behaviors or to recall previous facts and events, but these uses are thorny for a variety of reasons.

첫째로, 개인들에게 과거의 행동에 대해 물어보는 것은 응답자들이 그 정보를 공유하는 것을 편안하게 느끼는 경우에만 효과가 있다. 그러나 종종 응답자들은 어떤 경우에는 불법적인 행동을 포함한 민감한 주제에 대한 데이터를 공유하기를 원하지 않는다. 또는 응답자들이 그저 자신이 무슨 행동을 했고 왜 그렇게 했는지를 인식하지 못할 수 있다. 또한 과거의 사건을 상기하는 경우, 회상편견과 다른 기억적 한계가 정확한 반응을 수집하기 어렵게 만들 수 있다.

First, asking individuals about their past behavior only works if respondents feel comfortable sharing that information. Often, however, respondents do not want to share data about sensitive topics, including, in some cases, illicit behaviors. At other times, respondents are simply unaware of how they have behaved and why. 5 And when it comes to recalling past events, recall bias and other memory limitations can make it difficult to gather and estimate accurate responses.

이러한 제한과 그 밖의 제한사항에 비추어, 저자들이 설문조사를 데이터 수집 방법으로 사용하기 위한 근거를 프로젝트 초기에 명확히 밝히는 것이 중요하다.

In light of these and other limitations, it is important that authors articulate, early in the project, their rationale for using a survey as a data collection method.

더욱이 이 근거는 독자들이 설문조사가 적절한지를 결정할 수 있도록 원고에서 분명히 명시되어야 한다.

Moreover, this rationale should be prominently stated in the manuscript so readers can determine whether a survey is appropriate.

2. 기존 설문을 사용했는지 아니면 어떻게 만들었는지 묘사

2. Describe how the survey was created or adapted from existing survey(s)

설문조사를 어떻게 새로 만들었는지 또는 이전에 기존에 발표된 설문조사를 어떻게 수정하였는지에 대한 완전하고 철저한 설명은 모든 조사 원고에 중요한 요소다.

A complete and thorough description of how a survey was created, or how it was adapted from a previously published survey, is a critical component to any survey manuscript.

저자들이 설문조사를 만들 때 사용한 과정을 기술하는 것은 가능한 한 철저해야 한다.

we note that authors should be as thorough as possible when describing the processes they used to create their surveys.

이미 문헌에 발표된 설문조사도 반드시 저자에 의해 면밀하게 검토되어야 하며, 필요하다면 개선되어야 한다. 조사의 맥락은 처음에 개발된 상황과 다를 수 있기 때문이다. 또한, 문헌에서 추출하여 "있는 그대로" 사용하는 설문도구 조차도 새로운 맥락에서 사용하기 전에 추가적인 사전 시험이 필요할 수 있다.

Even surveys that are adapted from the literature must be closely reviewed by authors and improved upon, where appropriate, since the context for the survey may differ from the circumstances under which it was initially developed. In addition, even instruments pulled from the literature and used “as is” may require additional pretesting prior to use in a new context.

3. 어떻게 설문을 사전검사했는지 

3. Discuss how the survey was pretested prior to full implementation

일부 저자들은 사용하기 전에 조사를 미리 시험하지 않지만, 원칙적으로는 그렇게 해야 한다. 사전 테스트는 전문가 검토, 인지 인터뷰, 파일럿 테스트와 같은 활동을 포함하며, 이는 내용타당도 및 응답 프로세스 타당도를 확립하는 데 도움이 될 수 있다. 

• 전문가들은 특히 조사에서 누락될 수 있는 주요 주제를 파악하는 데 도움이 될 수 있다. 

• 인지 면접은 응답자가 설문조사 설계자가 의도한 방식으로 질문을 이해하도록 하는 방법이다.11 

Some authors do not pretest their surveys prior to use, but they should. Pretesting includes activities like expert reviews, cognitive interviewing, and pilot testing, which can help to establish content and response process validity. 

• Experts can be particularly helpful in identifying key topics that might be missing from a survey. 

• Cognitive interviewing, on the other hand, is a way to ensure that respondents understand the questions in the way the survey designer intended.11 

기본적인 아이디어는 설문조사를 통해 질문이 명확한지 확인한 다음, 이 과정이 어떻게 이루어졌는지 명확하지 않은 질문을 수정하고 철저히 설명하는 것이다.

The basic idea is to try out the survey to ascertain whether the questions are clear, and then to modify those that are not and thoroughly describe how this process was done.

가능하다면, 설문 조사 시행 전 마지막 단계는 시범 테스트를 수행하는 것이다. 최선의 노력에도 불구하고, 실제 사람들로부터 실제 데이터를 수집하기 전까지는 조사가 어떻게 작동할지 결코 알지 못한다. 파일럿 테스트는 대상 모집단의 구성원이 계획된 전달 모드(예: 웹 또는 종이 기반)에서 조사를 완료하도록 해야 한다.

When possible, the final step before survey implementation is to conduct a pilot test. Despite best efforts, one never knows how a survey will function until it is used to collect actual data from real people. Pilot testing entails having members of the target population complete the survey in the planned delivery mode (e.g., web- or paper- based).

저자는 사전 테스트 활동을 충분히 보고해야 한다. 여기에는 전문가 검토와 인지 인터뷰에 도움을 준 사람에 대한 설명과 수행된 모든 파일럿 테스트를 포함한다. 또한 이러한 설명에는 전문가의 자격과 검토 및/또는 인지 인터뷰가 수행된 방법이 포함되어야 한다.

authors should fully report pretesting activities, including, for example, descriptions of those who helped with the expert reviews and cognitive interviews, as well as any pilot testing that was conducted. Such descriptions should contain the qualifications of the experts and how the reviews and/or cognitive interviews were conducted.

궁극적으로, 사전 테스트 활동은 설문을 full implementation하기에 앞서 조사를 더 많이 관찰할 수 있는 체계적인 방법이며, 성공적인 설문조사에 매우 중요하다. 작가들은 수백 명의 바쁜 동료, 학생, 거주자 또는 환자들에게 그들의 설문지를 보내기 전에 다른 사람들에게 세심하게 검토하도록 해야 한다.

Ultimately, pretesting activities are systematic ways of getting more eyes on a survey prior to full implementation, and they are critical to survey success. Authors should have others carefully review their surveys before sending them out to hundreds of busy colleagues, students, residents, or patients.

4. 최종 설문도구 기술(언제 어떻게 시행하였는지)

4. Describe the final survey instrument, including how and when it was administered

(조사 항목 수와 항목 유형 및 응답 옵션을 )포함한 최종 설문조사 도구에 대한 전체 설명은 독자의 이해를 위해 필수적이다. 또한, 조사의 실시 방법과 시기에 대한 설명은 모두 조사 결과를 맥락에 배치하는 데 핵심적이다. 예를 들어, 수업의 질에 대한 조사에 대해서는

• 실명으로 기말고사 전날에 시행되었는지

• 수업이 끝난 다음날 익명으로 시행되었는지 아는 것이 중요하다.

A full description of the final survey instrument, including the number of survey items and types of items and response options, is essential for reader comprehension. Additionally, descriptions of how and when a survey was administered are both key to placing survey findings in context. For example, it would be important to know that a survey about course quality was administered anonymously to students the day after a course ended, as opposed to being administered the day before the final exam in a way that students could be identified.

보고해야 할 중요한 세부사항으로는 

• 조사 형식(웹 기반, 종이 기반 또는 인터뷰), 

• 익명이었는지 실명이었는지

• 응답자에게 설문지를 보낸 시점, 

• 설문조사를 완료하기 위해 주어진 시간, 

• 리마인더 수, 

• 인센티브 제공 여부 등이 있다. 

• 또한, 저자는 부록에 포함시킬 수 있도록 조사 도구의 완전한 형식 사본을 제공해야 한다.

Important administration details to report include 

• the survey format (web-based, paper- based, or interview), 

• whether responses were anonymous, 

• when the survey was sent to respondents, 

• how much time they were given to complete the survey, 

• how many reminders were sent, and 

• whether incentives were offered. 

• In addition, authors should provide a complete, formatted copy of their survey instrument for inclusion in the article’s appendix.

5. 응답자, 응답률, 비응답 편향 등 기술

5. Describe the respondents, response rate, and how nonresponse bias was assessed

표본의 전체 설명, 표본 크기 및 응답률 계산은 조사 결과를 해석하고 그러한 결과가 관심 집단을 반영하는지 확인하는 데 중요하다. 따라서, 이 정보는 조사 원고에 포함되어야 한다. 응답률을 계산하는 방법에는 여러 가지가 있으며, Academic medicine에서는 저자에게 최소 응답률을 달성하도록 요구하지 않는다. 그러나 매우 낮은 응답률은 더 큰 무응답 편중과 관련이 있으므로 검토자에 의해 신중하게 고려된다(다만, 최근 연구는 응답률이 한때 학자들이 생각했던 만큼 설문조사의 퀄리티나 대표성과 강하게 연관되지 않을 수 있음을 시사한다).13

Full descriptions of the sample, the sample size, and response rate calculations are important for interpreting survey results and ensuring that those results reflect the population of interest. Thus, this information should be included in survey manuscripts. There are a number of ways to calculate a response rate,12 and Academic Medicine does not require that authors achieve a minimum response rate. However, very low response rates are related to greater nonresponse bias and thus are carefully considered by reviewers (although recent research suggests that response rates may not be as strongly associated with survey quality or representativeness as scholars once thought).13

만약 무응답자가 참여했다면, 결과는 현저하게 달랐을까? 따라서 가능한 경우 저자는 무응답 편견을 어떻게 평가했는지, 그리고 해당되는 경우 이를 수정하기 위해 어떤 조치가 취했는지(예: 계층화된 표본을 사용하거나 시간의 경과에 따른 응답자의 패턴을 분석) 보고해야 한다.13

if nonresponders had participated, would the results have been markedly different? Thus, where possible, authors should report how they assessed nonresponse bias and, where applicable, whether anything was done to correct for it (e.g., using a stratified sample or analyzing respondents’ patterns over time).13

6. 어떻게 신뢰도와 타당도를 평가했는지 설명

6. Describe how score reliability and validity were assessed

기본적으로, 조사는 평가 도구다.14 따라서, 평가의 신뢰성과 타당성은 저자들이 고려해야 할 두 가지 가장 중요한 요인이다. 점수의 신뢰성(또는 재현성)을 평가하는 방법은 

• 평가자 간 일관성(인터레이터 신뢰성), 

• 시간에 따른 일관성(테스트-재테스트 신뢰성), 

• 내부 일관성 신뢰성(전통적으로 Cronbach의 알파로 보고됨) 

...등 다양하다.

At its core, a survey is an assessment tool.14 Therefore, score reliability and validity are arguably the two most important factors for authors to consider when developing and using a survey. There are many different ways to assess score reliability (or reproducibility), including consistency between raters (interrater reliability), consistency over time (test–retest reliability), and internal consistency reliability (classically reported as Cronbach’s alpha).

타당도는 근거와 이론이 조사 데이터의 해석과 사용을 지원하는 정도라고 생각할 수 있다. 따라서 저자는 다양한 출처에서 증거를 수집하고, 조사 도구가 의도된 용도와 관련이 있는 이유 및 결과 데이터를 독자가 믿어야 하는 이유에 대한 주장을 구성해야 한다.

Validity can be thought of as the extent to which evidence and theory support the interpretations and proposed uses of the survey data. Therefore, authors should collect evidence from various sources and construct an argument about why the survey tool is relevant for the intended use and why the resulting data should be believed by the reader.

아주 간단한 의미에서 타당성은 저자들이 측정하고자 했던 것을 측정하는 정도로 볼 수 있다. 종종, 조사 개발과정에서도 상당한 양의 타당도 증거를 수집하게 된다. 

• 내용전문가로부터 문항을 검토하는 과정(내용)

• 설문을 본격 시행하기 전에 일부 응답자로부터 질문을 테스트하는 것(응답 프로세스)

• 다른 타당도 근거의 출처는 국가 시험 점수(다른 변수에 대한 관계)와 같이 조사 결과와 관련하여 이미 존재할 수 있는 정보의 검토 및 분석을 요구한다. 

In a very simple sense, validity can be seen as the degree to which the survey measures what the authors intended it to measure. Often, a fair amount of validity evidence is collected during the development of the survey through 

• the inclusion of content experts to review the questions (content) and 

• the testing of the questions by a sample of individuals prior to sending out the survey (response process). 

• Other sources of validity evidence require examination and analysis of information that may already exist related to the results of the survey, such as scores on national tests (relationship to other variables). 

궁극적으로 저자는 메시크15 또는 케인16에서 설명한 것과 같은 일부 유형의 타당성 프레임워크를 사용하여 독자들에게 자신의 조사와 결과 데이터가 신뢰할 수 있다는 주장을 제시해야 한다. 

Ultimately, authors should use some type of validity framework, such as those described by Messick15 or Kane,16 to help make a case to readers that their survey and the resulting data are credible. 

고려해야 할 요소가 줄어드는 경우

Mitigating Factors to Consider

예를 들어, 재난 피해자에 대한 조사는 조사의 다른 측면보다 적시성을 우선시해야 할 수 있다. 이러한 경우 질문을 테스트할 시간이 없을 수 있다.

For instance, surveys of disaster victims may need to prioritize timeliness over other aspects of the survey. In such cases, there may not be time to test questions

특히 연습생이 개발한 설문조사에 대해서는 극복하기 어려울 수 있는 조사 설계의 많은 요소를 수행하기 위한 자금 조달에 한계가 있다.

There also are limitations in funding to carry out many of the elements of survey design that may be difficult to overcome, particularly for surveys developed by trainees.

결론

Concluding Thoughts

13 Johnson TP, Wislar JS. Response rates and nonresponse errors in surveys. JAMA. 2012;307:1805–1806.

18 Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporary approach to validity arguments: A practical guide to Kane’s framework. Med Educ. 2015;49:560–575.

---

Acad Med. 2018 Mar;93(3):337-340. doi: 10.1097/ACM.0000000000002094.

Guidelines for Reporting Survey-Based Research Submitted to Academic Medicine.

Artino AR Jr1, Durning SJ, Sklar DP.

Author information

1

Assistant editor for AM Last Pages Deputy editor for research Editor-in-chief.

PMID:

 

29485492

 

DOI:

 

10.1097/ACM.0000000000002094