교육자의 블루프린트: 설문 설계의 how-to 가이드 (AEM Educ Train. 2022)

교육자의 블루프린트: 설문 설계의 how-to 가이드 (AEM Educ Train. 2022)
Educator's blueprint: A how-to guide for survey design
Jeffery Hill MD MEd1 | Kathleen Ogle MD2 | Sally A. Santen MD, PhD1,3 | Michael Gottlieb MD4 | Anthony R. Artino Jr PhD2 

설문조사 배경
BACKGROUND

현대 사회는 설문조사로 가득합니다. 휴대폰의 팝업("이 앱을 어떻게 즐기고 계십니까?")부터 의료 서비스 제공자 방문 후의 Press Ganey 설문조사 또는 연구 프로젝트의 일부로 사용되는 설문조사에 이르기까지, 설문조사에 참여하지 않는 날은 상상하기 어렵습니다. 다른 평가 도구와 마찬가지로 설문조사는 고부담 환경과 저부담 환경 모두에서 사용할 수 있습니다. 연구비 지원 연구와 같이 위험도가 높은 환경에서 설문조사를 사용할 경우, 연구자는 설문조사 점수와 그 용도에 대한 신뢰성과 타당성 증거를 수집해야 하는 부담이 더 큽니다. 이 백서 시리즈에서는 주로 연구 목적으로 사용되는 설문조사에 초점을 맞추어 설문조사 개발 및 시행의 모범 사례에 대해 논의할 것입니다. 
The modern world is replete with surveys. From a pop-up on our phone (“How are you enjoying this app?”) to a Press Ganey survey after a visit to a health care provider or a survey used as part of a research project, it is difficult to imagine a day passing when you are not asked to complete a survey. Like any other assessment tool, surveys can be used in both high-stakes and low-stakes settings. When used in higher-stakes environments, such as a grant-funded research study, there is a greater burden on the researcher to ensure they have collected reliability and validity evidence for the survey scores and their intended use. In this series of papers, we will discuss the best practices in survey development and implementation, focusing primarily on surveys used for research purposes.

설문조사는 의학 교육에서 일반적으로 사용되지만, 단일 설문조사 설계 표준은 없습니다. 대신 설문조사 설계자는 수십 년에 걸친 경험적 증거에 기반한 증거에 기반한 모범 사례를 사용하여 설문조사를 설계해야 합니다. 또한, 경험적 증거가 제한적이거나 상충되는 부분이 많은 경우, 설계자는 이론적 지침을 적용하여 설문조사 설계 노력을 안내해야 합니다. 이 첫 번째 논문에서는 다음 사항을 논의합니다:

• (1) 측정 도구로서의 설문조사 선택,
• (2) 콘텐츠 개발에 대한 의도적인 접근 방식,
• (3) 질문 구성 및 형식에 대한 증거에 기반한 접근 방식

Although surveys are commonly employed in medical education, there is no single survey design standard. Instead, survey designers must use evidence-informed best practices, which are based on decades of empirical evidence, to guide their efforts. Furthermore, in the many places where the empirical evidence is limited or conflicting, designers should apply theoretical guidance to guide their survey design efforts. In this first paper, we discuss:

• (1) the selection of a survey as a measurement tool,
• (2) an intentional approach to content development, and
• (3) an evidence-informed approach to question formulation and formatting.

향후 백서에서는 신뢰성 및 타당성 증거 수집, 설문조사 관리, 보고 모범 사례에 대해 다룰 예정입니다. 
Future papers will cover gathering reliability and validity evidence, survey administration, and best practices for reporting.

설문조사가 적합한 도구인가요?
IS A SURVEY THE RIGHT TOOL?

교육자, 연구자 또는 프로그램 평가자가 가장 먼저 해야 할 가장 중요한 질문은 다음과 같습니다: "설문조사가 내가 관심 있는 변수를 측정하고 질문에 답하는 데 적합한 도구인가?"입니다. 대부분의 경우 이 질문에 대한 답은 "아니오"이며, 설계자는 관심 있는 결과를 다른 방법으로 측정하는 것이 가장 좋다는 것을 알게 될 수 있습니다. 예를 들어,

• 짧은 시간 내에 제공되는 프로시져 교육 비디오의 효과를 평가하는 연구는 프로시져 효과의 객관적인 측정을 통해 가장 잘 수행될 수 있습니다.1
• 또는 시뮬레이션 임상 환경에서 다양한 유형의 스트레스 요인을 조사하는 연구에서는 스트레스 요인에 대한 객관적인 생리적 반응을 평가하기 위해 심박수 변동성을 사용하고, 스트레스에 대한 교육생의 주관적인 인식을 평가하기 위해 설문조사 도구를 사용할 수 있습니다.2
• 또한 질적 방법론은 의사의 수치심과 같이 잘 이해되지 않거나 제대로 정의되지 않은 개념을 심층적으로 탐구하는 데 이상적인 경우가 많습니다.3

궁극적으로 예비 설문조사 설계자는 설문조사를 연구 도구로 사용할 때의 강점과 한계를 신중하게 고려해야 합니다.  
For the educator, researcher, or program evaluator, the first and often most important question to ask is the following: “Is a survey the right tool to measure my variables of interest and answer my question?” In many cases, the answer to this question is “no,” and the designer may find that their outcomes of interest are best measured in other ways. For example,

• a study evaluating the effectiveness of a short, just-in-time procedural education video is likely best accomplished through objective measures of procedural effectiveness.1 
• Alternatively, a study examining different types of stressors in a simulated clinical environment may use heart rate variability to assess objective physiologic response to stressors and a survey instrument to assess trainees' subjective perceptions of stress.2 
• Additionally, qualitative methodologies are often ideally suited to deeply explore poorly understood or poorly defined concepts, such as physician shame.3 

Ultimately, the prospective survey designer should carefully consider the strengths and limitations of using a survey as a research tool.

설문조사는 질문을 사용하여 인구의 일부 측면에 대한 통계 정보를 수집하는 설명적 도구입니다.4 설문조사는 관찰할 수 없는 인간 현상에 대한 데이터를 수집하는 데 가장 적합합니다. 여기에는 태도, 신념, 의견뿐만 아니라 측정할 수 없거나 측정하기 매우 어려운 행동 및 행위에 대한 보고도 포함될 수 있습니다.5 교육 방법이 정의된 교육 목표와 논리적으로 일치해야 하는 교육과정 개발 과정과 유사하게, 설문조사 사용은 질문하는 기본 질문과 연구하는 변수 또는 결과에 논리적으로 일치해야 합니다.6 또한 연구자는 논문에서 이러한 측정의 근거와 설문조사의 후속 사용(또는 용도)을 명확하게 설명해야 합니다.4, 5
Surveys are descriptive tools that employ questions to collect statistical information on some facet of a population.4 Surveys are best suited for collecting data on nonobservable human phenomena. These include attitudes, beliefs, and opinions but can also include reports of behaviors and actions that are otherwise unmeasurable (or very hard to measure).5 Similar to the process of curriculum development, where methods of teaching should logically align with the defined educational objectives, the use of a survey should logically align with the underlying questions being asked and the variables or outcomes being studied.6 What is more, researchers should clearly describe in their articles the rationale for those measures and the subsequent use (or uses) of a survey.4, 5

콘텐츠 개발
CONTENT DEVELOPMENT

고품질 설문조사는 엄격하게 개발된 평가 도구로, 제안된 용도를 뒷받침하는 타당도 증거가 있습니다. 타당도 근거에는 다양한 구성 요소가 있으며, 이에 대해서는 후속 백서에서 자세히 다룰 예정입니다. 설문조사에 대한 콘텐츠 타당도(타당도 증거의 한 원천)를 확립하는 것은 콘텐츠 개발에 대한 의도적이고 엄격한 접근 방식에서 시작됩니다. 이 과정은 교육자가 먼저 커리큘럼의 중요한 목표를 정의한 다음, 그 목표를 성공적으로 달성하기 위해 구체적인 학습 목표를 작성하는 커리큘럼 개발과 유사합니다. 설문조사 개발에서 설계자는 먼저 연구 또는 설문조사의 전반적인 목표(즉, 어떤 질문을 다루고 있으며 설문조사를 통해 어떤 변수를 측정할 것인가?)를 설정해야 합니다. 그런 다음 연구자는 전체 목표에 따라 평가할 연구 변수 또는 결과를 가장 잘 나타내는 구체적인 구인construct을 정의합니다.7 
High-quality surveys are rigorously developed assessment tools that have validity evidence in support of their proposed uses. There are various components of validity evidence, which we will cover in more detail in a subsequent paper. Establishing content validity (one source of validity evidence) for a survey begins with an intentional and rigorous approach to content development. The process is again similar to curriculum development where an educator first defines the overarching goal of a curriculum and then writes specific learning objectives, which build to the successful achievement of that goal. In survey development, the designer should first establish the overall goal of the study or survey (i.e., what question is being addressed and what variables are being measured with the survey?). Following that overall goal, the researcher then defines specific constructs that best represent the study variables or outcomes being assessed.7

예를 들어 가상 강의가 레지던트 교육에 미치는 영향을 조사하는 연구를 예로 들어 보겠습니다. 이러한 연구의 경우 연구자는 먼저 설문조사의 전반적인 목표를 파악해야 합니다(예: "이 설문조사는 레지던트 교육의 학습 결과에 대한 화상 회의 소프트웨어의 인지된 효과를 측정할 것입니다"). 작업-기술 적합성, 인지 부하, 레지던트 건강(몇 가지 예만 들자면) 등 이러한 중요한 목표에 도움이 될 수 있는 여러 가지 구인이 있습니다. 이러한 구인construct은 예를 들어 화상 회의 소프트웨어의 특정 기능의 유용성, 가정 환경의 산만함, 거주자의 태도 등을 평가하는 데 사용되는 개별 설문조사 항목의 개발을 안내합니다. 
Take, for example, a study examining the impact of virtual didactics on resident education. For such a study, the researcher should first identify the overall goal for their survey (e.g., “This survey will measure the perceived effects of video conferencing software for didactic teaching on learning outcomes in resident education”). There are a number of constructs that could feed into that overarching goal, including task-technology fit, cognitive load, and resident wellness (to name just a few). These constructs then guide the development of individual survey items that are used to assess, for example, the utility of specific features of the video conferencing software, distractions in the home environment, and resident attitudes.

목표와 구인을 정의하는 것은 상세한 문헌 검토로 시작하여 이전 작업에서 유사하거나 관련된 변수를 평가하는 데 사용된 이전에 발표된 설문조사를 식별하는 반복적인 프로세스입니다. 연구 목적 또는 연구 질문의 요구사항과 완벽하게 일치하는 설문조사를 찾기란 쉽지 않지만, 이전 설문조사에서 연구의 일부 측면 및/또는 관심 있는 구성을 다뤘을 가능성이 있습니다. 연구자는 강력한 타당도 및 신뢰도 증거를 보고하는 출판된 도구를 찾는 것이 이상적이지만, 많은 출판된 설문조사 도구가 이러한 증거를 적절히 설명하지 못한다는 점을 이해해야 합니다.6 또한 연구자는 새로운 모집단을 대상으로 설문조사를 사용하는 등 기존 설문조사를 변경하면 타당도 논거와 도구가 여전히 (새로운) 용도에 적합한지 여부가 달라질 수 있음을 인지해야 합니다.8 이러한 문헌 검토 과정과 설문조사 목표와 목적에 대한 사려 깊은 고찰은 연구자에게 평가할 구성요소에 대한 철저한 이해와 설문문항 구성 방법에 대한 아이디어를 남겨 주어야 합니다.
Defining the objectives and constructs is an iterative process that starts with a detailed literature review to identify any previously published surveys used to assess similar or related variables in prior work. While identifying a survey that perfectly matches the needs of the study purpose or research question is unlikely, it is possible that previous surveys have addressed some aspects of the study and/or constructs of interest. Researchers should ideally seek out published instruments that report robust validity and reliability evidence, understanding, however, that many published survey instruments fail to adequately describe this evidence.6 Researchers should be aware, as well, that any alterations to existing surveys, to include using the survey in a new population, may change the validity argument and whether or not the instrument is still appropriate for its (new) intended use.8 This process of literature review and thoughtful reflection on the goals and objectives of the survey should leave the researcher with a thorough understanding of the constructs to be assessed and ideas on how to frame their survey questions.

문항 작성을 위한 모범 사례
BEST PRACTICES FOR ITEM WRITING

설문조사가 가장 적합한 측정 도구라고 판단되면 개별 설문조사 항목의 구성construction을 시작할 수 있습니다. 각 문항을 개발하는 방식은 신중한 고려가 필요하며 문헌을 통해 정보를 얻어야 합니다. 인지 심리학, 여론 조사 등 다양한 분야에서 언급했듯이, 모든 응답자가 동일한 방식으로(그리고 설문조사 설계자가 의도한 방식으로) 해석할 수 있는 고품질 설문조사 문항을 작성하는 까다로운 과정을 성공적으로 수행하기 위해서는 여러 단계가 필요할 수 있습니다. 따라서 문항 작성에 모범 사례를 사용하면 궁극적으로 설문조사 설계자가 의미 있는 데이터를 수집할 수 있는 능력을 향상시킬 수 있습니다. 여기에서는 설문조사 개발을 구성 요소로 세분화하여 고품질의 설문조사 기반 학술활동을 지원하기 위한 몇 가지 구조화된 지침을 제안합니다(각 모범 사례의 예는 표 1 참조).
Once it is determined that a survey is the best measurement tool, construction of individual survey items can begin. The manner in which each item is developed requires deliberate consideration and should be informed by the literature. As noted in many different fields, including cognitive psychology and public opinion polling, multiple steps may be required to successfully navigate the challenging process of writing high-quality survey items that all respondents will interpret in the same way (and in the way the survey designer intended). Therefore, the use of best practices in item writing will ultimately enhance the survey designer's ability to capture meaningful data. Herein, we propose some structured guidelines to breakdown survey development into its building blocks, thereby supporting high-quality survey-based scholarship (see Table 1 for examples of each best practice).

표 1. 샘플 질문 및 권장 문구
TABLE 1. Sample questions and recommended phrasing

Best practice	Problematic example	Recommended improvement
Write positively worded questions	How often are you unable to start class on time?	How often do you start class on time?
Use questions and item-specific response options	I enjoyed the lecture. (response options: strongly disagree to strongly agree)	How much did you enjoy the lecture? (response option: not at all to a great amount)
Avoid double-barreled items	How effective was the lecture and hands-on instruction?	How effective was the lecture instruction? How effective was the hands-on instruction? Or, the item could be written at a higher level of abstraction: How effective was the residency instruction?
Choose an appropriate number of response options	Did you like the activity? Yes No	How much did you like the activity? Not at all A little A moderate amount Quite a bit A lot
Attend to formatting and layout	How satisfied were you with your residency training? 1.Not at all satisfied 2. 3. 4. 5.Extremely satisfied	How satisfied were you with your residency training? Not at all satisfied Somewhat satisfied Moderately satisfied Quite satisfied Extremely satisfied
Organize the survey items intentionally	First question on the survey: How often do you take illicit drugs?	First question on the survey: What is your favorite extracurricular activity?

긍정적인 표현의 질문 작성
Write positively worded questions

개별 설문조사 문항은 일반적으로 긍정적인 표현을 사용해야 합니다. 긍정적인 표현의 문항을 사용하면 응답자가 이해하기 쉽기 때문에 응답 정확도가 향상됩니다. 반면, 부정적인 단어로 된 항목에서는 특히 응답자가 설문조사를 빨리 끝내려고 할 때(종종 그렇듯이) 실수로 '아닌', 'un-'과 같은 접두사나 단어를 놓치는 경우가 많습니다. 부정적으로 표현된 항목은 이해하는 데 더 많은 인지적 자원이 필요하므로 응답자가 쉽게 잘못 해석하여 부정확하거나 해석하기 어려운 데이터로 이어질 수 있습니다.9, 10
Framing of individual survey items should generally use positive language. The use of positively worded items enhances response accuracy because they are easier for respondents to comprehend. On the other hand, many respondents may inadvertently miss words and prefixes like “not” and “un-” in negatively worded items, particularly if respondents are trying to get through the survey quickly (which they often are). Negatively worded items require more cognitive resources to understand and, therefore, can be easily misinterpreted by respondents, leading to inaccurate or otherwise hard-to-interpret data.9, 10

동의/반대 옵션이 있는 문항보다는 질문과 항목별 응답 옵션을 사용합니다.
Use questions and item-specific response options rather than statements with agree/disagree options

설문조사는 여러 면에서 설문조사 설계자와 응답자 간의 대화와 같습니다. 동의/비동의 응답 옵션이 있는 문항을 사용하는 대신 질문을 하면 설문조사 대화가 보다 자연스럽게 흘러가 응답자의 이해도를 높이고 응답자가 질문하는 정보를 처리하는 데 도움이 될 수 있습니다.10 이 주제에 대한 최근의 종합적인 검토에 따르면 동의/비동의 응답 옵션이 있는 문항은 더 바람직하지 않은 결과(예: 묵인 및 해로운 응답 효과)와 관련이 있다고 합니다.11 부록 S1에 명시된 대로 저자들은 대부분의 목적에 동의/비동의 항목 대신 항목별 질문을 사용할 것을 설문조사 설계자에게 권장합니다. 
In many ways, a survey is like a conversation between the survey designer and their respondents. By asking questions rather than using statements with agree/disagree response options, a survey conversation can flow more naturally—which can enhance respondent comprehension and help respondents process the information being asked.10 A recent, comprehensive review of this topic reported that statements with agree/disagree response options are associated with more undesirable outcomes (e.g., acquiescence and deleterious response effects).11 The authors recommended that survey designers use item-specific questions instead of agree/disagree items for most purposes, as noted in Appendix S1.

이중 배럴 항목 피하기
Avoid double-barreled items

연구자들은 설문조사 길이를 줄이기 위해 여러 개의 질문을 하나로 합치려고 시도하는 경우가 많지만, 이러한 접근 방식은 종종 이중 배럴(또는 다중 배럴) 항목이 될 수 있다는 점에서 문제가 있습니다. 응답자는 특히 질문의 한 부분에 대해 한 가지 의견을 가지고 있고 다른 부분에 대해 다른 의견을 가지고 있는 경우 이중 배럴 항목에 응답하는 방법에 대해 혼란스러워할 수 있습니다. 응답자는 이 문제를 해결하기 위해 다양한 전략을 사용하지만, 중요한 점은 설문 설계자가 각 사람이 어떤 접근 방식을 취했는지 알 방법이 없어 개별 응답을 해석할 수 없게 된다는 것입니다. 이 문제에 직면했을 때 연구자는 세 가지 접근 방식을 취할 수 있습니다.9

• (1) 두 가지 아이디어 중 어떤 것이 가장 중요한지 고려하여 그 하나만 묻거나,
• (2) 두 개 이상의 개별 설문 항목을 만들거나,
• (3) 응답자가 더 복잡한 아이디어로 추상화하도록 유도하는 방식으로 질문의 두 측면을 결합하거나 

Researchers often attempt to combine multiple questions into one in an effort to decrease the length of a survey; however, this approach is problematic in that it often results in a double-barreled (or multibarreled) item. Respondents may be confused about how to respond to double-barreled items, particularly if they have one opinion about one part of the question and another opinion about the other. Respondents will use various strategies to handle this challenge, but the critical point is that the survey designer has no way of knowing which approach each person took, thereby making individual responses uninterpretable. When met with this challenge, researchers can take three different approaches:

• (1) consider which of the two ideas is most important and ask only that one,
• (2) create two or more separate survey items, or
• (3) combine the two facets of the question in a way that encourages respondents to abstract to a more complex idea.9 

예를 들어, 세 번째 접근방식의 경우 "환자의 다양한 의사소통 스타일을 식별하고 수용하는 데 얼마나 능숙합니까?"라는 이중 배럴 질문은 "환자의 다양한 의사소통 스타일에 적응하는 데 얼마나 능숙합니까?"라는 식으로 추상화할 수 있습니다. 이 세 가지 접근 방식 중 하나를 취함으로써 디자이너는 응답자가 서로 연결될 수도 있고 연결되지 않을 수도 있는 아이디어 모음보다는 개별 아이디어에 집중하고 더 쉽게 이해할 수 있도록 도울 수 있습니다. 
In the latter case, for example, the double-barreled question “How skilled are you at identifying and accommodating your patients' different communication styles?” could be abstracted to something like “How skilled are you at adapting to patients' different communication styles?” By taking one of these three approaches, designers can help their respondents focus on and more easily comprehend individual ideas, rather than collections of ideas which may or may not tie together.

적절한 수의 응답 옵션 선택
Choose an appropriate number of response options

주관식 설문조사 항목의 응답 옵션 수는 응답의 신뢰도에 영향을 미칠 수 있으므로 연구자는 선택한 옵션의 수를 신중하게 고려해야 합니다. 대부분의 경우, 5~7개의 응답 옵션이 폐쇄형 설문조사 항목에 적합한 경우가 많습니다.12

• 단극적인 구성 요소(예: "전혀 없다"에서 "거의 항상"로 변하는 행동의 빈도와 같이 0에서 더 큰 숫자로 변하는 것)를 정량화하려는 항목의 경우, 응답 옵션이 5개이면 충분한 경우가 많습니다. 반면에
• 양극성이 강한 구성 요소를 평가하려는 항목(예: 태도처럼 부정적인 양에서 긍정적인 양으로 변화하는 항목)의 경우 7개의 응답 옵션이 가장 이상적입니다. 7개 옵션은 부정적인 옵션 3개, 긍정적인 옵션 3개, 중간에 중립적인 옵션 1개를 허용합니다12(표 1의 몇 가지 예 참조).

일반적으로 응답 옵션이 5개 미만이면 설문조사 점수의 신뢰도가 떨어지고, 7개 이상이면 일반적으로 신뢰도가 향상되지 않으며 응답자에게 과도한 부담을 줄 수 있습니다.10 
Since the number of response options in a closed-ended survey item may impact the reliability of the responses, researchers should carefully consider the number of options selected. For most purposes, five to seven response options is often the sweet spot for closed-ended survey items.12 

• For items which seek to quantify constructs that are unipolar (i.e., things that go from zero to a larger number, like the frequency of a behavior that goes from “never” to “almost all the time”), five response options is often adequate.
• On the other hand, for items that seek to assess constructs that are more bipolar (i.e., things that go from a negative amount to a positive amount, like an attitude), seven response options is often ideal. Seven options allow for three negative options, three positive options, and one neutral option in the middle12 (see several examples in Table 1).

As a general rule, fewer than five response options is likely to decrease the reliability of survey scores and more than seven typically does not enhance reliability and may overburden respondents.10

또 다른 고려 사항은 홀수 또는 짝수 응답을 사용할지 여부입니다. 설문조사 설계자는 종종 이 결정에 대해 몇 시간 동안 고민하지만, 제한된 경험적 증거는 이 선택의 결과가 미미하다는 것을 시사합니다.9 즉, 

• 설문조사 항목이 중립점을 갖는 것이 합리적이라면 응답 옵션의 수가 홀수인 것이 가장 합리적일 수 있습니다(즉, 응답자가 문제에 대해 중립적인 것이 합리적일 경우).
• 반면에 자연스러운 중간점이 존재하지 않는다면 중간점이 없는 짝수 개의 응답 옵션을 사용하는 것이 합리적입니다.

Another consideration is whether to use an odd or even number of responses. Although survey designers often spend hours agonizing over this decision, the limited empirical evidence is equivocal, suggesting that the consequences of this choice are minor.9 That said,

• if it makes sense for the survey item to have a neutral point, then an odd number of response options probably makes the most sense (i.e., if it is reasonable for a respondent to be neutral on an issue). On the other hand,
• if no natural midpoint exists, then it is reasonable to instead use an even number of response options with no midpoint.

서식 및 레이아웃에 주의
Attend to formatting and layout

거의 모든 사람, 특히 의료계 전문가가 스마트폰을 가지고 있는 요즘, 대부분의 응답자가 모바일 기기를 사용하여 대부분의 웹 기반 설문조사를 완료한다는 점에 유의해야 합니다. 따라서 모바일 형식을 포함한 다양한 형식의 설문조사 레이아웃을 미리 보는 것이 중요합니다. 예를 들어, SurveyMonkey 또는 Qualtrics와 같은 웹 기반 설문조사 애플리케이션은 일반적으로 컴퓨터 화면에 표시되는 설문조사의 경우 응답 옵션을 페이지 전체에 가로로 정렬하지만, 모바일 사용자를 위해 동일한 옵션을 세로로 정렬하는 기능도 있습니다. 따라서 가독성을 보장하기 위해 두 가지 형식 모두에서 설문조사 항목의 모양을 신중하게 검토하고 사전 테스트하는 것이 중요하며, 특히 이러한 서로 다른 형식은 제공되는 설문조사 응답의 품질에 영향을 미칠 수 있으므로 더욱 그렇습니다.9
At a time when virtually everyone has a smartphone, especially professionals in healthcare, it is important to note that most respondents will use their mobile device to complete most web-based surveys. As such, it is essential to preview the survey layout in multiple formats, including the mobile format. For example, web-based survey applications like SurveyMonkey or Qualtrics typically align response options horizontally across the page for surveys presented on a computer screen, but they also have the capability to format the same options vertically for the mobile user. Thus, it is important that researchers carefully review (and even pretest) the appearance of their survey items in both formats to ensure readability, especially because these different formats can affect the quality of the survey responses provided.9

설문조사 설계자는 정확도를 높이기 위해 응답 옵션에 구두 라벨과 숫자를 모두 포함하려는 경향이 있을 수 있습니다. 그러나 놀랍게도 기존의 제한된 경험적 연구에 따르면 응답자는 이러한 응답 옵션을 다양하게 해석하는 경우가 많습니다(숫자의 의미와 구두 라벨의 의미가 때때로 일치하지 않을 수 있기 때문).13 이 결과는 구두 라벨과 숫자를 모두 포함하는 것이 비효율적인 접근 방식일 수 있음을 시사합니다. 따라서 숫자를 사용하지 않고 구두 레이블만 사용하고 모든 응답 옵션에 레이블을 지정하는 것이 가장 좋은 방법이며, 이렇게 하면 응답자의 인지적 부담이 완화되어 보다 정확한 답변을 유도할 수 있습니다.9 부록 S1에는 일반적으로 연구되는 주제에 대한 구두 레이블의 예가 나와 있습니다.
Survey designers may also be inclined to include both verbal labels and numbers on their response options, with the goal of enhancing precision. Surprisingly, however, the limited empirical research that exists suggests that respondents often variably interpret such response options (since the meaning of numbers and the meaning of verbal labels can sometimes be misaligned).13 This finding suggests that including both verbal labels and numbers may be an ineffective approach. As such, a best practice is to use verbal labels only (without numbers) and to label all response options (as opposed to just the end points); doing so eases respondents' cognitive burden, thereby encouraging more precise answers.9 Appendix S1 outlines a number of example verbal labels for commonly studied topics.

또 다른 중요한 서식 지정 문제는 응답 옵션 간격입니다. 응답 옵션의 간격이 고르지 않으면 특정 옵션이 다른 옵션보다 시각적으로 더 두드러질 수 있습니다. 이는 의도치 않게 응답자가 이러한 옵션에 주목하고 선택할 가능성을 높이는 효과를 가져올 수 있습니다. 설문조사원은 모든 응답 옵션의 간격이 균등하게 유지되도록 서식 지정에 세심한 주의를 기울여야 합니다.9
Another important formatting issue is response option spacing. Unevenly spaced response options can make certain options stand out visually more than others. This can have the inadvertent effect of making these options more likely to be noticed and selected by respondents. Researchers should be meticulous in their formatting efforts, ensuring that all response options are equally spaced.9

의도적으로 설문조사 항목 구성
Organize the survey items intentionally

연구자는 설문조사를 시작하고 궁극적으로 완료하려는 응답자의 동기를 고려할 때, 항목의 순서를 신중하게 고려하고 의도적으로 구성해야 합니다. 설문조사에서 명확하고 해석 가능한 정보를 얻으려면 정확한 데이터 수집이 전제되어야 하므로, 관심 있는 핵심 구인을 다루는 가장 중요한 질문은 설문조사 시작 부분에 배치해야 합니다.9 이렇게 하면 응답자가 설문조사 참여를 중단하더라도 최소한 유용한 데이터는 수집된 것으로 간주할 수 있습니다.
As researchers consider respondent motivation to begin and ultimately complete the survey, the order of the items should be carefully considered and intentional. Obtaining clear and interpretable information from a survey depends on accurate data collection and, as such, the most important questions addressing the central construct of interest should be situated near the beginning of the survey.9 That way, if respondents choose to stop taking the survey, at least some useful data have been collected.

또한 민감한 질문과 인구통계학적 항목(종종 민감한 것으로 간주되는)은 설문조사 마지막에 배치하는 것이 중요합니다. 특히 설문조사나 기타 평가의 초반에 포함된 인종과 민족에 관한 질문은 고정관념 위협이라는 효과를 유발하여 응답 품질과 응답자 동기에 부정적인 영향을 미칠 수 있는 것으로 나타났습니다. 이러한 효과만으로도 대부분의 설문조사 마지막에 인구통계학적 항목을 묻는 충분한 이유가 됩니다.14 마지막으로, 민감한 질문과 관련하여 '친밀감rapport'이라는 개념이 중요합니다. 설문조사 설계자가 설문조사 초기에 응답자와 어느 정도 친밀감을 형성하고 동의를 얻으면 보다 민감한 질문을 할 수 있습니다. 이러한 친밀감을 형성하는 접근 방식은 일상적인 대화와 마찬가지로 설문조사에도 적용됩니다.
Moreover, it is important to keep sensitive questions and demographic items (which are often considered sensitive) toward the end of the survey. In particular, questions about race and ethnicity that are included early in a survey or other assessments have been shown to induce an effect known as stereotype threat, which can negatively impact response quality and respondent motivation. This effect alone is reason enough to ask demographic items near the end of most surveys.14 Finally, with regard to sensitive questions, the notion of “rapport” is critical. Once the survey designer has built some rapport and buy-in with the respondents early in a survey, then more sensitive questions can be asked. This rapport-building approach applies as much for surveys as it does for everyday conversations.

또한 모든 설문조사 질문은 각 응답자와 관련성이 있어야 합니다. 관련성이 없는 질문은 참여자의 의욕을 떨어뜨리고 응답 품질에 부정적인 영향을 미칠 수 있습니다. 이를 염두에 두고 설계자는 분기 질문 사용을 고려해야 합니다.4 예를 들어, 대학 도서관 서비스의 품질에 대한 정보를 수집할 때 설계자는 먼저 "해당 기관의 도서관을 이용해 보셨습니까?"라고 질문한 다음 "예"라고 대답한 응답자에게만 도서관 서비스의 품질에 대해 질문할 수 있습니다. 전자적으로 관리되는 웹 기반 설문조사를 사용하면 디자이너가 이러한 유형의 분기 질문을 쉽게 만들 수 있으며, RedCap, Qualtrics, Google Forms, SurveyMonkey와 같은 많은 웹 기반 설문조사 제품에는 분기 로직으로 설문조사를 구성하는 방법에 대한 자습서가 있습니다. 
In addition, all survey questions should be relevant to each respondent. Irrelevant questions tend to demotivate participants and can negatively impact response quality. With this in mind, designers should consider using branching questions.4 For example, when gathering information about the quality of the university's library services, a designer might first ask: “Have you used the institution's library?” and then ask questions about the quality of the library services only to those who answer “yes.” Electronically administered, web-based surveys make it easy for designers to create this type of branching question, and many web-based survey products, such as RedCap, Qualtrics, Google Forms, and SurveyMonkey, have tutorials on how to construct a survey with branching logic.

결론
CONCLUSION

설문조사는 다른 방법으로는 답할 수 없는 질문에 답할 수 있는 강력한 방법이 될 수 있습니다. 설문조사 설계자는 설문조사 개발 프로세스 초기에 여기에 설명된 모범 사례(및 광범위한 설문조사 설계 문헌)를 사용하여 설문조사 도구가 고품질 의사 결정에 사용할 수 있는 신뢰할 수 있는 평가가 될 수 있도록 할 수 있습니다. 일련의 논문에서 제시하는 설문조사 설계에 대한 증거 기반 접근 방식에는 다음이 포함됩니다: 

• (1) 엄격한 방식으로 콘텐츠 개발하기,
• (2) 설문조사 항목을 명확하게 작성하고 형식화하기,
• (3) 설문조사 결과의 타당성을 뒷받침하는 증거 수집하기,
• (4) 응답률을 극대화하기 위해 설문조사 관리하기,
• (5) 설문조사 결과를 의학 문헌에 명확하게 전달하기 등이 있습니다.

Surveys can be a powerful way to answer otherwise unanswerable questions. By using the best practices described here (and in the broader survey design literature)—early in the process of survey development—designers can help to ensure their survey tools are credible assessments that can be used for making high-quality decisions. The evidence-informed approach to survey design presented in our series of papers includes:

• (1) developing content in a rigorous way,
• (2) writing and formatting survey items with clarity,
• (3) collecting evidence to support the validity of the survey results,
• (4) administering the survey to maximize response rate, and
• (5) clearly communicating the results of the survey in the medical literature.

이 첫 번째 백서에서는 이 프로세스의 처음 두 단계에 초점을 맞추었습니다. 먼저 설문조사의 목표와 조사 대상의 구인을 설명함으로써 설계자는 설문조사 항목의 내용을 결정할 수 있습니다. 다음으로, 설문조사 항목과 응답의 작성 및 서식 지정에 대한 근거에 기반한 가이드라인을 따르면 설계자는 설문조사 점수의 타당성과 의도된 용도를 뒷받침할 수 있습니다. 다음 백서에서는 설문조사 점수와 그 용도에 대한 신뢰성과 타당성 근거를 더욱 확립하기 위해 설문조사를 테스트하고 시범 운영할 때 중요한 측면에 대해 논의할 것입니다. 그 다음에는 설문조사를 관리하고 배포하는 접근 방식과 설문조사 설계 및 연구 노력을 보고하는 모범 사례에 대해 설명할 것입니다. 

In this first paper, we have focused on the first two steps of this process. By first explicating the goals of the survey and the constructs being investigated, designers can determine the content of survey items. Next, by following evidence-informed guidelines for writing and formatting survey items and responses, designers can support the validity of their survey scores and their intended use. In our next paper, we will discuss the critical aspects of testing and piloting surveys to further establish reliability and validity evidence for the survey scores and their proposed uses. Subsequently, we will describe approaches to administering and distributing surveys, as well as best practices for reporting survey design and research efforts.

 

---

Abstract

Surveys are ubiquitous in medical education. They can be valuable for assessment across a wide range of applications and are frequently used in medical education research. This Educator's Blueprint paper reviews the best practices in survey design with a focus on survey development. Key components of the survey design process include determining whether a survey is the right tool, using an intentional approach to content development, and following best practices in item writing and formatting. These processes are meant to help educators and researchers design better surveys for making better decisions.