설문 체크리스트(성명서) (Acad Med, 2018)

설문 체크리스트(성명서) (Acad Med, 2018)

The Survey Checklist (Manifesto) 

Hunter Gehlbach, PhD, and Anthony R. Artino Jr, PhD

표준 프로토콜의 일부로서, 체크리스트의 사용은 수술 중 equity를 향상시킬 수 있다(예: 체크리스트는 간호사들이 의사들에게 어떤 단계를 잊었는지를 상기시킬 수 있는 권한을 갖게 해준다). 기본적으로 체크리스트는 알림 역할을 한다. 그들은 전문가들이 이미 알고 있지만 위기의 순간에 잊을 수 있는 것을 두드러지게 만드는 것을 돕는다. 이 강화reinforcement 과정은 절차상의 오류, 잘못된 의사소통, 감염, 심지어 사망까지도 줄일 수 있다.1–3

As part of a standard protocol, the use of checklists can improve equity during surgeries (e.g., checklists may help nurses feel empowered to remind doctors that they are forgetting a step). Primarily, checklists serve as reminders. They help make salient what professionals already know but may forget in moments of crisis. This reinforcement process can reduce procedural errors, miscommunications, infections, and even deaths.1–3

설문조사 오류는 커버리지, 샘플링, 무응답, 측정 오류 등 복수의 출처에서 발생한다. 여기서는 체계적 측정 오류 또는 잘못된 질문 표현, 형식, 응답 옵션 및 질문 순서에서 발생하는 오류의 최종 범주에 초점을 맞춘다.4 최근의 한 연구는 의학교육 조사연구의 95%가 하나 이상의 조사 설계 모범 사례를 위반했다는 것을 발견했다.5

Survey error arises from multiple sources—coverage, sampling, nonresponse, and measurement error. Here, we focus on this final category: systematic measurement error, or error arising from poor question wording, formatting, response options, and the order of questions.4 A recent study found that 95% of medical education surveys violated one or more survey design best practices.5

본 관점에서는, "오류를 줄이는 것"을 목적으로, 수술 체크리스트와 동일한 핵심 기능을 수행하도록 설계된 설문조사 체크리스트를 제시한다.

In this Perspective, we present a survey checklist designed to serve the same core function as surgical checklists: to reduce error.

응답을 홀수개로 할 것인지 짝수개로 할 것인지의 문제는 자주 제기되지만, 명백한 해결책은 존재하지 않는다 (양측에 대한 합리적인 주장이 존재한다). 또한 몇 개로 하든지 그 결과가 크게 차이나지 않는다.

whether or not to include a midpoint by presenting an odd versus even number of response options. Although this issue comes up frequently and lacks an obvious solution (reasonable arguments exist on both sides), the research is equivocal and the consequences of this choice are small.6

문항 구성하기

Formulating Items

동의-부동의 정도를 묻는 보기를 사용하지 마시오.

Avoid formatting items as statements with agree–disagree response options…

동의여부를 묻는 보기를 사용하는 빈도는 높지만, 설문조사 연구에 따르면 여러 이론적 이유로 일관되게 이러한 방식을 최악의 방법 중 하나로 본다. 이러한 유형의 질문은 다음의 문제가 있다.

• 편향의 묵인: 응답자가 무슨 말이 써있든지 소극적으로 동의할 가능성

• 만족화: 그들은 응답자들이 최적의 노력을 기울이도록 유도하지 않는다.

Despite the frequency with which questions with agree–disagree response options are used, survey researchers consistently identify this format as one of the worst ways to present items—for multiple theoretical reasons. This type of question increases both 

• acquiescence bias (the likelihood that respondents will passively agree with whatever statement is presented) and 

• satisficing (i.e., they encourage respondents to put forth suboptimal effort). 

또한 응답자가 선택한 옵션의 정확한 의미가 모호한 경향이 있다.

Further, the precise meaning of the response options tends to be ambiguous.

그리고 구인 특이적 보기 옵션을 사용하시오

…And use questions with construct- specific response options instead

구인-특이적 응답 옵션을 사용해야 한다.

the central focus of the question with “construct-specific” response options.4,12

• Did not enjoy at all 

• Enjoyed a little bit 

• Enjoyed somewhat 

• Enjoyed quite a bit 

• Enjoyed a tremendous amount

한 번에 하나만 물어보시오

Ask one item at a time (thereby avoiding multibarreled items)

한 개인이 질문의 한 부분은 지지하지만 다른 부분은 거부할 수 있기 때문에, 이중 또는 다중 질문을 던지는 문항은 catch-22에 빠지게 한다.4,5

Double- or multibarreled items put respondents in a catch-22 because an individual may endorse one part of a question but reject another.4,5

• 두 개로 항목을 분리하여 물어볼 수 있다. 

• 더 중요한 질문만을 선택하여 물어볼 수도 있다. 

• 두 가지 아이디어를 모두 압축하는 더 높은 수준의 추상적 수준에서 질문하는 것이다. 

survey designers can ask two separate items . Researchers may also select and ask only the more important question. Another solution is to pose the question at a higher level of abstraction that encapsulates both ideas 

긍정문을 사용하시오

Use positive language

부정적인 표현은 두 가지 면에서 문제가 된다. 

• 첫째, 부정적인 것은 단 몇 글자로 의미가 달라지는 경우가 많기 때문에 설문조사를 서두르는 응답자들에 의해 쉽게 간과될 수 있다. 

• 둘째, 응답자들이 읽더라도 무언가의 부재나 반대라는 정신적 이미지를 떠올리는 것은 인지적으로 어려운 일이다.

Negative wording proves challenging for respondents in two ways. First, because negatives are often signaled by just a few letters, they can be easily overlooked by respondents who are rushing through a survey. Second, even if respondents do read them, conjuring up the mental image of the absence or opposite of something is cognitively challenging.

아이러니한 프로세스에 대한 Wegner의 연구13은 이 과제를 다음과 같이 설명한다. 그의 연구에 따르면, 사람들에게 "분홍 코끼리에 대해 생각하지 말라"고 말하면 더욱 분홍 코끼리의 이미지를 떠올리게 할 가능성이 높다는 것"을 보여준다. 따라서 부정적인 단어 조사 항목은 응답자가 항목을 읽고, 고려하고, 응답할 때 쉽게 피할 수 있는 오류를 범하게 한다. 예를 들어, "회진 중에 레지던트를 핀잔주는pimping 기술을 사용하는 것은 얼마나 부적절한가?"라고 질문하는 것보다 "회진 중에 레지던트를 핀잔주는 기술을 사용하는 것은 얼마나 적절한가?"로 수정될 수 있다.

Wegner’s work13 on ironic processes illustrates this challenge: His research shows that telling people, “Don’t think about pink elephants” is especially likely to cause them to conjure up images of pink elephants. Thus, negatively worded survey items often cause respondents to make easily avoidable errors in reading, considering, and answering items. For instance, an item such as “How inappropriate is it for attending physicians to use the technique of resident pimping during bedside rounds?” might be reworded to “How appropriate is it for attending physicians to use the technique of resident pimping during bedside rounds?”

"역채점" 문항을 지양하시오.

Avoid “reverse-scored” items

위와 관련하여, 일부 설문조사 설계자는 평가 대상자들에게 주의를 환기시키는 수단으로 역점수 항목을 사용하는 것을 옹호한다. 예를 들어, "클리닉 방문 중 얼마나 자주 짜증이 났는가?"와 같은 항목을 방문 만족도 척도 내에 넣는 것이다.

In a related practice, some survey designers advocate the use of reverse- scored items as a means of keeping survey takers alert. For example, imagine the item “How often were you annoyed during your clinic visit?” within a visit satisfaction scale

이론적으로, 이러한 역점수 항목은 응답자가 주의 깊게 초점을 맞출 필요가 있다는 것을 깨닫도록 도와야 한다. 즉, 자동 조종autopilot 모드에 들어갈 수 없다. 그러나 현실에서는 이러한 항목이 일반적으로 전체 규모의 신뢰성을 떨어뜨린다14. 특히 교육을 덜 받은 응답자(예: 어린이)에게 특히 그러하다.

In theory, these reverse- scored items should help respondents realize that they need to focus carefully; they cannot slip into autopilot mode. However, in practice, these items typically diminish the reliability of the overall scale14—especially when used with less- educated respondents (such as children15).

관심내용에 적합한 포맷을 고르시오

Choose item formats that answer the questions of interest

예를 들어, "해당하는 것을 모두 고르세요"와 같은 문항은 통상적으로 응답자가 목록의 위쪽에 있는 항목을 더 많이 선택하게 하고, 이후 항목을 불균형적으로 무시하게 된다. 결과적으로 특정 항목이 적용되지 않아서 고르지 않은 것인지, 또는 그저 무관심한 응답자가 건너뛰었는지가 불분명하다.10 더 나은 접근방식은 강제 선택 형식이며, 이는 응답자가 보다 완전하고 고품질 데이터를 제공하도록 권장한다. 상자 1 참조 

For example, check-all-that-apply items routinely result in respondents picking more items toward the top of the list and disproportionately ignoring later items. As a result, whether particular items do not apply or whether an inattentive respondent skipped them is unclear.10 A better approach is a forced-choice format, which encourages respondents to provide more complete, high-quality data. See Box 1 

이러한 유형의 강제 선택 형식을 사용하면, 연구자들은 응답자가 특정 항목에 응답하는지 아니면 생략했는지 항상 알 수 있을 것이다.

Using this type of forced- choice format, researchers will always know whether a respondent answered or skipped a particular item.

때때로, 연구원들은 개방형/무응답 항목이 폐쇄형 질문보다 그들의 연구 문제와 더 잘 일치한다는 것을 깨닫게 될 것이다.

Sometimes, researchers may realize that open-ended/free-response items better match their research questions than closed-ended questions. 

보기 만들기

Crafting Response Options

적절한 수의 선택지

Choose an appropriate number of response options

평가 항목의 경우, 응답 옵션의 수는 [참가자가 자신의 의견, 태도 또는 행동을 정확하게 나타낼 수 있도록 충분히 많은 옵션을 제공하는 것]과 [참가자가 각각의 의미를 명확히 구별할 수 있는 충분히 적은 옵션]을 제공하는 것 사이에 균형을 이루도록 요구한다.

For rating items, the number of response options requires striking a balance between providing enough options for participants to precisely represent their opinions, attitudes, or behaviors and providing few enough options for participants to clearly distinguish the meaning of each.

일부 학자들은 최적의 대응 옵션의 수가 일반적으로 4개에서 7개 사이라고 제안했다. 크로스닉과 파브리가르16은 

• 단극 연속체(즉, 개념 0점부터 무한점까지)의 경우 5개, 

• 양극 연속체(즉, 양 또는 음의 태도와 같이 음에서 양의 무한으로 배열하는 연속체)의 경우 7개 옵션이 최적일 수 있다고 제안한다. 

이와 관련하여, '의 연구결과17은 네 가지 대응방안만이 너무 적을 수 있다는 것을 시사한다(최소한 대학생 응답자의 경우). 

some scholars have proposed that the optimal number of response options typically lies between four and seven. Krosnick and Fabrigar16 suggest that the optimal number of options may be five for unipolar continua (i.e., from a conceptual zero point to infinity ) and seven for bipolar continua (i.e., continua that array from negative to positive infinity, such as positive or negative attitudes). Relatedly, Weng’s findings17 suggest that only four response options may be too few (at least for college-aged respondents). 

항목 순위를 매기는 경우, 응답 옵션의 적절한 개수는 응답자의 인지적 정교함에 따라 달라진다. 예를 들어, 교육을 잘 받은 성인은 6가지 다른 반응(예: 그들의 식단 선호도에 대해)을 순위를 매길 수 있지만, 이 과제는 많은 소아 환자 능력의 범위를 벗어날 수 있다. 일부 연구 질문의 경우 응답 옵션의 일부만 순위를 매기도록 요청하는 것이 합리적인 대안이 될 수 있다.4,18

For ranking items, the appropriate number of response options is more a function of the cognitive sophistication of respondents. For example, well-educated adults may be able to rank six different responses (e.g., about their dietary preferences), but this task may exceed the capacities of many pediatric patients. For some research questions, asking respondents to rank only a portion of the response options (e.g., please rank the top three) may be a reasonable alternative.4,18

모든 보기에 라벨하기

Label all response options

문자 라벨은 각 옵션이 동일하게 중요하게 보이도록 도와주며, 또한 각 옵션의 의미를 명확하게 해준다.19 모든 응답 옵션에 라벨링을 한다면 모든 응답자가 동일한 방식으로 각 응답 옵션을 해석할 확률을 개선할 것이다. 상자 2 참조 

a verbal label help each option seem equally viable but also ensure that the meaning of each option is clear.19 Labeling all response options will improve the odds that all respondents will interpret each response option in the same way. See Box 2 

숫자 라벨 사용하지 않기

Use only verbal labels

직관적으로 생각할 때, 숫자가 단어보다 더 정밀해보일 수 있다; 그러나, 연구들은 자기보고식 조사에서 구두 라벨이 숫자 라벨보다 사람마다 더 일관된 의미를 갖는다는 것을 보여준다.19 다시 말하면, 한 사람의 "4"는 다른 사람의 것과 상당히 다를 수 있지만, 한 사람이 "매우 고통스럽다"는 것은 일반적으로 다른 사람이 의미하는 것과 매우 비슷할 것이다.

Intuition might dictate that numbers provide greater precision than words; however, studies have shown that in self- administered surveys, verbal labels hold more consistent meanings from person to person than numbers.19 In other words, one person’s “4” may be quite different than another’s, but what one person means by “quite painful” is typically close to what someone else means.

시각/수치/개념적 중간점의 균형 이루기

Balance the visual, numeric, and conceptual midpoint of the response options

조사 설계자가 시각적으로 대응 옵션을 배치하는 방법은 사람들이 선택하는 옵션에 영향을 미친다. 예를 들어, 박스 3의 첫 번째 대응 옵션 블록에 대해 응답자는 아래의 세 가지로 모두 합리적으로 해석이 가능하다.

How survey designers visually array response options influences which option people choose. For example, the first block of response options in Box 3 allows respondents to reasonably conclude any of the following:

• "좋은"과 "매우 좋은" 사이의 경계가 중간점

• "좋은"이 중간 지점

• "공정한"은 중간 지점이다(개념적으로 "공정한"은 좋고 나쁨을 의미하지 않는다).

• The line between “good” and “very good” is the midpoint

• “good” is the midpoint

•  “fair” is the midpoint (conceptually “fair” connotes neither good nor bad).

따라서, 핵심은 박스 3의 두 번째 블록에서처럼 옵션 집합의 시각적, 수치적, 개념적 중간점이 모두 일치하는지 확인하는 것이다.

The key, then, is to ensure that the visual, numeric, and conceptual midpoint of a set of response options all align, as in the second block of response options in Box 3.

"해당 없음" 보기는 시각적으로 분리해두기

Visually separate “nonsubstantive” choices from the other response options

응답자들은 이러한 옵션과 추가 공간을 포함한 주요 실제 응답의 일부를 시각적으로 구분함으로써 어떤 반응이 평가 척도 상의 연속체의 일부인지, 그리고 해당 연속체의 중간점이 어디에 있는지를 명확히 추론할 수 있다.20 박스 4의 그림을 참조하십시오.

By visually distinguishing these options from the main substantive responses with extra space, respondents can clearly infer which responses are part of the underlying continuum on a rating scale and where the midpoint of that continuum lies.20 See the illustration in Box 4.

한 열 또는 한 행으로 보기 배치하기

Format your response options into only one row or only one column

응답자에게 보기를 rate 또는 rank하게 할 때, 위에서 아래로 읽으면서 동시에 왼쪽에서 오른쪽으로 읽도록 강요하는 것은 혼란을 증가시키고 더 많은 오류를 야기한다. 대신, 조사 설계자는 응답 옵션을 배열하기 위해 단일 행 또는 단일 열을 사용해야 한다.21 행 또는 열의 명확한 차등 편익을 제안하는 현존 연구에서는 나타나지 않지만, 응답자가 스마트폰에 대해 점점 더 많은 설문조사를 실시함에 따라 칼럼이 선호될 수 있으며 스마트폰 화면은 기본적으로 수직 방향이다.22

Whether asking respondents to rate or rank response options, forcing them to read from both top to bottom and left to right increases confusion and causes more error. Instead, survey designers should use a single row or a single column to array the response options.21 Although no extant research appears to suggest a clear differential benefit of either rows or columns, columns may be preferable as respondents increasingly take surveys on their smartphones and smartphone screens are, by default, vertically oriented.22

전체 설문의 포맷과 구조

Putting It All Together: Formatting and Organizing the Whole Survey

더 중요한 문항을 초반에 배치하기

Ask the more important items earlier in the survey

설문조사의 시작에 가장 중요한 항목을 배치하면 응답자가 충분한 에너지와 집중력을 가지고 있을 때 응답할 가능성이 높아진다.4 더욱이, 설문조사에 대한 첫 번째 질문이 초청받은 참가자가 설문조사를 완료할지 여부를 결정하는 경우가 많기 때문에, 특히 인터넷 기반 조사에서는 초반의 질문은 거의 틀림없이 가장 중요하다.4 좋은 첫 번째 질문은 꽤 간단하다. 모든 응답자에게 적용되고, 읽고, 이해하고, 대답하기 쉬워야 한다. 그리고 설문 조사의 목적에 부합해야 한다.4

Placing the most important items at the beginning of the survey increases the odds that respondents will answer these items while they have ample energy and focus.4 Moreover, the first question on a survey is arguably the most important, especially on Internet-based surveys, because it often determines whether or not invited participants complete the survey.4 A good first question is fairly simple; applies to all respondents; is easy to read, comprehend, and answer; and aligns with the purpose of the survey as described in the invitation.4

각각의 문항이 모든 응답자에게 적용되게 하기

Ensure that each item applies to every respondent

응답자들과의 라뽀를 설정하고 유지하는 것은 매우 중요하다.

Establishing and maintaining rapport with respondents is immensely important.

설문 조사 설계자가 무심코 응답자를 소외시키는 흔한 실수는 응답자에게 적용되지 않는 수많은 항목을 묻는 것이다. 관련성이 낮은 항목을 물어서 생기는 문제는 설문 초반에 특히 더 큰데, 응답자가 설문조사를 완전히 중단할 가능성이 더 높기 때문이다. 응답자를 관련 항목으로만 연결하는 분기branching 항목을 사용하는 것이 일반적으로 더 나은 전략이다.4

One way a survey designer may inadvertently alienate respondents is by asking numerous items that do not apply to them. The cost of asking low- relevance items tends to be higher at the beginning of surveys where respondents may be more likely to quit the survey altogether. Using branching items that route respondents to only relevant items is typically a better strategy.4

예를 들어, "의료 도서관에서 이용할 수 있는 자원에 대해 얼마나 만족했는가"라고 묻고 응답자에게 "해당되지 않는" 선택권을 주기 보다는, "의료 도서관의 자원을 사용했는가?"라고 먼저 질문한다.

For example, rather than asking, “How satisfied were you with the resources available in the medical library” and giving respondents a “not applicable” option, ask them first, “Have you used the medical library’s resources?”

가능하다면 단일 설문문항보다는 다문항 척도 사용하기

Use scales rather than single items when possible (especially for more complex topics)

척도scale란 [동일한 기초 아이디어 또는 구인를 측정하도록 설계되고 구성된 여러 설문조사 문항의 그룹]이다.23–25 Scale로 하게 되면, 설문의 숫자에 따라 응답자가 완료하는 데 시간이 더 걸리지만, scale을 사용하면(오류가 발생하기 쉬운 single item에 비교하였을 때)복잡한 주제를 평가할 때 정확성이 높아진다.

A scale consists of several related survey items that, as a group, are designed to measure the same underlying idea or construct.23–25 Although scales take longer for respondents to complete, they bolster accuracy (compared with error-prone single items), particularly when assessing complex topics.

예를 들어, 환자의 전반적인 진료 경험을 평가하는 경우, "클리닉 경험 중 의사가 얼마나 우호적이었는가?"라는 질문은 관심 구인construct의 일부만 측정한다. 반면, 경험의 대표적인 단면을 평가하는 5항목 만족도 척도는 측정을 개선해야 한다.

For example, if assessing a patient’s overall clinic experience, the question “How friendly was your doctor during your clinic experience?” measures only a portion of the construct of interest. On the other hand, a five- item satisfaction scale that assesses a representative cross-section of the experience should improve measurement.

• 1. 프런트 직원들은 얼마나 환영해주었는가?

• 2. 방문 중에 진료소의 청결함에 얼마나 만족하셨습니까?

• 3. 의사와의 상호 작용이 얼마나 도움이 되었는가?

• 4. 일반적으로 전체 진료소 방문의 효율성은 어느 정도였는가?

• 5. 전반적으로 임상 치료에 얼마나 만족하셨습니까?

• 1. How welcoming were the front desk personnel?

• 2. During your visit, how satisfied were you with the cleanliness of the clinic?

• 3. How helpful was the interaction you had with your physician?

• 4. In general, how efficient was the entire clinic visit?

• 5. Overall, how satisfied were you with your clinical care?

시각적 레이아웃의 일관성

Ensure that the visual layout of the survey is consistent

일관된 시각적 레이아웃은 응답자에게 빠르고 효율적인 방식으로 설문 조사에서 중요한 정보를 찾을 수 있는 위치를 가르쳐 준다.4 본질적으로 일관성은 응답자가 설문조사를 처리하는 가장 능숙한 방법을 가르쳐준다. 시각적 레이아웃이나 지침이 바뀌는 경우 응답자들은 질문하는 내용과 답변을 어떻게 해야 하는지를 다시 배우기 위해 또다시 시간을 들여야 한다.

A consistent visual layout teaches respondents where to look for vital information on a survey in a quick, efficient fashion.4 In essence, consistency teaches them the most proficient way to process the survey. Changes in visual layout or instructions force respondents to take time to relearn what is being asked and how they should answer.

일반적으로, 설문 조사 설계자들은 가능한 한 많은 내용을 한 페이지에 주입하기 위해 조사의 시각적 레이아웃을 바꾸는 경우가 많다. 설문을 짧게 유지하는 것은 칭찬할 만한 목표지만, [균형 있게, 일관된 시각적 레이아웃을 유지해야 하며, 차라리 필요한 경우 더 많은 페이지를 사용하는 것]이 설문조사를 직소퍼즐처럼 포맷하여 명확성을 희생하는 것보다 낫다.

Commonly, survey designers find themselves changing the visual layout of their survey in an effort to cram as much content as possible onto a single page. Although keeping a survey short is a laudable goal, on balance, using a consistent visual layout—and, if necessary, more pages—is better than sacrificing clarity by formatting a survey like a jigsaw puzzle.

인구통계적 정보같은 민감한 문항은 후반부에 배치

Place sensitive items, such as demographic questions, later in the survey

많은 응답자들은 자신의 인구통계학적 정보를 누설하는 것을 불편하게 생각한다. 더욱이 일부 응답자들은 (고정관념 위협의 부산물로 인해) 인종, 성별 또는 사회적 계층이 두드러진 경우 후속 항목에 대해 다르게 반응할 수 있다.27 따라서 설문조사 설계 전문가들은 일관되게 설문 말미에 인구통계 데이터(또는 기타 민감한 정보)를 포함할 것을 권고한다.4 개인 데이터를 설문 후반에 넣음으로써, 응답자들이 (특정한 민감한 개인 데이터 질문이 먼저 나온 이유로) 응답을 변경하지 않도록 하는 데 도움이 된다. 더욱이, 이 전략은 응답자가 민감한 항목에 불쾌감을 느끼고 조사를 일찍 종료하더라도 대부분의 다른 데이터를 수집할 수 있게 한다.

Many respondents feel uncomfortable divulging demographic information. Furthermore, some respondents might respond differently on subsequent items if their race, gender, or social class is made salient, as a by-product of stereotype threat.27 Consequently, the consistent recommendation from survey design experts is to ask for demographic data (or other sensitive information) toward the end of surveys.4 Collecting personal data later helps ensure that respondents do not alter their answers as a result of particular sensitive items being asked first. Furthermore, this strategy allows most other data to be collected—even if a respondent takes offense at the sensitive items and quits the survey early.

명백히 민감한 질문은 [응답자들이 조사에 더 관심을 갖고 참여함에 따라 더 많은 관계와 신뢰가 구축될 때까지는] 해서는 안 된다.6

clearly sensitive question should not be asked until more rapport and trust have been built as respondents become more interested and engaged with the survey.6

한계, 기타 고려사항

Limitations and Other Considerations

맥락 효과(즉, 특정 조사항목이 주변 항목에 대한 응답자의 답변에 영향을 미치는 방식)는 조사 연구 내에서 매우 주목할 만한 주제가 되어 일부 학자들이 개입으로 보기 시작했다. 그러나, 그들은 매우 특이하고 조사의 특정 맥락에 너무 많이 의존하기 때문에, 이러한 효과를 피하는 것은 현재 과학보다 더 예술적인 것으로 남아 있다.

context effects—that is, the way certain survey items influence respondents’ answers to surrounding items—have become such a notable topic within survey research4,8,33 that some scholars have turned them into interventions.34 However, because they are so idiosyncratic and depend so much on the specific context of the survey, avoiding these effects remains more art than science at present.

종합

In Sum

비록 필기 조사의 판돈이 수술의 판돈만큼 높은 경우는 드물지만, 우리는 이 체크리스트와 같은 체크리스트를 현명하게 사용하면 측정 오차를 줄일 수 있다고 믿는다.

Although the stakes for writing surveys are rarely as high as those for performing surgery, we believe the smart use of a checklist such as this one can reduce measurement error

---

Acad Med. 2018 Mar;93(3):360-366. doi: 10.1097/ACM.0000000000002083.

The Survey Checklist (Manifesto).

Gehlbach H1, Artino AR Jr.

Author information

1

H. Gehlbach is associate professor, Department of Education, Gevirtz Graduate School of Education, University of California, Santa Barbara, Santa Barbara, California; ORCID: http://orcid.org/0000-0002-2852-2666. A.R. Artino Jr is professor of medicine and deputy director, Graduate Programs in Health Professions Education, Department of Medicine, F. Edward Hébert School of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland; ORCID: http://orcid.org/0000-0003-2661-7853.

Abstract

Checklists can mitigate a multitude of high-cost mistakes in fields ranging from surgery to aviation. As part of a standard protocol, checklists may provide many benefits, including improved equity and communication among team members and more efficient integration of different processes during complex tasks. Mostly, though, checklists serve as easy, efficient means to remind professionals of what they already know but can easily forget. By improving processes, checklists can reduce procedural errors, miscommunications, and even deaths. Although the stakes of writing a survey are rarely as high as they are for performing surgery or piloting a plane, checklists can improve the quality of surveys in medical education. In this Perspective, the authors propose a survey checklist to serve the same core function as surgical checklists-to reduce error. That is, a survey checklist can help medical education practitioners and researchers gather more accurate responses. Designers can use the checklist in the appendix to guide item creation processes or to help evaluate the quality of existing surveys. The checklist focuses on formulating items, crafting response options, and formatting/organizing the whole survey.

PMID:

 

29210756

 

DOI:

 

10.1097/ACM.0000000000002083