When I say … 리커트 문항(Med Educ, 2021)

When I say … 리커트 문항(Med Educ, 2021)
When I say … Likert item
Edward Krupat

 

 

정량 지향적인 연구자들은 설문지와 설문 조사 형태의 자기 보고 조치에 크게 의존한다. 특히 리커트 아이템을 이용해 태도와 신념을 평가하는 방식이 의대 교육자부터 여론 조사자까지 전 세계 연구진에 의해 채택됐다. 리커트 아이템이라는 용어는 1932년 유망한 젊은 사회과학자 렌시스 리커트가 자신의 논문에서 태도를 측정하는 새로운 방법의 사용을 소개한 것으로 거슬러 올라간다. 
Researchers who are quantitatively oriented rely greatly on self-report measures in the form of questionnaires and surveys. In particular, the use of Likert items to assess attitudes and beliefs has been adopted by researchers worldwide, from medical educators to public opinion pollsters. The term Likert item dates back to 1932 when a promising young social scientist, Rensis Likert, introduced the use of a new method to measure attitudes in his dissertation.

발명자의 이름을 딴 리커트 항목은 진술에 불과하며(예: 내 주치의에게 만족함), 강한 동의에서 강한 반대까지 다양한 옵션이 뒤따른다. 태도를 측정하는 다른 수단(아래 참조)이 존재하지만, 기술적으로 보자면, 리커트 문항은 독점적으로 이러한 형식만을 의미한다. 그럼에도 불구하고, 의학 교육 문헌에서 이 라벨은 종종 '라이커트 스타일'이라고 불리는 다양한 태도 항목 형식과 함께 매우 느슨하게 사용되어 왔다. 

Named after its inventor, a Likert item is nothing more than a statement (e.g., I am satisfied with my physician), followed by several options varying from Strongly Agree to Strongly Disagree.1 While other means of measuring attitudes exist (see below), technically, a Likert item refers exclusively to this format. Nonetheless, in the medical education literature, this label has been used very loosely, with a range of attitude item formats often referred to as ‘Likert style’. 

겉보기에는 간단해 보이지만, 리커트 항목과 리커트 척도의 사용(리커트 항목을 합치거나 조합한 결과)을 둘러싸고 많은 잘못된 정보와 논쟁이 존재한다. 첫째, 문자 그대로, 내가 "라이크-에르트"라고 말할 때, 나는 "라이크-에르트"가 아니라 "i"로 짧게 발음하는데, 이것은 전 세계의 많은 학식 있는 동료들이 저지른 실수이다. 이 발음의 이유는 간단합니다. 렌시스 리커트는 자기 이름을 '릭-에르트'라고 발음했다. 마치 'k' 앞에 'c'가 붙은 것과 같다. 우리도 그래야 한다.

Although seemingly straightforward, a good deal of misinformation and debate exists around the use of Likert items and Likert scales (which are the result of summing or combining Likert items). First, literally, when I say … Likert, I pronounce it Lick-ert, with a short ‘i’, not Like-ert (with a long ‘i’), a mistake made by so many of my learned colleagues around the world. The reason for this pronunciation is simple. Rensis Lickert pronounced his name ‘Lick-ert’, as if it had a ‘c’ before the ‘k’, and we should too. 

리커트 아이템은 찬성과 반대 의견의 다양한 이슈와 우려를 가지고 있습니다.2-4

• 질문 중 하나는 얼마나 많은 선택지가 있어야 하는가 하는 것이다. 일반적인 관행은 4개보다 적지 않고, 7개를 넘지 않으며, 필자의 경험상 의학교육연구자는 4, 5개의 선택지를 사용하는 경향이 큰 반면, 더 넓은 사회과학계, 특히 심리학자와 사회학자들 사이에서는 6, 7개를 사용한다.
• 선택한 숫자에 관계없이, 짝수 또는 홀수 수의 응답지 수를 선택할 경우 종종 동의 안 함으로 분류되는 중간점을 제공하는 것이 좋은 생각인지에 대한 의문이 제기된다. 설문 조사 실무자들 사이에 논쟁이 존재하며, 일부는 응답자들에게 자신의 태도가 진정으로 중립적이라는 것을 나타내는 방법을 제공하는 것이 더 낫다고 믿고, 다른 일부는 중간점이 단순한 중립성을 반영하지 않는 이유로 개인에 의해 종종 부적절하게 사용된다고 주장한다.5
• 또한 리커트 항목 데이터를 분석하고 제시하는 방법에 대해서도 의견이 일치하지 않는다.6 일부에서는 빈도 및 백분율의 사용(카이-제곱과 같은 통계 사용)을 지지하지만, 다른 많은 사람들은 기술적으로는 선택사항이 구간 수준 데이터를 나타내지 않더라도 합계 및 평균이 계산되고 보고될 수 있다고 믿는다. 

Likert items come with a range of issues and concerns, pro's and con's.2-4 

• One question is that of how many response alternatives there should be. The general practice is no less than four nor more than seven, and in my experience, medical education researchers greatly tend to use four or five options, whereas in the broader social science community, in particular among psychologists and sociologists, six or seven are used.
• Regardless of the number chosen, the choice of whether to go with an even or odd number of alternatives raises the question of whether providing a midpoint, often labelled neither-agree-nor-disagree, is a good idea. Debates exist among survey practitioners, some believing that it is better to offer respondents a way of indicating that their attitude is truly neutral; others arguing that the midpoint is often used inappropriately by individuals for reasons that do not reflect simple neutrality.5 
• Disagreement also exists as to how the Likert-item data should be analysed and presented.6 While some endorse the use of frequencies and percentages (using statistics such as chi-square), many others believe that sums and means can be calculated and reported (using statistics such as t-tests), even though technically, the choices do not represent interval-level data. 

또한 리커트 항목에서 파생된 가능한 편견에 대한 의문도 많다.

• 한 가지 가능한 편견은, '묵인'으로서 사람들이 진술에 부동의하기보다는 동의하는 경향을 의미한다.
• 또 다른 [사회적 만족도 편향]은 사람들이 자신의 '진정한' 반응보다는 다른 사람들이 듣고 싶어한다고 믿는 대답을 제공하는 경향이 있다는 것이다.
• '자대고 긋기straightlining'를 생성하는 응답 집합은 여러 항목이 모두 같은 방향으로 단어화될 때 지나치게 일관된 방식으로 답하는 경향이다. 비록 일부에서는 '아니오'를 문장에 삽입하여 항목의 의미를 되돌리려고 시도했지만, 이것이 형편없는 해결책이라는 증거가 존재한다.7
  • 선호하는 관행은 일부와 동의하지만 다른 사람들과의 의견 불일치가 유사한 태도를 나타내는 항목을 작성하는 것이다. 예를 들어, '진료 중 환자와 의사는 동등해야 한다' 항목에 동의하는 것과  '의사가 진료면담에 책임이 있다'는 의견에 부동의하는 것은 둘 다 환자-중심적 지향성의 표현일 수 있습니다.

Questions also abound about possible biases deriving from Likert items.

• One possible bias results from response acquiescence, the tendency of people to agree with statements rather than disagree.
• Another, the social desirability bias, is the tendency for people to provide answers they believe others want to hear rather than their ‘true’ responses.
• Response set, which generates ‘straightlining’, is a tendency to answer multiple items in an overly consistent manner when all are worded in the same direction. Although some have attempted to reverse an item's meaning by inserting ‘not’ into the statement, evidence exists that this is a poor solution.7
  • A preferred practice is to write items such that agreement with some, but disagreement with others, indicate a similar attitude (e.g., agreement with the item ‘Patients and their doctors should be seen as equals during a visit’ but disagreement with ‘The doctor should be in charge of the medical interview’ would both be expressions of a patient-centred orientation). 

최근 리커트 항목에 대한 회의적인 시각으로 인해 대안적 유형의 접근법, 특히 '항목-특이적item-specific'(IS) 형식의 사용에 대한 논란이 일고 있다. 이와 같은 항목은 질문 초점의 함수로 다양한 응답 대안과 함께 문제를 제기한다. 예를 들어, 의대생들을 대상으로 설문조사를 할 때, 찬성 또는 반대와 관련된 선택사항에 따라 '나는 환자에게 나쁜 소식을 효과적으로 전달할 수 있다'는 진술보다는, IS의 지지자들은 '당신은 얼마나 자주 나쁜 소식을 환자에게 효과적으로 전달합니까?'와 같은 진술과 그 다음 '항상 그러함'에서 '절대 안 함'까지 다양한 선택을 추천할 것이다. IS 항목에는 대응 옵션 사용의 통일성이 잠재적으로 결여되어 교차 연구 비교를 어렵게 하는 것과 같은 가능한 문제가 있다. 예를 들어 빈도를 측정할 때 '빈번히', '종종', '대부분의 시간' 사이의 동등성을 확인하기는 어렵다.

Recently, scepticism about Likert items has led to debate about the use of alternative types of approaches, in particular the use of ‘Item-Specific’ (IS) formats. Items such as these pose a question, with response alternatives that vary as a function of the question's focus. In surveying medical students, for example, rather than providing the statement, ‘I can deliver bad news to patients effectively’, followed by options involving agreement or disagreement, IS proponents would recommend something such as, ‘How often do you deliver bad news to patients effectively?’ followed by choices that might range from Always to Never. IS items have their own possible problems, such as potential lack of uniformity in the use of response options, which would make cross-study comparison challenging. In measuring frequency, for instance, the equivalence among ‘frequently’, ‘often’ and ‘much of the time’ is difficult to ascertain.

Artino 등과 같이 의학 교육의 일부 연구자들은, 설문 조사 연구 설계에서 이러한 형태의 항목을 사용하는 것은 '문제Pitfall'중 하나로 지적하며, 동의-부동의 항목의 지속적인 사용에 대해 강한 (반대적) 입장을 취해왔다. 8 이러한 저자들이 방법론적 전문지식과 지식을 갖춘 사회 과학자들에 의해 논문을 인용하는 만큼, 이에 대한 정보는 다른 질문 형식을 사용하여 비교 연구에 집중하는 [조사 방법론자]와 [미국 여론 조사 협회와 같은 조직]의 회의에 정기적으로 참석하는 전문가에 의해 생성된 증거에서 나온다. 
Some in medical education have taken a strong position on the continued use of agree–disagree items, such as Artino et al, who have listed the use of this form of item as a ‘pitfall’ in survey research design.8 As much as these authors are respected for their methodological expertise and cite papers by informed social scientists,9 the ultimate source of information about this comes from the evidence generated by those survey methodologists who focus on comparative research using different question formats, professionals who regularly attend meetings of organisations such as the American Association of Public Opinion Research.

현재 증거의 상태를 요약한 매우 최근 그리고 철저한 리뷰에서, Dykema 등은 우리에게 다음과 같이 말한다.

• (1) 증거 기반은 여전히 작고 잠정적이며, 연구 설계의 문제점과 혼란으로 인해서 결론을 쉽게 내리기 어렵다.
  
• (2) 여러 연구에 따르면, 어떤 리커트 형식이 사용되었는지를 비교했을 때, 차이 또는 비교상의 긍정적 효과는 없다.
  
• (3) 상당한 증거는 분명히 IS 질문의 방향으로 진행되고 있다.

In a very recent and thorough review summarising the state of the current evidence, Dykema et al tell us that

• (1) the evidence base in still small and tentative, and problems and confounds in research design limit easy conclusions;
• (2) several studies show no differences or comparative positive effects resulting from the comparative use of the Likert format; however,
• (3) the preponderance of evidence is definitely trending in the direction of IS questions.

 

수년 동안 데이터의 신뢰성과 타당성에 대한 큰 걱정 없이 동의-불합치 형식을 사용하여 설문조사를 설계해 온 필자는 데이터 중심적이어야 하며, 근거의 무게가 명확하고 일관될 때까지 오랜 접근 방식을 단순히 거부해서는 안 된다고 굳게 믿고 있다. 만약 당신이 '얼마나 자주 항목특이적IS 질문을 사용할 생각인가'라는 질문을 한다면, 제 개인적인 대답은 '자주Often'일 것입니다. 그러나 만약 '동의-불합치 항목이 공룡처럼 멸종되어야 한다'는 문장이 있다면, 내 대답은 '강력히 동의하지 않는다'일 것이다.

Having for many years designed surveys using the agree–disagree format without great concern for the reliability and validity of the data, I am a strong believer that we should be data driven, and not simply reject long-standing approaches until the weight of the evidence is clear and consistent. If you presented me with the question, ‘How often do you intend to employ Item-Specific questions’, my personal response would be ‘Often’. Yet, if presented with the statement: ‘Agree–disagree items should go the way of the dinosaurs’, my response would be ‘Strongly Disagree’. 

---

Med Educ. 2021 Sep 6.

 doi: 10.1111/medu.14660. Online ahead of print.

When I say … Likert item

Edward Krupat 1

Affiliations expand

• PMID: 34490643
• DOI: 10.1111/medu.14660No abstract available