다지선다형(객관식, Multiple Choice Question, MCQ) 문제에서 "학생의 답에 대한 자신감"으로부터 무엇을 얻을 수 있을까?

(출처 : http://promobiledj.com/2012/12/why-having-confidence-is-critical/)

다지선다형 문항은 학생이 무엇을 아는지를 측정하는데 도움을 주며, 이는 곧 '무엇을 아는지'를 제함으로서 '무엇을 모르는지'를 확인할 수 있다. 기본적인 생의학적 지식 측정 뿐만 아니라, 조금의 노력을 더 들이면 적용(application)이나 종합(synthesis)같은 더 높은 수준의 지적 능력도 측정할 수 있다. 이런 장점 때문에 다지선다형 문항은 의학교육의 여러 방면에서 높은 신뢰도로 사용되고 있다.

Multiple-choice questions (MCQs) are helpful in providing a measure of what a student knows and, by subtraction, inferring what he or she does not know.1,2 They are routinely used to assess knowledge of basic biomedical facts and, with additional effort, adapted to assess higher levels of learning, such as application and synthesis.3,4 This has made MCQ assessments a versatile and reliable assessment strategy in medical education.4–7

(1)학생에게 더 의미있는 피드백을 주고, (2)교육자들과 시험출제기관이 더 합리적인 추론을 할 수 있게 하며, 이를 통해서 (3)시험을 통한 학습이 더 잘 이뤄지기 위한 목적 등 때문에 다지선다형 문항을 개선하기 위한 노력은 다방면으로 이루어져 왔다. 학생들에게 스스로의 답에 대한 자신감의 정도(level of confidence)를 물어보는 것이 그 한 가지 방법이다. 또한 유사하게 학생들에게 자기가 선택한 답가지의 임상적 영향력을 평가하게 하는 것도 학생들이 스스로의 실수에 대해 다시 한 번 돌아보게 함으로써 학습의 기회를 한번 더 제공하는 방안으로 제시되고 있다.

There are continuing efforts to improve MCQs to provide more meaningful feedback to students, educators and testing agencies so that more valid inferences of competence can be determined and more learning can occur from the assessment process. 8–10 Asking students to consider their level of confidence in their answers has been recommended as a way to improve self-monitoring.11,12 Similarly, asking students to reflect on the clinical impact of their decisions has been proposed as a way to make students more aware of the influence of their errors,11–14 thereby improving the opportunity for learning.9

자신감의 정도와 오답/정답 여부를 둘다 확인하는 것의 주요한 장점은 '잘 못 알고 있는 학생(misinformed, 이하 MI)'과 '안 배운 학생(uninformed, 이하 UI)'을 구분할 수 있게 해준다는 것이다.

The primary advantage of recording both confidence levels and correctness on MCQ assessments is that it affords an ability to distinguish between students who are uninformed and those who are misinformed. 12,15

[많이 틀리고], [답에 대한 자신감도 떨어지는] 문항을 보면 '어떤 것을 가르쳐야 하는지'를 알 수 있다. 이러한 내용에 대해서 피드백을 해줄 때 학생들은 반응이 좋고, 더 학습하고자 한다. 

[답은 맞췄는데], [자신감은 없는] 문항을 알게 되면, 더 빠른 피드백을 통해 메타인지적 모니터링을 향상시키도록 해줄 수 있다.

[틀린 답을 고르고서] [자신감은 높은] 문항도 있는데, 이런 경우 틀린 답에 대한 강력한 믿음은 대개 잘 바뀌지 않고, 학습에 오히려 방해가 될 수 있고, 결국 임상 상황에서 잘못된 의사결정을 내리게 된다.

This combination of being incorrect and unsure is considered to provide a very appropriate ‘teaching moment’, in which the student is especially responsive to faculty feedback and to learning.16 Similarly, a context in which a student has low confidence in a correct answer also represents an opportunity in which early feedback increases retention and improves metacognitive monitoring.16,17 By contrast, students are misinformed when they select an incorrect answer, but state that they are sure or very sure of their response, which is qualitatively different from being uninformed. Strongly held incorrect beliefs are often resistant to change,13,15–19 can interfere with student learning,18,20 and may lead to inappropriate clinical decisions.21

학생들에게 고른 답에 대한 자신감의 정도를 물어보는 것은 교육적인 측면에 있어서 (1)스스로의 한계를 알 수 있게 해주고 (2)단순 찍기에 의한 답 선택은 하지 말아야 한다는 것을 알려주고 (3)학생이 스스로 자신을 돌아볼 수 있게 해준다. 또한 (4)그 문항에 대해서 다시 한번 돌아보게 함으로서 의도하지 않은 실수를 방지해준다.

시험에 이러한 방법을 도입하면, 평가를 수행하는 과정에서의 학습을 촉진할 수 있고, 이를 test-enhanced learning(시험 강화 학습)이라고 할 수 있다. 

The educational benefits to be derived from asking students to consider the level of confidence they have in their answers includes helping them identify limits of their knowledge,15 reinforcement of the notion that guessing should be discouraged,15 and the provision of an environment for active student self-monitoring.9 Asking students to indicate their level of confidence in their answer to an MCQ can also cause them to spend more time on reviewing that item, especially if the error was unanticipated.9 In this way, an examination can result in learning during an assessment, which is an example of test-enhanced learning.8–10,22,23 

Agrawal 등은 시험은 학생이 얼마나 정확하게 알았느냐를 알려주기도 하지만, 자기 평가(self-monitoring)에 있어서의 실수가 무엇인지도 알 수 있게 해준다. 자기평가에 대한 피드백은 대단히 중요한데, 왜냐하면 이 피드백을 통해서 메타인지 과정에 도움이 되기 때문이다. 메타인지는 성취수준이 낮은 학생들이 특히 힘들어하는 과정이다. 

자신감의 정도는 피훈련자가 얼마나 피드백을 잘 받아들이는지에도 연관이 있고, 일반적으로 복잡한 과정을 다루는 문제(complex process type problem)에 있어서 더 낮게 나오며, 성별에 따라서도 차이가 있다. 임상 판단에 있어 얼마나 정확하게 판단을 내렸는가에 대한 자신감은 전문가가 된 임상가의 특징이기도 하고, 따라서 피훈련자의 자신감을 모니터링해서 적절하게 발달시키는데 중요하다.

Agrawal et al.9 make the argument that testing identifies mistakes in accuracy, but also mistakes in self-monitoring, which is a valuable skill to develop and for which feedback is important. Feedback on self-monitoring may be helpful in metacognitive processing,24 an issue especially problematic in underachieving students.25 Confidence also influences how receptive a trainee is to feedback,26 is generally lower on more complex process-type problems,18 and may be influenced by gender.27 The calibration of confidence to correctness in clinical decisions is a defining characteristic of an expert clinician and thus it is important to monitor and develop appropriate confidence in a trainee.28

전통적으로 평가는 학생이 가진 '옳은 지식'의 양적 평가를 하기 위해서 사용되었지, 학생의 '잘못된 지식'을 평가하는 용도로 사용되지는 않았다. 아직 학생이 오답에 대해서 어느 정도나 확신을 가지는지, 그래서 언제 MI 나 UI 하게 되는지 알지 못한다. 

Traditionally, assessments have been used to provide a quantitative measure of student knowledge, rather than a measure of student misunderstanding. We generally have no idea how sure students have been of their incorrect answers and therefore do not know when students are uninformed as opposed to misinformed.

이 연구의 목적은 UI와 MI로 나눠서 오답의 비율을 알아보고, 학생들의 자신감 정도가 오답 답가지로 인한 잠재적 임상적 영향력에 따라서 차이가 있는지, 문제의 복잡성에 따라서 차이가 있는지, 성별에 따라 차이가 있는지를 보고자 한다.

Our purpose was to determine the percentage of incorrect answers in which the respondent had little confidence (uninformed) relative to that of incorrect answers in which the respondent was very confident (misinformed), and to establish whether student confidence was significantly impacted by the potential clinical consequences of answers, question complexity or gender

총 2080개의 응답(104명 X 20문항)의 정답/오답, 자신감 정도로 나눈 비율

오답을 

임상적으로 크게 문제가 되지 않는(benign) 답가지, 

임상적으로 부적절한(inappropriate) 답가지, 

임상적으로 환자에게 해가 되는(harmful) 답가지로 

나누어 보았다.

(1) 답가지의 종류에 관계없이 학생들은 정답에 대해서 더 높은 수준의 자신감을 나타냈으나 (각각 15.9배, 3.6배, 5.0배) 

(2) 임상적으로 문제가 되지 않는(benign)한 답가지에 대한 자신감이 더 낮고, 임상적으로 부적절하거나(inappropriate), 해가 되는(harmful) 답가지에 대한 자신감이 더 높은 양상을 보인 것은 주목할 만 하다.

---

Med Educ. 2013 Jun;47(6):578-84. doi: 10.1111/medu.12147.

Does student confidence on multiple-choice question assessments provide useful information?

Curtis DA, Lind SL, Boscardin CK, Dellinges M.

Source

Department of Preventive and Restorative Dental Sciences, School of Dentistry, University of California San Francisco, San Francisco, California, USA.

Abstract

CONTEXT:

Feedback from multiple-choice question (MCQ) assessments is typically limited to a percentage correct score, from which estimates of student competence are inferred. The students' confidence in their answers and the potential impact of incorrect answers on clinical care are seldom recorded. Our purpose was to evaluate student confidence in incorrect responses and to establish how confidence was influenced by the potential clinical impact of answers, question type and gender.

METHODS:

This was an exploratory, cross-sectional study conducted using a convenience sample of 104 Year 3 dental students completing 20 MCQs on implant dentistry. Students were asked to select the most correct response and to indicate their confidence in it for each question. Identifying both correctness and confidence allowed the designation of uninformed (incorrect and not confident) or misinformed (incorrect but confident) responses. In addition to recording correct/incorrect responses and student confidence, faculty staff designated incorrect responses as benign, inappropriate or potentially harmful if applied to clinical care. Question type was identified as factual or complex. Logistic regression was used to evaluate relationships between student confidence, and question type and gender.

RESULTS:

Students were misinformed more often than uninformed (22% versus 8%), and misinformed responses were more common with complex than factual questions (p < 0.05). Students were significantly more likely to be confident of correct than incorrect benign, incorrect inappropriate or incorrect harmful answers (p < 0.001), but, contrary to expectations, confidence did not decrease as answers became more harmful.

CONCLUSIONS:

Recording student confidence was helpful in identifying uninformed versus misinformed responses, which may allow for targeted remediation strategies. Making errors of calibration (confidence and accuracy) more visible may be relevant in feedback for professional development.