인지모델을 사용한 양질의 다지선다형 문항 개발(Med Teach, 2016)

인지모델을 사용한 양질의 다지선다형 문항 개발(Med Teach, 2016)

Using cognitive models to develop quality multiple-choice questions

Debra Pugha, Andre De Champlainb, Mark Gierlc, Hollis Laid and Claire Touchiea,b

aDepartment of Medicine, The Ottawa Hospital, University of Ottawa, Ottawa, Ontario, Canada; bMedical Council of Canada, Ottawa, Ontario, Canada; cFaculty of Education

Background

MCQ를 개발하는 전통적인 접근법에서 문항 개발자는 주제를 선택한 다음 줄기, 리드 인 질문, 정답 및 옵션 또는 비틀 거리기 목록으로 구성된 항목을 개발합니다 (Case & Swanson 2002). 이 항목은 전문가 패널에 의해 검토되어 내용의 유효성을 확인하고 항목의 잠재적 인 결함을 식별합니다. 양질의 MCQ 아이템을 개발하는 것은 시간 소모적이며 관련 발달 비용은 아이템 당 $ 1500- $ 2500 USD로 높은 것으로 추산됩니다 (Rudner 2010).

In a traditional approach to developing MCQs, the item writer selects a topic, then develops an item consisting of a stem, lead-in question, a correct answer and list of options or distractors (Case & Swanson 2002). The item then under- goes review by a panel of experts to validate the content and identify any potential flaws in the item. Developing quality MCQ items is time consuming and the associated developmental cost has been estimated to be as high as $1500-$2500 USD per item (Rudner 2010).

CBE는 학습자가 자신의 속도로 진행하는 유연한 교육 모델을 제공하기 때문에 역량을 평가하기 위해 더 자주 테스트해야합니다. 예를 들어, Mills & Steffen 2000, Schuwirth & van der Vleuten 2012와 같이 진행progress 또는 주문형on-demand 테스트의 형태를 취할 수 있습니다. 이러한 조치는 상대적으로 짧은 기간에 수천 개의 새롭고 고품질의 품목 개발을 필요로 할 것입니다.

Because CBE offers flexible educational models in which learners progress at their own pace, more frequent testing is required to assess competency along the continuum. This might take the form of progress or on- demand testing, for example (Mills & Steffen 2000; Schuwirth & van der Vleuten 2012). These measures will necessitate the development of thousands of new, high- quality items in a relatively short period of time.

이 과제에 대한 혁신적인 솔루션은 자동 아이템 생성 (AIG)입니다. AIG는 컴퓨터 기술을 사용하여인지 모델에서 테스트 항목을 생성합니다 (Gierl 외. 2012). 요약하자면, 인지 모델은 문제를 해결하는 데 필요한 지식과 기술을 표현한 것입니다. 인지 모델을 만들 때 콘텐츠 전문가는 임상 추론 프로세스를 해체하고 알고리즘을 사용하여 MCQ를 생성하는 컴퓨터 프로그램에이 정보를 입력 할 수 있습니다. 이 프로세스를 사용하여 AIG는 사전에 정의 된 변수 (예 : 기록, 실제 검사 또는 조사 기능)와 만 다른 공통 줄기를 사용하여 MCQ를 개발한다(Gierl & Lai 2013).

An innovative solution to this challenge has been auto- matic item generation (AIG). AIG employs computer tech- nology to generate test items from cognitive models (Gierl et al. 2012). In brief, cognitive models are representations of the knowledge and skills that are required to solve a prob- lem. In the creation of cognitive models, content experts deconstruct the clinical reasoning process and, in turn, this information can be entered into a computer program that uses algorithms to generate MCQs. Using this process, MCQs are developed using a common stem that differs only by pre-defined variables (e.g., features on history, phys- ical examination or investigation) (Gierl & Lai 2013).

AIG가 내놓는 주된 이점은 아이템을 생성의 효율성입니다. 일반적으로 한 가지인지 모델을 사용하여 특정 주제에 대해 수백 가지 항목을 개발할 수 있습니다 (Gierl 외. 2012).

The main advantage that is yielded by AIG is the effi- ciency with which items can be generated. Typically, several hundred items can be developed for a particular topic using one cognitive model (Gierl et al. 2012).

이 모델은 '그럴듯한' 오답가지를 체계적으로 생성하기 위한 프레임워크를 제공한다 (Lai et al., 2016 ). 결과적으로, AIG는 많은 양의 제품을 생산할뿐만 아니라, remadial을 목적으로 하는 진단적 피드백의 tailoring에도 좋다.

The model also offers a framework for the systematic creation of plaus- ible distractors, in that the content expert not only needs to provide the clinical reasoning underlying a correct response but also the cognitive errors associated with each of the distractors (Lai et al. 2016). Consequently, AIG holds great promise not only in generating high volumes of items, but also in regards to tailoring diagnostic feedback for remedial purposes.

AIG의 기술은 선형 프로그래밍 방식에 의존하지만 동일한 원칙을 사용하여 MCQ 개발에 사용되는 기존위원회 기반 프로세스를 개선 할 수도 있습니다. 이 접근법은 여러 가지 이유로 매력적입니다. 

• 첫째,이 방법을 사용하면 항목 작성자는 하나의 모델 만 사용하여 동일한 구문을 평가하는 여러 항목 (5-10)을 매우 효율적으로 개발할 수 있습니다. 단일 인식 모델에서 개발 된 항목은 순수 시험의 잠재적 영향을 약화시켜 다른 시험 형식에 사용할 수 있습니다. 

• 둘째, 인지 모델 접근법은 문제 해결에 필요한 핵심 요소를 식별하고 명확하게하는 전문가의 능력을 이용합니다. 다른 말로,인지 모델을 개발할 때, 전문가는 다양한 결론이 도출될 수 있는 정보원을 다양하게 명시함으로써 특정 문제에 대한 접근 방식을 명시 적으로 설명합니다. 지식 모델에 명시된 바와 같이 지식 영역을 명시 적으로 표현하면 단순한 지식보다, 지식의 적용 능력을 평가할 수 있으므로 잠재적으로 더 양질의 문항이 될 수 있습니다. 

• 셋째, 인지 모형 접근법의 사용은 그럴듯한 오답가지 개발을 위한 틀을 제공하는데, 숙련 된 항목 작성자조차도 종종 어려움을 겪고있다 (Rogausch et al., 2010). 산만 함과 올바른 옵션 사이의 공통적이고 구분되는 특징을 모델링함으로써 항목 작성자는 각 항목에서 산만 함을 표시하는 방법을 명시 적으로 식별하고 구별해야합니다. 

• 마지막으로, 인지 모델에서 개발 된 항목에 대한 검토 프로세스 중에 모델의 수정 (개별 질문보다는) 단계가 가능하므로 프로세스의 효율성이 높아집니다.

Although technology for AIG relies on a linear program- ming approach, the same principles can also be used to improve the traditional committee-based process used in the development of MCQs. This approach is appealing for many reasons. 

• First, this method allows item writers to very efficiently develop several items (  5–10) that assess the same construct, using only one model. The items developed from a single cognitive model can then be used on differ- ent test forms, attenuating the potential impact of pure recall.

• Second, the cognitive model approach capitalizes on experts’ ability to identify and articulate the critical elements required in problem-solving. In other words, when develop- ing cognitive models, experts explicitly outline their approach to a particular problem by specifying sources of information that can be varied to lead to different conclu- sions. The explicit representation of the knowledge domain, as captured in the cognitive model, can potentially lead to higher quality items by ensuring that items assess applica- tion of knowledge rather than just recall. 

• Third, the use of the cognitive model approach provides a framework for the development of plausible distractors, a task with which even experienced item writers often struggle (Rogausch et al. 2010). Through modeling the common and distin- guishing features between the distractors and the correct option, item writers are required to explicitly identify and differentiate how distractors should be presented in each item. 

• Finally, during the review process for items developed from cognitive models, revisions can be made at the model (rather than the individual question) level, which adds to the efficiency of the process.

Approach to developing MCQs using cognitive model

A형 문항에 대해서만.

인지모델 개발

Developing a cognitive model

인지 모형의 개발은 내용 전문가가 주어진 문제에 일반적으로 접근하는 방법을 요약해야한다. 이를 위해서는 어떤 정보원을 통해 문제를 해결할 수 있는지 분명하게 밝혀야합니다. 예를 들어, 충격을받은 환자에게 임상의는 잠재적 인 원인 (예 : 심장사, 알레르기, 발열 등)을 구별하는 데 도움이되는 과거 및 신체 검사 기능을 고려하여 시작할 수 있습니다.

The development of a cognitive model requires that a con- tent expert summarize how they typically approach a given problem. This necessitates that they articulate what sources of information would allow them to solve the problem. For example, given a patient with shock, a clinician might begin by considering the historical and physical examination features that help to differentiate between potential causes (e.g. cardiac history, allergies, fever, etc.).

인지 모델을 개발하는 과정은 전반적인 테스트 blueprint에서 주제를 선택하는 것으로 시작됩니다. 모든 평가와 마찬가지로 주제에는 중요한 내용이 반영되어야합니다.

The process of developing a cognitive model begins by selecting a topic from the overall test blueprint. As with any assessment, the topic should reflect important content.

가슴 통증의 예를 생각해 봅시다. 이 주제에서는 응시자가 진단을 내리고 환자를 관리 할 수있는 능력을 평가하는 질문을 개발하기로 결정할 수 있습니다. 이러한 진단과 관리는 이 인지모델과 관련된 task입니다. 다른 task도 개발할 수 있지만 이 두 task은 대부분의 모델에서 잘 작동합니다.

Let’s consider the example of the topic of chest pain. For this topic, one could decide to develop questions that assess the candidate’s ability to either make a diagnosis or to manage the patient. These are the tasks associated with the model. Other tasks could be developed, but these two tasks work well for most models.

각 task마다 관련 답변 목록이 작성됩니다. 이것들은 그림 1 에서처럼 X 축을 따라 그리드에 입력 할 수 있습니다.

For each task, one then develops a list of associated answers. These can be entered into a grid along the x-axis as illustrated in Figure 1.

문제를 해결하는 데 필요한 정보의 출처가 식별되어 그리드의 Y 축에 추가됩니다.

The sources of information needed to solve the problem are then identified and added to the y-axis of the grid.

연령이나 성별과 같은 다른 정보 소스가 추가 될 수 있지만, 실제로 문제에 접근하는 방법에 차이를 가져 오는 정보 만 인지 모델에 포함되어야합니다. 모든 가능한 표현을 변수로 처리 할 필요가 없다는 점에 유의해야 합니다.

Although other sources of information could be added such as age or gender, only those that will actually make a difference to how one approaches the problem should be included in the cognitive model. It is also important to note that the variables do not need to address every possible presentation.

이렇게 많은 세부 사항을 제공하는 것은 불필요하며, 너무 쉬운 문제가 생성 될 수 있습니다. 따라서 변수가 정답과 오답을 구분하는 데 도움이되는 충분한 정보를 제공하면서도, 적절한 난이도의 항목을 만들 수 있도록하는 것이 중요합니다.

providing this much detail is not necessary and may lead to the development of questions that are too easy. It is therefore important to ensure that the variables provide enough information to help a candi- date differentiate between the correct answer and the list of distractors, while allowing for the creation of items that are at an appropriate level of difficulty.

한 가지 작업 (예 : 진단)을 위해 모델을 개발하면 그림 1에서와 같이 동일한 정보 소스를 사용하여 다른 작업 (예 : 관리)을 쉽게 추가 할 수 있습니다. 하나의 인지모델에서 다양한 문항이 개발 될 수 있습니다.

Once the model has been developed for one task (e.g. diagnosis), another task can easily be added (e.g. manage- ment) using the same sources of information, as demon- strated in Figure 1. This effectively doubles the number of questions that can be developed from a single cognitive model.

이 단계에서 더 진행하기 전에 다른 콘텐츠 전문가로부터인지 모델에 대한 의견을 얻는 것이 중요합니다. 인지 모델에서 문제가 확인되면 MCQ가 생성되기 전에 수정 될 수 있습니다.

At this stage, it is important to solicit input from other content experts about the cognitive model before progress- ing any further. If any issues are identified in the cognitive model, they can be corrected before any MCQs are pro- duced.

문항줄기 쓰기

Writing the stem

MCQ의 구조는 줄기로 시작됩니다. 줄기는 일반적으로 질문에 대답하는 데 필요한 모든 정보가 포함 된 비네트로 작성됩니다. 불필요한 정보 나 트릭이 포함되어서는 안되며 어휘는 비교적 단순하게 유지되어야합니다 (Haladyna 2013).

The construction of an MCQ begins with a stem. The stem is generally written as a vignette that includes all the infor- mation needed to answer the question. It should not include extraneous information or tricks and the vocabulary should be kept relatively simple (Haladyna 2013).

인지 모델 접근법을 사용할 때, 줄기는 텍스트 상자 1에서와 같이 인지 모델에서 생성 된 모든 정보원을 통합해야합니다. 정보 소스는 텍스트에 설명 된대로 주어진 대답에 대한 적절한 변수로 대체 될 수 있습니다 상자 2. 동일한 줄기를 사용하여 단일 모델에서 여러 항목을 만들 수 있습니다.

When using the cognitive model approach, the stem should incorporate all the sour- ces of information generated in the cognitive models as shown in Text Box 1. The sources of information can then be replaced with the appropriate variables for a given answer as outlined in Text Box 2. This allows for multiple items to be created from a single model, using the same stem.

리드-인 질문 작성

Writing the lead-in question/s

리드 - 인 질문의 단어는 가장 가능성이 높은 진단이나 최선의 다음 단계를 선택하는 것과 같은 작업이 명확하게 이루어 지도록 세심히 선택해야 한다. 

The lead-in question should be carefully worded to ensure that the task is clear, such as selecting the most likely diagnosis or the best next step.

문항줄기와 리드-인이 잘 정립 된 경우, 옵션 목록을 언급하지 않고도 문제가 해결 될 수 있습니다. 또한 문항줄기를 읽지 않은 상태에서 답가지만 보고 답을 고를 수있어서는 안됩니다.(Case & Swanson 2002). "가슴 통증에 대한 진실한 진술은 무엇입니까?"와 같은 리드-인 질문은이 두 가지 원칙을 모두 위반합니다.

If the stem and lead-inquestion are well-constructed, then the question should be answerable without referring to the list of options. In add-ition, the lead-in question should be inextricably linked to the stem so that one could not answer the question with-out reading the stem (Case & Swanson 2002). Lead-in ques-tions, such as ‘‘What is a true statement about chest pain?’’violate both these principles. 

두 가지 질문을 개발하면 생성 된 항목 수가 두 배가됩니다. 예를 들어 그림 1의 모델을 사용하면 4 개의 MCQ를 진단용으로 개발하고 4 개를 관리 용으로 개발할 수 있습니다

By developing two questions, the number of items cre- ated is doubled. For example, using the model shown in Figure 1, four MCQs can be developed for diagnosis and four for management.

답가지 생성

Generating distractors

답가지는 동질적이어야한다 (예 : 모든 진단, 모든 조사 등). "위의 모든 것", "위의 모든 것"과 같은 비웃음 자들은 그들이 어떤 큐를 제공 할 때 피해야한다 (Haladyna 외. 2002). 텍스트 상자 4는 흉통 모델에 대한 가능한 디스 트랙터의 예를 제공합니다.

Distractors should be homogenous (e.g. all diagnoses, all investigations etc.) and distractors such as ‘‘All of the above’’ ‘‘None of the above’’ should be avoided as they provide some cueing (Haladyna et al. 2002). Text Box 4 provides examples of possible dis- tractors for the chest pain model.

그럼에도 불구하고 인지 모델 접근법을 사용할 때 가능한 한 많은 답가지를 생성하는 것이 좋습니다. 이것은 두 가지 이점을 제공합니다. 

• 첫째, 서로 다른 답가지 조합을 사용하여 복제문항cloned item을 만들 수 있습니다. 이는 난이도를 다양하게 만들어줄 뿐만 아니라 학생간에 문항을 공유하는 영향을 줄이므로 바람직합니다. 

• 둘째로, 생성 된 모든 답가지가 가능한 모든 정답으로 제시 될 수는 없습니다. functional distractors은 정답이 가진 일부 특성을 공유해야하기 때문입니다. 예를 들어, 췌장염은 정답 대동맥 박리에 대한 수용할만한 오답가지 일 수 있습니다. 진단은 모두 등에 방사되는 통증을 일으키지 만 사용 된 정보원의 변수를 사용하여 쉽게 구별 될 수 있습니다 (예 : 생체 징후, 신체 검사 등). 대조적으로 위식도 역류 질환은 Costochondritis를 정확히 고르기 위한 functional distractor가 아닐 것이다.이 모델에 사용 된 변수는 두 가지를 구별하는 데 충분한 정보를 제공하지 못하기 때문이다 (다른 특징을 추가하더라도 쉽게 구분할 수 있음)

Regardless, it is advisable to generate as many distractors as possible when using the cognitive model approach. This provides two advantages. 

• First, by using differ- ent combinations of distractors, cloned items can be created. This is desirable because it results in items of variable diffi- culty, and it also attenuates the impact of sharing recalled items amongst students. 

• Second, not all generated distractors can be presented with all of the possible correct answers. This is due to the fact that functional distractors must share some, but not all, of the varied features with the correct options. For example, Pancreatitis would be an acceptable distractor for the correct answer Aortic dissection, as the diag- noses both cause pain that radiates to the back but they can be distinguished easily from each other using the variables from the sources of information used (e.g. vital signs, physical findings, etc.). In contrast, Gastroesophageal reflux disease would not be a functional distractor for the correct answer Costochondritis as the variables used in this model would not provide enough information to distinguish the two (although adding different features, would make them easily distin- guishable).

답가지를 인지 모델에서 직접 끌어낼 수도 있다. 예를 들어, 폐색전증, Costochondritis, 대동맥 박리는 모두 정답이 심근 경색 일 때 사용할 수있는 잠재적 답가지입니다.

It is important to note that distractors can also be pulled directly from the cognitive models. For example, Pulmonary embolism, Costochondritis, and Aortic dissection are all poten- tial distractors that could be used when the correct answer is Myocardial infarction.

검토와 수정

Review and revisions

이 단계는 인지 모델의 검토가 완료된 경우 효율적으로 진행될 수 있다. 기술적 결함은 큐cueing 또는 construct irrelevant variance로 이어질 수 있기 때문에 수정되어야 한다 (Downing & Haladyna 2009).

This step should be an efficient process if the review of the cognitive model has been done. Technical flaws are import- ant to identify and correct because they can lead to cueing or irrelevant difficulty (i.e. construct irrelevant variance) (Downing & Haladyna 2009).

모든 품목과 마찬가지로,인지 모델에서 생성 된 MCQ는 psychometric 표준을 충족하는지 확인해야합니다.

Like any items, MCQs generated from cognitive models should be pilot-tested to ensure that they meet psychomet- ric standards.

고찰

Discussion and conclusion

MCQ 개발에 대한 이러한 재 개념화 된 접근법은 매우 직관적이므로 초보자 그룹이 이 방법을 적용하여 약 2 시간 내에 완전한 모델을 작성하여 5-10 개의 항목을 만들 수 있음을 발견했습니다. AIG에서인지 모델을 사용하는 것은 선형 프로그래밍 (Gierl et al. 2012)의 도움으로 극도로 많은 수의 테스트 항목을 생성하는 데 성공했지만 대부분의 경우 그렇게까지 많은 문항을 만들 필요가 없다. 여기서 설명한 인지 모델을 사용하는 low-tech 접근법은 특정 주제와 관련된 관리 가능한 수의 항목을 효율적으로 생성 할 수 있습니다.

Because this re-conceptualized approach to developing MCQs is so intuitive, we have found that a group of novices can be taught to apply this method to create a complete model within about 2hours, resulting in 5–10 items. Although the use of cognitive models in AIG has been suc- cessful in generating extremely large numbers of test items with the aid of linear programming (Gierl et al. 2012), for most cases it is not necessary to generate that many items. The low-tech approach to using cognitive models described in this paper can efficiently generate a manage- able number of items related to a particular topic.

MCQ 개발의 효율성 향상 외에도 인지 모델 접근법은 항목 작성자가 문제 해결 방법을 설명하기 위해 메타인지 기술을 사용해야하기 때문에 바람직합니다. 사고 프로세스가 명확하게 기술되고 문서화되기 때문에 전문가 패널이 검토하고 평가하여 접근법이 타당하다는 것을 확신 할 수 있습니다. 모델에 결함이 있으면 문항이 생성되기 전에 수정 될 수 있습니다.

In addition to improved efficiency in the development of MCQs, the cognitive model approach is desirable because it requires that item writers use metacognitive skills to describe how they solve problems. Because the thought process is clearly delineated and documented, it can be reviewed and critiqued by a panel of experts to ensure that the approach is sound. Any flaws in the model can then be corrected before any items are generated.

인지 모델 접근법을 사용하여 문항 작성자는 잘못된 옵션이 올바른 옵션으로 일부 (그러나 전부는 아님) 기능을 공유하도록 각 답가지의 기능을 정의 된 변수와 비교합니다. 이것은 답가지가 그럴듯하면서도 여전히 오답임을 보장합니다. 이 방법은 전통적인 접근 방식과는 다르다. 체계적 접근 방식을 사용하여 답가지를 올바른 옵션과 비교한다. 제시되는 답가지의 조합을 다양하게함으로써, 항목 난이도를 작은 노력으로도 조절할 수 있습니다.

Using the cognitive model approach, item writers compare the features of each distractor with the defined variables to ensure that the incorrect options share some (but not all) fea- tures with the correct option. This helps to ensure that the distractors will be plausible, yet still incorrect. This method differs from a traditional approach, in that a systematic approach is used to compare the distractors to the correct option. By varying the combination of distractors presented, item difficulty can potentially be manipulated with little effort.

Gierl MJ, Lai H. 2013. Evaluating the quality of medical multiple-choice items created with automated processes. Med Educ. 47:726–733.

Gierl MJ, Lai H, Turner SR 2012. Using automatic item generation to cre- ate multiple-choice test items. Med Educ. 46:757–765.

Touchie C. 2010. Guidelines for the Development of Multiple- Choice Questions; [cited 2015 Nov 10]. Available from: http://mcc.ca/wp-content/uploads/multiple-choice-question-guide- lines.pdf

---

Med Teach. 2016 Aug;38(8):838-43. doi: 10.3109/0142159X.2016.1150989. Epub 2016 Mar 21.

Using cognitive models to develop quality multiple-choice questions.

Pugh D1, De Champlain A2, Gierl M3, Lai H4, Touchie C1,2.

Author information

1

a Department of Medicine , The Ottawa Hospital, University of Ottawa , Ottawa , Ontario , Canada ;

2

b Medical Council of Canada , Ottawa , Ontario , Canada ;

3

c Faculty of Education , University of Alberta , Edmonton , Alberta , Canada ;

4

d Faculty of Medicine and Dentistry , University of Alberta , Edmonton , Alberta , Canada.

Abstract

With the recent interest in competency-based education, educators are being challenged to develop more assessment opportunities. As such, there is increased demand for exam content development, which can be a very labor-intense process. An innovative solution to this challenge has been the use of automatic item generation (AIG) to develop multiple-choice questions (MCQs). In AIG, computer technology is used to generate test items from cognitive models (i.e. representations of the knowledge and skills that are required to solve a problem). The main advantage yielded by AIG is the efficiency in generating items. Although technology for AIG relies on a linear programming approach, the same principles can also be used to improve traditional committee-based processes used in the development of MCQs. Using this approach, content experts deconstruct their clinical reasoning process to develop a cognitive model which, in turn, is used to create MCQs. This approach is appealing because it: (1) is efficient; (2) has been shown to produce items with psychometric properties comparable to those generated using a traditional approach; and (3) can be used to assess higher order skills (i.e. application of knowledge). The purpose of this article is to provide a novel framework for the development of high-quality MCQs using cognitive models.

PMID:

 

26998566

 

DOI:

 

10.3109/0142159X.2016.1150989