의학교육에서 오픈북평가: 지금이 적기다 (Med Teach, 2020)

의학교육에서 오픈북평가: 지금이 적기다 (Med Teach, 2020)

Assessing open-book examination in medical education: The time is now

Ivry Zagury-Orlya and Steven J. Durningb

코로나바이러스 대유행은 전세계적으로 의료 교육자들이 그들의 교육과 평가를 온라인 환경에 적응하도록 강요했다. 온라인에서 학습자를 평가하면 이론적으로 시험 보안, 특히 고부담 시험(Durning et al. 2016; Fuller et al. 2020)에 대한 우려가 제기된다. 폐쇄형 시험(CBE)과 개방형 시험(OBE)의 관리는 감독되지 않은 것에서부터 오디오 및 비디오 모니터링과 지문 감식이 있는 시험 프로그램까지 다양하다(Fuller et al. 2020). 현재, OBE 대 CBE의 사용은 논쟁거리로 남아 있다 – 그 이유와 함께, OBE와 CBE 중 어느 한쪽의 사용을 지지하는 결정적인 증거가 부족하다. (Durning et al. 2016)

The coronavirus pandemic has forced medical educators, globally, to adapt their teaching and assessment to the online environment. Assessing learners online, theoretically poses a concern for test security, particularly for high-stakes testing (Durning et al. 2016; Fuller et al. 2020). Administration of closed-book examinations (CBEs) and open-book examinations (OBEs) vary from being unsupervised to test-taking programs with audio and video monitoring and fingerprint identification (Fuller et al. 2020). As of now, the use of OBE versus CBE remains a debate – with reason: definitive evidence supporting the use of one over the other is lacking (Durning et al. 2016).

CBE 또는 OBE를 사용하기로 한 결정에는 몇 가지 이론적 가정이 있다. 한 쪽에서, CBE 옹호자들은 일반적으로 

• 첫째, CBE가 [학습자가 알고 있는 정보]의 지표로서 정보를 이해하고 인출하는 학습자의 능력을 평가하는데 필수적이라고 주장한다. (Durning et al. 2016) 

• 둘째로, CBE를 복용하는 것은, 외관상 더 수동적인 OBE와 비교했을 때, 시험 효과의 결과로 학습자의 장기 보유에 도움이 될 수 있는 기억력에서 더 많은 노력을 필요로 할 수 있다. 그럼에도 불구하고, 최근 CBE와 OBE를 비교한 체계적 검토에서 시험 성과와 시험 효과에 대해 유의미한 차이는 발견되지 않았다(Durning et al. 2016). 

• 셋째, 학습자는 OBE가 CBE보다 쉽다고 가정할 수 있으며, 결과적으로 OBE에 대해 덜 공부할 수 있다(Durning et al. 2016). 실제로, 체계적 검토 결과 학습자들은 OBE를 준비하는 데 더 적은 시간을 투자했지만, 포함된 37개 연구 중 70%는 OBE에 대한 사전 경험이 거의 또는 전혀 없었으며, 이는 학생들이 준비하는데 필요한 시간을 과소평가하게 만들 수도 있다(Durning et al. 2016).

There exist several theoretical assumptions underlying the decision to use CBEs or OBEs. On the one hand, advocates for CBE generally contend that, 

• first, CBEs are essential for evaluating learners’ ability to understand and recall information as an indication of what learners know (Durning et al. 2016). 

• Second, taking a CBE may require more effortful retrieval from memory, which, as a result of the testing effect, could benefit learners’ long-term retention, as compared to seemingly more passive OBEs (Durning et al. 2016). Nevertheless, in a recent systematic review comparing CBE and OBE, no significant differences were noted for exam performance and testing effects (Durning et al. 2016). 

• Third, learners may assume OBEs are easier than CBEs, and may, consequently, study less for an OBE (Durning et al. 2016). Indeed, the systematic review indicated that learners invested less time preparing for an OBE; however, in 70% of the 37 studies included, participants had little to no prior experience with OBE, which may have led them to underestimate the time required to prepare (Durning et al. 2016).

반면 OBE의 지지자들은 OBE가 교육자들이 암기를 넘어 고차원의 인지 능력과 비판적 사고를 요구하는 질문을 제기할 수 있도록 한다고 주장한다. 학습자의 지식을 평가하지 않는다는 위협은 모든 것을 찾을 시간이 없도록 시험 시간을 제약시킴으로써 극복할 수 있다(Durning et al. 2016). 또는 더 좋은 방법은 'why'에 대한 질문을 함으로써 극복할 수 있다(슈워츠슈타인과 로버츠 2017; 풀러 외 2020). 이러한 질문은 검색할 수 없을 뿐만 아니라, 학습자들의 추론적 사고를 밝혀내고 그들의 사고에 도전하는데 도움을 준다. 그리고 의학지식이 핵심역량임에도 불구하고 의료학습자의 지식손실은 상당할 수 있다(D'Eon 2006).

On the other hand, proponents of OBE argue that OBEs allow educators to pose questions that require higher-order cognitive skills and critical thinking, beyond rote memorization (Durning et al. 2016). The threat of not assessing learners’ knowledge could be overcome by time-pressured tests, leaving little time to look up everything (Durning et al. 2016), or better, by asking why questions (Schwartzstein and Roberts 2017; Fuller et al. 2020), which are not only less searchable but also help to uncover learners’ reasoning and challenge their thinking. And although medical knowledge is a core competency, knowledge loss among medical learners can be significant (D’Eon 2006).

암기의 한계를 인식하는 것은 플립 교실 모델(슈워츠슈타인과 로버츠 2017)의 채택과 일치하며, 최근 미국 의료면허시험(USMLE) 1단계를 합격 또는 불합격으로 하기로 연방의료위원회(FSMB)와 국가의료심사위원회(National Board of Medical Examiners, NBME)의 결정과 일치한다. USMLE step 1에서 세 자리 성적을 없앰으로써, 학습자들은 불필요한 사실보다 더 중요하고 관련 있는 정보를 우선시할 것으로 기대한다(Prober 2020).

Recognizing the limits of rote memorization is consistent with the adoption of the flipped classroom model (Schwartzstein and Roberts 2017), and the recent decision by the Federation of State Medical Boards (FSMB) and the National Board of Medical Examiners (NBME) to make the US Medical Licensing Examination (USMLE) Step 1 exam a pass or fail assessment. By eliminating the three-digit score, learners may prioritize more essential and relevant information, over unnecessary facts, they are likely to be tested on (Prober 2020).

OBE와 CBE의 대면 비교를 넘어, OBE는 임상 실습에 보다 정통하며 다양한 전이 가능한 기술의 평가를 허용할 수 있다. 

• 학습자가 고품질 정보를 얻기 위해 찾아야 하는 자원(자료)의 유형에 대해 공식적인 교육을 받고 있는가? 

• 학습자가 시간에 제약된 환경에서 신뢰할 수 있는 증거를 적용하는 방법을 알고 있는가? 

• 학습자가 불확실성에 대응하는 방법을 알고 있는가? 

Beyond the face-to-face comparison of OBE and CBE, OBEs are more authentic to clinical practice and may allow for assessment of various transferable skills. 

• Do learners have formal training on the type of resources they must seek to obtain high-quality information? 

• Do learners know how to apply credible evidence in time-constrained settings? 

• Do learners know how to respond to uncertainty? 

이 질문들 중 많은 것은 매일 실무자들이 경험하는 것을 나타낸다. 그러나 이러한 질문들은 일반적으로 교육되거나 의도적으로 평가되지 않는다.

Many of these questions represent what practitioners experience daily; yet, these are typically not taught or purposely assessed.

온라인 OBE는 '구글 의사'를 넘어 의사가 현재 임상 실습에서 사용할 것으로 예상되는 치료 시점 자원을 실시간으로 시뮬레이션할 수 있다. 특히 OBE는 학습자가 온라인 자원을 효율적으로 효과적으로 문제 해결에 활용할 수 있도록 설계할 수 있다. 이 때 수행능력이 뛰어나다는 것은 다음과 같은 지식으로 증명될 수 있다: 

• 무엇을 검색할 것인가, 어느 정도 배경 지식이 있어야 효과적일 수 있다. 

• 어디서 검색할 것인가, 신뢰할 수 있는 출처를 식별하고 오보의 현저한 시대에 이성의 목소리가 되기 위해 필요한 기술 

• 어떻게 검색할 것인가, 적절한 키워드, 유효한 검색 전략 및 적절한 리소스 탐색을 최소 시간 내에 검색하는 방법 

• 어떻게 데이터를 효과적으로 사용할 것인가– 정보 검색에 능숙하다고 해서 지식 번역의 우수성을 의미하는 것은 아니다.

Online OBEs can provide a real-time simulation of the point-of-care resources – beyond doctor Google – that physicians are currently expected to use in their clinical practice. Specifically, OBEs can be designed for learners to utilize online resources to problem-solve efficiently and effectively. Greater performance could be evidenced by knowing: 

• what to search, which would require some background knowledge to be effective; 

• where to search, a necessary skill for identifying credible sources and for being the voice of reason in this striking age of misinformation; 

• how to search, with appropriate keywords, valid search strategies, and proper resource navigation, in minimal time; and 

• how to use the data effectively – being proficient at searching for information does not imply excellence in knowledge translation. 

또한 온라인 OBE는 일반적으로 증거 기반 의학이라고 불리는 [임상 의사결정에서 이용 가능한 최선의 증거를 적절히 식별하고 활용하는 것의 중요성]에 대한 학습자의 인식을 높일 수 있다. 과학 정보의 양이 기하급수적으로 증가함에 따라 한때 의과대학에서 일찍 습득되었던 지식은 잊혀질 뿐만 아니라 무관할 수도 있다. 온라인 OBE를 관리함으로써, 의대생과 레지던트들도 자기주도 학습자가 되어야 할 의무를 더욱 의식하게 될 수 있다. 그들은 의료행위의 끊임없는 진화에 보조를 맞추는 기술을 개발할 수 있었다.

Online OBEs may also heighten learner awareness of the importance of aptly identifying and utilizing best available evidence in clinical decision-making, commonly referred to as evidence-based medicine. With the quantity of scientific information increasing exponentially, knowledge that was once acquired early in medical school may not only be forgotten but may also be irrelevant. By administering online OBEs, medical students and residents may become more mindful of their duty to be self-directed learners. They could develop skills in keeping up with the constant evolutions of medical practice.

코로나바이러스 대유행으로 인한 CBE의 제한된 실현가능성을 고려할 때, 지금은 의료 교육자인 우리 모두가 의학교육에서 온라인 OBE의 사용을 신중하게 탐구할 때다. 

• 첫째, 효과성을 연구하기 전에 학습자에게 저부담 환경에서 충분한 OBE 경험을 제공해야 한다. 예를 들어, 우리는 종합 평가 전에 일련의 형성적 OBE를 구현할 수 있다. 

• 둘째, OBE가 학습자와 교수진에게 어떻게 받아들여지는지를 잘 설계된 조사와 정성적 연구 방법을 사용하여 탐구해야 한다. 

• 셋째, 우리는 온라인 자원으로 오픈북 시험을 사용하는 것의 효율성과 효과성에 대한 연구를 고려해야 한다. 예를 들어, 현재 사용할 수 있는 시험 응시 기술을 고려할 때, 우리는 학습자가 어떤 자원을 사용하고 있는지 또는 주어진 페이지의 어떤 섹션에 가장 오랜 시간을 소비하는지 평가할 수 있다. 그러한 데이터 분석을 통해 우리는 학습자들에게 미래의 실무자로서 그들에게 도움이 될 수 있는 맞춤형 피드백을 제공할 수 있을 것이다.

Given the limited feasibility of CBEs due to the coronavirus pandemic, now is the time for us, medical educators, to thoughtfully explore the use of online OBEs in medical education. 

• First, before studying their effectiveness, we should provide learners with sufficient OBE experience in lower-stake settings. For example, we can implement a series of formative OBEs before a summative assessment. 

• Second, we should explore how OBEs are received by learners and by faculty using well-designed surveys and qualitative research methods. 

• Third, we ought to consider studying the efficiency and effectiveness of using openbook exams with online resources. For example, given the test-taking technology that is currently available, we can assess what resources learners are using, or what section of any given page they spend the longest time on. Such data analytics would allow us to provide our learners with tailored feedback that could benefit them as future practitioners.

그러나 한 가지 시험 모드를 선택하는 대신에 OBE와 CBE를 결합한 혼합 접근법을 사용하여 학습자를 평가할 수 없을까? OBE와 CBE에 대한 체계적 검토의 결론은 각각 장단점과 추천에 대한 혼합된 증거를 고려할 때, 학습 프로토콜은 오픈북과 클로즈북 항목을 모두 사용하여 학습자를 평가할 수 있어야 한다고 제안했다(Durning et al. 2016).

But, instead of choosing one mode of examination over another, could we not assess learners using a blended approach, combining OBEs and CBEs? Conclusions from a systematic review on OBE and CBE suggested that we should; given the pros and cons of each, and the mixed evidence for recommending one versus the other, study protocols could assess learners using both open-book and closed-book items (Durning et al. 2016).

[필수 의료 개념에 대한 학습자의 이해를 평가해야 한다고 주장하는 CBE 지지자]들은 임상 실습에서 결국 기대되는 것인 [학습자의 정보 검색 및 번역 능력을 평가하는 능력을 가진 공개 온라인 검사를 지지하는 OBE 지지자]들과 힘을 합칠 수 있다. 혼합된 평가에는 1부에서, CBE로, 자료를 찾아보지 않고 알아야 할 개념에 대한 학습자의 평가한 뒤, 2부에서 학습자가 연구할 것으로 기대되는 주제에 대한 오픈북이 포함될 수 있다.

Proponents of CBE who reason that we must evaluate learners’ understanding of essential medical concepts can join forces with OBE supporters who advocate for an open, online examination that has the ability to assess learners’ capacity to search and translate information efficiently, as they would be expected to do in clinical practice. A mixed assessment could include a first part, closed-book, evaluating learners on concepts they should know without looking things up, followed by a second part, open-book, on topics learners are expected to research.

• 학습자의 경우 일상적인 OBE는 [스테로이드 합성에 관한 분자적 상세한 내용]보다는 무엇이 잘못될 수 있고 왜 잘못될 수 있는지에 더 많은 초점을 맞출 수 있다. 교육자가 학습 자료를 제공하거나 탐색하기를 기다리는 대신, 몇 시간 동안 최신의 과학 문헌을 통해 학습자들은 평생 자기조절적학습자가 되는 방법을 배우고 신뢰할 수 있는 연구를 효율적으로 검색하고 해석할 수 있다. 

• 교육자들에게 OBE는 인터넷 검색의 이점과 한계를 조사하고 학습자의 고차원의 사고 능력을 목표로 하는 데 매력적일 수 있다. 중요도가 높은 CBE에 오픈 엔드 항목을 추가함으로써, 면허소지 기관은 진품이며 증거기반 임상실무와 관련된 기술을 평가할 기회를 갖는다.

• For learners, routine OBEs could entail focusing less on the molecular details of steroid synthesis, and more on what can go wrong and why. Rather than waiting for educators to provide learning materials or navigating, for hours, through up-to-date, scientific literature, learners can learn how to become lifelong self-regulatory learners and search and interpret credible research efficiently. 

• For educators, OBEs could be attractive in investigating the benefits and limits of searching the Internet and in targeting their learners’ higher-order thinking skills. By adding open-ended items to high-stakes CBEs, licensing bodies have an opportunity to assess skills that are authentic and relevant to evidence-based clinical practice.

Durning SJ, Dong T, Ratcliffe T, Schuwirth L, Artino AR, Boulet JR, Eva K. 2016. Comparing open-book and closed-book examinations: a systematic review. Acad Med. 91(4):583–599.

---

. 2020 Aug 28;1-2.

 doi: 10.1080/0142159X.2020.1811214. Online ahead of print.

Assessing open-book examination in medical education: The time is now

Ivry Zagury-Orly 1, Steven J Durning 2

Affiliations 

Affiliations

• 1Faculty of Medicine, Université de Montréal, Montreal, Canada.
• 2Center for Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.

• PMID: 32857626
 
• DOI: 10.1080/0142159X.2020.1811214

Abstract

As a result of the coronavirus pandemic, the feasibility of holding secure closed-book examinations in medical education is compromised. In this Personal View, we compare the underlying reasoning for using open-book and closed-book exams. We rethink the role of open-book assessment and offer ways in which we believe they can complement closed-book exams. We highlight the gap in research, highlight future directions, and call on medical educators to seize our current golden opportunity to explore the impact of open-book exams - on their own or combined to closed-book tests, as a blended approach - on learners, educators, and licensing bodies.

Keywords: e-learning/computers; Assessment; best evidence medical education; evidence-based medicine; independent.