왜 이 학생이 시험을 잘 못 볼까요? 자기조절학습을 활용한 문제 진단 및 해결 (Acad Med, 2018)

왜 이 학생이 시험을 잘 못 볼까요? 자기조절학습을 활용한 문제 진단 및 해결 (Acad Med, 2018)
Why Does This Learner Perform Poorly on Tests? Using Self-Regulated Learning Theory to Diagnose the Problem and Implement Solutions 
Mary A. Andrews, MD, MPH, William F. Kelly, MD, and Kent J. DeZee, MD, MPH

 

 

문제
Problem

많은 의학 학습자는 객관식 임상시험에 의한 지식테스트에 어려움을 겪고 있으며, 이러한 학습자의 교정에는 리소스가 많이 소요됩니다.1 재교육 방법remediation은 시험기법과 연습문제 작성의 강조에서 의학지식과 임상추론을 개선하기 위한 포괄적인 노력까지 다양합니다. 그러나 최근 검토 결과 그러한 개입의 효과에 대한 근거는 미약했다. 더욱이 교정조치는 종종 교육 이론의 의미 있는 근거 없이 개발되고 구현된다. 여기에서는, 자기조절학습(SRL) 이론에 근거하는, 즉석에서 사용할 수 있는 새로운 테스트 응시 평가 및 교정 프레임워크를 소개하고, 센터에서의 구현을 설명하며, 영속적인 문제에 대한 이 유망한 솔루션의 대규모 연구의 기반을 마련한다.
Many medical learners struggle on multiple-choice, clinical-vignette-based knowledge tests, and remediating these learners is resource intensive.1 Remediation methods range from emphasizing test-taking techniques and completing practice questions, to comprehensive efforts to improve medical knowledge and clinical reasoning.1–3 However, recent reviews found only weak evidence of the effectiveness of such interventions.4,5 Furthermore, remediation methods are often developed and implemented without meaningful basis in educational theory.4 Here we introduce a novel, ready-to-use test-taking assessment and remediation framework based on self-regulated learning (SRL) theory; describe implementation at our center; and lay the foundation for a large-scale study of this promising solution to a perennial problem.

SRL 이론은 많은 분야에서 성과를 향상시키기 위해 성공적으로 사용되어 온 교육 평가 프레임워크입니다. 6,7 SRL은 "개인 목표 달성에 계획되고, 순환적으로 적응되는, 자기 생성적 생각, 감정 및 행동"으로 정의되어 있습니다. SRL 하위 프로세스는 세 가지 태스크 중심 범주로 나눌 수 있습니다: 사전 생각, 퍼포먼스, 그리고 자기 성찰입니다. 이전 연구에서는 SRL 하위 프로세스와 의과대학 성과 간의 상관관계를 보여 왔다. 예를 들어 의과대학 입학시험 점수 조정 후 의과대학 2학년 학생들의 전략적 계획이 미국 의학면허시험 1단계 점수와 유의하게 관련되어 있었다. 시험 성적에 대한 SRL 기반 평가는 어려움을 겪고 있는 수험생을 진단하고 교정하는 데 유용한 수단이라고 가정했습니다.

SRL theory is an educational assessment framework that has been successfully used to improve performance in many disciplines.6,7 SRL has been defined as “self-generated thoughts, feelings, and actions that are planned and cyclically adapted to the attainment of personal goals.”8 SRL subprocesses can be divided into three task-centered categories: forethought, performance, and self-reflection.7 Prior research has shown correlations between SRL subprocesses and medical school performance; for example, strategic planning by second-year medical students was significantly associated with United States Medical Licensing Examination Step 1 scores after adjusting for Medical College Admission Test scores.9 We postulated that an SRL-based assessment of test-taking performance would be a useful means of diagnosing and remediating struggling test takers.

접근
Approach

이 방법은 정의된 교육 과제 동안 학습자에게 다른 지점에서 질문을 함으로써 자기 규제 프로세스의 동적, 컨텍스트별 특성을 포착하는 자기조절학습 마이크로 분석 및 훈련(SRL-MAT)의 형태로 설계되었다. 이 방법은 2012년 초 한 저자(K.J.D)에 의해 개발되었으며, 공동 저자에 의해 다듬어졌으며, 클리어리 등이 설명한 5단계 SRL 미세 분석 프로토콜 개발 프로세스와 유사하지만 유사하다. 이 프로젝트는 품질 개선 이니셔티브로 수행되었으며 기관 검토 위원회는 연구가 아니라고 판단했습니다.
This method was designed as a form of Self-Regulated Learning Microanalytic Assessment and Training (SRL-MAT), which captures the dynamic, context-specific nature of self-regulatory processes by posing questions to the learner at different points during a defined educational task.7 The method was developed by one author (K.J.D.) in early 2012, refined by the coauthors, and predates but closely resembles the five-step SRL microanalytic protocol development process described by Cleary et al.6 This project was undertaken as a quality improvement initiative and the institutional review board determined that it was not research.

우리는 라이센스, 인증 및 훈련 중인 시험(ITE)에서 일반적으로 발생하는 유형의 객관식 임상 비그넷 테스트 질문에 답하는 특정 과제를 선택했고, [과제 전략, 자가 평가, 인과 관계 귀인, 적응적 추론]을 위한 대상 SRL 하위 프로세스를 식별했다. 테스트 질문에 올바르게 대답하는 작업에 특화된 SRL 미세 분석 질문을 개발했다(표 1). 과제 전략 질문을 설계하여 훈련자가 잘 개발된 질병 스크립트를 사용하여 올바른 진단에 도달하는 정도를 평가하였습니다. 이는 어려움을 겪는struggling 수험생과 임상 추론 연구에 대한 과거 경험에서 효과적인 전략임을 알 수 있기 때문입니다. 

We selected the specific task of answering a multiple-choice, clinical vignette test question of the type commonly encountered on licensing, certification, and in-training examinations (ITEs) and identified target SRL subprocesses for this task: task strategies, self-evaluation, causal attributions, and adaptive inferences.7,8 We developed SRL microanalytic questions specific to the task of answering test questions correctly (Table 1). We designed the task strategy questions to assess the extent to which the trainee uses well-developed disease scripts to arrive at the correct diagnosis, as past experience with struggling test takers and clinical reasoning research have shown this to be an effective strategy.10 

우리는 학습자가 다음의 활동을 하는 동안 시행될administered 과업수행전략 질문을 설계함으로써 SRL 하위 프로세스를 작업의 시간적 차원에 연결했다: 시험 문제 풀기, 문제풀기-정답고르기 과정 중 특정 지점에서의 자기평가 질문, 선택한 답이 맞는지 학습자에게 알려준 후 인과 관계 귀인, 적응적 추론 문제를 해결하기. [학습자 수행능력의 과거 특징]과 [특정 미세 분석 질문에 대한 학습자의 답변]을 바탕으로 SRL 결함을 식별하는 분류 시스템을 개발했다. 이는 클리어리 등이 추천한 개방형 질문의 완전한 전사 및 독립적 코딩과는 다르지만, 실용성과 사용 편의성을 위해 이 분류 체계를 선택했다. 이 방법은 교사와 학습자가 1시간 세션에서 일대일로 사용하고 학습자의 자기 평가와 연습을 위해 고안되었습니다.

We linked SRL subprocesses to the temporal dimensions of the task by designing the task strategy questions to be administered while the learner works through the test question, self-evaluation questions at specified points during the question–answering process, and causal attribution and adaptive inference questions after the learner was informed whether the selected answer was correct. We developed a categorization system that identified the SRL deficiency based on historical features of the learner’s performance and on the learner’s answers to specific microanalytic questions. This differs from the full transcription and independent coding of open-ended questions recommended by Cleary et al,6 but we chose this categorization scheme for practicality and ease of use. This method was designed for one-on-one use by a teacher and learner in a one-hour session, and for learner self-assessment and practice.

 

미세 분석 질문은 질문 검토 양식(QRF, 부록 1 참조)으로 통합되었습니다. 이 양식을 사용할 때, 교사는 먼저 학습자에게 ITE, 의사면허시험의 Step들, NBME의 과목시험 등을 포함한 객관식 임상시험 기반의 의학지식 테스트에 대한 이전 성과가 어땠는지를 기술하도록 요구한다. 그런 다음, 교수자는 [학습자의 교육 수준에 적합한 임상 실습 질문]을 학습자에게 제시하고, [이 문제를 실제 테스트 문제인 것처럼 풀도록] 요청합니다. 유일한 차이점은 학습자가 큰 소리로 읽고 생각해야 한다는 것입니다. 

The microanalytic questions were combined into a Question Review Form (QRF; see Appendix 1). When using the form, the teacher first asks the learner to describe prior performance on multiple-choice, clinical-vignette-based medical knowledge tests, including ITEs, steps of licensing examinations, National Board of Medical Examiners subject matter examinations, etc. The teacher then presents the learner with a clinical-vignette-based practice question appropriate to the learner’s training level and asks the learner to engage the question as if it were an actual test question, with the only difference being that the learner should read and think out loud.

이 첫 번째 테스트 질문의 경우, 교수자는 학습자를 중단시키지 않고, 미세 분석 질문을 하지 않고, 문제풀기를 쭉 진행합니다. 교사는 학습자의 시험문제에 대한 참여engagement 수준을 아래의 범위로 기록한다. 

• 매우 피상적인 참여(예: 내부 주석이나 정보에 대한 해석 없이 문제 전체를 큰 소리로 읽는 것)에서
• 매우 적극적인 참여(예: 임상 정보의 우선 순위와 해석, 문항줄기를 읽는 동안 감별진단을 생성 및 수정)까지

For this first test question, the learner proceeds through the question without interruption from the teacher or administration of any microanalytic questions. The teacher notes the learner’s level of engagement with the test question, which can range from

• very superficial (e.g., reading the entirety of the question out loud without any interior commentary or interpretation of the information) to
• highly engaged (e.g., actively prioritizing and interpreting the clinical information and generating and refining a differential diagnosis while reading the stem).

이러한 초기 중단 없는 Think-aloud 연습은 임상 비게트에 제시된 정보에 쉽게 관여하지 않는 학습자의 미발달 질병 스크립트와 같은 특정 시험 응시 결함을 시사할 수 있다.

This initial uninterrupted think-aloud exercise may suggest a particular test-taking deficiency, such as underdeveloped disease scripts in the learner who does not readily engage with the information presented in the clinical vignette.

그런 다음 교사는 QRF와 함께 두 번째 시험 문제를 제시합니다. 선생님은 시험문제의 마지막 문장(예: "진단 내용은 무엇입니까?")을 다룹니다. 또는 "관리에서 차선책은 무엇입니까?"라고 말한 후 학습자에게 QRF 항목 1~6에 답하도록 합니다. 

• 항목 1~4는 임상 계통에서 질병 스크립트를 식별하는 전략을 사용하는 학습자의 기술을 평가한다. 항목 2 - 4는 학습자의 질병 스크립트의 특수성(즉, 학습자가 질병의 다양한 하위 유형을 얼마나 잘 인식할 수 있는지)을 평가한다. 
  
• 항목 5 - 6은 질문-답변 과정의 정의된 지점에서 자가 평가 시 학습자의 기술을 평가하는 자신감 척도이다. 항목 6을 완료한 후 교사는 질문(예를 들어 "관리에서 다음 최선의 단계는 무엇입니까?")을 풀지만 정답은 풀지 않습니다. 
  

The teacher then presents a second test question along with the QRF. The teacher covers the last sentence (e.g., “What is the diagnosis?” or “What is the next best step in management?”) and asks the learner to answer QRF Items 1 through 6 after thinking aloud through the clinical vignette.

• Items 1 through 4 assess the learner’s skill in using the strategy of identifying the disease script in the clinical stem. Items 2 through 4 assess the specificity of the learner’s disease scripts (i.e., how well the learner can recognize different subtypes of disease).
• Items 5 through 6 are confidence scales which assess the learner’s skill at self-evaluation at defined points in the question–answering process. After completing Item 6, the teacher uncovers the question (e.g., “What is the next best step in management?”) but not the answers.

• 학습자는 질문에 대한 답을 예측하고 해당 답변에 대한 자신감을 평가합니다(항목 7-8). 
• 그런 다음, 교사는 정답 선택지를 공개하고, 학습자는 선택지를 본 후 예상 답안(또는 유사한 답안)에 대한 자신감을 평가하며(9~11번 항목) 또는 답안 변경 여부를 결정한다(12번 항목). 
• 그런 다음, 교사가 정답을 밝히고, 학습자는 인과적 속성과 적응적 추론(항목 14~15)을 평가하는 문제에 답합니다. 이 방법은 교사가 다음 섹션에서 설명하는 시험 문제 중 하나를 식별하기에 충분한 증거를 축적할 때까지 새로운 시험 문제에서 반복된다. 각 문제는 SRL 하위 프로세스 부족에 해당한다.

• The learner predicts the answer to the question and rates his or her confidence in that answer (Items 7–8).
• Then the teacher reveals the answer choices and the learner rates his or her confidence in his or her predicted answer (or similar answer) after seeing the choices (Items 9–11), and decides if he or she wants to change his or her answer (Item 12).
• The teacher then reveals the correct answer, and the learner answers the questions assessing causal attributions and adaptive inferences (Items 14–15). The method is repeated with new test questions until the teacher has accumulated enough evidence to identify one of the test-taking problems outlined in the following section, each of which corresponds to an SRL subprocess deficiency.

이 평가 도구는 내과 레지던트 내의 품질 개선 이니셔티브로서 2012-2013학년도 중 2학년 내과 레지던트 16명에게 1명의 교직원이 관리했습니다. 평가방법의 이론적 근거를 설명하고, 방법의 관리방법을 검토하며, 역할극을 통해 교수진의 연습을 허용하는 90분짜리 워크숍도 개발되었습니다.
As a quality improvement initiative within the internal medicine residency, this assessment tool was administered by one faculty member to 16 second-year internal medicine residents during academic year 2012–2013. A 90-minute workshop, which describes the theoretical basis for the assessment method, reviews how to administer the method, and allows for faculty practice with the method via role-play, was developed as well.

결과
Outcomes

약 20명의 고군분투하는 학습자에게 이 방법을 사용한 결과, 대부분의 시험 문제를 다음과 같이 분류할 수 있었다.

• 스크립트 인식 부족,
• 스크립트 특이성 부족,
• 조기 종결,
• 자신감 부족,
• 부적응적 인과 귀인
• 부적절한 적응적 추론

이러한 테스트의 결함에 대해서는, 이하에 간단하게 설명합니다.비디오의 예와 각 타입의 식별과 수정에 관한 상세한 것에 대하여는, 보충 디지털 부록 1을 참조해 주세요.
After using this method with approximately 20 struggling learners, we found that most test-taking problems could be categorized as follows:

• lack of script recognition,
• lack of script specificity,
• premature closure,
• underconfidence,
• maladaptive causal attributions, and
• inappropriate adaptive inferences.

These test-taking deficiencies are briefly described below; video examples and more details about identifying and remediating each type are available in Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/A389.

첫 번째 시험풀이 결함은 [스크립트 인식 부족]이며, 이는 진단 추론을 위한 질병 스크립트의 작업 전략을 부적절하거나 비효율적으로 사용하는 것을 뜻한다. 이러한 학습자는 임상 스템을 읽는 동안 임상 데이터를 전혀 또는 사실적으로 잘못 해석할 수 없으며 QRF 항목 1 - 4에 답변할 수 없습니다.
The first test-taking deficiency is lack of script recognition, which reflects inappropriate or ineffective use of the task strategy of disease scripts for diagnostic reasoning. These learners offer no or factually incorrect interpretations of clinical data while reading the clinical stem, and they cannot answer QRF Items 1 through 4.

두 번째 유형의 시험풀이 결함은 [스크립트 특이성 부족]이며, 이것도 [과제수행전략]의 문제입니다. 이 결핍을 가진 학습자는 일반적인 질병 범주(우울증 등)를 인식함으로써 두 가지 선택지로 답을 좁히지만, 질병의 특정 임상 하위 유형이나 심각도(노인의 우울증 등)와 그 하위 유형과 관련된 진단 전략, 치료 또는 예후 차이를 인식하지 못한다. 이러한 학습자는 QRF 항목 2 ~ 4에 대해 불완전하거나 부정확한 답을 제시합니다.
The second type of test-taking deficiency is lack of script specificity, which is also a task strategy problem. Learners with this deficiency narrow down the answer to two choices by recognizing a general disease category (such as depression), but do not recognize the specific clinical subtype or severity of disease (such as depression in the elderly) and the differences in diagnostic strategy, therapy, or prognosis related to that subtype. These learners will give incomplete or inaccurate answers to QRF Items 2 through 4.

세 번째 테스트 부족은 [메타인지 모니터링 단계]의 문제인 [조기 종결]입니다. 이러한 결함을 보이는 학습자는 진단을 조기에 결정하고 진단과 일치하지 않는 정보를 무시하거나 과소평가하며 선택한 진단과 일치하지 않는 사실을 QRF 항목 4에 나열하거나(그러나 진단 변경을 거부함) 불일치를 단순히 인식하지 못할 수 있습니다.
The third test-taking deficiency is premature closure, a metacognitive monitoring problem. Learners who exhibit this deficiency make an early decision on the diagnosis, ignore or downplay information inconsistent with the diagnosis, and may list facts that are inconsistent with the chosen diagnosis in QRF Item 4 (yet refuse to change the diagnosis) or simply fail to note the inconsistencies.

네 번째 시험결과는 [메타인지 모니터링과 자기평가 단계]의 문제인 [자신감 부족]이다. 이 결함이 있는 학습자는 여러 번의 시험에 불합격한 전력이 있을 수 있으며, 이로 인해 심지어는 정확한 추론을 하고서도, 자기자신의 임상추론을 믿지 않게 된다. SRL 평가 과정에서 이러한 학습자는 올바른 진단을 식별하고 정답을 예측한 경우에도 중간에서 낮은 절반까지의 등급(QRF 항목 5~6,8)에 대한 자신감을 평가합니다.

The fourth test-taking deficiency is underconfidence, which is a metacognitive monitoring and self-evaluation problem. Learners with this deficiency may have a history of several examination failures and have consequently learned to distrust their clinical reasoning, even when it may be correct. During the SRL assessment, these learners rate their confidence on the middle to lower half of the scale (QRF Items 5–6, 8) even when they have identified the correct diagnosis and predicted the correct answer.

다섯 번째 시험풀이시 결함은 SRL의 [자기 성찰 단계]의 결함인 [부적절한 인과 귀인]이다. 이러한 결함은 정답이 맞고, 오답이 틀린 이유에 대한 피상적 또는 잘못된 설명에서 명확하게 드러난다 (QRF 항목 14).
The fifth test-taking deficiency is inappropriate causal attributions, which is a deficiency in the self-reflection phase of SRL. This deficiency is evident from superficial or incorrect explanations of why the right answer is correct and the wrong answer is incorrect (QRF Item 14).

마지막 시험결과는 [부적절한 적응적 추론]이며, 이는 자기성찰의 문제이기도 하다. 이 결함이 있는 학습자는 실습 질문에 답한 후 지식 격차를 식별할 수 있지만 효과적인 학습 계획(QRF 항목 15)을 명확하게 설명할 수는 없습니다.
The last test-taking deficiency is inappropriate adaptive inferences, which is also a self-reflection deficiency. Learners with this deficiency may be able to identify knowledge gaps after answering a practice question, but are unable to articulate an effective learning plan (QRF Item 15).

이 방법을 사용하여 시험 미비점을 식별하고 개선 전략을 제안함으로써 소수의 학습자만이 과거 제어를 사용하지만 시험 성과가 향상되었음을 알 수 있습니다. 이 내과 레지던트에서의 과거 6년간의 평균 ITE 성적 향상은 3년째에 4.6점이었다. 이 평가를 받은 주민의 2013년 ITE 점수는 2년차부터 3년차까지 평균 9.3점(표준편차: 7.7)으로, 과거 데이터에 근거해 예상되는 개선점의 약 2배였다.
In using this method to identify test-taking deficiencies and suggest strategies for improvement, we have found improved test performance, albeit in a small number of learners and using historical controls. Over the previous six years in this internal medicine residency, the average second-year ITE score improvement was 4.6 points in the third year. The average improvement in 2013 ITE score from second year to third year for the residents who underwent this assessment was 9.3 points (standard deviation: 7.7), which is about twice the expected improvement based on historical data.

다음 단계
Next Steps

테스트 성적이 낮은 학습자의 공통적이지만 어려운 문제에 SRL 미세 분석의 새로운 응용 프로그램을 도입했습니다.7 이 방법은 SRL 이론의 견고한 기반, 개별화된 치료 계획 및 상대적 구현 용이성을 포함하여 기존 시험 응시 교정 방법보다 장점이 있다. 적은 수, 동시적 통제집단의 부족, 평균으로의 회귀 가능성에 의해 제한되기는 하지만, 단일 센터 구현의 결과는 유망하다. 이 방법을 사용하기 위해 교직원이 훈련하는 데 필요한 시간은 다를 수 있지만, 우리는 90분짜리 워크숍 형식으로 비디오 예시와 롤 플레이를 사용하고 있습니다.

We have introduced a novel application of SRL microanalysis to the common yet challenging problem of learners who underperform on tests.7 This method has advantages over existing methods of test-taking remediation, including solid foundation in SRL theory, individualized treatment plans, and relative ease of implementation. Although limited by small numbers, lack of contemporary control group, and the possibility of regression towards the mean, the results of our single-center implementation are promising. While the time needed to train faculty to use this method may vary, we have used a 90-minute workshop format with video examples and role-play (Supplemental Digital Appendix 1, https://links.lww.com/ACADMED/A389) at our institution and others.

실현 가능성과 효과성에 대한 대규모 연구에 의해 교육 개입이 뒷받침되어야 하기에, 다음 단계는 대규모 무작위 대조 시험의 설계와 수행이다. 이 연구에는 과목시험이나 면허시험에 불합격한 학생, ITE 점수가 낮은 학생 등 다양한 프로그램 및 훈련 수준의 학습자가 참여해야 하며, 이 방법의 어떤 측면이 개선에 가장 큰 도움이 되는지 평가해야 합니다. 위에서 설명한 분류 시스템은 역사적 특징과 SRL 평가에 의존하며 단일 기관에서 쉽게 구현되어 왔지만, 이 시스템의 신뢰성과 타당성은 더 넓은 환경에서 연구되어야 한다.
Recognizing the need for educational interventions to be supported by large-scale studies of feasibility and effectiveness, the next steps for this method are the design and conduct of a large randomized controlled trial.4,5 This study should include learners from different programs and training levels, such as students who fail a subject matter examination or licensing exam and trainees with low ITE scores, and should assess which aspects of the method contribute the most to improvement. While the categorization system outlined above, which relies on historical features plus SRL assessment, has been easily implemented at a single institution, the reliability and validity of this system should be studied in broader settings.

객관식 임상시험에 기초한 의학지식시험에서 저조한 성적을 보이는 학습자는 어디에나 있으며, 저조한 시험성적은 심각한 직업적 결과를 초래할 수 있다. 시험에서 고군분투하는 학습자를 지원하기 위해 이론적으로 건전하지만 즉시 실행할 수 있는 개입이 부족하기 때문에, 이 개입과 다른 개입의 효과를 전파하고 조사할 필요가 가장 중요하다.

Learners who underperform on multiple-choice, clinical-vignette-based medical knowledge tests are ubiquitous, and poor test performance can have serious professional consequences. Given the paucity of theoretically sound yet ready-to-implement interventions for assisting learners who struggle on tests, the need to disseminate and investigate the effectiveness of this and other interventions is paramount.4,5

 

---

Acad Med. 2018 Apr;93(4):612-615.  doi: 10.1097/ACM.0000000000001422.

Why Does This Learner Perform Poorly on Tests? Using Self-Regulated Learning Theory to Diagnose the Problem and Implement Solutions

Mary A Andrews 1, William F Kelly, Kent J DeZee

Affiliations collapse

Affiliation

1M.A. Andrews is assistant professor, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland. W.F. Kelly is associate professor, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland. K.J. DeZee is professor, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland.

PMID: 30248085

DOI: 10.1097/ACM.0000000000001422

Abstract

Problem: Learners who underperform on standardized tests are common throughout all levels of medical education and require considerable faculty time and effort to remediate. Current methods for remediating test-taking difficulties are typically not grounded in educational theory or supported by high-quality evidence.

Approach: A test-taking assessment was developed based on self-regulated learning (SRL) microanalytic assessment and training and used during academic year 2012-2013. This method assesses the SRL subprocesses of strategic planning, self-monitoring, causal attributions, and adaptive inferences during the educational task of answering test questions. The method was designed for one-on-one use by teacher and learner, and for learner self-assessment and practice.

Outcomes: At one academic institution, this method was used to categorize learners into struggling test-taker subtypes which correspond to deficiencies in the SRL subprocesses outlined above. A learning plan based on the SRL deficiency was developed for each struggling test-taker subtype. In a small number of internal medicine residents with low in-training examination scores, use of this method yielded improvements in 2013 in-training examination score that doubled the expected improvement based on historical averages.

Next steps: This method is a novel application of SRL theory to a commonly encountered problem in medical education: the learner who performs poorly on tests. Large-scale, multicenter studies of medical learners at a variety of training levels and program types are needed to determine the effectiveness and generalizability of this intervention.