임상추론과제 중 SRL의 미세분석평가: 최근의 발전, 다음 단계(Acad Med, 2016)

임상추론과제 중 SRL의 미세분석평가: 최근의 발전, 다음 단계(Acad Med, 2016)

Microanalytic Assessment of Self-Regulated Learning During Clinical Reasoning Tasks: Recent Developments and Next Steps

Timothy J. Cleary, PhD, Steven J. Durning, MD, PhD, and Anthony R. Artino Jr, PhD

자체 규제 학습-마이크로 분석적 평가 및 훈련(SRL-MAT)은 평가와 개입 및 교정조치의 연계성을 높이기 위해 개발된 평가-개입 프레임워크이다.2 

Self-Regulated Learning–Microanalytic Assessment and Training (SRL-MAT) is an assessment-to-intervention framework that was developed to enhance the ability of medical educators to link assessment to intervention and remediation.2 

SRL- MAT는 진단학적으로 풍부한 프로세스 지향 데이터 수집으로서, trainee가 임상 활동을 수행할 때 다음의 정보를 수집한다.

• 전략적 프로세스(예: 임상 작업 절차에 집중) 

• 조절 프로세스(예: 작업 방법 계획) 

• 동기부여 프로세스(예: 직무 수행에 대한 자신감 증가).

SRL- MAT underscores the value of gathering diagnostically rich, process-oriented data about trainees’ 

• strategic processes (e.g., focusing on clinical task procedures), 

• regulatory processes (e.g., planning how to do a task), and 

• motivational processes (e.g., increasing confidence for performing a task) as they perform clinical activities.

SRL과 의료교육과의 관련성 개요

Overview of SRL and Its Relevance to Medical Education

SRL은 개인이 목표 지향적 활동을 할 때 행동, 인지, 영향 및/또는 환경에 대한 통제력을 발휘하는 다차원적 과정이다.5

SRL is a multidimensional process through which individuals exert control over their behaviors, cognitions, affect, and/or the environment as they engage in goal-directed activities.5

예를 들어, 의학 교육 이외의 연구에서는, 학생들이 매우 전략적인 방식으로 학습 활동에 접근하도록 학습활동을 하도록 교육받거나(즉, 프로세스 목표 설정), 과제 완료 시 퍼포먼스나 행동을 추적keep track하도록 교육받을 경우, 더 높은 수준의 성취도를 보일 것이라고 말한다. 또한 이들은 학습에 더 많은 자신감과 관심을 보일 것이다. 반대로 성과 결과에 초점을 맞추거나 학습 전략의 사용을 모니터링하지 않는 사람들은 덜 그러하다.

For example, in research outside medical education, there is evidence showing that students who are taught to approach learning activities in a highly strategic way (i.e., to set process goals) and to keep track of their performance or behaviors during task completion typically will display higher levels of achievement and will exhibit more confidence and interest in learning than those who focus on performance outcomes or who do not monitor their use of learning strategies.8

의료 교육 연구자들은 SRL 원칙 3,9,10에 대한 관심을 보여 왔으며, 일부는 SRL을 "의학교육과 의료행위를 정의하는 요소"라고 묘사했다.9(p78)

Medical education researchers have been showing increased interest in SRL principles,3,9,10 with some describing SRL as “a defining element of medical education and practice.”9(p78)

요컨대, 여러 분야에 걸친 근거에 따르면 학습을 더 자기 주도적이고 전략적으로 하도록 교육받은 학생들이 종종 가장 잘 수행한다는 것을 보여준다.

In short, converging evidence across different fields of study has shown that students who are taught to become more self-directed and strategic in their approaches to learning will often perform optimally.

그림 1에서 SRL은 세 가지 뚜렷하지만 관련된 단계, 즉 선행(전), 성과(중략), 자기 성찰(후)로 특징지어지는 주기적 피드백 루프로 가장 잘 간주된다.5

in Figure 1, SRL is best thought of as a cyclical feedback loop characterized by three distinct but related phases: forethought (before), performance (during), and self-reflection (after).5

SRL 마이크로 분석 방법론 개요

Overview of SRL Microanalytic Methodology

지금까지 많은 연구들이 임상 추론 과제에 참여하면서 의료 훈련생들의 사전 생각 및 성과 단계 프로세스를 평가하기 위해 SRL 미세 분석을 사용하는 데 초점을 맞추었다(표 1 참조).

Much of our research to date has focused on using SRL microanalysis to assess medical trainees’ forethought and performance phase processes as they engage in clinical reasoning tasks (see Table 1 )

SRL 미세분석은 특히 세 단계의 주기적 피드백 모델에 포함된 복수의 조절프로세스를 평가하도록 설계되었다. 미세분석은 구조화된 면접을 사용하며, "Trainee가 authentic한 활동을 하는 과정에서 이뤄지는 다양한 단계를 대상으로 맥락-특이적 질문을 하는 전략적, 조화적 계획"이다.

SRL microanalysis is specifically designed to assess multiple regulatory processes embedded within the three-phase cyclical feedback model . Microanalysis uses a structured interview approach that involves a “strategic, coordinated plan of administering context-specific questions targeting multiple cyclical phase processes as trainees engage in authentic activities.”12(p4)

두 가지 핵심 특징

two key characteristics

• 첫째, 마이크로 분석 질문은 Phase-특이적 SRL 프로세스의 이론적 정의에 기초하며, 대부분의 질문은 자유 응답 또는 개방형 형식을 사용한다. 미시적 질문은 과제를 하는 중 특정 순간에 개인이 표시하는 의식적 SRL 프로세스를 포착하도록 설계된다(표 1 참조). 

• 둘째, 각 단계별 질문(예고, 수행, 자기 성찰)은 대상 업무(즉, 전, 중, 후)의 시간적 치수와 직접 일치한다.

• First, the development of microanalytic questions is based on theoretical definitions of the phase-specific SRL processes, with most questions using a free-response or open- ended format. Microanalytic questions are designed to capture the conscious SRL processes exhibited by individuals in a particular moment during task completion (see Table 1). 

• Second, questions specific to each phase (i.e., forethought, performance, self-reflection) are directly aligned with the temporal dimensions of the target task (i.e., before, during, and after).

SRL 미세분석을 임상추론과제에 적용하기

Using SRL Microanalysis During Clinical Reasoning Tasks

SRL- MAT 프레임워크의 궁극적인 목표는 의료 교육자와 트레이너에게 의료 훈련이나 실천에 어려움을 겪고 있는 개인에게 피드백과 교정조치의 제공을 안내하는 데 사용할 수 있는 데이터를 제공하는 것이지만, 우리의 초기 연구는 특별히 평가 요소인 SRL 미세 분석에 초점을 맞추고 있다.

Although the ultimate goal of the SRL- MAT framework is to provide medical educators and trainers with data that can be used to guide the provision of feedback and remediation to individuals struggling in medical training or practice, our initial research has focused specifically on the assessment component, SRL microanalysis.

중요한 발견은 많은 학생들이 임상 과제를 완료하기 위한 일반적이거나 비전략적인 계획을 전달했지만, 임상 추론의 [핵심 과정(예: 증상 식별, 우선 순위 지정 및 통합, 진단 비교 및 대조)에 초점을 맞춘 전략적 계획]을 보여준 학생들은 더 높은 점수를 받는 경향이 있다는 것이다. 임상 추론 과정 및 장기 결과에 대한 높은 점수(예: 미국 의료면허 심사 단계 1 및 국립 의료위원회 내과 과목 시험)에서.3

An important finding was that although many students conveyed general or nonstrategic plans for completing the clinical task, students who exhibited strategic plans that focused on the key processes of clinical reasoning (e.g., identifying, prioritizing, and integrating symptoms; comparing and contrasting diagnoses) tended to exhibit higher grades in a clinical reasoning course and higher scores in longer-term outcomes, such as the U.S. Medical Licensing Examination Step 1 and the National Board of Medical Examiners internal medicine subject exam.3

이 장기 프로젝트가 진행 중이지만, 우리의 초기 분석은 학생들의 자기 성과 평가의 정확성이 (일반적으로 전문가들이 하는 방식과 비교했을 때 얼마나 잘했는지를) clinical encounter의 어떤 측면에 대해 평가하느냐에 따라 다르다는 것을 보여주었다.13 구체적으로, 학생들은 자신을 과대평가할 가능성이 높았고, 자기평가 중에서도 신체진찰보다는 병력청취에 대한 자기평가가 덜 정확했다.

Although this long-term project is ongoing, our initial analyses have revealed that the accuracy of students’ self-evaluations of performance—that is, how well they think they did compared with how experts would typically do— varied across the different aspects of the clinical encounter.13 Specifically, students were more likely to overestimate and to be generally less accurate in their self- evaluations of performance while taking a patient history than while completing a physical exam.

특히, 환자 병력청취 기술을 과대평가하는 학생이 자신의 신체진찰 능력도 과대평가할 가능성이 높지만, 특정 subtask에서의 자기평가의 전반적 부정확성(과대평가든 과소평가든)이 다른 subtask에서의 부정확성을 예측하지는 않았다.

Notably, we also found that students who overestimated their patient history skills were also likely to overestimate their physical exam skills, but that the overall level of inaccuracy (whether overestimated or underestimated) on one subtask did not predict the level of inaccuracy on the other subtask.

마지막으로, 우리는 두 개의 subtask에서, 그들의 성과를 과대평가한 학생들은 자신을 과소평가한 학생보다 [적절한 질문을 하는 능력]과 [필요한 신체 검사를 하는 능력]에서 효율성이 낮았고, 과제수행on-task에 시간을 덜 쏟았음을 확인했다.

Finally, we found that students who overestimated their performance on the two subtasks were less efficient in asking appropriate questions and conducting the required physical exam and spent less time on-task than students who underestimated their performance.

이러한 결과는 예비적이기는 하지만 임상 작업 중 자신의 성과를 정확하게 판단하지 않는 임상의전 의대생들은 자기 평가에 더 정확한 학생들보다 학습과 관련된 참여 행동을 보일 가능성이 적다는 것을 시사한다.

Although preliminary, these results suggest that preclinical medical students who do not accurately judge their performance during clinical tasks are less likely to display engagement behaviors related to learning than students who are more accurate in their self-evaluations.

함의, 미래 방향

Implications and Future Directions

함의

Implications

우리는 SRL 마이크로 분석 프로토콜이 다양한 학생 결과와 연계된 상황별 프로세스 지향 정보를 생성한다는 것을 발견했다. 구체적으로, 연습생들이 임상 과제에 접근하는 전략적 사고의 질은 그들의 성취도 및 수행능력 성과에 대한 중요한 예측 변수다.

We have found that SRL microanalytic protocols generate context-specific, process-oriented information that is linked to various student outcomes. Specifically, the quality of the strategic thinking with which trainees approach clinical tasks is an important predictor of their achievement and performance outcomes.

둘째, i-human 환자 시스템에 포함된 교정 조치

Second, the calibration measures embedded within the i-Human Patients system

우리는 가상 환자의 환자 기록과 신체검사 하위 작업에서 학생들의 자기 성과 평가(즉, 종종 그들의 기술을 과대평가하는 경우)에 어느 정도 안정성이 있다는 것을 발견했지만, 학생들은 자신의 병력청취 기술을 판단할 때 전반적으로 더 큰 부정확성을 보였다.13 따라서 calibration 데이터를 활용하여 의학교육자가 복잡한 임상 과제의 서로 다른 부분에 걸쳐 [학생의 능력에 대한 인식의 부정확성]을 확인할 수 있도록 도와줄 수 있다.

we found that there was some stability in students’ self-evaluations of performance—that is, they often overestimated their skills—across the patient history and physical exam subtasks of the virtual patient encounters, but students showed an overall greater level of inaccuracy when judging their patient history skills.13 Thus, calibration data can help medical educators identify inaccuracies in students’ perceptions of capability across different parts of complex clinical tasks.

이 정보는 두 가지 도움이 된다. 

• 첫째, 우선 감독자가 자신의 기술 수준이나 직무 요구의 특성을 가장 잘 모르는 학생(즉, 직무 전반에 걸쳐 잘못된 교정을 보인 학생)을 식별할 수 있게 해준다. 

• 둘째로, 이 정보는 왜 불일치가 나타났는지, 그리고 그들이 무엇을 의미할 수 있는지에 대한 성찰적 대화에 학생들을 참여시키기 위한 맥락을 제공할 것이다. 감독관은 "당신은 병력청취를 잘 했다고 했지만 사실은 그렇지 않았다. 실적과 실적 예측이 엇갈린 이유는 무엇이라고 보십니까?"와 같이 물어볼 수 있다. 

This information would 

• first enable a supervisor to identify students who are most unaware of their skill levels or the nature of the task demands (i.e., those students who displayed poor calibration across tasks). 

• Second, this information would provide a context for engaging students in reflective conversations about why the discrepancies emerged and what they might mean. A supervisor could ask, “You indicated that you did well on the patient history but in fact you did not. Why do you think there was a discrepancy between your performance and how you predicted that you would perform?”

마지막으로, 의료 교육자가 SRL 마이크로 분석 또는 다른 SRL 평가 도구를 진단 및 피드백 메커니즘으로 사용하려면, SRL 이론과 전형적으로 포함되는 특정 프로세스에 대한 기초 지식을 개발해야 한다(예: 목표 설정, 전략적 계획, 자기 효용성, 원인 속성).

Finally, for medical educators to use SRL microanalysis or another SRL assessment tool as a diagnostic and feedback mechanism, they must develop a foundational knowledge of SRL theory and the specific processes that are typically included (e.g., goal setting, strategic planning, self-efficacy, causal attributions).

미래 방향

Future directions

SRL 미세분석은 형태 형성 및 진단 평가 도구로서의 잠재적 효용성을 가지고 있지만, 이렇게 사용되려면 해야 할 일이 많다. SRL 미세 분석을 임상 과제에 적용함에 있어 진전이 있었으나, 전체 조절 범위 또는 주기를 알아보기 위해서는 더 많은 노력이 필요하다, 

• 접근하는 방식(예측 단계), 

• 전략적으로 관여하는 방식(성과 단계), 

• 평가하는 방식(자기반영 단계)

임상 추론 이외의 과제에 대해 적용하기 위해서도 노력이 필요하다.

Although SRL microanalysis has potential utility as a formative and diagnostic assessment tool, there is much more work to be done regarding its use in this manner. Progress has been made in applying SRL microanalysis to clinical tasks,3,4,12 but greater efforts should be made to examine the full range or cycle of regulation—that is, how individuals approach (forethought phase), strategically engage in (performance phase), and evaluate (self-reflection phase) their clinical task performance—and to apply this assessment methodology to tasks other than clinical reasoning.

또한, 개인의 의료 훈련 또는 실습 중 어느 지점에서라도 underperformance이 발생할 수 있으므로, 선임 의료 훈련생과 함께 SRL 미세분석 방법론의 사용을 탐구하는 것이 적절할 것이다.

Further, because underperformance can occur at any point during an individual’s medical training or practice, it would be relevant to explore the use of SRL microanalytic methodology with senior medical trainees and perhaps even practicing physicians.

---

Acad Med. 2016 Nov;91(11):1516-1521.

Microanalytic Assessment of Self-Regulated Learning During Clinical Reasoning Tasks: RecentDevelopments and Next Steps.

Cleary TJ1, Durning SJ, Artino AR Jr.

Author information

1

T.J. Cleary is associate professor, Graduate School of Applied and Professional Psychology, Rutgers, the State University of New Jersey, Piscataway, New Jersey. S.J. Durning is professor, Department of Medicine and Pathology, Uniformed Services University of the Health Sciences, Bethesda, Maryland. A.R. Artino Jr is professor, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland.

Abstract

Helping medical educators obtain and use assessment data to assist medical students, residents, and physicians in reducing diagnostic errors and other forms of ineffective clinical practice is of critical importance. Self-Regulated Learning-Microanalytic Assessment and Training is an assessment-to-intervention framework designed to address this need by generating data about trainees' strategic processes (e.g., focusing on clinical task procedures), regulatory processes (e.g., planning how to do a task), and motivational processes (e.g., increasing confidence for performing a task) as they perform clinical activities. In this article, the authors review several studies that have used an innovative assessment approach, called self-regulated learning (SRL) microanalysis, to generate data about how trainees regulate their thinking and actions during clinical reasoning tasks. Across the studies, initial findings revealed that medical students often do not exhibit strategic thinking and action during clinical reasoning practice tasks even though some regulatory processes (e.g., planning) are predictive of important medical education outcomes. Further, trainees' motivation beliefs, strategic thinking, and self-evaluative judgments tend to shift rapidly during clinical skills practice and may also vary across different parts of a patient encounter. Collectively, these findings underscore the value of dynamically assessing trainees' SRL as they complete clinical tasks. The findings also set the stage for exploring how medical educators can best use SRL microanalytic assessment data to guide remedial practices and the provision of feedback to trainees. Implications and future research directions for connecting assessments to intervention in medical education are discussed.

PMID:

 

27191840

 

DOI:

 

10.1097/ACM.0000000000001228