의학교육에서 모니터링과 학습의 자기조절: 예상단서의 필요성(Med Educ, 2017)

의학교육에서 모니터링과 학습의 자기조절: 예상단서의 필요성(Med Educ, 2017)

Monitoring and regulation of learning in medical education: the need for predictive cues

Anique B H de Bruin,1 John Dunlosky2 & Rodrigo B Cavalcanti3

도입

INTRODUCTION

의사 결정과 행동을 모니터링 하는 것은 의료전문가의 일상 업무의 중심 부분이다. 자기 모니터링은 또한 많은 양의 정보를 배우고 적응적으로 사용할 수 있어야 하는 의학교육에서, 의대생들의 교육 성과에 기여한다.

Monitoring decisions and behaviour is a central part of medical professionals’ daily practice. Self-monitoring also contributes to performance in medical education, where medical students must learn and be able to adaptively use massive amounts of information.

표 1은 개요를 제공한다.

Table 1 provides an overview

모니터링 판단의 정확성은 의료 교육 및 의료 실무에서 모두 기본이다. 부정확한 판단은 성과를 저해하는 것으로 알려져 있다.1

The accuracy of monitoring judgements is fundamental to both medical education and medical practice. Inaccurate judgements are known to undermine achievement.1

데이비스 외 연구진 6은 외관 관측치와 의사 자신의 성과 평가를 비교한 20개의 경험적 연구에 대한 검토하였는데, 13개 연구에서는 외부 관측치와 자기 평가사이에 거의, 전혀, 또는 반대의 관계있었다.

Davis et al.6 provide a review of 20 empirical studies comparing physicians’ self-assessments of performance with external observations and identify 13 in which there was little, no or an inverse relation between these variables.

우리는 의사로서 모니터링 판단의 정확성을 향상시키는 것은, 이상적으로는 의대생 때부터 학습에 대한 보다 정확한 모니터링을 개발할 수 있도록 도와줌으로서 훈련이 시작되어야 한다고 주장한다. 모니터링 판단은 본질적으로 추론적인inferential 것으로 알려져 있으며, 모니터링은 직무의 난이도나 주제에 대한 관심 같은 단서에 기초한다.7 따라서 모니터링 판단을 개선하려면 학생들이 학습을 판단할 때 사용하는 단서의 질을 향상시켜야 한다.

We argue that improving the accuracy of monitoring judgements by medical professionals should start at the beginning of training, ideally by helping medical students develop more accurate monitoring of their learning. Monitoring judgements are known to be inferential in nature and are based on cues such as perceived difficulty of the task or interest in the topic.7 Improving monitoring judgements therefore entails improving the quality of the cues that students use when making judgements of learning.

모니터링과 통제: 메타인지적 프레임워크

MONITORING AND CONTROL: A METACOGNITIVE FRAMEWORK

우리가 다루려는 모니터링은 자신의 지식을 평가하는 것과 관련이 있으며, 의과 학생의 경우, 그러한 모니터링은 

• 주제를 얼마나 잘 이해하고 있는지(예: 심혈관 계통의 생리학), 

• 얼마나 정확하게 임상 사례를 진단할 수 있는지 또는 

• 얼마나 잘 시술할 수 있는지에 대한 개인의 신뢰도 판단을 수반할 수 있다(예: 요추 펑크).

Monitoring here pertains to assessing one’s knowledge, and for medical students, such monitoring may involve judging one’s confidence in 

• how well one understands a topic (e.g. physiology of the cardiovascular system), 

• how well one can accurately diagnose a clinical case or 

• how well one can perform a procedure (e.g. a lumbar puncture).

모니터링과 통제는 상호작용한다. 모니터링은 학생들에게 학습과 성과를 제어하는 방법(그리고 어떻게)을 알려주고, 학습 목표를 향한 추가적인 발전이 있으면, 이것을 다시 모니터링을 업데이트하는 데 사용할 수 있다. 따라서, 교과서의 어떤 챕터(목표 수준)을 공부하는 동안, 학생은 챕터(메타 수준)의 개념에 대한 자신의 이해에 대해 자신이 없을 수 있으며, 따라서 이해를 증진시키기 위해 특정 부분을 공부하는데 더 많은 시간을 사용하기로 결정한다(제어). 이러한 모니터링-제어 피드백 시스템은 모든 일반적 메타인지 프레임워크에서 명백하다.

Monitoring and control have reciprocal influences: monitoring informs a student about whether (and how) to control their learning and performance, and further progress toward a learning goal can be used to update monitoring. Thus, while studying a textbook chapter (the object level, Fig. 1), a student may not be confident about her understanding of concepts in the chapter (the meta-level), and hence decide to use more time studying specific text segments (control) in the hope of boosting her understanding. Such a monitoring-control feedback system is evident in all general frameworks of metacognition

모니터링 판단의 품질은 보통 '모니터링 정확도'라고 하며, 모니터링 판단과 실제 학습 또는 수행 사이의 관계를 설정하여 결정한다. 모니터링 정확도에는 절대 정확도와 상대정확도의 두 가지 유형이 있다.

The quality of monitoring judgements is usually termed ‘monitoring accuracy’ and is determined by establishing the relation between monitoring judgements and actual learning or performance. two kinds of monitoring accuracy: absolute accuracy and relative accuracy

절대정확도(Absolute recuracy)는 모니터링의 규모가 실제 성과와 얼마나 다른가를 말한다. 예를 들어, 학생이 해부학에 관한 다가오는 시험에서 80%를 획득할 것으로 예상한다면, 시험에서 80%를 획득한다면, 학생은 완벽한 절대 정확성을 가진 것으로 간주될 것이다. 시험 성적이 80% 미만이면 학생은 과신하는 것으로 간주되고, 성적이 80%를 넘으면 과신하는 것으로 간주된다. 학습에 대한 지나친 자신감은 학생들이 공부를 일찍 중단하고 후속 시험에서 나쁜 성적을 거두도록 이끌 수 있다.1 그리고 과신하는 의사결정자들은 나쁜 결정을 다시 방문하고 수정할 기회를 스스로 빼앗을 것이다.

Absolute accuracy refers to the degree to which the magnitude of one’s monitoring differs from actual performance. For example, if a student expects to obtain 80% in an upcoming examination about anatomy, the student would be viewed as having perfect absolute accuracy if he or she scored 80% in the examination. If the examination performance was below 80%, the student would be considered overconfident, and if performance was above 80%, the student would be considered underconfident. Overconfidence in learning can lead students to prematurely stop studying and perform poorly on subsequent tests,1 and overconfident decision makers will rob themselves of the opportunity to revisit and correct poor decisions.

상대정확도는 학생들이 일부 자료와 다른 자료의 학습 수준의 차이를 구별할 수 있는 정도를 말한다. 위의 해부학적 예에서 학생은 이 학습이 한 예로서 발의 뼈보다 무릎 인대에 더 좋다고 판단할 수 있다. 이러한 판단의 차이가 시험에서의 실제 성과와 일치할 경우 상대적 정확도가 높다고 할 수 있다. 상대적 정확도는 일반적으로 모니터링 판단과 실제 성능 사이의 상관 관계를 통해 결정된다. 상대적 정확도가 뛰어나면 효과적인 조절로 이어질 수 있다. 예를 들어, 상대적 정확도가 높은 학생은 공부를 계속할 수 있는 내용이 무엇일지에 대해 더 나은 결정을 내리므로 상대적 정확도가 낮은 학생보다 더 나은 성과를 낼 수 있다.n.11

Relative accuracy refers to the degree to which students can discriminate between the differential learning for some materials versus others. In the anatomy example above, the student may judge this learning to be better for the ligaments of the knee than for the bones of the foot, as one example. If this differentiation matches actual performance on the examination, relative accuracy is high. Relative accuracy is usually determined through a correlation between monitoring judgements and actual performance. Excellent relative accuracy can also lead to effective regulation; for instance, when preparing for an examination, students with higher relative accuracy make better decisions about which materials to continue studying and hence perform better than students with poor relative accuracy, who may direct their study efforts in a less efficient fashion.11

중요한 것은, 두 종류의 정확성이 반드시 관련있는 것은 아니다라는 점이다: 학생은 완벽한 상대적 정확성을 보일 수 있고 동시에 지나치게 자신에 대해 과대평가할 수 있다.

Importantly, the two kinds of accuracy are not necessarily related: a student can show perfect relative accuracy and at the same time be overconfident.

모니터링 정확도: 단서 진단력과 단서 활용성

MONITORING ACCURACY: CUE DIAGNOSTICITY AND CUE UTILISATION

학생들은 어떻게 그들의 학습과 성과를 모니터하는가?

How do students monitor their learning and performance?

우리는 직접 접근이라고 불리는 하나의 가능한 메커니즘을 배제하는 것으로 시작한다.

We begin by ruling out one possible mechanism, called direct access,

코리앗에 의해 증명된 바와 같이, 사람들은 그들의 인지 상태의 퀄리티에 직접적으로 접근access하지 못한다. 기억의 강도를 판단하든 결정의 정확성을 판단하든 간에, 사람들은 자신의 인지 상태의 품질을 직접적으로 평가할 수 없다.

As demonstrated by Koriat,8,12 people do not have direct access to the quality of their cognitive states. Whether judging the strength of a memory or the accuracy of a decision, people are just not capable of directly assessing the quality of their cognitive states.

인지 자기 모니터링에 대해서 우리는 큐 활용 프레임워크에 기초하여 이해한다.8 이 프레임워크에 따르면, 모니터링 판단은 다양한 단서에 기초한다.

Our understanding of cognitive self-monitoring is to a great extent based on the cue-utilisation framework.8 According to this framework, monitoring judgements are based on a variety of cues,

여러 단서들이 학생들이 자신의 학습이나 성과를 판단할 때 떠오르는데, 학생들은 이 단서들을 사용하여 그들이 잘 배우는지, 잘 하고 있는지를 추정한다. 

• 하나의 단서는 진단이 생각나는 속도일 수 있으며, 더 빠른 결정은 정확할 가능성이 더 높다. 

• 또 다른 단서는 특정 질병의 유병률일 수 있으며, 덜 흔한 질병에 대한 자신감이 낮게 판단될 수 있다.

• 또한 학생들이 특정 조건에 익숙하다는 것(이전의 사례나 강의 시간에 근거함)도 그들이 올바른 진단을 받았는지에 대한 그들의 판단에 영향을 미칠 수 있다.

These cues come to mind when students judge their learning or performance, and students use these cues to estimate whether they are learning and performing well. 

• one cue may be the speed with which the diagnosis comes to mind, with faster decisions being associated with a higher likelihood of being correct. 

• Yet another cue may be the prevalence of a particular disease, with less common diseases potentially leading to lower judged likelihood. 

• Similarly, students’ familiarity with a particular condition (based on previous cases or teaching sessions) may also influence their judgement of whether they have the correct diagnosis.

그런 다음, 평가 모니터링의 정확성은 이용 가능한 단서가 학생들의 실제 학습 또는 실제 수행의 예측력 또는 '진단력' 정도에 따라 달라지며, '단서 진단력'이라는 개념으로 불린다. 학습이나 성과를 측정하는 데 사용되는 단서가 정확할수록 그에 따른 판단이 더 정확해진다. 예를 들어, 학생이 "익숙함"을 단서로 사용할 때, 판단의 정확성은 그러한 "익숙함"을 가지고 스스로의 정확한 진단능력을 어느 정도까지 예측할 수 있느냐에 따라 달라진다.

The accuracy of monitoring judgements then depends on the extent to which the available cues are predictive or ‘diagnostic’ of students’ actual learning or actual performance, a concept termed ‘cue diagnosticity’.13 The more accurate the cues used to gauge learning or performance, the more accurate the ensuing judgement. When a student uses familiarity with the condition as a cue, judgement accuracy depends on the extent to which familiarity is predictive of the student’s ability to formulate the correct diagnosis.

우리는 이 논문에서 토론하는 동안 '예측적 단서'라는 용어를 선호해왔다.

we have favoured the term ‘predictive cue’ throughout our discussions in this paper.

단서 활용성. 일반적으로 여러 단서가 사용 가능하며, 그 중 일부는 다른 단서보다 예측력이 좋다. 학생들이 예측적 단서를 선택하고 비예측적 단서를 무시해야만 정확한 모니터링 판단에 도달할 것이다. 위의 예에서, 친숙함은 말하자면 질병의 만연보다 더 예측적 단서일 수 있다. 만약 그렇다면, 학생이 자신의 판단을 친숙함에 기초하는 것이 더 나을 것이다.

cue-utilisation. Typically, several cues are available, some of which are more predictive than others. Only when students select predictive cues and disregard non-predictive cues will they arrive at an accurate monitoring judgement. In the example above, familiarity may be a more predictive cue than, say, prevalence of disease. If that is the case, it would be preferable for the student to base her judgement on familiarity.

그림 2. 큐 진단력은 단서와 실제 학습 또는 수행 사이의 관계에 따라 달라지며, 따라서 학생이나 연습생에게 학습 수준이나 수행 정도를 알려준다.

Fig. 2. Cue diagnosticity depends on the relation between cues and actual learning or performance, and as such informs students or trainees about their level of learning or performance.

리스닝 및 성능의 모니터링 및 조정을 촉진하기 위한 기본권 사용 촉진

IMPROVING USE OF PREDICTIVE CUES TO IMPROVE MONITORING AND REGULATION OF LEARNING AND PERFORMANCE

비예측적 단서에 의존하는 것은 잘못된 판단을 초래하여 부정확한 모니터링을 초래한다. 한 가지 보편적이지만 종종 비예측적인 단서는 사람들이 정보를 처리하는 속도('유창성'이라고도 함)이다. 이 속도에는 새로운 정보를 배우는 속도나 시험에서 답을 생성하는 속도가 포함된다.

Reliance on non-predictive cues leads to incorrect judgements, resulting in inaccurate monitoring. One pervasive, but often non-predictive, cue is the speed with which people process information (also termed ‘fluency’), whether it involves the speed of learning new information or the speed of generating answers on a test.

즉, 자신의 배움을 정확하게 판단하는 것은 본질적으로 어렵다. 학습 결과에 대한 직접적인 접근 없이, 사람들은 종종 부정확한 비예측적 단서에 의존한다.

This example highlights inherent difficulties of accurately judging one’s learning. Without direct access to learning outcomes, one resorts to using available cues to infer it, often inaccurately.

자가생성된 예측적 단서

Self-generating predictive cues

모니터링을 개선시키려면 예측 단서의 가용성을 높여야 하며, 이에 더하여 학습 및 성과를 모니터링할 때 이러한 단서에 더 의존하게 만드는 것을 목표로 해야 한다.

Interventions to improve monitoring should target improving availability of predictive cues and reliance on these cues for monitoring learning and performance.

가장 많이 조사된 예측적 단서 사용의 촉진방법 중 하나는 [학생들이 학습 과제를 시뮬레이션하는 작업에 참여]하도록 하는 것이다. 이렇게 하면 mental 시뮬레이션은 그 학생의 지식이나 수행 정도를 알려주는 시험으로 작용한다. 시뮬레이션은 학생이 가지고 있는 지식이나 기술을 활성화해야 하지만 기준 과제와 동일할 필요는 없다.

Possibly the most investigated predictive cue prompt is to have students engage in a task that simulates their learning task. Mental simulation then acts as a try-out test that informs the student of his or her level of knowledge or performance. Simulations should activate the knowledge or skills the student possesses but need not be identical to the criterion task.

한 가지 자주 인용되는 예는 학생들이 텍스트를 공부한 후에 키워드를 생성하도록 하는 것이다. 11,15 이 키워드 연구에서 학생들은 텍스트 집합을 읽는다(일반적으로 약 1000단어). 독서를 마친 학생들은 각 글의 본질을 포착한 5개의 키워드를 작성하라는 지시를 받았다. 키워드를 생성하면 상대적 모니터링 정확도가 향상되었으며, 학생들의 모니터링 판단과 본문 시험의 성적 사이의 상관관계는 0.71(키워드를 생성하지 않은 0.25에 불과함)이었다.

One often-cited example is having students generate keywords after studying a text.11,15 In these keyword studies, students read a set of texts (usually around 1000 words long). After reading, students were instructed to formulate five keywords that captured the essence of each text. Generating keywords improved relative monitoring accuracy; the correlation between students’ monitoring judgements and their performance on a test of the texts was 0.71 (compared to only 0.25 without generating keywords).

추측건대, 키워드 생성은 '문자의 situated model'이라고 불리는 것에 대한 학생들의 표현을 이끌어낸다. 16 이것은 텍스트의 요약문을 쓸 때 일어나는 일과 유사하다..11 상황 모델situated model은 [학생의 기존 지식과 통합된, 텍스트에 대한 학생들의 지식]을 보여주며, 여기에는 핵심 개념과 그들 사이의 관계가 포함된다.

Presumably, keyword generation elicits students’ representation of what is called the ‘situation model of the text’,16 similar to what happens when writing a summary of a text.11 The situation model represents the student’s knowledge of the text, including key concepts and their inter-relations, integrated with the student’s prior knowledge.16

키워드를 생성하는 것은 각 텍스트에 대한 상황 모델의 시뮬레이션으로 생각되며, 학생들이 잘 배운 텍스트와 덜 배운 텍스트를 구별할 수 있도록 도와준다. 텍스트의 요약을 만드는 것과 비슷하게, 숙어를 공부할 때 문장을 만드는 것, 인과관계를 연구할 때 도표를 완성하는 것 등도 유사한 결과를 보여주었다.

Generating keywords is thought to act as a simulation of the situation model for each text, and helps students differentiate between well-learned versus less well-learned texts. Similar results have been found when generating summaries of texts,17 generating sentences when studying idioms18 and completing diagrams when studying causal relations.19

키워드 효과에 대한 연구는 효과적인 예측 신호 프롬프트의 두 가지 중요한 특징, 즉 판단 지연과 자가 생성을 확인했다. 키워드 생성은 키워드가 학습 후 일정 시간 지연된 상태에서 생성될 경우에만 판단 정확도를 향상시킨다. 이 때 지연delay은 몇 분 이상 또는 정보가 단기 기억장치에서 없어지는 데 걸리는 시간 만큼만 길면 된다.

Research on the keyword effect has identified two crucial characteristics of effective predictive cue prompts: delaying judgements and self-generation. Keyword generation only improves judgement accuracy if keywords are generated at a delay after study. The delay need not be longer than several minutes, or about as long as it takes for information to decay from short-term memory.

이러한 지연의 필요성은 모니터링-이중-메모리 가설을 통해 설명된다20: 텍스트 연구 후 즉시 키워드를 생성하는 것은 단기 메모리에서 정보를 사용한다.

The necessity of this delay is explained by means of the monitoring-dual-memories hypothesis20: generating keywords immediately after studying a text uses information from shortterm memory.

지연된 상태에서는, 키워드 생성을 장기 기억에서 검색해야 하며, 이것은 실제 시험에서 사용 가능해야 하는 메모리와 더 유사하다.

Delayed keyword generation requires retrieval from longterm memory, which more closely resembles memory available at the time of the test.

선언적 지식에 기초한 학습 과제에서 지연의 필요성이 거듭 확립되어 왔지만, 이것이 절차적 기술이나 추리적 기술에도 적용되는지는 명확하지 않다.

The necessity of a delay has been repeatedly established in learning tasks based on declarative knowledge, but it is not clear whether this also applies to procedural or reasoning skills.

예측적 단서 촉진의 또 다른 중요한 점은 자가생성의 필요성이다. Tiede 외 연구진 21은 스스로 키워드를 만든 학생들과 다른 학생들에 의해 생성된 키워드를 읽은 학생들을 비교했고, 첫 번째 그룹에서만 판단 정확도에 긍정적인 영향을 발견했다.

Another central aspect of predictive cue prompts is the need for self-generation. Thiede et al.21 compared students who self-generated keywords with students who read keywords generated by others, and found positive effects on judgement accuracy only in the first group.

자가 생성된 단서의 스캐폴딩

Scaffolding self-generative cue prompts

단서를 자가생성하는 활동에서 예측적 단서를 얻었더라도, 어떤 경우에는 개별 학생이 해석할 수 없는 상황이 발생할 수 있다. 던로스키, 하트비히, 로슨, 립코22의 연구에서 학생들은 과학 교과서를 읽도록 요청받았는데, 각각 4개의 핵심 용어와 정확히 배워야 할 용어의 정의를 포함하고 있었다.22

Circumstances can arise in which self-generative cue prompts lead to predictive cues that are not interpretable by individual students. In work by Dunlosky, Hartwig, Rawson and Lipko22 students were asked to read science texts, each containing four key terms and their definitions that needed to be correctly learned.22

놀랍게도, 학생들이 그들의 성적을 판단하기 전에 주요 용어에 대한 정의를 내리게 하는 것은 여전히 낮은 절대 감시 정확도로 이어졌다 – 그들의 판단은 실질적으로 과신했다. 이는 학생들이 자신이 검색한 정의의 질을 스스로 평가하지 못하고 대신 예측성이 떨어지는 단서, 즉 '접근가능성'에 의존하기 때문일 가능성이 있었다. 즉, 학생들은 그 정의의 질에 상관없이 어떤 정의에 접근할 수 있을 때 그들의 학습에 자신 있었다.

Puzzlingly, having students generate definitions of key terms prior to judging their performance still led to poor absolute monitoring accuracy – their judgements were substantially overconfident. This was likely to be because of students’ inability to self-assess the quality of the definitions they had retrieved, instead relying on a less predictive cue, namely ‘accessibility’. That is, students were confident in their learning when they were able to access any definition, regardless of the quality of that definition.

예를 들어, 핵심용어 실험에서, 모니터링 정확도를 향상시키기 위한 첫 번째 시도로 학생들에게 자체 생성된 정의를 판단할 때 실제 정의를 함께 제공하였다. 그렇게 하는 것은 그들의 과신을 감소시켰지만, 그들은 여전히 완전히 틀린 정의를 정확히 떠올렸다고 종종 말했다. 그러나, 이러한 support가 각각의 정의를 작은 아이디어로 분리한 아이디어 단위idea units를 포함했을 때, 자기과신은 거의 사라졌다. 학생들은 자신이 쓴 정의에 제공된 아이디어 유닛이 존재하는지 평가하도록 요청받았고, 그렇게 함으로써 자기과신을 극적으로 줄일 수 있었다.

For instance, in the key term study, a first attempt to improve monitoring accuracy involved supplying students with the actual definition at the time of judging their self-generated definitions. Doing so did reduce their overconfidence, but they still often said that they had correctly recalled a definition that was entirely incorrect. Overconfidence was nearly eradicated, however, when the support included the presentation of idea units in which each definition was separated into its smaller ideas. Students were asked to evaluate whether each idea unit was present in their self-generated definition, and doing so dramatically reduced overconfidence.

자가생성적 단서가 실패하는 경우: 예측 단서 사용에 대한 명시적 교육

When self-generative cue prompts fail: explicit teaching of predictive cue use

특정 학습 상황에서 판단 과제에 대한 효과적인 자기 생성 신호 프롬프트를 설계하는 것은 불가능할 수 있다. 두 가지 경우가 있는데, 첫째, 학습 과제가 생성하는 예측 단서가 직관에 반하는 것처럼 느껴질 때, 둘째, 시험 응시 상황에서 그러하다.

For certain learning situations, it may be impossible to design an effective self-generative cue prompt for a judgement task. First, when the predictive cues a learning task generates are experienced as counterintuitive, and second, in test-taking situations.

예를 들어, 첫 번째는 학습 시간 간격spacing 학습 또는 학습 중 자가 테스트와 같은 학습 전략과 같은 경우가 그러하다. 이러한 학습 전략이 만들어내는 어려움의 느낌은 비록 그 전략이 학습을 향상시키더라도 학생들이 그들의 학습을 낮게 판단하도록 이끌 수 있다. 따라서 학습 촉진에 효과가 있다는 강력한 증거에도 불구하고 시험testing과 간격sparing을 사용하였다고 보고하는 학생은 거의 없다.23

The first happens, for example, learning strategies such as spacing learning sessions or self-testing during learning. The feeling of difficulty these learning strategies generates can lead students to judge their learning as low even though the strategies improve learning. Therefore, few students report using testing and spacing, despite robust evidence indicating their effectiveness in promoting learning.23

이러한 조작의 소위 '바람직한 어려움' – 도입을 학생들은 거의 인정하지 않는다.23 26 그러한 경우, 학생들은 이러한 전략의 긍정적인 효과와 이와 같은 예측 단서의 반직관적인 성격에 대해 직접 배울 필요가 있다.

The so-called ‘desirable difficulties’ these manipulations – introduce are hardly ever recognised by students.23 26 In such cases, students need to be directly taught about the positive effect of these strategies and the counterintuitive nature of the predictive cues they generate.

둘째, 학습 중 모니터링에 초점을 맞춘 효과적인 개입에 대해 검토한 문헌이 있다. 그러나, 학생들은 자신의 퍼포먼스를 정확하게 모니터할 수 있어야 한다(예: 임상 결정을 내리거나 시험을 볼 때). 테스트 응시 상황을 생각해보자. 학생들은 어떻게 그들이 그들의 고른 답안이 옳은지를 어떻게 모니터할 수 있으며, 혹은 정확한 기준이 없을 때 어떤 반응을 받아들일지adapt response 모니터할 수 있는가? 그러한 경우, 학생들은 자신의 시험 수행 행동을 분석함으로써 예측 단서를 추론할 수도 있다(예: 응답 생성에 소요된 시간 또는 노력 분석). 

Second, the literature reviewed above on effective interventions focused on monitoring during learning. However, students must be able to accurately monitor performance too (e.g. when making clinical decisions or taking a test). Consider a test-taking situation: How do students monitor whether they are correct in their test responses or when they should adapt some of the responses in the absence of a cor-rect standard? In such cases, students can also deduce predictive cues from analysing their own test-taking behavior (e.g. analysing how much time or effort it took to generate a response). 

앞의 사례에서, [아이디어 유닛]을 포함한 지원은 [아이디어 유닛]이 산출물을 평가하는 데 도움을 주었고, 이로 인해 제공되는 스스로 작성한 답안을 평가하는 예측 단서가 개선되었다. 중요한 것은, 학생들에게 제공되는 피드백이나 지원이 [학생들이 작성한 답안의 퀄리티와 관련하여 학생들이 스스로 평가할 수 있는 방식으로 제시되어야 한다]는 것이다.

The support including idea units aided them in evaluating their output, which led to improved availability and use of the predictive cues the self-generation task provided. What appears crucial is that the feedback or support relates to the quality of generated content and that it is presented in a way that enables students to self-evaluate.

Eva와 Regehr28,29는 학생들이 답을 고르는 데 시간이 오래걸리는 것을 부족한 지식의 신호로 본다는 것을 보여준다. McConnell 외 연구진 외 연구진들은 이 접근방법을 캐나다 자격심사 파트 1의 고위험의학협의회로 확장하고 

(i) 질문에 대한 응답에 필요한 시간, 

(ii) 추가 검토가 필요하다고 확인된 질문의 수(예: 'flag'해둔 질문), 

(iii) 최초 선택한 답안의 변경 가능성 등을 분석하였다. 

이 세가지 지표는 모두 응답의 정확성과 관련이 있었고 정확한 자기 모니터링의 증거를 제시했다. 정답을 골랐을 때에 비해, 학생들은 틀린 문항에서 더 오랜 시간이 걸렸고, 이 항목들에 플래그를 붙일 가능성이 높았으며, 초기 답을 바꿀 가능성이 더 높았다.

Eva and Regehr28,29 shows that students interpreted their longer decision times as a sign of less knowledge. Research by McConnell et al.30 extended this approach to the high-stakes Medical Council of Canada Qualifying Examination Part I and analysed (i) the time needed to respond to questions, (ii) the number of questions students identified as needing further consideration (i.e. questions that were ‘flagged’) and (iii) the likelihood of changing their initial response. All three of these indices were related to correctness of responses and indicated proof of accurate self-monitoring: compared with correct answers, students took longer to provide incorrect answers, were more likely to flag these and were more likely to change their initial answer.

학생들에게 의사결정 시간과 모니터링 판단에 정보를 제공하는 데 사용하는 방법과 같은 행동 단서의 예측 가치에 대해 분명하게 가르치는 것은 시험 응시 중 모니터링과 조절regulation를 개선하기 위한 가능한 효과적인 전략이다.

Teaching students explicitly about the predictive value of behavioural cues such as decision times and how to use them to inform monitoring judgements is a possibly fruitful strategy to improve monitoring and regulation during test taking.

의학교육에 단서 진단력과 단서 활용성의 적용

APPLICATION OF CUE DIAGNOSTICITY AND CUE UTILISATION IN MEDICAL EDUCATION

개념지식 습득

Gaining conceptual knowledge

위에서 설명한 증거를 바탕으로 우리는 (학습 후 약간의 지연을 둔)자가-생성 단서 프롬프트가 학생들이 개념적 지식(예: 의학 교과서 장 또는 과학 기사)을 배울 때 예측 단서를 활성화하는 데 도움이 될 것으로 예측한다. 학생들이 키워드를 생성하거나, 요약문을 작성하거나, 일부 학습 내용에 대한 구조화된 다이어그램을 완성하는 등의 프롬프트가 이 범주에 포함됨19–21

Based on the evidence outlined above, we predict that self-generative cue prompts (possibly at a delay after learning) will help students activate predictive cues when learning conceptual knowledge (e.g. from medical textbook chapters or scientific articles). Prompts such as having students generate keywords, write a summary or complete a structured diagram about some studied information fall into this category19–21

학생들이 먼저 예측 단서를 생성하고 인식하여 보다 통제된 환경(예: 텍스트 연구에 초점을 맞춘 강의실 환경)에서 사용하도록 교육하는 것은 (강의 중이나 시험을 볼 때와 같이) 교실 밖에서 자기 주도 학습 중에 예측 단서 사용을 개선할 수 있는 길을 닦아줄 것이다. 이러한 연구는 각 설정에서 예측(비예측적) 단서의 특성에 대한 통찰력을 제공할 수 있도록 설계되어야 한다.

Training students to first generate and then recognise and use predictive cues in a more controlled setting (such as a classroom environment focusing on text study) could pave the way for improving predictive cue use during self-directed learning outside of the classroom, during a lecture or when taking a test. These studies should be designed in such a way as to provide insight into the characteristics of predictive (versus non-predictive) cues in each of these settings.

신호 전달 개입cue-prompt intervention의 사용이 증가함에 따라 [(일반적) 성찰 교육]보다는 [특정 직무에 초점을 둔 교육]으로 촛점이 이동할 수 있다는 점에 유의하십시오. 일반적으로 [학습 과제, 기술, 교육 과정 또는 인턴십(예: 포트폴리오를 통한) 전반에 걸친 성찰]에 중점을 두는 현재의 상황과 비교한다면, 이 새로운 물결은 단일 학습 과제의 모니터링 및 조절이라는 미세 영역으로 줌-인할 것이다.

Note that increased use of cue-prompt interventions may promote a shift of instruction on reflection towards a focus on specific tasks. Compared with the current situation where the emphasis typically lies on reflection across learning tasks, skills, courses or internships (e.g. through a portfolio)31, this new wave will zoom in on the micro-level of monitoring and regulation of a single learning task.

임상추론

Clinical reasoning

학생들이 개념적 지식을 처리하는 것에 대한 감시적 판단과는 달리, 학생들이 임상 추론을 모니터링할 때 사용하는 단서에 대해서는 거의 알려져 있지 않다. 임상 추론 중 큐 사용에 대해 알려진 것은 의학 전문가들의 연구에 기초한다. 예를 들어, 전문가들은 임상 실습 중 [처리 속도가 느려지는 것]을 처리 난이도가 높아진 것에 대한 신호로 해석하고 그들의 행동을 조정하기 위한 신호로 알려져 있다(예: 동료로부터 도움을 구함). 이러한 속도 저하는 전문가가 '자동성의 가장자리edge'에 도달한 것으로 해석된다. 그러나, 속도 저하 신호는 전문가의 자동성에 따라 달라지며 초보자에게는 효용이 제한되어 있다.

Contrary to students’ monitoring judgements of processing conceptual knowledge, very little is known about the cues students use when monitoring clinical reasoning. What is known about cue use during clinical reasoning is based on research by medical experts. For example, experts are known to interpret their own slowing down during clinical practice33 as a cue for processing difficulty and as a sign to adjust their behaviour (e.g. seek help from a colleague). This slowing down is interpreted as the expert reaching the ‘edges of their automaticity’. However, the slowing down cue depends on expert automaticity and is of limited utility for novices.

예를 들어, 고충실도 시뮬레이터를 사용한 심장 진단에 대한 연구는 trainee들이 짧은 임상 줄기로부터 제공된 정보에 과도하게 의존한다는 것을 밝혀냈다.

For instance, studies on cardiac diagnosis using a high-fidelity simulator have identified that trainees rely excessively on the information provided from a short clinical stem.

즉, trainee는 (임상 줄기가 아니라) 신체 검사에서 얻은 단서에 의존할 수 없었고, 진단 인상을 형성하는 데 있어서 (임상 기록의 예측 단서보다) 덜 가치 있는 단서들을 과대평가했다는 것을 시사한다. 보고된 신뢰도의 범위가 매우 넓다는 것은 또한 trainee들이 심장 진단에서 정확성에 대한 판단을 형성할 때 비예측적 단서에 집중하고 있음을 보여준다.

These experiments suggest that trainees were unable to rely on cues from their physical examination and instead overvalued less predictive cues from clinical history in forming their diagnostic impressions. The wide range of reported confidence, with both under- and overconfidence, also indicates these trainees are attending to non-predictive cues when forming judgements of their accuracy in cardiac diagnosis.

임상적 추론에서 최소 기준에 맞춘 성과의 판단은 특히 중요하다. 학생들은 환자를 안전하게 치료할 수 있는지, 그리고 그렇게 할 수 있는 지식과 기술을 가질 수 있는지를 스스로 모니터링 하는 방법을 배워야 한다. 이는 예측 단서 프롬프트 개발에 포함되어야 한다(예: 언제 도움을 요청해야 하는지 알고, 지식과 기술이 실패했을 때 인지하도록 학생들에게 요구하는 것). 효과적인 큐 프롬프트가 정의되면, 그러한 지침은 자습 학습을 촉진하는 자습자 독립적인 자료를 통해서도 구현될 수 있다.39

In clinical reasoning, judgement of performance relative to a minimum standard is of particular importance. Students should learn to monitor whether they can safely treat a patient and have the knowledge and skills to do so. This should be incorporated in development of predictive cue prompts (e.g. by requiring students to reflect on issues such as knowing when to ask for assistance and recognising when their knowledge and skills fail). Once effective cue prompts are defined such instruction could also be implemented through tutor-independent materials promoting self-regulated learning.39

결론

CONCLUSION

의대생과 연습생의 학습 및 성과에 대한 정확한 판단은 예측 단서의 사용 가능성과 실제 사용에 달려 있다. 인지 심리학 연구는 학습과 성과를 판단하기 전에 스스로 예측 단서를 생성하면 학습과 성과의 모니터링과 조절를 개선할 수 있다고 제안한다. 그러나 이러한 연구의 대부분은 실험실 같은 학습 환경에 기초하였다.

Medical students’ and trainees’ accurate judgements of learning and performance critically depend on the availability and use of predictive cues. Cognitive psychology research suggests that self-generating predictive cues prior to judging learning and performance can improve monitoring and regulation of learning and performance. However, the majority of these studies were based in laboratory-like learning environments.

30 McConnell MM, Regehr G, Wood TJ, Eva KW. Self-monitoring and its relationship to medical knowledge. Adv Health Sci Educ 2012;17 (3):311–23. XXX

---

Med Educ. 2017 Jun;51(6):575-584. doi: 10.1111/medu.13267. Epub 2017 Mar 23.

Monitoring and regulation of learning in medical education: the need for predictive cues.

de Bruin ABH1, Dunlosky J2, Cavalcanti RB3.

Author information

1

Maastricht University, Maastricht, The Netherlands.

2

Kent State University, Kent, Ohio, USA.

3

University of Toronto, Toronto, Ontario, Canada.

Abstract

CONTEXT:

Being able to accurately monitor learning activities is a key element in self-regulated learning in all settings, including medicalschools. Yet students' ability to monitor their progress is often limited, leading to inefficient use of study time. Interventions that improve the accuracy of students' monitoring can optimise self-regulated learning, leading to higher achievement. This paper reviews findings from cognitive psychology and explores potential applications in medical education, as well as areas for future research.

COGNITIVE PSYCHOLOGY:

Effective monitoring depends on students' ability to generate information ('cues') that accurately reflects their knowledge and skills. The ability of these 'cues' to predict achievement is referred to as 'cue diagnosticity'. Interventions that improve the ability of students to elicit predictive cues typically fall into two categories: (i) self-generation of cues and (ii) generation of cues that is delayed after self-study. Providing feedback and support is useful when cues are predictive but may be too complex to be readily used.

APPLICATION TO MEDICAL EDUCATION:

Limited evidence exists about interventions to improve the accuracy of self-monitoring among medical students or trainees. Developing interventions that foster use of predictive cues can enhance the accuracy of self-monitoring, thereby improving self-study and clinical reasoning. First, insight should be gained into the characteristics of predictive cues used by medical students and trainees. Next, predictive cue prompts should be designed and tested to improve monitoring and regulation of learning. Finally, the use of predictive cues should be explored in relation to teaching and learning clinical reasoning.

CONCLUSIONS:

Improving self-regulated learning is important to help medical students and trainees efficiently acquire knowledge and skills necessary for clinical practice. Interventions that help students generate and use predictive cues hold the promise of improved self-regulated learning and achievement. This framework is applicable to learning in several areas, including the development of clinical reasoning.

© 2017 The Authors Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

Comment in

• Cues for self-regulation: it's difficult to make predictions, especially about the future. [Med Educ. 2017]