의과대학생의 학습 목표를 지정하기: 지시한대로 따르는가? 만약 그렇지 않다면? (Med Teach, 2019)

의과대학생의 학습 목표를 지정하기: 지시한대로 따르는가? 만약 그렇지 않다면? (Med Teach, 2019)

Assigning Medical Students Learning Goals: Do They Do It, and What Happens When They Don’t?

Julian Manzonea, Glenn Regehrb , Shawn Garbedianc, and Ryan Brydgesa,d

aWilson Centre, University Health Network; Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada; bCentre for Health Education Scholarship and Department of Surgery, University of British Columbia, Vancouver, British Columbia, Canada; cNorth York General Hospital, Toronto, Ontario, Canada; dDepartment of Medicine, University of Toronto and Allan Waters Family Simulation Centre, St. Michael’s Hospital, Toronto, Ontario, Canada

도입

Introduction

학습 시간을 최적화하기 위해서는 연습생들이 효과적인 자기 조절학습(SRL)에 참여해야 한다.1 그러나 실제로 연습생들은 종종 자신이 무엇을 모르는지 모르고, 2 자신의 학습 목표를 설정하는 데 어려움을 나타내며, 3 감독자와 환자의 우선순위와 자신의 목표 사이에서 협상하는 것을 어려워한다.4,5

To optimize such learning time trainees must engage effectively in self-regulated learning (SRL).1 In practice, however, trainees often don’t know what they don’t know,2 express difficulty in setting their own learning goals,3 and experience challenges negotiating their goals with the priorities of their supervisors and patients.4,5

SRL 최적화를 지원하는 교육자: 

• 연습 시간을 효과적으로 스케줄링할 수 있도록 돕는 것이 포함될 수 있다(예: 언제 어떻게 공부할 것인가).

• 주요 학습 성과를 촉진하는 방식으로 콘텐츠 제시(예: 개념적 및 절차적 지식을 통합하는 동영상)

• SRL에 주의를 기울이는 데 도움이 되는 학습 조건 설계(예: 목표를 설정하는 방법)

support trainees to optimize their SRL.6,7: 

• supports might include helping trainees schedule their practice time effectively (e.g., when and how to study),8,9 

• presenting content to them in ways that facilitate key learning outcomes (e.g., videos that integrate conceptual and procedural knowledge),10 and 

• designing learning conditions that help them attend to relevant aspects of their SRL (e.g., how to set goals).4,5,11,12

의학 교육 외 분야에서 이뤄진 연구에 따르면, 기술 습득을 목표로 할 때, 학습자가 프로세스 목표(즉, 결과를 도출하기 위해 취한 조치)를 설정하도록 지시하는 것이 결과 목표(즉, 성과물)를 설정하도록 방향을 정하는 것보다 즉각적으로 측정된 성과를 더 좋게 이끈다는 것을 보여주었다.13-15 이러한 연구 결과와 대조적으로, 의학교육에서, 봉합 기술을 배울 때 프로세스 목표를 설정했던 초보 의대생들은 결과 목표를 설정한 그룹과 비교할 때 유의미한 이점이 없었다.15

Goal setting research exploring the acquisition of skills outside medical education has shown that orienting learners to set process goals (i.e., the steps taken to produce an outcome) leads to better performance gains, measured via an immediate postintervention test, than does orienting them to set outcome goals (i.e., products of performance).13–15 In contrast to these findings, within medical education, a study orienting novice medical students to set process goals when learning suturing skills produced no significant benefits compared to a group that was oriented to set outcome goals.15

그러나, 기존의 연구는 학습과 기억에 대한 일회성 시험결과만을 보여준 것이었다. 모터 학습motor learning을 연구한 사람들은, 이런 학습은 "통장잔고savings"의 비유로 더 잘 개념화 될 수 있다고 주장한다. 특히 참가자들이 1주 이상의 retention 기간 후에, 일련의 수행 시도를 통해 더 빠르고 잠재적으로 더 광범위한 재학습 가능성을 보여줄 수 있다.

however, As an alternative to such single-trial demonstrations of learning and memory, researchers in motor learning argue that learning might be better conceptualized as “savings,”16 specifically the potential for participants to show faster and potentially more extensive relearning over a series of performance attempts, after they experience a retention period of 1 week or more.

Methods

Study setting

Study design

Figure 1 depicts our study design.

Participants

Via e-mail, 우리는 약 500명의 학부 의대생들의 풀에서 참가자들을 모집했다.

Via e-mail, we recruited participants from a pool of approximately 500 undergraduate medical students

우리의 평가 도구는 이 연구를 위해 특별히 제작되었기 때문에, 우리는 표본 크기 계산을 수행할 데이터가 없었다. 그러나, 우리가 선택한 표본 크기를 통해 약 0.9 표준 편차의 효과 크기를 볼 수 있을 것이다.

As our assessment tool was constructed specifically for this study, we did not have data to conduct a sample size calculation. However, our selected sample size would enable us to see an effect size of approximately 0.9 standard deviations.

Materials

모든 참가자들은 시나이 병원의 수술 스킬 센터에서 제공하는 봉합과 매듭 묶는 기술에 대한 3분짜리 교육 비디오를 접할 수 있었고, 곡선 바늘에 실리콘 스킨 패드, 조직 힘줄, 가위, 바늘 드라이버, 실크 봉합 등을 제공받았다(Sofsilk 3-0 GS-832 V-20; Medtronic, Minnapolis, MN).

All participants had access to a 3-minute instructional video on suturing and knot tying skills provided by the Surgical Skills Center at Mount Sinai Hospital and were provided with a silicone skin pad, tissue forceps,scissors, a needle driver, and silk sutures on a curve needle (Sofsilk 3-0 GS-832 V-20; Medtronic,Minneapolis, MN).

Procedure and educational interventions

우리의 일차적인 조작은 훈련생들에게 Brydges 등에 기술된 프로토콜과 유사한 방식으로 훈련 중 프로세스 목표 또는 결과 목표를 설정하도록 방향을 설정하도록 지원했다. 그러나 우리는 각각 그 영향을 개선하기 위해 설계된 프로토콜에 세 가지 변경을 가했다.

Our primary manipulation was to support trainees by orienting them to set either process goals or outcomes goals during training in a manner similar to the protocol described in Brydges et al.15 However we made three changes to that protocol, each designed to improve its impact.

첫째, 참가자들에게 25번의 봉합 시도(예: Trials 1–25)를 완료하도록 했는데, 이전 연구보다 67% 더 많은 실습을 했다.

First, we had participants complete 25 suturing attempts (i.e., referred to as Trials 1–25), which was 67% more practice than the previous study.

둘째로, 우리는 그들이 (프로세스 지향 그룹이 그들의 성과를 평가하도록 요청하고 결과 지향적인 그룹이 그들의 최종 제품을 평가하도록 요청하면서) 연습 전반에 걸쳐 할당된 목표를 능동적으로 자가 모니터링하도록 지시하기 위해 첫번째, 그리고 이후 매 세번째마다(1, 4, 7, ...) 그들의 성과를 스스로 평가하도록 했다.

Second, we had them self-score their performance on the first and every third subsequent trial (1, 4, 7, …), to cue them to actively self-monitor their assigned goals throughout practice (with the process-oriented group asked to assess their performance and the outcome-oriented group asked to assess their final product).

셋째, 우리는 그들에게 연습의 시작에만 있는 것이 아니라 연습 내내 할당된 목표 리스트에 접근할 수 있도록 했고, 우리는 계속해서 그들에게 다음 세 번의 시험 동안 그들이 할 수 있는 목표를 확인하도록 요구했다.

Third, we gave them access to their assigned goal list throughout practice rather than only at the beginning of practice, and we continually asked them to identify the goal they would be working on for the subsequent three trials.

두 번째와 세 번째 변경을 달성하기 위해, 우리는 참가자들이 "과제의 프로세스 목표에 대한 전반적인 성취도를 어떻게 평가하시겠습니까?" 또는 "과제의 결과 목표에 대한 전반적인 성취도를 어떻게 평가하시겠습니까?"라는 질문을 하면서 가장 최근의 평가 결과를 얻도록 유도하는 컴퓨터 프로그램을 설계했다. 이 질문 아래에서, 우리는 이전에 발표된 글로벌 등급 척도의 전체 성능 점수를 바탕으로 매우 very poor(가장 왼 쪽), competent(중간), clearly superior(가장 오른쪽) 언어적 앵커가 포함된 시각적 아날로그 척도를 제시했다.17

To accomplish the second and third change, we designed a computer program that prompted participants to score their most recent trial, asking either “How would you rate your overall accomplishment of the process goals of the task?” or “How would you rate your overall accomplishment of the outcome goals of the task?” Below this question, we presented a visual analog scale with verbal anchors of very poor (far-left side), competent (middle), and clearly superior (far-right side), based on the Overall Performance score of a previously published Global Rating Scale.17

척도 아래에서는 프로세스 목표 그룹의 참가자가 5가지 프로세스 목표 목록을 본 반면, 결과 목표 그룹의 참가자는 이전 연구에서 모두 4가지 결과 목표 목록(표 1)을 보았다.15

Below the scale, participants in the process goal group saw a list of five process goals, whereas those in the outcome goal group saw a list of four outcome goals (Table 1), all from the previous study.15

Retention session

약 2주 후, 참가자들은 같은 봉합 기술과 매듭짓기 기술을 가진 10번의 시도로 구성된 retention 세션을 완료하기 위해 돌아왔다. 참가자들이 기술을 얼마나 잘 유지하고 "취득"했는지를 시험하기 위한 여러 가지 시도를 포함했다(즉, "절약"으로서의 보존). 참가자들은 1, 4, 7, 10회 평가에서 자기채점을 하였다. 중요한 것은, 모든 참가자들에게 "과제의 목표에 대한 전반적인 성취도를 어떻게 평가하시겠습니까?"라는 같은 질문을 던졌다. 이 세션 동안, 우리는 의도적으로 참가자들이 (프로세스나 결과에 초점을 맞출 명시적인 지원 없이) trial을 어떻게 평가할 것인지를 스스로 정의할 수 있도록 허용했다.

Approximately two weeks later, participants returned to complete a retention session consisting of 10 trials of the same suturing and knot-tying skill. We included multiple trials to test how well participants retained and “reacquired” the skill (i.e., retention as “savings”). Participants self-scored their performance on Trials 1, 4, 7, and 10. Important to note, all participants were prompted with the same question: “How would you rate your overall accomplishment of the goals of the task?” During this session, we intentionally allowed participants to self-define how they would assess the trial (with no explicit support that would focus them on process or outcome).

측정

Measurements

Assessing suturing skill

교육 세션에서 프로세스 지향 그룹에서 각 참가자의 성과를 비디오로 녹화하여 결과 지향 그룹에서 각 참가자의 최종 봉합 제품의 스틸 사진을 찍었다. 참가자와 동일한 컴퓨터 프로그램과 시각적 아날로그 스케일을 사용하여 두 명의 평가자(일반 및 정형외과 수술 펠로우)가 프로세스 지향 참가자의 프로세스, 결과 지향 참가자의 결과를 평가했다. Raters는 첫 번째와 이후 6번째 시험(예: Trial 1, 7, 13, 19, 25)마다 점수를 매겨 시간을 절약했다(그림 1).

In the training session, we video-recorded each participant’s performance in the process-oriented group and took a still photograph of each participant’s final suturing product in the outcome-oriented group. Using the same computer program and visual analog scale as the participants, two raters (surgical fellows in general and orthopedic surgery) scored performance processes when viewing the process-oriented participants’ videos or performance outcomes when viewing a still photo of the outcome-oriented participants’ final suturing product. Raters scored the first and every subsequent sixth trial (i.e., Trials 1, 7, 13, 19, 25) to limit their time commitment (Figure 1).

보존 세션에서는 모든 참가자의 성과(프로세스)를 비디오로 촬영하고, 1차 및 3차 시험 때마다 최종 봉합 제품(결과)을 모두 촬영했다(그림 1). 우리는 두 그룹의 모든 참가자들에게 이 비디오와 사진을 별도로 채점해 줄 것을 요청했다. 따라서, 평가자는 모든 참가자가 완료한 4개의 보존 시험의 프로세스와 결과 점수를 모두 제공했고, 우리는 그러한 점수를 사용하여 분석에서 그룹을 직접 비교했다. 모든 데이터에 대해, 우리는 ICC(Inter-aclass correctives 계수)를 사용하여 평가자 간 신뢰도를 계산했다.

In the retention session, we video-recorded all participants’ performances (process) and photographed all final suturing products (outcome) on the first and every third subsequent trial (Figure 1). We asked the same raters (blinded to participant group assignment) to separately score these videos and photographs for all participants in both groups. Thus, the raters provided both process and outcome scores for the four retention trials completed by all participants, and we used those scores to compare groups directly in our analyses. For all data, we calculated interrater reliability using the intraclass correlation coefficient (ICC).

Data analysis

Suturing skill retention

one-way repeated measures analysis of variance (ANOVA)

Suturing skill acquisition

To compare learning retention across groups, we analyzed the raters’ average process and average outcome scores using a three-way mixed effects ANOVA with raters’ measure (process vs. outcome) and trial (1, 4, 7, 10) as within-subjects factors, and participants’ assigned goal orientation (process vs. outcome) as a between-subjects factor.

Participants’ self-monitoring calibration coefficients

우리는 두 세션에서 참가자들의 자기 점수를 평가자의 점수와 연관시킬 수 있다는 것을 깨달았다.

we realized we could correlate participants’ self-scores in the two sessions with the raters’ scores.

이 점수를 사용하여 각 참가자에 대해 "자체 모니터링 교정 계수"를 3개 계산했다. 이러한 보정 계수는 참가자가 지정된 목표에 따라 자신의 성과를 얼마나 효과적으로 자체 모니터링하는지를 간접적으로 측정할 것을 제안한다. 교정계수가 낮으면 참가자가 할당된 목표를 효과적으로 자가 모니터링하고 있지 않다는 것을 의미할 수 있다(우리가 평가자의 점수를 "표준"으로 취급한다고 가정함).

Using these scores, we calculated three “self-monitoring calibration coefficients” for each participant. We propose that these calibration coefficients provide an indirect measure of how effectively participants self-monitored their performance according to their assigned goals. A low calibration coefficient might imply that participants were not self-monitoring their assigned goals effectively (assuming we treat the raters’ scores as “the” standard).

이 방법은 네 가지 자가 모니터링 보정 계수를 생성했다. 

This method produced four self-monitoring calibration coefficients: 

(a) training단계: 다섯 번의 시험 동안 프로세스 지향 참여자의 점수와 평가자의 프로세스 점수 

(b) training단계: 다섯 번의 시험 동안 결과 지향 참가자의 점수와 평가자의 결과 점수

(c) retention단계: 모든 참가자의 비구조화 자가 모니터링 점수와 4번의 시행에 걸친 평가자의 프로세스 점수

(d) retention단계: 모든 참가자의 비구조화 자가 모니터링 점수와 4번의 시행에 걸친 평가자의 결과 점수.

(a) training: process-oriented participants’ scores correlated with raters’ process scores across five trials, 

(b) training: outcome-oriented participants’ scores correlated with raters’ outcome scores across five trials, 

(c) retention: all participants’ unstructured self-monitoring scores with raters’ process scores across four trials, and 

(d) retention: all participants’ unstructured selfmonitoring scores with raters’ outcome scores across four trials.

Results

Suturing skill acquisition

Suturing skill retention

Suturing retention scores are presented in Figure 2

프로세스 그룹의 프로세스 점수 향상됨

Hence, the three-way interaction appears to have been driven by the process group experiencing improved process scores across the 10-trial session, whereas the outcome group’s process scores did not change (Figure 2).

Participants’ self-monitoring calibration coefficients

Table 2 includes the results of participants’ self-monitoring calibration coefficients for the training and retention sessions.

Self-monitoring calibration during the training session

Self-monitoring calibration during the retention session

고찰

Discussion

프로세스 목표 그룹은 결과 목표 그룹에 비해 프로세스 점수가 높았지만, 이 차이는 10번째 및 마지막 평가에만 유의했다.

At retention the process goal group had higher process scores compared to the outcome goal group, but the effect was significant only on the 10th and last trial.

우리의 추가 분석은 왜 두 그룹의 성과가 크게 다르지 않았는지에 대한 우리의 추측을 알려줄 수 있다.

Our additional analyses can inform our speculations about why the two groups’ performance did not substantially differ.

따라서, 더 그럴듯한 가능성은 우리의 개입이 훈련 중 단순히 [결과 목표 그룹]의 참가자들에게 효과적으로 목표지향을 정하지orient 못했다는 것일 수 있다. 즉, 프로세스 지향 그룹에 대한 우수한 보존 성과가 없는 것은, 결과 지향적이어야 했던 참여자들이 [훈련 중 우리의 명시적인 지시에도 불구하고] 프로세스 지향적인 태도를 취함으로써, 프로세스 지향적인 그룹과 본질적으로 동일하게 행동했기 때문일 수 있다.

Thus, a more plausible possibility may be that our intervention simply did not effectively orient participants in the outcome goal group during training. That is, the absence of superior retention performance for the process-oriented group might have been because the outcome-oriented participants adopted a process orientation despite our explicit instructions during training, and thus behaved essentially the same as the process-oriented group.

우리의 부정적인 발견에 대한 보다 정교한 탐색에서 비롯되는 이러한 해석은 초보자들에게 결과 목표를 설정하도록 지시하는 것이 그들이 그렇게 하도록 이끌 것이라고 가정해서는 안 된다는 것을 암시한다. 이것은 결국 교육자와 연구원 모두에게 시사하는 바가 있다. 첫째, 실험을 수행하는 연구자의 경우, 우리의 연구결과는 각 참가자가 "강요된" 학습 전략을 채택하는 범위를 결정하기 위한 manipulation을 명확히 점검할 필요성을 시사한다.

This interpretation, which resulted from our more elaborated exploration of our negative findings, suggests that we should not assume that simply instructing novices to set outcome goals will lead them to do so. This, in turn, has implications for both educators and researchers. First, for researchers conducting experiments, our findings suggest a need for explicit manipulation checks to determine the extent to which each participant adopts an “imposed” learning strategy.

행동 척도를 manipulation check으로 사용하는 것은 현재의 모범 사례와 일치한다. 18 우리는 교육자와 연구자들이 그들의 교육적 개입을 실행하고 연구할 때 고려할 것을 권고한다.

Our use of a behavioral measure as a manipulation check aligns with current best practices,18 which we recommend educators and researchers consider when implementing and studying their educational interventions.

교육자의 경우, 이러한 데이터는 Trainee를 감독하지 않을 경우, 교육자가 생각하는 것보다 부과된(강요된) 학습 방향을 채택할 가능성이 낮을 수 있음을 시사하는 우리 팀의 다른 연구 결과를 확인시켜 준다. 그러므로 학습자를 감독되지 않는 상황에서, 교육자들은 연습생들이 자기 모니터링을 위해 사용하는 단서가 무엇인지를 파악하고, 그들의 개인적인 목표 방향을 파악하는 것이 좋을 것이다. 그런 다음 그들은 단순히 (실습자가 의식적이든 무의식적이든) 연습생들이 무의식적으로 선택하는 전략이 이론적으로 타당한 학습 전략과 맞지 않다고 무조건 강요하기보다는, 그러한 연습자 요인trainee factor가 초기에 해소되도록 교육을 구성할 수 있다.

For educators, these data confirm other findings from our team19 suggesting that unsupervised trainees may be less likely to adopt imposed learning orientations than educators would assume. Thus, in unsupervised learning contexts, educators will likely benefit from becoming aware of the cues trainees use to self-monitor20,21 and of their personal goal orientations. They could then subsequently organize their teaching to account for their initial understanding of those trainee factors, rather than simply imposing a theoretically sound learning strategy that is misaligned with trainees’ natural strategies (which trainees may ignore, whether consciously or unconsciously).

요약하자면, 우리의 연구결과는 우리의 원래 가설에 대한 근거는 미약하게만 제공한다. 그러나 우리의 연구에서 더 중요한 결론은 우리의 2차 분석에서 얻어졌다. 즉, 우리의 개입의도와 참여자들의 명백한 선호 사이에 불일치가 존재할 수 있음을 강조한다. 학습 목표 프로그램을 개발하는 교육자들은, 그러한 인터벤션이 [어떤 방식으로 trainee의 학습을 촉진할 것인가에 대한 전략(예: 자기모니터링)]뿐만 아니라, [연습생들이 실제로 스킬을 어떻게 개발할 것인지(예: 봉합)]를 함께 고려해야함을 의미한다.

In summary, our findings provide limited evidence for our original hypothesis. However, the more important conclusion from our study arises from our secondary analysis, which highlights the possible inconsistencies between our interventions and our participants’ apparent preferences. Our data imply that educators developing learning goals programs, a common practice in recent studies,4,5,11,12 must consider how their interventions impact (or fail to impact) how trainees develop the target skill (e.g., suturing), as well as the underlying learning strategy they assume will facilitate learning (e.g., self-monitoring achievements of particular goals).22

다행히도, 우리는 참가자들이 어떻게 학습 목표를 스스로 모니터했는지에 대한 데이터를 이용할 수 있었으며, 이것은 자기조절학습의 핵심 과정으로 간주된다. 실제로, 연구는 연습생들이 어떤 주제에 더 집중해야 하는지, 얼마나 더 연구해야 하는지, 8 그리고 그들이 정확하게 대답할 가능성이 높은 문제에 대해 결정을 내리는 자체 모니터링을 하는 것을 보여주었다.24 그러나, trainee의 자기 모니터링은 종종 부적절한 방식suboptimally이뤄진다. 예를 들어, 미래의 학습 전략에 도움이 되는 방식으로 자발적으로 자가 테스트를 하지 않으며, 운동 기술 학습을 판단함에 있어서 부적절한 단서에만 주의를 기울인다

Fortunately, we exploited our data on how participants self-monitored their learning goals, which is considered a core process of self-regulated learning. Indeed, research has shown that trainees self-monitor to make decisions about which topics to focus further study on,23 how long to study,8 and which questions they have a high likelihood of answering correctly.24 Yet, trainees often self-monitor suboptimally, for example, not spontaneously self-testing in ways that inform future learning strategies,25 or attending to inappropriate cues to judge motor skill learning.20

1. Kulasegaram K, Mylopoulos M, Tonin P, et al. The alignment imperative in curriculum renewal. Med Teach. 2018;40(5):443–448. doi:10.1080/0142159X. 2018.1435858. XXX

10. Cheung JJH, Kulasegaram KM, Woods NN, Moulton C, Ringsted CV, Brydges R. Knowing How and Knowing Why: testing the effect of instruction designed for cognitive integration on procedural skills transfer. Adv in Health Sci Educ. 2018;23(1):61–74. doi:10.1007/s10459-017-9774-1.

23. Agrawal S, Norman GR, Eva KW. Influences on medical students’ self-regulated learning after test completion. Med Educ. 2012;46(3):326–335. doi:10.1111/ j.1365-2923.2011.04150.x.

24. Eva KW, Regehr G. Exploring the divergence between self-assessment and self-monitoring. Adv in Health Sci Educ. 2011;16(3):311–329. doi:10.1007/s10459-010-9263-2.

---

Teach Learn Med. 2019 Apr 16:1-8. doi: 10.1080/10401334.2019.1600520. [Epub ahead of print]

Assigning Medical Students Learning Goals: Do They Do It, and What Happens When They Don't?

Manzone J1, Regehr G2, Garbedian S3, Brydges R1,4.

Author information

1

a Wilson Centre , University Health Network ; Faculty of Medicine , University of Toronto , Toronto , Ontario , Canada.

2

b Centre for Health Education Scholarship and Department of Surgery , University of British Columbia , Vancouver , British Columbia , Canada.

3

c North York General Hospital , Toronto , Ontario , Canada.

4

d Department of Medicine , University of Toronto and Allan Waters Family Simulation Centre, St. Michael's Hospital , Toronto , Ontario , Canada.

Abstract

THEORY:

Medical curricula now include more time for trainees to manage their studying independently, yet evidence suggests that time is not well spent without guidance. Social-cognitivist models of self-regulated learning suggest value when guiding learners to set goals related to their performance processes (actions producing outcomes) versus their performance outcomes (products of performance).

HYPOTHESES:

We expected participants oriented to set process goals would demonstrate better suturing skill retention compared with participants oriented to set outcome goals.

METHOD:

We randomly assigned 41 medical students to two groups: outcome oriented or process oriented. They self-scored their performance using a visual analog scale on every third trial during 25 training trials, and during 10 retention trials 2 weeks later. Two raters assessed participants' suturing performances (process) and final products (outcome). After finding weak support for our hypothesis, we calculated a "self-monitoring calibration coefficient" as the Pearson's correlation between the raters' average score and each participant's self-scores. We used a mixed-effects analysis of variance to compare participants' performance scores as well as t tests and an analysis of variance to compare their self-monitoring calibration coefficients.

RESULTS:

Analysis of skill retention data revealed a significant Group × Trial interaction, suggesting a benefit for the process group only for the 10th retention trial (p = .03). During training, the process group had significantly better (p = .02) self-monitoring calibration (r = .71 ± .29) than the outcome group (r = .38 ± .55). In retention, participants in both groups were significantly better calibrated (p = .04) with rater's scores of performance processes (r = .39 ± .60) versus performance outcomes (r = .11 ± .63).

CONCLUSIONS:

Our findings provide limited evidence for our original hypothesis. Perhaps more important, however, our self-monitoring calibration data highlighted inconsistencies between our interventions and our participants' apparent preferences. Not all participants adopted their assigned goal setting orientation, showing that researchers and educators must consider the extent to which trainees adopt imposed instructions in any educational intervention.

KEYWORDS:

goal setting; medical education; self-regulated learning; simulation-based training; skills transfer

PMID:

 

30990131

 

DOI:

 

10.1080/10401334.2019.1600520