왜 이 학생이 시험을 잘 못 볼까요? 자기조절학습을 활용한 문제 진단 및 해결 (Acad Med, 2018)
Why Does This Learner Perform Poorly on Tests? Using Self-Regulated Learning Theory to Diagnose the Problem and Implement Solutions 
Mary A. Andrews, MD, MPH, William F. Kelly, MD, and Kent J. DeZee, MD, MPH

 

 

문제
Problem

많은 의학 학습자는 객관식 임상시험에 의한 지식테스트에 어려움을 겪고 있으며, 이러한 학습자의 교정에는 리소스가 많이 소요됩니다.1 재교육 방법remediation은 시험기법과 연습문제 작성의 강조에서 의학지식과 임상추론을 개선하기 위한 포괄적인 노력까지 다양합니다. 그러나 최근 검토 결과 그러한 개입의 효과에 대한 근거는 미약했다. 더욱이 교정조치는 종종 교육 이론의 의미 있는 근거 없이 개발되고 구현된다. 여기에서는, 자기조절학습(SRL) 이론에 근거하는, 즉석에서 사용할 수 있는 새로운 테스트 응시 평가 및 교정 프레임워크를 소개하고, 센터에서의 구현을 설명하며, 영속적인 문제에 대한 이 유망한 솔루션의 대규모 연구의 기반을 마련한다.
Many medical learners struggle on multiple-choice, clinical-vignette-based knowledge tests, and remediating these learners is resource intensive.1 Remediation methods range from emphasizing test-taking techniques and completing practice questions, to comprehensive efforts to improve medical knowledge and clinical reasoning.1–3 However, recent reviews found only weak evidence of the effectiveness of such interventions.4,5 Furthermore, remediation methods are often developed and implemented without meaningful basis in educational theory.4 Here we introduce a novel, ready-to-use test-taking assessment and remediation framework based on self-regulated learning (SRL) theory; describe implementation at our center; and lay the foundation for a large-scale study of this promising solution to a perennial problem.

SRL 이론은 많은 분야에서 성과를 향상시키기 위해 성공적으로 사용되어 온 교육 평가 프레임워크입니다. 6,7 SRL은 "개인 목표 달성에 계획되고, 순환적으로 적응되는, 자기 생성적 생각, 감정 및 행동"으로 정의되어 있습니다. SRL 하위 프로세스는 세 가지 태스크 중심 범주로 나눌 수 있습니다: 사전 생각, 퍼포먼스, 그리고 자기 성찰입니다. 이전 연구에서는 SRL 하위 프로세스와 의과대학 성과 간의 상관관계를 보여 왔다. 예를 들어 의과대학 입학시험 점수 조정 후 의과대학 2학년 학생들의 전략적 계획이 미국 의학면허시험 1단계 점수와 유의하게 관련되어 있었다. 시험 성적에 대한 SRL 기반 평가는 어려움을 겪고 있는 수험생을 진단하고 교정하는 데 유용한 수단이라고 가정했습니다.

SRL theory is an educational assessment framework that has been successfully used to improve performance in many disciplines.6,7 SRL has been defined as “self-generated thoughts, feelings, and actions that are planned and cyclically adapted to the attainment of personal goals.”8 SRL subprocesses can be divided into three task-centered categories: forethought, performance, and self-reflection.7 Prior research has shown correlations between SRL subprocesses and medical school performance; for example, strategic planning by second-year medical students was significantly associated with United States Medical Licensing Examination Step 1 scores after adjusting for Medical College Admission Test scores.9 We postulated that an SRL-based assessment of test-taking performance would be a useful means of diagnosing and remediating struggling test takers.

접근
Approach

이 방법은 정의된 교육 과제 동안 학습자에게 다른 지점에서 질문을 함으로써 자기 규제 프로세스의 동적, 컨텍스트별 특성을 포착하는 자기조절학습 마이크로 분석 및 훈련(SRL-MAT)의 형태로 설계되었다. 이 방법은 2012년 초 한 저자(K.J.D)에 의해 개발되었으며, 공동 저자에 의해 다듬어졌으며, 클리어리 등이 설명한 5단계 SRL 미세 분석 프로토콜 개발 프로세스와 유사하지만 유사하다. 이 프로젝트는 품질 개선 이니셔티브로 수행되었으며 기관 검토 위원회는 연구가 아니라고 판단했습니다.
This method was designed as a form of Self-Regulated Learning Microanalytic Assessment and Training (SRL-MAT), which captures the dynamic, context-specific nature of self-regulatory processes by posing questions to the learner at different points during a defined educational task.7 The method was developed by one author (K.J.D.) in early 2012, refined by the coauthors, and predates but closely resembles the five-step SRL microanalytic protocol development process described by Cleary et al.6 This project was undertaken as a quality improvement initiative and the institutional review board determined that it was not research.

우리는 라이센스, 인증 및 훈련 중인 시험(ITE)에서 일반적으로 발생하는 유형의 객관식 임상 비그넷 테스트 질문에 답하는 특정 과제를 선택했고, [과제 전략, 자가 평가, 인과 관계 귀인, 적응적 추론]을 위한 대상 SRL 하위 프로세스를 식별했다. 테스트 질문에 올바르게 대답하는 작업에 특화된 SRL 미세 분석 질문을 개발했다(표 1). 과제 전략 질문을 설계하여 훈련자가 잘 개발된 질병 스크립트를 사용하여 올바른 진단에 도달하는 정도를 평가하였습니다. 이는 어려움을 겪는struggling 수험생과 임상 추론 연구에 대한 과거 경험에서 효과적인 전략임을 알 수 있기 때문입니다. 

We selected the specific task of answering a multiple-choice, clinical vignette test question of the type commonly encountered on licensing, certification, and in-training examinations (ITEs) and identified target SRL subprocesses for this task: task strategies, self-evaluation, causal attributions, and adaptive inferences.7,8 We developed SRL microanalytic questions specific to the task of answering test questions correctly (Table 1). We designed the task strategy questions to assess the extent to which the trainee uses well-developed disease scripts to arrive at the correct diagnosis, as past experience with struggling test takers and clinical reasoning research have shown this to be an effective strategy.10 

우리는 학습자가 다음의 활동을 하는 동안 시행될administered 과업수행전략 질문을 설계함으로써 SRL 하위 프로세스를 작업의 시간적 차원에 연결했다: 시험 문제 풀기, 문제풀기-정답고르기 과정 중 특정 지점에서의 자기평가 질문, 선택한 답이 맞는지 학습자에게 알려준 후 인과 관계 귀인, 적응적 추론 문제를 해결하기. [학습자 수행능력의 과거 특징]과 [특정 미세 분석 질문에 대한 학습자의 답변]을 바탕으로 SRL 결함을 식별하는 분류 시스템을 개발했다. 이는 클리어리 등이 추천한 개방형 질문의 완전한 전사 및 독립적 코딩과는 다르지만, 실용성과 사용 편의성을 위해 이 분류 체계를 선택했다. 이 방법은 교사와 학습자가 1시간 세션에서 일대일로 사용하고 학습자의 자기 평가와 연습을 위해 고안되었습니다.

We linked SRL subprocesses to the temporal dimensions of the task by designing the task strategy questions to be administered while the learner works through the test question, self-evaluation questions at specified points during the question–answering process, and causal attribution and adaptive inference questions after the learner was informed whether the selected answer was correct. We developed a categorization system that identified the SRL deficiency based on historical features of the learner’s performance and on the learner’s answers to specific microanalytic questions. This differs from the full transcription and independent coding of open-ended questions recommended by Cleary et al,6 but we chose this categorization scheme for practicality and ease of use. This method was designed for one-on-one use by a teacher and learner in a one-hour session, and for learner self-assessment and practice.

 

미세 분석 질문은 질문 검토 양식(QRF, 부록 1 참조)으로 통합되었습니다. 이 양식을 사용할 때, 교사는 먼저 학습자에게 ITE, 의사면허시험의 Step들, NBME의 과목시험 등을 포함한 객관식 임상시험 기반의 의학지식 테스트에 대한 이전 성과가 어땠는지를 기술하도록 요구한다. 그런 다음, 교수자는 [학습자의 교육 수준에 적합한 임상 실습 질문]을 학습자에게 제시하고, [이 문제를 실제 테스트 문제인 것처럼 풀도록] 요청합니다. 유일한 차이점은 학습자가 큰 소리로 읽고 생각해야 한다는 것입니다. 

The microanalytic questions were combined into a Question Review Form (QRF; see Appendix 1). When using the form, the teacher first asks the learner to describe prior performance on multiple-choice, clinical-vignette-based medical knowledge tests, including ITEs, steps of licensing examinations, National Board of Medical Examiners subject matter examinations, etc. The teacher then presents the learner with a clinical-vignette-based practice question appropriate to the learner’s training level and asks the learner to engage the question as if it were an actual test question, with the only difference being that the learner should read and think out loud.

이 첫 번째 테스트 질문의 경우, 교수자는 학습자를 중단시키지 않고, 미세 분석 질문을 하지 않고, 문제풀기를 쭉 진행합니다. 교사는 학습자의 시험문제에 대한 참여engagement 수준을 아래의 범위로 기록한다. 

  • 매우 피상적인 참여(예: 내부 주석이나 정보에 대한 해석 없이 문제 전체를 큰 소리로 읽는 것)에서
  • 매우 적극적인 참여(예: 임상 정보의 우선 순위와 해석, 문항줄기를 읽는 동안 감별진단을 생성 및 수정)까지

For this first test question, the learner proceeds through the question without interruption from the teacher or administration of any microanalytic questions. The teacher notes the learner’s level of engagement with the test question, which can range from

  • very superficial (e.g., reading the entirety of the question out loud without any interior commentary or interpretation of the information) to
  • highly engaged (e.g., actively prioritizing and interpreting the clinical information and generating and refining a differential diagnosis while reading the stem).

이러한 초기 중단 없는 Think-aloud 연습은 임상 비게트에 제시된 정보에 쉽게 관여하지 않는 학습자의 미발달 질병 스크립트와 같은 특정 시험 응시 결함을 시사할 수 있다.

This initial uninterrupted think-aloud exercise may suggest a particular test-taking deficiency, such as underdeveloped disease scripts in the learner who does not readily engage with the information presented in the clinical vignette.

그런 다음 교사는 QRF와 함께 두 번째 시험 문제를 제시합니다. 선생님은 시험문제의 마지막 문장(예: "진단 내용은 무엇입니까?")을 다룹니다. 또는 "관리에서 차선책은 무엇입니까?"라고 말한 후 학습자에게 QRF 항목 1~6에 답하도록 합니다. 

  • 항목 1~4는 임상 계통에서 질병 스크립트를 식별하는 전략을 사용하는 학습자의 기술을 평가한다. 항목 2 - 4는 학습자의 질병 스크립트의 특수성(즉, 학습자가 질병의 다양한 하위 유형을 얼마나 잘 인식할 수 있는지)을 평가한다. 
  • 항목 5 - 6은 질문-답변 과정의 정의된 지점에서 자가 평가 시 학습자의 기술을 평가하는 자신감 척도이다. 항목 6을 완료한 후 교사는 질문(예를 들어 "관리에서 다음 최선의 단계는 무엇입니까?")을 풀지만 정답은 풀지 않습니다. 

The teacher then presents a second test question along with the QRF. The teacher covers the last sentence (e.g., “What is the diagnosis?” or “What is the next best step in management?”) and asks the learner to answer QRF Items 1 through 6 after thinking aloud through the clinical vignette.

  • Items 1 through 4 assess the learner’s skill in using the strategy of identifying the disease script in the clinical stem. Items 2 through 4 assess the specificity of the learner’s disease scripts (i.e., how well the learner can recognize different subtypes of disease).
  • Items 5 through 6 are confidence scales which assess the learner’s skill at self-evaluation at defined points in the question–answering process. After completing Item 6, the teacher uncovers the question (e.g., “What is the next best step in management?”) but not the answers.
  • 학습자는 질문에 대한 답을 예측하고 해당 답변에 대한 자신감을 평가합니다(항목 7-8). 
  • 그런 다음, 교사는 정답 선택지를 공개하고, 학습자는 선택지를 본 후 예상 답안(또는 유사한 답안)에 대한 자신감을 평가하며(9~11번 항목) 또는 답안 변경 여부를 결정한다(12번 항목). 
  • 그런 다음, 교사가 정답을 밝히고, 학습자는 인과적 속성과 적응적 추론(항목 14~15)을 평가하는 문제에 답합니다. 이 방법은 교사가 다음 섹션에서 설명하는 시험 문제 중 하나를 식별하기에 충분한 증거를 축적할 때까지 새로운 시험 문제에서 반복된다. 각 문제는 SRL 하위 프로세스 부족에 해당한다.
  • The learner predicts the answer to the question and rates his or her confidence in that answer (Items 7–8).
  • Then the teacher reveals the answer choices and the learner rates his or her confidence in his or her predicted answer (or similar answer) after seeing the choices (Items 9–11), and decides if he or she wants to change his or her answer (Item 12).
  • The teacher then reveals the correct answer, and the learner answers the questions assessing causal attributions and adaptive inferences (Items 14–15). The method is repeated with new test questions until the teacher has accumulated enough evidence to identify one of the test-taking problems outlined in the following section, each of which corresponds to an SRL subprocess deficiency.

이 평가 도구는 내과 레지던트 내의 품질 개선 이니셔티브로서 2012-2013학년도 중 2학년 내과 레지던트 16명에게 1명의 교직원이 관리했습니다. 평가방법의 이론적 근거를 설명하고, 방법의 관리방법을 검토하며, 역할극을 통해 교수진의 연습을 허용하는 90분짜리 워크숍도 개발되었습니다.
As a quality improvement initiative within the internal medicine residency, this assessment tool was administered by one faculty member to 16 second-year internal medicine residents during academic year 2012–2013. A 90-minute workshop, which describes the theoretical basis for the assessment method, reviews how to administer the method, and allows for faculty practice with the method via role-play, was developed as well.

결과
Outcomes

약 20명의 고군분투하는 학습자에게 이 방법을 사용한 결과, 대부분의 시험 문제를 다음과 같이 분류할 수 있었다.

  • 스크립트 인식 부족,
  • 스크립트 특이성 부족,
  • 조기 종결,
  • 자신감 부족,
  • 부적응적 인과 귀인
  • 부적절한 적응적 추론

이러한 테스트의 결함에 대해서는, 이하에 간단하게 설명합니다.비디오의 예와 각 타입의 식별과 수정에 관한 상세한 것에 대하여는, 보충 디지털 부록 1을 참조해 주세요.
After using this method with approximately 20 struggling learners, we found that most test-taking problems could be categorized as follows:

  • lack of script recognition,
  • lack of script specificity,
  • premature closure,
  • underconfidence,
  • maladaptive causal attributions, and
  • inappropriate adaptive inferences.

These test-taking deficiencies are briefly described below; video examples and more details about identifying and remediating each type are available in Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/A389.

첫 번째 시험풀이 결함은 [스크립트 인식 부족]이며, 이는 진단 추론을 위한 질병 스크립트의 작업 전략을 부적절하거나 비효율적으로 사용하는 것을 뜻한다. 이러한 학습자는 임상 스템을 읽는 동안 임상 데이터를 전혀 또는 사실적으로 잘못 해석할 수 없으며 QRF 항목 1 - 4에 답변할 수 없습니다.
The first test-taking deficiency is lack of script recognition, which reflects inappropriate or ineffective use of the task strategy of disease scripts for diagnostic reasoning. These learners offer no or factually incorrect interpretations of clinical data while reading the clinical stem, and they cannot answer QRF Items 1 through 4.

두 번째 유형의 시험풀이 결함은 [스크립트 특이성 부족]이며, 이것도 [과제수행전략]의 문제입니다. 이 결핍을 가진 학습자는 일반적인 질병 범주(우울증 등)를 인식함으로써 두 가지 선택지로 답을 좁히지만, 질병의 특정 임상 하위 유형이나 심각도(노인의 우울증 등)와 그 하위 유형과 관련된 진단 전략, 치료 또는 예후 차이를 인식하지 못한다. 이러한 학습자는 QRF 항목 2 ~ 4에 대해 불완전하거나 부정확한 답을 제시합니다.
The second type of test-taking deficiency is lack of script specificity, which is also a task strategy problem. Learners with this deficiency narrow down the answer to two choices by recognizing a general disease category (such as depression), but do not recognize the specific clinical subtype or severity of disease (such as depression in the elderly) and the differences in diagnostic strategy, therapy, or prognosis related to that subtype. These learners will give incomplete or inaccurate answers to QRF Items 2 through 4.

세 번째 테스트 부족은 [메타인지 모니터링 단계]의 문제인 [조기 종결]입니다. 이러한 결함을 보이는 학습자는 진단을 조기에 결정하고 진단과 일치하지 않는 정보를 무시하거나 과소평가하며 선택한 진단과 일치하지 않는 사실을 QRF 항목 4에 나열하거나(그러나 진단 변경을 거부함) 불일치를 단순히 인식하지 못할 수 있습니다.
The third test-taking deficiency is premature closure, a metacognitive monitoring problem. Learners who exhibit this deficiency make an early decision on the diagnosis, ignore or downplay information inconsistent with the diagnosis, and may list facts that are inconsistent with the chosen diagnosis in QRF Item 4 (yet refuse to change the diagnosis) or simply fail to note the inconsistencies.

네 번째 시험결과는 [메타인지 모니터링과 자기평가 단계]의 문제인 [자신감 부족]이다. 이 결함이 있는 학습자는 여러 번의 시험에 불합격한 전력이 있을 수 있으며, 이로 인해 심지어는 정확한 추론을 하고서도, 자기자신의 임상추론을 믿지 않게 된다. SRL 평가 과정에서 이러한 학습자는 올바른 진단을 식별하고 정답을 예측한 경우에도 중간에서 낮은 절반까지의 등급(QRF 항목 5~6,8)에 대한 자신감을 평가합니다.

The fourth test-taking deficiency is underconfidence, which is a metacognitive monitoring and self-evaluation problem. Learners with this deficiency may have a history of several examination failures and have consequently learned to distrust their clinical reasoning, even when it may be correct. During the SRL assessment, these learners rate their confidence on the middle to lower half of the scale (QRF Items 5–6, 8) even when they have identified the correct diagnosis and predicted the correct answer.

다섯 번째 시험풀이시 결함은 SRL의 [자기 성찰 단계]의 결함인 [부적절한 인과 귀인]이다. 이러한 결함은 정답이 맞고, 오답이 틀린 이유에 대한 피상적 또는 잘못된 설명에서 명확하게 드러난다 (QRF 항목 14).
The fifth test-taking deficiency is inappropriate causal attributions, which is a deficiency in the self-reflection phase of SRL. This deficiency is evident from superficial or incorrect explanations of why the right answer is correct and the wrong answer is incorrect (QRF Item 14).

마지막 시험결과는 [부적절한 적응적 추론]이며, 이는 자기성찰의 문제이기도 하다. 이 결함이 있는 학습자는 실습 질문에 답한 후 지식 격차를 식별할 수 있지만 효과적인 학습 계획(QRF 항목 15)을 명확하게 설명할 수는 없습니다.
The last test-taking deficiency is inappropriate adaptive inferences, which is also a self-reflection deficiency. Learners with this deficiency may be able to identify knowledge gaps after answering a practice question, but are unable to articulate an effective learning plan (QRF Item 15).

이 방법을 사용하여 시험 미비점을 식별하고 개선 전략을 제안함으로써 소수의 학습자만이 과거 제어를 사용하지만 시험 성과가 향상되었음을 알 수 있습니다. 이 내과 레지던트에서의 과거 6년간의 평균 ITE 성적 향상은 3년째에 4.6점이었다. 이 평가를 받은 주민의 2013년 ITE 점수는 2년차부터 3년차까지 평균 9.3점(표준편차: 7.7)으로, 과거 데이터에 근거해 예상되는 개선점의 약 2배였다.
In using this method to identify test-taking deficiencies and suggest strategies for improvement, we have found improved test performance, albeit in a small number of learners and using historical controls. Over the previous six years in this internal medicine residency, the average second-year ITE score improvement was 4.6 points in the third year. The average improvement in 2013 ITE score from second year to third year for the residents who underwent this assessment was 9.3 points (standard deviation: 7.7), which is about twice the expected improvement based on historical data.

다음 단계
Next Steps

테스트 성적이 낮은 학습자의 공통적이지만 어려운 문제에 SRL 미세 분석의 새로운 응용 프로그램을 도입했습니다.7 이 방법은 SRL 이론의 견고한 기반, 개별화된 치료 계획 및 상대적 구현 용이성을 포함하여 기존 시험 응시 교정 방법보다 장점이 있다. 적은 수, 동시적 통제집단의 부족, 평균으로의 회귀 가능성에 의해 제한되기는 하지만, 단일 센터 구현의 결과는 유망하다. 이 방법을 사용하기 위해 교직원이 훈련하는 데 필요한 시간은 다를 수 있지만, 우리는 90분짜리 워크숍 형식으로 비디오 예시와 롤 플레이를 사용하고 있습니다.

We have introduced a novel application of SRL microanalysis to the common yet challenging problem of learners who underperform on tests.7 This method has advantages over existing methods of test-taking remediation, including solid foundation in SRL theory, individualized treatment plans, and relative ease of implementation. Although limited by small numbers, lack of contemporary control group, and the possibility of regression towards the mean, the results of our single-center implementation are promising. While the time needed to train faculty to use this method may vary, we have used a 90-minute workshop format with video examples and role-play (Supplemental Digital Appendix 1, https://links.lww.com/ACADMED/A389) at our institution and others.

실현 가능성과 효과성에 대한 대규모 연구에 의해 교육 개입이 뒷받침되어야 하기에, 다음 단계는 대규모 무작위 대조 시험의 설계와 수행이다. 이 연구에는 과목시험이나 면허시험에 불합격한 학생, ITE 점수가 낮은 학생 등 다양한 프로그램 및 훈련 수준의 학습자가 참여해야 하며, 이 방법의 어떤 측면이 개선에 가장 큰 도움이 되는지 평가해야 합니다. 위에서 설명한 분류 시스템은 역사적 특징과 SRL 평가에 의존하며 단일 기관에서 쉽게 구현되어 왔지만, 이 시스템의 신뢰성과 타당성은 더 넓은 환경에서 연구되어야 한다.
Recognizing the need for educational interventions to be supported by large-scale studies of feasibility and effectiveness, the next steps for this method are the design and conduct of a large randomized controlled trial.4,5 This study should include learners from different programs and training levels, such as students who fail a subject matter examination or licensing exam and trainees with low ITE scores, and should assess which aspects of the method contribute the most to improvement. While the categorization system outlined above, which relies on historical features plus SRL assessment, has been easily implemented at a single institution, the reliability and validity of this system should be studied in broader settings.

객관식 임상시험에 기초한 의학지식시험에서 저조한 성적을 보이는 학습자는 어디에나 있으며, 저조한 시험성적은 심각한 직업적 결과를 초래할 수 있다. 시험에서 고군분투하는 학습자를 지원하기 위해 이론적으로 건전하지만 즉시 실행할 수 있는 개입이 부족하기 때문에, 이 개입과 다른 개입의 효과를 전파하고 조사할 필요가 가장 중요하다.

Learners who underperform on multiple-choice, clinical-vignette-based medical knowledge tests are ubiquitous, and poor test performance can have serious professional consequences. Given the paucity of theoretically sound yet ready-to-implement interventions for assisting learners who struggle on tests, the need to disseminate and investigate the effectiveness of this and other interventions is paramount.4,5

 


Acad Med. 2018 Apr;93(4):612-615.  doi: 10.1097/ACM.0000000000001422.

Why Does This Learner Perform Poorly on Tests? Using Self-Regulated Learning Theory to Diagnose the Problem and Implement Solutions

Affiliations collapse

Affiliation

1M.A. Andrews is assistant professor, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland. W.F. Kelly is associate professor, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland. K.J. DeZee is professor, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland.

PMID: 30248085

DOI: 10.1097/ACM.0000000000001422

Abstract

Problem: Learners who underperform on standardized tests are common throughout all levels of medical education and require considerable faculty time and effort to remediate. Current methods for remediating test-taking difficulties are typically not grounded in educational theory or supported by high-quality evidence.

Approach: A test-taking assessment was developed based on self-regulated learning (SRL) microanalytic assessment and training and used during academic year 2012-2013. This method assesses the SRL subprocesses of strategic planning, self-monitoring, causal attributions, and adaptive inferences during the educational task of answering test questions. The method was designed for one-on-one use by teacher and learner, and for learner self-assessment and practice.

Outcomes: At one academic institution, this method was used to categorize learners into struggling test-taker subtypes which correspond to deficiencies in the SRL subprocesses outlined above. A learning plan based on the SRL deficiency was developed for each struggling test-taker subtype. In a small number of internal medicine residents with low in-training examination scores, use of this method yielded improvements in 2013 in-training examination score that doubled the expected improvement based on historical averages.

Next steps: This method is a novel application of SRL theory to a commonly encountered problem in medical education: the learner who performs poorly on tests. Large-scale, multicenter studies of medical learners at a variety of training levels and program types are needed to determine the effectiveness and generalizability of this intervention.

 

맥락 속의 자기조절학습: 자기-, 공동-, 사회적으로 공유된 학습의 조절(Med Educ, 2021)
Putting self-regulated learning in context: Integrating self-, co-, and socially shared regulation of learning
Derk Bransen1 | Marjan J. B. Govaerts2 | Ernesto Panadero3,4 | Dominique M. A. Sluijsmans5 | Erik W. Driessen2 

 

 

1 소개 및 문제 설명
1 INTRODUCTION AND PROBLEM STATEMENT

양질의 의료 및 평생 학습과의 긍정적인 연관성 때문에 의료 전문가들이 학습을 조절regulate할 필요성이 널리 인정되고 있다. 예를 들어, 의료 분야에서 높은 표준을 보호하려면 의사가 지속적으로 빠르게 변화하는 의료 관행에서 이뤄지는 발전을 모니터링하고, 적절한 학습 기회를 개인 학습 요구 및 학습 목표에 맞춰야 합니다.3 따라서 의사는 역량을 개발하고 유지하기 위해 자기조절학습(SRL)에 참여해야 한다. 일반적으로, 자기 조절 학습자는 "자신의 학습에 메타인지적, 동기 부여적, 행동적으로 적극적인 참여자"로 간주된다. 목표를 추구하며 목표를 달성하기 위해 이러한 목표에 부합하는 전략을 설계 및 실행하고, 목표를 향한 진행을 모니터링하며, 성찰과 (해당되는 경우) 새로운 학습 목표를 수립합니다.
The necessity for healthcare professionals to regulate their learning is widely acknowledged due to positive associations with high-quality healthcare and lifelong learning.1, 2 For example, safeguarding high standards in healthcare requires physicians to monitor relevant developments in continuously and rapidly changing healthcare practices and to align appropriate learning opportunities with personal learning needs and learning goals.3 Hence, physicians have to engage in self-regulated learning (SRL) to develop and maintain competence.4 Generally, self-regulated learners are considered to be “meta-cognitively, motivationally, and behaviourally active participants in their own learning”.5 In pursuit of and committed to their goals, they design and implement strategies aligned with these goals, monitor progression towards these goals, followed by reflection and – when applicable – formulation of new learning goals.6, 7

교육 및 실습과의 관련성 때문에, 그리고 SRL 기술은 가르치고 배울 수 있기 때문에, 보건의료전문직 커리큘럼은 학생들의 SRL 개발을 지원하고 촉진하기 위한 요소를 구축한다. 예를 들어 많은 커리큘럼이 진도를 성찰하거나 개인 학습 계획을 수립하도록 자극하거나 요구하는 포트폴리오 시스템을 구현하거나, 학생의 자기주도성을 자극하기 위해 문제 기반 학습 원리를 포함한다. 연구 결과는 꾸준히 개인의 학습과 전문성 개발을 조절하는 능력이 긍정적인 결과와 연관되어 있다는 것을 보여준다. 예를 들어, SRL은 의대생들의 임상 기술 성과, 그들의 전반적인 학업 성취도, 그리고 학생들의 안녕과 긍정적으로 연관되어 있다. 다만 보건직 교육·연구가 학생들을 적절히 실습준비를 시키고, 전문직 종사자들이 역량을 유지·개발할 수 있도록 돕기 위해 자신을 뛰어넘을 필요와 책임이 있다고 주장한다.
Because of its relevance for education and practice, and as SRL skills can be learnt and therefore taught, health professions curricula build in elements to support and facilitate the development of students’ SRL.8-10 For example, many curricula implement portfolio systems that stimulate or require students to reflect on progress and formulate personal learning plans,11 or include problem-based learning principles to stimulate students’ self-directedness.12, 13 Research findings consistently show that the ability to regulate one's learning and professional development is associated with positive outcomes.14 For example, SRL has been related positively to medical students’ clinical skill performance,15, 16 their overall academic achievement,17 and student well-being.18 However, we argue that there is a need and responsibility for health professions education and research to look beyond the self in order to adequately prepare students for practice, and to help professionals maintain and develop competence.

보건 직업 교육(및 보건의료 실습)은 전통적으로 [개인]에 초점을 맞추고 있다. 교육은 광범위한 개인 평가 후 개별적으로 자격을 부여하고, 개인 수준에서 학습 과정과 활동을 규제하도록 가르치는 [개인 학습자]에게 초점을 맞추고 있다. 보건직 교육은 교육과정과 평가 틀에 '협업'과 같은 역량 영역을 포함시킴으로써 개인을 뛰어넘는 것을 목표로 한다고 주장할 수 있다. 그러나 '협력자collaborator' 역할을 '최적의 환자 진료를 달성하기 위해 의료 팀 내에서 효과적으로 일하는 것'으로 설명하면서도, 그 숙련도는 (비록 협력 상황에서 평가되더라도) 여전히 개인의 성과에 기초한다. 
Health professions education (and healthcare practice, for that matter) has traditionally been characterised by a focus on the individual; education focuses on individual learners whom we licence individually after extensive individual assessment, and whom we teach to regulate their learning processes and activities on an individual level.19 One might argue that health professions education aims to move beyond the individual by including competency domains such as “Collaboration” in curriculum and assessment frameworks.20 However, while described as effectively working within a healthcare team to achieve optimal patient care, learners’ proficiency as collaborators is still primarily based on their individual performance, even when evaluated in collaborative situations.21 

그러나 오늘날의 의료 서비스는 점점 더 팀 기반화되어 의료 팀에 의해 제공되고 있으며, 종종 전문 분야와 전문 분야를 넘나들며 협업하는 의료 전문가들로 구성됩니다. 보건 직업 교육의 주요 목적은 학생들이 이러한 협력적 실습을 할 수 있도록 준비하는 것이기 때문에, '학습의 조절'이라는 개념이 의료 팀에서 학습하고 일하는 조직의 요구와 일치하도록 하는 것이 필수적이다.

Notwithstanding, present-day healthcare is increasingly team-based, delivered by healthcare teams, often consisting of healthcare professionals collaborating across specialities and professions.22, 23 As the main purpose of health professions education is to prepare students for this collaborative practice, it is essential that conceptualisations of regulation of learning align with the organisation and demands of learning and working in healthcare teams.

양질의 의료 서비스를 제공하는 데 있어, [헬스케어 팀]에 대한 의존도가 높아짐에 따라, HPE 연구는 '집단 역량'의 개념을 탐구하기 시작했다. 집단적 역량의 본질은 [전체는 그 부분의 합보다 더 많을 수 있고(또는 덜할 수 있다)]는 것에 있다. 또한 집단적 역량이란 '역동적, 상황-의존적, 분산적 역량으로서, 특정한 한 명의 구성원의 기여를 역추적하기 어렵다'는 것과도 관련이 있다. 다시 말해, '팀원 한 명이 무능하더라도 팀은 유능할 수 있고, 유능한 개인을 모아서 무능한 팀을 구성할 수 있다'는 것이다. 개별 의사의 역량을 보장하는 것이 필수적이며 여전히 중요하지만, 고품질의 의료 서비스를 제공하기 위해서는 의료 팀의 [집단적 역량]에 대한 보장이 필요합니다. 
Geared to the growing reliance on healthcare teams for high-quality healthcare delivery, health professions education research has started to explore the concept of collective competence.22-24 The essence of collective competence is that the whole can be more (or less, for that matter) than the sum of its parts, and relates to the ‘dynamic, context-dependent, distributed capacity of a team, which is difficult to trace back to any one individual team member’.25 In other words, ‘teams can be competent when one team member is incompetent, and competent individuals can form an incompetent team’.19 Although ensuring an individual physician's competence is and remains essential, providing high-quality healthcare thus requires assurance of the healthcare team's collective competence.

집단 역량을 유지하고 발전시키기 위해서는 의료 팀이 지속적인 [협력적 학습]에 참여할 수 있어야 합니다. [협력적 학습collaborative learning]은 [공동의 목표를 가진 팀원들이, 목표를 달성하기 위해, 그리고 일련의 통합된 실천을 발전시키기 위해, 공유된 과제의 특징에 대해 상호작용할 때 발생하는 학습]을 말한다. 이와 같이, 협력 학습은 개인을 넘어 팀 구성원들 간의 [상호 의존성]을 강조한다. 예를 들어, 협업 학습은 외상 팀의 의료 제공 평가 중, 외과 팀이 새로운 기술을 구현하기 시작할 때, 또는 학생이 학습 과제를 수행하는 데 협업할 때 발생할 수 있다. 협력적 학습이 필수적이라고 여겨질 때마다, 팀이 스스로 학습을 조절하는 능력도 마찬가지로 중요해진다. 양질의 돌봄이 의료팀의 협력적 학습에 달려 있음에 동의한다면, [집단적 역량을 개발하고 유지하는 데 효과적인 학습의 조절을 어떻게 촉진할 것인가]에도 초점을 맞춰야 한다는 얘기다. 

To maintain and develop collective competence, it is essential that healthcare teams are able to engage in ongoing collaborative learning. Collaborative learning refers to learning that occurs when team members who have a collective goal interact about features of their shared tasks in order to attain their goals and by means of which they develop a set of integrated practices.26, 27 As such, collaborative learning stretches beyond the individual and emphasises the interdependence among team members.28 Collaborative learning may, for example, occur during trauma teams’ evaluation of healthcare delivery, when surgical teams start implementing new technology, or when students collaborate in performing learning tasks. Whenever collaborative learning is considered essential, the team's ability to regulate their learning becomes of equal importance. In other words, if we agree that high-quality care hinges upon collaborative learning in healthcare teams, we should also focus on how to foster effective regulation of learning in order to develop and maintain collective competence. 

 

2 학습조절의 개념화
2 CONCEPTUALISATIONS OF REGULATION OF LEARNING

2.1 자기조절학습: 개인에 집중하기
2.1 Self-regulated learning: Focus on the individual

연대순으로, 학습의 조절에 대한 이론에서 처음 등장한 개념은 자기 자신, 즉 개별 학생이나 전문가가 개인 학습을 어떻게 규제하는가에 초점을 맞췄다. 학습의 조절을 개념화하려는 초기 시도들 중 일부는 1980년대 후반 짐머만과 Boekaerts에 의해 이루어졌으며, 그 이후로 SRL 모델이 적용, 확장 및 추가 연구에 사용되었다. 첫 번째 SRL 모델은 (메타)인지적, 동기부여적, 감정적 측면을 강조하는 개인 내의 과정을 학습 규제의 운영양식modus operandi으로 분류했다. 결과적으로, 자기조절학습에 관심이 있는 연구자들은 [개인 내에서 일어나는 과정을 분석 단위로] 초점을 맞췄다. 마찬가지로, SRL에 대한 연구의 대부분은 (의료 교육의 맥락 내외 모두에서) 자가 보고 데이터 수집을 통해 수행된다. [개인에 초점]을 맞춘 의료(교육) 환경에서 학습조절에 대한 연구는 개별화된 학습 계획 및 성과 자체 모니터링과 같은 SRL의 하위 구성요소에 초점을 맞춘 연구에 반영된다. 
Chronologically, the first conceptualisations in the regulation of learning theory focussed on the self, that is, on how an individual student or professional regulates his or her individual learning. Some of the earliest attempts to conceptualise the regulation of learning were made in the late 1980s by Zimmerman5, 29 and by Boekaerts,30, 31 with their SRL models having been adapted, expanded, and used for further research ever since.10 The first SRL models labelled processes within the individual – varying in their emphasis on either (meta)cognitive, motivational, or emotional aspects – as modus operandi of regulation of learning. Consequently, researchers interested in self-regulation of learning focussed on processes within the individual as the unit of analysis.32 Likewise, the majority of research (both within and outside the context of healthcare education) into SRL is conducted through collecting self-reported data.33 Research on regulation of learning within healthcare (educational) settings with a strong focus on the individual is reflected in studies focussing on sub-components of SRL such as individualised learning plans,34-37 and self-monitoring of performance.38-40

2.2 공동 조절 학습: 개인과 컨텍스트 간의 상호 작용에 초점을 맞춥니다.
2.2 Co-regulated learning: Focus on interaction between individual and context

학습 조절의 초기 개념화(즉, "자기"조절학습)는 개별 학습자 내에서의 과정을 강조했지만, 1990년대 말, 공동조절학습(CRL)이라는 용어가 [학습 조절에 대한 사회적, 맥락적 영향]을 포착하기 위해 만들어졌다. CRL의 개념은 학습자의 인식, 정서, 학습 동기가 환경에서 타인과의 사회적 상호작용을 통해 어떻게 매개되는지에 초점을 맞춘 사회문화학습이론에서 나왔다. 따라서 CRL은 [학습조절을 제대로 설명하려면, 개인 내부의 조절 과정을 넘어서야 한다는 개념]을 기반으로 하며, CRL의 분석 단위는 항상 개인과 (다른) 맥락 사이의 상호작용이다. 보다 구체적으로, CRL은 '공동조절자co-regulator'가 '피-공동조절자co-regulated'의 조절를 안내하는 조절과정과 활동에 대한 비호혜적non-reciprocal 참여를 의미한다. 
While early conceptualisations of regulation of learning (ie self-regulation of learning) emphasise processes within the individual learner, the term co-regulated learning (CRL) was coined in the late 1990s to capture the social and contextual influences on the regulation of learning.41-43 The concept of CRL emerged from sociocultural learning theories that focus on how learners’ cognitions, emotions, and motivation for learning are mediated through social interactions with others in the environment.41 CRL thus builds on the notion that we need to go beyond regulatory processes within the individual in order to describe the regulation of learning satisfactorily, and the unit of analysis in CRL always is the interaction between the individual and (others in) the context.32 More specifically, CRL refers to non-reciprocal engagement in regulatory processes and activities, with the ‘co-regulator’ guiding the regulation of the ‘co-regulated’.

따라서 개념적으로 CRL은 [한 명 또는 여러 명의 집단 구성원이 집단 내 다른 개인의 학습 활동을 조절]한다는 점에서 ['불균등하게 퍼져있는unevenly distributed' 형태의 사회적 조절]로 간주된다. CRL의 필수 요소는 학습자 또는 전문가 간의 사회적 상호 작용입니다. 이 상호작용은 (학습의 조절과 관련된 과정을 포함하여) 학습 프로세스를 매개한다. 즉, '공동조절자co-regulator'는 타인의 조절활동(목표 설정, 성과 모니터링, 성찰 등)에 관여함으로써 '피공동조절자co-regulated'의 메타인지 및 인지활동을 매개mediates(즉, 공동조절)하고, 그 결과 학습 프로세스의 조절에 영향을 미칩니다. 공동조절자가 CRL을 촉발하는 방법으로는, 요약을 해주거나, 정보를 요청하거나, 설명을 하거나, 패러프레이징을 하거나, 학습에 대한 판단을 요구하거나, 사고와 성찰에 대한 자극을 주는 것 등이 있다. 상자 1은 예를 제공합니다.

Conceptually, CRL is therefore considered an ‘unevenly distributed’ form of social regulation, in that a single or multiple group member(s) regulate(s) the learning activities of other individuals in the group.44 Essential to CRL are social interactions between learners or professionals through which their learning processes, including processes relevant for the regulation of their learning, are mediated.45, 46 Thus, through engaging in others’ regulatory activities – such as goal setting, performance monitoring, and reflection – the ‘co-regulator’ mediates (ie co-regulates) the metacognitive and cognitive activities of the ‘co-regulated’, thereby influencing the regulation of his or her learning processes.41, 45 Students or professionals can trigger CRL by summarising, requesting information, or giving explanations,47 or through paraphrasing, requesting judgements of learning, giving prompts for thinking and reflection.41 Box 1 provides an example.

==================================================

BOX 1. 수술 후 상처를 봉합하는 방법을 배우는 공동 조절
BOX 1. The co-regulation of learning how to close a wound after surgery

한 학생이 상처 봉합 기본 기술을 익히는 것을 목표로 하는 학습 목표를 설정했습니다. 지도 외과의는 학생이 상처를 봉합하는 절차를 시작할 수 있도록 함으로써 학생들에게 이 목표를 추구할 기회를 제공한다. 지도 외과의의 역할은 학생의 학습조절(공동조절)에 적극적으로 참여하는 것으로 구성된다. 학생이 시작하기 전에 외과의는 학생이 상처를 성공적으로 봉합하기 위해 취해야 할 조치(전략적 계획의 공동조절)에 대해 물을 수 있다. 마찬가지로, 학생이 적극적으로 상처를 닫을 때, 외과의는 학생이 지금까지 올바른 방향으로 가고 있는지 물어볼 수 있다(모니터링의 공동조절). 학생이 상처를 다 봉합한 후, 외과의는 학생이 겪었을 수 있는 잠재적인 어려움과 미래의 노력(성찰와 적응의 공동조절)에 대해 물어볼 수 있다. 지도자와 공동 조절적 상호작용을 한 후, 학생은 (여기서 배운) 학습조에 관련된 기술을 [다른 감독되지 않은 학습 과제]로 전이transfer하고자 학습 활동에 적극적으로 참여하고 반영할 수 있다. 지도 외과의는 학생들의 학습규제에 참여함으로써 자율적 학습능력의 응용과 발전을 지원한다.

A student formulated a learning goal aimed at mastering basic techniques of wound closure. The supervising surgeon provides the student with the opportunity to pursue this goal by allowing the student to start the procedure of closing the wound. The role of the supervising surgeon consists of actively participating in the student's regulation of learning (ie co-regulation).

  • Before the student starts, the surgeon may ask about the steps the student intends to take to close the wound successfully (co-regulation of strategic planning).
  • Similarly, when the student is actively closing the wound, the surgeon may ask if the student is on the right track thus far (co-regulation of monitoring).
  • After the student finishes closing the wound, the surgeon may ask about potential difficulties the student may have experienced and how he or she may improve future efforts (co-regulation of reflection and adaptation).

After co-regulatory interactions with her supervisor, the student may then actively engage in and reflect on learning activities with the aim of transferring relevant skills for regulation of learning to other, unsupervised, learning tasks. Through engaging in the students’ regulation of learning, the supervising surgeon helps to support the application and development of self-regulatory learning skills.

==================================================

중요한 점은, CRL은 학습 과제, 설정, 공동조절자와 학습자 사이의 관계에 따라 형태가 달라질 수 있다는 것이다. 예를 들어, 위계적 관계에서의 권력 역학 또는 전문 지식 수준의 (인식된) 차이는 CRL의 특성 및 잠재적으로 효과에 영향을 미칠 수 있다. 따라서 친구/동료에 의한 공동조절은, 목표 및 결과 측면에서 상급감독자와의 CRL과 상당히 다를 수 있다. 보건 직업 교육에서 학습의 공동 규제에 대한 새로운 연구는 CRL 참여의 다양한 징후와 초점에 대한 통찰력을 제공하고 있다. 
Importantly, CRL can take different forms, depending on the learning task, setting and/or relationships between co-regulator and learner. For example, power dynamics in hierarchical relationships or (perceived) differences in the level of expertise may influence the nature – and potentially effectiveness – of CRL. Co-regulation by peers may therefore differ substantially from supervisors’ CRL in terms of goals and outcomes. Within health professions education, emergent research on co-regulation of learning is providing insight into the different manifestations and foci of CRL engagement.

연구 결과에 따르면 의대생들은 다른 사람의 CRL에 참여하려는 목적뿐만 아니라 참여 대상도 다르다. 예를 들어, 초보 학생들은 학습 목표를 토론하기 위해 [동료를 선호]하는 반면, 경험이 많은 학생들은 전문적인 정체성 형성에 반영하기 위해 [경험이 많은 의료 전문가를 선호]하는 것으로 보인다.48 CRL에 대한 다른 연구는 소셜 네트워크 관점을 채택하고, 조절에서의 네트워크 구축의 특성을 검토했다. 그들의 학문. 특히 CRL에 참여하는 다른 사람들과의 상호작용 빈도는 학생들이 스스로 보고하는 학습능력 조절과 긍정적으로 관련이 있다는 사실이 연구결과 밝혀졌다.49

Research findings suggest that medical students differ in whom they engage as well as the purpose of engaging others’ CRL. For instance, novice students seem to favour peers to discuss their learning goals, whereas experienced students favour more experienced healthcare professionals to reflect on professional identity formation.48 Other studies into CRL adopted a social network perspective, and examined characteristics of the networks students’ deploy when regulating their learning. Findings revealed that, in particular, the interaction frequency with which others are engaged in CRL positively relates to students’ self-reported regulation of learning proficiency.49

 

2.3 사회적으로 공유되는 학습 규정: 상황에 맞게 팀에 집중
2.3 Socially shared regulation of learning: Focus on the team within context

21세기 초에 협력 학습의 중요성과 필요성에 힘입어, 집단들이 어떻게 [집단적 학습과 성과를 분산적으로distributed 조절]하는지 탐구하기 시작했다. 사회적 공유 학습 조절(SSRL)라는 용어는 그러한 규제 조치를 설명하기 위해 만들어졌다. 일반적으로 SSRL은 팀이 협력적 학습을 조절하는 방법을 설명하고, 팀 구성원 간의 상호 의존성을 강조한다. SSRL은 팀원들이 [공동으로 구성된 목표를 추구하기 위하여 집단적 학습 활동의 조절을 공유하는 과정]에 초점을 맞추고 있다. CRL과 유사하게, SSRL은 [학습의 조절이 여러 개인 사이에서 공유되는 조절방식]을 반영한다. 그러나 주요 차이점은

  • CRL은 한 명 이상의 집단 구성원이 개별 학습자의 조절을 가이드guide하는 데 관여한다는 것이다('불평등한unevenly distributed' 형태의 사회적 조절로 만든다).
  • 반면, SSRL은 그룹 구성원의 규제 활동 및 과정에 상호 관여reciprocal engagement하는 것이 특징이다. 따라서 SSRL은 '고르게 분포된evenly distributed' 형태의 사회적 조절로 간주되며, 이러한 조절은 집단 구성원 간의 상호작용을 통해 형성된다. 따라서 SSRL의 분석 단위는 집단, 시스템 및 시스템 내의 개인입니다. 

At the start of the 21st century, fuelled by the increasing importance and need for collaborative learning, research started exploring how groups regulate their collective learning and performance in a distributed fashion. The term socially shared regulation of learning (SSRL) was coined to explain such regulatory actions. Generally, SSRL describes how teams regulate their collaborative learning and emphasises interdependency among members of a group or team. SSRL focuses on processes through which team members share the regulation of their collective learning activities, directed towards the pursuit of their jointly constructed goals.41, 50 Similar to CRL, SSRL reflects a mode of regulatory learning in which the regulation is shared between individuals. The main difference, however, is that

  • CRL involves one (or more) group members to guide the regulation of an individual learner (making it an ‘unevenly distributed’ form of social regulation), whereas
  • SSRL is characterised by group members’ reciprocal engagement in regulatory activities and processes. SSRL is therefore considered an ‘evenly distributed’ form of social regulation in which the regulation is shaped by and arises through the interactions between members of the group.44 Therefore, the units of analysis in SSRL are the collective, the system, as well as the individual within the system.3251

의료 실무에서의 협력적 학습은 어려움을 겪을 수 있다. 예를 들어, 팀 구성원의 지속적으로 변동, 시간 제약, 의료 팀 내의 위계적 구조 등의 요인이 협력적 학습의 구현 정도에 영향을 미칠 수 있습니다. 이러한 학습에 대한 협력적 조절은 나중에 훨씬 더 어려울 수 있다. 해드윈, 예르벨레, 밀러는 SSRL 이론 모델을 최초로 기술하였다. 이들이 개념화한 [협력적 학습 조절collaborative regulation of learning]에는 SSRL의 작동 방식을 네 가지 단계로 설명한다. 특히, 이러한 단계는 Winne 및 Hadwin의 SRL 모델의 네 가지 단계에 대략 일치한다.

  • 1단계: 팀이 당면한 (학습) 과제에 대한 공통된 이해 또는 인식의 공동 구성 및 협상에 참여합니다.
  • 2단계: 팀들이 공동의 목표를 구성하여, 효과적으로 과제를 완료하고 공동으로 과제를 해결하는 방법을 계획합니다.
  • 3단계: 팀은 목표를 향해 나아가는 과정을 감시한다. 이 때 협력은 전략적으로 잘 조정coordinated되어야 한다. 과제, 목표, 전략 또는 계획에 대한 인식과 이해는 목표 진행에 대한 집단 모니터링을 기반으로 조정될 수 있다.
  • 4단계: 팀은 프로세스를 평가한다. 평가의 결과는 후속 조절, 학습, 수행을 적응adaptation하는 데 필요한 투입이 된다.

Collaborative learning in medical practice may be prone to challenges. For example, fluid healthcare teams in which team members reshuffle constantly, time constraints, or hierarchy within healthcare teams may influence the extent to which collaborative learning is actually taking place. Collaborative regulation of such learning may subsequently be even more difficult. Hadwin, Järvelä, and Miller52 were among the first to describe a theoretical model SSRL. Their conceptualisation of collaborative regulation of learning includes four phases that jointly describe the modus operandi of SSRL.52 Notably, these phases roughly correspond to the four phases in Winne and Hadwin's SRL model.53 

  • In phase one, teams engage in the co-construction and negotiation of a shared understanding or perception of the (learning) task at hand.
  • In phase two, teams co-construct shared goals to effectively complete the task and design a plan for how to tackle the task collectively.
  • In phase three, the team monitors their progression towards the goal, to which collaboration is strategically coordinated. Perceptions and understanding of the task, their goal(s), strategies, or plans might be adjusted based on their collective monitoring of goal progression.
  • Lastly, in phase four, teams evaluate the process, which might provide input for adaptation of future regulation, learning and performance.

박스 2는 신기술 도입이 팀워크에 어떤 영향을 미치는지에 대한 Edmondson의 연구를 바탕으로 헬스케어 팀이 [사회적으로 공유되는 학습조절SSRL]에 어떻게 참여할 수 있는지를 보여주는 예를 제공합니다. 우리는 박스 2의 예제가 일상적인 실천을 반영하지 않을 수 있다는 것을 인정한다. 그러나, 이 예제가 기반으로 하는 연구는 SSRL이 임상 작업장에서 어떻게 발생할 수 있는지를 잘 설명해준다. SSRL은 어떤 의료 팀이 여태껏 해왔던 학습 노력의 방향을 전환하게 만드는 파괴적인 사건의 경우에 특히 중요하지만(박스 2의 예와 같이), 그러한 사건에만 필요한 것은 아니다. SSRL 또는 SSRL 구성 요소에 대한 팀들의 참여에 호소할 수 있는 건강 직업 교육 및 실습의 다른 예로는 기업 훈련 시스템의 평가, 실무 협력 커뮤니티 구축, 팀 성찰 또는 학습 과제에 대한 공유된 인식을 구축하는 데 의대생이 협력하는 것이 포함된다.

Drawing on Edmondson's work about how introducing new technology influences teamwork, Box 2 provides an example of how healthcare teams may engage in socially shared regulation of learning.54 We acknowledge that the example in Box 2 may not reflect common, day-to-day practice. However, the research the example is based on, lends itself well to explain how SSRL may occur in clinical workplaces. Although SSRL may be particularly relevant in cases of disruptive events that force healthcare teams to re-direct their learning endeavours (such as in the example in Box 2), SSRL is not exclusive to such events. Other examples in health professions education and practice that may appeal to teams’ engagement in SSRL or components of SSRL include evaluation of corporate training systems, the building of collaborative communities of practice,55 team reflection, or medical students’ collaborating in co-constructing a shared perception of their learning tasks.

SSRL을 딱 구별되는distinct 단계로 구분하는 것은 이론적으로 이상적인 상황이다. 하지만 실무에서, 특히 의료 서비스의 예측 불가능하고 역동적인 맥락에서, 의료팀은 위의 네 단계를 순서대로 단계를 거치지 않거나, 일부 단계를 병합할 수 있다(박스 2의 예). 하지만, 연구결과에 따르면, 이러한 단계를 거치는 팀들이 새로운 상황에서 배우고 적응하는데 더 성공적인 경향이 있다는 것을 시사한다. SSRL에 대한 의료 교육 연구는 팀 학습에 대한 연구(예: 팀 성찰성)에서 유사한 개념이 등장했지만 제한적이다. 의료 서비스의 질이 의료 팀의 학습 및 작업 품질과 관련이 있다는 점을 고려할 때 SSRL이라는 개념은 [조절 프로세스가 어떻게 협력적 학습을 서포트하는지]를 더 잘 이해할 수 있는 귀중한 렌즈를 제공합니다.
It is important to note that describing SSRL in terms of distinct phases refers to a theoretically ideal situation. In practice – especially in the unpredictable and dynamic context of healthcare practice – teams might not go through the phases in the abovementioned order, or might merge phases (as in the example in Box 2). However, research suggests that teams that go through these phases tend to be more successful in learning in and adapting to new situations.54 Healthcare education research into SSRL is limited, although seemingly similar concepts emerged from research on team learning (eg team reflexivity).56-58 Given that healthcare quality is associated with the quality of learning and working in healthcare teams,19, 59 the conceptualisation of SSRL provides a valuable lens through which we might be better able to examine and understand how regulatory processes support collaborative learning.

==================================================

BOX 2. 신기술 채택 시 SSRL
BOX 2. SSRL when adopting new technologies

새로운 기술을 채택하는 것은 루틴에 지장을 줄 수 있기 때문에 의료 팀에 문제를 일으킬 수 있다. 새로운 기술을 채택하려면, 팀은 학습 과정을 거쳐야 한다. 여기에는 신기술을 사용하기 위한 [공유된 의지]뿐만 아니라(motivation), 신기술이 함의하는 [공유된 정신 모델]까지를 포함한다. 공유된 정신모델은 이는 [새로운 지식과 기술], 그리고 잠재적으로 변화할 [팀 구성원의 업무와 책임] 측면까지도 포괄한다 (SSRL 1단계)  

Adopting new technology may raise challenges to healthcare teams, as habitual routines may be disrupted. Teams then have to go through a learning process, which involves creating a shared willingness to start using the technology (motivation) as well as a shared mental model of what the new technology implies, not just in terms of new knowledge and skills but also in terms of potentially changing tasks and responsibilities of team members (SSRL phase 1).

최소 침습적 심장 수술 혁신의 구현에 관한 논문에서, 에드먼드슨은 수술 팀이 이 기술을 구현하는 법을 어떻게 배우는지에 대해 설명했다. 

  • 그녀의 연구 결과는 새로운 현실에 효과적으로 적응하는 팀들이 모든 팀원들을 (지적으로나 정서적으로) 팀 노력에 참여시키는 데 시간을 할애하고, 팀의 목표, 역할 및 책임에 대한 명확한 정의를 내리는 데 시간을 할애한다는 것을 보여주었다(1단계와 2단계).
  • 그 후 성공적인 수술 팀은 시험 세션과 구현 프로세스의 지속적인 모니터링과 같은 학습을 위한 전략을 공동으로 개발하여 진행하였다. (SSRL 2단계 및 3단계)
  • 그런 다음, 수술 팀은 학습하기 위해 새로운 행동을 시도하고 보고(반성 및 보고) 과정을 통해 진행 상황을 지속적으로 모니터링하고 성찰한다(SSRL 4단계).

In her paper about implementation of a minimally invasive cardiac surgery innovation, Edmondson described how surgical teams engaged in learning to implement this technology.

  • Her findings showed that teams who were effective in adapting to a new reality, spent time on engaging all team members in the team effort (both intellectually and emotionally) as well as creating a clear definition of the team's goals, roles, and responsibilities in the implementation process (SSRL phases 1 and 2).
  • Successful OR teams then proceeded by jointly developing strategies for learning such as trial sessions and ongoing monitoring of the implementation process (SSRL phases 2 and 3).
  • Then, OR teams continually engaged in monitoring of and reflection on their progress, through processes of attempting new behaviours and debriefing (reflection and debriefing) in order to learn (SSRL phase 4).

==================================================

 

3 교육 및 의료 분야에서 학습에 대한 자체, 공동 및 사회적 공유 규제 통합
3 INTEGRATING SELF-, CO-, AND SOCIALLY SHARED REGULATION OF LEARNING IN EDUCATION AND HEALTHCARE

협업 학습 상황에서 팀과 팀 구성원은 학습에 대한 사회적으로 공유된 조절 뿐만 아니라 자기조절과 공동조절에 참여할 수 있다. [조절 프로세스 및 활동에 대한 협력 팀 내에서의 균형]은 개별 팀원의 특성, 팀 구성 및 팀 구성원 간의 관계, 사회적 연결성, 업무와 맥락의 특징에 따라, 개인 간에, 시간이 지남에 따라 바뀔 수 있다. 이러한 균형의 이동은 조절참여도가 팀 구성원 전체에 고르게 분포되어 있는지 또는 불균일하게 분포되어 있는지에 따라 SRL, CRL, SSRL의 수준을 변화시킬 수 있다. 예제는 상자 3을 참조하십시오.
During collaborative learning situations, teams and team members may engage in self-, co-, as well as socially shared regulation of learning. The balance within collaborating teams regarding their engagement in regulatory processes and activities may shift across individuals and over time, based on characteristics of individual team members, the team composition and relationships between team members, social connectedness, as well as features of task and context. This shifting balance may subsequently result in varying levels of SRL, CRL or SSRL, depending on whether regulatory engagement is evenly (SSRL) or unevenly (CRL) distributed across team members. See Box 3 for an example.

  • 집단이 생산적으로 기능하려면, 개인 수준의 SRL이 집단적 목표를 지향하는 것이 중요하다. 팀이 협력적 학습에 engage할 때, 개별 팀원은 자신의 학습 과정과 활동을 스스로 조절합니다. 심지어 협력적 학습 중에도, 개별 팀 구성원은 개별적으로 전략을 활성화하고 개인의 노력을 모니터링하고 규제합니다.
  • 팀 수준의 CRL은 협력적 학습 중에 나타날 수 있으며, [개개의 팀 구성원이 다른 구성원의 조절 과정이나 활동을 통제하거나 자극하는 경우]에 발생한다. 이와 같이 CRL은 [생산적인 자기 조절를 향한 매개적 또는 이행기적 역할]을 할 수 있다. 또한, 만약 CRL이 집단으로서의 팀의 조절(SSRL)에 맞춰져 있다면 shared regulation of learning을 생산적으로 만들 수도 있다. 예를 들어, 박스 3의 팀 구성원은 모든 집단 목표가 적절하게 평가되는지 여부에 대한 우려를 표하고 있다. 이런 우려는 학습조절의 agency가 집단을 지향하는 공동조절 메커니즘의 역할을 한다. 
  • 협력 중 SSRL은 [모든 팀 구성원이 목표나 과제 인식의 공동구축과 같은 학습 과정을 집단적으로 규제할 때] 나타날 수 있다. 팀이 SSRL에 참여할 때, 팀 구성원은 자신의 업무 완료 요건에 따라 행동, 인식 및 동기를 조정하여 팀의 업무를 메타인지적으로 통제한다.52
  • To function productively as a collective, individual SRL geared towards collective goals is crucial.52 When teams engage in collaborative learning, individual team members will therefore engage in self-regulating their own learning processes and activities; even during collaborative learning, individual team members will activate strategies individually and monitor and regulate their individual efforts.60 
  • Team-level CRL may emerge during collaborative learning in cases when an individual team member takes control of or stimulates another team member's regulation processes or activities.60 As such, CRL can play a mediational or transitional role towards productive self-regulation, yet also shared regulation of learning, depending on whether co-regulation is geared towards an individual team member's regulation (SRL) or the regulation of team as a collective (SSRL).52 The team member in Box 3 who expresses concerns about whether all of their collective goals are adequately evaluated, for example, serves as a co-regulatory mechanism through which the agency of regulation of learning shifts towards the collective.
  • SSRL during collaboration may emerge when all team members regulate learning processes collectively, such as co-constructing goals or task perceptions. When teams engage in SSRL, team members collectively take metacognitive control of the team's tasks by means of adjusting behaviours, cognitions, and motivations, based on requirements for completion of their tasks.52

==================================================

BOX 3. 학습에 대한 자체, 공동 및 사회적 공유 규제 통합
BOX 3. Integrating self-, co-, and socially shared regulation of learning

협업 학습 중 서로 다른 수준의 학습 규제 통합을 명확히 하기 위해서는 박스 2의 신기술 구현으로 돌아가는 것이 도움이 될 수 있다.

  • 개별 팀원은 노력 조절, 과업 모니터링 및 성과(SRL)와 같은 개인별 조절프로세스를 활성화한다.
  • 팀원들이 협상과 토론을 통해 팀으로서 과제에 대한 공유된 인식을 구축하고, 과제 달성을 위한 집단적 목표와 전략을 수립한다.
  • 새로운 기술을 처음 사용한 후 평가하는 동안, 한 팀원은 다른 팀원이 필수 기술을 습득하지 못하고 있다는 것을 알아차리고 절차 내내 다른 학습 전략을 채택하고 성과를 더 잘 모니터링하도록 도울 수 있습니다.
  • 마찬가지로, 한 팀원[팀이 집합적]으로 설정한 목표 중 하나를 평가하는 것을 간과하고 있다는 것을 알아차릴 수 있으며, 팀의 주의를 이 목표에 집중시킨다(CRL은 팀의 SSRL을 목표로 한다).

따라서, 팀은 SRL, CRL 및 SSRL에 대한 동시적concurrent 참여를 통해 협력 학습 노력을 조절할 수 있습니다.

To elucidate the integration of different levels of regulation of learning during collaborative learning, returning to the implementation of new technology in Box 2 might be helpful.

  • Each individual team member of the surgical team activates individual regulatory processes such as effort regulation, individual monitoring of the task and his or her performance (SRL).
  • Through negotiations and discussions, the team members co-construct a shared perception of the task as a team, and collectively formulate goals and strategies to accomplish the task (SSRL).
  • During evaluation after the first attempts of using the new technology, one team member may notice that another team member is not picking up essential skills and helps him to adopt another learning strategy and to better monitor his performance throughout the procedure. (CRL aimed at other's SRL).
  • Similarly, one team member may notice that the team is overlooking evaluating one of their collectively set goals and draws the team's attention to this goal (CRL aimed at the team's SSRL).

As such, the team is able to regulate their collaborative learning efforts through concurrent engagement in SRL, CRL and SSRL.

==================================================

협력 학습에서, 순간적인 CRL 상호작용은 SSRL과 SRL가 발생하는 순간에도 일어날 수 있다. 따라서 학습자는 동시에 다양한 형태의 조절에 참여할 수 있습니다. 따라서 세 가지 수준의 규제 학습(SRL, CRL, SSRL)은 협력 학습 상황에서 서로 내장된 것으로 가장 잘 간주될 수 있다. 협력 학습 중에 팀은 CRL 또는 SSRL(또는 SRL)에 항상 관여하지 않을 수 있습니다. 팀이 CRL 또는 SSRL(또는 둘 다)에 참여할지 여부는 상황에 따라 달라진다. 예를 들어, 팀 리더(박스 3)가 학습 조절을 완전히 가이드하는 매우 지시적인 사람이라면(즉, CRL), 학습은 SSRL 없이 조절될 가능성이 높다. 따라서 CRL이 다른 조절모드로 전환되는지 여부는, [학습 과제 요건]뿐만 아니라 [팀과 팀 리더십 내의 역학 관계]에 따라 달라진다.
In any collaborative learning, engagement in momentary co-regulatory interactions may occur within episodes of both SSRL and SRL. Thus, learners may concurrently engage in different forms of regulation. The three levels of regulatory learning (SRL, CRL, and SSRL) may therefore best be considered as embedded in one another during collaborative learning situations.41, 44 During collaborative learning, teams may not always engage in either CRL or SSRL (or SRL for that matter). Whether a team will engage in either CRL or SSRL (or both) is context- and situation-specific. For example, if the team leader (Box 3) is highly directive, fully guiding the regulation of learning (ie CRL), learning will likely be regulated without engagement in SSRL. Therefore, whether CRL is transitional towards other modes of regulation depends on dynamics within the team and team leadership as well as requirements of the learning task.

4 나아갈 방향
4 A WAY FORWARD

4.1 연구에 미치는 영향
4.1 Implications for research

중요한 것은 이 글에서 개념화한 학습조절은 이상적이고 이론적인 상황을 의미하며, 실제 작업 환경과 다를 수 있다. 그러나 그러한 모델은 협력적 환경에서 학습의 조절이 어떻게 발생할 수 있는지를 분리하기 위한 향후 연구에 유용한 프레임워크를 제공할 수 있다. 건강 직업 교육 연구에서 다양한 수준의 조절적 학습regulatory learning이 점점 더 연구되고 있지만, [주로 개인 또는 개인 내의 과정]에 초점을 맞추고 있으며, 상대적으로 [팀 수준에서 어떻게 협력 학습을 조절하는가]는 덜 다룬다. 현재 의료 분야의 협력에 대한 요구를 고려할 때 규제 학습에 대한 우리의 시각을 넓히는 것이 중요하다.
Importantly, conceptualisations of regulation of learning in the present article refer to an idealised and theoretical situation, which may differ from actual work settings. However, such models may provide useful frameworks for future research to disentangle how regulation of learning may occur in collaborative settings. While various levels of regulatory learning are increasingly explored in health professions education research,45, 48, 61-63 studies predominantly focus on processes within the individual or the individual in interaction and less on how teams regulate their collaborative learning. Given the demands for collaboration in current healthcare, it is important to widen our views of regulatory learning.


이는 학습 조절에 관심이 있는 연구자라면, 현재 SRL이 지배하고 있는 방정식에 SSRL을 추가해야 한다는 것을 의미한다. 최근 HPE의 맥락에서, 협력적 학습을 이해하기 위하여 사회적 조절에 집중해야 한다는 점이 강조되고 있다. Team reflexivity과 같은 관련 개념을 기반으로 하는 HPE 연구는 팀 차원 조절프로세스와 활동으로 관심을 전환할 수 있으며, (개별 팀 구성원뿐만 아니라) 팀 수준에서 집단적 목표에 따라 어떻게 학습을 조절하는지를 이해하는 것을 목표로 한다. 또한 후속 연구는, 협력적 학습 중 SRL, CRL 및 SSRL의 상호 관련성을 분해entangle하여 학습 조절에 대한 이해를 개선하는 것을 목표로 할 수 있다. 특히, 연구자들은 생산적인 SRL과 SSRL에 대한 [CRL의 매개 역할], 그리고 조절적 상호작용이 학습과 성과에 어떻게 영향을 미치는지 탐구하고자 할 수 있다. CRL은 다른 방식의 규제에 대한 부담과 제약을 제공할 수 있기 때문에, CRL이 어떻게 영향을 미치는지 그 메커니즘에 대한 철저한 이해가 필수적이다. 

This first and foremost implies that researchers interested in the regulation of learning should add SSRL to the equation that is currently dominated by SRL, and to a lesser extent, by CRL. The importance of focussing on social regulation to understand collaborative learning has recently been underlined in the context of health professions education.64 Building on related concepts, such as team reflexivity,57, 58 health professions education research could shift attention to team-level regulatory processes and activities, aiming to understand how teams – as well as individual team members – shape their regulation towards their collective goals. Furthermore, to improve our understanding of the regulation of learning, future studies could aim to disentangle the interrelatedness of SRL, CRL, and SSRL during collaborative learning. Specifically, researchers may want to explore the mediating role of CRL towards productive SRL and SSRL, and how regulatory interactions affect learning and performance. Because CRL can provide the affordances and constrains for other modes of regulation, a thorough understanding of the mechanisms by which it may exert its influence is essential.

HPE 연구의 SRL 데이터(및 CRL 데이터)는 대부분 주관적인 자기보고서를 통해 수집되며, 참여자의 [조절 활동에 대한 인식]을 탐구한다. 그러나 종종 이러한 인식은 실제 행동과 같지 않다. 이러한 한계를 극복하기 위해 최근의 경향은 기술 발전을 통한 [다중 모드 데이터 수집]을 가리키고 있다. 여기에는 서로 다른 데이터 채널(즉, 양식)에서 데이터(예: 객관적 생리학적 및 주관적 자가 보고 데이터)를 수집하여, 연구자들이 복잡한 협력적 학습 상황에서 조절학습의 특징과 단계를 검토할 수 있게 한다. 객관적 데이터 수집을 통해 SRL, CRL, SSRL의 에피소드 동안 일어나는 (노력 조절, 주의력 증가, 혼란과 같은) 보이지 않는 것들을 보이는 것으로 만들 수 있다.

Much of the SRL data in health professions education research (and CRL data for that matter) is collected through subjective self-reports,33 exploring participants’ perceptions of their regulatory activities. However, these perceptions often differ from their actual behaviour.65 To overcome these limitations, recent trends draw on technological advancements and point to collecting multimodal data.52, 66 This involves collecting data from different data channels (ie modalities),52 for example objective physiological and subjective self-report data, allowing researchers to examine features and phases of regulatory learning in complex collaborative learning situations.67 Through collecting objective data, we are able to make visible what otherwise remains invisible, such as effort regulation, increased attention, and confusion that may take place during episodes of SRL, CRL, and/or SSRL.

예를 들어, 최근의 연구는 360도 카메라와 전피 측정과 같은 데이터 소스를 사용하여 그룹 구성원의 협업 학습에 대한 공유 모니터링을 검사하거나, 협업 학습 상황에서 심박수 및 피부 전도 측정과 같은 생리학적 데이터(예: 감정 반응 측정)를 수집한다. 서로 다른 출처의 데이터(객관적 데이터와 주관적 데이터 모두)를 삼각측량하면 다양한 환경에서 학습 규제의 수준과 결과를 더 잘 설명하는 데 도움이 될 수 있다. 협업 중 학습 규제에 대한 이해를 높이기 위해 시뮬레이션 기반 연구를 할 수 있으며, 테크놀로지로 쉽게 통합할 수 있다. 따라서 시뮬레이션 기반 연구 환경은 규제 학습 과정과 같이 밝혀내기 어려운 복잡한 현상을 분석하고 분리하는 데 학자들이 매우 적합한 것으로 보인다.

For example, recent studies use data sources such as 360-degree cameras and electro-dermal measures to examine group members’ shared monitoring of collaborative learning,68 or collect physiological data such as heart rate and skin conductance measures (eg to measure emotional reactions) during collaborative learning situations.66 Triangulating data from different sources (both objective and subjective data), may help us to better describe levels and outcomes of regulation of learning in various settings. To improve our understanding of the regulation of learning during collaboration, we can draw on simulation-based research, in particular,69 as this more easily allows incorporation of technology. Simulation-based research settings seem therefore eminently suitable for helping scholars analyse and disentangle complex phenomena that are difficult to uncover,70 such as regulatory learning processes.

민족지학 연구는 규제 학습 과정에 대한 우리의 이해를 증진시킬 수 있는 독특하고 새로운 기회를 제공할 수 있다. 실제 환경이나 시뮬레이션 환경에서 의료팀을 직접 관찰하면, 실제 작업을 수행하는 동안 발생하는 조절행동과 서로 다른 조절형태가 어떻게 내재될 수 있는지에 대한 탐구를 가능하게 할 수 있다. 또한, 조절행동을 관찰하면 unevenly distributed CRL과 evenly distributed SSRL의 차이를 조사할 수 있다. 
Ethnographic research might offer unique and new opportunities to further our understanding of regulatory learning processes. Direct observation of healthcare teams, either in real-life settings or in simulation settings, may enable exploration of regulatory behaviour as it occurs during the performance of authentic tasks and how different regulatory forms may be embedded in one another. Additionally, observing regulatory behaviour allows for examination of the distinction of unevenly distributed CRL and evenly distributed SSRL. 

 

4.2 보건직 교육에 대한 시사점
4.2 Implications for health professions education

의료 전문가들에게 [협력적 학습]이 중요하다면, [협력적 학습의 조절]은 마찬가지로 중요해진다. 따라서 [협력적 학습의 조절을 지원하고 자극하며 촉진하는 요소]가 HPE 커리큘럼에 스며들어야 한다. 무엇보다 다양한 조절수준에 대한 인식 제고가 필수다. 현재 대부분의 HPE 커리큘럼은 CRL과 SSRL보다 SRL에 더 관심을 갖는 것으로 보인다. 팀원들이 서로의 지식, 활동, 감정, 동기, 집단으로서의 기능에 대한 관점을 높이는 것은 CRL과 SSRL의 발전을 지원하기 위한 중요한 출발점이다. 예를 들어 시뮬레이션 기반 팀 훈련 세션의 보고 세션에서 팀 구성원의 자체 및 기타 규제 학습 프로세스에 대한 인식에 초점을 맞춘 논의를 촉진할 수 있다. 

When collaborative learning is considered important for healthcare professionals, regulation of collaborative learning becomes equally important. Therefore, elements that support, stimulate, and facilitate the regulation of collaborative learning should permeate healthcare professions curricula. First and foremost, increasing awareness of different regulatory levels is vital. Currently, most healthcare professions curricula seem to pay more attention to SRL than to CRL and SSRL. Increasing team members’ awareness of each other's knowledge, activities, emotions, motivation, and views of the group's functioning as a collective is a crucial starting point to support development of CRL and SSRL.50 To help make explicit what often remains implicit, discussions that focus on team members’ awareness of own and other regulatory learning processes could be stimulated during debriefing sessions of simulation-based team training sessions, for example.71, 72


만약 HPE의 목표 중 하나가 [협력적 학습을 촉진하는 것]이라면, 커리큘럼은 [협력적 학습] 뿐만 아니라 [협력적 학습의 조절]을 요구하는 과제까지도 포함해야 한다. 이러한 학습 과제는 학생들에게 그러한 기술을 개발하는 것과 관련된 정보를 제공해야 한다. 그런 다음 특정 자체, 공동 및 공유 규제 학습 프로세스와 활동을 명시적으로 목표로 하는 피드백 제공에 주의를 기울여야 한다. 

If one of the aims of healthcare professions education is to promote collaborative learning, curricula must include learning tasks that require collaborative learning as well as regulation of that learning. These learning tasks should provide students with information that is relevant for developing such skills. It is then crucial that attention is paid to the provision of feedback that is explicitly aimed at specific self-, co-, and shared regulatory learning processes and activities.73

5 결론
5 CONCLUSION

건강 직업 영역 내에서 학습(따라서 학습의 조절)은 서로 다른 수준의 학습과 함께 서로 다른 수준에서 이루어진다. 의료 전문가를 위한 협업 및 집단 역량의 중요성은 점점 더 인식되고 있지만, 의료 팀이 협업 학습을 규제하는 방법에 대한 관심은 아직 탄력을 받지 못하고 있다. 그러므로 우리는 [자기조절학습을 최적화하는 방법]에만 배타적으로 초점을 두는 것에서, [학습이 일어나는 수준에 맞춘 가장 효과적인 조절]이라는 더 넓은 관점으로 전환해야 한다. 따라서 의료 영역 내에서 학습의 규제를 진정으로 완화한다는 것은 학습의 자체, 공동 및 사회적으로 공유되는 규제 수준을 완화한다는 것을 의미한다. 그래야 미래의 의료 전문가들이 복잡하고 예측 불가능하며 협업적인 의료 제공 환경에서 생산적으로 작동하는 데 필요한 기술을 개발할 수 있습니다.

Learning – and therefore regulation of learning – within the health professions domain takes place at different levels, with different levels of regulation of learning being embedded in one another. While the importance of collaboration and collective competence for healthcare professionals is increasingly recognised, attention to how healthcare teams regulate their collaborative learning has yet to gain momentum. We, therefore, may want to shift from an exclusive focus on how to optimise self-regulation of learning, to the broader perspective of how to most effectively regulate learning, depending on the level at which it takes place. Truly unravelling regulation of learning within the healthcare domain therefore means unravelling the levels of self-, co-, and socially shared regulation of learning. Only then are we able to help future healthcare professionals to develop the skills that are necessary to function productively within the complex, unpredictable, and collaborative context of healthcare delivery.

 

 


 

 

Med Educ. 2022 Jan;56(1):29-36.

 

 doi: 10.1111/medu.14566. Epub 2021 Jun 7.

 

Putting self-regulated learning in context: Integrating self-, co-, and socially shared regulation of learning

Affiliations collapse

Affiliations

1School of Health Professions Education (SHE), Maastricht University, Maastricht, The Netherlands.

2Department of Educational Development and Research, Faculty of Health, Medicine and Life Science, Maastricht University, Maastricht, The Netherlands.

3Facultad de Psicología y Educación, Universidad de Deusto, Bilbao, España.

4IKERBASQUE, Basque Foundation for Science, Bilbao, Spain.

5Faculty of Social Sciences, Radboud University, Nijmegen, The Netherlands.

PMID: 33988857

DOI: 10.1111/medu.14566

Abstract

Processes involved in the regulation of learning have been researched for decades, because of its impact on academic and workplace performance. In fact, self-regulated learning is the focus of countless studies in health professions education and higher education in general. While we will always need competent individuals who are able to regulate their own learning, developments in healthcare require a shift from a focus on the individual to the collective: collaboration within and between healthcare teams is at the heart of high-quality patient care. Concepts of collaborative learning and collective competence challenge commonly held conceptualisations of regulatory learning and call for a focus on the social embeddedness of regulatory learning and processes regulating the learning of the collective. Therefore, this article questions the alignment of current conceptualisations of regulation of learning with demands for collaboration in current healthcare. We explore different conceptualisations of regulation of learning (self-, co-, and socially shared regulation of learning), and elaborate on how the integration of these conceptualisations adds to our understanding of regulatory learning in healthcare settings. Building on these insights, we furthermore suggest ways forward for research and educational practice.

무엇을 생각하고 있었나요? 의과대학생의 자기조절학습에 대한 메타인지와 인식 (Teach Learn Med, 2021)
What Were You Thinking? Medical Students’ Metacognition and Perceptions of Self-Regulated Learning
Marjolein Versteega,b , Guusje Bressersc , Marjo Wijnen-Meijerd , Belinda W. C. Ommeringa , Arnout Jan de Beauforta , and Paul Steendijka,b 

 

 

소개
Introduction

자기 조절 학습은 의료 전문가가 개발하는 데 필요한 기술입니다.1 그러나, 의대생들은 종종 자기 조절에 필요한 메타인지의 수준을 얻기 위해 고군분투한다.2,3 의대생들의 자기 조절 학습에 대한 충분한 문헌이 있지만, 어떤 메타인지 역량이 저개발되어 있는지를 확인하는 연구는 흔치 않다. 적절한 메타인지 능력을 보유하는 것은 임상 환경에 막 진입하려는 임상 전 마지막 학년의 학생들에게 특히 중요하다. 
Self-regulated learning is a necessary skill for healthcare professionals to develop.1 However, medical students often struggle to acquire the level of metacognition required for self-regulation.2,3 Although there is ample literature on self-regulated learning in medical education, studies identifying which metacognitive competencies are underdeveloped in medical students remain scarce. Possessing adequate metacognitive competencies is particularly valuable for final year pre-clinical students who are about to enter the clinical environment. 

자기 조절 학습은 학습자가 과제 전에 자신의 활동을 계획하고, 과제 중에 이러한 활동을 모니터링하며, 과제 후에 결과를 평가하는 순환 과정이다.4 의료교육계에서는 자기조절이 효과적인 학습을 위한 중요한 전제조건으로 인식되고 있다. 그러나 이 기술이 암묵적으로 습득된다는 것은 잘못된 일반적인 가정이다.5 
Self-regulated learning is a cyclical process during which a learner plans one’s activities prior to a task, monitors these activities during a task, and evaluates the outcome after a task.4 Self-regulation is recognized by the medical education community as an important prerequisite for effective learning. It is a common incorrect assumption, however, that this skill is implicitly acquired.5 

정교한 자기 조절 학습자는 자신의 성과를 성찰하고 미래의 시도를 위해 자신의 접근 방식을 수정할 수 있다.7.8 본질적으로 자기 조절 학습자는 자신의 학습의 주도자이다. 데이비드 새킷은 다음과 같이 충고했다.
Sophisticated self-regulated learners are capable of reflecting on their own performance and modifying their approach for future attempts.7,8 In essence, self-regulated learners are the captains of their own learning. David Sackett pleads for more captains by advising:

의과대학에서 배우게 될 내용 중 절반은 졸업 후 5년 이내에 완전히 잘못되었거나 시대에 뒤떨어진 것으로 나타날 것입니다. 문제는 어느 쪽이든 말할 수 없다는 것입니다. 따라서 가장 중요한 것은 스스로 배우는 방법입니다. (1431쪽)9
Half of what you’ll learn in medical school will be shown to be either dead wrong or out of date within five years of your graduation; the trouble is that nobody can tell you which half—so the most important thing to learn is how to learn on your own. (p. 1431)9

 

자기조절학습의 순환은 인지, 메타인지, 동기부여의 세 가지 상호관련 요소에 의해 유도된다.13 대부분의 의학교육 연구가 인지14와 동기부여에 초점을 맞추고 있는 반면 메타인지에 대한 15개 연구는 상대적으로 제한적이다. 사회인지과학에서 연구자들은 수십 년 동안 메타인지에 대해 연구해 왔다. 플라벨과 다른 사람들은 메타인지의 세 가지 주요 구성 요소를 설명했는데, 이는 교실에서 메타인지적 교육 관행을 용이하게 할 수 있다.16-19 

  • 첫째, 메타인지적 지식에 대해 학생들에게 명시적으로 가르칠 수 있다; 예를 들어, 교육자들은 학생들이 학습에 관한 그들의 강점과 약점, 그리고 그들이 알고 있는 것과 아직 모르는 것에 대해 인식하도록 도와야 한다. 
  • 둘째, 메타인지 기술을 분명히 가르칠 수 있다; 예를 들어, 교육자들은 학생들이 공부할 때 사용할 수 있도록 학습에 효과적인 전략을 제공해야 한다.
  • 셋째, 메타인지적 경험에 대해 가르칠 수 있다. 예를 들어, 학생들이 학습 과제와 관련된 느낌, 즉 어리둥절함이나 아하 경험 등이다.
    • 메타인지 경험은 종종 학습자가 학습에 대한 판단의 기초를 형성하는 휴리스틱 피상적 단서로 사용된다. 예를 들어, 2,20 의대생들은 이 진단이 떠오른 속도에 기초하여 올바른 진단을 내릴 가능성을 판단할 수 있다. 하지만, 빠른 사고가 반드시 학생의 대답이 옳다는 것을 의미하지는 않습니다. 오히려 인과적 추론에 의해 형성된 이해 기반 단서는 정확한 반응을 더 예측한다.21

The cycle of self-regulated learning is guided by three interrelated components: cognition, metacognition, and motivation.13 While most medical education studies focus on cognition14 and motivation,15 research on metacognition is relatively limited. In the social-cognitive sciences, researchers have been studying metacognition for several decades. Flavell and others have described three major components of metacognition, which may facilitate metacognitive teaching practices in the classroom.16–19 

  • Firstly, one may explicitly teach students about metacognitive knowledge; for example, educators should help students to become aware of their strengths and weaknesses regarding learning, and of what they know and do not yet know.
  • Secondly, one may explicitly teach metacognitive skills; for example, educators should provide students with effective strategies for learning so students can use them when studying.
  • Thirdly, one may explicitly teach students about metacognitive experiences; for example, students’ feelings related to the learning task such as a feeling of puzzlement or an aha-experience.
    • Metacognitive experiences are often used by learners as heuristic superficial cues which form the basis for their judgements of learning.2,20 For instance, medical students may judge their chances of making the right diagnosis based on the speed with which this diagnosis came to mind. However, fast thinking does not necessarily mean that the student’s response is correct. Rather, comprehension-based cues that are formed by causal reasoning are more predictive of correct responses.21

메타인지 역량의 개발은 의료 훈련의 시작에서 이미 중요한 역할을 해야 한다; 이러한 역량을 소유하는 것은 임상 전 학생들이 임상 학습으로 전환할 때 특히 가치 있을 수 있다. 학교에서 임상의학 전 학생에서 직장에서의 임상 학생으로의 전환은 꽤 까다롭고, 학생들은 더 자기 조절적인 학습 스타일에 적응해야 한다.
The development of metacognitive competencies already should play an important role at the start of medical training; possessing these competencies can be particularly valuable when final year pre-clinical students transition to clinical learning. The transition from being a pre-clinical student in school to a clinical student in the workplace is quite demanding, and students must adapt to a more self-regulated learning style.22 

본 연구에서는 최종 연도 임상 전 의대생의 과제별 메타인지 지식, 기술 및 경험을 조사하기 위해 정성적 접근법을 사용했다. 또한, 우리는 과제별 메타인지 역량에 대한 우리의 발견을 더 넓은 자기 조절 학습 맥락과 연관시키기 위해 학부 의료 커리큘럼에서 자기 조절 학습에 대한 학생들의 인식을 식별했다. 본 연구의 연구 질문은 다음과 같다.

In this study, we used a qualitative approach to investigate final year pre-clinical medical students’ task-specific metacognitive knowledge, skills, and experiences. Additionally, we identified students’ perceptions of self-regulated learning in the undergraduate medical curriculum to relate our findings on task-specific metacognitive competencies to the broader self-regulated learning context. The research question of this study was:

임상의학전 마지막 학년 학생들은 어떤 메타인지적 역량을 보여주며, 커리큘럼 맥락에서 이러한 역량과 자기 조절 학습을 어떻게 인지하는가?
What type of metacognitive competencies do final year pre-clinical medical students display, and how do they perceive these competencies and self-regulated learning in the curricular context? 

방법들
Methods

컨텍스트
Context

이 연구는 네덜란드 레이던 대학 의료 센터에서 수행되었습니다. LUMC는 6년간의 의료 훈련 프로그램을 제공하고 있으며, 학부 1~3학년은 임상 전 과정이며 대학원 4~6학년은 임상실습으로 구성된다. 네덜란드 의대 학부 교육 프레임워크는 의대생이 건강관리 기준을 효과적으로 충족시키기 위해 훈련에서 달성해야 할 학습 성과를 설명한다. 학습 성과 중 하나는 학부생들이 높은 수준의 자율성을 다루는 데 필요한 메타인지 역량을 보유해야 한다는 것이다. 23 그러나 현재 LUMC 커리큘럼에서는 그러한 기술에 대한 공식적인 교육이 제한적이다.
This study was conducted at Leiden University Medical Center (LUMC), the Netherlands. The LUMC offers a six-year medical training program; undergraduate Years 1–3 are pre-clinical and graduate Years 4–6 consist of clinical clerkships. The Framework for Undergraduate Medical Education in the Netherlands describes the learning outcomes that medical students should achieve in their training to effectively meet the standards of health care. One of the learning outcomes is that undergraduates should possess metacognitive competencies that are necessary to handle a high level of autonomy.23 However, in the current LUMC curriculum, formal teaching of such skills is limited.

이 교육과정은 CanMEDS의 역량 모델을 기반으로 하며, 처음 3년 동안은 의학 전문가Medical expert에 중점을 둔다. 교육과정 내내 학생들은 사례별 과제를 수행하는 소그룹 학습 활동으로 보완된 대규모 그룹 강의에 참여한다. 연간 8회 그룹 세션과 2회 개별 세션을 아우르는 '교사-코치 대화'를 통해 자율학습 개발이 교육과정에 공식화된다. 이러한 대화를 하는 동안, 교사-코치는 CanMEDS 역량에 대한 공부 진행, 동기 부여 및 개인적 계발에 대해 논의, 지원 및 격려해야 한다. 의사소통, 직업적 행동, 신체검사 등 모든 역량은 등급이 매겨진다. 채점은 때때로 선생님의 서술적 피드백이 뒤따르지만, 반드시 교사-코치와 같은 선생님일 필요는 없다. 이 연구는 임상 전 단계의 3년 동안 수행되었습니다. 우리는 올해 이후 시작되는 임상실습을 잘 수행하기 위해서는 충분한 메타인지 능력을 갖춰야 하기 때문에, 이 기말고사 이전 학생들의 특정 모집단을 이용했다.
The curriculum is based on the CanMEDS competency model, with an emphasis on the medical expert in the first three years. Throughout the curriculum, students participate in large-group lectures complemented by small-group learning activities in which they work on case-based assignments. Development of self-regulated learning is formalized in the curriculum through “teacher–coach conversations,” which encompass eight group sessions and two individual sessions per year. During these conversations, the teacher–coach is supposed to discuss, support, and stimulate study progress, motivation, and personal development for the CanMEDS competencies. All competencies are graded, including communication, professional behavior, and physical examination. Grading is occasionally followed by narrative feedback from a teacher, but this does not necessarily have to be the same teacher as the teacher–coach. This study was conducted during the third year of the pre-clinical phase. We used this specific population of final year pre-clinical students as they are expected to have sufficient metacognitive competencies in order to be successful in their clerkships that start after this year.

참가자
Participants

2019년 1월부터 4월까지 제1저자(MV)는 최종 학년 임상 전 학생들에게 이메일을 통해 접근했다. 이 학생들은 의대 1학년 때 동료 지도와 메타인지에 대한 이전 연구에 참여했었다. 24 참가자들은 정량적으로 평가된 1학년 때 메타인지 성과에 기초하여 의도적으로 표본 추출되었다.25 이 접근법을 노래하면 다양한 수준의 메타인지 능력을 가진 참가자들의 샘플을 얻을 수 있었다. 또한 네덜란드 의대생 인구(남성 30%, 여성 70%)의 성별 변동을 목표로 했다. 총 30명의 학생들이 이 연구에 참여하기 위해 접근했고, 결국 11명의 학생들이 참여했습니다. 불참 이유로는 시험기간 등으로 인한 시간 부족 등이 주로 포함됐다. 익명성을 유지하기 위해, 우리는 참가자들에 대한 더 잠재적으로 신원을 확인할 수 있는 정보를 포함할 수 없다. 학생들은 세션 전에 음성 녹음을 구두로 동의했고, 그 후에 사전 동의서에 서명했다. 그들은 그들의 노력에 대한 보상으로 7.50유로 상당의 무료 점심을 받았다. 
During January–April 2019, the first author (MV) approached final year pre-clinical students by e-mail. These students had participated in a previous study on peer instruction and metacognition in their first year of medical school.24 Participants were purposively sampled based on their metacognitive performance in Year 1, which was assessed quantitatively.25 Using this approach allowed us to obtain a sample of participants with varying levels of metacognitive competencies. Additionally, we aimed for gender variation representative of the medical student population in the Netherlands (30% male, 70% female). In total, 30 students were approached to participate in this study, and 11 students eventually participated. Reasons for not participating mainly included a lack of time for example due to exam periods. To preserve anonymity, we cannot include more potentially identifying information about the participants. Students gave verbal consent to audio-recording before the session and signed an informed consent form afterwards. They were given a free lunch worth €7.50 in compensation for their effort. 

데이터 수집
Data collection

데이터는 두 가지 정성적 방법의 조합을 통해 수집되었습니다.

  • 먼저, 우리는 학생들의 메타인지 능력과 메타인지 경험을 파악하기 위한 사고력 절차를 수행했다.
  • 뒤이어 학부 의료 커리큘럼에서 학생들의 메타인지적 지식과 자기조절학습에 대한 인식을 통찰하기 위한 반구조적 면접이 이어졌다.

Data were collected through a combination of two qualitative methods.

  • First, we conducted a think-aloud procedure to identify students metacognitive skills and metacognitive experiences.
  • This procedure was followed by a semi-structured interview to gain insight in students’ metacognitive knowledge and perceptions of self-regulated learning in the undergraduate medical curriculum.

자기조절학습의 하위 구성요소인 메타인지역량에 대한 조사결과를 학생들의 자기조절학습에 대한 인식과 연결시키기 위해 면접 중 질문한 내용도 함께 알려줬다. 제1저자(MV)가 Think-Aloud 세션에 참석하여 이후 인터뷰를 진행했다.

The think-aloud session also informed the questions that were asked during the interview to connect the findings on metacognitive competencies, as a subcomponent of self-regulated learning, to students’ perceptions on self-regulated learning. The first author (MV) was present during the think-aloud sessions and conducted the interviews afterwards.

Think-aould 과제와 인터뷰는 제1저자(MV)가 음성녹음해 그대로 옮겨놓은 것으로 과제를 시작하며, 참가자들에게 의학 생리학에 관한 4가지 실습을 풀면서 큰 소리로 생각하도록 했다. 이 연습들은 전문 생리학자(PS)에 의해 고안되었으며 참가자들의 과학적 추론과 개념적 사고를 활성화하는 것을 목표로 했다. 문제는 2단계 객관식 형식으로 출제되었으며 혈류, 저항, 압력의 상호 관련 개념에 초점을 맞췄다(보충 자료의 부록 A 참조). 사실 지식은 정보 시트에 제시되었기 때문에 학생들은 주로 정보의 적용과 통합에 집중해야 했다. 각 연습이 끝난 후, 학생들은 제공된 답에 대해 얼마나 확신하는지 물어봄으로써 그들의 결론을 평가하도록 유도되었다. 참가자들이 3초 이상 침묵을 지키면 계속 큰 소리로 생각하도록 했다. 생리학 질문에 앞서 참가자들은 두 가지 질문을 받아 큰 소리로 생각하는 연습을 했다.
The think-aloud assignment and interviews were audio-recorded and transcribed verbatim by the first author (MV). At the start of the assignment, participants were asked to think aloud while solving four exercises on medical physiology. These exercises were designed by an expert physiologist (PS) and aimed to activate participants’ scientific reasoning and conceptual thinking. The questions were posed in a two-tier multiple-choice format and focused on the interrelated concepts of blood flow, resistance, and pressure (see Appendix A in Supplementary Material for an example). Factual knowledge was presented on an information sheet, so students mainly had to focus on application and integration of the information. After each exercise, students were prompted to evaluate their conclusions by asking how sure they were of their provided answer. If participants were silent for more than three seconds, they were asked to continue to think aloud. Prior to the physiology questions, participants received two questions to practice thinking aloud.

이후 이어지는 반구조적 면접의 프롬프트에도 Think-Aloud 절차가 활용됐다. 예를 들어, 참가자들에게 학습 과제를 어떻게 경험했는지, 문제가 어려웠는지, 어떻게 풀려고 노력하는지 등을 물었다. 인터뷰 가이드는 MV, GB, MW 및 BO에 의해 개발되었다(보충 자료의 부록 B 참조). 인터뷰 가이드는 메타인지의 이론적 개념을 바탕으로 설계되고 구성되었다. 4,17-19,26

  • 이 가이드에는 목표 설정, 학습 전략 및 성찰 활동에 대한 질문이 포함되어 있다.
  • 다른 이슈들은 의료 커리큘럼에서의 자기 조절 학습에 대한 참가자들의 인식과 관련이 있었다.
  • 이 질문들은 자신이 무엇을 알거나 모르는지를 아는 것의 가치와 학습 활동이 이를 어떻게 강화할 수 있는지에 초점을 맞췄다.

The think-aloud procedure was also used as a prompt for the subsequent semi-structured interview. For example, participants were asked how they had experienced the learning task, whether the questions were difficult, and how they would try to solve them. The interview guide was developed by MV, GB, MW, and BO (see Appendix B in Supplementary Material). The interview guide was designed and structured based on theoretical concepts of metacognition.4,17–19,26 

  • This guide included questions about goal-setting, learning strategies, and reflective activities.
  • Other issues that were pursued during the interview concerned participants’ perceptions of self-regulated learning in the medical curriculum.
  • These questions focused on the value of knowing what one does (not) know and how learning activities could enhance this.

각 세션은 think-aloud 절차와 인터뷰로 구성되며 평균 45분 동안 진행되었다. 테마의 이론적 포화는 8번의 인터뷰 끝에 도달했으며, 이는 새로운 테마를 개발할 수 있는 추가 데이터가 발견되지 않았다는 것을 의미한다. 이후 질적 건강 연구의 일반적인 관행인 포화도를 확인하기 위해 마지막 세 번의 인터뷰를 실시했다.27

Each session, consisting of a think-aloud procedure and interview, lasted on average 45 minutes. Theoretical saturation of the themes was reached after eight interviews, meaning no additional data were found to develop new themes. Subsequently, we conducted three last interviews to check saturation, which is common practice in qualitative health research.27

데이터 분석
Data analysis

데이터 분석과 수집은 반복적인 방식으로 진행되었습니다. 데이터는 메타인지 이론에 기초한 템플릿 분석28을 사용하여 MV, GB 및 MW에 의해 코딩, 분석 및 해석되었다. 선험적 주제는

  • 메타인지적 지식(즉, 자아, 과제, 전략의 지식),
  • 메타인지적 기술(계획, 모니터링, 평가),
  • 메타인지 경험이었다.

Data analysis and collection proceeded in an iterative fashion. The data were coded, analyzed, and interpreted by MV, GB, and MW using template analysis28 based on metacognitive theory,19,26 allowing a priori themes to be used in developing the initial version of a coding template. These a priori themes were:

  • metacognitive knowledge (i.e. of self, of task, of strategy),
  • metacognitive skills (i.e. planning, monitoring, and evaluating), and
  • metacognitive experiences.

MV와 GB는 각자 스크립트 1-3에 대해 독립적으로 예비 코딩을 수행하여 초기 템플릿을 만들었다. 코딩, 코드, 템플릿에 대한 연구자들 간의 합의가 이루어질 때까지 코드를 교차 점검했다. 인터뷰가 많아지자 우리는 코딩 템플릿을 계속 다듬었습니다. 코딩 템플릿은 데이터 수집 기간 동안 MV와 GB에 의해 비교되고 논의되었다. MV는 이 템플릿을 사용하여 스크립트 4-5를 코드화하고, 스크립트 6은 GB로 코드화하였다. 연구팀 간의 협업 분석을 통해 템플릿을 더욱 개선한 결과 템플릿에 대한 합의가 이루어졌습니다(보충 자료의 부록 C 참조). 이 마지막 템플릿은 MV가 나머지 대본(7–11)을 코드화하는 데 사용되었다.

MV and GB performed preliminary coding on Transcripts 1–3 independently to create an initial template. The codes were cross-checked until consensus was reached between the researchers about the coding, codes, and template. As the number of interviews grew, we kept refining the coding template. The coding template was compared and discussed by MV and GB throughout the data collection period. MV used the template to code Transcripts 4–5, and Transcript 6 was independently coded by GB. Further refinement of the template through collaborative analysis among the research team led to template consensus (see Appendix C in Supplementary Material). This final template was use by MV to code the remaining transcripts (7–11).

htlm_a_1889559_sm4878.zip
1.08MB

반사율
Reflexivity

팀은 질적 연구에 대한 다양한 배경과 전문 지식을 가진 연구원으로 구성되어 있어 다양한 관점을 사용하여 연구 결과를 쉽게 해석할 수 있었다. 제1저자(MV)는 신경생물학 관련 배경의 의학 교육 박사 학위를 보유하고 있으며 메타인지와 개념적 사고에 특히 관심이 많다. 다른 저자들은 모두 의학인류학·사회학(GB), 교육학(BO), 교육과학(MW), 의학(AdB), 물리학(PS) 등 각기 다른 배경을 갖고 있다.
The team consisted of researchers with varied backgrounds and expertise in qualitative research to facilitate interpretation of our findings using multiple perspectives. The first author (MV) holds a doctorate degree in medical education with a background in neurobiology and has a particular interest in metacognition and conceptual thinking. All other authors are active in the field of medical education research and have different backgrounds, including medical anthropology and sociology (GB), pedagogical sciences (BO), educational sciences (MW), medicine (AdB), and physics (PS).

 

결과
Results

우리는 학생들이 문제 풀이 과정에서 보여준 메타인지 능력을 파악했다. 템플릿을 사용하여 메타인지 기술의 특정 하위 유형에서 어려움이 발생하는지 여부를 확인할 수 있었습니다.
We identified the metacognitive skills that students displayed during problem-solving. With our template we were able to identify whether difficulties occurred for specific subtypes of metacognitive skills.

계획
Planning

계획 수립은 문제 해결 과정에 앞서 이루어지며 목표 설정, 적절한 전략 선택, 예측, 순서 전략 수립, 자원 할당 등이 포함된다.26 이 모든 테마는 본 연구에서 발견되었습니다. 사고력 과제 동안, 일부 학생들은 강조, 요약 또는 시각화를 통해 연습의 중요한 특성에 대한 개요를 만들어 계획적인 행동을 보여주었다. 인터뷰에서, 학생들은 종종 개요를 만드는 능력을 인정합니다.

Planning occurs prior to the problem-solving process and includes setting goals, selecting appropriate strategies, making predictions, sequencing strategies, and allocating resources.26 All these themes were found in this study. During the think-aloud assignment, some students demonstrated planning behavior by creating an overview of the important characteristics of the exercise, either by highlighting, summarizing, or visualizing. In the interview, students would often recognize their ability to create overview.

글쎄요, 저는 개요를 잘 만드는 것 같아요. 개요를 만들기 전에는 문제 해결을 시작하지 않겠습니다. 저는 문제 해결을 시작하기 전에 모든 정보를 적고 중요한 정보를 강조하여 명확하게 합니다. (P9)
Well, I think I am good at creating an overview. I will not start problem solving before creating an overview. Generally, I write down all the information and highlight the important information to clarify things before I start problem-solving. (P9).


또한, 일부 학생들은 다른 것을 하기 전에 먼저 문제를 파악하는 것이 전략이라고 명시했다. 그러나, 이것은 think-aloud 과제 동안 명시적으로 수행된 적이 거의 없다.

Further, some students specified that their strategy was to first identify the problem (i.e. setting the goal), before doing anything else. However, this was rarely done explicitly during the think-aloud assignment.

보통 질문을 먼저 읽고 그 다음부터는 본문을 다 읽기 전에 나에게서 진짜 질문을 받은 내용으로 넘어간다. 하지만 지금은 그렇게 하지 않았다. (P3)
Usually, I read the questions first and quickly after that I move on to what is really been asked from me, before reading all the text. However, I did not really do it now [during the exercise]. (P3).

일반적으로 문제 해결에 앞서 계획을 세우는 데 거의 시간을 할애하지 않았다. 여러 학생이 문제를 파악하고 문제 해결에 필요한 자원을 배분하는 데 시간을 들였지만, 자신이 가지고 있는 정보를 정확하게 기록하지 않아 문제를 풀 수 있는 정보를 놓치는 학생들도 있었다.

Generally, little time was devoted to planning prior to problem-solving. Several students spent some time identifying the problem and allocating resources that were needed to solve the question, however there were also students who missed out on information to solve the question because they did not accurately record which information they had at their disposal.

모니터링
Monitoring

모니터링은 이해와 수행에 대한 온라인 인식online awareness이므로 실제 문제 해결 중에 발생합니다.26 학생들은 다양한 형태의 모니터링, 즉 전략을 think-aloud 과제에서 사용했습니다. 정기적으로 사용되는 전략에는 재독서, 목표 확인, 상황 시각화, 정답을 찾기 위한 답변 옵션 제거 등이 포함되었다. 학생들은 서로 다른 전략을 거의 바꾸지 않았다. 일반적으로 최초 결과가 답변옵션 중 하나와 일치하지 않는 경우에만 다른 접근법을 사용하기 시작하였다. 일부 학생들은 그들이 생각 과제 동안 특정한 메타인지 전략을 의식적으로 사용하지 않았다고 인정했다. 학생들의 전략 활용에 대한 인식도 매우 다양했다.
Monitoring is the online awareness of comprehension and performance and thus takes place during actual problem-solving.26 Students used various forms of monitoring, that is, strategies, during the think-aloud assignment. Regularly used strategies included rereading, goal-checking, visualizing the situation, and eliminating answer options to get to the correct solution. Students rarely switched between different strategies. Generally, they started to use a different approach only when their initial outcome did not align with one of the answer options. Some students admitted that they did not consciously use specific metacognitive strategies during the think-aloud assignment. A large variety in awareness of student’s strategy use was found.

나는 딱히 특별한 전략이 없어, 와, 이러고 저러고 해야겠다. 나는 가끔 그것을 다시 읽는 전략을 사용해요. 그리고 때때로 당신은 시험을 보는 동안 당신에게 도움이 될 수 있는 것들을 만나게 될 것입니다. 네, 기본적으로 그렇습니다. (P9)
I do not really have specific strategies, that I think wow, I should do this or that. I use the strategy to sometimes just read it again. And sometimes you will encounter things during the test that may help you. So yes… basically like that. (P9).
저는 먼저 정보를 구조화하려고 노력합니다. 그래서, [이 과제를 위해] 저는 수치와 많은 문자를 받았습니다. 그리고 나서 글자를 사용해서 텍스트를 구성해요. 예를 들어, A 더하기 B는 C이다. (P7)
I first try to structure the information. So, [for this assignment] I received a figure and a lot of text. Often, I then use letters to structure the text. For example, A plus B is C. (P7)


발췌문은 스펙트럼의 두 끝을 보여준다. 첫 번째 발췌문은 구체적인 전략을 전혀 사용하지 않은 학생을 보여줍니다. 두 번째 발췌문은 문제를 해결하기 위해 특정한 전략을 사용한 학생을 보여준다. 이런 스펙트럼 가운데, 문제를 풀기 위해 특정 전략을 사용해야 한다는 것을 알면서도 과제 수행 중에 사용하지 않았다고 인정하는 학생들이 있었다.

The excerpts illustrate two ends of a spectrum. The first excerpt demonstrates a student who did not use any specific strategies at all. The second excerpt demonstrates a student who used a specific strategy to tackle the question. In the middle of this spectrum, there were students who admitted that, although they knew they should use certain strategies to solve the questions, they did not use them during the task.

대다수의 학생들은 분석적 사고, 즉 논리적으로 어려운 문제인 만큼 다소 어려운 문제라는 점을 인정했다.

The majority of students admitted that they found the questions rather difficult, as they found analytical thinking, that is, to reason, difficult.

저는 우리가 의과대학에서 사실 지식을 배우기 위해 훈련을 받고 있다고 생각합니다. 그리고 이것은 사실을 배우는 기술이나 사실을 연결하는 것과는 다른 기술입니다. 그래서 이것은 정말 다른 기술이기 때문에 항상 어렵지만, 꽤 많은 지능이 필요합니다.
I think we are trained in medical school to learn factual knowledge, and this [exercise] is a different skill than learning facts, or connecting facts, so… this is really a different skill, so I think that is always difficult, but it requires quite some brainpower. (P2)


일반적으로 학생들은 분석적 추론이 의학 훈련 중에 활발하게 가르쳐지지 않는 역량이라고 느꼈다.
In general, students felt that analytical reasoning was a competency not actively taught during medical training.

평가하기
Evaluation

평가란 문제 해결 후 결과와 조절 과정을 평가하는 것을 말한다. 예를 들어, 개인의 목표와 결론을 평가하는 것이 포함된다.26 생각하는 과제 동안 소수의 학생들이 정답 옵션 중 하나를 표시한 후 결론을 평가하였다. 우리는 학생들이 제공한 답을 얼마나 확신하는지 물어봄으로써 평가하도록 유도했다. 이 조언에도 불구하고, 학생들은 그들의 답을 평가하는 데 거의 시간을 할애하지 않았다. 대부분의 학생들은 자신감에 대한 명확한 설명이나 답안 확인 없이 '자신의 주어진 답이 맞다고 얼마나 확신하느냐'는 질문에 답할 것이다. 인터뷰에서 대부분의 학생들은 "논리적인 느낌"이 그들의 이해 수준을 결정할 것이라고 묘사했다.
Evaluation refers to appraising the outcomes and regulatory processes after problem-solving. This includes, for example, evaluating one’s goals and conclusions.26 During the think-aloud assignment, few students evaluated their conclusions after marking one of the answer options. We prompted the students to evaluate by asking how sure they were of their provided answer. Despite this prompt, students spent little time evaluating their answers. Most students would answer the question “How confident are you that your given answer is correct?” without explicitly elaborating on their feeling of confidence or without checking their answer. During the interviews, most students described that a “feeling of logic” would determine their level of comprehension.

네, 만약 제 감정이 [정답이] 맞지는 않지만 공식대로라면 맞다고 한다면, 저는 이것이 옳지 않다고 생각하기 때문에 의심하게 될 것입니다. 예를 들어, 서로 맞지 않을 때, 그리고 공식과 내 감정으로 풀지 못할 때, 나는 확신할 수 없다. (P6)
Yes, if my feelings tell me that it [the answer] is not right but according to the formula it would be right, then I think, this is not right so I will doubt. Like, when it is not in accordance with each other, and if I cannot solve it with the formula and with my feelings, then I am not sure. (P6)

이해를 위한 다른 단서로는 과제에 소요되는 시간, 학습 자료에 대한 익숙함, 추론 용이성이 포함되었다.

Other cues for comprehension included; time spent on task, familiarity with the learning material, and the ease of reasoning.

생각할수록 의심이 많아진다는 걸 항상 알아차려요. (P1)
I always notice that the longer I think about it, the more I start doubting. (P1)

네, 하지만 제가 이 [학습 자료]를 정말 알고 있다고 생각하시는군요. 나는 이것을 정말 공부해서 알고 있어. 그땐 내가 그걸 잘하는지 몰랐지만, 그래. (P2)
Yes, but you also think I really have known this [learning material]. I have really studied this and known this. I didn’t know then if I was good at it, but yeah. (P2)

언제가 될지 확실합니다: 이렇게 추리하고 정답에 도달했습니다. 그러면 이것이 저에게 맞는 답인 것 같습니다. (P5)
I am sure when: this is how I reasoned and then I get to the right answer, then this seems the right answer to me. (P5)

논리적이라는 느낌feeling of logic과 학습 자료에 대한 친숙함이 자주 언급됐다. 일반적으로 이러한 단서는 이해 수준에 대한 나쁜 예측 변수이다.221 오히려 추론의 용이성이 실제 이해 수준과 잘 연관되어 있지만, 이 단서는 훨씬 덜 언급되었다.

The feelings of logic and familiarity with the learning material were often mentioned. Generally, these cues are bad predictors for the level of comprehension.2,21 Rather, the ease of reasoning is well associated with one’s actual level of comprehension, but this cue was mentioned to a much lesser extent.

의료 커리큘럼에서 자율 학습에 대한 인식
Perceptions of self-regulated learning in the medical curriculum

면접을 진행하는 동안 학생들에게 교과과정에서 '자신이 아는(모르는) 것을 아는' 역할을 되새겨보라고 해 think-aloud 데이터를 풍부하게 했다. 학생들은 자신의 지식과 실력을 정확하게 평가해 자신이 어떤 역량을 갖췄는지 알 수 있는 능력을 중시한다고 말했다. 대부분의 학생들은 이 능력을 외부 평가 도구에 아웃소싱했습니다. 예를 들어, 그들은 자신의 지식이나 기술 수준을 추정하기 위한 도구로 형성시험과 총괄시험, 학습 과제, 이러닝을 모두 언급했다.

During the interviews, the think-aloud data were enriched by asking students to reflect on the role of “knowing what you (do not) know” in the curriculum. Students said they valued the ability to accurately estimate their knowledge and skills so they know what they are (not yet) competent at. Most students outsourced this ability to external assessment tools. For example, they would mention both formative and summative exams, study assignments, and e-learnings as tools to estimate their level of knowledge or skills.

네, 당신은 대부분 공부 과제와 실기 시험을 치르는데, 물론 이미 어떤 지식을 가지고 있는지 진단할 수 있는 가치가 있습니다. (P8)
Yes, you have mostly study assignments and practice exams of course which have a diagnostic value in terms of what knowledge you actually already possess. (P8)

몇몇 학생들은 자신의 지식을 정확하게 추정할 수 있는 능력을 자기 설명, 또래에게 설명, 교사나 다른 출처와의 컨설트와 같은 특정 전략에 의해 개발될 수 있는 내부적이고 개인적인 능력이라고 설명했다. '성찰reflection'이라는 단어는 거의 언급되지 않았고, 만약 그렇다면 학생들은 의료 훈련 중 이 역량에 대한 집중력이 부족하다고 지적했다.

A few students described the ability to accurately estimate one’s knowledge as an internal, personal ability that could be developed by specific strategies, such as self-explaining, explaining to a peer, and consulting a teacher or other sources. The word “reflection” was rarely mentioned, and if it was, students indicated that focus on this competency during their medical training was insufficient.

하지만 그런 메타 레벨은 아닌 것 같아. 우리가 무언가를 얼마나 잘 이해하는지 우리 자신을 돌아볼 수 있을까? 연습을 얼마나 잘 이해하고 있는가, 또는 지식 및 사물을 어떻게 처리해야 하는지를 얼마나 잘 이해하고 있는가. 저는 그것이 교육 프로그램, 특히 학업 교육의 필수적인 요소가 되어야 한다고 생각합니다. 그것에 대한 충분한 관심이 없는 것 같다. 성찰문을 써야 하는데 선생님은 어떻게 해도 괜찮다하니, 그냥 세 단어만 쓴다. 네, 그것은 주로 과제를 채우는 것일 뿐, 학생인 당신이 내가 더 잘할 수 있는 것이 무엇인가를 생각하며 자신을 돌아볼 것이라는 사실은 아닙니다. 그리고 좀 더 진지하게 받아들이신다면, 그 학생이 실제로 어떤 반응을 보이는지도 생각해보세요. 왜냐하면 그 피드백은 대부분 잊혀지고 있기 때문입니다. (P8)
But at such a meta-level not really I think. That we really reflect on ourselves in terms of how well we understand something? How well do we understand exercises, or how well do we understand how we have to handle knowledge and things: I think that should be an essential component of an educational program, especially of an academic education. There is not enough attention paid to it [reflection] I think. We have to write reflection reports but you might as well just fill in three words, because the teacher is OK with it anyway. Yes, it is mainly just a fill in assignment, and not really that you, as a student, will take a look at yourself thinking what can I do better. And if you would take that maybe a little bit more seriously, also looking [as a teacher] what he [the student] actually does with it [the feedback], because that is being forgotten most of the time. (P8)

학생들은 역량의 상태에 대해 더 많은 통찰력을 가질 수 있으면 좋겠다고 언급하면서, "견고한 성과 척도"(즉, 숫자)을 찾고 있었다.

Students were in search of “hard outcome measures” (i.e. numbers) as they mentioned that they would appreciate having more insight into the status of their competences.

어... 역량 기반 교육, 실무 기반 교육으로 인해 저는 제 발전과 제 자신을 어떻게 발전시키는지 모니터링하기가 정말 어렵다는 것을 인정해야 할 것 같습니다. 물론 그것은 교사-코치 대화의 주제 중 하나이지만, 매우 구체적이지는 않다. 지난 3년 동안 얼마나 소통이 잘 되고, 팀플레이가 잘 됐나요? 나도 잘 모르겠고, 그걸 보여주는 숫자도 없다 (P7)
Uh… with those competences, so competency-based education, really the practice-based education, I would have to admit that I find it really difficult to monitor my progress and how I have developed myself. That of course is one of the subjects during the teacher–coach conversations, but it is not very tangible. How good of a communicator, how good of a team player have I become during the last three years? I do not really have a clue, and I do not have any numbers either. (P7)

모든 학생들은 의학 교과 과정 동안 학습에 대한 통찰력을 높일 수 있는 방법에 대한 질문 중 하나에 대해 아이디어를 제시했습니다. 학생들은 대부분 현재 존재하는 평가 도구(예: 저부담시험, 공부 과제, 전자 학습)를 더 많이 보유하는 것이 지식 부족에 대한 더 많은 통찰력을 제공할 것이라고 언급했다.

All students offered ideas in response to one of the questions on how we could enhance one’s insight into one’s learning during the medical curriculum. Students mostly mentioned that having more of the currently existing assessment tools (e.g. low-stakes exams, study assignments, and e-learnings) would provide more insight in one’s knowledge deficiencies.

하지만, 예를 들어, 자율학습 과제나 e-러닝 과제가 시험과 같이 설계된다면, 아마도 여러분의 학습은 매우 시험 지향적일 것입니다. (P2)
But maybe if, for example, the self-study assignments or e-learning assignment are designed like the exam, it would be… but, then your learning is very exam-oriented maybe. (P2)

몇몇 학생들은 개인의 지속적인 발전을 촉진하기 위해 피드백과 성찰을 강화함으로써 얻을 수 있는 이점에 대해 상세히 설명했습니다.
A few students elaborated on the benefits of intensifying feedback and reflection to facilitate personal continuous development.

사실 어제 교육위원회에서 얘기했잖아요 종적 평가와 자기 자신을 향상시키는 것 등... 그것에 더 많은 관심을 기울여야 합니다. 그리고 학생들 스스로에게 물어보거나 그들이 스스로를 개선할 의지가 있는지 평가할 수도 있습니다. (P8)
Well, actually we were talking about this yesterday in an educational committee. Longitudinal assessment and improving yourself and such… that more attention should be paid to that. And that you maybe can ask the students themselves or assess if… are they willing to improve themselves? (P8)


마지막으로, 몇몇 학생들은 지금의 의학 교육이 오로지 의학적인 사실을 배우는 것에만 있다고 언급했다.

Finally, some students mentioned that medical education is solely about learning medical facts.

저에게 있어서, 제가 배우는 것은 대부분 사실을 배우는 것이고, 그것이 정말로 평가된 것입니다. 저는 사실을 배우는 데 있어서 도움을 필요로 하는 것이 아닙니다. 왜냐하면 그것은 제가 알거나 모르거나 둘 중 하나기 때문이다. 저는 암기를 잘하는 것이 장점 중 하나이기 때문에 암기를 잘 할 수 있는 사람은 아무도 없다고 생각합니다. 그래서 저는 암기에 별로 도움이 필요하지 않고, 제가 교육받는 동안 [사실들을 배우는 것]이 제가 주로 시험을 위해 하는 것이라고 생각합니다. 그리고 그런 의미에서, 그 자료를 이해하는 정도는 덜 합니다. (7쪽)
To me, what I am learning is mostly about learning facts, and that is what’s assessed really … I am not looking for any help [in learning facts], because it’s things that I know or do not know. I don’t think that anyone can help me to better learn things by heart, because I, that is one of my strengths, that I am good at learning things by heart. So, I don’t really need help with that and I think that during my education that [learning facts] is what I mainly do for an exam, and in that sense, to a lesser extent understanding the material. (P7)

이 발췌문에서 알 수 있듯이, 학생들은 사실을 배우는 것이 자기 조절적인 학습(예: 도움을 구하는 것)을 필요로 하지 않으며, 사실을 배우는 것이 의과대학의 임상 전 단계에서 성공하기에 충분하다고 느꼈다.
As illustrated by this excerpt, students felt that learning facts does not require self-regulated learning (e.g. help-seeking) and that learning facts is sufficient to succeed in the pre-clinical phase of medical school.

고찰
Discussion


우리의 연구는 의대생들의 메타인지 능력, 지식, 경험에 대한 통찰력을 제공했다. 또한, 우리는 의료 커리큘럼에서 자율 학습에 대한 학생들의 인식을 얻었습니다. 메타인지 능력과 관련하여, 학생들은 문제를 푸는 동안 학습 과정을 모니터링하는 다양한 방법을 사용했다. 예를 들어, 그들은 문제를 덜 추상적으로 만들기 위해 상황을 시각화했다. 모니터링과 달리 기획과 평가에 드는 시간이 적었다. 임상 추론에서 메타인지 기술에 대한 이전의 연구도 학생들이 모니터링을 수행하지만, 계획은 훨씬 덜 발생한다. 계획과 평가는 학업성취도에 대한 강력한 예측 변수이다. 중요한 것은 이러한 기술은 고정된 특성보다는 수정 가능하고 가르칠 수 있다는 것이다.7 Tanner는 과제, 단일 수업 세션, 시험 또는 전체 과정의 레벨에서 학습자가 메타인지적 기술을 훈련할 때 물어볼 수 있는 자기 질문의 예를 제시했습니다. 이러한 질문은 학습자에게 도움이 될 뿐만 아니라 교실에서 메타인지 기술을 명시적으로 다루는 것을 목표로 하는 교육자들에게도 도구 역할을 합니다.
Our study provided insight into medical students’ metacognitive skills, knowledge, and experiences. Additionally, we obtained students’ perceptions of self-regulated learning in the medical curriculum. Regarding metacognitive skills, students used various ways to monitor their learning process while problem-solving. For example, they visualized the situation to make the problem less abstract. Contrary to monitoring, less time was spent on planning and evaluating. Previous research on metacognitive skills in clinical reasoning has also shown that students perform monitoring, but that planning occurs to a much lesser extent.29 Planning and evaluation are strong predictors of academic performance.30–32 Importantly, these skills are modifiable and teachable, rather than fixed traits.7 Tanner has provided examples of self-questions that learners may ask in training their metacognitive skills, either on the level of an assignment, a single class session, an exam, or a full course.33 These questions are not only helpful for learners, but also serve as a tool for educators who aim to address metacognitive skills explicitly in their classrooms.

[메타인지 지식]과 관련하여, [학습 과정에 대한 인식의 다양성]이 발견되었다. 기술의 종류나 사용법에 대한 메타인지적 지식이 거의 없는 학생들에게는 이것을 명시적으로 가르칠 필요가 있다. 게다가, 교육자들은 새로운 정보를 가르치기 전에 어떤 과목에 대한 학생들의 사전 지식을 알아야 한다. 예를 들어, [사전 평가]는 학생들이 자신의 지식 수준을 조사하도록 장려하는 데 매우 가치 있는 도구일 수 있으며, 학생들의 이해에 대한 통찰력을 얻기 위한 진단 도구로서 교육자들에게는 매우 가치 있는 도구일 수 있다. 교육자들은 책임을 져야 하는데, 특히 우리는 문헌을 통해 학생 스스로가 그들의 실제 지식과 역량에 대해 [다소 형편없는 판단자poor judges]라는 것을 알고 있기 때문이다. 
Regarding metacognitive knowledge, a large variety in awareness about one’s learning process was found. For those students with little metacognitive knowledge about types of skills or how to use them, there is a need to teach this explicitly.17,33 Moreover, educators should be aware of students’ prior knowledge about a subject before teaching them new information. For example, preassessments may be very valuable tools in encouraging students to examine their level of knowledge, and for educators as a diagnostic tool to gain insight in students’ understanding.34 Educators should take responsibility, especially since we know from literature that students themselves are rather poor judges of their actual knowledge and competencies.34,35

[메타인지 경험]에 대해서는 대부분의 학생들이 논리적인 느낌이나 친근한 느낌을 바탕으로 자신의 성과를 평가했고, 추론의 용이성에 대해서는 덜 평가했다. 처음 두 가지는 자동 및 무의식적으로 작동하는 표면 관련 단서라고 할 수 있으며, 일반적으로 성능에 대한 예측 단서로 신뢰할 수 없다. 중요한 것은 학습자가 이해 기반 단서(예: 추론 용이성)와 같은 예측 단서를 효과적으로 사용하도록 훈련할 수 있다는 것이다. 사실지식을 배우는 경우 키워드나 요약을 생성하고, 개념지식의 경우 도표를 완성하는 등의 다양한 교육방법이 있다. 학생들이 교실에서 예측 신호를 인식하고 생성하도록 명시적으로 가르치는 것은 결국 교실 밖에서 자율적으로 학습하는 동안 예측 신호 사용을 강화하는 결과로 이어질 수 있다.2
Regarding metacognitive experiences, most students estimated their performance based on a feeling of logic or a feeling of familiarity, and to a lesser extent on the ease of reasoning. The first two can be referred to as surface-related cues that operate automatically and unconsciously, and which are generally unreliable as predictive cues for performance.20,21 Importantly, learners can be trained to effectively use predictive cues such as comprehension-based cues (e.g. ease of reasoning).20,36 Various examples of training methods include generating keywords or summaries in the case of learning factual knowledge, and completing diagrams in the case of conceptual knowledge.37,38 Teaching students explicitly to recognize and generate predictive cues in the classroom may eventually lead to enhancing predictive cue use during self-regulated learning outside of the classroom.2

 

사실을 직시하며
Facing the facts

의료 훈련을 받는 동안 학생들은 계속해서 자신을 증명해야 하며, 결과적으로 그들의 학습은 평가에 의해 주도된다. 우리의 연구는 평가 결과에 할당한 가치에 대한 학생들의 설명에서 이를 확인한다. 그들은 평가가 성과에 대한 주요 지표라고 느꼈다. 특히 역량 기반 교육에 대해서는 어떤 수치에도 의존할 수 없었기에, 학생들은 자신의 역량 수준에 대한 통찰력이 없다고 느꼈다. 평가가 의대생들의 공부 동기에 미치는 영향은 심오하며, 종종 학습에 대한 표면적인 접근으로 이어진다. 표면적 접근은 예를 들어, 사실을 암기하려는 학생들의 목표로 특징지어진다. 특히 우리 학생들은 임상 전 의료훈련의 초점이 사실지식을 배우는 데 있다고 설명하면서 이 문장에 힘을 실었다. 그들은 학습에 대한 이러한 접근은 그들의 추론 능력을 희생하는 것이라고 느꼈다. 심지어 어떤 학생들은 임상적 "추론"은 단지 사실적 지식을 상기해야 하는 패턴 인식의 과정으로 묘사한다.
During their medical training, students continuously have to prove themselves, resulting in their learning being driven by assessments.39,40 Our research confirms this in students’ descriptions of the value they assigned to assessment outcomes. They felt that assessments were the main indicators for performance. Regarding competency-based education specifically, students felt they had no insight in their level of competency as they could not fall back on any numerical indicator of performance. The impact of assessments on medical students’ motivation to study is profound and often leads to a surface approach to learning.39,41,42 This surface approach is characterized, for example, by students’ aim to memorize facts.43 Notably, our students underlined this statement by describing that the focus in pre-clinical medical training is on learning factual knowledge. They felt that this approach to learning came at the cost of their reasoning abilities. Even clinical “reasoning” is described by some students as a process of pattern recognition during which one has to merely recall factual knowledge.

의학 교육계는 이미 딥러닝을 확립하기 위한 솔루션 중 하나가 기초 과학과 임상 학습의 더 많은 통합이며, 이는 의료 개념을 더 잘 이해하기 위한 개념적 지식을 원하는 학생들의 필요를 충족시킬 수 있다고 제안했다. 또한, 평가는 학습을 유도하기 때문에 교육자와 교수진은 평가에서 요구하는 것을 연습practie에 필요한 스킬셋에 맞게 조정해야 합니다. 메타인지와 자기 조절 학습이 정규 평가 일정의 일부이고 성적에 기여했다면, 모든 당사자들에 의해 학습의 중요한 측면에 더 큰 관심을 받을 수 있을 것이다. 메타인지 성과를 평가 일정에 통합하는 예는 성찰 저널의 사용을 소개하는 것입니다. 
The medical education community has already suggested that one of the solutions to establish deep-learning might entail more integration of basic science and clinical learning, which would meet the students’ needs for conceptual knowledge to better understand medical concepts.44 Additionally, because assessment drives learning, educators and faculty should better align assessments with the skill sets required for practice. If assessment of metacognition and self-regulated learning were part of the regular assessment schedule and contributed to grades, one might well get greater attention placed on this important aspect of learning by all parties. An example of integrating metacognitive performance in the assessment schedule is to introduce the use of reflective journals.33 

그러나 평가만이 학생들 사이에서 메타인지적 발전을 자극하는 유일한 해결책은 아니다. 다른 전략에는 학생들의 사전 지식을 명시적으로 활성화하고 새로운 학습 주제에 접근하는 방법에 대한 사려 깊은 계획 수립에 도움이 되는 자체 질문self-guestions의 사용이 포함된다.33 또한 우리의 연구 참여자들이 원하는 바와 같이, 보다 지속적인 평가를 용이하게 하는 통합 종적 평가 프로그램으로의 추세가 있다. 유능한 평생 학습자를 배출하는 것을 목표로 한다. 학생들이 자신의 역량을 평가할 수 있는 메타인지 성과지표를 정의해 의미 있는 평가를 통합하면 우리 학생들이 평생학습 건강전문가가 되는 데 도움이 될 것이다. 

But assessments are not the only solution toward stimulating metacognitive development among students. Other strategies include the use of self-questions that explicitly activate students’ prior knowledge and help them in thoughtful planning of how to approach a new learning topic.33 Further, as also desired by participants in our study, there is a trend toward integrated longitudinal assessment programs that facilitate a more continuous evaluation of student abilities, and which aim to produce competent lifelong learners. The integration of meaningful assessments by defining metacognitive performance indicators against which students can assess their competencies will help our students become lifelong learning health professionals.40,45

장점 및 한계
Strengths and limitations

우리 연구의 강점은 사고력 과제와 인터뷰 시간을 결합하는 데 있다. 이 접근법은 학생들의 메타인지적 수행의 세 가지 측면을 더 잘 파악할 수 있게 해주었다. 교육과정 수준의 자율학습에 대한 학생들의 생각을 촉진하는 역할도 톡톡히 했다. 그러나 몇 가지 제한 사항이 고려되어야 합니다.

  • 첫째, 연구는 진위적이지 않은 환경에서 수행되었는데, 이는 학습 행동과 성과에 영향을 미칠 수 있는 실제 환경의 맥락적 요인이 제외되었다는 것을 의미한다. 그럼에도 불구하고, 학생들은 성적이 매우 좋은 경향이 있었고, 어떠한 채점도 수반되지 않았음에도 불구하고 매우 진지하게 학습 과제를 수행했다.
  • 둘째, 메타인지 기술은 과제 중에 학생들에게 명시적으로 이러한 기술에 대해 묻지 않고 측정되었습니다. 이것은 다음과 같이 정의된 미세분석을 사용하는 것과 반대된다. "교육생들이 진정한authentic 활동을 할 때, [여러 주기적 단계 프로세스를 대상으로 상황별 질문]을 던지는 구조화된 인터뷰 접근 방식입니다." 

A strength of our study lies in combining the think-aloud assignment with an interview session. This approach allowed us to better grasp all three facets of students’ metacognitive performance. It also functioned well as a prompt for students’ thoughts about self-regulated learning on the curriculum level. However, some limitations must be taken into consideration.

  • First, the study was conducted in a non-authentic setting, meaning that contextual factors from a real environment which may influence learning behavior and performance were excluded. Still, students were very inclined to perform well and worked on the learning task very seriously although there was not any grading involved.
  • Second, metacognitive skills were measured without explicitly asking our students about these skills during the task. This is contrary to the use of microanalyses, defined as “structured interview approaches that involve administering context-specific questions targeting multiple cyclical phase processes as trainees engage in authentic activities.”46 

이러한 미세분석은 자기조절학습 과정을 측정하고 학생들이 문제 해결 동안 전략적인 단계에 집중하도록 유도하는 데 사용됩니다.29 그러나 이러한 질문은 학생들의 인식을 촉발하고 메타인지적 기술의 "인공적인artificial" 사용을 유도할 수 있습니다. 따라서 우리는 우리의 접근 방식이 메타인지적 기술을 사용하는 학생들의 더 정확한 이미지로 이어진다고 주장한다. 다만 학생들의 생각만 추정할 수 있을 뿐 메타인지 전략과 경험을 모두 발성할 수 있다고 장담할 수 없기 때문에, 'underestimation'의 가능성을 배제할 수 없다.

These microanalyses are often used to measure self-regulated learning processes and prompt students to focus on strategic steps during problem-solving.29 However, such prompts may trigger students’ awareness and induce “artificial” use of metacognitive skills as they may not have used these skills in a non-prompted setting. We therefore argue that our approach leads to a more accurate image of students’ use of metacognitive skills. Yet, we cannot rule out the possibility of an “underestimation” due to this method because we can only approximate students’ thoughts and cannot guarantee that they vocalize all their metacognitive strategies and experiences.

본 연구는 네덜란드 대학의 최종 학년 임상의학과 학생들 사이에서 수행되었다. 질적 연구에서 항상 그렇듯이, 결과를 다른 맥락으로 옮길 때는 주의가 필요하다. 이 특정한 맥락에도 불구하고, 우리는 모든 네덜란드의 의료 프로그램이 네덜란드 대학 의료 센터 연맹에 의해 개발된 것과 같은 청사진에 기초하기 때문에 우리의 발견이 네덜란드의 교육적 맥락 안에서 이전될 수 있다고 주장한다.26 이 청사진은 임상 전 훈련을 위한 공식화된 목표가 매우 구체적이고 구체적이기 때문에 전이가능성transferability을 촉진한다. 
Our study was performed among final year pre-clinical medical students in a Dutch University. As always in qualitative research, caution is advised in transferring the results to other contexts. Despite this specific context, we argue that our findings are transferable within the Dutch educational context as all Dutch medical programs are based on the same blueprint as developed by the Dutch Federation of University Medical Centers.26 This blueprint promotes transferability as the formulated objectives for pre-clinical training are very specific and concrete.

 

결론
Conclusion

이 연구는 의대생들이 자기조절학습을 용이하게 하기 위해 메타인지에 대한 명시적인 훈련과 평가가 필요하다는 것을 밝혀냈다. 또한, 연구 결과는 지원 교육 활동(예: 코치 대화, 성찰 에세이)을 포함한 CanMEDS 기반 커리큘럼이 align되어있지 않거나, 메타인지 능력의 개발을 촉발하지 않았다는 것을 보여주었다. 커리큘럼 설계가 변하지 않는다면 메타인지에 대한 명시적 교육의 구현은 여전히 원하는 효과를 얻을 수 없을 것이다. 교육자와 교직원은 메타인식을 강의실의 일상적인 담론에 통합하여 학생들이 자신의 인식과 학습을 토론하는 환경을 조성하는 것을 목표로 해야 한다. 여기에는 메타인지적 마음의 습관을 발달시키고 평생학습을 자극하기 위해 인지적 학습과 메타인지적 학습을 동시에 추진하는 새로운 평가전략의 사용이 포함된다.

This study revealed that medical students are in need of explicit training and assessment of metacognition to facilitate self-regulated learning. Moreover, findings showed that the CanMEDS-based curriculum, including supportive educational activities (e.g. coach conversations, reflective essays) were not aligned or did not trigger the development of metacognitive skills. If curriculum design remains unchanged, implementation of explicit teaching of metacognition could still not yield the desired effects. Educators and faculty should aim to integrate metacognition in the everyday discourse of the classroom to foster an environment in which students discuss their own cognition and learning. This includes the use of novel assessment strategies that drive both cognitive and metacognitive learning in order to develop metacognitive habits of mind and stimulate lifelong learning.

 


Teach Learn Med. Oct-Dec 2021;33(5):473-482.

 doi: 10.1080/10401334.2021.1889559. Epub 2021 Mar 15.

What Were You Thinking? Medical Students' Metacognition and Perceptions of Self-Regulated Learning

Affiliations collapse

Affiliations

1Center for Innovation in Medical Education, Leiden University Medical Center, Leiden, The Netherlands.

2Department of Cardiology, Leiden University Medical Center, Leiden, The Netherlands.

3Eindhoven School of Education, Eindhoven University of Technology, Eindhoven, The Netherlands.

4TUM School of Medicine, TUM Medical Education Center, Technical University of Munich, Munich, Germany.

PMID: 33722115

DOI: 10.1080/10401334.2021.1889559

Abstract

Phenomenon: As a component of self-regulated learning, metacognition is gaining attention in the medical education research community. Metacognition, simply put, is thinking about one's thinking. Having a metacognitive habit of mind is essential for healthcare professionals. This study identified the metacognitive competencies of medical students as they completed a conceptual learning task, and provided insight into students' perceptions of self-regulated learning in their curriculum. Approach: Eleven third-year medical students from a Dutch University were purposively sampled to participate in this qualitative study. The study design included a think-aloud assignment followed by a semi-structured interview. During the assignment, participants were instructed to think aloud while solving questions about medical physiological concepts such as blood flow, pressure, and resistance. Think-aloud data were collected through audiotaping and used to identify participants' metacognitive competencies. The assignment also served as a prompt for an interview in which participants were questioned about metacognitive knowledge, monitoring, experiences, and perceptions of self-regulated learning in their curriculum. All data were transcribed verbatim and analyzed iteratively using a template analysis. Findings: Students differed in their use of metacognitive skills, with an overall focus on monitoring and, to a lesser extent, on planning and evaluation. Additionally, differences were found in students' metacognitive knowledge and metacognitive experiences. There was apparent use of inefficient, superficial predictive cues. Regarding perceptions of self-regulated learning skills, some students felt no need to develop such skills as they perceived medical education as an exercise in memorizing facts. Others emphasized the need for more insight into their actual level of knowledge and competence. Insights: Pre-clinical medical students require explicit teaching of metacognitive skills to facilitate self-regulated learning. Educators should aim to integrate metacognition in the everyday discourse of the classroom to foster an environment in which students discuss their own learning.

Supplemental data for this article is available online at https://doi.org/10.1080/10401334.2021.1889559.

Keywords: Metacognition; medical students; qualitative research; self-regulated learning.

 

자기자신을 넘어: 의과대학생의 자기조절학습에서 공동조절의 역할 (Med Educ, 2020)
Beyond the self: The role of co-regulation in medical students’ self-regulated learning
Derk Bransen1 | Marjan J. B. Govaerts2 | Dominique M. A. Sluijsmans3 | Erik W. Driessen2

 

 

 

1 소개
1 INTRODUCTION

자기조절학습(SRL)은 의사의 핵심 역량이자 환자 진료 보호에 필수적인 역량으로 간주된다. 1, 2 따라서 많은 의료 커리큘럼은 SRL 기술을 개발하는 의대생들을 지원한다. 자기 조절 학습은 일반적으로 주기적인cyclic 과정으로 설명되며, 종종 목표를 설정하고 그 목표를 향한 발전을 모니터하기 위한 전략의 후속적 채택에 의해 촉발되며, 성찰과 새로운 학습 목표의 공식화에 관여한다.2, 3 그러나 연구 결과에 따르면 학생들은 종종 임상 작업장 환경의 예측 불가능하고 역동적이며 지저분한 성격의 결과로 임상 학습 환경에서 학습을 규제하기 위해 고군분투한다.4, 5
Self-regulated learning (SRL) is considered a core competence of physicians and one that is essential to the safeguarding of patient care.1, 2 Many medical curricula therefore support medical students in developing SRL skills. Self-regulated learning is generally described as a cyclical process, often triggered by the formulating of goals and the subsequent employment of strategies to achieve and monitor advancement towards those goals, followed by engagement in reflection and the formulation of new learning goals.2, 3 Research findings, however, indicate that students often struggle to regulate their learning in clinical learning environments as a result of the unpredictable, dynamic and messy nature of clinical workplace settings.4, 5

일찍이 1989년부터, SRL에 대한 환경 제약 및 지원의 중요성이 문서화되었다.6 그 이후로 의대생의 SRL이 상황에 따라 달라지고, 사회적으로 파생된다socially derived는 개념은 꾸준히 힘을 얻고 있다. [병원 부서의 학습 분위기, 이용 가능한 학습 기회, 다른 사람들과의 사회적 상호 작용]은 학생들의 SRL에 영향을 미친다. 또한 의료 교육생은 사회적 및 맥락적 요인에 따라 다양하게 SRL 전략을 사용한다.
As early as 1989, the importance of environmental constraints and affordances to SRL was documented.6 Since then, the notion that medical students’ SRL is context-dependent and socially derived has steadily gained momentum.7, 8 Learning climates of hospital departments, available learning opportunities and social interactions with others seem to influence students’ SRL,9 and medical trainees variably use SRL strategies, depending on social and contextual factors.10 

의대생의 SRL에 대한 사회적 상호작용의 잠재적 영향은 공동조절학습(CRL)의 개념으로 구체화된다. CRL에서 학습자는 환경에 있는 다른 개인들과 함께 자신의 인식, 동기, 행동을 조절한다.14 CRL에는 [네트워크 속 학생들과 다른 사람들 사이의 사회적 상호작용]이 필수적인데, 이를 통해서 SRL 개발과 같은 학습 과정이 매개 또는 분배되기 때문이다. CRL의 개념은 [사회문화적 학습이론]을 반영한다. 사회문화적 학습이론은 학습자가 환경에 의해서 지속적으로 영향을 받는다는 것을 강조하며, 동시에 맥락적 주변환경을 공동-생산하고 공동-창조함을 강조한다.
The potential impact of social interactions on medical students’ SRL is embodied in the concept of co-regulated learning (CRL). In CRL, learners regulate their cognitions, motivation and behaviour together with other individuals in the environment.14 Essential to CRL are social interactions between students and others in their networks, through which learning processes, such as SRL development, are mediated or distributed.15 The concept of CRL reflects sociocultural learning theories that emphasise that learners are continuously influenced by their environment when simultaneously co-producing and co-creating the contextual surroundings in which they learn and work.16 

학습 활동에 공동으로 참여함으로써, 의료 환경에서 학생과 동료는 서로의 메타인지 및 인지 활동을 중재하고, 개인의 독립적인 SRL 행동의 개발 및 표시를 촉진하거나 제한한다.17 최근 연구에서 밝혀진 바에 따르면 SRL에 대한 의대생의 참여는 시간이 지남에 따라 변화하며, 직장 환경에서 다른 학생들의 역할과 상호 작용에 대한 인식에 영향을 받는다. 이것은 CRL의 과정이 학생들의 자기조절 능력의 발달에 영향을 미칠 수 있다는 것을 보여준다.

By jointly engaging in learning activities, students and co-workers in health care settings mediate one another's metacognitive and cognitive activities, facilitating or constraining individuals’ development and display of independent SRL behaviours.17 Findings from a recent study show that medical students’ engagement in SRL changes over time and is influenced by their perceptions of the roles of, and interactions with, others in the workplace setting.11 This illustrates that processes of CRL may influence the development of students’ ability to self-regulate.

사회적 상호작용을 주요 요소로 하는 CRL이 직장 기반 학습 환경에서 SRL 발전에 어떻게 영향을 미치는지 조사하면 학생들이 임상 환경에서 SRL을 실제로 어떻게 개발하는지 더 깊이 이해하는 데 기여할 것이다. 
Examining how CRL, with social interactions as its main element, influences SRL development in workplace-based learning environments will contribute to a deeper understanding of how students actually develop SRL in clinical settings. 

2 방법
2 METHODS

2.1 방법론
2.1 Methodology

우리는 임상실습의 CRL과 SRL 사이의 관계에 대한 의대생의 인식을 탐구하기 위해 정성적 접근법을 사용했다. 데이터 수집과 데이터 분석은 구성주의 근거이론의 원리에 의해 반복적으로 수행되었다.18, 19 구성주의 기반 이론을 사용하메 있어서, 우리는 연구진이 SRL과 CRL에 이론적, 그리고 실무적인 배경이 있음을 인정한다. 또한 자료 수집 및 분석은 SRL과 CRL의 주요 개념에 informed되었다.
We used a qualitative approach to explore medical students’ perceptions of relationships between CRL and SRL in clinical clerkships. Data collection and data analysis were conducted iteratively, informed by principles of constructivist grounded theory.18, 19 Using constructivist grounded theory, we acknowledged the research team's theoretical (DB, EWD, DMAS, MJBG) and practical (DB, EWD, DMAS, MJBG) backgrounds in SRL and CRL, and data collection and data analysis were informed by key concepts in SRL and CRL.

2.2 설정
2.2 Setting

우리는 네덜란드 마스트리히트 대학의 의학 학부 프로그램(마스터 학위)에서 이 연구를 수행했다. 마스터스 프로그램은 학술 병원 및 부속 교육 병원의 다양한 병원 부서에서 12주에서 22주 사이의 임상 실습으로 3년 동안 이루어진다. Masters 프로그램은 역량 기반 의료 교육의 원칙에 따라 설계되었으며, 캐나다의 전문가를 위한 의료 교육 지침(CanMED)의 역할을 가장 중요한 프레임워크로 사용한다. 20 학생의 SRL은 프로그램 전체에 걸쳐 포트폴리오와 멘토에 의하여 supported된다. 일상직장감독관이 배치돼 다양한 직장 환경에서 학생들의 학습을 지원하고 지도한다. 
We conducted this study in the undergraduate programme (Masters degree) in medicine at Maastricht University, the Netherlands. The Masters programme comprises 3 years of clinical clerkships lasting between 12 and 22 weeks, in various hospital departments in an academic hospital and affiliated teaching hospitals. The Masters programme is designed according to the principles of competency-based medical education, using the roles of the Canadian Medical Education Directives for Specialists (CanMEDS) as its overarching framework.20 Students’ SRL is supported throughout the programme by a portfolio and a mentor. Daily workplace supervisors are assigned to support and guide student learning in various workplace settings.

각 임상실습 시작 전에, 학생들은 그들의 개인적인 학습 목표를 설명하는 학습 계획을 세우고 그들의 멘토와 사무직에 배정된 지도자들과 이것에 대해 논의합니다. 임상실습의 마지막에 학생들은 멘토와 협업하여 자신의 경험과 포트폴리오에 업로드된 피드백을 되새기고 다음 단계의 훈련을 위한 새로운 학습 목표를 수립한다. 학습 계획은 학생의 포트폴리오에 포함되며, 이 외에도 포트폴리오에는 평가 데이터(예: 피드백 양식 및 테스트 결과), 경험에 대한 성찰, 학생이 자신의 개인적 및 전문적 개발을 모니터링하는 데 중요하다고 생각하는 모든 정보 등이 들어간다.

Before the start of each clerkship, students formulate a learning plan that describes their personal learning goals and discuss this with their mentor and the supervisors assigned for that clerkship. At the end of each clerkship, students collaborate with their mentors to reflect on their experiences and the feedback uploaded to the portfolio and formulate new learning goals for the next phase of training. Learning plans are included in students’ portfolios, as are assessment data (eg feedback forms and test results), reflections on experiences, and any information students deem valuable for monitoring their personal and professional development.21

2.3 참가자 및 샘플링
2.3 Participants and sampling

전체적으로 석사과정 학생의 79%가 여학생이다. 임상 훈련의 해와 성별의 다양성을 보장하기 위해 Masters 프로그램에 등록한 의대생들을 의도적으로 표본으로 추출했다(표 1). 학생들은 이메일을 통해 참여하도록 초대되었다. 최초 초대 후 2주 후에 리마인더가 발송되었습니다. 10번의 인터뷰 후, 우리는 데이터 포화도를 달성했고 구성된 주제와 그들의 관계에 대한 적절한 이해를 얻었다고 판단했다. 참가자들은 10유로의 상품권을 받았습니다.
Overall, 79% of students in the Masters programme are female. We purposively sampled medical students enrolled in the Masters programme to ensure variety in year of clinical training and gender (Table 1). Students were invited to participate via e-mail. Reminders were sent 2 weeks after the initial invitation. After 10 interviews, we considered that we had achieved data saturation and had gained an adequate understanding of the constructed themes and their relationships. Participants received a gift voucher for €10.

 

2.4 데이터 수집
2.4 Data collection

2018년 2월과 6월 사이에, 제1저자(DB)는 50분에서 75분 사이의 반구조적 인터뷰를 실시했다. 연구팀은 목표수립과 전략설계원리, 모니터링, 자기성찰 과정, CRL(학생들이 참여하는 관련 사항, 상호작용의 성격) 등 SRL의 핵심 개념을 반영한 인터뷰 가이드를 개발했다. 사전 동의를 얻은 후, 제1저자(DB)는 학생들에게 SRL에 대한 설명을 제공했다. 인터뷰의

  • 첫 번째 부분은 임상 환경에서 [SRL에 참여하는 방법에 대한 관점]을 얻는 것을 목표로 했고,
  • 두 번째 부분은 [SRL 기술의 발달에 대한 사회적 상호작용의 영향]에 대한 학생의 인식에 초점을 맞췄다.
  • 마지막 부분은 [SRL과 CRL의 개발 측면]에 초점을 맞췄다.

Between February and June 2018, the first author (DB) conducted semi-structured interviews that lasted between 50 and 75 minutes. The research team developed an interview guide informed by key concepts of SRL, such as goal formulation and strategy design principles, monitoring and self-reflection processes, as well as CRL (relevant others with whom students engaged, as well as the nature of their interactions). After obtaining informed consent, first author (DB) provided students with a description of SRL.

  • The first part of the interview then aimed to obtain the student's perspectives on how he or she engaged in SRL in the clinical setting;
  • the second part focused on the student's perceptions of the impact of social interactions on the development of SRL skills.
  • The final part of the interview focused on developmental aspects of SRL and CRL (Appendix S1).

인터뷰 동안, 인터뷰 진행자는 학생들이 묘사한 행동에 대한 상세한 예시와 설명을 제공하도록 유도했다. 인터뷰 가이드는 동시 데이터 분석을 통해 인터뷰 사이에 반복적으로 업데이트되었습니다. 모든 인터뷰는 테이프에 녹음되어 그대로 옮겨졌다.

During interviews, the interviewer prompted students to provide detailed examples and explanations of behaviours they described. The interview guide was updated iteratively between interviews, informed by concurrent data analysis. All interviews were tape-recorded and transcribed verbatim.

2.5 데이터 분석
2.5 Data analysis

데이터 수집과 분석은 반복적인 과정을 따랐고, 데이터 수집과 데이터 분석이 서로 정보를 제공할 수 있도록 했다. 제1저자(DB)와 연구보조자(CN)는 CRL 및 학생들의 SRL 발달과 관련된 개념을 포착하기 위해 독립적으로 1-3번 대본을 읽고 코드화했다.
Data collection and analysis followed an iterative process, allowing data collection and data analysis to inform each other. The first author (DB) and a research assistant (CN) independently read and coded transcripts 1-3 line by line to capture concepts related to CRL and students’ development of SRL.


초기 코딩 스킴에서 코드는 학습 목표의 공식화, 피드백 및 피드백 수신 요청, 학생들이 CRL 과정에 참여하는 중요한 다른 사람들의 세부 사항과 같은 다양한 SRL 및 CRL 행동을 기술했다. 또한 임상 훈련 단계와 같은 SRL 개발과 관련된 요소들과 영향을 미치는 요소들도 포함되었다.

  • 코딩 프레임워크는 합의에 도달할 때까지 비교되고 논의되었다.
  • DB는 4-11번 대본을 코딩하는 데 코딩 스킴을 활용, 연구팀과 지속적인 비교와 논의를 통해 코딩 프레임워크를 지속적으로 다듬었다.
  • 연구팀은 이후 코드를 분류하고 축 코딩을 통해 주제 간 관계를 파악했다.
  • 연구팀은 분석 마지막 단계에서 선택적 코딩을 활용해 [CRL이 학생들의 SRL 발달에 미치는 영향에 대한 이론]을 개발했다.
  • 이 과정을 용이하게 하기 위해 DB는 주제, 하위 주제 및 관계를 제시하는 개념 맵을 만들었고, 연구팀 회의 때 이것을 이론 개발을 가이드하는 데 사용했다
  • 또한 DB는 데이터 분석 전반에 걸쳐 메모에 성찰, 아이디어, 해석을 담았다.
  • 데이터 분석은 질적 연구 소프트웨어 atlas.ti의 지원을 받았다.

In the initial coding scheme, codes described various SRL and CRL behaviours such as the formulation of learning goals, asking for feedback and feedback reception, and details of the significant others with whom students engaged in CRL processes. Also included were factors related to and influencing the development of SRL such as the phase of clinical training.

  • Coding frameworks were compared and discussed until consensus was reached.
  • DB used the coding scheme to code transcripts 4-11, continuously refining the coding framework through constant comparison and discussion of findings with the research team.
  • The research team subsequently categorised codes and identified relationships between themes through axial coding.
  • During the final stage of analysis, the research team used selective coding to develop theory about the influence of CRL on students’ SRL development.
  • To facilitate this process, DB constructed concept maps, presenting themes, sub-themes and their relationships, which were used during research team meetings to guide theory development.
  • DB furthermore captured reflections, ideas and interpretations in memos throughout the data analysis.
  • Data analysis was supported by the qualitative research software atlas.ti (ATLAS.ti Scientific Software Development GmbH, Berlin, Germany).

2.6 반사율
2.6 Reflexivity

우리의 방법론적 접근법에서 의미는 연구 참가자, 생성된 데이터 및 연구팀의 해석을 통해 구성된다. DB는 업무와 조직심리학을 전공한 학력이 있는 박사후보자다. MJBG와 EWD는 Maastricht 대학교에서 Masters 프로그램의 평가 측면 개발에 참여하는 의학 교육자 및 연구원이다. DMAS는 전문적인 평가, 커리큘럼 설계, 학생의 평가 실무 참여 등이 주요 분야인 교육 연구원이다. 마스트리히트 대학교는 협력적이고 자기주도적인 학습이 중추적인 역할을 하는 문제 기반 학습(PBL) 철학으로 특징지어진다. EWD와 MJBG는 상당한 시간 동안 이 설정 내에서 작동해 왔으며 DB는 PBL 원칙에 따라 공식적인 교육을 받았다. DB는 메모와 필드 노트를 사용하여 데이터 수집 및 분석 전반에 걸쳐 보기와 해석을 캡처했습니다.
Within our methodological approach, meaning is constructed through interactions with research participants, the data generated, and their interpretation by the research team. DB is a PhD candidate with an educational background in work and organisational psychology. MJBG and EWD are medical educators and researchers involved in the development of the assessment aspect of the Masters programme at Maastricht University. DMAS is an education researcher whose main areas of expertise are professional assessment, curriculum design and student involvement in assessment practices. Maastricht University is characterised by its problem-based learning (PBL) philosophy, in which collaborative and self-directed learning play pivotal roles. EWD and MJBG have worked within this setting for substantial lengths of time and DB has had formal education according to PBL principles; these backgrounds may have influenced their views on CRL and SRL and how these may be related. DB used memos and field notes to capture views and interpretations throughout data collection and analysis.

3 결과 
3 RESULTS

데이터로부터, 우리는 학생들의 SRL의 세 가지 주요 변화를 구성할 수 있었고, 이는 학생들이 사무직을 통해 진행됨에 따라 CRL에 대한 학생들의 참여에 동시에 영향을 미치고 영향을 미쳤다.

  • 첫째, 학생들은 [CRL에 참여하는 사람]에 대한 변화를 표현하였다. 임상실습 [시작 시에는 동료]들에게 중요한 역할을 부여하고, 프로그램이 끝날 때 [임상의 롤 모델]에 대한 선호도를 높였다.
  • 둘째, 초보 학생의 SRL은 주로 [외부적인 환경적 단서]에 의해 추동되는 반면, 경험이 쌓인 학생의 SRL은 [내재적 단서와 자기 동기 부여]에 의해 점점 더 추진되었다.
  • 마지막으로, 조절행동은 [업무 지향적 접근법]에서 [전문적인 역량과 정체성 형성]에 초점을 맞춘 보다 [포괄적인 접근법]으로 전환되었다.

From the data, we were able to construct three major shifts in students’ SRL, which were simultaneously influenced by and exerted influence on students’ engagement in CRL as they progressed through clerkships.

  • Firstly, students expressed a shift with regard to whom they involved in CRL, bestowing an important role on peers at the start of clerkships and increasing their preferences for clinician role models towards the end of the programme.
  • Secondly, novice students’ SRL was mainly externally driven by cues in the environment, whereas experienced students’ SRL was increasingly driven by intrinsic cues and self-motivation.
  • Finally, regulatory behaviours shifted from a task-oriented approach towards a more comprehensive approach that focuses on professional competence and identity formation. 

3.1 동료와의 상호 작용에서 임상의사의 역할 모델과의 상호 작용
3.1 From interacting with peers to interacting with clinician role models

학생들은 임상실습 과정 동안 누구와 함께 CRL에 engaged with 했는지에 대한 변화를 묘사했다. 프로그램을 시작할 때, [동료들과의 상호작용]은 여러 가지 목표를 달성하며 중요한 역할을 했다. 초보 학생들은 임상실습에서의 기대와 기회에 대해 확신이 없어서, 새로운 학습 환경에 대한 이해를 발전시키기 위해 서로 의지한다고 말했다.
Students described a change with regard to whom they engaged with in CRL over the course of clerkships. At the start of the programme, interactions with peers played an important role, serving several goals. Novice students indicated being unsure of clerkship expectations and opportunities and thus relying on one another to develop an understanding of the new learning environment:

 

내가 또한 당신이 이곳에 처음 왔을 때 정말 좋아하는 것은 다른 인턴[동료 학생]들이 항상 당신을 데리고 다니며 길을 안내해주고, 또한 당신이 이 문제를 가장 잘 해결할 수 있는 방법을 알려준다는 것이다.
What I also really like when you're new to a place is that other interns [fellow students] always take you along, show you the way, and also point out how you can best tackle this here. (Student 2, Year 2)

추가적으로, 초보 학생들은 학습 목표를 세우거나, 학습 전략과 학습 기회의 선택을 고려할 때 서로 의지하는 경향이 있었다.
Additionally, novice students tended to rely on one another to create a frame of reference in order to formulate learning goals, and to think about learning strategies and selection of learning opportunities:

 

당신은 어느 정도 기준점이 있습니다. 예를 들어, 여러분(동료 학생들)은 이렇게 한다는 것이다. 아니면 그것이 중요하다고 생각하거나, 여러분은 이미 알고 있습니다. 글쎄, 나도 그걸 알아야 할 것 같은데, 어떻게 하는 거야?
You have a frame of reference, more or less. Like, you [fellow students] do it like this or think that is important or you already know it. Well, maybe I should know it too, so how do you do it? (Student 1, Year 2)


따라서 또래와의 상호작용은 학생들의 지식이나 기술 숙련도의 격차를 노출시켰고, 그들이 이러한 [격차를 해소]하기 위한 목표와 전략을 수립하는 데 도움을 주었다.
Interactions with peers thus exposed gaps in students’ knowledge or skill proficiency, helping them to formulate goals and strategies to address these gaps.

비록 초보 학생들에게는 또래간의 상호작용이 새로운 학습 환경에서 길을 찾고 더 편안하게 느끼도록 도와주었지만, 학생들은 각각의 새로운 임상실습에서 새로운 환경에 적응하며 경험을 쌓았다. 시간이 지나면서, 그들은 의료업무에 점점 더 많이 참여했고, 이것은 그들이 무엇을 배우길 원하거나 배워야 할 필요가 있는지를 더 확고하게 이해하는 데 도움을 주었다. 경험이 쌓인 학생들은 학습의 조절을 위해 다른 source에 의존한다고 보고했고, 주치의나 레지던트 같은 임상의사 롤모델을 언급했다. 이러한 역할 모델은 피드백 제공을 통해 학생들의 SRL 행동에 영향을 주었지만, 특히 의사들과의 [상호 작용과 관찰에 기초한 자기 성찰]을 자극함으로써 영향을 미쳤다.
Although peer interactions helped novice students to navigate and feel more comfortable in the new learning environment, students gained experience in adapting to new environments with each new clerkship. Over time, they participated increasingly in health care tasks, which helped them to develop a firmer grasp of what they wanted or needed to learn. Experienced students reported that they then relied on other sources to help regulate their learning, referring to clinician role models such as attending physicians and residents. These role models influenced students’ SRL behaviour through the provision of feedback, but especially through the stimulation of self-reflection based on interactions with and observations of these physicians:

 

원칙적으로 의사는 3년 동안 당신의 롤모델이다. 당신은 의사를 관찰하면서 내가 어떻게 그럴 수 있을까, 나는 이런 의사가 되고 싶은가, 아니면 다른 사람이 되고 싶은가 하는 생각을 하게 된다. 그리고 이 모든 다양한 전문가들을 만나면서 여러분은 자신만의 의사를 만들게 됩니다. 예를 들어, 여러분이 되고자 하는 의사들에 대한 아이디어를 말이죠. (9학년, 2학년)
In principle, the physician is your role model for 3 years, so you observe him and think, how would I do that and do I want to be this kind of doctor or do I want to be another kind? And through meeting all these different specialists, you create your own, let's say, [idea of the] physician you want to become. (Student 9, Year 2)

3.2 외적 조절동인에서 내적 조절동인으로
3.2 From external regulatory drivers to internal regulatory drivers


프로그램을 시작할 때, 학생들의 SRL은 대부분 외부에서 추동되는 것처럼 보였다. 초보 학생들은 임상실습에 시작 시 학습 목표를 세울 때 [포트폴리오 지침]을 따르고 [다른 사람의 의견input]에 의존하는 것을 묘사했다. 그러나, 그들은 또한 이러한 학습 목표가 특정 환경에서 학습 가능성과 잘 맞지 않는다는 것을 발견했고, 이는 학습 계획으로부터 멀어지게 만들었다. 프로그램의 첫 임상실습 동안, 학생들은 그들이 반응적으로 학습 목표와 전략을 조정할 수 있도록 돕기 위해 [실제 직장 내의 다른 사람들]에게 의존했다. 예를 들어, [레지던트들과 의사]들은 학생들이 무엇을 중요한 학습 목표로 생각해야 하는지에 대해 명확한 방향을 제시함으로써 그들의 학습을 조절하는 것을 도왔다.

At the start of the programme, students’ SRL seemed to be largely externally driven. Novice students described complying with portfolio instructions and relying on input from others when formulating learning goals prior to a clerkship. Quite often, however, they also found that these learning goals were not well aligned with learning affordances in a specific setting, which led to feelings of detachment from their learning plans. During the first clerkships of the programme, students then depended on others in the actual workplace setting to help them reactively adjust learning goals and strategies. Residents and physicians, for example, helped students regulate their learning by providing clear and explicit directions on what they thought were important learning goals:

 

네, 물론 의사가 '야, 이거 재밌는거야'거나 '임상실습 끝날 때까지 할 수 있어야 해'라고 말한다면, 당연히 동의해야죠. (학생 11, 1학년)

Yes, of course if a doctor says, ‘Hey, this is fun to do’ or ‘You should be able to do this by the end of the clerkship,’ then of course, you go along with it. (Student 11, Year 1)

 
특히 작업장 관리자는 이러한 측면에서 중요한 역할을 하는 것으로 보입니다.
Workplace supervisors in particular seemed to play important roles in this respect:

 

당신은 항상 직장 상사와 수다를 떨고, 그들은 다음과 같은 말을 합니다. "우리는 당신이 이것저것 배우고, 당신의 사무직에서 이것저것 벗어나기를 기대합니다." 이러한 [기대]를 미리 목표에 반영하지 않았다면, [이제부터라도] 고려해보겠다고 생각할 것입니다. (학생 10, 1학년)
You always chat with your workplace supervisor, and they say things like: ‘We expect you to learn this and that, and get this and that out of your clerkship.’ If you haven't already factored these [expectations] into your goals beforehand, then you think, okay, I'll take them into account [now]. (Student 10, Year 1)





자기조절학습은 학생과 의사가 [공동활동에 협력하는 상황]에 기반을 둔 경우도 많았다. 학생들은 일부 의사들이 그 활동activity에 대해 지속적으로 질문을 던졌고, 이는 지식이나 기술 숙련도의 격차를 드러냈다고 보고했다. 이를 통해 학생들은 학습 활동과 프로세스의 방향을 설정하고, 격차를 해소할 수 있었습니다.
Self-regulated learning was also often grounded in situations in which a student and a physician were cooperating in a joint activity. Students reported that some physicians consistently posed questions about the activity, which uncovered gaps in knowledge or skill proficiency. This helped students to direct their learning activities and processes and bridge the gaps:

 

수술실에 있을 때 [외과의가 해부학에 대해 여섯 가지 질문을 하는데 딱 한 가지 대답만 할 수 있다면] 집에서 해야 할 일이 있다는 것을 알게 될 것이다.
When you're in the operating room, and the surgeon asks six questions on anatomy and you can only answer one, then you sure know you have something to do at home. (Student 9, Year 2)

 

따라서 초보 학생들의 SRL은 [학습 환경 속 다른 사람들]에 의해 주로 시작되는 것처럼 보였다.
Novice students’ SRL thus seemed to be predominantly initiated by others in the learning environment.


시간이 지남에 따라 학생들이 자신에게 기대되는 것이 무엇인지 더 잘 이해하게 되면서, 그들은 점점 더 그들이 되고자 하는 의사 유형에 대해 생각하기 시작했고, 학습에 필요한 정보를 제공할 수 있는 다른 사람들을 찾고 선택하는 사회적 센서를 개발했다. 다양한 건강 관리 환경을 경험하고 그들이 발전하는 직업적 정체성에 대해 점점 더 인식하게 되면서, 경험이 많은 학생들은 CRL에 다른 사람들을 참여시키는 데 있어 더 이니셔티브를 가질 수 있는 것처럼 보였다. 학생들은 점점 더 조절 활동을 '책임질take charge' 의지와 능력이 있는 것처럼 보였다. 그들의 개인적인 학습 욕구를 인식하면서, 그들은 관련 있는 다른 사람들에게 그들의 학습을 조절하는 것을 도와달라고 적극적으로 요청하는 데 더 자신감이 있는 것처럼 보였다.
Over time, as students gained a better understanding of what was expected of them, they increasingly began to think about the type of physician they wanted to become and developed social sensors that helped them look for and select suitable others to provide input for their learning. Having experienced a variety of health care settings, and as they became increasingly aware of their developing professional identity, experienced students seemed better able to take the initiative in engaging others in CRL. They seemed increasingly willing and able to ‘take charge’ of regulatory activities. Appreciating their personal learning needs, they seemed more confident in actively asking relevant others to help them regulate their learning:

 

내과 실습 중, 어느 날은 진짜 이렇게 물어봤다.
어려운 대화가 있거나, 전할 나쁜 소식이 있다면, 알려주세요. 제 학습 목표거든요.
(6학년, 3학년)

Then once I really did ask, on [the clerkship in] internal medicine, if there is a difficult conversation, or there's bad news to deliver, please let me do it because it's my learning goal. (Student 6, Year 3)



학생들은 자신의 학습을 지원하기 위해 CRL에 참여할 수 있는 정도는, [목표 설정]과 [이러한 목표를 달성하기 위한 전략 수립과 같은 SRL 기술을 사용할 의지]와 [충분한 자신감]이 있는지 여부에 달려 있다고 보고했다. 즉, [배우고 싶은 것을 확실히 파악하여 학습을 통제]했을 때, 학습 기회를 선택하거나 만들기 위해 환경에서 다른 사람을 참여시키고 동원할 수 있는 용기를 더 쉽게 발견했다고 학생들은 설명했다.

Students reported that the extent to which they were able to engage in CRL to support their learning depended on whether they were willing and sufficiently confident to use SRL skills such as goal setting and the devising of strategies to achieve these goals. That is, students explained that when they took control of their learning based on a firm grasp of what they wanted to learn, they more readily found the courage to engage and mobilise others in the environment to select or create learning opportunities:

 

저는 제 자신의 학습을 많이 통제할 수 있다고 느낍니다. 이니셔티브를 가지고 배우고 싶다는 것을 보여주는 것이다.
그리고 또한 질문을 하고, 할 일을 요구하거나, 제안을 하는 용기를 갖는 것.

I do feel that I can control it [my own learning] a lot. By taking the initiative and showing that you want to learn. And also having the courage … to ask questions and to ask for things to do, or to come up with suggestions. (Student 1, Year 2)

3.3 특정업무에서 전문역량 및 전문성 개발까지
3.3 From specific tasks to professional competence and professional development

학생들은 학습 조절의 초점이 임상실습을 하는 동안 달라졌다고 지적했다. 초보자들은 업무 지향적이라고 묘사했다. 즉, 목표 설정은 [높은 수준의 세분화]가 특징이며, 초보자는 [명확하게 구분된 학습 목표를 달성]하는 데 중점을 두었다. 
Students indicated that the focus of the regulation of learning shifted over the course of clerkships. Novices described being task-oriented. That is, goal setting was characterised by high levels of granularity; novices focused strongly on attaining clearly demarcated learning goals (and on formulating learning goals): 

의사를 위한 프레임워크 계획[CanMEDs 프레임워크]을 살펴본다. 
그것은 역량에 따라 세분화되며, 그 하위 역량은 특정한 요소로 나뉜다.

I look at the framework plan for physicians [CanMEDS framework]. It's subdivided into competencies and those sub-competencies are divided into specific components. (Student 10, Year 1)

 
따라서 초보자의 경우 CRL은 [좁게 정의된 과제별 학습 목표를 수립하고 성찰]하는 것에 [다른 사람(동료 및 멘토)을 주로 참여]시켰다. 결과적으로, 자기 성찰은 대부분 [공식화된 학습 목표의 달성 여부에 대한 평가]로 구성되었다
For novices, CRL thus mainly entailed engaging others (peers and mentors) in formulating and reflecting on narrowly defined, task-specific learning goals. Consequently, self-reflection most often consisted of an evaluation of whether or not formulated learning goals were attained.
경험이 쌓인 학생들은 임상실습 통해 발전하면서 경험을 쌓으면서, [현실적이고 실현 가능한 학습 목표]를 수립할 수 있을 뿐만 아니라 [학습 목표의 초점을 보다 포괄적인 의료 전문성의 측면]으로 이동시켰다고 보고했다. 즉, 경험 많은 학생들은 초보자들이 적용한 [높은 수준의 세분성]을 뛰어넘는 학습 목표를 세우고, [목표 설정과 자기 성찰에 대한 더 넓은 접근법]을 채택했다. 따라서, 경험 많은 학생들의 학습 목표는 [전문적인 발달과 정체성 형성의 수준]까지 올라갔다.
Experienced students reported that, as they gained experience by progressing through clerkships, they not only became more capable of formulating realistic and feasible learning goals, but they also shifted the focus of their learning goals on to more comprehensive aspects of medical expertise. That is, experienced students formulated learning goals that transcended the high level of granularity applied by their novice counterparts, and adopted a broader approach to goal setting and self-reflection. Thus, the learning goals of experienced students rose to the level of professional development and identity formation:

 

첫 임상실습에서는 구체적인 학습 목표, 상황을 개선하기 위해 더 신경을 쓰고,
마지막 임상실습에서는 어떻게 하면 전반적으로 좋은 의사가 될 수 있을까에 더 신경을 씁니다.
그러면 저는 더 이상 구체적인 사항들에 신경 쓰지 않습니다.
저는 제가 어떤 의사가 되고 싶은지, 어떤 전문 분야에서 일하고 싶은지, 그것을 이루기 위해 제 선택을 어떻게 direct할 수 있는지에 대해 더 신경을 씁니다. (6학년, 3학년)

In your first clerkship, you are more concerned with specific learning goals, to improve things, and in your last clerkship you are more concerned with how do I become a good doctor in general. Then I'm no longer bothered by the specifics […] I'm more concerned with the kind of doctor I want to be, what specialism I want to work in, and how I can direct my choices to achieving that. (Student 6, Year 3)

4 논의
4 DISCUSSION

이 연구는 임상 작업 공간 환경에서 CRL에 대한 의대생의 인식을 탐색하고 학습 환경에서 다른 사람과의 상호작용이 학생의 SRL 발달에 어떤 영향을 미치는지 조사하는 것을 목표로 했다. 우리의 연구 결과는 시간이 지남에 따라 CRL과 SRL에 대한 학생들의 참여가 변화하고 학습 환경에 대한 인식과 경험의 변화와 직업적 정체성 개발에 영향을 받는다는 것을 보여준다. 우리의 연구 결과는 세 가지 주요 변화가 시간 경과에 따른 학생들의 발전에 핵심임을 시사한다. 

  • (a) CRL 파트너 선정의 변화: 동료에서 임상의 롤모델로 이동
  • (b) SRL 행동의 변화: 초보 학생은 외부적으로 주도되나, 경험이 풍부한 학생은 내부적으로 주도되며 타인에게 신중하고 proactive하게 참여를 유도하는 경향이 있음
  • (c) 조절 초점의 변화: 학습자가 [잘 정의된 과제와 과제 요구 사항]에서 [전문직 정체성 발달과 관련된 전문 역량에 대한 광범위한 관점]으로 이동

This study aimed to explore medical students’ perceptions of CRL in clinical workplace settings and to investigate how interactions with others in the learning environment affect the development of students’ SRL. Our findings show that students’ engagement in CRL and SRL changes over time, and is influenced by changing perceptions and experiences of the learning environment and the development of a professional identity. Our findings suggest that three major shifts are key to students’ development over time:

  • (a) a shift in the selection of CRL partners, which moves from peers to clinician role models;
  • (b) a shift in SRL behaviours, which tend to be externally driven in novice students and become internally driven and involving of the deliberate, proactive engagement of others in more experienced students; and
  • (c) a shift in regulatory focus as learners move from well-defined tasks and task requirements to a broader view of professional competence in relation to the developing of a professional identity.

 

본 연구의 연구 결과는 이전 연구의 결과를 입증하고 의대생의 SRL 개발에는 임상 환경에서 사회적 상호 작용의 중요함을 강조한다. 이는 Berkhout와 동료들의 연구 결과와 일치하여, 현재의 연구 결과는 학생들의 SRL에 대한 다른 사람들의 영향이 초보 학생들과 경험 많은 학생들 사이에 다르다는 것을 시사한다.

  • 초보 학생들이 주로 동료들에 의존하여 학습 환경을 탐색하는 데 도움이 되는 frame of reference을 공동-생성하는 반면,
  • 경험이 많은 학생들은 통제력을 얻고, 경험이 많은 다른 임상의 롤 모델과 상호 작용하며, 점점 더 자신의 학습을 서포트하기 위한 목적의 공동 조절 활동에 이들을 참여시킨다.

The findings of our study corroborate those of previous research and stress the importance of social interactions in clinical settings for the development of medical students’ SRL. Aligned with findings from the study by Berkhout and colleagues,11 the current findings suggest that the influence of others on students’ SRL differs between novice and experienced students.

  • Whereas novice students mainly rely on peers to co-create a frame of reference to help them navigate the learning environment,
  • experienced students learn to take control, to interact with clinician role models as more experienced others and to increasingly engage these in co-regulatory activities to support their own learning.

또한 참가자들은 자신이 배우고자 하는 것과 이러한 목표의 달성이 전문적인 역량 개발에 어떻게 기여할지에 대한 명확한 견해를 갖게 된다면 다른 사람들을 학습에 더 쉽게 참여시킬 수 있을 것이라고 보고했다. 이러한 결과는 SRL과 CRL 사이의 관계가 상호적이라는 것을 시사한다

  • SRL 기술은 다른 사람과의 상호작용을 통해 개발되는 반면 
  • SRL 기술의 숙달mastery은 학생들이 학습과 역량 개발을 위해 의미 있는 CRL에 능동적으로 참여할 수 있도록 한다. 

Participants furthermore reported that they could more readily engage others in their learning if they had developed a clear view about what they wanted to learn and how the achievement of these goals would contribute to the development of professional competence. These findings suggest relationships between SRL and CRL are reciprocal:

  • SRL skills develop through interactions with others,
  • whereas the mastery of SRL skills increasingly enables students to proactively engage in meaningful CRL to enhance their learning and competence development.

[개인이 되고자 하는 의사 유형에 대한 성찰]뿐만 아니라, [의료 업무에 대한 적극적인 참여]는 학생들이 일과 학습 환경에서 다른 사람들과의 상호작용을 통해, [학습을 점점 더 잘 조절하고 기꺼이 조절하는 학습자]로 발전하는 데 영향을 미치는 중요한 촉진 요인으로 보인다.

Active participation in health care tasks, as well as reflection on the type of physician the individual wants to become, seem to be important facilitating factors, influencing students’ development into learners who are increasingly able and willing to regulate their learning through interactions with others in the work and learning environments.

본 연구의 참가자들은 [(학습과 일이 얽혀 있는 학습 환경으로서의) 임상 환경]에 대한 깊은 이해에 [자신의 학습을 조절할 수 있는 능력]이 달려있음을 분명히 나타냈다. 학생들은 임상실습 내에서 학습 기회에 대한 이해가 부족할 경우, 학습 목표를 설정해야 할 때 도전과 좌절이 반복된다고 보고했다. 그 결과, 학생들은 [실제 진행되는 학습과 업무 경험]뿐만 아니라 [레지던트, 의사, 동료들과의 관찰과 협상]을 바탕으로 [목표를 지속적으로 조정하고 다듬어야 한다]고 느꼈다. 이러한 발견은 [임상적 맥락에서 목표를 설정]할 때, 목표가 현실적이고 달성가능하려면, [학생과 감독자 사이의 협상과 감독자의 참여]를 필요로 한다는 이전 연구의 결과와 일치한다.22, 23
Participants in our study clearly indicated that the ability to regulate their own learning depended on their having a deep understanding of the clinical setting as a learning environment in which learning and work are intertwined. Students repeatedly reported being challenged as well as frustrated when tasked with setting learning goals if their understanding of the learning opportunities within clerkships was insufficient. In consequence, students felt they were then forced to continuously adjust and refine their goals based on observation of and negotiation with residents, physicians and peers, as well as on actual learning and work experiences. These findings are in line with those of previous studies which showed that goal setting in clinical contexts requires negotiation between students and supervisors and engagement from supervisors if goals are to be realistic and attainable.22, 23

우리의 연구 결과는 또한 학생들이 임상실습 환경에서 [팀에 포함되는 정도와 속도]가 [피드백을 요청하거나 의료 업무에 대한 자신의 적극적인 참여를 협상함]으로써, 다른 사람들을 학습 조절에 능동적으로proactive하게 참여engage시키는 능력에 영향을 미친다는 것을 보여주었다. 이는 특정 업무 환경에서는 CRL 기회를 활용하기 위해 학생을 CoP(실천 공동체)에 장기간 포함하도록 촉진해야 함을 시사할 수 있다. 
Our findings also showed that the extent to which and the pace at which students are embedded in teams in clerkship environments influenced their ability to proactively engage others in the regulation of their learning through the solicitation of feedback or by negotiating their own active participation in health care tasks. This may suggest that we need to facilitate the prolonged inclusion of students into communities of practice (CoPs) to capitalise on the opportunities for CRL in specific work settings.24 

CoP에서 개인은 일반적으로 목표를 공유하고, 이러한 목표를 달성할 수 있는 최선의 방법에 대한 대화를 함으로써, 서로로부터 배우고, 이에 따라 서로의 지식과 기술을 지속적으로 심화시킨다. CoP는 동료들과 더 경험이 많은 다른 사람들을 학습 조절에 참여시킬 수 있는 기회를 만들 뿐만 아니라, 직무과 의료의 질에 대한 토론에 참여할 수 있는 기회를 제공하고, 학생들이 의사가 되기 위해 무엇이 필요한지에 대한 성찰을 자극하여, 전문직 정체성 형성과 SRL의 발달을 지원한다.

In CoPs, individuals typically engage in learning from and with each other by sharing goals and having conversations about how best to achieve these goals, and thereby continuously deepening one another's knowledge and skills.25 Not only do CoPs create opportunities to engage peers and more experienced others in the regulation of learning, but they also offer opportunities to engage in discussions about the quality of work and health care, stimulating students’ reflections on what it takes to be and become a medical doctor and thereby supporting their professional identity formation and subsequent development of SRL.

본 연구의 발견뿐만 아니라 이전 연구에 근거하자면, 동료들은 목표 설정에서 학생들을 지원하고 학습 환경의 기회와 기대에 익숙해질 수 있기 때문에, 초보 학생들의 SRL 개발에 중요한 역할을 수행하는 것으로 보인다. 동료 지원 학습(PAL)은 또한 학생들의 전문직 정체성 형성에 기여하는 것으로 나타났다. 따라서 우리는 예를 들어, [초보 학생과 더 경험이 많은 학생들 사이에 학습과 협력 관계를 형성]함으로써 CoP 내에서 PAL을 자극하는 데 더 많은 주의를 기울여야 할 수 있다. PAL에는 양방향의 서포트가 수반되기 때문에, CoP 내에서 PAL을 자극하면 학습자의 코칭과 교수 능력을 키우는 추가적인 이점이 있다.29

Based on the findings of our study, as well as findings from previous research,11 peers seem to fulfil important roles in novice students’ development of SRL because they can support students in goal setting and familiarise newcomers to opportunities within and expectations of the learning environment. Peer-assisted learning (PAL) has furthermore been shown to contribute to students’ professional identity formation.26, 27 We therefore may need to pay more attention to stimulating PAL within CoPs, by, for example, forming learning and working partnerships between novice and more experienced students. As PAL entails bidirectional support,28 stimulating PAL within CoPs will deliver the added benefit of developing learners’ coaching and teaching skills.29

전반적으로, 우리의 연구 결과는 SRL이 CRL에 내장되어 있다는 개념을 뒷받침하며, 이러한 생각은 탄력을 받고 있다. 현재 연구는 학생들의 SRL 발달에 있어 '자신을 넘어서beyond the self'를 바라볼 필요성을 강조한다. 우리의 발견은 SRL 개발을 포함한 직장 학습workplace learning이 항상 다른 사람과의 상호 작용에서 발생하며, 학생들의 SRL은 항상 CRL에 대한 참여를 수반한다는 것을 나타내는 [사회 문화 학습 이론] 내의 필수 개념을 반영한다. 학생들은 타인으로부터 '자율적으로' '독립적으로' 배우는 학생으로 발전한다기보다는, 자기 조절 학습자로의 변화하면서 [CRL에 참여하는 방식과 타인을 학습에 의도적이고 의미 있게 참여시키는 능력]이 증가하였다.
Overall, our findings support the notion of SRL as being embedded in CRL, an idea gaining momentum.30 The current study highlights the need to look ‘beyond the self’ when examining and facilitating students’ SRL development. Our findings reflect essential notions within sociocultural learning theories, indicating that workplace learning, including the development of SRL, always occurs in interactions with others, and that students’ SRL always involves engagement in CRL. Rather than developing into students who learn ‘autonomously’ and ‘independently’ from others, students’ transformation into self-regulated learners is reflected through significant changes in the way that they engage in CRL and their increasing ability to purposively and meaningfully engage others in their learning to support their development of competence.

능력 SRL이 상황에 따라 다르다는 것이 점점 더 인정되고 있지만, 종종 여전히 학습자의 독립성과 자율성을 강조하고 강조한다.31, 32 본 연구는 이러한 아이디어에 문제를 제기하며, SRL 발달뿐만 아니라, 임상 작업 공간 환경에서 사회적 상호작용에 내재된 SRL 발달을 고려할 것을 지지한다. 학생들의 [SRL 개발]을 [CoP에서 CRL에 참여하는 능력의 개발]로 개념화하는 것은 [임상실습을 조직하고 의대생들에게 학습을 조절하도록 교육하는 방법]에 중요한 함의를 갖는다. 예를 들어, 우리는 학생들이 여러 개의 짧은 블록식 로테이션을 통해 순환하는 현재의 의료 훈련 모델을 재고해야 할 수도 있다. 

Although it is increasingly acknowledged that SRL is context-dependent, research often still emphasises and underscores learner independency and autonomy.31, 32 The present study challenges this idea and instead advocates for considering SRL, as well as SRL development, as being embedded in social interactions in clinical workplace settings. Conceptualising the development of students’ SRL as the development of students’ ability to engage in CRL in CoPs has important implications for how we organise clinical clerkships and how we educate medical students to regulate their learning. For instance, we may need to reconsider current models of medical training in which students rotate through multiple short-block rotations.

오히려, 우리는 학생들이 CoP의 중심으로 이동하고 CRL의 기회를 완전히 이용할 수 있도록 하기 위해 종단적 통합임상실습에서 건강 관리 팀 내에서, 안전하고 신뢰할 수 있는 종단적 관계의 개발을 촉진해야 한다. 나아가 학생들이 [직무환경에서 학습을 조절할 수 있는 학습자]로 발전할 수 있게 하려면, 목표 설정, 자기 평가, 성찰과 같은 스킬에 대한 훈련과 코칭뿐만 아니라, 무엇보다 [피드백 탐색 및 타인을 학습 대화에 관여시키는 것]과 같이 [CRL에 참여할 수 있는 스킬]에 주의를 기울여야 할 수 있다. 의학교육의 시작부터 SRL이 CRL에 내재되어 있다는 것을 인정하면, 학생들이 직무환경에서 학습을 최적화하도록 더 잘 준비하는 데 도움이 될 수 있으며 의료 교육 및 연구가 진정으로 'self'의 수준을 넘어설 수 있도록 도울 수 있습니다.

Rather, we should facilitate the development of safe and trusting longitudinal relationships within health care teams in longitudinal integrated clerkships,33 for example33 to allow students to move towards the centre of the CoP and to fully capitalise on opportunities for CRL. Furthermore, in order to help students develop into learners who are able to regulate their learning in workplace settings, we may not only need to offer training and coaching in skills such as goal setting, self-assessment and reflection, but first and foremost to pay attention to the skills that enable students to engage in CRL, such as feedback seeking and engaging others in learning conversations. Acknowledging from the outset of medical training that SRL is embedded in CRL may assist us in better preparing students to optimise their learning in workplace settings, and may help medical education and research to truly move beyond the self.

4.1 제한사항
4.1 Limitations

이 연구는 참가자 11명의 제한된 샘플로 수행되었습니다. 대부분의 학생(9명)은 임상 2년차 또는 마지막 해에 등록되었다. 이는 이러한 학생들이 임상 훈련을 시작할 때 자신의 행동과 생각을 소급적으로만 설명할 수 있었다는 것을 의미하며, 이는 그들을 기억 편향에 취약하게 만들었을 수 있다. 공동규제학습과 SRL은 추상적인 이론적 구성인데, 학생들이 실용적으로 이야기하기 어려웠을 수 있다. 면접 가이드를 구성하면서, 연구팀은 질문들을 최대한 구체적으로 공식화하려고 시도했다. CRL은 학생들이 깨닫는 것보다 더 널리 퍼져 있을 수 있으며, CRL의 많은 부분이 숨겨져 있거나 암시적일 수 있다. 예를 들어, 면접이 끝난 후 몇몇 학생들은 [보통은 면접에서 논의된 개념에 대해 그다지 많은 생각을 하지 않는다]고 언급했다. 비슷한 맥락에서 참가자들이 자발적으로 참여했기 때문에, 이는 자신의 학습에 대해 적극적으로 생각한 학생들만이 참가에 동의했다는 의미일 수 있다.

This study was conducted with a limited sample of 11 participants. Most (nine students) were enrolled in the second or final years of clinical training. This means that these students were able to describe their behaviour and thoughts at the start of clinical training only retrospectively, which may have made them susceptible to memory bias. Co-regulated learning and SRL are abstract theoretical constructs, which students may have found difficult to talk about in practical terms. In constructing the interview guide, the research team attempted to formulate the questions as concretely as possible. It may be that CRL is more prevalent than students realise, and much of CRL may be hidden or implicit. For example, some students indicated after the interview had finished that they did not usually give very much thought to the concepts discussed in the interview. In a similar vein, participants were self-selected volunteers, which may imply that only students who actively thought about their learning agreed to participate.

5 결론
5 CONCLUSIONS

본 연구는 SRL과 SRL 개발이 [임상 직무 공간 환경의 사회적 상호작용과 CRL]에 내재되어 있다는 아이디어를 강조한다. 우리는 CRL이 구조적으로 임상실습에 내장embed되어 있음을 인정하고, [자기조절능력]이 [학습 프로세스를 지원하기 위해 다른 사람들과 의미 있는 상호작용을 할 수 있는 능력]을 의미한다는 것을 인정할 때, 비로소 의대 학부생의 SRL 개발을 지원할 수 있을 것이다. 의대생들의 평생학습자 전환을 촉진하기 위해서는 학습자들의 CRL 참여를 지원하고 조직해야 합니다. 역량 기반 의료 교육의 경우, 초보 학생과 더 경험이 많은 학생과 의료 전문가 사이의 직장 파트너십을 장려하기 위해 의대생들을 CoP에 포함시키는 방법을 재고해야 한다는 것을 의미한다. 임상 환경에서 CRL의 기회를 활용함으로써, 우리는 학생들이 전문 경력 동안 급변하는 의료 시스템에서 학습을 최적화하고 고품질 관리를 제공할 수 있는 의료 전문가로 발전하는 데 필요한 학습 기술을 더 잘 준비할 수 있을 것이다.

Our study emphasises the idea that SRL and SRL development are embedded in social interactions and CRL in clinical workplace settings. We can support medical undergraduates’ development of SRL when CRL is structurally embedded in clerkships, acknowledging that the ability to self-regulate implies the ability to engage in meaningful interactions with others to support learning processes. In order to facilitate medical students’ transformation into lifelong learners, we therefore need to support and organise learners’ engagement in CRL. For competency-based medical education, this means that we should reconsider the ways by which we include medical students in CoPs in order to encourage workplace partnerships between novice students and more experienced students and health care professionals. By capitalising on the opportunities for CRL in clinical settings, we may be able to better equip students with the learning skills they need to develop into health care professionals who are able to optimise their learning and provide high-quality care in rapidly changing health care systems throughout their professional careers.

 

 


Med Educ. 2020 Mar;54(3):234-241.

 doi: 10.1111/medu.14018. Epub 2019 Dec 1.

Beyond the self: The role of co-regulation in medical students' self-regulated learning

Affiliations collapse

Affiliations

1School of Health Professions Education, Maastricht University, Maastricht, the Netherlands.

2Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands.

3Research Group Professional Assessment, Zuyd University of Applied Sciences, Heerlen, the Netherlands.

PMID: 31788840

PMCID: PMC7065189

DOI: 10.1111/medu.14018

 

Abstract

Context: Medical students are expected to self-regulate their learning within complex and unpredictable clinical learning environments. Research increasingly focuses on the effects of social interactions on the development of self-regulation in workplace settings, a notion embodied within the concept of co-regulated learning (CRL). Creating workplace learning environments that effectively foster lifelong self-regulated learning (SRL) requires a deeper understanding of the relationship between CRL and SRL. The aim of this study was therefore to explore medical students' perceptions of CRL in clinical clerkships and its perceived impact on the development of their SRL.

Methods: We conducted semi-structured interviews with 11 purposively sampled medical students enrolled in clinical clerkships at one undergraduate competency-based medical school. Data collection and analysis were conducted iteratively, informed by principles of constructivist grounded theory. Data analysis followed stages of open, axial and selective coding, which enabled us to conceptualise how co-regulation influences the development of students' self-regulation.

Results: Data revealed three interrelated shifts in CRL and SRL as students progressed through clerkships. First, students' CRL shifted from a focus on peers to co-regulation with clinician role models. Second, self-regulated behaviour shifted from being externally driven to being internally driven. Last, self-regulation shifted from a task-oriented approach towards a more comprehensive approach focusing on professional competence and identity formation. Students indicated that if they felt able to confidently and proactively self-regulate their learning, the threshold for engaging others in meaningful CRL seemed to be lowered, enhancing further development of SRL skills.

Conclusions: Findings from the current study emphasise the notion that SRL and its development are grounded in CRL in clinical settings. To optimally support the development of students' SRL, we need to focus on facilitating and organising learners' engagement in CRL from the start of the medical curriculum.

Keywords: clinical education; development; professional; qualitative research methods.

의과대학생은 어떻게 다른사람이 자신의 자기조절학습에 영향을 준다고 인시하는가? (Med Educ, 2017)
How clinical medical students perceive others to influence their self-regulated learning
Joris J Berkhout,1 Esther Helmich,1 Pim W Teunissen,2,3 Cees P M van der Vleuten2 & A Debbie C Jaarsma4

 


도입
INTRODUCTION

학생들은 특히 임상 전 의학 교육에서 임상 의학 교육으로 전환할 때 임상 환경에서 학습하는 데 어려움을 겪기 쉽습니다. 학생들은 자신이 무엇을 기대할 수 있고 무엇을 기대하는지 이해하기 어려워 불확실성이 커질 수 있다. 기본적으로 가르치고 배우도록 설계되지 않은 임상적 맥락에서 학생들은 더 이상 정확히 무엇을 배워야 하는지 듣지 못하며are told, 스스로의 학습을 통제할 것으로 기대된다. 소위 SRL(self-reculated learning)에 참여하는 것은 의대생들에게 큰 도전입니다.
Students are prone to struggle with learning in clinical environments, especially when transitioning from preclinical to clinical medical education.1–3 Students may have a hard time understanding what they can expect and what is expected of them, resulting in high levels of uncertainty.4 In a clinical context that is not primarily designed for teaching and learning, students are no longer told what exactly to learn, and are expected to take control of their own learning.3 Being expected to engage in so-called self-regulated learning (SRL) poses a large challenge to undergraduate medical students.5 

SRL에서 개인은 원하는 수준의 역량을 달성하기 위해 [정서적, 인지적, 행동적 프로세스]를 능동적으로 조절하여 학습의 방향을 설정한다direct learning. 여기에는 목표 설정, 감정 조절, 환경 구조화, 피드백 수집 및 자기 성찰이 포함됩니다. 많은 교육자와 연구자들은 SRL이 학습에 유익하다는 것에 동의한다. Bridges와 Butler의 SRL situated model에 따르면 SRL은 개인과 학습이 이루어지는 맥락 사이의 상호작용에서 발생하는 복잡한 프로세스이다. 따라서 SRL의 프로세스와 결과에 [개인과 맥락이 모두 영향]을 미친다. 따라서 SRL은 병원과 같이 정신없고 끊임없이 변화하는 환경에서 어려운 것으로 알려져 있습니다. 
In SRL, an individual proactively modulates affective, cognitive and behavioural processes, to direct learning in order to achieve a desired level of competence.6 This includes goal setting, emotion control, environment structuring, gathering feedback and self-reflection.6,7 Many educators and researchers agree on SRL being beneficial for learning.8,9 Following Brydges and Butler’s situated model of SRL, SRL results from a complex process that happens in the interaction between an individual and the context in which learning takes place.9 Consequently, both individual and context influence the process and outcome of SRL.10 Therefore, SRL is known to be difficult in a hectic, ever-changing environment, such as the hospital.11 

역사적, 문화적, 교육학적, 물리적, 사회적 요인을 포함한 광범위한 [맥락적 요인]이 학생들의 SRL에 영향을 미치는 것으로 설명되었다. 사회문화적 관점에서 직장 기반 학습workplace-based learning은 사회적 과정이며 결과적으로 사회적 요소가 필수적입니다. 학생들의 SRL에 영향을 미치는 사회적 요인에는

  • 직장에 있는 다른 사람들,
  • (그들과) 학생의 관계,
  • (그들과) 학생의 친숙함,
  • 학생들에게 주는 피드백,
  • 학생들이 SRL에 참여하고 독립적으로 연습할 수 있는 기회를 만들려는 다른 사람들의 의지,
  • 이러한 사람들의 교육에 대한 경험과 동기부여
  • 팀에 학생들의 참여
  • 학생들이 팀으로부터 받는 사회적 지원. 

A broad variety of contextual factors, including historical, cultural, pedagogical, physical and social factors, have been described to influence students’ SRL.6,11–15 From a socio-cultural perspective, workplace-based learning is a social process and consequently social factors are essential.16 Social factors that have been described to influence students’ SRL include

  • other people in a workplace,
  • students’ relationships with them,
  • students’ familiarity with them,
  • the feedback they give to students,
  • the willingness of other people to create opportunities for students to engage in SRL and practice independently,
  • these peoples’ experience in and motivation for teaching,
  • the engagement of students in the team and
  • the social support students receive from the team.9,11,13

이전의 연구는 학생들이 임상 환경에서 자신의 성과를 비교하고 정체성을 개발하기 위해 또래를 사용하는 방법 등 클리닉에서 학생들의 학습에 영향을 미치는 사회적 요인의 구체적인 측면에 초점을 맞추었다. 그러나 목표 설정, 다양한 규제 메커니즘 및 규제 평가를 포함하여 임상 환경에서 다른 사람들이 자율 규제 학습 과정에 어떻게 영향을 미치는지에 대한 연구는 없는 것으로 알고 있다.6 

Previous research has focused on specific aspects of social factors that influence student learning in a clinic, such as how students use peers to compare their performance and develop an identity in a clinical environment.17–19 However, to our knowledge there have not been any studies on how others influence the process of self-regulated learning in clinical settings, including goal setting, various regulatory mechanisms and regulatory appraisals.6 


본 연구에서는 특히 학생들의 SRL에 영향을 미치는 임상 환경의 사람들이 누구인지, 이러한 사람들이 어떤 영향을 미치는지, 어느 정도인지에 대해 관심을 가졌다.
In this study we were specifically interested in: who are the people in a clinical environment affecting students’ SRL, how these people have an influence and to what extent.


방법
METHOD


설계 Design

우리는 현실이 주관적이고 맥락에 특정하며 궁극적인 진실은 없다고 믿고 [구성주의 패러다임]에 우리 스스로를 위치시킨다.24 SRL 참여에 영향을 미치는 관계에 대한 참가자의 관점을 체계적으로 분석하기 위해 근거 이론 방법론에서 질적 연구 차입 방법을 수행했으며, 목적적 샘플링을 사용하여 이론적 충분성에 도달할 때까지 반복적으로 데이터를 수집 및 분석하였다. 우리는 학생들이 자유롭게 자신의 개인적인 경험을 상세히 설명할 수 있는 안전한 환경을 만들기 위해 데이터 수집에 대한 개별 접근 방식을 선택했습니다.
We position ourselves in a constructivist paradigm, believing that reality is subjective and context-specific and that there is no ultimate truth.24 We carried out a qualitative study borrowing methods from grounded theory methodology in order to do a systematic analysis of participants’ perspectives on relationships that are influential in their engagement in SRL, using purposive sampling and iteratively gathering and analysing data until theoretical sufficiency was reached.25 We chose an individual approach for the data collection to create a safe environment in which students would feel free to elaborate on their personal experiences. 

세팅 Setting

우리는 매년 350명의 코호트에 입학하는 네덜란드의 한 의과대학의 의대생을 모집했다. 의료 커리큘럼에는 임상 전 단계(1~3년)와 임상 단계(4~6년)가 포함된다. 임상 단계는 3주에서 16주 사이의 순환 임상실습으로 구성됩니다. 이러한 임상실습에서 의대생들은 환자 진료와 관련된 다양한 활동에 참여합니다. 모든 학생은 비슷하게 지원받고 세심한 감독을 받는다.
We recruited medical students from one large Dutch medical school with entering cohorts of 350 students per year. The medical curriculum includes a preclinical phase (years 1–3) and a clinical phase (years 4–6). The clinical phase consists of rotational clerkships ranging from 3 to 16 weeks. During these clerkships, medical students participate in a wide range of activities regarding patient care. All students are supported similarly and are closely supervised.

참여자 Participants

다양한 경험을 보장하기 위해 참가자들에게 연령, 성별, 경력 및 현재 임상실습과 관련된 의도적 표집을 실시하였다.
To ensure a wide variety in experiences, the participants were purposively sampled regarding age, gender, experience and current clerkship.

우리는 14명의 학생들을 포함했다. 참가자에 대한 자세한 내용은 표 1에 나와 있습니다. 면접이 끝난 후 참가자들은 시간 보상으로 10유로의 상품권을 받았다.
We included 14 students. Details of the participants are given in Table 1. After the interview, participants were given a €10 gift certificate as compensation for their time.

자료 수집 Data collection

첫 번째 저자가 모든 인터뷰를 진행했습니다. 그는 최근에 임상실습들을 직접 경험했기 때문에 학생들의 이야기를 공감하고 그들의 경험을 구상할 수 있었다. 
The first author conducted all the interviews. Because he has recently experienced the clerkships himself, he was able to relate to the students’ narratives and envision their experiences. 

첫 번째 저자의 SRL 연구 경험은 Sitzmann과 Ely가 설명한 다양한 SRL 이론과 관련된 구조에 대한 구체적인 질문을 가능하게 했다. 부정적 영향은 후속 질문의 초점이 너무 맞추어져 있거나 개인적 경험에 의해 채색되어 있는 것일 수 있다.

The first author’s experience in SRL research allowed for specific questions regarding constructs related to various SRL theories as described by Sitzmann and Ely.6 A possible adverse effect might have been that follow-up questions were too focused or coloured by personal experiences.

면접관은 인구통계 및 의료적 이해관계에 대한 사전동의배경정보를 얻은 후 자기조절학습은 [목표설정, 계획, 모니터링, 진척상황 반성, 미래학습에 대한 생각을 통해 스스로 학습 방향을 지시하는 것]을 의미한다고 간략히 설명했다. 다음으로, 그는 참가자들에게 킹 외 연구진들이 묘사한 픽터 기법에 따라 특정한 환경에서 다른 사람들의 역할과 관계를 표현하도록 요청하였다. 학생들은 자율 학습에 영향을 미치는 모든 사람이나 집단을 화살표 모양의 접착식 노트에 기록하고 이 노트를 큰 종이에 붙여 화살에 그려진 사람들에게 영향을 받은 SRL의 시각적 표현이나 이야기를 작성하도록 지시받았다. 참가자들은 그들의 경험을 묘사하는데 있어서 어떤 면에서도 제한되지 않았다. 이들은 설명 단어, 화살표 또는 기타 시각적 도구를 포함하도록 요청받았으며 인터뷰 내내 픽터 차트를 변경할 수 있었습니다. 우리는 참가자들이 말뿐만 아니라 시각적으로도 이야기를 할 수 있도록 시각적 표현을 활용했습니다. 픽터 차트 작성 후 진행된 인터뷰는 약 1시간 동안 진행되었습니다. 
After obtaining informed consent and some background information regarding demographics and medical interests, the interviewer briefly explained that self-regulated learning refers to directing ones’ own learning through goal setting, planning, monitoring, reflecting on progress and thinking about future learning. Next, he asked participants to construct a representation of roles and relationships of other people in a specific setting following the Pictor technique as originally described by King et al.23 Students were instructed to write all people or groups influencing their self-regulated learning on arrow shaped adhesive notes and to stick these notes to a large sheet of paper, creating a visual representation or story of how their SRL was influenced by the people depicted on the arrows. Participants were not limited in any way in portraying their experiences. They were invited to include explanatory words, arrows or other visual tools and were allowed to change their Pictor chart throughout the interview. We used the visual representation as a prompt to help participants tell their stories not only through words but also visually. The interviews following the creation of the Pictor charts lasted for approximately 1 hour. 

인터뷰는 음성녹음 후 전사되었다. 우리는 모든 학생들에게 가명을 주었다. 첫 번째 작성자는 인터뷰가 끝날 때마다 예비 분석을 실시했으며, 참가자들에게 member check이 가능하도록 인터뷰 요약을 반 페이지씩 제공했다. 참가자들은 또한 차트 사진을 받았고, 추가적인 변화가 필요한지 질문을 받았다. 

The interviews were audio-recorded and transcribed verbatim. We gave all students an alias. The first author performed a preliminary analysis after each interview and provided participants with a half-page summary of the interview to enable a member check. Participants also received a picture of their charts and were asked if any supplemental changes were desired. 

자료 분석 Data analysis

각 인터뷰가 끝난 후 첫 번째 저자(JB)는 스크립트와 픽터 차트를 모두 지속적인 비교를 통해 개방코딩하였고, 스크립트와 픽터 차트의 데이터를 검토하고 일치시키고자 했다. 인터뷰 기록과 픽터 차트는 오픈 코딩을 사용하여 지속적으로 유도적으로 비교되었습니다. 새로운 개념을 사용하여 다른 참가자들과의 다음과 같은 인터뷰를 안내했습니다. 개방 코딩  이후 축 코딩 및 해석 분석이 수행되었습니다. 
After each interview, the first author (JB) open coded both the transcripts and the Pictor charts using constant comparison to review and match the data in the transcript and Pictor chart. The interview transcripts and Pictor charts were constantly inductively compared using open coding. Emerging concepts were used to guide the following interviews with other participants. Open coding was followed by axial coding and interpretive analysis. 

첫 번째 및 두 번째 저자(JB 및 EH)는 4개월의 기간 동안 격주로 분석의 대본, 픽터 차트 및 새로운 개념에 대해 논의했습니다. 또한, 분석 및 작성이 진행되는 동안 새롭게 떠오른 아이디어와 흥미로운 발견에 대해 연구 그룹과 총 6회에 걸쳐 논의했습니다. 우리의 해석을 추적하기 위해, 첫 번째 저자는 메모와 새로운 아이디어와 개념을 모두 기록할 수 있는 일지를 작성했습니다. 브리지와 버틀러에 의한 SRL의 위치 사회문화 이론과 SRL에 관련된 구성을 분석의 sensitizing concept으로 사용했으며, Sitzmann과 Ely의 메타 분석에서 보고되었다.
The first and second author (JB and EH) discussed the transcripts, Pictor charts and emerging concepts of the analysis biweekly during a period of 4 months. Additionally, we discussed the emerging ideas and interesting findings with the research group during the analysis and writing-up, six times in total. To keep track of our interpretations, the first author kept memos and a log to record all emerging ideas and concepts. We used the situated sociocultural theory of SRL by Brydges and Butler and the constructs involved in SRL as reported in Sitzmann and Ely’s meta-analysis, as sensitising concepts supplementary to our analysis.6,9,26


Ethical considerations

결과
RESULTS


사람들은 역할 명확화, 목표 설정, 학습 기회, 자기 성찰, 감정 대처에 영향을 미침으로써 학생들의 SRL에 영향을 미칠 수 있습니다. 경험이 많은 학생들 중 다수는 임상실습을 거치면서 직장 내 다른 사람들의 역할과 관계에 대한 인식에 큰 변화를 느꼈다고 표현했습니다. 

People could influence students’ SRL through affecting role clarification, goal setting, learning opportunities, self-reflection and emotional coping. Many of the more experienced students expressed that they perceived large changes in their perceptions of the roles of, and relationships with, others in the workplace as they progressed through the clerkships. 


임상실습 초기 학생
Novice students in clerkships

초보 학생은 [핀볼이 핀볼 기계로 발사되는 것]을 비유적으로 특징 지을 수 있다. 학생들은 임상실습으로 옮겨졌고 뚜렷한 궤적 없이 임상 환경에서 앞뒤로 움직였으며, 이는 말론의 픽터 차트(그림 1)에 나타나 있습니다. 그는 지식이 보통 컨설턴트로부터 전공의들을 통해 자신에게로 흘러간다고 어떻게 생각하는지 묘사했다. 이 과정에서 많은 사람들이 그와 상호작용했고 양방향 화살표로 시각화된 그의 SRL에 영향을 주었다. 그의 Pictor 차트는 얼마나 많은 초보 학생들이 레지던트 및 동료들과 긴밀한 관계를 맺고 있는지를 보여줍니다. 임상 환경에서 환자, 간호사, 컨설턴트 등 타인이 초보자 SRL에 미치는 영향은 훨씬 작았다. 따라서 우선 레지던트들과 또래들이 초보 학생들의 SRL에 어떤 영향을 미쳤는지를 먼저 살펴보고, 이후에는 컨설턴트, 간호사, 환자가 어떤 영향을 미칠 수 있는지에 초점을 맞출 것이다. 
A novice student metaphorically can be characterised by a pinball being shot into a pinball machine. Students were launched into clerkships and they bounced back and forth in a clinical setting without a clear trajectory, which is illustrated by the Pictor chart of Marlon (Fig. 1). He portrayed how he perceived that knowledge usually flows from consultants through residents to him. During this process, many people interacted with him and influenced his SRL, visualised by the bidirectional arrows. His Pictor chart illustrates how many novice students describe having close relationships with residents and with peers. The influence of others, such as patients, nurses and consultants, in a clinical environment on novice students’ SRL was much smaller. We will therefore first focus on how residents and peers influenced novice students’ SRL and afterwards on the influence consultants, nurses and patients could have. 

초보자 학생들의 SRL에는 대부분의 시간을 함께 보내는 사람인 전공의들이 결정적인 역할을 했다. 전공의는 SRL의 측면을 용이하게 할 수 있다. 레지던트는

  • 초보자 학생들이 어떤 목표를 세워야 할지 결정할 수 있도록 도와줌으로써 초보자 학생들의 목표 설정에 영향을 미쳤고,
  • 질문을 던짐으로써 반응적 on-the-spot 학습을 자극했으며,
  • 학생들에게 피드백을 주고 간단한 질문(오늘 무엇을 배웠나요?)으로 성찰을 자극했기 때문에 자기 성찰에 중요한 역할을 했다. 

Residents played a decisive role in novice students’ SRL because they are the people students spend most of their time with. Residents could facilitate aspects of SRL. Residents

  • influenced novice students’ goal setting through helping students decide what goals they should be working on,
  • stimulated reactive on-the-spot learning through the questions they asked, and
  • played an important role in aiding self-reflection because they gave feedback to students and stimulated reflection by simple questions such as: What did you learn today?

 

 

초보자 학생들은 [자신의 역량에 대한 자기평가 기준]으로 [전공의의 행동과 역량]을 어떻게 활용했는지를 설명하였다. 많은 초보자 학생들이 전공의로서 기능을 발휘하는 것이 얼마나 큰 목표였는지를 보여준다. 

Novice students explained how they used residents’ behaviours and competencies as a standard of reference for self-assessment of their own competencies, indicating how a major goal of many novice students was to be able to function as a resident. 

[동료peers]들은 많은 초보 학생들의 SRL에서 중요한 역할을 한 또 다른 그룹의 사람들이었다. 전공의와 마찬가지로 동료들도 SRL의 모든 측면을 촉진할 수 있다. 초보자 학생들이 새로운 역할에 대한 불확실성에 직면하고 그들에게 무엇을 기대해야 할지 모를 때, 그들은 종종 더 경험이 많은 또래들에게 그들을 안내해 달라고 부탁했다. 기본적인 소개 외에도, [무엇이 현실적인 학습목표]가 될 수 있는지, 특정 부서에서 구체적으로 해야 할 일과 하지 말아야 할 것에 대한 생각을 주었습니다. 학생들은 동료들에게 도움을 요청하는 데 있어 낮은 장벽을 경험했으며, 동료들은 서로에게 질문을 함으로써 반응적 현장 학습을 촉발할 수도 있습니다. 일부 고성능 동료는 역할 모델 역할을 할 수도 있습니다. 마지막으로 또래들은 사회적 비교를 통해 자기평가 기준을 정하고 질문을 통한 성찰을 자극하는 등 SRL의 자기성찰 과정에서 전공의들과 유사한 역할을 했다. 여기에 더해 또래들은 임상환경에서의 경험으로 인한 감정반응에 대처하는데 도움을 줄 수 있기 때문에 초보자 학생들의 SRL에서 독특한 역할을 했다. 또래와 정서적 경험을 나누는 것은 사회적 지지의 중요한 원천으로 경험되었다. 그러나 일부 학생들은 경쟁심을 느껴 SRL을 방해하는 또래 학생들도 있다고 보고했다. 
Peers were the other group of people who played an important role in many novice students’ SRL. Similar to residents, peers could also facilitate all aspects of SRL. When novice students faced uncertainty in their new roles and were unclear of what was expected of them, they often asked more experienced peers to show themaround. Besides a basic introduction, this gave themsome idea of what realistic learning goals may be and the specific dos and don’ts of the department. Students experienced a low barrier to asking peers for help, and peers could also trigger reactive on-the-spot learning by asking each other questions. Some high-functioning peers could even serve as role models. Lastly, peers played a similar role to residents in the self-reflection process of SRL by setting a standard of reference for selfassessment through social comparison and by stimulating reflection through questions. Additionally to this, peers played a unique role in novice students’ SRL because they could assist in coping with emotional reactions resulting fromexperiences in a clinical environment. Sharing emotional experiences with their peers was experienced as an important source of social support. However, some students also reported peers hindering their SRL because they experienced a feeling of competition. 


또한 픽토 차트에서 초보자 학생들은 그들의 SRL에 영향을 미치는 것으로 컨설턴트, 간호사, 환자를 언급했지만, 그 정도는 덜했다.

  • 초보자 학생들은 컨설턴트와 거의 접촉하지 않았다고 설명했지만, 컨설턴트는 초보자 학생들에게 자신이 할 수 있는 목표에 대해 알려줄 수 있었다.
  • 목표 설정 외에도 컨설턴트와 간호사가 안전한 학습 환경긍정적인 분위기를 조성하고 학생들이 팀에 참여하는 데 중요한 역할을 했습니다. 이것은 초보 학생들의 SRL 전략을 촉진시켰는데, 이는 그들이 실수를 저지르고, 질문을 하고, 학습 기회를 만들고, 피드백을 구할 수 있게 해주었기 때문이다.
  • 초보 학생들은 컨설턴트나 간호사 등 다른 사람들을 관찰하며 배우기도 한다. 이 롤모델 함수는 메건의 인용문에 예시되어 있습니다.
  • 환자의 문제가 학습 기회의 내용을 결정했기 때문에, 환자의 영향은 학습 기회에 영향을 미치는 것으로 제한되었습니다. 컨설턴트와 간호사의 질문과 마찬가지로 환자와 그 가족의 질문도 반응적 현장 학습을reactive on-the-spot learning 시작할 수 있다.

In their Pictor charts novice students also referred to consultants, nurses and patients as influencing their SRL, but to a lesser extent.

  • Consultants could instruct novice students about the goals they could be working on, although novice students explained that they rarely had contact with consultants.
  • Besides goal setting, consultants and nurses played an important role in creating a safe learning environment and a positive atmosphere and engaging students in the team. This facilitated novice students’ SRL strategies because this permitted themto make mistakes, ask questions, create learning opportunities and seek feedback.
  • Novice students also learned by observing others such as consultants and nurses. This role model function is exemplified in the quote by Megan.
  • A patient’s influence was limited to affecting learning opportunities because a patient’s problemdetermined the content of learning opportunities. Questions from patients and their families, similar to questions from consultants and nurses, could also initiate reactive on-the-spot learning. 



경험이 쌓인 임상실습생
Experienced students in clerkships

초심자novice 학생을 핀볼머신의 핀볼로 특징지을 수 있다면, 경험 많은experienced 학생은 내리막길을 굴러가는 눈덩어리라고 생각할 수 있다. 이 학생들은 학습의 궤적이 명확해지면서 구르면서 더욱 강력해지고, 중요한 장애물만이 그들의 진로에서 벗어나게 만든다고 설명했습니다. Laci의 Pictor 차트(그림 2)는 이를 시각적으로 보여줍니다. 화살에 근접해 있다는 것은 그녀가 자신의 SRL에 도움이 되는 의사 보조원이나 간호사 등 많은 다른 사람들을 어떻게 인식했는지를 나타냅니다. Laci의 Pictor 차트는 Marlon의 차트보다 더 체계적이며 그녀가 임상 환경을 이해하고 임상 팀의 진정한 구성원처럼 느꼈던 방식을 상징합니다.

If novice students can be characterised as pinballs in a pinball machine, experienced students can be thought of as snowballs rolling downhill. These students explained a clear trajectory in their learning, becoming more powerful whilst rolling, and that only significant obstacles could deviate them from their path. The Pictor chart of Laci (Fig. 2) illustrates this visually. The proximity of the arrows to herself portrays how she perceived many others, such as physician assistants and nurses, to be beneficial to her SRL. Laci’s Pictor chart is also more structured than Marlon’s and symbolises how she understood the clinical environment and felt like a true member of the clinical team. 

그녀는 자신의 그림 차트에 있는 모든 사람들을 자신의 학습에 유익하게 사용하는 전략을 논의했습니다. 이러한 전략들 때문에, 일반적으로 한 사람single person이 SRL에 미치는 영향은 초보 학생들에 비해 작았다. 경험 많은 학생들은 종종 어떤 의사가 되고 싶은지 분명한 목표를 가지고 있었습니다. 목표 설정을 돕기 위해 동료가 필요하지 않았지만 컨설턴트의 도움에 더 의존하여 적절한 학습 기회를 창출했습니다. 이는 말론의 차트와 비교했을 때 라시의 픽터 차트에 잘 나타나는데, 이는 동료와 자신의 화살표 사이의 거리가 더 큰 반면 컨설턴트를 나타내는 화살표는 자신과 더 가깝고 다른 전문 분야의 컨설턴트도 언급되기 때문이다. 초보생과 같은 순서로 레지던트, 또래, 컨설턴트, 간호사, 환자 등의 역할을 논의한다. 
She discussed having strategies to use all people in her Pictor chart to benefit her learning. Because of these strategies, the influence a single person had on her SRL in general was smaller than for novice students. Experienced students often had a clear objective of what kind of doctor they wanted to become. They did not need peers to help with goal setting, but were more dependent on the help of consultants to assist them in creating adequate learning opportunities. This is illustrated in Laci’s Pictor chart, compared with Marlon’s chart, as the distance between the arrow representing peers and her own is larger, whereas the arrows representing consultants are closer to her own and consultants of other specialties are also mentioned. We will discuss the roles of residents, peers, consultants, nurses, patients and others in the same order as for the novice students. 


(Novice와 비교했을 때) Experienced student에게는 전공의의 역할이 달랐다. 왜냐하면 이들은 전공의를 near-peers로 생각하기 시작했기 때문이다. 이로 인해 전공의는 SRL의 모든 측면에 영향을 미치지만, 경험 많은 학생의 SRL에 결정적이지는 않았다. 또한, 전공의들은 정서적 경험에 대처하는 것을 지지할 수 있고 사회적 지원의 감정을 조성할 수 있다. Experienced 학생들은 또한 그들의 개인적인 목표를 전공의들과 공유할 가능성이 더 높았다. 이는 전공의들이 최근 비슷한 상황에 처했을 가능성이 높기 때문에 특정 목표에 도달하기 위한 효과적인 전략을 제공할 수 있다는 것을 깨달았기 때문이다. 인터뷰에서 (experienced) 학생들은 전공의들이 [학생들에게 해야 하거나 배워야 하는 것을 지시하는 것]이 아니라, (경험 많은 학생들에게는) SRL을 지원하기 위해 필요한 [자율성과 책임을 제공하는 것]이 중요하다고 강조했다. 
The role of residents is different for experienced students compared with novice students, because experienced students started to regard residents as near-peers. This resulted in residents affecting all aspects of SRL, but not being decisive in the SRL of experienced students. Additionally, residents may also support coping with emotional experiences and may create a feeling of social support. Experienced students were also more likely to share their personal goals with residents. This was because they realised the residents might be able to provide effective strategies to reach certain goals, as residents were likely to have recently been in a similar situation. In the interviews, students emphasised that it was important that residents provided experienced students with the autonomy and responsibilities they require in order to support their SRL, instead of just directing what students had to do or learn. 


초보 학생들과 마찬가지로 경험 많은 학생들도 SRL을 위해 또래들을 자주 이용했다. 피어는 SRL의 모든 측면에 영향을 줄 수 있지만 그 영향은 작았다. 또래 학생들은 목표 설정에 큰 영향을 미치지 않았고, 경험 많은 학생들은 임상 환경의 정서적 경험에 대처할 수 있었기 때문에 정서적 지지의 필요성이 적었다. Jennifer가 설명했듯이, 동료들은 예를 들어, frame of reference로 기능함으로써, experienced students의 SRL에 상당한 영향을 미친다influential role. 
Similar to novice students, experienced students also frequently used peers for their SRL. Peers could influence all aspects of SRL, but their influence was smaller. Student-peers did not have a large influence on their goal setting and experienced students were able to cope with the emotional experiences of a clinical environment; therefore, the need for emotional support was smaller. Peers do have an influential role in experienced students’ SRL, for instance by functioning as a frame of reference, as Jennifer explained. 


Experienced students는 (초보 학생의 SRL에 있어서) 레지던트 역할을 부분적으로 수행했기 때문에, 컨설턴트의 역할이 초보자보다 훨씬 컸다

  • 컨설턴트는 목표 설정에는 거의 영향을 미치지 않았지만 학생들에게 가장 흥미롭고 도전적인 학습 기회를 부여할 수 있는 전문가로 평가되어 학습 기회와 전략에 큰 영향을 미쳤다. 컨설턴트와 전공의들은 [경험 있는 학생들의 SRL을 위한 기회]에 큰 영향을 미쳤다.
  • 대부분의 경험 많은 학생들은 컨설턴트, 레지던트, 동료들이 만든 [학습 환경의 안전성에 대한 의존도가 낮다]고 설명했다.
  • 원하는 것이 무엇인지 알고 있기 때문에, 필요하다고 느낄 때 집중적인 피드백을 요청하였으며, [평가보다는 학습에 더 신경]을 쓴다고 설명했다.
  • 경험이 많은 학생들은 동기부여가 낮은 컨설턴트, 레지던트, 또래, 간호사들이 자신들이 쏟는 노력을 방해할 수 있지만, [학생 스스로 본질적인 동기부여와 목표, 학습전략을 가지고 있다]고 설명했다.
  • 특히 많은 경험 많은 학생들의 SRL은 자율감, 목표와 함께 책임감 증가, 자극적인 사람들에 둘러싸여 있다는 느낌이었다. 

The role of consultants in the learning of experienced students was much bigger than for novice students because they partially fulfill the role residents’ play in novice students’ SRL.

  • Consultants had little influence on goal setting, but had a large impact on learning opportunities and strategies because consultants were regarded as experts who could grant students the most interesting and challenging learning opportunities. Together, consultants and residents had a major influence on experienced students’ opportunities for SRL.
  • Most experienced students described a smaller dependence on the safety of the learning environment created by consultants, residents and peers.
  • Because they knew what they wanted, they would ask for focused feedback when they felt they needed it, and explained that they cared more for learning than assessment.
  • Experienced students explained that consultants, residents, peers and nurses with low motivation could hinder the amount of effort they put in, but that students themselves still had their own intrinsic motivation, goals and learning strategies to rely on.
  • Especially important for many experienced students’ SRL was a feeling of autonomy, getting increasing responsibilities in line with their goals, and being surrounded by stimulating people. 

 

초보자에 비해, 임상환경에서 (간호사, 기획담당자 등) 타인이 Experienced students의 SRL에 미치는 영향은 크다. 경험이 많은 학생들은 [임상 팀의 일원]으로서 더 많은 것을 느꼈고 SRL 전략에 [다른 사람들을 참여시키는 방법]을 배웠습니다. 경험이 많은 학생들은 동료, 컨설턴트, 간호사를 포함한 많은 다른 학생들과 목표를 공유하며 자신의 지식을 사용하여 목표를 달성하기 위해 어떤 전략을 사용할지 논의합니다. 

The influence of others, such as nurses and the people in charge of the planning, on experienced students’ SRL in a clinical environment is large in comparison to novice students. Experienced students felt more a part of a clinical team and knew how to involve others in their SRL strategies. Experienced students would share their goals with many others, including peers, consultants and nurses, using their knowledge to discuss which strategy to use to achieve their goals. 


초보자에서 숙련된 학생으로 전환
Transitioning from novice into an experienced student

자신의 임상실습을 돌아보며, 많은 경험 많은 학생들은 그들이 어떻게 변했는지를 설명했는데, 그 이유는 [그들 스스로 자신의 학습에 대해 통제해야 한다는 것]을 깨달았기 때문이다. [학습의 주도권]을 쥐게 되면서 학습 목표에 더욱 집중하게 되고, 보다 효율적인 학습 전략을 사용하며, 학생들이 필요하다고 느끼는 역량을 성취하는 데 대한 피드백을 요청하게 되었다. 학생들이 이 과정을 설명하는 방법에는 여러 가지가 있었다. 많은 경험 많은 학생들은 임상실습에서 3~6개월을 보낸 후 이런 일이 일어났다고 설명했다. 
Looking back on their clerkships, many of the experienced students explained how they had changed because they gradually realised they needed to take control of their learning. Taking control of one’s learning led to more focused learning goals, using more efficient learning strategies, and asking for feedback on achieving the competencies students felt they needed. There were multiple ways students described this process. Many experienced students explained that this happened after 3–6 months in the clerkships. 

  • 그 시점에 그들은 자신이 어떤 의사가 되고 싶은지 깨닫기 시작했고, 그에 따른 학습 목표를 설정했다. 
  • 그들은 임상 환경에서 더 편안함을 느꼈고, 자신들이 '방해꾼'이 아닌 임상 팀에 부가가치가 될 수 있다는 것을 깨달았다
  • 많은 학생들은 정서적 임상 상황에 대처하기 위한 효과적인 전략을 가지고 있다고 설명했습니다. 
  • 그들은 [질문을 하고, 학습 기회와 피드백을 요청함으로써] 더 자주 학습에 많은 사람들을 참여시켰습니다.
  • 이들은 컨설턴트와 대화할 때 위계적 장벽을 덜 느꼈고, 전공의들은 더 이상 우상화되지 않았으며, 종종 더 경험이 많은 동료로 여겨지기도 했다.

 

  • At that point they started to realise what type of doctor they wanted to become and set learning goals accordingly.
  • They felt more comfortable in a clinical environment and realised they could be of added value to a clinical team, instead of being a ‘nuisance’.
  • Many students described having effective strategies to cope with emotional clinical situations.
  • They frequently involved many people in their learning by asking questions, and asking for learning opportunities and feedback.
  • They experienced less of a hierarchical barrier when talking to consultants and residents were no longer idolised, but often seen as more experienced near-peers.



고찰
DISCUSSION

본 연구는 역할 설명, 목표 설정, 학습 기회, 자기 성찰, 정서 대처에 영향을 미침으로써 임상 환경에서 다른 사람들이 학부생들의 SRL에 어떻게 영향을 미치는지 통찰합니다. 
Our study provides insight into how other people influence undergraduate medical students’ SRL in a clinical environment through affecting role clarification, goal setting, learning opportunities, self-reflection and emotional coping. 

[초보자]로서, 학생들의 사회적 맥락은 그들이 함께 일하는 의료팀에만 국한된다. 그 결과, 초보자 학생들의 SRL은 종종 [전공의과 동료들의 지원에 크게 의존]한다. 이것은 그들과 상호작용하는 누군가에 의해 쉽게 영향을 받을 수 있으며, 따라서 그들의 SRL은 종종 [핀볼과 같은 예측 불가능한 궤적]을 가질 수 있다. 
As novices, students’ social contexts are limited to the medical teamthey work with. As a result, novice students’ SRL often heavily relies on the support of residents and peers. It can be easily affected by anyone interacting with them, and therefore their SRL may often have the unpredictable trajectory of a pinball. 

[경험이 많은 학생들]은 임상 환경에 대한 이해가 더 높기 때문에, 사회적 맥락을 더 잘 탐색하고 특정 목표에 도달하는 데 도움을 받을 수 있습니다. 이러한 학생들이 임상 환경에서의 학습을 파악해나가고, 자신의 역할이 무엇인지 알고, 자신이 되고자 하는 사람이 누구인지 알게 되기 때문에 SRL이 더 잘 이뤄진다.
experienced students appear to be able to enhance their understanding of a clinical environment, enabling themto better navigate the social context and find support in reaching specific goals. Their SRL is further supported as these students get a grasp of learning in a clinical environment, knowing what their role is, and knowing who they want to become. 

학생들이 다른 사람들이 자신의 SRL에 영향을 미친다고 인식하는 방식은 문화, 교육학, 사회 환경을 다르게 해석하는 데서 비롯되는 것으로 보인다.

  • 초보 학생들은 자신의 역할에 대한 이해가 부족하여 임상 직장 문화를 탐색하지 못하는 경우가 많습니다. 초보 학생들은 다른 사람들이 자신의 학습에 적극적으로 관여하기를 기대합니다. 초보 학생 스스로가 SRL에 자주 교류하는 사람들만 적극적으로 참여시킨다.
  • 반면에 경험 많은 학생들은 함께 일하는 많은 사람들과 관계를 쌓기 위해 노력했습니다. 그들은 컨설턴트를 그들의 학습에 관여시키고, 그것으로부터 이익을 얻으려고 더 적극적으로 노력했습니다. 

How students perceive others to influence their SRL seems to result from interpreting culture, pedagogy and a social environment differently.

  • Novice students are often unable to navigate a clinical workplace culture because of a lack of understanding of their role in it. Novice students expect others to actively engage in their learning. Novice students themselves only actively involve people they have frequent interactions with in their SRL.
  • Experienced students on the other hand tried to build relations with many people they worked with. They more actively tried to engage consultants in their learning and benefit from it. 



초보 학생들은 [자신의 added value가 거의 없거나, 심지어 임상 팀에 성가신 존재라는 느낌] 때문에 SRL이 방해를 받는다고 보고했다. 이러한 느낌은 그들의 전임상 교육에서 비롯될 수 있으며, 한 개인의 SRL은 [역사와 경험의 영향]을 받기 때문에, 이 학생들이 역사적으로 어떻게 학습하도록 훈련받았는지를 반영한다. 초보 학생들은 이런 감정적인 스트레스를 다루기 힘들어했는데, 이는 스스로를 unwanted한 사람으로 느끼게 했기 때문이다. 그들은 이러한 감정이 SRL을 하려는 동기를 감소시킬 수 있으며, 이러한 감정을 극복하기 위해서는 동료들의 정서적인 지원이 필요하다고 설명했다. 하지만 학생들 사이에 경쟁이 느껴진다면feeling of competition 또래들의 [정서적 지지]가 억제될 수 있다. 

Novice students reported their SRL to be hindered by a feeling of being of little added value or even being a nuisance to a clinical team. This feeling may be founded in their preclinical education and reflect how they are historically trained to learn, as a person’s SRL is influenced by history and experiences.9 Novice students had difficulty coping with this emotional stress because it made them feel unwanted. They explained that this could decrease their motivation for SRL and required emotional support from peers to overcome these feelings. Emotional support by peers could be inhibited if there was a feeling of competition among students. 


강점과 한계
Strengths and limitations

교육 및 연구 함의
Implications for practice and future research


우선, 우리의 연구 결과는 초보 학생들이 새로운 환경에서 완전히 자율적으로 학습하기를 기대하는 것이 많은 사람들에게 매우 어려울 수 있다는 믿음을 강화합니다. 따라서 초보자도 타인의 적극적인 지원으로 효익을 얻을 수 있다. 또한 초보 학생들은 컨설턴트와 거의 교류하지 않는 것으로 나타났습니다. 따라서 이러한 맥락에서 개발 이니셔티브는 전공의가 학생의 SRL을 효과적으로 지원할 수 있도록, 전공의에게 더 잘 초점을 맞출 수 있다. 임상 환경에서 학생의 학습에 대한 [전공의와 동료의 중요성]은 역할 모델링 및 사회적 비교에 대해 이전에 설명되었습니다. 우리의 결과는 (특히 초보자 학생들에게) 이러한 중요성을 더욱 강조합니다. 왜냐하면 학생들이 [또래와 전공의들이 목표 설정, 기회, SRL 전략 및 자기 성찰에 가장 큰 영향을 미친다]고 보고했기 때문입니다.

First of all, our findings strengthen the belief that expecting novice students to fully self-regulate their learning in a new environment may be very difficult for many. Thus, novices may benefit fromactive support by others. Our results also show that novice students report rarely interacting with consultants. In this context, development initiatives may therefore be better focused on residents to enable themto effectively support students’ SRL. The importance of residents and peers for students’ learning in a clinical environment has been described before regarding role modelling and social comparison.18,32 Our results emphasise this importance even more (especially for novice students) because students reported that peers and residents have the largest impact on their goal setting, opportunities, SRL strategies and self-reflection.

아마도 가장 중요한 것은 임상 환경에서 [초보 학생의 '핀볼']에서 [경험많은 학생의 '스노볼']로, 그리고 뒤이은 SRL로의 전환은 [임상 환경에서 편안함]을 느끼는 것에서 기인하며, 궁극적으로는 [개인적 목표를 향해 작업work]하는 것을 촉진한다. 따라서 종단적 통합 임상실습 및 조기 임상 노출의 원칙에 따라 임상실습에서의 학생 배치를 늘림으로써 임상 환경에서 학생들의 SRL을 지원할 수 있다. 이를 통해 학생들은 어휘를 포함한 공동체 문화에서 길을 찾을 수 있고, 전환의 스트레스를 줄일 수 있으며, 초보 학생들이 자신의 역할을 이해하도록 돕고, 궁극적으로 학생들이 건강관리팀의 일원이 될 수 있도록 도와준다.

Perhaps most importantly, a student’s transition from a novice ‘pinball’ to an experienced ‘snowball’ and subsequent SRL in a clinical environment appears to result fromfeeling comfortable in a clinical environment and facilitates working towards personal goals. Therefore supporting students’ SRL in a clinical environment could be improved by lengthening student placements in a clerkship, following principles of longitudinal integrated clerkships and early clinical encounters. This enables students to find their way in the culture of the community, including the vocabulary, reduces the stress of transitions, helps novice students understand their role and ultimately helps students become part of the health care team.28,33–35 

 



6 Sitzmann T, Ely K. A meta-analysis of self-regulated learning in work-related training and educational attainment: what we know and where we need to go. Psychol Bull 2011;137 (3):421–42. 

23 King N, Bravington A, Brooks J, Hardy B, Melvin J, Wilde D. The Pictor technique: a method for exploring the experience of collaborative working. Qual Health Res 2013;23 (8):1138–52. 

 

 

 

 


Med Educ. 2017 Mar;51(3):269-279.

 doi: 10.1111/medu.13131. Epub 2016 Nov 23.

How clinical medical students perceive others to influence their self-regulated learning

Joris J Berkhout 1Esther Helmich 1Pim W Teunissen 2 3Cees P M van der Vleuten 2A Debbie C Jaarsma 4

Affiliations collapse

Affiliations

  • 1Center for Evidence-Based Education, Academic Medical Center (AMC-UvA), University of Amsterdam, Amsterdam, The Netherlands.
  • 2Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands.
  • 3Department of Obstetrics and Gynecology, VU University Medical Center, VU University Amsterdam, Amsterdam, The Netherlands.
  • 4Center for Research and Innovation in Medical Education, University Medical Center Groningen, University of Groningen, Groningen, The Netherlands.

Free PMC article

Abstract

Objectives: Undergraduate medical students are prone to struggle with learning in clinical environments. One of the reasons may be that they are expected to self-regulate their learning, which often turns out to be difficult. Students' self-regulated learning is an interactive process between person and context, making a supportive context imperative. From a socio-cultural perspective, learning takes place in social practice, and therefore teachers and other hospital staff present are vital for students' self-regulated learning in a given context. Therefore, in this study we were interested in how others in a clinical environment influence clinical students' self-regulated learning.

Methods: We conducted a qualitative study borrowing methods from grounded theory methodology, using semi-structured interviews facilitated by the visual Pictor technique. Fourteen medical students were purposively sampled based on age, gender, experience and current clerkship to ensure maximum variety in the data. The interviews were transcribed verbatim and were, together with the Pictor charts, analysed iteratively, using constant comparison and open, axial and interpretive coding.

Results: Others could influence students' self-regulated learning through role clarification, goal setting, learning opportunities, self-reflection and coping with emotions. We found large differences in students' self-regulated learning and their perceptions of the roles of peers, supervisors and other hospital staff. Novice students require others, mainly residents and peers, to actively help them to navigate and understand their new learning environment. Experienced students who feel settled in a clinical environment are less susceptible to the influence of others and are better able to use others to their advantage.

Conclusions: Undergraduate medical students' self-regulated learning requires context-specific support. This is especially important for more novice students learning in a clinical environment. Their learning is influenced most heavily by peers and residents. Supporting novice students' self-regulated learning may be improved by better equipping residents and peers for this role.

시험을 마친 후의 의과대학생의 자기조절의 영향 (Med Educ, 2012)
Influences on medical students’ self-regulated learning after test completion
Sacha Agrawal,1 Geoffrey R Norman2 & Kevin W Eva3

 

 

도입
INTRODUCTION

최근 몇 년 동안 [assessment practice]는 점점 더 [성과를 측정할 수 있는 기회]뿐만 아니라 [그 자체로 교수 및 학습 활동]으로 간주되고 있다. 오랫동안 '평가 꼬리가 커리큘럼 개를 좌우한다'는 주장이 제기되어 왔으며, 그 중에서도 뉴블과 예거는 선택한 평가 전략이 학생들의 학습 활동에 영향을 미칠 것임을 입증해 왔다. 그러나 이 대화의 초점은 최근 들어 발전했다. 보다 확립된 담론은 일반적으로 [시험]은 학습자가 [더 큰 부담stakes에 부합하는 영역]에서 [좋은 성과를 보장]하기 위하여 [학습 접근 방식과 우선순위를 변경]하는 방식을 통해 학습에 간접적인 영향을 미친다는 개념에 초점을 맞추고 있습니다. 예를 들어, Newble과 Jaeger가 학생들의 공부 행동1에 집중하는 것과 시험이 임박했을 때 [학습량이 증가한다]는 것을 보여주는 다양한 연구2에서 이러한 사실이 입증된다. 그러나 최근에는 시험이 학생 학습에 미치는 직접적인 영향에 대한 추가적인 논의가 있었으며, 이러한 대화 중 가장 두드러진 것은 '시험 강화 학습test-enhanced learning'으로 알려진 현상에 초점을 맞추고 있다.3 
In recent years there has been a considerable increase in the extent to which assessment practices are thought of not only as opportunities to measure performance, but as teaching and learning activities in their own right. It has long been argued that ‘the assessment tail wags the curriculumdog’, and Newble and Jaeger,1 among others, have demonstrated that the assessment strategies chosen will influence students’ learning activities. The focus of this conversation, however, has evolved of late. The more established discourse has generally centred on the notion that testing has indirect effects on student learning by leading learners to change their study approach and priorities to ensure good performance in the domains that align with greater stakes. This is evidenced, for example, in Newble and Jaeger’s focus on students’ study behaviour1 and in a variety of studies2 demonstrating that the amount of studying increases when tests are imminent. More recently, however, there has been additional discussion of the direct effects of testing on student learning and the most prominent of these conversations has focused on a phenomenon known as ‘test-enhanced learning’.3 

시험 강화 학습은 아마도 1620년에 쓴 프란시스 베이컨(4)의 말에 가장 잘 묘사되어 있을 것이다. '[한 개의 텍스트를 20번 읽는 것]보다 [외우려고 시도하면서, 그리고 잘 안 외워지면 원문을 찾아보며 10번을 읽을 때]더 많이 배울 것이다'. Roediger와 Karpicke5는 이 인용문을 사용하여 [시험이 학습을 향상시키는 것은 단순히 학습이 반복적으로 이뤄지기 때문만은 아니다]라는 개념이 새롭지 않음을 보여줬다. 다만, 공식 교육 환경에서 과소평가되고 충분히 활용되지 못했을 뿐이다. 그들은 테스트 효과가 단순히 [작업 시간time on task]에만 기인하지는 않는다는 것을 명확히 보여주는 심리학에 관한 광범위한 문헌을 검토한다. 이는 (Bacon의 격언에서 제시된 바와 같이) 소재에 대한 노출이 반복적인 학습을 위해 편향된 경우에 조차 종종 [시험의 효익]이 나타나기 때문이다.
Test-enhanced learning is perhaps best described in the words of Francis Bacon,4 who, in 1620, wrote: ‘If you read a piece of text through twenty times, you will not learn it by heart so easily as if you read it ten times while attempting to recite it from time to time and consulting the text when your memory fails.’ Roediger and Karpicke5 use this quote to demonstrate that the notion that testing improves learning beyond that afforded by repeated study is not new despite the fact that the phenomenon has been underappreciated and underutilised in formal educational settings. They review an extensive literature in psychology that clearly indicates the testing effect cannot be attributed simply to time on task as the benefits of testing are often seen even when the exposure to the material is biased in favour of repeated study, as suggested by Bacon’s maxim.

시험 강화 학습에 대한 일반적인 연구에서는 학습자에게 일련의 학습 자료를 제시하며 학습 자료를 여러 번 학습하거나 한 번 학습한 후 시험을 완료하도록 랜덤화됩니다. 그런 다음 실험 세션 직후(예: 5분) 또는 더 상당한 지연 후(예: 1주) 최종 테스트가 주어집니다. 
In a typical study of test-enhanced learning, learners are presented with a set of material and are randomised to study the material multiple times or to complete a test after studying the material once. Students are then given a final test shortly (e.g. 5 minutes) after the experimental session or after a more substantial delay (e.g. 1 week).

일반적으로 Roediger와 Karpicke가 보고한 바와 같이, (단순 반복 학습과 비교했을 때)
[사전 테스트prior testing]는 
[즉각적 테스트immediate testing] 조건에서 차이가 없거나, 심지어는 더 점수가 낮은 경우에도,
[지연된 테스트delayed test]에서 더 나은 인출을 보여주기 때문이다.
 
Generally, as reported by Roediger and Karpicke,6 prior testing yields better recall on delayed tests relative to repeated study even when differences do not exist or may be reversed in immediate testing conditions. 

현재 선호되는 이러한 편익이 발생하는 메커니즘은 인식cognition의 현재 모델에 의존하며, 이는 회상 가설retrieval hypothesis로 알려져 있다. 회상 가설이란 기억에서 정보를 검색하는 행위가 메모리 추적을 강화하여 미래에 필요할 때 정보를 검색할 수 있도록 한다는 것이다. 이러한 개념적 프레임워크는 학습을 위해 시험을 최적으로 구현하는 방법에 대한 유용하고 구체적인 제안을 도출하는 많은 실험 연구로 이어졌다. 예를 들어, Larsen 등은 테스트가 자주 반복되고 시간이 지남에 따라 간격을 두어야 한다고 지적했다. 테스트는 가능한 한 항상 [정보의 생성]을 요구해야 하며, [정답에 대한 피드백]을 즉시 제공할 필요는 없지만 제공해야 한다. 즉, (비록 두 형식이 학습을 개선하는 것으로 나타났지만) 간단한 객관식 문제 시험보다 단답형 시험이 선호된다.

The presently favoured mechanism by which this benefit is thought to occur (known as the retrieval hypothesis) draws on current models of cognition by suggesting that the act of retrieving information from memory strengthens the memory trace and, thus, makes the information more likely to be retrievable when it is needed in the future. This conceptual framework has led to many experimental studies that have yielded useful and concrete suggestions as to how testing might optimally be implemented for learning. For example, Larsen et al.3 have indicated that tests should be frequent, repeated and spaced out over time; they should require the production of information whenever possible (i.e. short-answer tests are preferred over simple multiplechoice question tests, although both formats have been shown to improve learning), and feedback about the correct answers should be provided, although not necessarily immediately. 

보건 전문 교육 커뮤니티 내에서, 심리학의 [시험 강화 학습]에 대한 연구의 성장은 적절한 시기에 성장했다. 바로 보건 전문 교육자들이 [(성과 개선 노력이 뒷받침될 수 있는 토대로서) 자기-평가]의 가치에 대해 점점 회의적이 되어가고 있던 시기였다. 동시에 이들은 [외부적으로 유도된externally derived 데이터가 제공하는 교육적 가치]에 대한 인식을 높일 것을 요구했습니다.
Within the health professional education community, the growth of research into test-enhanced learning in psychology proved timely as it emerged at a time when health professional educators were growing increasingly sceptical of the value of self-assessment as the foundation on which performance improvement efforts can be built7,8 and were calling for greater awareness of the pedagogic value provided by externally derived data.9 

의대 교육이 [시험 강화 학습]의 적용으로 혜택을 받을 수 있다는 라르센 외 연구진의 제안이 발표된 이후 비교적 짧은 기간 동안, 연구자들은 다음을 확인했다. 이러한 효과가 의학적 지식에도 일반화될 수 있으며, 스킬 학습에도 동일하게 적용될 수 있고, 관찰된 편익이 일반적으로 실험실 기반 실험에서 연구되는 것보다 훨씬 더 오래(최대 6개월) 지속될 수 있다는 것이다. 나아가, [발달 시험progress test]의 구현이 커리큘럼 수준에서 달성된 학습 성과에 어떻게 큰 영향을 미칠 수 있는지를 설명하기 위해 시험 강화 학습 프레임워크를 사용해 왔다.

In the relatively short period since the publication of Larsen et al.’s3 suggestion that medical education could benefit fromthe application of test-enhanced learning, researchers have confirmed that the effects do generalise to medical knowledge,10 that they are equally applicable to skills learning,11 and that the benefits observed may last much longer (up to 6 months) than is typically studied in laboratory-based experiments.12 Furthermore, the test-enhanced learning framework has been used to help elucidate how the implementation of progress testing is able to have a major impact on learning outcomes achieved at a curricular level.13 

 

그러나 시험 강화 학습이 실제로 연구 대상 자료의 [원시 기억력raw memorability]을 변화시켜 [직접적인 영향]을 미치는지, 또는 [학습 행동study behavior]을 변화시켜 (실제로 뉴블과 예거의 개념과 더 잘 부합하는 방식으로) [간접적인 영향]을 미치는지 여부는 여전히 불분명하며, 이것이 결과적으로 장기적인 성과로 이어진다.

  • 설명하자면, 시험의 간접적인 효과는 일반적으로 [전향적 현상prospective phenomena]으로 간주됩니다. 즉, 학생들은 시험을 기대하게 되고 그 결과, 시험을 준비하기 위해 학습 행동을 변화시킵니다.
  • 그러나 이러한 테스트 효과를 [후향적인retrospective 것]으로 볼 수도 있다. 즉, 학생들은 시험을 보았고, 그 결과 자료에 대해서 생각하고, 틀린 것에 대해 혼란스러워하고, 정답을 정확히 이해하는데 도움이 될 수 있는 정보를 찾찾으며 더 많은 시간을 자료를 가지고 보냈다.

It remains unclear, however, whether test-enhanced learning truly has a direct effect by altering the raw memorability of the material being studied, or whether it may actually have an indirect effect more compatible with the notions of Newble and Jaeger1 by altering study behaviour, which, in turn, leads to better long-term performance.

  • To explain, indirect effects of testing are usually thought of as prospective phenomena: students expect to be tested and, as a result, they alter their study behaviours in preparation for the test.
  • It is possible, however, that such testing effects may just as readily be retrospective: students have been tested and, as a result, they spend more time thinking about the material, puzzling over what they got wrong, and seeking information that might help them understand (or debate) the accuracy of the answer key.

즉, 시험 강화 학습은 [인출]에 의한 것인가 혹은 [리허설]에 의한 것인가?
In other words, is test-enhanced learning yielded by retrieval or by rehearsal? 

[리허설 가설]은 현존하는 데이터와 일치한다. 즉, 테스트의 이점이 나타나는 데는 시간이 걸린다. [지식의 생성]을 요구하는 시험(이런 시험은 종종 큰 인지 활동을 유도하며) 때때로 정답의 [인식을 요구하는 시험]보다 더 나은 학습 결과를 산출한다. 그리고 피드백이 너무 빨리 주어지면 해가 될 수 있다 (올바른 응답을 배우기 전에 수신자가 정보에 대해 고민할 필요성을 축소시키기 때문이다).
This rehearsal hypothesis is consistent with the extant data: the benefit of testing takes time to emerge; tests that require generation of knowledge (and, hence, sometimes induce greater cognitive activity) sometimes yield better learning outcomes than tests that require recognition of the correct answer, and feedback can be detrimental if it is given too soon (thus reducing the recipient’s need to puzzle over the information prior to learning the correct response).14 

시험 강화 학습이 발생할 수 있는 가능한 메커니즘을 구분한다고 해서 이 점을 초래한 작업의 중요성이 감소하거나 교육자가 시험을 교육학적인 개입으로 활용해야 한다는 제안의 정확성이 저하되는 것은 아니다. 그러나 테스트를 가장 효과적으로 사용하는 방법을 결정하려면 테스트에 영향을 미치는 방법을 이해하는 것이 중요합니다.
Differentiating between the possible mechanisms by which test-enhanced learning might occur does not reduce the importance of the work that has led to this point or decrease the accuracy of the suggestion that educators should utilise testing as a pedagogic intervention. It is important, however, that we understand the means by which testing has an effect if we are to determine how to use testing most effectively. 

그렇다고 위에서 설명한 표준 시험 강화 학습 패러다임을 사용하여 '인출' 가설과 '리허설' 가설을 분리하는 것은 어렵습니다. 왜냐하면 시험 학습의 영향이 측정되는 실험 세션과 최종 테스트 사이의 2일에서 6개월 지연 기간 동안 학생들의 사고 과정과 학습 활동을 정확히 통제하거나 포착하는 것은 어렵기 때문입니다. 
That said, it is difficult to tease apart the ‘retrieval’ and ‘rehearsal’ hypotheses using the standard test-enhanced learning paradigm described above because it is difficult to accurately control or capture the thought processes and learning activities of students during the 2-day to 6-month delay between the experimental session and the final test on which the impact of test-enhanced learning is measured.

테스트의 장점을 고려할 때, 이 정보를 측정하는 것은 [추가적인 인출 또는 리허설을 유도할 수 있기 때문에] 중립적인 exercise로 간주될 수 없다. 따라서, 우리는 우선 학생들이 시험을 보는 것에 대응하여 참여하는 자율적인 검토 관행과 그러한 관행에 영향을 미치는 변수들을 검토하는 중간 단계를 선택하였습니다.

Given the benefits of testing, measuring this information cannot be considered a neutral exercise as it may induce further retrieval or rehearsal. As a result, we have chosen to first take an intermediate step of examining the self-regulated review practices in which students engage in response to sitting a test and the variables that influence those practices. 

방법
METHODS


참여자
Participants


연구 샘플은 McMaster University MD 프로그램의 최종 학년 학생 코호트에서 모집했다. 참가 당시 피험자는 임상 사무직 교대를 완료했으며 졸업이 약 1개월 정도 남아 있었고 캐나다 의료 위원회 자격 검사(MCCQE) 파트 1(캐나다에서 의학을 수행하기 위한 면허 취득 과정의 일부를 구성하는 컴퓨터 기반 검사)을 시도하고 있었다. 
The study sample was recruited from the final-year cohort of students on the McMaster University MD programme. At the time of participation, subjects had completed their clinical clerkship rotations and were approximately 1 month away from graduation and attempting the Medical Council of Canada Qualifying Examination (MCCQE) Part 1 (a computer-based examination that constitutes part of the process for gaining a licence to practise medicine in Canada). 

연구자료
Materials

실험은 컴퓨터 기반 플랫폼(RunTime Revolution Version 2.8.0; RunTime Revolution Ltd, 영국 Edinburgh)을 사용하여 수행되었습니다. 모든 피험자가 하루에 세 번의 세션 중 한 번의 세션 동안 절차를 완료했습니다. 참가자들은 6가지 임상 분야(심장학, 내분비학, 위장내과, 산부인과, 신경과, 정신의학)에서 각각 10개의 객관식 질문에 대답하도록 요청받았다. 이 항목은 시험-재시험 신뢰도가 0.7 >이고 MCCQE 점수와 잘 연관되는 것으로 나타난 교육 내 평가에 사용되는 문항 은행으로부터 도출되었습니다.18 
The experiment was delivered using a computerbased platform (RunTime Revolution Version 2.8.0; RunTime Revolution Ltd, Edinburgh, UK). All subjects completed the procedure during one of three sessions held on a single day. Participants were asked to answer 10 multiple-choice questions from each of six clinical domains (cardiology, endocrinology, gastroenterology, obstetrics and gynaecology, neurology, psychiatry). The items were drawn from a bank of questions used for in-training assessment that has been shown to have test–retest reliability > 0.7 and to correlate well with MCCQE scores.18 


각각의 예는 표 1에 나와 있습니다. 항목 유형에 대한 분류 체계의 평가자간 신뢰성은 독립적인 독자(경험이 많은 내부 전문가)의 도움을 받아 확인되었습니다. 
An example of each is given in Table 1. The inter-rater reliability of the classification scheme for item type was confirmed with the assistance of an independent reader (an experienced internist). 

절차
Procedure

절차를 시작할 때 참가자들은 자신이 가장 자신 있다고 느끼는 도메인을 선택하라는 요청을 받았다. 그런 다음 해당 도메인 내에서 올바르게 답변할 수 있는 질문 수를 예측하라는 요청을 받았습니다. 다음으로, 참가자들은 그 도메인에서 한 번에 하나씩 10개의 질문을 랜덤 순서로 받았다. 오답에 대해 보정correction factor이 이뤄진다는 안내를 받고 상대적으로 자신 있는 문제만 시도하도록 했다. 질문지를 본 참가자들은 화면에서 해당 버튼을 클릭하여 항목을 시도attempt하거나 연기defer하도록 요청받았다. 
At the beginning of the procedure, participants were asked to select the domain about which they felt most confident. They were then asked to predict how many questions (out of 10) they would answer correctly within that domain. Next, participants were presented with 10 questions fromthat domain, one at a time, in random order. They were advised that a correction factor would be imposed for incorrect answers and instructed to attempt only questions for which they felt relatively confident of their response. Once they had seen the question stem, participants were asked to attempt or defer the item by clicking the corresponding button on the screen.

[화면에 문항줄기가 나타난 시간]과 시도 또는 연기 버튼 클릭 사이에 경과된 시간을 시도/연기 결정을 내리는 데 필요한 시간으로 기록했습니다.
The time that elapsed between the stem appearing on the screen and the clicking of the attempt or defer button was recorded as the time required to make the attempt ⁄ defer decision. 

참가자가 항목 시도를 선택한 경우, 네 가지 응답 옵션이 제공되고 가장 적합한 응답을 선택하라는 요청을 받았습니다. '제출' 버튼을 클릭하기 전에 경과된 시간이 응답 시간으로 기록되었습니다. 그런 다음 참가자들은 0과 100으로 고정된 시각적 아날로그 척도에서 응답에 대한 신뢰도를 평가하도록 요청받았다(0은 신뢰도가 없고 100은 총 신뢰도를 나타냄). 참가자들은 10개의 질문을 모두 본 후 나머지 모든 도메인에서 절차를 반복했다.

If participants chose to attempt the item, they were presented with four response options and asked to select the best response. The time that elapsed prior to the clicking of a ‘submit’ button was recorded as the answer time. Participants were then asked to rate their confidence in their response on a visual analogue scale anchored with 0 and 100 (0 indicating no confidence and 100 indicating total confidence). After seeing all 10 questions, participants repeated the procedure through all remaining domains.   

다음 단계에서는 처음에 이연deferred되었던 질문들을 다시 제시하였다. 참가자들은 더 이상 correction factor가 있지 않다는 것을 알게 되었다. 각 질문에 대해 최고의 응답을 제공하고 각 응답에 대한 신뢰도를 평가하도록 지시받았습니다. 모든 질문을 완료한 후 참가자들은 각 도메인에서 몇 개의 항목을 올바르게 답했는지 추정하고, 향후 각 도메인에서 10개의 질문을 더 시도할 경우 몇 개의 항목을 올바르게 답할 것인지 예측하라는 질문을 받았다.
In the next phase, the questions that had been initially deferred were presented again. Participants were informed that the correction factor was no longer in place. They were instructed to give their best response for each question and to rate their confidence in each response. When they had completed all questions, participants were asked to estimate how many items they had answered correctly in each domain and to predict how many they would answer correctly if they were to attempt another 10 questions from each domain in the future.

마지막으로, 응시자들이 시험 상황에 대응하여 참여하는 자율적인 검토 과정을 검토하기 위해, 참가자들은 방금 제시된 항목들을 검토할 수 있는 기회가 주어졌습니다. 정답을 강조하여 [일반적인 피드백]은 제공했지만, 학생들에게 자신의 답변을 다시 보여주지는 않았다. 참가자들은 각 항목을 검토하는 시간을 조절하고 시간을 기록했습니다. 검토를 완료한 후, 참가자들은 각 영역 내에서 최근에 완료한 성과와 향후 성과에 대한 추정치를 제시하도록 다시 요청받았다. 
Finally, to examine the self-regulated review process in which candidates engage in response to a test situation, participants were given an opportunity to review the items they had just been presented with. Generic feedback was given by highlighting the correct answers, but students were not reminded of their own responses. Participants controlled the length of time they spent reviewing each item and this time was recorded. After completing their review, participants were asked again to give estimates of the accuracy of their recently completed and future performance within each domain. 

분석
Analysis

평균 비교에 대한 효과 크기는 Cohen의 d = (평균 [1] - 평균[2]) / 표준 편차를 사용하여 계산되었습니다.
Effect sizes for comparisons of means were calculated using Cohen’s d = (mean[1] - mean[2]) ⁄ standard deviation.

자기조절적 검토 행동을 조사하기 위해 인구통계학적, 실험적, 반응 변수 간의 관계와 테스트 문제당 검토 시간의 결과를 조사하기 위해 다중 선형 회귀 분석과 분산 분석을 적용했습니다. Tabachnik과 Fidell의 19가지 엄격한 공선성 기준 < 0.10을 초과할 경우 다중 공선성을 검사하고 서로 밀접한 관련이 있는 변수를 분석에서 제거했다. 기존에 검토했던 문제를 학생들이 자유롭게 재방문할 수 있었던 만큼, 문제를 처음 검토했을 때 검토하는 시간과 총 검토 시간을 고려했다. 이 변수들 사이의 상관관계는 매우 높았고(r = 0.95) 따라서 총 검토 시간만 보고되었다. 

To investigate self-regulated review behaviours, multiple linear regression and ANOVA were applied to examine the relationships among demographic, experimental and response variables and the outcome of review time per test question. Multi-collinearity was examined and variables that were closely related to one another were removed from the analysis if Tabachnik and Fidell’s19 stringent criterion of tolerance < 0.10 was exceeded. As the students had been free to revisit questions previously reviewed, we considered the amount of time a question was reviewed the first time it was considered and the total amount of time the question was reviewed. The correlation between these variables was very high (r = 0.95) and thus only total review time is reported. 

윤리
Ethics


결과
RESULTS

참여자
Participants

연구 샘플은 McMaster MD 프로그램의 졸업생 67명으로 구성되었습니다. 40명(60%)은 여성이었다. 연구 표본의 중위수 연령은 25세(범위: 23~41세)였습니다. 이에 비해 클래스 코호트 전체(n = 149)도 60% 여성이고 중위수 연령은 25세(범위: 22~42)였습니다. 의학적 지식의 지표인 참가자의 진도 시험 점수는 학급 전체와 동등했다. 성별은 측정된 변수에 영향을 미치지 않았습니다. 
The study sample consisted of 67 individuals fromthe graduating class of the McMaster MD programme. Forty (60%) were female. The median age in the study sample was 25 years (range: 23–41 years). By comparison, the class cohort as a whole (n = 149) was also 60% female and its median age was 25 years (range: 22–42 years). Participants’ progress test scores, an indication of medical knowledge,18 were equivalent to those of the class as a whole. Gender had no effect on any of the measured variables. 

참가자 성과 및 자체 평가
Participant performance and self-assessment


자가 모니터링
Self-monitoring


학생들은 60개 항목 중 55개를 중간값으로 시도하기로 했다. 이런 높은 시도율에도 불구하고 미수품과 이연품목의 차이distrimination은 여전히 뚜렷했다. 짝지은 비교 분석을 허용하기 위해 모든 항목을 시도한 16명의 학생에 대한 데이터를 제외했을 때, 학생들은 지연된 항목(40%)에 비해 시도된 항목(71%)의 더 큰 비율에 대해 올바르게 답한 것으로 밝혀졌다(차이 = 31%, 95% 신뢰 구간 [CI] 24–38, 효과 크기 [ES] = 1.2, 쌍체 t-검정[50] = 8.8).; p < 0.001). 모든 아이템을 시도한 사람들의 평균 정확도는 72%였습니다. 항목 유형(사실 대 비넷 기반)은 이 변수에 영향을 주지 않았습니다. 
Students chose to attempt a median of 55 of 60 items. Despite this high attempt rate, discrimination between attempted and deferred items was still apparent. When data for the 16 students who attempted all items were excluded in order to permit a paired comparison analysis, students were found to have correctly answered a larger proportion of attempted items (71%) relative to those they deferred (40%) (difference = 31%, 95% confidence interval [CI] 24–38, effect size [ES] = 1.2, paired t-test[50] = 8.8; p < 0.001). The mean accuracy of those who attempted every item was 72%. Item type (fact versus vignette-based) had no effect on this variable. 

그림 1은 각 빈에 동일한 수의 관측치를 생성하기 위해 정의된 빈에 의사결정 시간을 묶어서 이러한 관계를 보여줍니다. 지연된 항목이 거의 없기 때문에 학생당 지연된 항목에 대한 관측치의 수는 작았습니다. 
Figure 1 illustrates these relationships by bundling decision time into bins defined to create equal numbers of observations in each bin. Because few items were deferred, the number of observations for deferred items per student was small. 

개별 항목에 대한 신뢰 등급은 0에서 100 사이였으며 중위수가 65이고 큰 피크가 50과 100인 바이모달 분포를 따랐습니다. 참가자들은 잘못 답한 항목(46.0)(차이 = 24.1, 95% CI 22–26, ES = 2.7, 쌍체 t-검정[66] = 22.3; p = 0.001)보다 자신이 답한 항목에 더 높은 평균 신뢰도를 부여했다. 
Confidence ratings for individual items ranged from 0 to 100 and followed a bimodal distribution with a median of 65 and large peaks at 50 and 100. Participants assigned higher mean confidence to items they answered correctly (70.1) than to items they answered incorrectly (46.0) (difference = 24.1, 95% CI 22–26, ES = 2.7, paired t-test[66] = 22.3; p < 0.001), which aligned well with their actual accuracy. 



자율규제 검토시간
Self-regulated review time


62명의 학생들이 절차의 검토 부분에 들어가기로 선택했다. 전체 정확도(68.3%)는 검토에 참여하지 않은 참가자 5명(68.0%)과 동일했다. 항목을 검토하는 데 소요된 시간은 문제당 0.0초에서 81.5초 사이였습니다. 
Sixty-two students chose to enter the review section of the procedure. Their overall accuracy (68.3%) was identical to that of the five participants who did not engage in review (68.0%). The time spent reviewing items was skewed and ranged from 0.0 to 81.5 seconds (median = 3.0 seconds) per question. 

자율 규제 검토 시간과의 연관성을 결정하기 위해 10개 변수를 다중 회귀 분석에 투입했다. 두 변수는 인구 통계학(성별, 연령), 두 변수는 실험(세션: 오전 또는 오후 대 저녁; 질문 유형: 사실 대 비녜트 기반) 및 6개 항목은 참가자의 응답 패턴(질문이 제시된 순서, 시도 또는 답변 연기 결정, 결정 시간, 시도 또는 연기 결정이 내려진 후 질문에 답변하는 시간, 주어진 답변의 정확성, 답변에 대한 신뢰)을 기준으로 측정되었습니다. 
Ten variables were submitted to a multiple regression analysis to determine their association with self-regulated review time:

  • two were demographic (Gender, Age);
  • two were experimental
    • (Session: Morning or Afternoon versus Evening;
    • Question type: Factual versus Vignette-based), and
  • six were measured based on the participants’ response pattern
    • (Order in which questions were presented;
    • Decision to attempt or defer responding;
    • Time to make that decision;
    • Time to answer the question once the decision to attempt or defer was made;
    • Accuracy of the answer given;
    • Confidence in the answer given).

 

전체 모형은 통계적으로 유의했지만 약한 연관도(r = 0.34, p = 0.001)를 보였습니다. 자기조절 검토 시간과 관련된 특정 변수는 다음과 같다.

  • 정확도(정답에 대한 평균 검토 시간 = 4.0초, 오답에 대한 평균 검토 시간 = 8.3초, 표준 베타 = ) 0.281, p = 0.001)
  • 의사결정 시간과 응답 시간(자율 규제 검토에 소요된 시간이 더 길었고, 표준화된 베타 = 각각 0.08과 0.11, 각 사례에서 p < 0.001).

The overall model was statistically significant, but showed weak degrees of association (r = 0.34, p < 0.001). The specific variables that were associated with self-regulated review time were

  • Accuracy (mean review time for correctly answered questions = 4.0 seconds, mean review time for incorrectly answered questions = 8.3 seconds; standardised beta = ) 0.281, p < 0.001),
  • Decision time and Answer time (longer times were associated with longer time spent inself-regulatedreview; standardisedbeta = 0.08 and 0.11, respectively, p < 0.001 in each instance).

Accuracy는 질문에 대한 응답을 시도하거나 연기하기로 한 결정과 밀접한 관련이 있는 것으로 밝혀졌기 때문에 반복 측정 양방향 분산 분석을 사용하여 Accuracy가 검토 시간에 미치는 영향을 추가로 조사했습니다. 
Because Accuracy was found to strongly relate to the Decision to attempt or defer responding to a question, we further explored the influence of Accuracy on review time using a repeated-measures two-way ANOVA. 

그림 2에서 알 수 있듯이, 각 정확도 수준 내에서 참가자들은 [시도 지연 의사결정과 정확도가 불일치하는 항목(즉, attempt하였지만 틀렸거나, defer하였지만 맞춘 문항)]을 검토하는 데 [이러한 변수가 일치한 항목(즉, 시도되고 정답이 맞거나 이연되고 오답이 나온 항목)보다] 더 오랜 시간을 소비했다. 
As Fig. 2 illustrates, within each level of accuracy, participants spent longer reviewing items for which the attempt ⁄ defer Decision and Accuracy were discordant (i.e. items that were attempted but answered incorrectly, or deferred but answered correctly), compared with items for which these variables were concordant (i.e. items that were attempted and answered correctly, or deferred and answered incorrectly).
  
[주어진 영역에서 검토 시간]을 [개인의 해당 영역에서의 강점strength]에 대한 일반적인 인식과 비교하기 위해 범주 내 항목의 평균을 구한 결과, 이 두 변수는 서로 무관한 것으로 밝혀졌다(r = ) 0.17 ~ 0.19; 중위 r = ) 0.01).
 Averaging across items within category to compare review time with individuals’ general perceptions of their strengths in a given domain revealed these two variables to be unrelated to one another (r = ) 0.17 to 0.19; median r = ) 0.01). 

고찰
DISCUSSION


시험 완료 후 의대생들 간의 자율 학습
Self-regulated learning among medical students post-test completion

의대생들이 방금 테스트한 항목을 검토(그리고 각 항목을 얼마나 오래 검토했는지 측정)할 수 있는 테스트 절차의 마지막에 기회를 포함함으로써, 우리는 비록 제한된 맥락에서 명확하게나마 학생들의 자기조절 학습 경향에 미치는 영향을 경험적으로 조사할 수 있었다. 학생들은 잘못 답한 문항에 대해 더 오랜 시간을 복습했으며, 더 흥미롭게도 검토 전략이 정확성과 기대치의 일치에 의해 조정되었음을 보여주었다. 정확도의 양측 모두에서(즉, 정답인 경우와 오답인 경우 모두) 내에서 학생들은 [자신이 잘못 판단한 문항]을 검토하는 데 더 많은 시간을 보냈습니다.
By including an opportunity at the end of the testing procedure for medical students to review the items on which they had just been tested (and measuring how long they reviewed each item), we were able to empirically examine influences on students’ self-regulated learning tendencies, albeit clearly in a circumscribed context. Students spent longer reviewing items they had answered incorrectly and, more interestingly, showed indications that their review strategies were moderated by the congruence between their accuracy and their expectations. Within both levels of accuracy (i.e. for correctly and incorrectly answered items), students spent more time reviewing items for which they had misjudged their knowledge.

즉, 학생들은 [시도하였고 정답을 맞춘 항목보다] [(정답을 제공할 수 있다고 생각했기 때문에) 자신이 답을 시도했지만 틀린 문항]에서 더 오랜 시간을 보냈습니다. 또한 이연하고 오답한 항목에 비해 이연했지만 정답이 아닌 항목을 검토하는 데 더 많은 시간을 할애했다. 더욱이 응답 여부를 결정하는 데 필요한 시간과 답변을 제공하는 데 필요한 시간은 모두 개별 항목을 검토하는 데 소요된 시간과 긍정적인 관련이 있었다. 
That is, students spent more time reviewing items they had attempted to answer (because they thought they could provide the correct answer) but had then answered incorrectly compared with items they had attempted and answered correctly. They also spent more time on reviewing items they had deferred but answered correctly, compared with items they had deferred and answered incorrectly. Furthermore, the amount of time required to decide whether or not to respond and the amount of time required to provide an answer were both positively related to the amount of time spent reviewing an individual item. 

일반적으로, 이러한 결과([i] 참가자의 신뢰도, [iii] 참가자의 인구통계, [iii] 질문 순서 및 유형, 세션 개최 시기 등)는 테스트 절차에 의해 제공된 데이터나 피드백이 참가자를 지시하는 데 지배적인 역할을 수행했음을 시사한다. 비록 이것이 정답correct response이 무엇인지 식별해주는 것에 불과했음에도 자기조절학습 행동을 directing한 것이다. 

In general, these findings (combined with the lack of influence of other variables including: [i] participants’ confidence; [ii] participants’ demographics; [iii] the order and type of questions, and [iv] when the session was held) suggest that the data or feedback provided by the testing procedure played a dominant role in directing participants’ self-regulated learning behaviour although it consisted solely of the identification of the correct response. 


성능 향상에서 자가 모니터링의 역할
The role of self-monitoring in performance improvement

Moulton 등.20은 전문가가 [자동 실행 모드]에서 공식적 판단을 적용할 수 있는 [노력적이고 분석적인 모드]로 전환하는 것을 나타내는 전문지식의 정의적 특징defining feature을 나타낸다고 주장했다. 그림 1은 참가자들이 항목에 정확하게 답변하는 데 필요한 지식을 보유하고 있는지 여부에 대해 의문을 가질 때 속도를 줄였다는 것을 보여준다. 이는 Moulton 등이 설명한 모델에서 '상황적에 반응적으로situationally responsive' 속도가 느려지는 것과 유사하다. 또한, 응답 시간과 정확성 사이의 관계는 Moulton et al.21에 의해 정의된 'When you should' 기준에 따르는 responsiveness에 잘 맞는다.
Moulton et al.20 have argued that ‘slowing down when one should’ represents a defining feature of expertise that indicates the expert shifting from an automatic mode of practice to an effortful and analytic mode that enables her to apply formal judgement. Figure 1 illustrates that participants did slow down when they had some doubt about whether or not they possessed the knowledge necessary to correctly answer the item; this is analogous to the ‘situationally responsive’ slowing down in the model described by Moulton et al.21 Further, the relationship between response time and accuracy indicates responsiveness in a manner that speaks to the ‘when you should’ criterion defined by Moulton et al.21 

이것은 Eva와 Regehr가 개발한 자가 모니터링 모델을 보건 직업의 맥락으로 확장하여 임상 영역에서 수행된 연구와 실험실 기반 유사체로 수행된 연구를 더욱 밀접하게 조정하는 최초의 통제된 연구이다. [면허 시험 준비의 일환으로 시험을 잘 치르도록 동기부여된 의대생 표본] 내에서 이전 작업을 복제한 연구에서, [자기 모니터링]은 [자기 평가]와 다르며, [자기 모니터링]이 더 정확한 심리 과정이라는 추가 증거를 제공합니다. (즉, 자기평가란 특정 영역에서 자신의 강점을 총괄적으로 판단하는 과정). 응답 대기 시간, 신뢰도 및 응답 정확도 사이의 강력한 관계에 대한 추가 증거는 광범위한 평가 문헌에 있습니다.
This is the first controlled study to extend the model of self-monitoring developed by Eva and Regehr15,16 to the health professions context, thus more closely aligning studies performed in the clinical domain and those conducted with laboratory-based analogues. The replication of that previous work within a sample of medical students who were motivated to perform well on the test as part of their preparation for licensing examinations provides further evidence that self-monitoring importantly differs from and is a more accurate psychological process than self-assessment (i.e. the process of making a summary judgement of one’s strength in a particular domain). Further evidence for a strong relationship between response latency, confidence and response accuracy resides in the broader assessment literature.22,23 

(여러 연구와 맥락에 걸친) 일관된 연구 결과와, [자기 모니터링 지표]가 합리적으로 안정적인 개인 차이를 제공하는 것으로 보이는 정도와, 여기서 관찰된 [자기 모니터링 지표]와 [자기조절적 검토 간의 관계]를 고려했을 때, [자기 모니터링]은 [자기조절 학습 및 성과 개선 모델]에서 중심적인 역할을 할 가치가 있음을 시사합니다. 이는 임상 전문의와 비임상 전문의 모두 도메인 수준에서 지식과 능력에 대한 전반적인 추정치를 도출하는 데 서툴다는 결론을 도출한 과거의 수십 건의 연구 결과와 대조되며, 이 연구에서 다시 한 번 확인되었다.

The consistency of the findings (across study and context), the extent to which the reported selfmonitoring indices appear to provide reasonably stable individual differences24 and the relationship observed here between the self-monitoring indices and self-regulated review suggest that self-monitoring deserves a central role in models of self-regulated learning and performance improvement. This is by contrast with the results of dozens of previously published experiments (replicated again in the present study) that have led to the conclusion that clinicians and non-clinicians alike are poor at generating overall estimates of their knowledge and ability at a domain level. 

바람직한 어려움 조성
Creating desirable difficulties

현존하는 문헌들은 [사람들이 가장 주의가 필요한 분야]를 파악하지 못하면, [최적의 학습 활동]을 파악하지 못하기 때문에, 자신의 학습을 direct하려는 노력이 종종 misdirected될 수 있음을 시사한다. 학습자가 종종 학습 활동의 가치를 잘못 판단한다는 주장을 뒷받침하는 경험적 발견은 [교육자의 역할이 학생들을 '바람직한 어려움'의 위치에 놓이게 하는 상황을 만드는 것]이라는 Bjork의 주장에 기초를 제공합니다. (즉, 학습자가 경험을 통해 자신의 한계를 발견할 수 있는 상황을 조성하여 학습자의 [실수를 유도하는 것]이다.)
The extant literature suggests that efforts to direct one’s own learning may often be misdirected as people’s failures to identify the areas most in need of attention lead to failures to identify optimal learning activities. Empirical findings supportive of the contention that learners often misjudge the value of learning activities provide the foundation for Bjork’s25 claim that the educator’s role is to create situations for students that place themin a position of ‘desirable difficulty’ (i.e. to induce mistakes by creating situations that enable learners to discover their limits through experience25,26). 


과다뇰리와 리가 제시한 [도전점 프레임워크challenge point framework]는 학습이 학습자의 역량의 가장자리edge에 있을 때 학습이 최적의 속도로 발생한다는 것을 시사한다.

  • 최적의 도전 지점 아래로 떨어지는 과제는 연습 중에 더 나은 성과를 낼 수 있지만 장기적으로 더 적은 학습으로 이어집니다.
  • 최적의 도전 지점 위에 있는 과제는 더 낮은 연습과 더 낮은 학습으로 이어집니다.  

The challenge point framework, put forward by Guadagnoli and Lee,27 suggests that learning occurs at an optimal rate when the difficulty of the task being practised lies at the edge of the learner’s competence.

  • Tasks that fall below the optimal challenge point will enable better performance during practice, but result in less learning in the long term;
  • tasks that lie above the optimal challenge point will result in both poorer practice and poorer learning.  




시험 강화 학습 이해
Understanding test-enhanced learning


우리는 이 연구에서, (시험을 완료하기보다는 단지 자료를 학습하도록 요청받았을 경우에), 수집된 데이터로는 [시험 자체에 의해 유발된 검토 시간]과 [학생들이 다양한 문제에 소비했을 검토 시간]을 직접 비교할 수 없음을 알아야 합니다.

  • 따라서 우리는 우리 결과가 서론에 요약된 [리허설 가설]을 뒷받침한다고 확실하게 말할 수 없다(즉, "시험이라는 행위가 있음으로써 (없을 때보다) 훨씬 더 많이 연습하거나 자료를 탐색하도록 촉진하기 때문에 테스트 강화 학습이 발생한다"고 말할 수 없다).
  • 그러나 그들은 일반적으로 받아들여지는 [인출 가설](즉, 검색 행위가 기억 추적을 직접적으로 강화하기 때문에 시험 강화 학습이 발생한다는 것)에 대한 대안을 제기한다.

We must note that the data collected in this study do not allow us to make a direct comparison between the amount of review time prompted by the test itself and the amount of review time students would have spent on the various questions had they been asked merely to study the material rather than to complete a test.

  • Therefore, we cannot say withcertainty that the results support the rehearsal hypothesis outlined in the introduction (i.e. that test-enhanced learning occurs because the act of testing prompts individuals to rehearse or explore material to a greater extent than they would do otherwise).
  • They do, however, raise an alternative to the commonly accepted retrieval hypothesis (i.e. that test-enhanced learning occurs because the act of retrieval directly strengthens the memory trace).

어떤 메커니즘이 정확한지(또는 둘 다 정확한지)에 관계없이 테스트는 유용한 교육학적 전략을 제공하는 것으로 볼 수 있습니다.
Regardless of which mechanismis accurate (or whether both are), testing can be seen as providing a useful pedagogic strategy.


결론
CONCLUSIONS

 

 

 


Med Educ. 2012 Mar;46(3):326-35.

 doi: 10.1111/j.1365-2923.2011.04150.x.

Influences on medical students' self-regulated learning after test completion

Sacha Agrawal 1Geoffrey R NormanKevin W Eva

Affiliations collapse

Affiliation

  • 1Department of Psychiatry and Behavioural Neurosciences, McMaster University, Hamilton, Ontario, Canada. agrawas@mcmaster.ca
  • PMID: 22324532
  • DOI: 10.1111/j.1365-2923.2011.04150.xAbstract
  • Context: The inadequacy of self-assessment as a mechanism to guide performance improvements has placed greater emphasis on the value of testing as a pedagogic strategy. The mechanism whereby testing influences learning is incompletely understood. This study was performed to examine which aspects of a testing experience most influence self-regulated learning behaviour among medical students.Results: Students correctly answered a larger proportion of attempted items than deferred items (71% versus 40%; p < 0.001), and indicated a higher mean confidence in responses to items they answered correctly compared with items they answered incorrectly (70 versus 46; p < 0.001). They spent longer reviewing items they had answered incorrectly than correctly (8.3 versus 4.0 seconds; p < 0.001), and paid particular attention to items for which the attempt/defer decision and accuracy were discordant (p < 0.01). The amount of time required to make a decision on whether or not to answer a test question was also related to reviewing time.
  • Conclusions: Medical students showed a robust ability to accurately and consciously self-monitor their likelihood of success on multiple-choice test items. By focusing their subsequent self-regulated learning on areas in which performance and self-monitoring judgements were misaligned, participants reinforced the importance of providing learners with opportunities to discover the limits of their ability and further elucidated the mechanism through which test-enhanced learning might be derived.
  • Methods: Sixty-seven medical students participated in a computer-based, multiple-choice test. Initially, participants were instructed to attempt only items for which they felt confident of their response. They were then asked to indicate their best responses to deferred items. Students were then given an opportunity to review the items, with correct responses indicated. Accuracy, the attempt/defer decision and the time taken to reach this decision were recorded, along with participants' ratings of their confidence in each response and the time spent reviewing each item on completion of the test.

마스터 적응적 학습자가 번창할 수 있는 특성과 맥락 탐색(Med Teach, 2018)

Exploring the characteristics and context that allow Master Adaptive Learners to thrive
William B. Cutrera , Holly G. Atkinsonb , Erica Friedmanb, Nicole Deiorioc , Larry D. Gruppend ,
Michael Dekhtyare and Martin Pusicf

 

 

도입

Introduction

환자에게 고품질 치료를 제공하려면 의료팀이 기존 문제를 올바르게 식별하고 적절한 치료법을 선택 및 구현하며 미래의 건강 문제를 해결하기 위한 효과적인 예방 조치를 적용해야 한다(Regehr 및 Mylopoulos 2008). 일반적으로 알려진 환자 문제에 직면할 때, 의사는 일반적으로 새롭게 솔루션을 개발하기보다는 이전에 사용한 솔루션을 사용한다. 반면, 새로운 과제가 제시될 때, 사전 해결책은 작동하지 않을 수 있다. 이 경우 임상의는 새로운 문제에 대한 사전 지식의 방향을 바꾸고, 문제를 해결하기 위한 새로운 학습을 통합하고, 새로운 솔루션을 혁신해야 한다. 전문성 문헌은 [일상적 전문성]과 [적응적 전문성]을 구분한다

  • [일상적 전문성]은 기존의 효과적이고 효율적인 솔루션을 문제에 적용하는 반면,
  • [적응적 전문성]은 새로운 과제가 발생할 때 새로운 솔루션을 배우거나 혁신하기 위해서 필요하다.

Providing high-quality care to patients requires healthcare teams to correctly identify existing problems, select and implement appropriate therapies, and apply effective preventive measures to address future health issues (Regehr and Mylopoulos 2008). When confronted with common known patient problems, physicians typically employ previously used solutions rather than developing de novo solutions. When presented with novel challenges, prior solutions may not work. Instead, clinicians are required to re-orient prior knowledge to the new problem; incorporate new learning to address the problem, and innovate a new solution. The expertise literature contrasts these scenarios by differentiating routine and adaptive expertise (Schwartz et al. 2005; Mylopoulos and Regehr 2011; Carbonell et al. 2014; Mylopoulos and Woods 2017; Hatano et al. 1986).

  • Routine expertise applies existing effective and efficient solutions to problems,
  • while adaptive expertise is needed to learn or innovate new solutions when novel challenges are encountered.

의사들은 고품질 치료를 제공하기 위해 전문지식의 이러한 보완적인 측면을 입증해야 한다. 의료 교육에서 적응형 전문성 개발에 집중해야 한다는 목소리가 높아지고 있다(Mylopoulos 및 Woods 2017; Mylopoulos et al. 2018). 적응형 전문지식의 개발을 촉진하는 의사 학습 모델을 만들기 위해, Cutrer 외 연구진(2016)은 자기 조절에 기초한 평생 학습에 대한 메타인지 접근 방식을 설명했다. [이론 기반 모델]은 학습자와 교육자를 위한 공유 정신 모델과 언어를 만들어 더 깊은 학습과 적응적 전문 지식 개발을 촉진한다. 

Practicing physicians must demonstrate these complementary aspects of expertise to provide high-quality care. Calls to focus on adaptive expertise development in medical education are increasing (Mylopoulos and Woods 2017; Mylopoulos et al. 2018). To produce a model for physician learning which facilitates the development of adaptive expertise, Cutrer et al. (2016) described a metacognitive approach to lifelong learning based on self-regulation. The theory-based model creates a shared mental model and language for learners and educators to facilitate deeper learning and the development of adaptive expertise. 

 

마스터 어댑티브 학습자 모델 개요
Master Adaptive Learner model overview

[마스터 적응 학습자 모델](Cutrer et al. 2016)은 [의사 학습의 단계]와 [자기 조절 학습(SRL) 이론]을 통합 학습 모델로 결합한다. 이는 퀄리티 향상의 PDSA 모델과 비슷하다. 효과적인 학습을 위해서는 네 가지 주요 단계가 필요합니다(그림 1 참조). 
The Master Adaptive Learner model (Cutrer et al. 2016) combines stages of physician learning (Moore 2007) with the cycle of self-regulated learning (SRL) theory (White and Gruppen 2010) into an integrated learning model that parallels the Plan-Do-Study-Act cycle of quality improvement (Taylor et al. 2014). Four key phases are required for effective learning (see Figure 1).

  • [계획 단계]에서 학습자는 먼저 자신의 지식, 기술 또는 태도의 차이를 식별합니다. 갭 식별은 놀라운 순간(Schön 1983) 또는 의도적인 데이터 분석을 통해 이루어질 수 있다. 학생의 경우 퍼포먼스 데이터에는 시험 결과, 임상 성과 평가 또는 임상 감독자의 피드백이 포함될 수 있다. 거주자와 개업의의 경우 개별 또는 환자 패널의 결과가 차이를 강조할 수 있다. 갭 식별 후 학습자는 학습 기회를 선택하고 리소스를 검색합니다.
  • [학습 단계]에서는 간격 반복 학습(Kerfoot et al. 2011), 자가 테스트(Karpicke and Blunt 2011), 개념 매핑(Pintoi 및 Zeitz 1997)과 같은 [효과적인 학습 전략]과 [학습자원의 비판적 평가]를 통합한다.
  • [평가 단계]정보에 입각한 자체 평가(Sargeant et al. 2010; Sargeant et al. 2011)와 외부 피드백을 결합한다. 이 단계의 학습자는 새로운 학습에 대한 이해와 적용 능력을 얻었는지 여부를 평가합니다.
  • [조정 단계]에서는 학습자가 새로운 학습을 변화시키는 관행에 통합합니다. 불행히도, 연구는 개업의들이 learning encounter를 기반으로 임상적 관행을 바꾸는 것을 어려워하고 있음을 일관되게 보여준다. 이러한 문제를 해결하기 위해 학습자는 새로운 이해의 적용에 관한 구현(즉, 변경 관리)과 명확성에 관한 기술을 개발해야 합니다.

 

  • In the Planning phase, the learner first identifies a gap in his own knowledge, skills, or attitudes. Gap identification can come as a moment of surprise (Schön 1983) or via deliberate data analysis. For students, performance data can include test results, clinical performance assessments, or feedback from clinical supervisors. For residents and practicing physicians, outcomes from individual or panels of patients can highlight gaps. Following gap identification, learners select an opportunity for learning and search for resources.
  • The Learning phase incorporates critical appraisal of resources and effective learning strategies, such as spaced repetitious learning (Kerfoot et al. 2011), self-testing (Karpicke and Blunt 2011), and concept mapping (Pintoi and Zeitz 1997).
  • The Assessing phase combines informed self-assessment (Sargeant et al. 2010; Sargeant et al. 2011) with external feedback. Learners in this phase evaluate whether they have gained understanding and the ability to apply new learning.
  • In the Adjusting phase, learners incorporate new learning into changing practice. Unfortunately, studies consistently show that practicing physicians struggle to change their clinical practice based on learning encounters (Regehr and Mylopoulos 2008). To combat this, learners must develop skills around implementation (i.e. change management) and clarity regarding application of the new understanding.

중요한 것은 이러한 단계가 각각 고립된 상태에서 작동하지 않는다는 점입니다. MAL 프로세스의 기능을 더 깊이 이해하기 위해서는 내부 학습자 특성과 상황적 요인을 추가로 탐구해야 한다.

Importantly, these steps do not function in isolation. To more deeply understand the function of the MAL process, the internal learner characteristics and contextual factors must be further explored.

 

개인 특성
Personal characteristics

 

호기심
Curiosity

피츠제럴드(1999)는 호기심을 "조사하고, 발견하고 싶은 충동"이라고 묘사했다. 호기심은 더 많은 것을 알고 이해하는 학습자의 내면적 욕구이다. 이는 학습자가 질문에 답하지 않고 학습 사이클로 진입하도록 유도합니다. 호기심을 보이는 학습자들은 "비판적적인 지적을 받아들일 가능성이 적고, 질문을 즐겨 하며, 자신의 질문과 불확실성을 공개적으로 드러낼 의지가 있다"(Deakin Crick 2007). 교육자와 연구자들은 호기심이 학습을 촉발하고 지적 발견, 문제 해결, 공감 응답, 자기 모니터링 및 평생 학습에 중요한 역할을 한다고 가정했다(Fitzgerald 1999; Sternszus et al. 2017).
Fitzgerald (1999) described curiosity as the “urge to investigate, to discover.” Curiosity is the internal desire of the learner to know and understand more. It drives the learner to enter the learning cycle rather than leave questions unanswered. Learners who demonstrate curiosity are “less likely to accept what they are told uncritically, enjoy asking questions, and are more willing to reveal their questions and uncertainties in public” (Deakin Crick 2007). Educators and researchers have postulated that curiosity triggers learning, playing a critical role in intellectual discovery, problem-solving, empathic responses, self-monitoring, and lifelong learning (Fitzgerald 1999; Sternszus et al. 2017).

지적 호기심은 두 가지 측면, 즉 [내재적이고 안정적인 기저점을 의미하는 특성 호기심]과 [가변적이고 상황에 따라 의존하는 상태 호기심]으로 구성된다(Sternszus et al. 2017). 리처드 외 연구진(2013)은 특성 호기심trait curiosity이 높은 의대생들이 암기에 의존하는 '표면' 학습 전략보다는 이해를 촉진하는 '딥(deep)' 학습 전략을 활용하는 경향을 보였다. 스턴츠저스 외 연구진(2017)은 의료 교육 경험에서 흔히 볼 수 있는 관행이 의도치 않게 호기심, 특히 상태 호기심state curiosity을 억제할 수 있다고 우려했다. 그러나, 이것은 완화될 수 있다: Dyche와 Epstein(2011)의 문헌 리뷰는 호기심과 관련된 마음의 습관이 "특정 증거 기반 교육 접근법"을 통해 뒷받침될 수 있다고 결론지었다.

Intellectual curiosity comprises two aspects, an inherent, stable baseline trait curiosity and a variable, context-dependent state curiosity (Sternszus et al. 2017). Richards et al. (2013) have shown that medical students with high levels of trait curiosity tend to utilize “deep” learning strategies that promote understanding rather than “surface” learning strategies that rely on memorization. Sternszus et al. (2017) expressed concern that common practices in the medical educational experience may inadvertently suppress curiosity, especially state curiosity. However, this can be mitigated: a literature review by Dyche and Epstein (2011) concluded that curiosity and related habits of mind can be supported through “specific, evidence-based instructional approaches.”

동기
Motivation

동기부여가 없다면, 학습자들은 학습 사이클을 시작하고 완료하는데 필요한 시간이나 에너지를 소비하지 않을 것이다. 교육 심리학에서 나온 여러 이론들은 학습자의 동기를 탐구하며 의학 교육에 적용된다(Kusurkar et al. 2012). 예를 들어 동기 부여의 자기결정론(SDT)은 내재적 동기 부여와 외적 동기 부여(Ryan과 Deci 2000)를 구별한다. 연구에 따르면 내재적 동기 부여는 딥 러닝, 향상된 학업 성과, 연구의 지속 및 웰빙과 관련이 있다(Kusurkar et al. 2011; 10 Cate et al. 2011; Kusurkar et al. 2011).
Without motivation, learners will not spend the time or energy necessary to enter in and complete the learning cycle. Multiple theories from educational psychology explore learner motivation and are applicable to medical education (Kusurkar et al. 2012). The Self-Determination Theory (SDT) of motivation, for example, distinguishes between intrinsic and extrinsic motivations (Ryan and Deci 2000). Studies have shown that intrinsic motivation is associated with deep learning, enhanced academic performance, continuation of studies, and well-being (Kusurkar et al. 2011; ten Cate et al. 2011; Kusurkar et al. 2011).

동기 부여는 학습을 촉진하는 데 있어 분명히 독립적인 변수이지만, 또한 종속변수가 될 수도 있다. 학습 환경(LE)은 동기를 향상시키는 데 중요한 역할을 할 수 있다(Kusurkar et al. 2011). 학생들의 내부 동기를 자극하기 위해 특별히 설계된 커리큘럼은 LE에 의해 생성된 결과에 강력하게 영향을 미칠 수 있다.

While motivation is clearly an independent variable in promoting learning, it can also be impacted. The learning environment (LE) can play an important role in enhancing motivation (Kusurkar et al. 2011). Curricula that are specifically designed to stimulate internal motivation in students can powerfully influence the outcomes produced by the LE.

마음가짐
Mindset

[마음가짐]은 [자신의 지능과 학습능력에 대한 믿음 패턴]으로 정의되어 왔다. Dweck(1986, 2006)는 자기 이론과 학습에 미치는 영향을 "고정 사고방식"과 "성장 사고방식"으로 구분한다.

  • [고정형 마음가짐]을 가진 사람들은 지능이나 재능과 같은 기본적인 자질은 고정관념이라고 믿는다. 그들은 재능만이 큰 노력 없이 성공을 창출한다고 믿는 경향이 있으므로 당황하거나 실패할까 봐 도전을 주저한다.
  • [성장형 마음가짐]을 가진 사람들은 헌신과 노력을 통해 그들의 능력을 개발할 수 있다고 믿는다. 성장 마인드를 가진 사람들은 도전을 수용하고, 중요한 피드백을 수용하며, 학습에 투자합니다.

Mindset has been defined as a belief pattern held about one’s own intelligence and capacity for learning. Dweck (1986, 2006) differentiates between self-theories and their impact on learning as the “fixed mindset” and “growth mindset.”

  • Individuals with fixed mindsets believe that basic qualities, such as intelligence or talents, are fixed traits. They tend to believe that talent alone creates success – without much effort – and are therefore hesitant to take on challenges for fear of embarrassment or failure.
  • In contrast, individuals with growth mindsets believe they can develop their abilities through dedication and hard work. Individuals with growth mindsets embrace challenges, accept critical feedback, and invest in learning.

연구는 학생들의 사고방식이 그들의 학업성취도 향상을 초래하는 표적 개입을 통해 변할 수 있다는 것을 보여준다(Blackwell et al. 2007). 또한, 의대 학생들이 성장 사고방식을 채택할 수 있도록 돕는 것이 학습 방식을 바꾸려고 시도하는 것보다 학업 성공을 위한 더 효과적인 방법이라는 것을 입증한다(Feely and Biggerstaff 2015).

Research shows that students’ mindsets can change through targeted interventions resulting in enhancements in their academic performance (Blackwell et al. 2007). Evidence also demonstrates that helping medical students adopt a growth mindset is a more effective route to their academic success than attempting to alter their learning styles (Feeley and Biggerstaff 2015).

회복탄력성
Resilience

[회복탄력성]은 "역경, 외상, 비극, 위협 또는 심지어 중요한 위협의 원천에 직면하여 잘 적응하는 과정"이다. 도전과 실패에도 견디고 더 강하게 성장하는 능력이다. 덕워스 외 연구진 (2007)는 유사한 구조를 설명했는데, 이를 "그릿"이라고 부른다. 회복탄력성은 개인마다 크게 다른 복잡한 다차원 구조이다. 스트레스에 대한 개인의 반응은 수많은 유전적, 발달적, 인지적, 심리적, 신경생물학적 위험과 보호 요인에 따라 달라진다(Southwick 및 Charney 2012).
Resilience is the “the process of adapting well in the face of adversity, trauma, tragedy, threats or even significant sources of threat” (American Psychological Association 2010). It is the ability to endure and grow stronger in the face of challenges and failures. Duckworth et al. (2007) have described a similar construct, which they call grit. Resilience is a complex multidimensional construct, which varies widely among individuals. An individual’s response to stress depends on numerous genetic, developmental, cognitive, psychological, and neurobiological risk and protective factors (Southwick and Charney 2012).

연구에 따르면, 특히 임상 학습 환경에서 회복탄력성은 의대생과 의사 웰빙의 중심 요소이다. 회복탄력성은 학습자가 도전적이고 스트레스를 받는 경우에도 학습 과정을 지속하고 계속할 수 있는 능력을 부여합니다.
Studies have identified resilience as a central element of medical student and physician well-being (Dunn et al. 2008; Dyrbye et al. 2010; Zwack and Schweitzer 2013), especially in clinical learning environments (Delany et al. 2015). Resilience gives learners the ability to persist and continue in the learning process, even when it becomes challenging and stressful.

회복탄력적인 학습자는 [스트레스에 대한 건강한 대응을 할 수 있는 역량을 강화하는 특정한 기술, 습관, 태도를 배양]하여 [최소한의 심리적, 신체적 비용]으로 목표를 달성한다. 여기에는 자아 인식, 명상, 자기 모니터링, 한계 설정 및 직장에서의 도전에 대한 건설적인 방법에 관여하는 능력이 포함된다(Epstein 및 Krasner 2013). 또한 가족 및 친구와의 관계 배양, 지속적인 직업 개발, 신체 운동, 영적 양육, 궁극적으로는 자신의 직업과 개인적 경계를 알고 받아들이는 등의 실천이 수반된다(Zwack and Schweitzer 2013). 그러므로, 회복탄력성은 교육과 연습을 통해 향상될 수 있습니다. 임상 환경에서 여기에는 환자 성공 사례의 개인적 성찰 또는 평가를 위한 보호 시간 창출이 포함될 수 있다.
Resilient learners cultivate specific skills, habits, and attitudes that enhance their capacity to have a healthy response to stress, achieving goals with minimal psychological and physical costs. This includes the capacity for self-awareness, mindfulness, self-monitoring, limit setting, and engaging in a constructive way to challenges at work (Epstein and Krasner 2013). It also entails establishing practices such as cultivating relationships with family and friends, continuous professional development, physical exercise, spiritual nurturance, and ultimately knowing and accepting one’s professional and personal boundaries (Zwack and Schweitzer 2013). Thus, resilience can be enhanced through education and practice. In the clinical setting, this could include creating protected times for personal reflection or appreciation of patient successes.

이러한 내부 특성 외에도, 외부 고려사항은 MAL 프로세스에서 학습자가 성공할 수 있는 능력에 영향을 미친다.

In addition to these internal characteristics, external considerations also impact the learner’s ability to thrive in the MAL process.

코칭
Coaching

학습을 보다 효과적으로 만드는 데 있어 중요한 역할 때문에 [코칭]은 MAL 모델에서 중요한 역할을 합니다. 적응형 전문성은 학습자에게 "명확한 부담"을 유발합니다(Mylopoulos 및 Regehr 2009). 학생들은 MAL이 되기 위해 필요한 것을 어떻게 명시적으로 이해하고 있는가? 코칭은 MAL 모델의 4단계 각각에 중요한 영향을 미칠 수 있습니다.
Because of its critical role in making learning more effective, coaching serves as the rheostat in the MAL model. Adaptive expertise creates a “clear burden” on learners (Mylopoulos and Regehr 2009), raising the question – how do students explicitly understand what is required to become a MAL? Coaching can have an important influence on each of the four stages in the MAL model.

Deiorio 외 연구진(2016)은 "교육 코치는 객관적 평가 검토를 통해 성과를 평가하고, 니즈를 파악하고 이를 달성하기 위한 계획을 수립하는 데 도움을 주며, 학습자가 책임감을 갖도록 지원함으로써, [학습자가 잠재력을 최대한 발휘]할 수 있도록 하기 위해 배정된 사람입니다. 코치는 학습자가 자기 모니터링을 개선할 수 있도록 지원하는 동시에, 코칭이 커리어 전반에 걸쳐 도움이 될 수 있다는 생각을 모델링합니다."
Deiorio et al. (2016) note, “An academic coach is a person assigned to facilitate learners achieving their fullest potential…by evaluating performance via review of objective assessments, assisting the learner to identify needs and create a plan to achieve these, and helping the learner to be accountable. Coaches help learners improve their self-monitoring, while modeling the idea that coaching will likely benefit them throughout their career.”

코칭은 피드백 프로세스에서 신뢰할 수 있는 [장기적 관계]의 중요성을 강조할 수 있습니다. 교육동맹은 코칭 모델과 잘 맞아떨어집니다. 교육동맹이란, "피드백 프로세스를 하나의 정보 전송이 아닌, [관련되는 진실되고 헌신적인 교육 관계 내에서 이루어지는 협상과 대화]로 재구성한다. 이는 다음을 포함한다.

  • 성능 및 표준에 대한 공유된 이해의 추구
  • 실행 계획에 대한 협상 협정, 
  • 목표에 도달하기 위한 협력
  • 실무에서 피드백을 사용할 수 있는 기회 공동 창출

Coaching can underscore the importance of a long-term, trusted relationship in the feedback process. The educational alliance aligns nicely with the coaching model, as it “…reframes the feedback process from one of information transmission to one of negotiation and dialogue occurring within an authentic and committed educational relationship that involves

  • seeking shared understanding of performance and standards,
  • negotiating agreement on action plans,
  • working together toward reaching the goals, and
  • co-creating opportunities to use feedback in practice” (Telio et al. 2015).

교육동맹은 MAL 사이클의 각 단계를 최적화할 수 있다.

This alliance can optimize each phase of the MAL cycle.

  • 계획 단계: 갭 식별에 대한 성찰을 자극하고 학습자에게 목표를 설정하도록 유도하며, 대화를 지속적으로 파악된 목표로 되돌림으로써 코칭은 계획 단계에 긍정적인 영향을 미칠 수 있습니다. 코치는 학습자가 목표 설정에 익숙하지 않은 상황에서 I-SMART와 같은 프레임워크를 사용하고, [목표의 퀄리티에 대한 피드백]을 제공함으로써 목표가 타당한지 확인할 수 있습니다(Lockspeaker et al. 2013). 코치는 또한 목표 달성에 대한 책무성을 제공할 수 있습니다.
    Planning phase: By stimulating reflection on gap identification, prompting the learner to set goals, and by continually bringing the conversation back to identified goals, coaching can positively influence the Planning phase. With learners new to goal-setting, coaches can ensure that the goals are reasonable by using a framework such as I-SMART and providing feedback on the quality of the goals (Lockspeiser et al. 2013). Coaches can also offer accountability in goal attainment.

 

  • 학습 단계: 코치는 학습이 [사실적 지식뿐만 아니라 의사 수행의 모든 영역을 포함하는] 평생의 습관이 되어야 한다는 생각을 모델링할 수 있다. 코치는 새로운 것을 배워야 했던 그들 자신의 경험에 대한 귀중한 개인적 일화를 제공할 수 있다. 또한 코치는 리소스를 추천하여 신뢰성을 제공하거나, 보다 적절한 학습 전략을 제안할 수 있습니다.
    Learning phase: Coaches can model the idea that learning should be a lifelong habit, including not just factual knowledge, but all domains of physician performance. Coaches may offer valuable personal anecdotes about their own experiences of needing to learn something new. Additionally, coaches may offer credibility in recommending resources or may suggest more appropriate learning strategies.

 

  • 평가 단계: 의사의 자가 진단 기술은 일반적으로 결함이 있다(Davis et al. 2006). 코칭 관계는 코치가 평가 데이터의 객관적인 신뢰할 수 있는 해석자 역할을 하면서 사용 가능한 데이터에 대한 습관적인 성찰을 장려하여 자체 평가를 개선할 수 있는 잠재력을 제공합니다. 이 과정은 종종 학습자 포트폴리오(Vander Vleuten et al. 2012; Spickard et al. 2016)의 도움을 받는다. 학습과 마찬가지로, 코치는 실천에 대한in practice 평가 데이터를 받는 것은 스스로 수행하는 피드백 탐색 행동(Crommelink 및 Anseel 2013)의 중요한 부가물이라고 긍정적으로 프레이밍할 수 있다. 
    Assessing phase: Physicians’ skills in self-assessment are generally flawed (Davis et al. 2006). The coaching relationship offers the potential to develop improved self-assessment by encouraging habitual reflection on available data, with coaches serving as objective trusted interpreters of assessment data. This process is often aided by learner portfolios (van der Vleuten et al. 2012; Spickard et al. 2016). As with learning, coaches can also positively frame that receiving assessment data in practice is a valuable adjunct to their own feedback seeking behavior (Crommelinck and Anseel 2013).

 

  • 조정 단계: 조정 단계는 특히 환경에 대한 제어력이 떨어지는 후배 학습자에게 어려울 수 있습니다. 코치는 동일한 보건 시스템 내에서 근무했떤 경험을 들려주고, 치료의 질과 환자 안전이 향상되는 메커니즘에 대한 개괄overview을 제공할 수 있다. 이러한 모습이 신뢰할 수 있는 공명판credible sound board의 역할을 할 수 있다.
    Adjusting phase: The Adjusting phase can be difficult, especially for junior learners who may feel little control over their environment. Coaches can serve as credible sounding boards for ideas as they may bring experiences of working within those same health systems, and offer an overview of the mechanisms by which quality of care and patient safety is improved.

따라서 MAL 사이클에서 4단계 모두에 영향을 미칠 수 있는 능력으로 코칭은 코치와 학습자 교육 제휴를 통해 긍정적인 상황적 요인을 제공한다. MAL 프로세스의 외부 상황에 관한 최종적인 고려사항은 학습환경LE이다.

Thus, with its ability to influence all four stages in the MAL cycle, coaching offers a positive contextual factor through the coach-learner educational alliance. The final major consideration regarding the external context for the MAL process is the LE.

 

학습환경
Learning environment

중요한 배경background 영향인 [학습 환경]은 보다 효과적인 학습을 촉진하는 긍정적인 학습 환경이 될 수 있고, 그렇지 않으면 부정적인 것이 될 수도 있다. LE는 설정마다 다른 모호한 정의와 표현으로 인해 어려움을 겪는 복잡한 구조를 나타낸다. 대부분의 저자들은 LE가 교육적 상호작용과 결과를 중심으로 하기 때문에 [본질적으로 심리사회적]이라는 데 동의한다
The learning environment, a critical background influence, can be either positive, fostering more effective learning, or negative, impeding effective learning. The LE represents a complex construct that suffers from ambiguous definition and manifestations that vary from one setting to another. Most authors concur that the LE is fundamentally psychosocial in nature because it centers around educational interactions and outcomes.

다양한 수준의 사회 시스템(Gruppen과 Stansfield 2016)에서 LE를 생각해 보는 것이 유용하다.

  • 기본적인 수준에서 [학습자 개인]은 학습 이력, 특성 및 기술이 모두 주어진 LE와 상호 작용에 영향을 미친다.
  • 다음 계층은 함께 일하고 배우는 [그룹 또는 팀]입니다.
  • [조직(예: 의대, 보건 시스템 등)]은 LE의 또 다른 측면을 구성하는 정책, 문화, 우선순위 및 자원을 가진 더 큰 entity내의 여러 그룹을 포함하고 있으며, 이는 로케일에 따라 다를 수 있다(스코켈라크 외 2016).
  • [지역 사회와 사회]는 LE의 표현을 위해 훨씬 더 넓은 문맥을 제공한다.

It is useful to think of the LE from different levels of social systems (Gruppen and Stansfield 2016).

  • At the foundational level is the individual learner, whose learning history, characteristics and skills all influence one’s interaction with a given LE.
  • Next in the hierarchy are groups or teams of individuals who are working and learning together.
  • Organizations (e.g. a medical school, a health system, etc.) include multiple groups within a larger entity that has policies, culture, priorities, and resources that constitute another aspect of the LE, which may differ based on locale (Skochelak et al. 2016).
  • Local communities and societies provide even broader contexts for the expression of LEs.

학습자와 환경의 인터페이스에서, 우리는 MAL과 LE가 상호작용하는 두 가지 방법을 검토할 수 있다. 개별 학습자에 초점을 맞춰, 우리는 [MAL 모델이 어떻게 불리하거나 도전적인 LE에 적응하거나 대처하는 데 도움이 되는지] 고려할 수 있다. MAL 프로세스의 구성요소는 예방접종적inoculating 또는 보호적protective 효과를 가질 수 있다. 이러한 보호 효과의 일부는 MAL 프로세스에 "에너지를 주는" (호기심, 동기부여, 사고방식, 회복탄력성 등의) 내면적 특성에서 발생할 수 있다. 이들 각각은 어려움 앞에서의 인내와 잠재적으로 어렵거나 부정적인 환경에서의 지속성을 촉진한다.

At the interface of the learner and the environment, we can examine two ways the MAL and the LE interact. Focusing on an individual learner, we can consider how the MAL model helps one adapt to or cope with a possible adverse or challenging LE. The components of the MAL process may have an inoculating or protective effect. Some of this protective effect may arise from the internal characteristics that “energize” the MAL process: curiosity, motivation, mindset, and resilience. Each of these promotes perseverance in the face of difficulties and persistence in a potentially difficult or negative environment.


MAL 프로세스 자체는 다양한 방법으로 (학습환경에 대한) 적응을 돕는다

  • MAL은 계획 단계에서 습득한 스킬을 통해 [환경과 관련된 지식과 기술 격차]를 파악하고 [해당 환경에서 실현 가능한 목표]를 수립할 수 있다. 
  • 마찬가지로, 학습 단계에서 습득한 스킬은 [특정 LE의 제약 조건에 더 적합한 학습 리소스와 전략을 식별]하는 데 사용될 수 있다. 학습환경에서 이용 가능한 피드백의 형태와 양은 MAL의 평가 단계에 큰 영향을 미칠 수 있다. 다음을 비교해보라
    • 자신의 성과 데이터를 지속적으로 수신하고 검토하는 교수진과 지속적으로 교직원으로부터 피드백을 제공받는 레지던트들
    • 격리된 상태에서 실습을 하는 교수진 의사들과 자신의 개발을 지도하기 위해 피드백을 전혀 받지 못했다고 보고하는 레지던트들
  • 전자의 학습환경LE에서 [평가 단계]가 학습자에게 훨씬 더 자연스럽고 효과적인 것으로 느껴집니다. 
  • 마찬가지로 [조정 단계]는 환경에 따라 달라질 수 있습니다. 이러한 각 단계에서 강한 MAL은 주어진 LE 내의 불리한 특징에도 불구하고 분석, 적응 및 학습에 더 잘 준비되어야 한다.

The MAL process, itself, aids in adaptation in various ways.

  • Skills acquired to support the Planning phase will enable the MAL to identify knowledge and skill gaps that are relevant to the environment as well as to frame goals that are viable in that environment.
  • Similarly, skills in the Learning phase can be used to help identify learning resources and strategies that are better fits to the constraints of a particular LE. The form and the amount of feedback available in the environment may have a major impact on the assessment phase of the MAL. Consider the contrasting impact on a medical student surrounded by
    • faculty who consistently receive and review their own performance data and residents who are consistently provided with feedback from faculty members,
    • in contrast to faculty physicians who practice in isolation and residents who report never receiving any feedback to guide their own development.
  • The Assessing phase will feel far more natural and impactful for the learner in the former LE.
  • Similarly, the Adjusting phase may take different forms, depending on the environment. A MAL who is strong in each of these phases should be better prepared to analyze, adapt, and learn, in spite of the adverse features within a given LE.

 

다양한 LE 간의 전환이 학습자를 위한 과제로 확인되었다(Dunham et al. 2017). 이러한 전환은 교실에서 진료소로, 의과대학에서 레지던시로, 한 교대조에서 다른 교대로의 것일 수도 있지만, 이 모든 전환은 [학습을 지원하는 방식으로 transition을 용이하게ease 하는 프로그램을 개발할 기회]이다. 그러한 개입의 정확한 세부 사항은 학습자, 학습 목표 및 커리큘럼을 반영해야 한다. 그러나 주요 구성요소에는 코치, 독립 학습을 위한 자원, 격차를 인정하는 안전한 환경에서 피드백 제공을 위한 시스템, 학습 커뮤니티와 같이 구현을 촉진하는 팀과 소셜 네트워크가 포함될 수 있다(Smith et al. 2016).

Transitions between various LEs have been identified as challenges for learners (Dunham et al. 2017). These transitions may be from classroom to clinic, from medical school to residency, from one rotation to another, but all are opportunities for developing programs to ease the transition in ways that support learning. The precise details of such interventions must reflect the learners, learning goals, and curriculum. However, key components could include coaches, resources for independent learning, systems for feedback provision in safe settings that acknowledge gaps, and teams and social networks that facilitate implementation, such as learning communities (Smith et al. 2016).

 


Med Teach. 2018 Aug;40(8):791-796.

 doi: 10.1080/0142159X.2018.1484560. Epub 2018 Jul 22.

Exploring the characteristics and context that allow Master Adaptive Learners to thrive

William B Cutrer 1Holly G Atkinson 2Erica Friedman 2Nicole Deiorio 3Larry D Gruppen 4Michael Dekhtyar 5Martin Pusic 6

Affiliations collapse

Affiliations

  • 1a Department of Pediatrics, Vanderbilt University School of Medicine , Nashville , TN , USA.
  • 2b CUNY School of Medicine , New York , NY , USA.
  • 3c Department of Emergency Medicine, Oregon Health and Science University , Portland , OR , USA.
  • 4d American Medical Association , Chicago , IL , USA.
  • 5e University of Michigan Medical School , Ann Arbor , MI , USA.
  • 6f NYU School of Medicine , New York , NY , USA.
  • PMID: 30033795
  • DOI: 10.1080/0142159X.2018.1484560Abstract
  • Because change is ubiquitous in healthcare, clinicians must constantly make adaptations to their practice to provide the highest quality care to patients. In a previous article, Cutrer et al. described a metacognitive approach to learning based on self-regulation, which facilitates the development of the Master Adaptive Learner (MAL). The MAL process helps individuals to cultivate and demonstrate adaptive expertise, allowing them to investigate new concepts (learn) and create new solutions (innovate). An individual's ability to learn in this manner is driven by several internal characteristics and is also impacted by numerous aspects of their context. In this article, the authors examine the important internal and contextual factors that can impede or foster Master Adaptive Learning.

능동적, 평생학습을 촉진하려면 맥락이 중요하다(Med Educ, 2018)

Context matters when striving to promote active and lifelong learning in medical education

Joris J Berkhout,1 Esther Helmich,2 PimWTeunissen,3,4 Cees PMvan der Vleuten3 & A Debbie C Jaarsma2





어디로 가야하지?

WHERE DO WE STAND?


30년 전, 에든버러 의대교육 선언문은 세계 의대교육연맹에 의해 발표되었다.1

Thirty years ago, The Edinburgh Declaration on Medical Education was published by the World Federation for Medical Education.1


에딘버러 선언문은 우리가 지금 어디에 서있고 어떻게 나아가야 할지에 대해 논한다. 여기서 초점을 둔 권고는 '지금 널리 보급된 튜토리얼 방법에서 자기주도적이고 독립적인 연구 및 자기주도적 방법을 강조하는 방향으로 전환함으로써 평생 학습의 연속성을 확보하라'이다..

This article discusses where we stand now and how we can proceed, focusing on one of the recommendations: ‘Ensure continuity of learning throughout life by shifting emphasis from the didactic methods so widespread now to self-directed and independent study as well as tutorial methods’.1


평생학습의 연속성을 확보하기 위해서는 능동적인 평생학습이 무엇인지, 그것이 수반되는 것이 무엇인지, 평생학습의 발전을 어떻게 육성할 수 있는지를 이해하는 것이 중요하다. 종종 사용되는 평생학습의 정의는 다음과 같다. 

지속적인 지지적 과정을 통한 인간의 잠재력 발달로서, 평생학습은 개개인이 삶을 살아나가며 필요로 할 지식, 가치, 기술 그리고 이해를 얻을 수 있도록 자극하고 힘을 준다empower. 또한 개개인은 그렇게 배운 것을 [모든 역할, 환경, 환경]에서 [자신감, 창조성, 그리고 즐거움]을 가지고 적용할 수 있을 것이다.

To ensure continuity in lifelong learning, it is important to understand what active lifelong learning is, what it entails, and how one can foster the development of lifelong learning. A definition often used to describe lifelong learning is: 

‘the development of human potential through a continuously supportive process which stimulates and empowers individuals to acquire the knowledge, values and skills and understanding they will require throughout their lifetimes and apply them with confidence, creativity, and enjoyment in all roles, circumstances, and environment.’2


평생학습자는 다양한 환경과 맥락에서 언제나 자신의 학습에 적극적으로 참여하는 것이 필수적이다.3 이는 평생학습이 상당부분 개인의 책임임을 시사하는 대목이다. 그러나 능동적인 평생학습이 오직 개인적이고 인지적이며 과정이라는 것을 의미하지는 않는다. 반대로 학습에 적극적으로 참여하는 것은 사람과 맥락에 모두 영향을 받는 과정이다.4

it is imperative for a lifelong learner to always actively engage in one’s own learning in different circumstances and contexts.3 This implies that lifelong learning is a great responsibility for the individual. However, it does not imply that active lifelong learning is a solely individual, cognitive, process. On the contrary, actively engaging in learning is a process influenced by both person and context.4


컨텍스트에서 학습

LEARNING IN CONTEXT


[인간이 경험으로부터 지식과 의미를 형성한다]는 의미를 지닌 학습에 관한 [구성주의적 이론]에 따라, 우리는 맥락을 다음과 같이 정의할 수 있다: 활동에서 발생하는 물체나 활동들 사이의 간헐적이고 관계적인 속성, 그리고 그 특징들이 역동적으로 정의되는 것. 따라서 맥락은 사람들이 어떤 맥락에서 하는 일, 맥락에서 사람들이 갖는 역할, 대인 관계, 그리고 학습자들이 배우는 물리적 맥락을 포함한다. 그 결과, 맥락은 정적이지 않으며, 유연하고, 창발적이며, 역동적이며, 변화하고, 개인에 의해 다르게 해석될 수 있다.7,8 이것은 서로 다른 맥락에 따라 학습자들이 능동적 학습에 매우 다른 방식으로 관여engage하게 되는 있는 이유이다. 학습자가 능동적인 학습에 어떻게 참여하느냐가 결국 다시 맥락에 영향을 미칠 것이다.9

Following a constructivist theory on learning, meaning that humans construct knowledge and meaning from their experiences, we can define context to be: an occasional, relational property between objects or activities that arises from activity and which features are defined dynamically.6 Therefore context includes what people do in a context, the roles that people have in a context, interpersonal relationships, and the physical context in which learners learn. This results in a context that is not static but rather flexible, emergent, dynamic and changing, and can be interpreted differently by individuals.7,8 This explains why learners in different contexts may engage in active learning very differently. How learners engage in active learning will in turn also effect their contexts.9


  • 예를 들어, 최근의 경험적 연구에서, 한 의대생은 임상 병동에서 유일한 학생이 되는 것이 어떻게 그의 능동적 학습에 도움이 되는지 설명했다. 왜냐하면 그것은 의도적으로 학습 기회를 선택할 자유가 생겼기 때문이다. 

  • 이와는 대조적으로, 다른 의대생은 병동에서 유일한 학생이 되는 경우, 다른 학생들과 대화할 수 있는 가능성이 없기 때문에 학습 기회를 제한받는다고 느꼈다.

For example, in a recent empirical study, one medical student explained how being the sole student in the context of a clinical ward was beneficial for his active learning because it allowed freedom in deliberately choosing learning opportunities. By contrast, another medical student felt that being the sole student on a ward limited her learning opportunities because there were no possibilities to talk to other students, which was one of her main strategies for learning in a clinical ward.7


의학교육에서 자기조절적 평생학습

SELF-REGULATED LIFELONG LEARNING IN MEDICAL EDUCATION


임상진료 전

Entry to practice


에든버러 선언 이후 30년 동안 우리는 학습자들이 교실 맥락에서 자신의 학습에 적극적으로 참여하도록 하는 방법에 대해 많은 것을 배웠다.10 이것의 대표적인 예는 학습을 자기 주도적, 상황적, 건설적, 협력적 과정으로 강조하는 문제 기반 학습(PBL)에 관한 방대한 양의 연구다.11–14

In the 30 years since the Edinburgh Declaration, we have learned a lot about how to facilitate learners to actively engage in their own learning in classroom contexts.10 A prime example of this is the vast amount of research regarding problem-based learning (PBL), which emphasises learning as being a self-directed, contextual, constructive and collaborative process.11–14


최근에는 팀 기반 학습(TBL)이 주목을 받고 있다. TBL에 관한 연구도 학생 스스로의 교육에 높은 참여도를 보이고 있으며, 소그룹과 대그룹 학습의 일정한 측면을 결합하고 있어 교직원의 시간이 적게 소요된다.16–19

More recently, team-based learning (TBL) has been gaining attention. Studies on TBL also show high student engagement in their own education, and it requires less time from faculty members as it combines certain aspects of small- and large-group learning.16–19


강의실 학습과는 대조적으로, 학습만을 목적으로 설계된 맥락이 아닌 곳(예컨대 임상현장)에서 평생학습을 위한 능동적 참여를 촉진하는 방법에 대해서는 거의 알려져 있지 않다.20,21 그러나 의학 교육의 주요 부분이 임상맥락 안에서 일어나고, 본질적으로 임상현장은 능동적 학습을 위해 만들어진 곳이 아니기 때문에 중요하다.또한,  임상맥락에서 평생 학습에 능동적으로 참여하려면 강의실과는 다른 학습 전략이 필요하다.

By contrast with classroom learning, little is known about how to facilitate active engagement in lifelong learning in contexts other than those dedicated to learning, for instance the clinical workplace.20,21 This is important because a major part of medical education happens within clinical contexts and those are not intrinsically suited for active learning.22 Additionally, active engagement in lifelong learning in clinical contexts requires modified learning strategies compared with classroom contexts.7


따라서 임상적 맥락은 환자 관리, 신체적 환경, 시니어 스태프 및 기타 의료 전문가의 감독, 학습자가 등록되고 동료가 참여하는 커리큘럼에 의해 형성된다.5

The clinical context is therefore also shaped by: the care of patients, physical settings, supervision from senior staff members and other health care professionals, the curriculum in which learners are enrolled and peers involved.5


Table 1 Key theories and definitions


성취목표이론76 Achievement goal theory76 


성취목표이론은 개인이 과제를 추구하는 목적이나 이유의 문제와 그들이 업무의 능력이나 성공을 평가하는 데 사용하는 기준이나 기준의 문제를 다룬다. '목표 지향goal orientation'이라는 용어는 성취목표가 단순한 목표나 보다 일반적인 목표가 아니라는 생각을 나타내기 위해 사용된다. 그보다는 '목표 지향'이라는 용어는 목적, 역량, 성공, 능력, 노력, 오류 및 표준에 관한 많은 관련 신념을 포함하는 과업task에 대한 일반적인 지향을 나타낸다.

Achievement goal theory addresses the issue of the purpose of or reason why an individual pursues a task as well as the standards or criteria they use to evaluate their competence or success in the task. The term ‘goal orientation’ is used to represent the idea that achievement goals are not just simple target goals or more general goals, but represent a general orientation to tasks that includes a number of related beliefs about purposes, competence, success, ability, effort, errors and standards.


Learning100에 대한 구성주의 이론 

Constructivist theory on learning100 


학습에 관한 구성주의 이론은 학습이 [주위 환경과 물리사회 세계와 상호작용하는 능동적 학습자]에 의한 [해석적, 재귀적, 비선형적 구성 과정]임을 시사한다. 그것은 단순히 생각의 구조와 단계를 특징짓거나 강화를 통해 배운 행동을 격리시키는 것이 아니라 구조, 언어, 활동 및 의미가 어떻게 생겨나는지를 기술한다.

Constructivist theories on learning suggest that learning is an interpretive, recursive, nonlinear building process by active learners interacting with their surroundings, and the physical and social world. It describes how structures, language, activity and meaning making come about, rather than simply characterising the structure and stages of thought, or isolating behaviours learned through reinforcement.


자기결정론

Self-determination theory71,72 


자기결정론(SDT)은 사람들이 외부의 영향력과 간섭 없이 무언가를 선택하는 동기와 관련이 있다. SDT는 개인의 행동이 자기 동기부여되고 자기 결정되는 정도에 초점을 맞춘다. 자기 결정에는 능력, 자율성, 심리적 관련성 등 세 가지 주요 본질적 욕구의 충족이 요구된다.

Self-determination theory (SDT) is concerned with the motivation behind choices people make without external influence and interference. SDT focuses on the degree to which an individual’s behaviour is self-motivated and self-determined. The fulfillment of three main intrinsic needs is required for self-determination: competence, autonomy and psychological relatedness.


자기조절학습

Self-regulated learning101,102 


자기조절학습은 학습자가 [정보 획득, 전문성 확대 및 자기 계발]을 목표로 자신의 행동을 [감시, 지시, 조절]하는 [자율성과 통제]를 강조한다. 자기조절적 학습자들은 자신의 학업적 강점과 약점을 알고 있으며, 학업적 과제의 일상적 과제를 해결하기 위해 적절히 적용하는 전략의 레퍼토리를 가지고 있다.

Self-regulated learning emphasises autonomy and control by a learner who monitors, directs and regulates actions toward goals of information acquisition, expanding expertise and self-improvement. Self-regulated learners are aware of their academic strengths and weaknesses, and they have a repertoire of strategies they appropriately apply to tackle the day-to-day challenges of academic tasks.


상황 학습

Situated learning44 


상황학습 이론은 [개인이 어떻게 전문적인 기술을 습득]하고 [어떻게 합법적인 주변부 참여가 어떻게 실천공동체의 구성원 자격에 이르게 하는지]를 설명한다. '학습과 그것이 일어나는 사회적 상황 사이의 관계를 중점적으로 다룬다.'

Situated learning theory describes how individuals acquire professional skills and how legitimate peripheral participation leads to membership in a community of practice. Situated learning ‘takes as its focus the relationship between learning and the social situation in which it occurs’.


근무지 어포던스

Workplace affordances65 


근무지 어포던스는 [직장에서 학습이 어떻게 진행되는지], [작업장이 어떻게 학습 기회를 제공하는지] 및 [개인이 어떻게 작업 활동에 참여하도록 elect 하는지] 등의 요소에 대한 것이다. 개인이 작업 활동에 참여하고 지원을 받을 수 있는 기회를 제공할 수 있는 readiness of the workplace는 작업장에서 학습의 질을 결정짓는 중요한 요인이다.

Workplace affordances identifies factors that shape how learning proceeds in workplaces, how workplaces afford opportunities for learning and how individuals elect to engage in work activities. The readiness of the workplace to afford opportunities for individuals to engage in work activities and access support is a key determinant of the quality of learning in workplaces.



자기조절학습

Self-regulated learning


SRL에 대해 광범위하게 사용되는 정의는 '자기조절학습은 원하는 성취 수준에 도달하기 위해 학습 경험 전반에 걸쳐 정서적, 인지적 및 행동적 프로세스를 변조하는 것이다'이다.34

A widely used definition of SRL, overarching separate but related theories, is that: ‘Self-regulated learning is the modulation of affective, cognitive and behavioral processes throughout a learning experience to reach a desired level of achievement’.34


SRL은 다음과 같이 분류할 수 있는 다양한 조절 프로세스로 구성되어있다.

    • 조절 에이전트(목표 설정), 

    • 조절 메커니즘(계획, 모니터링, 변형, 주의, 학습 전략, 지속성, 시간 관리, 환경 구조, 도움 추구, 동기 부여, 감정 제어 및 노력) 

    • 조절 평가(자기 평가, 귀속 및 자기 효과).34

SRL consists of various regulatory processes, which can be categorised as: 

    • regulatory agents (goal setting), 

    • regulatory mechanisms (planning, monitoring, metacognition, attention, learning strategies, persistence, time management, environmental structuring, help-seeking, motivation, emotion control and effort) and 

    • regulatory appraisals (self-evaluation, attributions and self-efficacy).34


전통적으로, 이것은 질서 있고 순환적인 인지 과정으로 이론화되었다.

it is helpful to use multiple theories to study active learning


그러나 SRL 연구에서의 최근 연구결과는 SRL 프로세스가 순전히 개별적인 것이 아니라 상황에 크게 의존하고 있기 때문에 SRL은 이와 같이 보아야 한다고 주장한다. (초창기의) SRL 이론은 [학습자가 스스로 많은 목표를 결정해야 하는 평생학습과는 달리] 학습자를 위해 어떤 목표가 이미 정해진 상황에서 비롯되었다.39 그러나 자기조절학습에 필요한 대부분의 기술 또한 효과적인 평생학습에 필수적이다. 

Traditionally, this was theorised as an orderly, cyclical (meta)cognitive process. However, recent findings in SRL research advocate that SRL processes are not purely individual, but also highly dependent on context and therefore SRL should be regarded as such.34–38 SRL theories originated from settings in which certain goals are set for the learner, by contrast with lifelong learning where learners must determine many goals themselves.39 However, the vast majority of skills required for self-regulated learning are also vital for effective lifelong learning.3,39,40


사용된 주요 이론은 표 1에 정의되고 요약된다.

The key theories used are defined and summarised in Table 1.


자기조절학습은 전통적으로 목표 설정에 의해 시작된 계획되고 질서 있고 순환적이며 (메타) 인지 과정으로 간주된다. 그러나 SRL(과정)의 일부는 기회적이며, 변화무쌍한 상황에 따라 달라질 수 있다.7 이것은 임상실습을 하는 있는 의대생들에게 있어서, 학생들이 자기조절하고 평생 학습에 참여하는 방법에 대한 스펙트럼이 있다는 것을 의미한다. 

    • 스펙트럼의 한쪽 끝에는 학습자가 스스로 설정한 목표에 의해 시작되는 전통적, 계획적, 순환적 자기조절 학습이 있다. 

    • 스펙트럼의 다른 쪽 끝에는 자신을 갑자기 등장한 학습 활동에 반응하여 시작되는 '반응형' 자기조절 평생학습이 있다.

Self-regulated learning is traditionally regarded as a planned, orderly, cyclical, (meta)cognitive process initiated by goal setting. However, part of SRL can be opportunistic and reactive to the ever-changing context it takes place in.7 This means that for medical students in a clerkship, there is a spectrum of how students engage themselves in self-regulated, lifelong learning. 

    • At one end of the spectrum there is traditional, planned, cyclical self-regulated learning, initiated by the goals of a learner. 

    • At the other end of the spectrum there is a reactive form of self-regulated, lifelong learning that is initiated by reacting to opportunistic learning activities that present themselves.


학습자가 자신의 학습을 어떻게 자율적으로 통제하는지에 영향을 미치는 가장 중요한 요소 중 하나는 다른 사람과의 관계다. 사회적 상호작용은 적어도 임상실습 수준의 의대생들에게 중요한 영향을 끼친다. 학생들의 SRL 전략은 질문을 하거나 피드백을 요청하거나 학습 목표를 논의하는 것을 매우 자주 포함하기 때문이다.

One of the most important elements influencing how learners self-regulate their learning is relationships with others7,8,22 Social interactions have, at least for medical students at the clerkship level, proved to be important influences because students’ SRL strategies very frequently involve asking questions, asking for feedback or discussing learning goals8,42


학생들이 자신의 SRL에 동원하는 사람은 소셜 네트워크에 의존하는데, 임상적 맥락에서 이 네트워크는 시간이 지남에 따라 확장되고 변화할 수 있다.8 임상적 맥락에 익숙하지 않은 학생들은 [사회적 자본이 상대적으로 제한적일 수 있고, 어떤 맥락에서는 자신의 역할에 대해 불안감을 느낄 수 있기 때문에] 소수의 사람만 SRL에 포함시킬involve 수 있다.43 이것은 그 학생들이 [자신의 학습 목표가 무엇이고, 그러한 목표를 달성하기 위해 사용할 수 있는 전략]에 대해 소수의 사람들과만 상호작용을 한다는 것을 의미한다. 그리고 이 학생들은 소수의 사람들로부터만 피드백을 수집하여 그들의 진행 상황을 성찰한다.

Who students involve in their SRL depends on their social network, and in a clinical context this network can expand and change over time.8 Students who are new to a clinical context may have relatively limited social capital and involve only a few people in their SRL because they can feel insecure about their role in a certain context.43 This means they only interact with a few people regarding what their learning goals could be and what strategies they could use to achieve those goals, and gather feedback from these few people to self-reflect on their progress.


반면에 더 경험이 많은 학생들은 종종 더 큰 사회적 네트워크를 가지고 있고, 따라서 한 사람이 그들의 SRL에 미치는 영향은 더 작다. 그러므로 더 경험이 많은 학생들은 최적의 학습 환경에서 더 회복력이 있으며 전환에 더 잘 대처할 수 있다.

More experienced students on the other hand often have a larger social network and therefore the influence a single person has on their SRL is smaller. More experienced students are therefore more resilient in suboptimal learning contexts and can better cope with transitions.


상황학습

Situated learning


사회적 관계가 임상맥락에서 의대생의 SRL에서 매우 중요한 이슈라는 것은 상황학습 개념을 사용하여 이해할 수도 있다. 이 개념은 학습자가 실천공동체에 합법적인 주변부 참여LPP를 통해 workplace에서 배우는 방법을 설명한다. 점차 의미 있는 활동을 시작함으로써 수련자들은 의사처럼 생각하고 행동하고 느끼는 법을 배운다. 이 과정 동안, 그들은 임상 실험 공동체의 완전한 구성원이 되고 일상 활동에 협력할 것이다.

That social relationships are such an important issue in medical students’ SRL in clinical contexts can also be understood using situated learning concepts.44,45 This notion describes how learners learn in the workplace through legitimate peripheral participation in a community of practice. By gradually taking up meaningful activities, trainees learn to think, act and feel like doctors. During this process, they will become full members of a clinical community of practice and collaborate in daily activities.46,47


임상맥락에 익숙하지 않은 학습자들은 적어도 부분적으로라도 자신의 전문적 정체성을 형성하는 과정에 있기 때문에 자신을 관리manage하기 위해 적극적으로 투쟁struggle하고 있다.48,49

Learners who are new to a clinical context are in an active struggle to manage themselves, at least partially, because they are in the process of constructing their professional identities in that context.48,49


학습자들은 미래의 의사처럼 생각하고 행동하고 느끼고, 학문과 좋은 의사가 되는 것이 무엇이라고 믿는지를 결정함으로써, 자신이 임상 공동체의 소중한 일원이라고 느껴야 한다. 따라서 학습자가 임상맥락에서 효과적인 SRL을 하도록 돕기 위해서는 [학습이 무엇이며] [임상적 맥락에서 효과적인 학습 전략이 무엇인지] 이해하도록 돕고, 학습자가 [자신이 어떤 종류의 전문적 정체성을 개발하고자 하는지]에 대한 명확한 생각을 만들어내는 데 도움을 주는 것으로 시작해야 한다.

Learners need to feel like a valuable member of a clinical community, by thinking, acting and feeling like a future doctor, and deciding what they believe it is to be an academic and a good doctor. Therefore, helping learners to engage in effective SRL in a clinical context begins with helping them to understand what learning is and what effective learning strategies are in a clinical context, and helping learners create a clear idea of what kind of professional identity they want to develop.


건설적인 학습 환경은 필수적이며, 학습자들은 전문직업적 사회화에 참여engage할 필요가 있으며, 사회적 상호작용을 용이하게 하기 위한 전문직업적 관계형성이 촉진될 필요가 있다. 전문적인 관계를 형성하려면 [시간]과 [환자 치료에 참여할 수 있는 기회]가 필요하다.22 따라서 우리는 학습자를 과 간에 너무 자주 로테이션시키지 않고, 안전한 학습 환경을 조성하여 그들이 특정한 맥락에서 전문적인 관계를 발전시킬 수 있도록 하는 것이 매우 중요하다고 제안한다.

a constructive learning climate is essential, and learners need to be engaged in professional socialisation, and the formation of professional relationships to facilitate social interactions needs to be stimulated.46,50,51 Forming professional relationships requires time and the possibility to participate in patient care.22 We suggest that it is therefore highly important to foster a safe learning environment, without rotating learners between departments too often, to enable them to develop professional relationships in a certain context.


따라서, 상황학습은 통합임상실습(LIC)에 대한 사례를 강화한다.

Situated learning therefore strengthens the case for longitudinally integrated clerkships (LICs),


LIC에 대한 연구는 또한 학생과 직원 간의 더 깊은 관계를 보고하고, 아이덴티티 개발 과정을 지원하고, 팀에 더 적극적으로 참여하며, 더 나은 학습 성과를 보여 주었다.

Research regarding LICs has also shown benefits in practice, reporting deeper relationships between students and staff, supporting the identity development process, more active involvement in a team, and better learning outcomes.52–56


학습자의 SRL 참여에 대한 통찰력을 얻기 위한 멘토링, 매핑, [SRL 마이크로 분석 프로토콜 사용] 등은 학습자의 요구에 대한 통찰력을 제공할 수 있으며, 이는 어려움을 겪고 있는 학습자에게 특히 중요하다. 이러한 지식을 활용하여 임상 학습의 시작부터 일반적으로 시간이 지남에 따라 지원이 감소(단일 사무직 내 및 커리큘럼 전반에 걸쳐)하는 형태의 co-regulated learning에 참여하는 것이 바람직할 것이다.

Mentoring, mapping and using microanalysis protocols to gain an insight into learners’ current engagement in SRL may provide insight into the needs of learners, which may prove to be especially important for learners who are struggling.57–63 Using this knowledge to engage in a form of co-regulated learning from the onset of clinical learning, with generally decreasing support over time (both within a single clerkship and throughout the curriculum), seems promising.37,64


근무지 어포던스

Workplace affordances


근무지 어포던스는 WP에서의 [참여 기회]와 [invitational한 특성]을 의미한다.65 근무지 어포던스는 학습자가 쉽게 이용할 수 있는 기회, 학습자가 기회를 창출할 수 있는 가능성, 교육 방식teaching practice을 포함한다.

Workplace affordances describe the engagement opportunities and invitational qualities of the workplace.65 Workplace affordances include readily available opportunities for learners, possibilities for a learner to create opportunities, and teaching practices.


근무지 어포던스의 측면에서, [기회]는 임상맥락에서 SRL에 중요한 영향을 미친다. [학습자 주체성agency]은 임상적 맥락에서 학습자의 [학습 기회]를 위해 중요하며, 다시 한 번 개인과 상황 사이의 상호작용을 강조한다. [학습자 주체성]은 학습 기회를 요구하거나, 자신을 옹호함advocate으로써 근무지 어포더스를 창출할 수 있다.

Similar to workplace affordances, opportunities are an important influence on SRL in a clinical context. learner agency is important for a learner’s learning opportunities in a clinical context, once again emphasising the interplay between individual and context.67 Learner agency can create workplace affordances by asking for learning opportunities or by advocating for yourself.67


근무지 어포던스는 [활동, 아티팩트, 도구, 목적, 목표, 절차, 가치 및 컨텍스트 규범과 상호작용하는 학습자]로부터 영향을 받는다.69 마찬가지로, [학습자에 의한 영향]은 학생의 SRL에 영향을 주기 위해 [임상적 맥락과 학생이 상호작용]하는 중요한 측면으로 입증되었다.

Workplace affordances are influenced by learners interacting with activities, artefacts, tools, aims, goals, procedures, values and norms of a context.69 Similarly, these influences proved to be important aspects of how a clinical context and students can interact to influence students’ SRL.4,7,37


자기결정

Self-determination


자율성을 서포트하게 되면 자기 결정과 내적 동기를 촉진할 수 있다. 자율성은 또한 임상적 맥락에서 SRL 참여에 영향을 미치는 주요 요소로서 많은 연구에서 학생들이 임상적 맥락에서 배우려면 임상 팀의 진정한 일원처럼 느껴져야 한다고 강조해 왔다. 이것들은 관계성과 자기효능감에 대한 궁극적인 요구가 드러난 것이라고 볼 수도 있다. 이처럼, 관계성에 대한 요구는 SRL 이론에서 설명한 적이 없지만, 자기결정 이론과 결합하면 이치에 맞는다.

supporting autonomy can foster self-determination and intrinsic motivation. Autonomy is also a major factor influencing engagement in SRL in a clinical context and many studies have highlighted that students need to feel like a true member of a clinical team to learn in a clinical context.9,22,47,54,73–75 These can be considered to be the appearances of an ultimate need for a feeling of relatedness and self-efficacy. Such a need for relatedness has never been described in SRL theories, but makes sense when combined with self-determination theory.


SRL과 마찬가지로 관계성은 맥락과 불가분의 관계에 있다. 왜냐하면 관계성을 느끼려면 다른 사람들이 존재해야 하기 때문이다. 그러므로 또한 자기결정론적인 관점에서 보면 적극적인 학습을 지원하는 데 있어서 맥락이 중요하다.

Just like SRL, relatedness is inextricably linked to context, because to have a sense of relatedness other people need to be present. Therefore, also from a self-determination theory viewpoint, context matters in supporting active learning.


성취목표

Achievement goals


성취 목표 이론은 학습자가 SRL에서 스스로 설정한 목표가 무엇인지에 대한 통찰력을 제공한다. [학습자가 특정한 목표를 위해 일work 하기로 결정한 이유는 무엇일지], [왜 학습자가 커리큘럼의 목표보다는 자신의 목표를 추구함으로써 더 나은 결과를 기대할 수 있는지]를 이해하는 데 도움이 되기 때문이다.

Achievement goal theory gives insight into what goals learners set for themselves in SRL, because it helps in understanding why learners may decide to work on specific goals and why they may expect better results from pursuing some of their own goals, rather than those of a curriculum.76,77


학습 지향적인 목표는 탁월함을 달성하는 것을 목표로 한다

Learning-oriented goals aim for achieving excellence. 


성과 지향적 목표는 이론마다 다르게 분류되지만, 일반적으로

    • 좋은 인상을 주는 것을 목표로 한다(목표 지향성, 성과 접근 목표 지향성). 

    • 무능한 것처럼 보이지 않도록 하는 것을 목표로 한다(목표 지향, 성과 회피 지향). 

    • 수행의 동기가 내면적일 수도 있고(상대 능력 목표 지향) 

    • 수행의 동기가 외부적일 수도 있고(외부 목표 지향).

Performance-oriented goals are classified differently in various theories, but generally can 

    • aim to make a good impression (proving goal orientation; performance-approach goal orientation), 

    • aim to avoid looking incompetent (avoiding goal orientation; performance-avoid orientation), 

    • be intrinsically driven to perform (relative ability goal orientation) 

    • or extrinsically driven to perform (extrinsic goal orientation).76–81


    • 학습 지향적인 목표를 지향하는 학습자들은 가장 적응적인 학습 행동, 더 높은 자기 규제, 더 높은 자기 효율 그리고 더 나은 성과를 보여주었다. 

    • 상대적 능력 목표를 설정한 학습자들은 또한 적응적 학습 행동, 높은 자기 규제, 높은 자기 효율 그리고 좋은 성과를 보여준다. 

    • 부적 목표를 가진 학습자들은 부적응 학습 행동, 낮은 자기 규제, 낮은 자기 효율, 낮은 성과를 보여주었다.81

    • Learners aiming for learning- oriented goals showed most adaptive learning behaviour, higher self-regulation, higher self-efficacy and better performance. 

    • Learners who set relative ability goals also show adaptive learning behaviour, high self-regulation, high self-efficacy and good performance. 

    • Learners with extrinsic goals showed maladaptive learning behaviour, low self-regulation, low self-efficacy and lower performance.81


학습자가 다른 사람보다 열등하게 보이는 것을 두려워하고 지속적으로 자신을 증명해야 하는 것을 두려워하게 되면 후속 SRL과 능동적인 학습 결과에 해가 될 수 있기 때문에 여기서 다시 한번 사회적 관계가 중요할 수 있다.

social relationships once again may be key here because having learners be afraid to appear inferior to others and continuously having to prove themselves, is likely to be detrimental for subsequent SRL and active learning outcomes.82


직업훈련 단계

Vocational training phase


직업훈련에서 능동적인 평생학습 지원법을 연구하는 문헌이 학부 의대교육에 비해 풍부하지는 않지만, 능동적 교육방법이 의사의 수행과 환자의 건강을 바꾸는 데 효과적이라는 증거는 확실히 있다.

Even though the literature studying how to support active lifelong learning in vocational training is less abundant than for undergraduate medical education, there is certainly evidence that active educational methods are effective in changing doctors’ performance and patients’ health.84


임상적 맥락에서 전공의의 능동적 학습에 대한 여러 연구는 의대생들과 마찬가지로 능력과 자율성을 기르기 위해 학습 기회를 비계화하는 것의 중요성을 강조해왔다. 다른 연구들도 유사한 결과를 보여준다.

    • 임상적 맥락에서 전공의의 능동적 학습이 계획적 학습과 사후 대응적 학습 모두에 따라 어떻게 변화하는지

    • 다른 사람(예: 환자)의 질문이 능동적 학습에서 어떻게 목표 설정을 위한 강력한 동기 부여자가 되는지

    • 개별화된 학습 계획이 능동적 학습을 지원하는 어떻게 도움이 되는지

Multiple studies on residents’ active learning in clinical contexts have highlighted the importance of scaffolding their learning opportunities to foster their feelings of competence and autonomy, similar to medical students.91,92 Other studies have shown additional similarities, such as 

    • how residents’ active learning in clinical contexts also varies to include both planned and reactive learning,93 

    • how questions of others (such as the patient) may be strong motivators for goal setting in active learning,94 and 

    • how individualised learning plans may be helpful to support active learning.94


이 학습을 가이드하기 위하여, 직업 훈련 커리큘럼은 평생 학습 활동을 계획하기 위해 역량 프레임워크를 자주 사용해 왔다.95 그러나 직업 훈련의 학습자들은 이에 고군분투하는 것으로 알려져 있다. 직업훈련의 학습자들은 자기조절 평생학습이 얼마나 값진지를 이해하면서도 자신의 학습을 관리할 수 있는 기술이 부족함을 경험했으며, 전통적인 교사 중심의 접근법을 더욱 중시할 것이라고 보고했다. 이렇게 되는 이유는 학부 교육의 상당 부분이 교사 중심일 가능성이 높고 학습자들이 이에 따라 자신의 학습 전략을 조정했기 때문이라고 이해할 수 있다. 또한, 학습자들은 환자 관리와 학습이 서로 상충하는 목표라고 느낄 수 있다.96

To guide this learning, vocational training curricula have often been using competency frameworks to plan lifelong learning activities.95 However, learners in vocational training are known to struggle with this.96,97 Learners in vocational training reported understanding how valuable self-regulated lifelong learning is, but experienced a lack of skills to manage their own learning, and would value more traditional teacher-centred approaches.96 This is understandable because much of their undergraduate education was likely to be teacher centered and learners have adjusted their own learning strategies to this. Additionally, learners may feel that patient care and learning are competing priorities.96


그러나 보다 최근의 연구들은 학부 교육과정에서 보다 적극적이고, 자율적이며, 학습자 중심적으로 만들기 위한 노력들이 대학원 학습에도 영향을 미치고 있다는 것을 보여준다.

However, more recent studies indicate that the efforts to make undergraduate medical education more active, self-regulated and learner centred are also having an effect on postgraduate learning.


직업훈련의 가장 최근의 혁신 중 하나는 위탁 가능한 직업활동(EPA)의 도입이었다. EPA는 '교육자가 충분한 특정 역량을 획득한 후 감독되지 않은 수행에 맡길 업무나 책임으로 정의되는 전문적 실천요강 단위'이다.99

One of the most recent innovations in vocational training has been the introduction of entrustable professional activities (EPAs). EPAs are ‘units of professional practice, defined as tasks or responsibilities to be entrusted to the unsupervised execution by a trainee once he or she has attained sufficient specific competence’.99


EPA는 좀 더 유연하고 개별화된 커리큘럼을 달성하는 것을 목표로 하고 있으며, 또한 연습생에게 위탁할 수 있고 능력 있는 것으로 입증된 특정 직무에 대한 모든 책임을 부여할 수 있다. 자기결정 이론의 관점에서 보면, EPA의 시행은 competence 와 autonomy를 키울 수 있기 때문에 적극적인 학습을 향상시킬 가능성이 있다.

EPAs aim to achieve a more flexible, individualised curriculum, but also allow for granting trainees full responsibility for specific tasks they have proven to be entrustable and competent in.70 From a self-determination theory point-of-view, the implementation of EPAs is also likely to improve active learning as it may nourish feelings of competence and autonomy.


CPD 단계

Continuing professional development


임상적 맥락에서 의사들의 적극적인 평생 학습을 촉진하는 방법을 이해하기 위해 특별히 목표로 한 연구는 거의 없다.

There is very little research that has specifically been aimed towards understanding how to facilitate doctors’ active lifelong learning in clinical contexts.


지속적인 전문성 개발에서 능동적인 평생 학습이 더 많은 연구를 필요로 하는 분야로 남아있지만, 이용할 수 있는 제한된 증거는 그것이 여전히 임상적 맥락에서 훈련 중인 학습자들과 크게 다르지 않을 수 있다고 우리를 믿게 한다.

Even though active lifelong learning in continuing professional development remains an area that requires further study, the limited evidence available leads us to believe it may not be very different from learners still in training in a clinical context.


결론

CONCLUSION


의학 교육은 '지금 널리 퍼져 있는 교육적 방법에서 자습적 방법뿐만 아니라 자기주도적이고 독립적인 연구로 강조점을 전환함으로써 평생 학습의 연속성을 강화하는' 데 있어서 엄청난 진전을 이루었다.

Medical education has made tremendous progress in ‘ensuring continuity of learning throughout life by shifting emphasis from the didactic methods so widespread now to self-directed and independent study as well as tutorial methods’.1


임상적 맥락(학부 학습, 직업 훈련 및 지속적인 프로페셔널 개발 포함)에서 능동적 학습에 관한 연구에서 반복적으로 발생하는 한 가지 문제는 능동적 및 평생적 학습에 대한 사회적 상호작용이 얼마나 유익한가 하는 점이며, [연습생과 전문가 간의 학습]에 대한 논의가 촉진되어야 할 것이다.

One issue that repeatedly arises from studies regarding active learning in clinical contexts, including undergraduate learning, vocational training and continuing professional development, is how beneficial social interaction is for active and lifelong learning, and that discussions about learning between trainees and professionals should be stimulated.


1 World Federation for Medical Education. The Edinburgh declaration. Med Educ 1988;22 (5):481–2.


5 Ellaway RH, Bates J. Exploring patterns and pattern languages of medical education. Med Educ 2015;49 (12):1189–96.


7 Berkhout JJ, Helmich E, Teunissen PW, van den Berg JW, van der Vleuten CPM, Jaarsma ADC. Exploring the factors influencing clinical students’ self-regulated learning. Med Educ 2015;49 (6):589– 600.


8 Berkhout JJ, Helmich E, Teunissen PW, van der Vleuten CPM, Jaarsma ADC. How clinical medical students perceive others to influence their self- regulated learning. Med Educ 2017;51 (3):269–79.


58 Patel R, Sandars J, Carr S. Clinical diagnostic decision-making in real life contexts: a trans- theoretical approach for teaching: AMEE Guide No. 95. Med Teach 2015;37 (3):211–27.


59 Patel R, Tarrant C, Bonas S, Yates J, Sandars J. The struggling student: a thematic analysis from the self- regulated learning perspective. Med Educ 2015;49 (4):417–26.






, 52 (1), 34-44
 

Context Matters When Striving to Promote Active and Lifelong Learning in Medical Education

Affiliations 

Affiliations

  • 1Center for Evidence-Based Education, Academic Medical Center (AMC-UvA), University of Amsterdam, Amsterdam, The Netherlands.
  • 2Center for Research and Innovation in Medical Education, University Medical Center Groningen, University of Groningen, Groningen, The Netherlands.
  • 3Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands.
  • 4Department of Obstetrics and Gynecology, VU University Medical Center, VU University Amsterdam, Amsterdam, The Netherlands.

Abstract

WHERE DO WE STAND NOW?: In the 30 years that have passed since The Edinburgh Declaration on Medical Education, we have made tremendous progress in research on fostering 'self-directed and independent study' as propagated in this declaration, of which one prime example is research carried out on problem-based learning. However, a large portion of medical education happens outside of classrooms, in authentic clinical contexts. Therefore, this article discusses recent developments in research regarding fostering active learning in clinical contexts.

Self-regulated, lifelong learning in medical education: Clinical contexts are much more complex and flexible than classrooms, and therefore require a modified approach when fostering active learning. Recent efforts have been increasingly focused on understanding the more complex subject of supporting active learning in clinical contexts. One way of doing this is by using theory regarding self-regulated learning (SRL), as well as situated learning, workplace affordances, self-determination theory and achievement goal theory. Combining these different perspectives provides a holistic view of active learning in clinical contexts. ENTRY TO PRACTICE, VOCATIONAL TRAINING AND CONTINUING PROFESSIONAL DEVELOPMENT: Research on SRL in clinical contexts has mostly focused on the undergraduate setting, showing that active learning in clinical contexts requires not only proficiency in metacognition and SRL, but also in reactive, opportunistic learning. These studies have also made us aware of the large influence one's social environment has on SRL, the importance of professional relationships for learners, and the role of identity development in learning in clinical contexts. Additionally, research regarding postgraduate lifelong learning also highlights the importance of learners interacting about learning in clinical contexts, as well as the difficulties that clinical contexts may pose for lifelong learning. However, stimulating self-regulated learning in undergraduate medical education may also make postgraduate lifelong learning easier for learners in clinical contexts.

마스터 적응적 학습자의 발달 촉진: 의학교육에서 스킬 습득의 개념적 모델(Acad Med, 2017)

Fostering the Development of Master Adaptive Learners: A Conceptual Model to Guide Skill Acquisition in Medical Education

William B. Cutrer, MD, MEd, Bonnie Miller, MD, Martin V. Pusic, MD, PhD, George Mejicano, MD, MS, Rajesh S. Mangrulkar, MD, Larry D. Gruppen, PhD, Richard E. Hawkins, MD, Susan E. Skochelak, MD, MPH, and Donald E. Moore Jr, PhD





빠르게 변화하는 의료 제공의 맥락은 사람들이 일상 생활과 직장에서 성공하기 위해 [한 순간에 알고 있는 것]과 [다음 순간에 알아야 할 것] 사이의 지속적인 "지식과 기술 격차gap"를 만들어 내고 있다. 이러한 상황은 임상의가 일상적인 업무에서 효율적으로 기능할 수 있는 전문지식을 개발해야 함과 동시에 새로운 업무workplace 문제에 대한 해결책을 만들어야 함을 요구한다.2

The rapidly changing context of health care delivery is creating an ongoing “knowledge and skills gap” between what people know at one moment and what they will need to know at the next moment in order to be successful in their everyday lives and the workplace.1 These circumstances require clinicians to develop the expertise to function efficiently on everyday tasks, but also to create solutions for novel workplace challenges.2


의료 전문가를 위한 적응형 전문 지식

Adaptive Expertise for the Health Professions


임상의의 일상에서 가장 두드러진 일은 문제 해결이다.3–5 대부분의 경우 임상의는 문제를 직접 해결하는 데 필요한 지식과 기술을 보유하게 된다. 그러나 임상적 의사결정이 문제를 다루기 위해 새로운 학습과 혁신적인 해결책을 필요로 할 때가 있을 것이다. 이러한 상황을 설명하기 위한 노력의 일환으로 학자들은 [일상적 전문성]과 [적응적 전문성] 사이의 차이점을 도출해냈다.6,7

The predominant work of clinicians in their daily practice is problem solving.3–5 In most cases, clinicians will possess the necessary knowledge and skills to address problems directly. There will be times, however, when clinical decision making will require new learning and innovative solutions to deal with problems. In an effort to explain these circumstances, scholars have drawn on the difference between routine and adaptive expertise.6,7


[일상적 전문성]은 고도로 효율적이고 정확해질 정도로 퍼포먼스를 숙달하고, 시간이 흐르면서 전문가가 배운 구체적인 지식과 기술을 끌어내는 것을 포함한다. 반복을 통해(이상적으로 피드백과 함께) 퍼포먼스는 점점 자동화되고, 드레퓌스 형제의 개념화에서 마스터mastery 단계에 있는 전문가의 특성을 반영한 속도와 정확성이 특징이다.9

Routine expertise involves mastering performance to the extent that it becomes highly efficient and accurate, drawing on the specific knowledge and skills that an expert has learned over time. With repetition (ideally with feedback8), performance becomes increasingly automatic and is characterized by speed and accuracy reflecting the traits of an expert at the mastery stage in the Dreyfus brothers’ conceptualization of expertise.9


[적응적 전문성]은 다르다. 그것은 [일상적인 전문지식의 효율성]과 [많은 노력이 드는 학습과 혁신적인 문제 해결]의 균형을 추구한다. 임상의사가 "일상적" 접근방식이 잘 작동하지 않는다는 것을 인식하고, 새로운 개념(학습)을 탐구하고 새로운 해결책(혁신)을 발명할 수 있는 방식으로 문제를 재구성할 때 [적응적 전문성]을 발휘하고 있다고 볼 수 있다.

Adaptive expertise is different. It seeks to balance the efficiency of routine expertise with more effortful learning and innovative problem solving.2,7 A clinician is using the skills of adaptive expertise when she recognizes that a “routine” approach is not working optimally and reframes the problem in a way that allows her to explore new concepts (learn) and invent new solutions (innovate).


두 가지 유형의 전문지식을 모두 입증할 수 있는 의료진은 문제 해결의 [효율성]과 [혁신성]의 균형을 맞추는 "최적 적응성 경로" 내에서 작업할 수 있는 능력을 개발했다(그림 1 참조).

Clinicians able to demonstrate both types of expertise have developed the capability to work within an “optimal adaptability corridor,” where they balance the efficiency and innovative dimensions of problem solving10 (see Figure 1).



[적응적 전문성]은 개인이 실천 과제에 대응하여 학습하고 혁신하는 이상적 모습에 기초한다. 보고서는 많은 임상의가 실제로 효과적으로 학습하지 않기 때문에 적응적 전문성을 갖추기 어려울 수 있다고 제안한다.11,12 (적응적 전문성이 결여된) 임상의사는 "미래 학습을 위한 준비가 되어 있지 않기 때문에 실제로 효과적으로 배우고 있지 않을 수 있다"11,12 미래 학습을 위한 준비(PFL)는 [실천에 필요한 학습과 문제해결을 위하여 새로운 정보를 학습하고, 효과적으로 자원을 활용하고, 새로운 프로시져를 발명할 수 있는 능력]을 의미한다.

Adaptive expertise is based on the ideal that individuals will learn and innovate in response to practice challenges. Reports have suggested that many clinicians may not be learning effectively in practice, making it difficult to employ adaptive expertise.11,12 These clinicians may not be learning effectively in practice because they have not been “prepared for future learning.”11,12 Preparation for future learning (PFL) is described as the capacity to learn new information, make effective use of resources, and invent new procedures to support learning and problem solving in practice.10


적응적 전문성은 다음을 요구한다.

(1) 실천에 대한 개방적 성찰 

(2) 장기기억에 저장된 일상적인 전문지식 스키마가 작동하지 않는다는 것을 인지하는 메타추론 기술, 

(3) 현재의 가정과 신념에 도전하는 비판적 사고 

(4) 문제 공간을 재구성하는 능력.6

Adaptive expertise requires 

  • (1) an openness to reflecting on practice, 

  • (2) meta-reasoning skills to recognize that routine expertise schema stored in long-term memory will not work, 

  • (3) critical thinking to challenge current assumptions and beliefs, and 

  • (4) the ability to reconstruct the problem space.6


PFL은 임상의가 새로운 문제에 대한 혁신적인 해결책을 개발하는 데 도움이 되도록 [기본적인 과학과 임상 원리가 담겨있는] 캡슐화된 지식에 접근할 수 있도록 한다. 이런 식으로, 그들은 임상적 문제 해결의 효율성(일상적 전문성)과 혁신적(적응적 전문성)의 균형을 맞추면서 "최적응성 통로" 내에서 효과적으로 기능할 수 있다.

PFL enables clinicians to access encapsulated knowledge that contains basic science and clinical principles that help them develop innovative solutions to challenging novel problems.13–15 In this way, they can function effectively within the “optimal adaptability corridor,” balancing the efficiency (routine expertise) and innovative (adaptive expertise) dimensions of clinical problem solving.


마스터 어댑티브 학습자—A 개념 모델

The Master Adaptive Learner—A Conceptual Model


우리는 설계, 학습, 평가 및 조정의 4가지 일반적인 단계를 가진 실제 학습에 마스터 어댑티브 학습자가 사용할 통합 프로세스를 제안한다.17 마스터 어댑티브 학습자 프로세스의 주요 구성 요소(계획, 학습, 평가, 조정)는 그림 2의 중심에 있는 4상 기어로 표현된다.

We propose an integrated process that a Master Adaptive Learner would use to learn in practice which has four general phases: Planning, Learning, Assessing, and Adjusting.17 The major components of the Master Adaptive Learner process (Planning, Learning, Assessing, Adjusting) are represented by four phase gears in the center of Figure 2.


도표는 과정이 정해진 단계, 순차적 진행을 따른다는 것을 나타내지만, 사실 이 과정은 (문제가 해결되고 새로운 질문이 등장함에 따라) 4단계 사이에서 왔다갔다하며, 훨씬 반복적이다.

While the diagram suggests that the process follows a lockstep, sequential progression, the process is much more iterative, moving among the four phases as issues are resolved and new questions emerge.




계획 단계

Planning phase


계획 단계에는 세 가지 단계(격차gap 파악, 학습 기회 선택, 학습 자원 탐색)가 통합되어 있다.

The Planning phase incorporates three stages (identifying a gap; selecting an opportunity for learning; and searching for resources for learning).


초기 단계에서, 무엇이 되어야 하는지와 무엇이 되어야 할 것/가능해야 할 것 사이의 차이를 식별하면서, 학습자는 자신의 실천에서 "(무언가) 잘못 되어가고 있다"는 것을 인식하게 되고, 혁신적인 해결책이 요구된다. 이러한 인식은 숄이 "놀라움"이라고 불렀던 것의 결과일 수 있다.30 [외부 피드백]과 [공식적인 수행능력 리뷰]도 다양한 단계에서 학습자의 격차gap를 강조할 수 있다. Gap을 인식하고 생각하게 되면, 인지적 불협화음이 생기고, 학습자는 불편함을 줄이기 위한 해결책을 찾으려고 시도하게 된다.

In the initial stage, identifying a gap between what is and what should/could be, the learner becomes aware that something in her practice is “not right,” requiring an innovative solution. This awareness could be the result of what Schön called a “surprise,” a sudden intuitive realization.30 External feedback and formal performance review can also highlight gaps for learners at multiple levels. Recognition and thinking about the gap produces a feeling of cognitive dissonance that causes the learner to search for a solution to reduce the feeling of discomfort.31


개인이 불협화음이 자신의 지식부족과 관련이 있다고 판단하면, 그녀는 불편함을 줄일 학습 활동을 모색하기 쉽다. 이 단계에서 일어나는 일을 묘사하는 또 다른 방법은 "교육가능한 순간"을 인식했다고 지칭하는 것이다. "교육가능한 순간"은 학습자가 학습에 대해 심리적 준비가 가장 잘 되어있는 시간으로 정의된다.34

When an individual determines that the dissonance is related to her knowledge deficits, she is likely to search for learning activities that will reduce the discomfort.31–33 Another way to describe what happens during this stage is to say that a “teachable moment” is recognized. A teachable moment is defined as the time when a learner’s psychological readiness for learning is highest.34


"교육가능한 순간"이 얼마나 강력하고 오래 유지되는지가 개개인이 [배움을 통해서 gap을 해결하고 다음 단계로 나아갈지 여부]를 결정할 것이다. 35 나아가, 개인이 학습과 학습의 결과가 직접적이고, 성취하기 쉬우며, 환자의 최선의 이익에 부합한다고 느낀다면, 학습자는 배움을 추구할 가능성이 더 높다.36

The strength and persistence of the teachable moment will determine whether an individual will consider learning as a way to address it and move to the next stage: searching for resources for learning.35 Furthermore, if the individual perceives learning and the results of learning to be straightforward, easy to achieve, and in the best interest of her patients, she would be more likely to pursue learning.36


능숙한 질문기술은 특정 문제에 집중하는 것뿐만 아니라 관찰한 것을 비판적으로 질문할 수 있는 능력도 포함한다. 적응 학습자 마스터는 주어진 상황에 대하여 "무엇을" "어떻게" "왜"를 이해하고자 하는 여러 가지 관점에서 상황을 호기롭게 검토하는 습관을 들이고 있다.

Skillful questioning includes both the ability to critically question observations as well as focus on specific issues. A Master Adaptive Learner makes a habit of inquisitively examining a situation from multiple perspectives seeking to understand the “what,” “how,” and “why” of the given situation.


우선순위 정하기는 개인이 학습기회를 선택하고 계획하는 것을 돕는 중요한 기술이다. 환자 치료와 관련된 모든 격차를 해소하는 것은 가치 있는 목표지만, 모든 목표를 달성하는 것은 실현 가능하지는 않다. 마스터 적응 학습자는 (다음 네 가지의 taxnomomy를 바탕으로) 계획 단계에서 식별된 gap의 우선순위를 정하고, 노력effort과 이득benefit이 부합하는 쪽으로 결정을 내릴 수 있다.

Prioritization is a crucial skill for helping individuals select and plan an opportunity for learning. Addressing all gaps related to patient care is a worthy goal, but not feasible. A Master Adaptive Learner could consider this taxonomy as a way of prioritizing identified gaps during the Planning phase to help make decisions about matching benefit with effort.


    • 적응accommodation은 주어진 항생제에 대한 투약 요법을 변경하는 것과 같은 작고 단순한 변화다.

    • Accommodations are small, simple changes such as changing the dosing regimen for a given antibiotic.

    • 조정adjustment은 선택된 환자 집단에 대해 새로운 인공호흡기 모드를 채택하는 등 더 많은 시간과 노력이 필요한 소규모에서 중간 크기의 변화다.

    • Adjustments are small- to moderate-size changes that require more time and effort to make, such as adopting a new ventilator mode for a select patient population.

    • 방향수정redirection은 의료진이 적절한 예방접종을 위해 당뇨병 환자를 검진하는 방식을 개편하는 등 의료행위에 대한 상당히 큰 수정이 필요하다.

    • Redirections require significantly larger alterations to a practice, such as restructuring the way clinic staff screen diabetic patients for appropriate vaccinations.

    • 변혁은 종종 개방적인 수술적 접근방식에서 골절 절제술을 위한 복강경 접근방식으로 변경하는 것과 같이 연습의 많은 요소들의 구조 조정과 재정의를 필요로 하는 크고 복잡한 변화들이다.

    • Transformations are large, complex changes that often require restructuring and redefinition of many elements of a practice, such as changing from an open operative approach to a laparoscopic approach for cholecystectomy.


목표 설정은 계획 및 자기 조절 학습의 중요한 부분이다.17 목표를 설정하는 것은 개인에게 학습에 대한 명시적이고 의도적인 초점을 제공한다. 특정한 목표를 갖는 것은 개인이 이용할 수 있는 모든 다양한 방향과 내용에 압도당하지 않고 배울 수 있게 해줄 것이다.

Goal setting is an important part of planning and self-regulating learning.17 Setting goals provides individuals with an explicit and intentional focus for learning. Having a specific goal will allow the individual to learn without becoming overwhelmed with all of the different directions and content that might be available.


일단 목표나 학습목표가 만들어지면, 다음 단계는 학습자원의 식별이다. 학습 자원은 이러한 목표를 달성하는 데 필요한 사실, 원칙 및 경험을 임상의사에게 제공하는 인적 및 물질적 자원을 포함한다.37 의사는 보통 친숙하고 접근성이 뛰어나며 임상적으로 목적적합하며 시간적으로 효율적인 학습 자원을 선호한다.38

Once a goal or set of learning goals has been created, the next stage is identification of learning resources. Learning resources include human and material resources that provide clinicians with the facts, principles, and experiences necessary to achieve these goals.37 Physicians prefer learning resources that are familiar, accessible, clinically relevant, and time-efficient.38


검색은 단순히 문헌을 검색하는 능력 이상이다. 공식적, 비공식적 및 부수적 학습 기회에 대한 광범위한 고려와 발견을 포함한다. 다시 말하지만, 인지적 불협화음의 힘과 지속성이 개인이 학습을 추구하고 지속할지 여부 뿐만 아니라 학습 자원을 얼마나 힘을 들여 검색할지를 결정할 것이다.35

Searching includes more than the ability to search the literature. It also includes the broader consideration and discovery of formal, informal, and incidental learning opportunities. Again, the strength and persistence of the feelings of cognitive dissonance will determine how strongly an individual will search for learning resources as well as pursue and persist in learning.35


학습 단계

Learning phase


학습 단계는 학습자가 자신이 파악한 지식, 기술 또는 태도의 차이gap을 해소시켜줄 [새로운 이해를 내재화하기 위해 씨름하는 집중적인 기간]이다. 전체 과정 동안, 그녀는 프로세스를 시작한 불협화음을 줄이기 위해 가장 효과적이라고 생각하는 자원들의 조합을 관리한다.39

the Learning phase is a period of intense focus in which she wrestles with internalizing her new understandings that address her identified gap in knowledge, skill, or attitude. During the entire process, she manages the combination of resources that she finds most effective to reduce the dissonance that started the process.39


지식 격차를 해소하기 위해서는 근거에 기반하여 학습 자원을 선택하는 것이 중요하다. 다른 학습출처를 비판적으로 평가할 수 있는 것은 이 학습 단계에서 필수적인 기술이다.40

It is important that the selected learning resources addressing the knowledge gap are based on evidence. Being able to critically appraise different sources is an essential skill at this stage of learning.40


학습 단계 동안, 학습자는 비효율적인 학습 전략을 사용하지 않아야 할 것이다. 다시 읽기, 강조 표시 및 밑줄 긋기 또는 주입과 같은 학습 전략은 비효율적이다.

during the Learning phase, the individual will have to guard against using ineffective learning strategies. Learning strategies such as re-reading, highlighting and underlining, or cramming


적응 학습자 마스터는 지식 검색 연습, 간격 반복 학습, 교정, 정교화 및 개념 인터리빙과 같은 보다 효과적인 전략을 채택해야 한다.414444

Master Adaptive Learners should employ more effective strategies, such as knowledge retrieval practice, spaced repetitious learning, calibration, elaboration, and concept interleaving.41–44


평가단계

Assessing phase


평가 단계에서, 학습자는 자신이 배우고 있는 것을 시험해 볼 것이다. 그녀는 새로운 지식, 기술, 또는 태도를 이용하여 당면한 문제 해결을 시도하고, 그렇게 함으로써 그 효과가 어떤지에 대한 의견을 형성하기 시작한다. 이 판단에 기초하여 배운 것을 받아들이거나 거부하기로 결정한다. 학습자는 연습 환경에서 '실험'해나가면서, 외부적인 시각으로 배운 것의 이점을 확인한다.

During the Assessing phase, the individual will try out what she is learning. She begins to use the new knowledge, skills, or attitudes to address the initial challenge and, in doing so, begins to form an opinion about its effectiveness. She then decides to accept or reject it. She experiments in the practice setting while confirming the benefits of what she has learned with external perspectives.


이 단계는 개인이 [자신의 새로운 능력에 불편함을 느끼는 것]에서 시작되지만, 점차 여러 단계를 거쳐감에 따라 학습자는 더욱 자신감 있고 능숙해진다.46,47 새롭게 배운 기술과 지식에 충분히 편안해지고, 이것이 제2의 본성nature이 되기 시작하면 이 단계가 끝난다.

This phase begins with the individual being uncomfortable with her new capabilities, but as she progresses through the phase, she becomes more confident and skillful.46,47 The stage ends when she is sufficiently comfortable with the newly learned skills and knowledge and they start to become second nature.


자기평가는 평가 단계에서 중요한 기술이다. 여러 근거에 따르면 의료연수생과 임상의의 지도되지 않은 자기평가가 정확하지 않다는 것을 암시한다. 자기평가는 "자기자신의 성과에 관한 데이터를 해석하고 그것을 명시적이거나 암묵적인 표준과 비교하는 과정"으로 기술되어 왔다. 정보에 입각한 자기평가의 핵심 중 하나는 외부 피드백으로서, "임상의사의 자가 평가를 위해, 신뢰할 수 있는 안전한 환경에서, 신뢰할 수 있는 감독관이 제공하는 명확하고 시기적절하며 구체적이며 건설적인 피드백"이다."53 [정보에 입각한 자기 평가]와 [외부 피드백]은 임상의사가 자신이 새롭게 배운 것을 시도하고, 그것을 받아들이거나 거부할지 여부를 판단할 때 필요하다. 만약 학습자가 새로운 학습을 효과적으로 받아들인다면, 그 다음엔 실제로 조정adjust을 하는 마지막 단계로 나아간다.

Self-assessment is a critical skill during the Assessing phase. The evidence suggests that unguided self-assessment by medical trainees and clinicians is not accurate.48–51 It has been described as the “process of interpreting data about our own performance and comparing it to an explicit or implicit standard.”52 Informed self-assessment has been described and suggested as an alternative.53,54 One of the keys to informed self-assessment is external feedback which is described as “clear, timely, specific, constructive feedback, preferably offered by trusted, credible supervisors in a safe environment, to inform a clinician’s self-assessment.”53 Informed self-assessment and external feedback go hand in hand as a clinician tries out what she learned and makes the determination to accept or reject the new learning. If she accepts the new learning as effective, she moves on to the final phase of making adjustments in practice.


조정단계

Adjusting phase


최종 조정 단계에서, 개인은 그녀가 배운 것을 그녀의 일상적 업무에 반영할 것이다; 그것은 그녀가 환자를 관리하기 위해 사용하는 일상의 일부가 될 것이다. 이 시점에서 그녀는 새로운 지식과 기술이 그녀의 연습의 일상적인 운영에 어떤 영향을 미칠지 고려해야 한다. 그녀는 새로운 학습이 관련된 문제의 유형을 고려해야 한다

    • 개인은 알려진 감염에 대한 새로운 항생제 처방과 같은 일상적인 문제들을 해결하기 위해 그녀의 새로운 학습을 이용할 것인가? 

    • 한편, 임상의사가 직면하고 있는 새로운 문제에 새로운 학습을 적용하려면, 그 새로운 문제에 대한 더 깊은 이해와 새로운 학습을 적용함에 따른 잠재적 영향을 고려할 필요가 있을 것이다. 

[일상적 문제 대 새로운 문제]라는 렌즈를 통해 새로운 학습을 재점검하는 것은 그녀의 실천을 조정하기 위한 기회와 장벽을 폭넓게 고려할 필요가 있다.

During the final Adjusting phase, an individual will incorporate what she has learned into her daily routines; it will become a part of the routine that she uses to manage her patients. At this point, she must consider how new knowledge and skills will impact the day-to-day operations of her practice. She must consider the types of problems where the new learning is relevant. 

    • Will the individual use her new learning to solve routine problems, such as the new antibiotic regimen for a known infection? 

    • On the other hand, if the new learning were to be applied to a novel problem facing the clinician, deeper understanding of that novel problem and potential impacts of applying the new learning would need to be considered. 

Reexamining new learning through the lens of the type of problem to be addressed, routine vs. novel, necessitates a broad consideration of opportunities and barriers to adjusting her practice.


그녀의 새로운 학습을 임상 작업 영역에 적용하는 것의 의미는 상당하다. 학습자는 필요한 변화가 [개인 수준인지 시스템 수준인지]를 고려해야 한다. [개인적 실천 대 시스템 구현]을 결정하는 것은 계획 단계에서 필요한 변화 범위(숙박, 조정, 리디렉션 또는 변형)에 대한 그녀의 이전 평가와 다시 연결된다. 시스템 수준의 변화가 필요한 경우, 더 큰 시스템 구현의 기회와 장벽을 고려하지 않으면 개인의 새로운 학습에 기초하여 성공할 가능성이 낮아진다.

The implications of applying her new learning in the clinical workspace are considerable. The learner must consider whether the change needed is at the individual or system level. Determining individual vs. system implementation reconnects with her earlier assessment of scope of change needed during the Planning phase: accommodations, adjustments, redirections, or transformations. When system-level changes are needed, failure to consider the opportunities and barriers of a larger system implementation will make adjustments based on the individual’s new learning less likely to succeed.


마스터 어댑티브 학습자 프로세스 전체에 필요한 인지 능력

Cognitive Skills Needed Throughout the Master Adaptive Learner Process


그림 2에서 개별 학습자의 마음의 기어를 둘러싸는 것은 실제 학습에 필수적인 두 가지 인지 능력이며 학습 과정의 모든 단계에서 해당된다: [비판적 사고]와 [성찰]

Surrounding the gears of the individual learner’s mind in Figure 2 are two cognitive skills that are essential to learning in practice and span every phase of the learning process: critical thinking and reflection.



[비판적 사고]는 

관찰, 경험, 반성, 추론 또는 의사소통으로부터 수집되거나 생성되는 정보를 능동적이고 능숙하게 개념화, 적용, 분석, 합성 및/또는 평가하는 지적으로 훈련된 과정으로 정의된다.

Critical thinking is defined as 

the intellectually disciplined process of actively and skillfully conceptualizing, applying, analyzing, synthesizing, and/ or evaluating information gathered from, or generated by, observation, experience, reflection, reasoning, or communication, as a guide to belief and action.55,56


마스터 적응 학습 과정 전반에 걸쳐 필요한 두 번째 인지 기술은 성찰이다. 성찰 스킬은 다음과 같이 정의할 수 있다.

The second cognitive skill needed throughout the Master Adaptive Learning process is reflection. Reflective skill can be defined as


자기와 상황에 대한 더 큰 이해를 발전시켜 미래의 상황과의 만남이 이전의 만남으로부터 알려지도록 하기 위한 목적으로 상황 전, 중, 후에 발생하는 인지 과정.

a metacognitive process that occurs before, during and after situations with the purpose of developing greater understanding of both the self and the situation so that future encounters with the situation are informed from previous encounters.57


이 기술은 다른 어떤 기술보다 임상의가 다양한 경험과 직장과의 만남에서 얻는 학습 이익을 극대화할 수 있도록 해준다. 비판적 사고와 성찰을 결합하면 학습자는 자신의 학습에 대해 의도적인 태도를 취하고 학습이 효과적인지 여부를 이해할 수 있다.

This skill, more than any other, allows clinicians to maximize the learning benefit from various experiences and workplace encounters. Combining critical thinking and reflection allows a learner to be intentional about their own learning and to understand whether the learning is effective.



Conclusion


16 Schumacher DJ, Englander R, Carraccio C. Developing the master learner: Applying learning theory to the learner, the teacher, and the learning environment. Acad Med. 2013;88:1635–1645.











, 92 (1), 70-75
 

Fostering the Development of Master Adaptive Learners: A Conceptual Model to Guide Skill Acquisition in Medical Education

Affiliations 

Affiliation

  • 1W.B. Cutrer is assistant professor, Department of Pediatrics, Vanderbilt University School of Medicine, Nashville, Tennessee. B. Miller is senior associate dean for health sciences education and executive vice president for educational affairs, Vanderbilt University School of Medicine, Nashville, Tennessee. M.V. Pusic is assistant professor of emergency medicine and director, Division of Learning Analytics, NYU School of Medicine, New York, New York. G. Mejicano is senior associate dean for education, Oregon Health & Science University, School of Medicine, Portland, Oregon. R.S. Mangrulkar is associate dean for medical student education, University of Michigan Medical School, Ann Arbor, Michigan. L.D. Gruppen is professor, Department of Learning Health Sciences, University of Michigan Medical School, Ann Arbor, Michigan. R.E. Hawkins is vice president, medical education outcomes, American Medical Association, Chicago, Illinois. S.E. Skochelak is group vice president, medical education, American Medical Association, Chicago, Illinois. D.E. Moore Jr is professor of medical education and administration and director, Office for Continuous Professional Development, Vanderbilt University School of Medicine, Nashville, Tennessee.

Abstract

Change is ubiquitous in health care, making continuous adaptation necessary for clinicians to provide the best possible care to their patients. The authors propose that developing the capabilities of a Master Adaptive Learner will provide future physicians with strategies for learning in the health care environment and for managing change more effectively. The concept of a Master Adaptive Learner describes a metacognitive approach to learning based on self-regulation that can foster the development and use of adaptive expertise in practice. The authors describe a conceptual literature-based model for a Master Adaptive Learner that provides a shared language to facilitate exploration and conversation about both successes and struggles during the learning process.


의과대학생의 학습 목표를 지정하기: 지시한대로 따르는가? 만약 그렇지 않다면? (Med Teach, 2019)

Assigning Medical Students Learning Goals: Do They Do It, and What Happens When They Don’t?


Julian Manzonea, Glenn Regehrb , Shawn Garbedianc, and Ryan Brydgesa,d

aWilson Centre, University Health Network; Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada; bCentre for Health Education Scholarship and Department of Surgery, University of British Columbia, Vancouver, British Columbia, Canada; cNorth York General Hospital, Toronto, Ontario, Canada; dDepartment of Medicine, University of Toronto and Allan Waters Family Simulation Centre, St. Michael’s Hospital, Toronto, Ontario, Canada





도입

Introduction


학습 시간을 최적화하기 위해서는 연습생들이 효과적인 자기 조절학습(SRL)에 참여해야 한다.1 그러나 실제로 연습생들은 종종 자신이 무엇을 모르는지 모르고, 2 자신의 학습 목표를 설정하는 데 어려움을 나타내며, 3 감독자와 환자의 우선순위와 자신의 목표 사이에서 협상하는 것을 어려워한다.4,5

To optimize such learning time trainees must engage effectively in self-regulated learning (SRL).1 In practice, however, trainees often don’t know what they don’t know,2 express difficulty in setting their own learning goals,3 and experience challenges negotiating their goals with the priorities of their supervisors and patients.4,5


SRL 최적화를 지원하는 교육자: 

  • 연습 시간을 효과적으로 스케줄링할 수 있도록 돕는 것이 포함될 수 있다(예: 언제 어떻게 공부할 것인가).

  • 주요 학습 성과를 촉진하는 방식으로 콘텐츠 제시(예: 개념적 및 절차적 지식을 통합하는 동영상)

  • SRL에 주의를 기울이는 데 도움이 되는 학습 조건 설계(예: 목표를 설정하는 방법)

support trainees to optimize their SRL.6,7: 

  • supports might include helping trainees schedule their practice time effectively (e.g., when and how to study),8,9 

  • presenting content to them in ways that facilitate key learning outcomes (e.g., videos that integrate conceptual and procedural knowledge),10 and 

  • designing learning conditions that help them attend to relevant aspects of their SRL (e.g., how to set goals).4,5,11,12


의학 교육 외 분야에서 이뤄진 연구에 따르면, 기술 습득을 목표로 할 때, 학습자가 프로세스 목표(즉, 결과를 도출하기 위해 취한 조치)를 설정하도록 지시하는 것이 결과 목표(즉, 성과물)를 설정하도록 방향을 정하는 것보다 즉각적으로 측정된 성과를 더 좋게 이끈다는 것을 보여주었다.13-15 이러한 연구 결과와 대조적으로, 의학교육에서, 봉합 기술을 배울 때 프로세스 목표를 설정했던 초보 의대생들은 결과 목표를 설정한 그룹과 비교할 때 유의미한 이점이 없었다.15

Goal setting research exploring the acquisition of skills outside medical education has shown that orienting learners to set process goals (i.e., the steps taken to produce an outcome) leads to better performance gains, measured via an immediate postintervention test, than does orienting them to set outcome goals (i.e., products of performance).13–15 In contrast to these findings, within medical education, a study orienting novice medical students to set process goals when learning suturing skills produced no significant benefits compared to a group that was oriented to set outcome goals.15


그러나, 기존의 연구는 학습과 기억에 대한 일회성 시험결과만을 보여준 것이었다. 모터 학습motor learning을 연구한 사람들은, 이런 학습은 "통장잔고savings"의 비유로 더 잘 개념화 될 수 있다고 주장한다특히 참가자들이 1주 이상의 retention 기간 후에, 일련의 수행 시도를 통해 더 빠르고 잠재적으로 더 광범위한 재학습 가능성을 보여줄 수 있다.

however, As an alternative to such single-trial demonstrations of learning and memory, researchers in motor learning argue that learning might be better conceptualized as “savings,”16 specifically the potential for participants to show faster and potentially more extensive relearning over a series of performance attempts, after they experience a retention period of 1 week or more.



Methods



Study setting


Study design


Figure 1 depicts our study design.



Participants


Via e-mail, 우리는 약 500명의 학부 의대생들의 풀에서 참가자들을 모집했다.

Via e-mail, we recruited participants from a pool of approximately 500 undergraduate medical students


우리의 평가 도구는 이 연구를 위해 특별히 제작되었기 때문에, 우리는 표본 크기 계산을 수행할 데이터가 없었다. 그러나, 우리가 선택한 표본 크기를 통해 약 0.9 표준 편차의 효과 크기를 볼 수 있을 것이다.

As our assessment tool was constructed specifically for this study, we did not have data to conduct a sample size calculation. However, our selected sample size would enable us to see an effect size of approximately 0.9 standard deviations.


Materials


모든 참가자들은 시나이 병원의 수술 스킬 센터에서 제공하는 봉합과 매듭 묶는 기술에 대한 3분짜리 교육 비디오를 접할 수 있었고, 곡선 바늘에 실리콘 스킨 패드, 조직 힘줄, 가위, 바늘 드라이버, 실크 봉합 등을 제공받았다(Sofsilk 3-0 GS-832 V-20; Medtronic, Minnapolis, MN).

All participants had access to a 3-minute instructional video on suturing and knot tying skills provided by the Surgical Skills Center at Mount Sinai Hospital and were provided with a silicone skin pad, tissue forceps,scissors, a needle driver, and silk sutures on a curve needle (Sofsilk 3-0 GS-832 V-20; Medtronic,Minneapolis, MN).


Procedure and educational interventions


우리의 일차적인 조작은 훈련생들에게 Brydges 등에 기술된 프로토콜과 유사한 방식으로 훈련 중 프로세스 목표 또는 결과 목표를 설정하도록 방향을 설정하도록 지원했다. 그러나 우리는 각각 그 영향을 개선하기 위해 설계된 프로토콜에 세 가지 변경을 가했다.

Our primary manipulation was to support trainees by orienting them to set either process goals or outcomes goals during training in a manner similar to the protocol described in Brydges et al.15 However we made three changes to that protocol, each designed to improve its impact.


첫째, 참가자들에게 25번의 봉합 시도(예: Trials 1–25)를 완료하도록 했는데, 이전 연구보다 67% 더 많은 실습을 했다.

First, we had participants complete 25 suturing attempts (i.e., referred to as Trials 1–25), which was 67% more practice than the previous study.


둘째로, 우리는 그들이 (프로세스 지향 그룹이 그들의 성과를 평가하도록 요청하고 결과 지향적인 그룹이 그들의 최종 제품을 평가하도록 요청하면서) 연습 전반에 걸쳐 할당된 목표를 능동적으로 자가 모니터링하도록 지시하기 위해 첫번째, 그리고 이후 매 세번째마다(1, 4, 7, ...) 그들의 성과를 스스로 평가하도록 했다.

Second, we had them self-score their performance on the first and every third subsequent trial (1, 4, 7, …), to cue them to actively self-monitor their assigned goals throughout practice (with the process-oriented group asked to assess their performance and the outcome-oriented group asked to assess their final product).


셋째, 우리는 그들에게 연습의 시작에만 있는 것이 아니라 연습 내내 할당된 목표 리스트에 접근할 수 있도록 했고, 우리는 계속해서 그들에게 다음 세 번의 시험 동안 그들이 할 수 있는 목표를 확인하도록 요구했다.

Third, we gave them access to their assigned goal list throughout practice rather than only at the beginning of practice, and we continually asked them to identify the goal they would be working on for the subsequent three trials.


두 번째와 세 번째 변경을 달성하기 위해, 우리는 참가자들이 "과제의 프로세스 목표에 대한 전반적인 성취도를 어떻게 평가하시겠습니까?" 또는 "과제의 결과 목표에 대한 전반적인 성취도를 어떻게 평가하시겠습니까?"라는 질문을 하면서 가장 최근의 평가 결과를 얻도록 유도하는 컴퓨터 프로그램을 설계했다. 이 질문 아래에서, 우리는 이전에 발표된 글로벌 등급 척도의 전체 성능 점수를 바탕으로 매우 very poor(가장 왼 쪽), competent(중간), clearly superior(가장 오른쪽) 언어적 앵커가 포함된 시각적 아날로그 척도를 제시했다.17

To accomplish the second and third change, we designed a computer program that prompted participants to score their most recent trial, asking either “How would you rate your overall accomplishment of the process goals of the task?” or “How would you rate your overall accomplishment of the outcome goals of the task?” Below this question, we presented a visual analog scale with verbal anchors of very poor (far-left side), competent (middle), and clearly superior (far-right side), based on the Overall Performance score of a previously published Global Rating Scale.17


척도 아래에서는 프로세스 목표 그룹의 참가자가 5가지 프로세스 목표 목록을 본 반면, 결과 목표 그룹의 참가자는 이전 연구에서 모두 4가지 결과 목표 목록(표 1)을 보았다.15

Below the scale, participants in the process goal group saw a list of five process goals, whereas those in the outcome goal group saw a list of four outcome goals (Table 1), all from the previous study.15



Retention session


약 2주 후, 참가자들은 같은 봉합 기술과 매듭짓기 기술을 가진 10번의 시도로 구성된 retention 세션을 완료하기 위해 돌아왔다. 참가자들이 기술을 얼마나 잘 유지하고 "취득"했는지를 시험하기 위한 여러 가지 시도를 포함했다(즉, "절약"으로서의 보존). 참가자들은 1, 4, 7, 10회 평가에서 자기채점을 하였다. 중요한 것은, 모든 참가자들에게 "과제의 목표에 대한 전반적인 성취도를 어떻게 평가하시겠습니까?"라는 같은 질문을 던졌다. 이 세션 동안, 우리는 의도적으로 참가자들이 (프로세스나 결과에 초점을 맞출 명시적인 지원 없이) trial을 어떻게 평가할 것인지를 스스로 정의할 수 있도록 허용했다.

Approximately two weeks later, participants returned to complete a retention session consisting of 10 trials of the same suturing and knot-tying skill. We included multiple trials to test how well participants retained and “reacquired” the skill (i.e., retention as “savings”). Participants self-scored their performance on Trials 1, 4, 7, and 10. Important to note, all participants were prompted with the same question: “How would you rate your overall accomplishment of the goals of the task?” During this session, we intentionally allowed participants to self-define how they would assess the trial (with no explicit support that would focus them on process or outcome).



측정

Measurements


Assessing suturing skill


교육 세션에서 프로세스 지향 그룹에서 각 참가자의 성과를 비디오로 녹화하여 결과 지향 그룹에서 각 참가자의 최종 봉합 제품의 스틸 사진을 찍었다. 참가자와 동일한 컴퓨터 프로그램과 시각적 아날로그 스케일을 사용하여 두 명의 평가자(일반 및 정형외과 수술 펠로우)가 프로세스 지향 참가자의 프로세스, 결과 지향 참가자의 결과를 평가했다. Raters는 첫 번째와 이후 6번째 시험(예: Trial 1, 7, 13, 19, 25)마다 점수를 매겨 시간을 절약했다(그림 1).

In the training session, we video-recorded each participant’s performance in the process-oriented group and took a still photograph of each participant’s final suturing product in the outcome-oriented group. Using the same computer program and visual analog scale as the participants, two raters (surgical fellows in general and orthopedic surgery) scored performance processes when viewing the process-oriented participants’ videos or performance outcomes when viewing a still photo of the outcome-oriented participants’ final suturing product. Raters scored the first and every subsequent sixth trial (i.e., Trials 1, 7, 13, 19, 25) to limit their time commitment (Figure 1).


보존 세션에서는 모든 참가자의 성과(프로세스)를 비디오로 촬영하고, 1차 및 3차 시험 때마다 최종 봉합 제품(결과)을 모두 촬영했다(그림 1). 우리는 두 그룹의 모든 참가자들에게 이 비디오와 사진을 별도로 채점해 줄 것을 요청했다. 따라서, 평가자는 모든 참가자가 완료한 4개의 보존 시험의 프로세스와 결과 점수를 모두 제공했고, 우리는 그러한 점수를 사용하여 분석에서 그룹을 직접 비교했다. 모든 데이터에 대해, 우리는 ICC(Inter-aclass correctives 계수)를 사용하여 평가자 간 신뢰도를 계산했다.

In the retention session, we video-recorded all participants’ performances (process) and photographed all final suturing products (outcome) on the first and every third subsequent trial (Figure 1). We asked the same raters (blinded to participant group assignment) to separately score these videos and photographs for all participants in both groups. Thus, the raters provided both process and outcome scores for the four retention trials completed by all participants, and we used those scores to compare groups directly in our analyses. For all data, we calculated interrater reliability using the intraclass correlation coefficient (ICC).




Data analysis


Suturing skill retention


one-way repeated measures analysis of variance (ANOVA)


Suturing skill acquisition


To compare learning retention across groups, we analyzed the raters’ average process and average outcome scores using a three-way mixed effects ANOVA with raters’ measure (process vs. outcome) and trial (1, 4, 7, 10) as within-subjects factors, and participants’ assigned goal orientation (process vs. outcome) as a between-subjects factor.



Participants’ self-monitoring calibration coefficients


우리는 두 세션에서 참가자들의 자기 점수를 평가자의 점수와 연관시킬 수 있다는 것을 깨달았다.

we realized we could correlate participants’ self-scores in the two sessions with the raters’ scores.


이 점수를 사용하여 각 참가자에 대해 "자체 모니터링 교정 계수"를 3개 계산했다. 이러한 보정 계수는 참가자가 지정된 목표에 따라 자신의 성과를 얼마나 효과적으로 자체 모니터링하는지를 간접적으로 측정할 것을 제안한다. 교정계수가 낮으면 참가자가 할당된 목표를 효과적으로 자가 모니터링하고 있지 않다는 것을 의미할 수 있다(우리가 평가자의 점수를 "표준"으로 취급한다고 가정함).

Using these scores, we calculated three “self-monitoring calibration coefficients” for each participant. We propose that these calibration coefficients provide an indirect measure of how effectively participants self-monitored their performance according to their assigned goals. A low calibration coefficient might imply that participants were not self-monitoring their assigned goals effectively (assuming we treat the raters’ scores as “the” standard).


이 방법은 네 가지 자가 모니터링 보정 계수를 생성했다. 

This method produced four self-monitoring calibration coefficients: 


(a) training단계: 다섯 번의 시험 동안 프로세스 지향 참여자의 점수와 평가자의 프로세스 점수 

(b) training단계: 다섯 번의 시험 동안 결과 지향 참가자의 점수와 평가자의 결과 점수

(c) retention단계: 모든 참가자의 비구조화 자가 모니터링 점수와 4번의 시행에 걸친 평가자의 프로세스 점수

(d) retention단계: 모든 참가자의 비구조화 자가 모니터링 점수와 4번의 시행에 걸친 평가자의 결과 점수.

(a) training: process-oriented participants’ scores correlated with raters’ process scores across five trials, 

(b) training: outcome-oriented participants’ scores correlated with raters’ outcome scores across five trials, 

(c) retention: all participants’ unstructured self-monitoring scores with raters’ process scores across four trials, and 

(d) retention: all participants’ unstructured selfmonitoring scores with raters’ outcome scores across four trials.


Results


Suturing skill acquisition


Suturing skill retention


Suturing retention scores are presented in Figure 2


프로세스 그룹의 프로세스 점수 향상됨

Hence, the three-way interaction appears to have been driven by the process group experiencing improved process scores across the 10-trial session, whereas the outcome group’s process scores did not change (Figure 2).




Participants’ self-monitoring calibration coefficients



Table 2 includes the results of participants’ self-monitoring calibration coefficients for the training and retention sessions.



Self-monitoring calibration during the training session


Self-monitoring calibration during the retention session



고찰

Discussion


프로세스 목표 그룹은 결과 목표 그룹에 비해 프로세스 점수가 높았지만, 이 차이는 10번째 및 마지막 평가에만 유의했다.

At retention the process goal group had higher process scores compared to the outcome goal group, but the effect was significant only on the 10th and last trial.


우리의 추가 분석은 왜 두 그룹의 성과가 크게 다르지 않았는지에 대한 우리의 추측을 알려줄 수 있다.

Our additional analyses can inform our speculations about why the two groups’ performance did not substantially differ.


따라서, 더 그럴듯한 가능성은 우리의 개입이 훈련 중 단순히 [결과 목표 그룹]의 참가자들에게 효과적으로 목표지향을 정하지orient 못했다는 것일 수 있다. 즉, 프로세스 지향 그룹에 대한 우수한 보존 성과가 없는 것은, 결과 지향적이어야 했던 참여자들이 [훈련 중 우리의 명시적인 지시에도 불구하고] 프로세스 지향적인 태도를 취함으로써, 프로세스 지향적인 그룹과 본질적으로 동일하게 행동했기 때문일 수 있다.

Thus, a more plausible possibility may be that our intervention simply did not effectively orient participants in the outcome goal group during training. That is, the absence of superior retention performance for the process-oriented group might have been because the outcome-oriented participants adopted a process orientation despite our explicit instructions during training, and thus behaved essentially the same as the process-oriented group.


우리의 부정적인 발견에 대한 보다 정교한 탐색에서 비롯되는 이러한 해석은 초보자들에게 결과 목표를 설정하도록 지시하는 것이 그들이 그렇게 하도록 이끌 것이라고 가정해서는 안 된다는 것을 암시한다. 이것은 결국 교육자와 연구원 모두에게 시사하는 바가 있다. 첫째, 실험을 수행하는 연구자의 경우, 우리의 연구결과는 각 참가자가 "강요된" 학습 전략을 채택하는 범위를 결정하기 위한 manipulation을 명확히 점검할 필요성을 시사한다.

This interpretation, which resulted from our more elaborated exploration of our negative findings, suggests that we should not assume that simply instructing novices to set outcome goals will lead them to do so. This, in turn, has implications for both educators and researchers. First, for researchers conducting experiments, our findings suggest a need for explicit manipulation checks to determine the extent to which each participant adopts an “imposed” learning strategy.


행동 척도를 manipulation check으로 사용하는 것은 현재의 모범 사례와 일치한다. 18 우리는 교육자와 연구자들이 그들의 교육적 개입을 실행하고 연구할 때 고려할 것을 권고한다.

Our use of a behavioral measure as a manipulation check aligns with current best practices,18 which we recommend educators and researchers consider when implementing and studying their educational interventions.


교육자의 경우, 이러한 데이터는 Trainee를 감독하지 않을 경우, 교육자가 생각하는 것보다 부과된(강요된) 학습 방향을 채택할 가능성이 낮을 수 있음을 시사하는 우리 팀의 다른 연구 결과를 확인시켜 준다. 그러므로 학습자를 감독되지 않는 상황에서, 교육자들은 연습생들이 자기 모니터링을 위해 사용하는 단서가 무엇인지를 파악하고, 그들의 개인적인 목표 방향을 파악하는 것이 좋을 것이다. 그런 다음 그들은 단순히 (실습자가 의식적이든 무의식적이든) 연습생들이 무의식적으로 선택하는 전략이 이론적으로 타당한 학습 전략과 맞지 않다고 무조건 강요하기보다는, 그러한 연습자 요인trainee factor가 초기에 해소되도록 교육을 구성할 수 있다.

For educators, these data confirm other findings from our team19 suggesting that unsupervised trainees may be less likely to adopt imposed learning orientations than educators would assume. Thus, in unsupervised learning contexts, educators will likely benefit from becoming aware of the cues trainees use to self-monitor20,21 and of their personal goal orientations. They could then subsequently organize their teaching to account for their initial understanding of those trainee factors, rather than simply imposing a theoretically sound learning strategy that is misaligned with trainees’ natural strategies (which trainees may ignore, whether consciously or unconsciously).


요약하자면, 우리의 연구결과는 우리의 원래 가설에 대한 근거는 미약하게만 제공한다. 그러나 우리의 연구에서 더 중요한 결론은 우리의 2차 분석에서 얻어졌다. 즉, 우리의 개입의도와 참여자들의 명백한 선호 사이에 불일치가 존재할 수 있음을 강조한다. 학습 목표 프로그램을 개발하는 교육자들은, 그러한 인터벤션이 [어떤 방식으로 trainee의 학습을 촉진할 것인가에 대한 전략(예: 자기모니터링)]뿐만 아니라, [연습생들이 실제로 스킬을 어떻게 개발할 것인지(예: 봉합)]를 함께 고려해야함을 의미한다.

In summary, our findings provide limited evidence for our original hypothesis. However, the more important conclusion from our study arises from our secondary analysis, which highlights the possible inconsistencies between our interventions and our participants’ apparent preferences. Our data imply that educators developing learning goals programs, a common practice in recent studies,4,5,11,12 must consider how their interventions impact (or fail to impact) how trainees develop the target skill (e.g., suturing), as well as the underlying learning strategy they assume will facilitate learning (e.g., self-monitoring achievements of particular goals).22


다행히도, 우리는 참가자들이 어떻게 학습 목표를 스스로 모니터했는지에 대한 데이터를 이용할 수 있었으며, 이것은 자기조절학습의 핵심 과정으로 간주된다. 실제로, 연구는 연습생들이 어떤 주제에 더 집중해야 하는지, 얼마나 더 연구해야 하는지, 8 그리고 그들이 정확하게 대답할 가능성이 높은 문제에 대해 결정을 내리는 자체 모니터링을 하는 것을 보여주었다.24 그러나, trainee의 자기 모니터링은 종종 부적절한 방식suboptimally이뤄진다. 예를 들어, 미래의 학습 전략에 도움이 되는 방식으로 자발적으로 자가 테스트를 하지 않으며, 운동 기술 학습을 판단함에 있어서 부적절한 단서에만 주의를 기울인다

Fortunately, we exploited our data on how participants self-monitored their learning goals, which is considered a core process of self-regulated learning. Indeed, research has shown that trainees self-monitor to make decisions about which topics to focus further study on,23 how long to study,8 and which questions they have a high likelihood of answering correctly.24 Yet, trainees often self-monitor suboptimally, for example, not spontaneously self-testing in ways that inform future learning strategies,25 or attending to inappropriate cues to judge motor skill learning.20


1. Kulasegaram K, Mylopoulos M, Tonin P, et al. The alignment imperative in curriculum renewal. Med Teach. 2018;40(5):443–448. doi:10.1080/0142159X. 2018.1435858. XXX


10. Cheung JJH, Kulasegaram KM, Woods NN, Moulton C, Ringsted CV, Brydges R. Knowing How and Knowing Why: testing the effect of instruction designed for cognitive integration on procedural skills transfer. Adv in Health Sci Educ. 2018;23(1):61–74. doi:10.1007/s10459-017-9774-1.


23. Agrawal S, Norman GR, Eva KW. Influences on medical students’ self-regulated learning after test completion. Med Educ. 2012;46(3):326–335. doi:10.1111/ j.1365-2923.2011.04150.x.


24. Eva KW, Regehr G. Exploring the divergence between self-assessment and self-monitoring. Adv in Health Sci Educ. 2011;16(3):311–329. doi:10.1007/s10459-010-9263-2.











 2019 Apr 16:1-8. doi: 10.1080/10401334.2019.1600520. [Epub ahead of print]

Assigning Medical Students Learning Goals: Do They Do It, and What Happens When They Don't?

Author information

1
a Wilson Centre , University Health Network ; Faculty of Medicine , University of Toronto , Toronto , Ontario , Canada.
2
b Centre for Health Education Scholarship and Department of Surgery , University of British Columbia , Vancouver , British Columbia , Canada.
3
c North York General Hospital , Toronto , Ontario , Canada.
4
d Department of Medicine , University of Toronto and Allan Waters Family Simulation Centre, St. Michael's Hospital , Toronto , Ontario , Canada.

Abstract

THEORY:

Medical curricula now include more time for trainees to manage their studying independently, yet evidence suggests that time is not well spent without guidance. Social-cognitivist models of self-regulated learning suggest value when guiding learners to set goals related to their performance processes (actions producing outcomes) versus their performance outcomes (products of performance).

HYPOTHESES:

We expected participants oriented to set process goals would demonstrate better suturing skill retention compared with participants oriented to set outcome goals.

METHOD:

We randomly assigned 41 medical students to two groups: outcome oriented or process oriented. They self-scored their performance using a visual analog scale on every third trial during 25 training trials, and during 10 retention trials 2 weeks later. Two raters assessed participants' suturing performances (process) and final products (outcome). After finding weak support for our hypothesis, we calculated a "self-monitoring calibration coefficient" as the Pearson's correlation between the raters' average score and each participant's self-scores. We used a mixed-effects analysis of variance to compare participants' performance scores as well as t tests and an analysis of variance to compare their self-monitoring calibration coefficients.

RESULTS:

Analysis of skill retention data revealed a significant Group × Trial interaction, suggesting a benefit for the process group only for the 10th retention trial (p = .03). During training, the process group had significantly better (p = .02) self-monitoring calibration (r = .71 ± .29) than the outcome group (r = .38 ± .55). In retention, participants in both groups were significantly better calibrated (p = .04) with rater's scores of performance processes (r = .39 ± .60) versus performance outcomes (r = .11 ± .63).

CONCLUSIONS:

Our findings provide limited evidence for our original hypothesis. Perhaps more important, however, our self-monitoring calibration data highlighted inconsistencies between our interventions and our participants' apparent preferences. Not all participants adopted their assigned goal setting orientation, showing that researchers and educators must consider the extent to which trainees adopt imposed instructions in any educational intervention.

KEYWORDS:

goal setting; medical education; self-regulated learning; simulation-based training; skills transfer

PMID:
 
30990131
 
DOI:
 
10.1080/10401334.2019.1600520


의학교육에서 모니터링과 학습의 자기조절: 예상단서의 필요성(Med Educ, 2017)

Monitoring and regulation of learning in medical education: the need for predictive cues

Anique B H de Bruin,1 John Dunlosky2 & Rodrigo B Cavalcanti3




도입

INTRODUCTION


의사 결정과 행동을 모니터링 하는 것은 의료전문가의 일상 업무의 중심 부분이다. 자기 모니터링은 또한 많은 양의 정보를 배우고 적응적으로 사용할 수 있어야 하는 의학교육에서, 의대생들의 교육 성과에 기여한다.

Monitoring decisions and behaviour is a central part of medical professionals’ daily practice. Self-monitoring also contributes to performance in medical education, where medical students must learn and be able to adaptively use massive amounts of information.


표 1은 개요를 제공한다.

Table 1 provides an overview



모니터링 판단의 정확성은 의료 교육 및 의료 실무에서 모두 기본이다. 부정확한 판단은 성과를 저해하는 것으로 알려져 있다.1

The accuracy of monitoring judgements is fundamental to both medical education and medical practice. Inaccurate judgements are known to undermine achievement.1


데이비스 외 연구진 6은 외관 관측치와 의사 자신의 성과 평가를 비교한 20개의 경험적 연구에 대한 검토하였는데, 13개 연구에서는 외부 관측치와 자기 평가사이에 거의, 전혀, 또는 반대의 관계있었다.

Davis et al.6 provide a review of 20 empirical studies comparing physicians’ self-assessments of performance with external observations and identify 13 in which there was little, no or an inverse relation between these variables.


우리는 의사로서 모니터링 판단의 정확성을 향상시키는 것은, 이상적으로는 의대생 때부터 학습에 대한 보다 정확한 모니터링을 개발할 수 있도록 도와줌으로서 훈련이 시작되어야 한다고 주장한다. 모니터링 판단은 본질적으로 추론적인inferential 것으로 알려져 있으며, 모니터링은 직무의 난이도나 주제에 대한 관심 같은 단서에 기초한다.7 따라서 모니터링 판단을 개선하려면 학생들이 학습을 판단할 때 사용하는 단서의 질을 향상시켜야 한다.

We argue that improving the accuracy of monitoring judgements by medical professionals should start at the beginning of training, ideally by helping medical students develop more accurate monitoring of their learning. Monitoring judgements are known to be inferential in nature and are based on cues such as perceived difficulty of the task or interest in the topic.7 Improving monitoring judgements therefore entails improving the quality of the cues that students use when making judgements of learning.


모니터링과 통제: 메타인지적 프레임워크

MONITORING AND CONTROL: A METACOGNITIVE FRAMEWORK


우리가 다루려는 모니터링은 자신의 지식을 평가하는 것과 관련이 있으며, 의과 학생의 경우, 그러한 모니터링은 

  • 주제를 얼마나 잘 이해하고 있는지(예: 심혈관 계통의 생리학), 

  • 얼마나 정확하게 임상 사례를 진단할 수 있는지 또는 

  • 얼마나 잘 시술할 수 있는지에 대한 개인의 신뢰도 판단을 수반할 수 있다(예: 요추 펑크).

Monitoring here pertains to assessing one’s knowledge, and for medical students, such monitoring may involve judging one’s confidence in 

  • how well one understands a topic (e.g. physiology of the cardiovascular system), 

  • how well one can accurately diagnose a clinical case or 

  • how well one can perform a procedure (e.g. a lumbar puncture).


모니터링과 통제는 상호작용한다. 모니터링은 학생들에게 학습과 성과를 제어하는 방법(그리고 어떻게)을 알려주고, 학습 목표를 향한 추가적인 발전이 있으면, 이것을 다시 모니터링을 업데이트하는 데 사용할 수 있다. 따라서, 교과서의 어떤 챕터(목표 수준)을 공부하는 동안, 학생은 챕터(메타 수준)의 개념에 대한 자신의 이해에 대해 자신이 없을 수 있으며, 따라서 이해를 증진시키기 위해 특정 부분을 공부하는데 더 많은 시간을 사용하기로 결정한다(제어). 이러한 모니터링-제어 피드백 시스템은 모든 일반적 메타인지 프레임워크에서 명백하다.

Monitoring and control have reciprocal influences: monitoring informs a student about whether (and how) to control their learning and performance, and further progress toward a learning goal can be used to update monitoring. Thus, while studying a textbook chapter (the object level, Fig. 1), a student may not be confident about her understanding of concepts in the chapter (the meta-level), and hence decide to use more time studying specific text segments (control) in the hope of boosting her understanding. Such a monitoring-control feedback system is evident in all general frameworks of metacognition



모니터링 판단의 품질은 보통 '모니터링 정확도'라고 하며, 모니터링 판단과 실제 학습 또는 수행 사이의 관계를 설정하여 결정한다. 모니터링 정확도에는 절대 정확도와 상대정확도의 두 가지 유형이 있다.

The quality of monitoring judgements is usually termed ‘monitoring accuracy’ and is determined by establishing the relation between monitoring judgements and actual learning or performance. two kinds of monitoring accuracy: absolute accuracy and relative accuracy


절대정확도(Absolute recuracy)는 모니터링의 규모가 실제 성과와 얼마나 다른가를 말한다. 예를 들어, 학생이 해부학에 관한 다가오는 시험에서 80%를 획득할 것으로 예상한다면, 시험에서 80%를 획득한다면, 학생은 완벽한 절대 정확성을 가진 것으로 간주될 것이다. 시험 성적이 80% 미만이면 학생은 과신하는 것으로 간주되고, 성적이 80%를 넘으면 과신하는 것으로 간주된다. 학습에 대한 지나친 자신감은 학생들이 공부를 일찍 중단하고 후속 시험에서 나쁜 성적을 거두도록 이끌 수 있다.1 그리고 과신하는 의사결정자들은 나쁜 결정을 다시 방문하고 수정할 기회를 스스로 빼앗을 것이다.

Absolute accuracy refers to the degree to which the magnitude of one’s monitoring differs from actual performance. For example, if a student expects to obtain 80% in an upcoming examination about anatomy, the student would be viewed as having perfect absolute accuracy if he or she scored 80% in the examination. If the examination performance was below 80%, the student would be considered overconfident, and if performance was above 80%, the student would be considered underconfident. Overconfidence in learning can lead students to prematurely stop studying and perform poorly on subsequent tests,1 and overconfident decision makers will rob themselves of the opportunity to revisit and correct poor decisions.


상대정확도는 학생들이 일부 자료와 다른 자료의 학습 수준의 차이를 구별할 수 있는 정도를 말한다. 위의 해부학적 예에서 학생은 이 학습이 한 예로서 발의 뼈보다 무릎 인대에 더 좋다고 판단할 수 있다. 이러한 판단의 차이가 시험에서의 실제 성과와 일치할 경우 상대적 정확도가 높다고 할 수 있다. 상대적 정확도는 일반적으로 모니터링 판단과 실제 성능 사이의 상관 관계를 통해 결정된다. 상대적 정확도가 뛰어나면 효과적인 조절로 이어질 수 있다. 예를 들어, 상대적 정확도가 높은 학생은 공부를 계속할 수 있는 내용이 무엇일지에 대해 더 나은 결정을 내리므로 상대적 정확도가 낮은 학생보다 더 나은 성과를 낼 수 있다.n.11

Relative accuracy refers to the degree to which students can discriminate between the differential learning for some materials versus others. In the anatomy example above, the student may judge this learning to be better for the ligaments of the knee than for the bones of the foot, as one example. If this differentiation matches actual performance on the examination, relative accuracy is high. Relative accuracy is usually determined through a correlation between monitoring judgements and actual performance. Excellent relative accuracy can also lead to effective regulation; for instance, when preparing for an examination, students with higher relative accuracy make better decisions about which materials to continue studying and hence perform better than students with poor relative accuracy, who may direct their study efforts in a less efficient fashion.11


중요한 것은, 두 종류의 정확성이 반드시 관련있는 것은 아니다라는 점이다: 학생은 완벽한 상대적 정확성을 보일 수 있고 동시에 지나치게 자신에 대해 과대평가할 수 있다.

Importantly, the two kinds of accuracy are not necessarily related: a student can show perfect relative accuracy and at the same time be overconfident.


모니터링 정확도: 단서 진단력과 단서 활용성

MONITORING ACCURACY: CUE DIAGNOSTICITY AND CUE UTILISATION


학생들은 어떻게 그들의 학습과 성과를 모니터하는가?

How do students monitor their learning and performance?


우리는 직접 접근이라고 불리는 하나의 가능한 메커니즘을 배제하는 것으로 시작한다.

We begin by ruling out one possible mechanism, called direct access,


코리앗에 의해 증명된 바와 같이, 사람들은 그들의 인지 상태의 퀄리티에 직접적으로 접근access하지 못한다. 기억의 강도를 판단하든 결정의 정확성을 판단하든 간에, 사람들은 자신의 인지 상태의 품질을 직접적으로 평가할 수 없다.

As demonstrated by Koriat,8,12 people do not have direct access to the quality of their cognitive states. Whether judging the strength of a memory or the accuracy of a decision, people are just not capable of directly assessing the quality of their cognitive states.


인지 자기 모니터링에 대해서 우리는 큐 활용 프레임워크에 기초하여 이해한다.8 이 프레임워크에 따르면, 모니터링 판단은 다양한 단서에 기초한다.

Our understanding of cognitive self-monitoring is to a great extent based on the cue-utilisation framework.8 According to this framework, monitoring judgements are based on a variety of cues,


여러 단서들이 학생들이 자신의 학습이나 성과를 판단할 때 떠오르는데, 학생들은 이 단서들을 사용하여 그들이 잘 배우는지, 잘 하고 있는지를 추정한다. 

  • 하나의 단서는 진단이 생각나는 속도일 수 있으며, 더 빠른 결정은 정확할 가능성이 더 높다. 

  • 또 다른 단서는 특정 질병의 유병률일 수 있으며, 덜 흔한 질병에 대한 자신감이 낮게 판단될 수 있다.

  • 또한 학생들이 특정 조건에 익숙하다는 것(이전의 사례나 강의 시간에 근거함)도 그들이 올바른 진단을 받았는지에 대한 그들의 판단에 영향을 미칠 수 있다.

These cues come to mind when students judge their learning or performance, and students use these cues to estimate whether they are learning and performing well. 

  • one cue may be the speed with which the diagnosis comes to mind, with faster decisions being associated with a higher likelihood of being correct. 

  • Yet another cue may be the prevalence of a particular disease, with less common diseases potentially leading to lower judged likelihood. 

  • Similarly, students’ familiarity with a particular condition (based on previous cases or teaching sessions) may also influence their judgement of whether they have the correct diagnosis.


그런 다음, 평가 모니터링의 정확성은 이용 가능한 단서가 학생들의 실제 학습 또는 실제 수행의 예측력 또는 '진단력' 정도에 따라 달라지며, '단서 진단력'이라는 개념으로 불린다. 학습이나 성과를 측정하는 데 사용되는 단서가 정확할수록 그에 따른 판단이 더 정확해진다. 예를 들어, 학생이 "익숙함"을 단서로 사용할 때, 판단의 정확성은 그러한 "익숙함"을 가지고 스스로의 정확한 진단능력을 어느 정도까지 예측할 수 있느냐에 따라 달라진다.

The accuracy of monitoring judgements then depends on the extent to which the available cues are predictive or ‘diagnostic’ of students’ actual learning or actual performance, a concept termed ‘cue diagnosticity’.13 The more accurate the cues used to gauge learning or performance, the more accurate the ensuing judgement. When a student uses familiarity with the condition as a cue, judgement accuracy depends on the extent to which familiarity is predictive of the student’s ability to formulate the correct diagnosis.


우리는 이 논문에서 토론하는 동안 '예측적 단서'라는 용어를 선호해왔다.

we have favoured the term ‘predictive cue’ throughout our discussions in this paper.


단서 활용성. 일반적으로 여러 단서가 사용 가능하며, 그 중 일부는 다른 단서보다 예측력이 좋다. 학생들이 예측적 단서를 선택하고 비예측적 단서를 무시해야만 정확한 모니터링 판단에 도달할 것이다. 위의 예에서, 친숙함은 말하자면 질병의 만연보다 더 예측적 단서일 수 있다. 만약 그렇다면, 학생이 자신의 판단을 친숙함에 기초하는 것이 더 나을 것이다.

cue-utilisation. Typically, several cues are available, some of which are more predictive than others. Only when students select predictive cues and disregard non-predictive cues will they arrive at an accurate monitoring judgement. In the example above, familiarity may be a more predictive cue than, say, prevalence of disease. If that is the case, it would be preferable for the student to base her judgement on familiarity.


그림 2. 큐 진단력은 단서와 실제 학습 또는 수행 사이의 관계에 따라 달라지며, 따라서 학생이나 연습생에게 학습 수준이나 수행 정도를 알려준다.

Fig. 2. Cue diagnosticity depends on the relation between cues and actual learning or performance, and as such informs students or trainees about their level of learning or performance.




리스닝 및 성능의 모니터링 및 조정을 촉진하기 위한 기본권 사용 촉진

IMPROVING USE OF PREDICTIVE CUES TO IMPROVE MONITORING AND REGULATION OF LEARNING AND PERFORMANCE


비예측적 단서에 의존하는 것은 잘못된 판단을 초래하여 부정확한 모니터링을 초래한다. 한 가지 보편적이지만 종종 비예측적인 단서는 사람들이 정보를 처리하는 속도('유창성'이라고도 함)이다. 이 속도에는 새로운 정보를 배우는 속도나 시험에서 답을 생성하는 속도가 포함된다.

Reliance on non-predictive cues leads to incorrect judgements, resulting in inaccurate monitoring. One pervasive, but often non-predictive, cue is the speed with which people process information (also termed ‘fluency’), whether it involves the speed of learning new information or the speed of generating answers on a test.


즉, 자신의 배움을 정확하게 판단하는 것은 본질적으로 어렵다. 학습 결과에 대한 직접적인 접근 없이, 사람들은 종종 부정확한 비예측적 단서에 의존한다.

This example highlights inherent difficulties of accurately judging one’s learning. Without direct access to learning outcomes, one resorts to using available cues to infer it, often inaccurately.



자가생성된 예측적 단서

Self-generating predictive cues


모니터링을 개선시키려면 예측 단서의 가용성을 높여야 하며, 이에 더하여 학습 및 성과를 모니터링할 때 이러한 단서에 더 의존하게 만드는 것을 목표로 해야 한다.

Interventions to improve monitoring should target improving availability of predictive cues and reliance on these cues for monitoring learning and performance.


가장 많이 조사된 예측적 단서 사용의 촉진방법 중 하나는 [학생들이 학습 과제를 시뮬레이션하는 작업에 참여]하도록 하는 것이다. 이렇게 하면 mental 시뮬레이션은 그 학생의 지식이나 수행 정도를 알려주는 시험으로 작용한다. 시뮬레이션은 학생이 가지고 있는 지식이나 기술을 활성화해야 하지만 기준 과제와 동일할 필요는 없다.

Possibly the most investigated predictive cue prompt is to have students engage in a task that simulates their learning task. Mental simulation then acts as a try-out test that informs the student of his or her level of knowledge or performance. Simulations should activate the knowledge or skills the student possesses but need not be identical to the criterion task.


한 가지 자주 인용되는 예는 학생들이 텍스트를 공부한 후에 키워드를 생성하도록 하는 것이다. 11,15 이 키워드 연구에서 학생들은 텍스트 집합을 읽는다(일반적으로 약 1000단어). 독서를 마친 학생들은 각 글의 본질을 포착한 5개의 키워드를 작성하라는 지시를 받았다. 키워드를 생성하면 상대적 모니터링 정확도가 향상되었으며, 학생들의 모니터링 판단과 본문 시험의 성적 사이의 상관관계는 0.71(키워드를 생성하지 않은 0.25에 불과함)이었다.

One often-cited example is having students generate keywords after studying a text.11,15 In these keyword studies, students read a set of texts (usually around 1000 words long). After reading, students were instructed to formulate five keywords that captured the essence of each text. Generating keywords improved relative monitoring accuracy; the correlation between students’ monitoring judgements and their performance on a test of the texts was 0.71 (compared to only 0.25 without generating keywords).


추측건대, 키워드 생성은 '문자의 situated model'이라고 불리는 것에 대한 학생들의 표현을 이끌어낸다. 16 이것은 텍스트의 요약문을 쓸 때 일어나는 일과 유사하다..11 상황 모델situated model은 [학생의 기존 지식과 통합된, 텍스트에 대한 학생들의 지식]을 보여주며, 여기에는 핵심 개념과 그들 사이의 관계가 포함된다.

Presumably, keyword generation elicits students’ representation of what is called the ‘situation model of the text’,16 similar to what happens when writing a summary of a text.11 The situation model represents the student’s knowledge of the text, including key concepts and their inter-relations, integrated with the student’s prior knowledge.16


키워드를 생성하는 것은 각 텍스트에 대한 상황 모델의 시뮬레이션으로 생각되며, 학생들이 잘 배운 텍스트와 덜 배운 텍스트를 구별할 수 있도록 도와준다. 텍스트의 요약을 만드는 것과 비슷하게, 숙어를 공부할 때 문장을 만드는 것, 인과관계를 연구할 때 도표를 완성하는 것 등도 유사한 결과를 보여주었다.

Generating keywords is thought to act as a simulation of the situation model for each text, and helps students differentiate between well-learned versus less well-learned texts. Similar results have been found when generating summaries of texts,17 generating sentences when studying idioms18 and completing diagrams when studying causal relations.19


키워드 효과에 대한 연구는 효과적인 예측 신호 프롬프트의 두 가지 중요한 특징, 즉 판단 지연자가 생성을 확인했다. 키워드 생성은 키워드가 학습 후 일정 시간 지연된 상태에서 생성될 경우에만 판단 정확도를 향상시킨다. 이 때 지연delay은 몇 분 이상 또는 정보가 단기 기억장치에서 없어지는 데 걸리는 시간 만큼만 길면 된다.

Research on the keyword effect has identified two crucial characteristics of effective predictive cue prompts: delaying judgements and self-generation. Keyword generation only improves judgement accuracy if keywords are generated at a delay after study. The delay need not be longer than several minutes, or about as long as it takes for information to decay from short-term memory.


이러한 지연의 필요성은 모니터링-이중-메모리 가설을 통해 설명된다20: 텍스트 연구 후 즉시 키워드를 생성하는 것은 단기 메모리에서 정보를 사용한다.

The necessity of this delay is explained by means of the monitoring-dual-memories hypothesis20: generating keywords immediately after studying a text uses information from shortterm memory.


지연된 상태에서는, 키워드 생성을 장기 기억에서 검색해야 하며, 이것은 실제 시험에서 사용 가능해야 하는 메모리와 더 유사하다.

Delayed keyword generation requires retrieval from longterm memory, which more closely resembles memory available at the time of the test.


선언적 지식에 기초한 학습 과제에서 지연의 필요성이 거듭 확립되어 왔지만, 이것이 절차적 기술이나 추리적 기술에도 적용되는지는 명확하지 않다.

The necessity of a delay has been repeatedly established in learning tasks based on declarative knowledge, but it is not clear whether this also applies to procedural or reasoning skills.


예측적 단서 촉진의 또 다른 중요한 점은 자가생성의 필요성이다. Tiede 외 연구진 21은 스스로 키워드를 만든 학생들과 다른 학생들에 의해 생성된 키워드를 읽은 학생들을 비교했고, 첫 번째 그룹에서만 판단 정확도에 긍정적인 영향을 발견했다.

Another central aspect of predictive cue prompts is the need for self-generation. Thiede et al.21 compared students who self-generated keywords with students who read keywords generated by others, and found positive effects on judgement accuracy only in the first group.



자가 생성된 단서의 스캐폴딩

Scaffolding self-generative cue prompts


단서를 자가생성하는 활동에서 예측적 단서를 얻었더라도, 어떤 경우에는 개별 학생이 해석할 수 없는 상황이 발생할 수 있다. 던로스키, 하트비히, 로슨, 립코22의 연구에서 학생들은 과학 교과서를 읽도록 요청받았는데, 각각 4개의 핵심 용어와 정확히 배워야 할 용어의 정의를 포함하고 있었다.22

Circumstances can arise in which self-generative cue prompts lead to predictive cues that are not interpretable by individual students. In work by Dunlosky, Hartwig, Rawson and Lipko22 students were asked to read science texts, each containing four key terms and their definitions that needed to be correctly learned.22


놀랍게도, 학생들이 그들의 성적을 판단하기 전에 주요 용어에 대한 정의를 내리게 하는 것은 여전히 낮은 절대 감시 정확도로 이어졌다 – 그들의 판단은 실질적으로 과신했다. 이는 학생들이 자신이 검색한 정의의 질을 스스로 평가하지 못하고 대신 예측성이 떨어지는 단서, 즉 '접근가능성'에 의존하기 때문일 가능성이 있었다. 즉, 학생들은 그 정의의 질에 상관없이 어떤 정의에 접근할 수 있을 때 그들의 학습에 자신 있었다.

Puzzlingly, having students generate definitions of key terms prior to judging their performance still led to poor absolute monitoring accuracy – their judgements were substantially overconfident. This was likely to be because of students’ inability to self-assess the quality of the definitions they had retrieved, instead relying on a less predictive cue, namely ‘accessibility’. That is, students were confident in their learning when they were able to access any definition, regardless of the quality of that definition.


예를 들어, 핵심용어 실험에서, 모니터링 정확도를 향상시키기 위한 첫 번째 시도로 학생들에게 자체 생성된 정의를 판단할 때 실제 정의를 함께 제공하였다. 그렇게 하는 것은 그들의 과신을 감소시켰지만, 그들은 여전히 완전히 틀린 정의를 정확히 떠올렸다고 종종 말했다. 그러나, 이러한 support가 각각의 정의를 작은 아이디어로 분리한 아이디어 단위idea units를 포함했을 때, 자기과신은 거의 사라졌다. 학생들은 자신이 쓴 정의에 제공된 아이디어 유닛이 존재하는지 평가하도록 요청받았고, 그렇게 함으로써 자기과신을 극적으로 줄일 수 있었다.

For instance, in the key term study, a first attempt to improve monitoring accuracy involved supplying students with the actual definition at the time of judging their self-generated definitions. Doing so did reduce their overconfidence, but they still often said that they had correctly recalled a definition that was entirely incorrect. Overconfidence was nearly eradicated, however, when the support included the presentation of idea units in which each definition was separated into its smaller ideas. Students were asked to evaluate whether each idea unit was present in their self-generated definition, and doing so dramatically reduced overconfidence.



자가생성적 단서가 실패하는 경우: 예측 단서 사용에 대한 명시적 교육

When self-generative cue prompts fail: explicit teaching of predictive cue use



특정 학습 상황에서 판단 과제에 대한 효과적인 자기 생성 신호 프롬프트를 설계하는 것은 불가능할 수 있다. 두 가지 경우가 있는데, 첫째, 학습 과제가 생성하는 예측 단서가 직관에 반하는 것처럼 느껴질 때, 둘째, 시험 응시 상황에서 그러하다.

For certain learning situations, it may be impossible to design an effective self-generative cue prompt for a judgement task. First, when the predictive cues a learning task generates are experienced as counterintuitive, and second, in test-taking situations.


예를 들어, 첫 번째는 학습 시간 간격spacing 학습 또는 학습 중 자가 테스트와 같은 학습 전략과 같은 경우가 그러하다. 이러한 학습 전략이 만들어내는 어려움의 느낌은 비록 그 전략이 학습을 향상시키더라도 학생들이 그들의 학습을 낮게 판단하도록 이끌 수 있다. 따라서 학습 촉진에 효과가 있다는 강력한 증거에도 불구하고 시험testing과 간격sparing을 사용하였다고 보고하는 학생은 거의 없다.23

The first happens, for example, learning strategies such as spacing learning sessions or self-testing during learning. The feeling of difficulty these learning strategies generates can lead students to judge their learning as low even though the strategies improve learning. Therefore, few students report using testing and spacing, despite robust evidence indicating their effectiveness in promoting learning.23


이러한 조작의 소위 '바람직한 어려움' – 도입을 학생들은 거의 인정하지 않는다.23 26 그러한 경우, 학생들은 이러한 전략의 긍정적인 효과와 이와 같은 예측 단서의 반직관적인 성격에 대해 직접 배울 필요가 있다.

The so-called ‘desirable difficulties’ these manipulations – introduce are hardly ever recognised by students.23 26 In such cases, students need to be directly taught about the positive effect of these strategies and the counterintuitive nature of the predictive cues they generate.


둘째, 학습 중 모니터링에 초점을 맞춘 효과적인 개입에 대해 검토한 문헌이 있다. 그러나, 학생들은 자신의 퍼포먼스를 정확하게 모니터할 수 있어야 한다(예: 임상 결정을 내리거나 시험을 볼 때). 테스트 응시 상황을 생각해보자. 학생들은 어떻게 그들이 그들의 고른 답안이 옳은지를 어떻게 모니터할 수 있으며, 혹은 정확한 기준이 없을 때 어떤 반응을 받아들일지adapt response 모니터할 수 있는가? 그러한 경우, 학생들은 자신의 시험 수행 행동을 분석함으로써 예측 단서를 추론할 수도 있다(예: 응답 생성에 소요된 시간 또는 노력 분석). 

Second, the literature reviewed above on effective interventions focused on monitoring during learning. However, students must be able to accurately monitor performance too (e.g. when making clinical decisions or taking a test). Consider a test-taking situation: How do students monitor whether they are correct in their test responses or when they should adapt some of the responses in the absence of a cor-rect standard? In such cases, students can also deduce predictive cues from analysing their own test-taking behavior (e.g. analysing how much time or effort it took to generate a response). 


앞의 사례에서, [아이디어 유닛]을 포함한 지원은 [아이디어 유닛]이 산출물을 평가하는 데 도움을 주었고, 이로 인해 제공되는 스스로 작성한 답안을 평가하는 예측 단서가 개선되었다. 중요한 것은, 학생들에게 제공되는 피드백이나 지원이 [학생들이 작성한 답안의 퀄리티와 관련하여 학생들이 스스로 평가할 수 있는 방식으로 제시되어야 한다]는 것이다.

The support including idea units aided them in evaluating their output, which led to improved availability and use of the predictive cues the self-generation task provided. What appears crucial is that the feedback or support relates to the quality of generated content and that it is presented in a way that enables students to self-evaluate.


Eva와 Regehr28,29는 학생들이 답을 고르는 데 시간이 오래걸리는 것을 부족한 지식의 신호로 본다는 것을 보여준다. McConnell 외 연구진 외 연구진들은 이 접근방법을 캐나다 자격심사 파트 1의 고위험의학협의회로 확장하고 

(i) 질문에 대한 응답에 필요한 시간, 

(ii) 추가 검토가 필요하다고 확인된 질문의 수(예: 'flag'해둔 질문), 

(iii) 최초 선택한 답안의 변경 가능성 등을 분석하였다. 

이 세가지 지표는 모두 응답의 정확성과 관련이 있었고 정확한 자기 모니터링의 증거를 제시했다. 정답을 골랐을 때에 비해, 학생들은 틀린 문항에서 더 오랜 시간이 걸렸고, 이 항목들에 플래그를 붙일 가능성이 높았으며, 초기 답을 바꿀 가능성이 더 높았다.

Eva and Regehr28,29 shows that students interpreted their longer decision times as a sign of less knowledge. Research by McConnell et al.30 extended this approach to the high-stakes Medical Council of Canada Qualifying Examination Part I and analysed (i) the time needed to respond to questions, (ii) the number of questions students identified as needing further consideration (i.e. questions that were ‘flagged’) and (iii) the likelihood of changing their initial response. All three of these indices were related to correctness of responses and indicated proof of accurate self-monitoring: compared with correct answers, students took longer to provide incorrect answers, were more likely to flag these and were more likely to change their initial answer.


학생들에게 의사결정 시간과 모니터링 판단에 정보를 제공하는 데 사용하는 방법과 같은 행동 단서의 예측 가치에 대해 분명하게 가르치는 것은 시험 응시 중 모니터링과 조절regulation를 개선하기 위한 가능한 효과적인 전략이다.

Teaching students explicitly about the predictive value of behavioural cues such as decision times and how to use them to inform monitoring judgements is a possibly fruitful strategy to improve monitoring and regulation during test taking.



의학교육에 단서 진단력과 단서 활용성의 적용

APPLICATION OF CUE DIAGNOSTICITY AND CUE UTILISATION IN MEDICAL EDUCATION


개념지식 습득

Gaining conceptual knowledge


위에서 설명한 증거를 바탕으로 우리는 (학습 후 약간의 지연을 둔)자가-생성 단서 프롬프트가 학생들이 개념적 지식(예: 의학 교과서 장 또는 과학 기사)을 배울 때 예측 단서를 활성화하는 데 도움이 될 것으로 예측한다. 학생들이 키워드를 생성하거나, 요약문을 작성하거나, 일부 학습 내용에 대한 구조화된 다이어그램을 완성하는 등의 프롬프트가 이 범주에 포함됨19–21

Based on the evidence outlined above, we predict that self-generative cue prompts (possibly at a delay after learning) will help students activate predictive cues when learning conceptual knowledge (e.g. from medical textbook chapters or scientific articles). Prompts such as having students generate keywords, write a summary or complete a structured diagram about some studied information fall into this category19–21


학생들이 먼저 예측 단서를 생성하고 인식하여 보다 통제된 환경(예: 텍스트 연구에 초점을 맞춘 강의실 환경)에서 사용하도록 교육하는 것은 (강의 중이나 시험을 볼 때와 같이) 교실 밖에서 자기 주도 학습 중에 예측 단서 사용을 개선할 수 있는 길을 닦아줄 것이다. 이러한 연구는 각 설정에서 예측(비예측적) 단서의 특성에 대한 통찰력을 제공할 수 있도록 설계되어야 한다.

Training students to first generate and then recognise and use predictive cues in a more controlled setting (such as a classroom environment focusing on text study) could pave the way for improving predictive cue use during self-directed learning outside of the classroom, during a lecture or when taking a test. These studies should be designed in such a way as to provide insight into the characteristics of predictive (versus non-predictive) cues in each of these settings.


신호 전달 개입cue-prompt intervention의 사용이 증가함에 따라 [(일반적) 성찰 교육]보다는 [특정 직무에 초점을 둔 교육]으로 촛점이 이동할 수 있다는 점에 유의하십시오. 일반적으로 [학습 과제, 기술, 교육 과정 또는 인턴십(예: 포트폴리오를 통한) 전반에 걸친 성찰]에 중점을 두는 현재의 상황과 비교한다면, 이 새로운 물결은 단일 학습 과제의 모니터링 및 조절이라는 미세 영역으로 줌-인할 것이다.

Note that increased use of cue-prompt interventions may promote a shift of instruction on reflection towards a focus on specific tasks. Compared with the current situation where the emphasis typically lies on reflection across learning tasks, skills, courses or internships (e.g. through a portfolio)31, this new wave will zoom in on the micro-level of monitoring and regulation of a single learning task.



임상추론

Clinical reasoning


학생들이 개념적 지식을 처리하는 것에 대한 감시적 판단과는 달리, 학생들이 임상 추론을 모니터링할 때 사용하는 단서에 대해서는 거의 알려져 있지 않다. 임상 추론 중 큐 사용에 대해 알려진 것은 의학 전문가들의 연구에 기초한다. 예를 들어, 전문가들은 임상 실습 중 [처리 속도가 느려지는 것]을 처리 난이도가 높아진 것에 대한 신호로 해석하고 그들의 행동을 조정하기 위한 신호로 알려져 있다(예: 동료로부터 도움을 구함). 이러한 속도 저하는 전문가가 '자동성의 가장자리edge'에 도달한 것으로 해석된다. 그러나, 속도 저하 신호는 전문가의 자동성에 따라 달라지며 초보자에게는 효용이 제한되어 있다.

Contrary to students’ monitoring judgements of processing conceptual knowledge, very little is known about the cues students use when monitoring clinical reasoning. What is known about cue use during clinical reasoning is based on research by medical experts. For example, experts are known to interpret their own slowing down during clinical practice33 as a cue for processing difficulty and as a sign to adjust their behaviour (e.g. seek help from a colleague). This slowing down is interpreted as the expert reaching the ‘edges of their automaticity’. However, the slowing down cue depends on expert automaticity and is of limited utility for novices.


예를 들어, 고충실도 시뮬레이터를 사용한 심장 진단에 대한 연구는 trainee들이 짧은 임상 줄기로부터 제공된 정보에 과도하게 의존한다는 것을 밝혀냈다.

For instance, studies on cardiac diagnosis using a high-fidelity simulator have identified that trainees rely excessively on the information provided from a short clinical stem.


즉, trainee는 (임상 줄기가 아니라) 신체 검사에서 얻은 단서에 의존할 수 없었고, 진단 인상을 형성하는 데 있어서 (임상 기록의 예측 단서보다) 덜 가치 있는 단서들을 과대평가했다는 것을 시사한다. 보고된 신뢰도의 범위가 매우 넓다는 것은 또한 trainee들이 심장 진단에서 정확성에 대한 판단을 형성할 때 비예측적 단서에 집중하고 있음을 보여준다.

These experiments suggest that trainees were unable to rely on cues from their physical examination and instead overvalued less predictive cues from clinical history in forming their diagnostic impressions. The wide range of reported confidence, with both under- and overconfidence, also indicates these trainees are attending to non-predictive cues when forming judgements of their accuracy in cardiac diagnosis.


임상적 추론에서 최소 기준에 맞춘 성과의 판단은 특히 중요하다. 학생들은 환자를 안전하게 치료할 수 있는지, 그리고 그렇게 할 수 있는 지식과 기술을 가질 수 있는지를 스스로 모니터링 하는 방법을 배워야 한다. 이는 예측 단서 프롬프트 개발에 포함되어야 한다(예: 언제 도움을 요청해야 하는지 알고, 지식과 기술이 실패했을 때 인지하도록 학생들에게 요구하는 것). 효과적인 큐 프롬프트가 정의되면, 그러한 지침은 자습 학습을 촉진하는 자습자 독립적인 자료를 통해서도 구현될 수 있다.39

In clinical reasoning, judgement of performance relative to a minimum standard is of particular importance. Students should learn to monitor whether they can safely treat a patient and have the knowledge and skills to do so. This should be incorporated in development of predictive cue prompts (e.g. by requiring students to reflect on issues such as knowing when to ask for assistance and recognising when their knowledge and skills fail). Once effective cue prompts are defined such instruction could also be implemented through tutor-independent materials promoting self-regulated learning.39


결론

CONCLUSION


의대생과 연습생의 학습 및 성과에 대한 정확한 판단은 예측 단서의 사용 가능성과 실제 사용에 달려 있다. 인지 심리학 연구는 학습과 성과를 판단하기 전에 스스로 예측 단서를 생성하면 학습과 성과의 모니터링과 조절를 개선할 수 있다고 제안한다. 그러나 이러한 연구의 대부분은 실험실 같은 학습 환경에 기초하였다.

Medical students’ and trainees’ accurate judgements of learning and performance critically depend on the availability and use of predictive cues. Cognitive psychology research suggests that self-generating predictive cues prior to judging learning and performance can improve monitoring and regulation of learning and performance. However, the majority of these studies were based in laboratory-like learning environments.


30 McConnell MM, Regehr G, Wood TJ, Eva KW. Self-monitoring and its relationship to medical knowledge. Adv Health Sci Educ 2012;17 (3):311–23. XXX








 2017 Jun;51(6):575-584. doi: 10.1111/medu.13267. Epub 2017 Mar 23.

Monitoring and regulation of learning in medical education: the need for predictive cues.

Author information

1
Maastricht University, Maastricht, The Netherlands.
2
Kent State University, Kent, Ohio, USA.
3
University of Toronto, Toronto, Ontario, Canada.

Abstract

CONTEXT:

Being able to accurately monitor learning activities is a key element in self-regulated learning in all settings, including medicalschools. Yet students' ability to monitor their progress is often limited, leading to inefficient use of study time. Interventions that improve the accuracy of students' monitoring can optimise self-regulated learning, leading to higher achievement. This paper reviews findings from cognitive psychology and explores potential applications in medical education, as well as areas for future research.

COGNITIVE PSYCHOLOGY:

Effective monitoring depends on students' ability to generate information ('cues') that accurately reflects their knowledge and skills. The ability of these 'cues' to predict achievement is referred to as 'cue diagnosticity'. Interventions that improve the ability of students to elicit predictive cues typically fall into two categories: (i) self-generation of cues and (ii) generation of cues that is delayed after self-study. Providing feedback and support is useful when cues are predictive but may be too complex to be readily used.

APPLICATION TO MEDICAL EDUCATION:

Limited evidence exists about interventions to improve the accuracy of self-monitoring among medical students or trainees. Developing interventions that foster use of predictive cues can enhance the accuracy of self-monitoring, thereby improving self-study and clinical reasoning. First, insight should be gained into the characteristics of predictive cues used by medical students and trainees. Next, predictive cue prompts should be designed and tested to improve monitoring and regulation of learning. Finally, the use of predictive cues should be explored in relation to teaching and learning clinical reasoning.

CONCLUSIONS:

Improving self-regulated learning is important to help medical students and trainees efficiently acquire knowledge and skills necessary for clinical practice. Interventions that help students generate and use predictive cues hold the promise of improved self-regulated learning and achievement. This framework is applicable to learning in several areas, including the development of clinical reasoning.


자기조절이론: 의학교육에 적용 AMEE Guide No. 58 (Med Teach, 2011)

Self-regulation theory: Applications to medical education: AMEE Guide No. 58

JOHN SANDARS1 & TIMOTHY J. CLEARY2

1University of Leeds, UK, 2University of Wisconsin-Milwaukee, USA




도입

Introduction


자기조절이란 무엇인가?

What is self-regulation?


자율규제는 '개인적인 목표 달성을 위하여, 계획되고 주기적으로 적응하는, 스스로 만든 생각, 감정, 행동'으로 정의되어 왔다(Zimmerman 2000, 페이지 14).

Self-regulation has been defined as, ‘self-generated thoughts, feelings, and actions that are planned and cyclically adapted to the attainment of personal goals’ (Zimmerman 2000, p. 14).


경영능력, 자기 관리, 자기 주도, 자기 감시 및 자기 통제와 같은 다양한 '조절 관련' 용어가 문헌에서 사용되어 왔다.

a variety of ‘regulation-related’ terms have been used in the literature, such as executive functioning, self-management, self-directedness, self-monitoring and self-control.


현실에서 자기조절이론 

Self-regulation theory in practice


개인이 자신의 행동(행동), 인지(생각) 및/또는 환경(서라운드)을 통제하는 일련의 뚜렷한 프로세스를 설명하는 경험적으로 지원되는 여러 자기조절모델이 있다(Puustinen & Pulkkkinen 2001).

There are several empirically supported self-regulation models which delineate a set of distinct processes through which individuals exert control of their behaviour (actions), cognition (thoughts) and/or environment (surroundings) (Puustinen & Pulkkinen 2001).


1960년대와 1970년대에 시작된 반두라의 일과 이론을 역사적으로 바탕으로 한 자기조절의 사회인식모델에서는 개인은 자신의 삶의 적극적 참여자로서, 개인적 목적을 달성하기 위하여 [생각, 행동, 환경요인을 조절함으로써] 중요한 사건에 대한 통제권을 갖는다고 본다.

Social-cognitive models of self-regulation, which are historically based on the work and theories of Bandura beginning in the 1960s and 1970s, suggest that individuals are active participants in their lives who seek control over important events through the regulation of their thoughts, actions and environmental factors to achieve personal goals (Bandura 1986).


여러 요인 중 언제든지 특정 요인이 우세할 수 있다. 예를 들어, 지나치게 시끄러운 환경이나 책의 내용에 대한 관심이 부족하면 책이 잘 안 읽힌다. 반두라는 인간은 단순히 학습에 소극적인 참여자일 뿐 아니라, 자신의 행동과 학습 환경이나 맥락에 대한 통제력을 적극적으로 발휘하려고 한다고 주장할 것이다. 책을 읽는 예에서, 이렇게 책을 잘 읽기 어려운 환경에서, 학생들은 보다 조용한 학습 환경을 마련하거나, 책을 읽는 것의 중요성이나 가치에 관한 동기부여적인 자기 대화에 참여하거나, 본문을 읽는 목표를 달성하기 위해 적극적으로 학습 맥락을 구성할 수 있다. 

At any given time, one factor may predominate. For example, reading a book may be inhibited by an excessively noisy environment or due to a person’s lack of interest in the content of the book. Bandura would argue that humans are not merely passive participants in learning, but that they proactively seek to exert control over their behaviour and learning environment or context. In the illustrative example of reading a book, frustrated students can actively structure their learning context to attain their goal of reading the text, such as arranging a more quiet study environment or engaging in motivational self-talk regarding the importance or value of reading the book. 


개인의 목표를 추구하기 위해 이러한 적극적인 조정을 하는 과정은 자기조절의 핵심이며, 이 과정은 자기효능과 같은 개인의 자기신념과 판단에 의해 크게 조정된다. 한 사람이 자신의 역량에 대해 가지고 있는 인식은 [피로, 지루함 또는 스트레스 등을 당면한 상황에서, 노력을 지시direct하고 지속sustain하는 능력에 대한 강력한 결정 요인]이다.

This active process of making adjustments in the pursuit of personal goals is at the heart of self-regulation and is largely mediated by an individual’s self-beliefs and judgements, such as self-efficacy. Perceptions of personal competency are powerful determinants of one’s ability to direct and sustain efforts in the face of fatigue, boredom or stress.


본 가이드에서는, 다양한 이론에 걸쳐 공유되는 자기 규제 학습자의 세 가지 중요한 특성에 대해 중점적으로 설명하기로 한다. 

(1) 목표 지향적 행동, 

(2) 목표를 달성하기 위한 구체적인 전략의 사용 

(3) 학습을 최적화하기 위한 행동이나 전략에 대한 적응과 수정.

In this Guide, we will focus on three important characteristics of self-regulated learners that are shared across the various theories: 

(1) goal-directed behaviour, 

(2) use of specific strategies to attain goals, and 

(3) the adaptation and modification to one’s behaviours or strategies to optimise learning.




주기적 조절

Cyclical regulation.


'순환 고리'는 개인이 직무별 및 인지적 전략을 능동적으로 사용하는 반복적인 과정에 관여하고 목표 달성에 있어 이러한 전략의 효과에 대한 정보를 지속적으로 수집하는 것을 의미한다. 그림 1을 참조하십시오.

‘cyclical loop’ means that individuals will engage in an iterative process during which they proactively use task-specific and metacognitive strategies, and continuously gather information about the effectiveness of these strategies in achieving their goals. See Figure 1.



(a) 수행 전 단계

(a) Before (or forethought) phase


정교한 자기 규제 학습자들은 과제나 활동의 성격을 이해하려고 노력한 다음 그 학습 과제를 잘 수행할 목표와 구체적인 계획을 설정함으로써 능동적으로 '준비'할 것이다. 짐머만(2000년)은 이러한 준비단계는 자기규제 학습자의 능동적인 본질을 강조하고 있으며, 그러한 준비 생각과 행동은 학습이 일어난 후 적응적 자기평가와 성찰을 촉진한다고 주장한다. 

Sophisticated self-regulated learners will proactively ‘prepare’ by seeking to understand the nature of an assignment or activity and then setting goals and specific plans to perform well on that learning task. Zimmerman (2000) argues that this preparatory phase underscores the proactive essence of self-regulated learners and that such preparatory thoughts and actions facilitate adaptive self-evaluation and reflection after learning has occurred. 


또한 자기 효능감, 목표 지향성, 과제 관심 또는 가치와 같은 자기 동기 부여 신념은 학습자가 자율 규제 과정에 참여하기 위해 필요한 노력을 기울이는 자극이나 동기를 제공한다는 점에 유의해야 한다. 

It is also important to note that self-motivation beliefs, such as self-efficacy, goal orientation, and task interest or value, provide the impetus or motivation for a learner to put forth the necessary effort to engage in the self-regulation process. 



(b) 수행 중 단계

(b) During (or performance) phase


또한 자기조절적 학습자는 주의 집중, 이완, 긍정적인 자기 대화 및 절차 단계의 정신적 리허설 같은 특정한 전략을 사용함으로써 학습 중 행동과 생각을 통제하려고 시도할 것이다(Wolters 2003).

Self-regulated learners will also attempt to control their behaviours and thoughts during learning by employing specific tactics, such as attention focusing, relaxation, positive self-talk and mental rehearsal of the steps of a procedure (Wolters 2003).


자기조절적 학습자는 매우 전략적이기 때문에 미리 생각한 목표를 달성하기 위해 감정, 인지, 행동을 관리하는 것을 적극적으로 추구할 것이다. 많은 이론가들이 학생들의 학습과 수행에 인지 제어와 자기 모니터링의 역할을 강조한다는 점에 주목해야 한다(Winne & Hadwin 1998; Zimmerman 2000). 즉, 얼마나 학습이 성공적이었는가를 능숙하게 관찰하고 알아채고, 그에 따라 여기에 기여한 조건이나 요인을 밝히는 것은 조절 프로세스의 핵심이다.

Regulated individuals are highly strategic in nature and thus will actively seek to manage emotions, cognition and behaviour in order to attain their forethought goals. It is important to note that many theorists emphasise the role of metacognitive control and self-monitoring as students learn or perform (Winne & Hadwin 1998; Zimmerman 2000). That is, the extent to which students can skilfully observe, or notice, when learning is successful or not and then to identify the contributing conditions or factors influencing that learning is a key regulation process.


(c) 수행 후 단계

(c) After (or self-reflection) phase


학생들이 학습하기 위해 사용하는 구체적인 전략과, 이러한 전략의 성공과 관련된 정보에 대한 지식이 수행 후 단계의 기초를 확립한다(Zimmerman 2000). 개인이 목표를 달성했는지 여부를 스스로 평가하고, 성공 또는 투쟁의 원인이 되는 1차적 요인을 식별하는 것을 추구한다는 점에서 이것은 자기조절의 마지막 단계인 자기성찰 단계에 들어간다.

Students’ knowledge of the specific tactics they use to learn as well as information related to the success of these strategies sets the foundation for the after phase of self-regulation (Zimmerman 2000). It is during this final self-reflection phase of self-regulation in that individuals self-evaluate whether they have attained their goals and seek to identify the primary factors causing them to succeed or struggle.


자기조절 이론가들은 학생들이 학업성취도 문제로 고군분투할 때 귀인이라고 불리는 이 인지적 자기판단이 특히 중요하다고 주장할 것이다. 원인에 대한 귀인은 학생들의 후속 행동과 학습 지속 동기를 잘 예측한다(Weiner 1986).자율규제의 주기적인 관점을 지지하는 이론가들은 또한, 학생들이 성찰에 참여한 후에, 미래 학습을 위한 목표나 전략을 수정하거나 수정하여 규제 피드백 루프의 다음 반복을 시작하도록 결정할 것을 제안한다. 

Self-regulation theorists would argue that this latter type of cognitive self-judgement, called attributions, is of particular importance when students struggle with academic performance. Causal attributions are highly predictive of students’ subsequent behaviours and motivation to sustain learning (Weiner 1986).Theorists who support a cyclical viewpoint of self-regulation would also suggest that after students engage in reflection,they will make decisions about modifying or adapting their goals or strategies for future learning, thereby initiating the next iteration of the regulatory feedback loop. 


자신의 수행전략에 귀인하는 것은 이상적인 방식인데, 왜냐하면 전략을 사용하는 방식을 본질적으로 바꿀 수 있기 때문에 새로운 학습 활동에 참여하기 전에 수정하거나 조정할 수 있기 때문이다. 학생들이 자신이 어려워하는 이유를 능력 부족과 같은 고정된 개인적인 요소들 또는 운이나 선생님의 기술과 같은 외부적이고 통제할 수 없는 요소들 탓으로 돌릴 때, 이러한 학생들에게서는 동기부여가 저하되고 참여가 낮아진다.

Strategic attributions are ideal because strategy use is inherently changeable and thus can be modified or adjusted prior to engaging in a new learning activity. when students blame their struggles to fixed personal factors, such as poor ability, or to external and uncontrollable factors, such as luck or the skill of the teacher, poor motivation and disengagement become most pronounced in these individuals.



목적-지향적 행동

Goal-directed behaviour.


주기적 규제의 첫 단계는 수행 전 생각을 하는 것이다.

The initial phase of cyclical regulation involves engagement in forethought,


이 단계 내의 핵심 하위 프로세스 중 하나는 목표 설정이며, 목표라는 것은 [자신이 개인적으로 확립한 학습이나 수행의 기준 또는 특정 결과]라고 정의할 수 있다(Locke & Latham 1990). 목표는 동기부여 기능을 하며 학습 과정이나 결과의 특정 측면에 대한 학생들의 주의를 유도할 수 있기 때문에 자기조절모델에서 중요하다.

One of the key subprocesses within this phase is goal-setting, which has been defined as the standards or specific outcomes of learning or performance that are personally established by an individual (Locke & Latham 1990). Goals are important in self-regulation models because they serve a motivation function and can direct students’ attention on specific aspects of the learning process or outcomes.


프로세스 목표와 결과 목표. 

    • 결과 목표는 시험 성적과 같은 학습의 최종 제품을 강조하는 경향이 있으며, 

    • 과정 목표는 학습을 위해 사용하는 단계, 절차 또는 전략을 포함한다(Zimmerman & Kitsantas 1996). 

    • 결과 목표가 긍정적인 동기부여와 규제적 효과를 발휘할 수 있지만, 

    • 과정 목표는 학생들이 처음 과제나 기술을 수행하는 방법을 배우거나 과제를 마스터하기 위해 고군분투하는 상황에서 특히 유용하다.

process and outcome goals. Outcome goals tend to emphasise the final products of learning, such as a test grades, where process goals involve the steps, procedures or strategies that one employs to learn (Zimmerman & Kitsantas 1996). Although outcome goals can exert positive motivational and regulatory effects, process goals are particularly beneficial in situations when students are first learning how to perform a task or skill or when they struggle to master the task.


연구자들은 과제에서 높은 수준의 숙련도나 전문지식을 획득한 학생들을 살펴보면, 이들은 결과 목표보다 프로세스 목표를 설정하는 경우가 더 많다는 것을 발견했다. 또한, 의학 교육 환경에서 채용된 정성적 연구에서 클리어리와 샌더스(2011년)는 정맥 작업을 능숙하게 해낸 의대생들은 프로세스 또는 기술 목표를 일관되게 나타낸 반면, 이 절차에 어려움을 겪은 학생(혈액을 성공적으로 뽑기 위한 세 번의 시도가 필요함)들은 결과 목표를 강조하는 경향을 보였다고 보고했다.

Researchers have found that students who have attained a high level of proficiency or expertise on a task report setting process goals more frequently than outcome goals. Furthermore, in a qualitative study employed in a medical education context, Cleary and Sandars (2011) showed that medical students who demonstrated proficiency on a venepuncture task consistently displayed process or technique goals, whereas those who struggled with this procedure (need to have three attempts to successfully draw blood) tended to emphasise outcome goals.


요컨대, 목표는 동기부여의 역할을 하고, 배우는 동안 목표의 내용에 대한 학생들의 주의를 지시하며, 개인이 학교에서 자신의 성공을 스스로 평가하는 기준으로 작용하기 때문에 중요하다.

In short, goals are critical because they serve a motivational role, direct students’ attention on the content of the goal during learning, and act as the standards against which individuals self-evaluate their success in school.


전략적 인식 및 행동

Strategic awareness and behaviours.


프로세스 목표를 능동적으로 수립하고 전략 계획을 수립하는 학생은 과제 수행 중에 이러한 전략을 사용할 가능성이 더 높다. 단, 전략의 종류나 종류는 제각기 뚜렷한 목적과 목표를 가지고 있다는 점에 유의해야 한다.

Students who proactively establish process goals and who develop strategic plans are more likely to use such strategies during task performance. However, it is important to note that there are different classes or types of strategies, with each having distinct purposes and goals.


두 가지 전략: 동기부여전략, 정보/학습의 최대화 전략(Zimmerman 2000; Wolters 2003).

managing motivation versus maximise acquisition of information or learning(Zimmerman 2000; Wolters 2003).


    • 자기 보강, 자기 계발, 환경 구조와 같은 자기 통제 전략은 학생들의 주의를 관심의 과업으로 유도하고 노력과 끈기를 유지하도록 고안된 것이다. 

    • 이와는 달리, 개념 맵 사용, 학습의 핵심 용어 식별 및 수업 노트와 교과서 정보의 비교와 같은 학습 전략은 학습과 성과를 용이하게 한다.

In short, self-control strategies, such as self-reinforcement, self-instruction and environmental structuring, are designed to direct students’ attention to the task of interest and to sustain effort and persistence. In contrast, learning strategies, such as using concepts maps, identifying key terms to study and comparing class notes to textbook information, facilitate learning and performance


학생들이 전략적인 사고방식과 이용자가 되도록 훈련하는 것은 학생들의 학업내용이나 연령에 관계없이 대부분의 학생에 대한 자기조절 개입 프로그램의 중심 요소라는 점에 유의해야 한다.

It is important to note that training students to become strategic thinkers and users is a central component of most academic self-regulation intervention programmes, regardless of academic content or age of the students.


적응과 유연성

Adaptation and flexibility.


학생들이 학교에서 struggle할 때는 목표나 전략 계획을 어느 정도까지 조정하는지가 가장 중요하다.

The extent to which students adapt their goals or strategic plans is of greatest importance when students struggle in school.


주기적 순환의 모든 단계와 유사하게, 자기반성 또는 '후' 단계는 

    • 자기평가(목표나 표준과 자신의 성과를 비교), 

    • 귀인(성과에 대한 이유 인식), 

    • 적응적 추론(학습 개선에 필요한 변경이나 조정에 관한 결론)과 같은 몇 가지 하위 프로세스를 포함한다(Zimmerman 200).0). 

이 모든 하위 과정이 중요하지만 인과적 귀인에 초점을 맞출 것이다.

Similar to all phases of the cyclical loop, the self-reflection or ‘after’ phase involves several sub-processes, such 

    • self-evaluation (comparing performance to goals or standards), 

    • attributions (perceived reasons for performance) and 

    • adaptive inferences (conclusions regarding modifications or adjustments required to improve learning) (Zimmerman 2000). 

Although all these sub-processes are important, we will focus on causal attributions


학생들이 하는 귀인의 종류는 실패 후의 인지적, 영향적, 행동적 반응에 영향을 미칠 것이며, 따라서 미래의 학습 노력을 상당히 예측한다.

the types of attributions students make will impact their cognitive, affective and behavioural reactions following failure and thus are quite predictive of future learning efforts.


Weiner에 따르면, 기여는 세 가지 차원에 따라 분류될 수 있다:

    • 로쿠스(내부 또는 외부), 

    • 안정성(원인이 시간이 지남에 따라 얼마나 안정적이었는가), 그리고 

    • 관리성(통제할 수 있는 정도)

According to Weiner,attributions can be classified into of one of three dimensions: 

    • locus (cause is either internal or external), 

    • stability (how stable the cause is over time), and 

    • controllability (extent to which the can be controlled). 


연구자들은 노력과 전략 사용과 같이 내부적이고 불안정하며 통제할 수 있는 것에 귀인하는 사람들은 그들의 지속성과 전략의 사용에 있어 높은 성취도와 적응력이 있다는 것을 보여주었다(Cleary & Zimmerman 2001; Cleary et al. 2006).

Researchers have shown that those who make internal, unstable and controllable attributions, such as effort and strategy use, tend to be high achieving and adaptive in their persistence and use of strategies (Cleary & Zimmerman 2001; Cleary et al. 2006)


반두라에 따르면, 실패에도 불구하고 개인의 효능을 유지하는 것은 학생들의 노력과 끈기를 유지하는 데 있어 가장 중요한 요소 중 하나라고 한다. 또한, 실패에 따른 전략적 귀인을 하는 것은 궁극적으로 성공적인 직무 수행과 관련된 핵심 전략, 프로세스 또는 기술 요인에 대해 학습자가 주의를 기울이게 유도할 것이다(Cleary et al. 2008).

According to Bandura, sustaining a sense of personal efficacy in the face of failure is one the most important factors in sustaining students’ effort and persistence. In addition making strategic attributions following failure will direct students’ attention on the key strategies, processes or tech-niques that are ultimately linked to successful task performance (Cleary et al. 2008).


연구에 따르면 학생들이 전략적 귀인을 하도록 훈렴함으로써 성적을 향상시킬 수 있다고 한다.

Research has found that training students to make strategic attributions can improve their performance.


즉, 자유투를 놓쳤을 때, 이것을 부적절한 전략으로 귀인하는 학생들은 개선을 위해 슈팅 기법을 수정하거나 조정할 필요가 있다는 결론을 내릴 가능성이 높았다. 자유투를 놓친 뒤 전략적인 귀속을 한 학생들은 이런 훈련을 받지 않은 학생들보다 연습 시간에 자유투 수행능력을 빨리 조절하는 데 더 뛰어났다는 점도 눈여겨 볼 필요가 있다.

That is, students who attributed their missed free-throws to poor strategy use were more likely to conclude that they needed to modify or adjust their shooting technique in order to improve. It should be noted that students who made strategic attributions following missed free-throws, showed better skill at quickly adjusting their shooting performance during the practice session than those who did not receive such training.


결론적으로, 학습에서 자기조절 이론은 개인의 학습이나 수행과제에 접근하는 방법에 영향을 주기 위해 유동적인 심리적 과정이 어떻게 상호작용하는지를 이해할 수 있는 템플릿을 제공한다.

In conclusion, academic self-regulation theories provide a template from which one can understand how malleable psychological processes interact to influence how individuals approach a learning or performance task.



의료교육에 대한 자율적 규제이론의 적용

The application of self-regulation theory to medical education


의료 교육에서 가르치고 배우는 많은 현재 접근방식은 문제 기반 학습의 목표 설정과 같은 자율 규제 이론의 일부 측면을 적용한다(Lycke et al. 2006). 그러나, 우리의 의견으로는, 의학 교육의 실천에는 여전히 자율규제의 포괄적인 이론적 모델에서 더 많은 도움을 받을 수 있는 가능성을 가지고 있다.

Many current approaches to teaching and learning in medical education apply some aspects of self-regulation theory, such as goal setting in problem-based learning (Lycke et al. 2006). However, in our opinion, the use of a comprehensive theoretical model of self-regulation has the potential to further inform the practice of medical education


학업 성취도 향상과 임상 성과 향상

academic improving achievement and improving clinical performance.


학업 성취도 개선

Improving academic achievement


이전의 연구는 자기조절이 학업적 성취도에 따른 대학생들의 상위와 하위 사이의 구별되는 특징이라는 것을 보여주었다.

Previous research has shown that self-regulation is a distinguishing characteristic between high and low academically achieving college students.


예를 들어, Zimmerman과 Kitsantas(1999)는 프로세스에서 결과물로 이전한 학생들이 결과만을 사용한 프로세스 목표를 사용하는 학생들을 능가한다는 것을 발견했다. 변화된 목표 그룹의 사람들은 그들의 글쓰기 수정 기술에서 우월했다.

For example, Zimmerman and Kitsantas (1999) found that students who shifted their forethought goals from processes to outcome outperformed those who used process goals, who in turn, surpassed those who only used outcome goals. Individuals in the shifting goal group were superior in their writing revision skill,


목표 설정은 학습자의 생각, 감정 및 행동에 영향을 미치기 때문에 학습의 자율적 규제의 중요한 측면이다. 학생들이 과정 목표와 결과 목표를 구별할 수 있는 것은 중요하다. 

    • 결과 목표는 각 장을 이해하는 것과 같은 활동의 최종 산물을 의미하지만, 

    • 프로세스 목표는 최종 결과 목표에 도달하는 방법을 의미한다. 

Goal setting is an important aspect of the self-regulation of learning since goals influence the learner’s thinking, emotions and actions. It is important that students can make a distinction between process goals and outcome goals. Outcome goals refer to the final product of the activity, such as understanding each chapter, but process goals refer to howthe final outcome goal will be reached. 



"학습한 내용의 요점을 요약한다"와 같은 프로세스 목표는 목표가 달성되고 있는지, 그리고 자기 적응적인 변화가 필요한지에 대한 신속한 자가 평가를 가능하게 하기 때문에 새로운 주제를 배우는 초기 단계에서 특히 중요하다.

Process goals, such as summarising the main points in the chapter, are especially important during the early stages of learning a new topic since they allow rapid self-evaluation of whether the goal is being attained and whether any self-adaptive changes need to be made.


성공적인 목표 달성은 적절한 전략을 사용해야 한다. 효과적인 학습자는 '시도해봤고, 신뢰할 수 있는', 자신이 좋아하는 작은 전략 레퍼토리를 가지고 있지만, 성취도가 낮은 학습자는 제한된 범위만의 전략을 사용하거나, 비효율적인 전략을 반복적으로 사용한다(Pressley & Ghatala 1990). 교과서와 강의 노트를 반복해서 읽어도 과목을 이해할 수 없다고 말하는 의대생들의 말을 듣는 것은 이상한 일이 아니다.

Successful goal attainment requires the use of appropriate strategies. Effective learners have a small repertoire of favourite strategies that are ‘tried and trusted’ but underachieving learners either have a limited range of effective strategies or repeatedly use ineffective strategies (Pressley & Ghatala 1990). It is not unusual to hear many underachieving medical students state that they cannot understand the subject despite repeatedly reading their text book or lecture notes.


독서를 하는 동안 자기조절 과정을 살펴본 연구는 높은 이해력을 가진 학생들은 지속적으로 자기-모니터링을 했으며, 자기-평가를 하였고, 이를 바탕으로 (기존에 사용하던 전략이 그들이 읽고 있던 텍스트를 이해하는 데 효과적이었는지에 따라) 전략의 선택에 관해 적응적인 변화를 만든다는 것을 밝혀냈다(Paris & Paris 2001). 예를 들어 일반적으로 사용되는 접근법은 예측, 질문, 명확화 및 요약의 네 가지 주요 전략에 집중한다.

Research that has looked at self-regulation processes during reading has identified that high-achieving readers constantly self-monitored, self-evaluated and made adaptive changes regarding their choice of strategies to ensure that these strategies were being effective for understanding the text that they were reading (Paris & Paris 2001). For example, one commonly used approach concentrates on four main strategies: predicting, questioning, clarifying and summarising.


선택된 전략이 가장 적절하고 효과적인지 여부를 구현하고 평가하는 것은 학습자가 스스로 수행하는 능동적인 과정이다. 목표 달성을 위한 진전뿐만 아니라 자신이 어떤 일에 어떻게 접근하는지에 대해 더 큰 자각을 가진 학습자는 도전에 직면했을 때 자신의 전략에 적응적인 변화나 조정을 할 가능성이 더 높다.

Implementing and evaluating whether a chosen strategy is the most appropriate and effective is an active process for the learner. Learners who have greater self-awareness of how they are approaching a task, as well as their progress towards their intended goal, are more likely to make adaptive changes or adjustments to their strategies when confronted with challenges.


학생들이 능동적이고 전략적인 학습자가 될 수 있는 정도는 내부 및 외부 피드백의 질과 관련이 있다(Butler & Winne 1995).

The extent to which students can become active, strategic learners is related to the quality of both internal and external feedback (Butler & Winne 1995).


학업 성취도의 또 다른 중요한 측면은 학습자의 동기부여다. 동기 부여는 학생들의 행동에 활력을 불어넣고 지도한다. 그것은 그들의 자기신념과 그 일에 대한 믿음의 영향을 받는다. 목표 설정과 귀인도 동기부여적 행동에 영향을 미치지만, 사회 인지 이론가들은 또한 기대와 가치와 같은 자기-동기적 믿음에도 일차적인 중요성을 둔다(위그필드 & 에클스 2000; Zimmerman 2000).

Another important aspect of academic performance is the motivation of the learner. Motivation energises and directs students’ behaviour. It is affected by their self-beliefs and also their beliefs about the task. Although goal-setting and attributions impact on motivated behaviours, social-cognitive theorists also place primary importance on self-motivation beliefs, such as expectancy and value (Wigfield & Eccles 2000; Zimmerman 2000). 


기대 판단특정 결과를 초래할 수 있는 특정 행동을 수행하는 기술에 대한 개인의 인식이다. 어떤 의미에서 이러한 유형의 판단은 개인이 자신이 얼마나 능력이 있다고 믿는지와 자신과 주어진 상황을 통제할 수 있는지의 여부를 포함한다. 가장 잘 조사된 기대 구조 중 하나는 자기효능 신념인데, 이는 특정 상황에서 특정 행동을 수행할 수 있는 자신의 능력에 대한 매우 구체적인 판단이다. 이러한 믿음은 매우 맥락에 의존적이기 때문에, 따라서 다른 상황에 따라 달라질 수 있고, 종종 실제로도 그러하다.

Expectancy judgements involve a person’s perceptions about the skill in performing specific actions that can lead to particular outcomes. In a sense, these types of judgements involve how capable an individual believes that he or she is and whether he or she has control over themselves and a given situation. One of the most well-researched expectancy constructs is self-efficacy beliefs, which are highly specific judgements about one’s capabilities to perform specific acts in a particular situation. These beliefs are highly contextualised and thus can, and often do, vary across different situations.


특정 과목에 대한 학습의 가치에 대한 학습자의 신념도 동기부여 수준을 이해하는 데 중요하다. 특정 과목 영역에 관심이 있거나 이 내용 영역이 매우 중요하거나 가치가 있다고 인식하는 학생들은 종종 학습에 더 많은 노력과 참여를 보일 것이다. 학습자의 동기와 귀인에 대한 신념을 직접 질문으로 식별한 다음, 이러한 믿음이 학업 성취에 어떠한 영향을 주었으며, 이러한 믿음을 변화시키기 위한 긍정적인 접근방식은 무엇인지를 성찰하여 수정할 수 있다.

Learners’ beliefs about the value of studying for a particular subject are also important for understanding their level of motivation. Students who are interested in a particular subject area and/or perceive this content area to be of high importance or value will often display more effort and engagement in learning. The motivational and attribution beliefs of underachieving learners can be identified by direct questioning and then modified by reflecting on how these beliefs can influence academic achievement and consideration of positive approaches to change these beliefs.


임상 퍼포먼스 개선

Improving clinical performance


임상 수행의 중요한 측면은 필수적인 기본 임상 기술의 효과적인 사용이다.

An important aspect of clinical performance is the effective use of essential basic clinical skills,


기존 연구에 따르면, 자기조절은 정신운동 숙련도에 따른 여러 개인을 구분짓는 특징이라는 것을 보여주었다. 예를 들어, 클리어리와 짐머맨(2001)은 농구 프리 스로우의 전문가로 분류된 성능(예상 단계) 이전에 학생들이 더 구체적인 목표를 세우고 기술 중심의 전략을 사용했다는 것을 보여주었다.

Previous research has shown that self-regulation is a distinguishing characteristic between individuals who have high and low complex psycho-motor skilled performance. For example, Cleary and Zimmerman (2001) showed that prior to performance (forethought phase) students classified as experts in basketball free-throws made more specific goals and used more technique-focused strategies.


저자들은 또한 전략의 선택과 목표 설정이 상호 연관되어 있으며, 성과 개선을 위한 후속 노력 중 전략의 사전 고려된 선택forethought selection과 귀인에 대한 자가 판단attribution self-judgement이라는 여러 자율 규제 프로세스 간의 순환적 관계를 강조한다.

The authors also highlight the cyclical relationship among several self-regulation processes, with goal setting being correlated with choice of strategy and attribution self-judgements being predictive of forethought selection of strategy during subsequent efforts to improve performance.


클리어리와 샌더스(2011)에 따르면, 과제를 성공적으로 수행한 참여자들은 세 가지 주기적 단계 전체에 걸쳐 전략적 사고를 보인 반면, 성공하지 못한 참여자들은 결과나 비과정non-processes에 집중하는 경향이 있었다. 구체적으로, 첫 번째 시도에서 성공한 참가자는 

    • 프로세스 목표와 계획을 수립하였고,

    • 작업(성능 단계) 중에 사용되는 프로세스 및 해당 정맥 기법을 모니터링하였고,

    • 프로세스 또는 기술 관련 준거를 사용하여 성과에 대한 성공 또는 만족도를 평가했다.

Cleary and Sandars (2011) Participants who were successful at this task exhibited strategic thinking throughout each of the three cyclical phases, whereas those who were not successful tended to focus on outcomes or non-processes. Specifically, participants who did the venepuncture successfully on their first attempt, 

    • reported setting process goals and plans, 

    • monitored the process and their venepuncture techniques used during the task (performance phase) and 

    • evaluated their level of success or satisfaction with their performance using process or technique related criteria.


연구는 참가자들에게 사이클 모델, 특히 목표 설정(예측 단계)과 자기 기록(수행 단계)에서 특정 프로세스에 참여하도록 지시하는 데 초점을 맞추었다.

Research has focused on instructing participants to engage in specific processes in the cyclical model, in particular, goal setting (forethought phase) and self-recording (performance phase).


전반적으로, 골 세팅과 자기 기록이 학생들의 71%를 차지했다. 이는 이러한 과정이 기술 습득을 증가시키는데 매우 영향력이 있음을 시사한다.

Overall, goal setting and self-recording accounted for 71% of the students dart-throwing proficiency. This suggests that these processes are very influential in increasing skill acquisition.


자기평가적 기록을 남기는 학생은 (이런 유형의 기록을 하지 않는 학생보다) 다트던지기를 잘 하지 못한 것에 대해 strategic attribution을 더 많이 했다. 자율 규제와 동기부여의 관점에서 전략적인 귀속을 하는 것은 전략적인 사용이 수정되고 적응될 수 있기 때문에 매우 유익하며, 따라서 학생들에게 주체로서의 신념과 통제력을 길러준다.

Individuals who engaged in self-evaluative recording made more strategic attributions following poor dart-throwing attempts than those who did not engage in this type of recording. From a self-regulation and motivation perspective, making strategic attributions is highly beneficial because strategy use can be modified and adapted, thus cultivating beliefs of agency and control in students.


연구는 또한 각 단계에서 훈련하는 개인들이 농구 자유 스킬에 미치는 부가적 영향을 조사했다(Cleary et al. 2006). 세 단계 모두, 또는 두 단계에 대해서(예측 및 성과) 훈련을 받은 학생들은 한 단계만 훈련받았거나 자기조절 훈련을 받지 않은 개인보다 더 정확한 프리트로우 슈팅을 보여주고, 보다 전략적인 인과적 귀속을 하고, 적응적 추론을 더 많이 보고했다.

Research has also investigated the additive effects of training individuals in each phase of the cyclical process on their basketball free-throw skill (Cleary et al. 2006). Individuals who received training in all three or two phases (forethought and performance), displayed more accurate freethrow shooting, made more strategic causal attributions and reported more technique specific adaptive inferences than those who only received one phase of training or no regulation training.


자기조절학습 미세분석이라는 진단 기법을 사용할 수 있다. 미시 분석의 일차적인 목표는 사람이 어떤 실제 업무를 수행하고 있을 때 특정한 자기조절 관련 질문을 하는 것이다. OSCE는 학생들이 임상 과제를 완료하면서 구체적인 행동이나 기술을 보여줄 것으로 예상되기 때문에 미시적 분석을 채택하는 데 이상적인 방법이다.

The tutor decides to employ a diagnostic technique called Self-Regulated Learning Microanalysis . The primary objective of micro-analysis is to ask specific regulatory questions as a person is engaging in some authentic task. The OSCE is an ideal method to employ microanalysis because students are expected to demonstrate specific behaviours or skills as they complete the clinical tasks.




(a) 주요 자기조절 프로세스의 문제 식별 

(a) Identification problems with key self-regulation processes


OSCE 수행 전의 질문:

Questions before taking the OSCE:


  • 이 환자에게 적절한 심장 검사를 할 수 있다고 얼마나 확신하십니까? (자기효능신념 평가)

  • 심장 검사를 시작하기 전에 염두에 두고 있는 목표가 있는가? 만약 그렇다면, 그들은 무엇인가? (프로세스 또는 결과 목표 선택 평가)

  • 심장검사에 성공하기 위해서는 무엇을 해야 하는가? (특정 전략 및 기법의 선정 평가)

  • . How sure are you that you can perform an adequate cardiac examination on this patient? (to assess self-efficacy beliefs)

  • . Do you have a goal(s) in mind before you begin the cardiac examination? If so, what is(are) (it)they? (to assess process or outcome goal selection)

  • . What do you need to do to successfully perform the cardiac examination? (to assess the selection of specific strategies and technique)


OSCE 수행 중 질문:

Questions during the performance of the OSCE:

  • 당신은 지금까지 흠잡을 데 없는 과정을 수행했다고 생각하는가, 아니면 실수를 한 적이 있는가? (수행에 대한 자체 모니터링 평가)

  • Do you think you have performed a flawless process thus far or have you made any mistakes? (to assess self-monitoring of performance)


OSCE 수행 후 질문:

Questions after the OSCE performance:


폴이 심장 소리를 해석하지 못하면 가정교사는 그를 멈추게 하고 다음과 같이 묻는다.

. If Paul fails to interpret the heart sounds, the tutor stops him and asks:


(a) 심장 소리를 해석할 수 없었던 이유는 무엇이라고 생각하십니까? (실패에 대한 귀인 평가)

(b) 다음 번 심장 소리를 해석하기 위해 무엇을 해야 하는가? (성공적 성과에 필요한 자기 적응적 변화 평가)

(a) Why do you think that you could not interpret the heart sounds? (to assess the attributions for unsuccessful performance)

(b) What do you need to do to successfully on your next attempt to interpret the heart sounds? (to assess the selfadaptive changes required for successful performance)


레지던트가 심장소리를 성공적으로 해석한다면, 가정교사는 폴을 멈추게 하고 다음과 같이 물어볼 수 있다.

. If the resident successfully interprets the heart sounds, the tutor can stop Paul and ask:


(a) 심장 소리를 성공적으로 해석하셨습니다. 왜 첫 번째 시도에서 성공했다고 생각하십니까? (성공에 대한 귀인  평가)

(a) You successfully interpreted the heart sounds. Why do you think that you were successful on your first attempt? (to assess the attributions for successful performance)


(b) 임상 성과를 개선하기 위한 주요 자체 규제 프로세스의 문제 해결

(b) Remediation of problems with key self-regulation processes to improve clinical performance




일반적 교육 접근

General instructional approaches


다양한 교육 접근방식이 보고된 바 있음

A variety of instructional approaches have been described


이러한 모든 접근법의 핵심 특징은 학습자에게 단순한 전략의 범위 이상의 것을 제공한다는 것이다. 그들은 학습자가 특정 전략을 언제 사용해야 하는지, 그리고 그것이 왜 사용되어야 하는지를 알고, 그것이 효과적인지 확인하고, 전략의 사용에 대한 자기적응적인 변화를 만들 수 있는 전략의 사용을 스스로 모니터할 수 있는 기회를 제공하지만, 또한 가장 적절한 전략을 사용하여 과제를 달성할 수 있다는 강한 신념을 개발할 수 있는 기회를 제공한다.

The key feature of all these approaches is that they offer the learner more than a range of simple strategies. They provide an opportunity for the learner to know when to use a particular strategy and why it should be used, to self-monitor the use of the strategy to check whether it is effective and to make selfadaptive changes to both their use of strategy but also develop a strong belief that they can achieve a task using the most appropriate strategy.



튜터의 역할

The role of the tutor.


자기조절은 개인 학습자의 생각, 감정, 행동에 초점을 맞추는 과정이다. 그러나 이 과정은 다른 사람들, 특히 숙련된 튜터가 제공하는 행동과 피드백에 의해 크게 영향을 받는다. 평생 학습자를 위한 자기조절교육을 위한 전체적인 목표는 내부 동기 부여와 전략의 사용에 대한 개인 통제의 권한을 부여하고 개발하기 위한 것이다(Bandura 1989). 교육활동은 학습자가 

  • 자신의 생각과 감정이 자신의 성과에 어떤 영향을 미치는지 더 의식하고 인지할 수 있도록 해야 하며, 

  • 긍정적인 동기 부여적 믿음과 적응적 귀인을 개발하고, 

  • 성공을 달성하기 위한 다양한 전략을 적응하는 기술을 개발할 수 있도록 해야 한다.

Self-regulation is a process that focuses on the thoughts, emotions and actions of an individual learner. However, this process is significantly influenced by the actions and feedback provided by others, especially a skilled tutor. The overall aim for the training of self-regulation for lifelong learners is to empower and develop their personal control, often called agency, of their internal motivation and use of strategies (Bandura 1989). Educational activities should enable learners 

  • to become more conscious and aware of how their thoughts and emotions influence their performance, 

  • to develop positive motivational beliefs and adaptive attributions and 

  • to develop their skills to adapt a variety of strategies to achieve success.


튜터의 전반적인 역할을 더 자세히 고려하는 것이 유용하다. 파리 및 파리(2001)에는 다음이 포함된다.

It is useful to consider the overall role of the tutor in greater detail. Paris and Paris (2001) include:


.학습자가 튜터와 같은 숙련된 전문가의 성과를 관찰할 수 있는 기회 제공. 이는 특히 핵심적 자기조절 프로세스의 사용을 함께 구두로 설명하며 제공하는 경우 강력하다. 

. Providing opportunities for the learner to observe theperformance of a skilled individual, such as a tutor. This isespecially powerful if verbal explanations of the use of thekey self-regulation processes are given by the performer. 


. 복잡한 기사를 읽거나 진단 결정을 내리는 등 주요 자기조절 프로세스가 필요한 상황에서 학습자를 참여시키고, 전략적, 적응적 방식으로 자기조절 프로세스를 사용하도록 학습자를 지도한다.

. Engaging the learner in situations in which key self-regulation processes are required, such as reading a complex article or making a diagnostic decision, and coaching the learner to use the self-regulation processes in a strategic and adaptive way.


. 학습자가 새로운 과제를 처음 배우는 동안 또는 학업 또는 임상적으로 문제를 해결할 때 자기조절 프로세스의 사용에 대해 더 잘 인식하도록 유도하여, 학습자가 더 자기 성찰적이고 자기 적응적이 될 수 있도록 한다. 예를 들어, 학습자가 과제를 실패하는 경우, 자신의 투쟁을 불충분한 노력 수준이나 전략의 비효율적인 사용과 연관시켜야 한다.

. Encouraging learners to become more aware of their use of self-regulation processes during initial learning of a new task or when trouble-shooting underachievement, either academic or clinical, so that the leaner can become more self-reflective and self-adaptive. For example, if a learner fails a task, he or she should relate one’s struggles to insufficient levels of effort or ineffective use of strategy.



배우는 방법 배우기 과정

Learning to learn courses.


'배움하기 위한 학습' 코스의 가치는 대학생들과의 여러 연구 연구에서 입증되었다(호퍼&유 2003).

The value of ‘learning to learn’ courses has been shown in several research studies with college students (Hofer & Yu 2003)


Motivated Strategies for Learning Questionnaire (MSLQ; see Figure 2).


Figure 2. Main components of the MSLQ.


MSLQ는 대학생들을 위한 81개의 항목 자체 보고 질문이다.

• 동기 부여 척도(31개 항목) - 고유의 목표 지향성, 외적인 목표 지향성, 과제 가치, l 소득 신념의 통제, 학습 및 성과에 대한 자기효능, 시험 불안

• 학습 척도(31개 항목) – 다양한 전략(리허설, 정교한 설명, 조직, 비판적 사고) 및 자율 규제 프로세스 사용

• 리소스 관리 척도(19개 항목) – 시간 및 학습 환경, 노력 규제, 동료 학습, 검색 지원


The MSLQ is an 81 item self-report questionnaire for college students:

• Motivation scale (31 items) - intrinsic goal orientation, extrinsic goal orientation, task value, control of l earning beliefs, self-efficacy for learning and performance, test anxiety

• Learning scale (31 items) – use of different strategies (rehearsal, elaboration, organisation, critical thinking) and self-regulation processes

• Resource management scale (19 items) – time and study environment, effort regulation, peer learning, help seeking


Copies of the MSLQ can be obtained from Combined Program in Education and Psychology (CPEP) cpep@umich.edu



자기조절 프로세스에 초점을 맞춘 피드백

Feedback focused on self-regulation processes


연구는 일관되게 의대생과 의사를 포함한 많은 개인이 자신의 지식, 기술 및 성과에 대한 자신의 판단에서 부정확하다는 것을 보여주었다(Davis et al. 2006; Hacker et al. 2008). 대부분의 학생들은 그들의 기술을 과대평가하는 경향이 있는데, 불행하게도 이것은 과제를 달성하기 위한 전략의 선택과 사용에 부정적인 영향을 미칠 수 있다. 가장 많이 고군분투하는 학습자들은 종종 인식된 능력과 실제 성취도 사이에 가장 큰 차이를 가진다. 게다가, 이런 유형의 학생들은 종종 나쁜 성적을 올바르게 자가 평가했을 때조차 시정 조치를 취하지 않는다. 효과적인 적응에 참여하기 위해서, 이러한 유형의 학습자들은 유익한 내부 피드백을 발생시키거나 강사나 교사들에 의해 외부 피드백을 받을 수 있어야 한다. 요컨대, 피드백은 학습자가 주요 자기조절 프로세스 사용에 적응적인 변화를 줄 수 있는 기회를 제공하기 때문에 학습 자기조절의 필수적인 요소다(Butler & Winne 1995).

Research has consistently shown that many individuals, including medical students and doctors, are inaccurate in their own judgements about their knowledge, skills and performance (Davis et al. 2006; Hacker et al. 2008). Most students tend to overestimate their skills, which unfortunately can have a negative effect on their selection of and use of strategies to achieve a task. Learners who struggle the most are often those have the greatest discrepancy between perceived competence and their actual performance. In addition, these types of students often do not take corrective measures when they correctly self-assess poor performance. To engage in effective adaptation, these types of learners either need to be able to generate informative internal feedback or to be given external feedback by tutors or teachers. In short, feedback is an essential and integral component of the self-regulation of learning since it provides an opportunity for the learner to make adaptive changes to their use of key self-regulation processes (Butler & Winne 1995).


내부 피드백, 즉 개인이 생성하는 정보는 일반적으로 훈련을 통해 개발할 수 있는 자체 모니터링 프로세스를 통해 발생한다(Hartman 2001). 흥미로운 접근법은 학습자가 자신의 성과를 스스로 모니터링하고 학습 전략과 기법에 대한 적응적 변화를 기록할 수 있도록 하는 구조화된 워크북의 자가 주도적인 사용이다(Nietfeld et al. 2006). 

Internal feedback, or information that is produced by the individual, typically occurs through a self-monitoring process that can be developed through training (Hartman 2001). An interesting approach is the self-directed use of structured workbooks that allow learners to self-monitor their performance and also to record their adaptive changes to study strategies and techniques (Nietfeld et al. 2006). 


외부 피드백, 학생의 기술이나 직무수행에 대해 다른 사람이 언급하는 것. 인식과 실제 수행의 차이를 부각시키는 강력한 리얼리티 체크가 될 수 있다.  효과적으로 제공되는 경우 외부 피드백은 과제의 필수 요건이나 오류를 수정하거나 수정하는 데 필요한 행동 또는 프로세스에 대한 학습자의 주의를 지시하기 때문에 자기조절의 매우 중요한 요소가 될 수 있다.

External feedback, such as comments made by others about the skills or task performance of a student, can be a powerful reality check that highlights the discrepancy between perceived and actual performance.  When provided effectively, external feedback can be a very important component of self-regulation because it directs a learner’s attention on essential requirements of a task or the behaviours or processes needed to adapt or correct mistakes.




미래 발전과 적용

Future developments and applications


기존 교육과정에 통합 

Integration into existing curricula


의학 교육의 많은 학부생과 대학원생들은 자연스럽게 적응적인 자기조절 과정을 보여준다. 그러나 이러한 프로세스에서 하나 이상이 미개발될 가능성이 있다.

Many undergraduate and postgraduate learners in medical education naturally exhibit adaptive self-regulation processes. However, it is likely that one or more of these processes may be under-developed


문제 기반 학습은 새로운 정보를 찾기 위한 방아쇠로 문제 상황을 사용하는 학생들의 학습 과정을 발전시키려는 시도로 널리 소개되었다. 문제 기반 학습과 자율 규제의 개념 사이에는 중첩이 있으며, 두 개념 모두 학습 과정에 대한 학생 통제와 목표 설정과 성과 반영을 요구하는 학습 접근법의 사용에 중점을 두고 있다(Loyens 등 2008).

Problem-based learning has been widely introduced in an attempt to develop the learning processes of students using problematic situations as a trigger to seek new information. There is overlap between the concepts of problem-based learning and self-regulation, with both having an emphasis on student control over the learning process and the use of a learning approach that requires the setting of goals and reflecting on performance (Loyens et al. 2008).


그러나 문제 기반 학습의 전달은 자율 규제 프로세스의 개발에 큰 초점을 두지 않는다(Moust et al. 2005). 특히 튜터가 학생들의 성취도가 낮다는 것을 안다면 자기조절의 주요 측면은 PBL 커리큘럼에 구체적으로 도입될 수 있다. 이러한 개입의 예로는 프로세스 목표 설정, 이러한 목표를 달성하기 위한 전략 선택, 자가 모니터링 및 적절한 전략이나 기법의 선택과 관련된 적응형 변경을 포함한다. 

However, the delivery of problem-based learning does not have a strong focus on the development of self-regulation processes (Moust et al. 2005). Key aspects of self-regulation can be specifically introduced in problem-based curricula, especially if the tutor is aware that students are underachieving. Examples of these interventions include those related to 

    • setting process goals, 

    • selecting a strategy to achieve these goals, 

    • self-monitoring and 

    • making adaptive changes that are related to self-beliefs or selection of appropriate strategies or techniques. 

중요한 측면은 학생들이 문제 기반 학습의 단계에 초점을 맞추는 대신에 다양한 주요 자기조절 과정을 어떻게 사용하고 있는지에 초점을 맞추는 것이다.

An important aspect is that the tutors focus on how the students are using the various key self-regulation processes instead of a focus on the steps in problem-based learning.


튜터는 또한 전략 사용과 자기조절 프로세스에 초점을 맞춘 학습자에게 전략 및 프로세스 피드백을 제공할 수 있다. 학습자의 주기적 자율규제 프로세스 사용에 대한 피드백(그림 3)은 think-aloud 또는 자기조절 미세분석과 같은 맥락별 평가 기법에서 생성될 수 있다. 학생들은 또한 별도의 '학습하기 위한 학습' 과정을 시행하거나, 학습자들이 텍스트를 이해하는 구조화된 접근법을 사용하여 서로를 멘토링하는 상호 교습과 같은 동료 멘토링 접근법을 사용함으로써 도움을 받을 수 있다.

Tutors could also provide strategic and process feedback to learners with a focus on strategy use and self-regulation processes. Feedback about a learner’s use of cyclical self-regulation processes (Figure 3) can be generated from context-specific assessment techniques, such as think-aloud or self-regulation microanalysis. Students could also be helped by implementing separate ‘learn to learn’ courses or using a peer mentoring approach, such as reciprocal teaching, in which learners mentor each other using a structured approach to understanding text.


Figure 3. Questions about the key self-regulation processes


예상 단계

• 과제의 특성은 무엇인가?

• 내 목표는 무엇인가?

• 어떤 종류의 정보와 전략이 필요한가?

• 얼마나 많은 시간과 리소스가 필요한가?

• 나의 동기는 무엇인가?

• 환경을 수정해야 하는가?

Forethought Phase

• What is the nature of the task?

• What is my goal?

• What kind of information and strategies do I need?

• How much time and resources will I need?

• What is my motivation?

• Do I need to modify the environment?


성능 단계

• 내가 하고 있는 일을 확실히 이해하고 있는가?

• 이 작업이 이치에 맞는가?

• 목표에 도달하고 있는가?

• 무언가에 변화를 줘야 하는가?

• 내 생각/감정을 수정해야 하는가?

• 환경을 수정해야 하는가?

Performance Phase

• Do I have a clear understanding of what I am doing?

• Does the task make sense?

• Am I reaching my goals?

• Do I need to make changes?

• Do I need to modify my thoughts /emotions?

• Do I need to modify the environment?


자기반사단계

• 내가 목표에 도달했는가?

• 무엇이 효과가 있었는가?

• 무엇이 작동하지 않았는가?

• 다음 번에는 다른 방식으로 작업을 수행하시겠습니까?

• 나의 동기 부여에 미치는 영향은?

Self-reflection Phase

• Have I reached my goal?

• What worked?

• What didn’t work?

• Would I do things differently next time?

• What is the impact on my motivation?



이러닝 개발

Development of e-learning


더 간단한 접근법이 효과적일 수 있다. 예를 들어 온라인 학습(Azebedo & Cromley 2004)에 참여하기 전에 자율 규제 프로세스를 사용하는 방법에 대한 짧은 교육 모듈을 사용하는 것. 모듈에 참여하는 동안 온라인 학습자의 자기조절 기술을 개발하기 위해 훈련된 촉진자를 사용하는 것이 학습에 영향을 미치는 것으로 나타났다(Azebedo et al. 2008).

simpler approaches can be effective. For example, a short training module on how to use self-regulation processes prior to engaging in online learning (Azevedo & Cromley 2004) or the use of a trained facilitator to develop self-regulation skills of online learners whilst participating in a module has been shown to impact learning (Azevedo et al. 2008).


저성취자 발견과 재교육

Identification and remediation of underachievement


모든 의학 교육자들에게 점점 더 많은 관심은 그들의 잠재력에 도달하지 못하고 있는 소수의, 그러나 중요한 학습자들이다(Hauer 등). 2009).

An increasing concern to all medical educators is the small, yet significant, number of learners who are underachieving reaching and not their potential (Hauer et al. 2009).


이러한 '스트루글러'들은 이질적인 집단이며 종종 학문적 성과와 임상적 업적 모두에 대한 문제 외에도 심리학적 문제와 사회적 문제가 복잡하게 뒤섞여 있다.

These ‘strugglers’ are a heterogeneous group and often have a complex mix of psychological and social problems in addition to problems with both academic and clinical achievements.


자율 규제 이론의 흥미로운 잠재적 적용은 임상 성과 문제의 식별 및 교정조치에 대한 체계적인 접근에 대한 자체 규제 학습 및 미시적 평가 훈련(SRL-MAT)의 사용이다(Durning et al. 2011).

An exciting potential application of selfregulation theory is the use of Self-Regulated Learningand Microanalytic Assessment Training (SRL-MAT) for the systematic approach to the identification and remediation of clinical performance problems (Durning et al. 2011).


학부형, 대학원형 의학 교육에서도 '전문성'에 대한 우려가 높아지고 있다.

There is also increasing concern about ‘professionalism’ in both undergraduate and postgraduate medical education.



Sam을 도울 방법은?

How can Sam be helped to improve his professional behaviour by the actions of his tutor?


튜터의 주요 교육 및 교정 조치는 인식된 성과와 실제 성과의 차이를 강조하는 것이다. 이는 튜터나 시뮬레이션된 환자로부터 외부 피드백을 제공함으로써 달성할 수 있지만, 보다 강력한 접근방식은 샘이 일련의 실제 또는 시뮬레이션된 상담 동안 빈번한 간격으로 환자의 비언어적 행동을 관찰하고 기록하도록 함으로써 자가 평가를 증가시키는 것이다. 그 후, 튜터는 샘을 리뷰했다. 

The main educational and remedial action of the tutor is to highlight the discrepancy between the perceived and actual performance. This can be achieved by providing external feedback from either the tutor or the simulated patient but a more powerful approach is to increase self-evaluation by ensuring that Sam observes and records the non-verbal behaviour of the patient at frequent intervals during a series of further real or simulated consultations. Subsequently, Samis reviewed by the tutor. 


그 튜터는  샘이 상담에 대한 자기 만족에 대한 점수가 떨어지고, 또한 그가 감정적인 고통을 알아차려야 할 필요성에 대해 점점 더 많이 인식하게 되었다고 지적한다. 튜터는 자기 인식의 중요성에 대해 논하고, 샘에 의해 변경된 매개변수와 특정 전략이나 기법의 사용 사이의 연결을 만든다. 이것은 샘에게 중요한 학습 경험이다. 왜냐하면 그는 이제 그의 전문적인 행동이 개인적인 통제 하에 있는 자율 규제 과정에 의존하고 있다는 것을 깨닫기 때문이다.

The tutor notes that Sam’s score for his self-satisfaction of a consultation falls and that he has also become increasingly aware of his need to notice emotional distress. The tutor discusses the importance of self-awareness and makes the link between these changed parameters and the use of specific strategies or techniques by Sam. This is an important learning experience for Sam since he now realises that his professional behaviour is dependent on self-regulation processes that are under his personal control.









 2011;33(11):875-86. doi: 10.3109/0142159X.2011.595434.

Self-regulation theoryapplications to medical educationAMEE Guide No. 58.

Author information

1
Leeds Institute of Medical Education, School of Medicine, University of Leeds, UK. j.e.sandars@leeds.ac.uk

Abstract

Self-regulation theory, as applied to medical education, describes the cyclical control of academic and clinical performance through several key processes that include goal-directed behaviour, use of specific strategies to attain goals, and the adaptation and modification to behaviours or strategies to optimise learning and performance. Extensive research across a variety of non-medical disciplines has highlighted differences in key self-regulation processes between high- and low-achieving learners and performers. Structured identification of key self-regulation processes can be used to develop specific remediation approaches that can improve performance in academic and complex psycho-motor skills. General teaching approaches that are guided by a self-regulation perspective can also enhance academic performance. Self-regulation theory offers an exciting potential for improving academic and clinical performance in medical education.

PMID:
 
22022899
 
DOI:
 
10.3109/0142159X.2011.595434
[Indexed for MEDLINE]


자기조절을 위한 단서: 미래에 대한 예측을 하기는 어렵다(Med Educ, 2017)

Cues for self-regulation: it’s difficult to make predictions, especially about the future

Jonathan S Ilgen1 & Ryan Brydges2



'자기 모니터링',  자신의 지식이나 기술이 특정 상황에서 성공하기에 적절한지에 대한 순간순간의 판단을 하는 것을 포함한다.

process called ‘self-monitoring’,1 involves making moment-by-moment judgements of whether one’s knowledge or skills are adequate to be successful in a particular situation.


'큐 활용 프레임워크'를 사용하여 단서와 자체 모니터링 판단 간의 복잡한 관계를 이해하십시오.

use a ‘cue utilisation framework’ to understand the complicated relationship between cues and self-monitoring judgements.



De Bruin 등. 단서는 최종 학습 또는 수행을 잘 예측할수도, 전혀 그렇지 못할 수도 있다. 2 따라서 예측력이 없는 단서를 사용하는 학습자는 잘못된 자기 모니터링 판단을 형성할 가능성이 있다.

De Bruin et al. define cues as being either ‘predictive’ or ‘non-predictive’ of eventual learning or performance,2 reasoning that learners using non-predictive cues are likely to form incorrect self-monitoring judgements.


큐 활용 프레임워크에 따르면, 학습자는 학습 중에 두 가지 인지 껑충 뛰기를 경험하는 것으로 생각되는데, 

  • 첫째, 학습자는 자기 모니터링 판단을 위하여 의식적이거나 무의식적으로 다양한 단서들을 처리하고, 

  • 둘째, 이러한 판단들이 학습 대상과 방법에 대한 결정에 영향을 미치도록 한다.

According to the cue utilisation framework,3 learners are thought to experience two cognitive leaps during learning: 

  • firstly, they process various cues either consciously or unconsciously in ways that shape their self-monitoring judgements, and, 

  • secondly, they allow these judgements to influence their decisions about what and how to study.


이 프레임워크에 대한 기념비적 논문은 세 가지 유형의 잠재적 단서를 설명한다. 

  • (i) 본질적 단서: 학습자료가 얼마나 쉽거나 어려울 수 있는지에 대한 학습자의 인식에서 비롯함

  • (ii) 외재적 단서: 학습 조건(예: 허용되는 연습 양)에서 비롯함

  • (iii) 기억 단서: 학습자가 실제 자료를 학습하면서 얻은 경험에서 비롯함

The seminal paper on this framework describes three types of potential cues: 

  • (i) intrinsic cues resulting from learners’ perceptions of how easy or difficult the study materials might be; 

  • (ii) extrinsic cues resulting from the conditions of learning (e.g. the amount of practice permitted), and 

  • (iii) mnemonic cues resulting from the experiences learners have while studying the actual materials.3


이러한 다양한 유형의 큐는 다양한 조합으로 다양한 자체 모니터링 판단을 이끌 것으로 생각된다. 

These different types of cue are thought to lead, in varying combinations, to different self-monitoring judgements: 


  • (i) 학습자의 선행 이론에서 비롯되는 이론 기반 판단: 학습자료에 대한 자신의 능력에 대해(예: 수학 문제를 보고서 판단의 단서를 얻는다: '나는 수학을 잘하지 못한다') 또는 학습 조건에 대해(예: 시험 전 공부할 시간이 적을 경우: '나는 벼락치기를 하면 잘 배운다')

  • (ii) 학습자가 자료를 연구하려고 시도한 후에만 생성되는 경험 기반 판단: '알고 있다는 느낌'(또는 그 결여)을 가지고 자신의 판단을 결정한다. 예를 들어 학습자는 자신이 자료를 배우고 있다고 느낌의 편의성ease이나 이전에 자료를 retrieve해본 편의성 같은 단서에 근거하여 경험에 기초한 판단을 형성할 수 있다.

  • (i) theory-based judgements that result from learners’ a priori theories about their capability with the material (e.g. seeing a maths problem may cue the judgement: ‘I’m no good at maths’) or about the learning conditions (e.g. a short period of practice before a test may cue the judgement: ‘I learn well when I cram’), and 

  • (ii) experience-based judgements that are generated only after learners have attempted to study the material and have developed a ‘sense of knowing’ (or lack thereof) that informs their judgements. A learner might form an experience-based judgement, for example, based on cues such as the ease with which she feels she is learning the material, or the ease with which she has retrieved the material previously.


단서가 생성되는 방식과 자체 모니터링 판단의 정확성을 예측하는 방법은 사람마다 다양할 수 있다.

There is potential for variability in how cues are generated and how they predict the accuracy of self-monitoring judgements


전임상 의학교육에서, 초보자란 비교적 고른 경기장에서 출발하며, 배울 내용은 비교적 예측가능하고, 학습 기대치는 비교적 일관된다. 이 설정에서 학습 과제에 대한 단서를 전향적으로 식별할 수 있으며, 그 결과로 얻은 판단을 '예측적 또는 비예측적'이라고 간주할 수 있다는 개념은 상당히 유용해 보인다.

In pre-clinical medical instruction, novices start on a relatively even playing field, the content to learn is relatively predictable, and learning expectations are relatively consistent. In this setting, the notion that cues can be identified prospectively for a learning task and that the resultant judgements can be deemed ‘predictive or ‘non-predictive’ seems quite useful.


단서는 드 브루인 외,2에 의해 발생된 단서와 유사할 수 있다.

The cues are likely to be similar to those evoked by de Bruin et al.,2


[의과대학 교육과정이 특히 less supervised되는 방향으로 전환됨을 고려한다면] 따라서 큐 활용 프레임워크는 의대생들이 기초 개념에 대한 학습을 가장 효과적으로 자율적으로 조절할 수 있는 방법에 대해서 가장 유용한 구조와 지침을 제공할 수 있다.4,5

A cue utilisation framework may thus provide useful structure and guidance for how medical students can most effectively self-regulate their learning of foundational concepts, particularly given the shift towards curricular approaches that are less supervised.4,5


우리는 AUTHENTIC 임상 환경에서 가르치는 것이 지저분해질 가능성이 있다고 믿는다.

We believe, to teaching in authentic clinical settings is likely to get messy.


이러한 상황별 및 경험적 영향의 매트릭스를 통해 학습자를 식별하고 지도하고자 하는 강사는 자신이 사용하는 단서로 추측할 것이며, INSTRUCTOR가 사용하는 단서는 연습생이 사용하는 단서와 다를 가능성이 있다.2 이 모델을 채택하려는 훈련생들은, [각각의 독특한 환자 만남에서] [서로 다른 단서의 상대적 중요성을 잘 구분하여] [학습자가 경험을 쌓는 과정에서 각 단서의 가치가 어떻게 변하는지 감시하는 것]이 성가신 일이라고 생각할 수 있다.

Instructors who seek to identify and guide learners through this matrix of context-specific and experiential influences will be guessing at the cues they themselves are using, and will be likely to use cues that differ from those of their trainees.2 Trainees who seek to employ this model may find it vexing to triage the relative importance of different cues in each unique patient encounter, and to keep tabs on how the value of each cue changes as they gain experience.


어떤 단서가 예측력이 좋은지가 더 이상 해결되지 않을 경우, 학습자가 실시간으로 '잘 했는지got it right'에 대한 신뢰할 수 있는 평가가 필요하지만, 이는 두 명의 전문가 사이에서 동의를 기대하기 어려운 환경에서는 실현 가능하지 않다.

Further untangling which cues are predictive or non-predictive would require reliable assessment of whether learners ‘got it right’ in real time, which is unlikely to be feasible in settings in which even two experts may not agree,


드 브루인 등이 설명한 것과 같이, 전통적인 교육환경에서 나타나는 단서는 그 영향이 학습자를 '정답'으로 이끌 때 '예측적'으로 간주된다.2 그러나 어떤 것이 정답인지가 덜 명확한 상황에서는, 교육자가 추론에 대한 동일한(유일한) 접근법을 강조할 경우, 우리는 의도하지 않게 학습 과정에서 부적응maladaptive 행동을 강화할 수 있다.

Cues in more traditional instructional settings such as those described by de Bruin et al. are deemed ‘predictive’ when their influences lead learners towards ‘the right answer’.2 Yet if educators emphasise the same approach to reasoning in settings in which answers are less clear, we may unintentionally reinforce maladaptive behaviours in our learners.


예를 들어 학습자가 임상 신드롬에 대한 진단 "레이블링"이 정확성에 해당한다고 인식하는 경우, 학습자를 진단-중심 판단으로 이끄는 단서를 강화할 것이다. 

For example, if learners perceive that ‘accuracy’ amounts to ‘labelling’ clinical syndromes with a diagnosis ,6 we will reinforce cues that lead them towards a diagnosis-centric judgement 


이렇듯 임상 추론에서 '정답-중심' 개념화를 추진한다는 단서를 강화하면, 우리가 추구하려는 다른 가치들, 예를 들어 비용-의식적, 환자-중심적 의사결정에 역행하는 판단을 촉진할 수 있다. 

 Reinforcing cues that drive such an ‘answer-centric’ conceptualisation of clinical reasoning may promote judgements that run counter to other values we espouse, such as cost-conscious,8 patient-centred9 decision making. 


만약 의학교육에서 일상의 의료행위(어떻게, 언제 도움을 청할 것인가를 포함해서)에서 해결해야 할 문제를 정의한다고 하면, 자연주의 연구는 초심자와 전문가들이 그들이 접하는 단서들을 어떻게 해석하고 관리하는 것처럼 보이는지를 탐구하기 위해 구조화된 관찰 또는 think-aloud 프로토콜을 사용할 수 있다. 

Naturalistic studies might use structured observations or think-aloud protocols to explore how novices and experts seem to interpret and manage the cues they encounter when defining the problem(s) they are trying to solve in daily practice, including how and when they seek help.10


개인들이 안전하고, 협력적이며, 환자 중심적인 판단을 할 수 있도록 하는 것을 목표로 한다면, 우리는 이러한 모호한 의사결정 환경에서 '결과'보다는 다음에 초점을 맞춰야 한다고 생각한다.

  • 어떻게 학습자가 자기 판단의 '결과'를 스스로 감시하는지 (즉, '내가 그 치료를 했는데, 그 다음에무엇을 눈여겨봐야 하는가?')

  • 어떻게 학습자가 자신의 행동과 판단의 결과를 사용해서 문제에 대해 생각하는 방식을 다듬는지 (즉, '내가 그 약을 먹었을 때 내 환자가 더 아팠다. 그것이 그의 병에 대해 내게 말해주는 것은 무엇인가?')

in aiming to ensure that individuals make safe, collaborative, patient-centred judgements, 

we suggest that ‘outcomes’ in these ambiguous decision-making settings might instead focus on 

  • how they self-monitor the ‘results’ of their judgements
    (i.e. ‘Now that I’ve given that treatment, what am I looking for?’), and 

  • how they use the results from their actions and judgements to refine how they think about the problem
    (i.e. ‘My patient got sicker when I gave him that medication; what does that tell me about his illness?’).




2 de Bruin ABH, Dunlosky J, Cavalcanti RB. Monitoring and regulation of learning in medical education: the need for predictive cues. Med Educ 2017;51 (6):575–84.





 2017 Jun;51(6):566-568. doi: 10.1111/medu.13332.

Cues for self-regulationit's difficult to make predictions, especially about the future.

Author information

1
Seattle, Washington, USA.
2
Toronto, Ontario, Canada.
PMID:
 
28488299
 
DOI:
 
10.1111/medu.13332


개념지도와 목표설정을 활용하여 PBL에서 SRL 개발하기 (Med Teach, 2016)

Using concept maps and goal-setting to support the development of self-regulated learning in a problem-based learning curriculum 

LISA THOMAS1, SUE BENNETT1 & LORI LOCKYER2

1University of Wollongong, Australia 2Macquarie University and Science of Learning Research Centre, Australia






도입

Introduction


문제 기반 학습(PBL)은 학습에 대한 독립적인 접근을 장려하는 하나의 전략이다. 그것은 학교 졸업생들이 그들의 실습에서 스스로 조절하는 학습자가 되어야 하는 필요성에 대응하여 의학적으로 개발되었다(Barrows 1986).

Problem-based learning (PBL) is one strategy that encourages an independent approach to learning. It was developed medical in response to the need for school graduates to ongoing be self-regulated learners in their practice (Barrows 1986).


PBL의 선구자인, 하워드 배로우스는 PBL의 기원이 교육 심리학이나 인지 과학에 대한 이해라기보다는 실용적인 목적이었다고 인정했다.

By his own admission, the pioneer of PBL, Howard Barrows described its origins as being pragmatic rather than born from an understanding of educational psychology or cognitive science (Barrows 2000).


PBL(영어 & Kitsantas 2013)에서는 SRL(Self-regulated Learning) 기술이 성공을 위해 중요하다. SRL기술을 개발하고 적용하는 학생들이 PBL(Blumberg 2000; Hmelo & Lin 2000)에 더 효과적으로 참여한다는 연구 결과가 나왔다.

Skills in self-regulated learning (SRL) are important for success in PBL (English & Kitsantas 2013). Studies have shown that students who develop and apply skills in SRL more effectively engage in PBL (Blumberg 2000; Hmelo & Lin 2000).


자기조절학습은 정규 교육을 넘어 스스로의 학습을 시작하고 지시하는 능력을 포함하며, 자신의 학습 과정에 대한 통제를 요구한다.

Self-regulated learning involves the ability to initiate and direct learning beyond formal education, requiring control over one’s own learning processes.


대학원 수준에서도 많은 학습자들은 자신의 SRL 프로세스를 서포트하는 훈련으로부터 이익을 얻을 수 있다(Sandars & Clearary 2011).

Many learners, even at the postgraduate level can benefit from specific training to support their SRL processes (Sandars & Cleary 2011).


PBL과 처음 접촉할 때 학습자가 유의해야 할 새로운 정보가 상당히 많이 있다. 종종 PBL 커리큘럼은 SRL의 개발에 명시적으로 초점을 맞추지 않는다(Moust et al. 2005). 학생들은 SRL에 필요한 기술을 이해함에 있어, 전통적인 접근 방식에서 PBL로 전환하는 과정에서 고군분투할 수 있다. PBL 의학 커리큘럼으로 전환하는 동안 학생들의 경험에 대한 사례 연구에서 수집된 증거는 모든 학생들이 자동적으로 PBL에 필요한 SRL 기술을 습득하지 못할 수 있으며, 습득하는 경우에도 불필요하게 많은 스트레스를 받고 있음을 시사한다(Evensen et al. 2001; Loyd-Jones & Hak 2004).

There is a significant amount of new information for a learner to attend to when engaging with PBL for the first time. Often, PBL curricula do not explicitly focus on the development of SRL (Moust et al. 2005). Students can struggle in the transition from more traditional approaches to PBL as they attempt to understand the skills required. Evidence gathered from case studies of student experiences during the transition to a PBL medical curriculum suggests that not all students automatically acquire the necessary SRL skills for PBL, or do so through a great deal of unnecessary stress (Evensen et al. 2001; Lloyd-Jones & Hak 2004).


방법

Methods


구체적 연구질문

The specific questions guiding the study were:


(1) 학생들은 PBL 커리큘럼에 통합된 SRL 활동에 어떻게 참여하고 있는가?

(2) PBL 커리큘럼에 통합된 SRL 활동에 참여하는 학생에 의해 달성되는 결과는 무엇인가?


(1) How do students engage in SRL activities that are integrated into a PBL curriculum?

(2) What outcomes are achieved by students who participate in SRL activities that are integrated into a PBL curriculum?


학습스킬 프로그램 설계

Design of the learning skills programme


그림 1은 아래에 상세히 기술된 프로그램의 단계를 보여준다.

Figure 1 illustrates the steps in the programme, which is then described in detail below.


학습 능력 프로그램은 PBL 커리큘럼 활동에 포함되고 2주일에 걸쳐 반복되는 4개의 학습 기술 활동 세션으로 구성되었다.

The learning skills programme consisted of four learning skills activity sessions, embedded into PBL curriculum activities and repeated over two fortnightly cycles.