무엇을 생각하고 있었나요? 의과대학생의 자기조절학습에 대한 메타인지와 인식 (Teach Learn Med, 2021)

무엇을 생각하고 있었나요? 의과대학생의 자기조절학습에 대한 메타인지와 인식 (Teach Learn Med, 2021)
What Were You Thinking? Medical Students’ Metacognition and Perceptions of Self-Regulated Learning
Marjolein Versteega,b , Guusje Bressersc , Marjo Wijnen-Meijerd , Belinda W. C. Ommeringa , Arnout Jan de Beauforta , and Paul Steendijka,b 

 

 

소개
Introduction

자기 조절 학습은 의료 전문가가 개발하는 데 필요한 기술입니다.1 그러나, 의대생들은 종종 자기 조절에 필요한 메타인지의 수준을 얻기 위해 고군분투한다.2,3 의대생들의 자기 조절 학습에 대한 충분한 문헌이 있지만, 어떤 메타인지 역량이 저개발되어 있는지를 확인하는 연구는 흔치 않다. 적절한 메타인지 능력을 보유하는 것은 임상 환경에 막 진입하려는 임상 전 마지막 학년의 학생들에게 특히 중요하다. 
Self-regulated learning is a necessary skill for healthcare professionals to develop.1 However, medical students often struggle to acquire the level of metacognition required for self-regulation.2,3 Although there is ample literature on self-regulated learning in medical education, studies identifying which metacognitive competencies are underdeveloped in medical students remain scarce. Possessing adequate metacognitive competencies is particularly valuable for final year pre-clinical students who are about to enter the clinical environment. 

자기 조절 학습은 학습자가 과제 전에 자신의 활동을 계획하고, 과제 중에 이러한 활동을 모니터링하며, 과제 후에 결과를 평가하는 순환 과정이다.4 의료교육계에서는 자기조절이 효과적인 학습을 위한 중요한 전제조건으로 인식되고 있다. 그러나 이 기술이 암묵적으로 습득된다는 것은 잘못된 일반적인 가정이다.5 
Self-regulated learning is a cyclical process during which a learner plans one’s activities prior to a task, monitors these activities during a task, and evaluates the outcome after a task.4 Self-regulation is recognized by the medical education community as an important prerequisite for effective learning. It is a common incorrect assumption, however, that this skill is implicitly acquired.5 

정교한 자기 조절 학습자는 자신의 성과를 성찰하고 미래의 시도를 위해 자신의 접근 방식을 수정할 수 있다.7.8 본질적으로 자기 조절 학습자는 자신의 학습의 주도자이다. 데이비드 새킷은 다음과 같이 충고했다.
Sophisticated self-regulated learners are capable of reflecting on their own performance and modifying their approach for future attempts.7,8 In essence, self-regulated learners are the captains of their own learning. David Sackett pleads for more captains by advising:

의과대학에서 배우게 될 내용 중 절반은 졸업 후 5년 이내에 완전히 잘못되었거나 시대에 뒤떨어진 것으로 나타날 것입니다. 문제는 어느 쪽이든 말할 수 없다는 것입니다. 따라서 가장 중요한 것은 스스로 배우는 방법입니다. (1431쪽)9
Half of what you’ll learn in medical school will be shown to be either dead wrong or out of date within five years of your graduation; the trouble is that nobody can tell you which half—so the most important thing to learn is how to learn on your own. (p. 1431)9

 

자기조절학습의 순환은 인지, 메타인지, 동기부여의 세 가지 상호관련 요소에 의해 유도된다.13 대부분의 의학교육 연구가 인지14와 동기부여에 초점을 맞추고 있는 반면 메타인지에 대한 15개 연구는 상대적으로 제한적이다. 사회인지과학에서 연구자들은 수십 년 동안 메타인지에 대해 연구해 왔다. 플라벨과 다른 사람들은 메타인지의 세 가지 주요 구성 요소를 설명했는데, 이는 교실에서 메타인지적 교육 관행을 용이하게 할 수 있다.16-19 

• 첫째, 메타인지적 지식에 대해 학생들에게 명시적으로 가르칠 수 있다; 예를 들어, 교육자들은 학생들이 학습에 관한 그들의 강점과 약점, 그리고 그들이 알고 있는 것과 아직 모르는 것에 대해 인식하도록 도와야 한다. 
• 둘째, 메타인지 기술을 분명히 가르칠 수 있다; 예를 들어, 교육자들은 학생들이 공부할 때 사용할 수 있도록 학습에 효과적인 전략을 제공해야 한다.
• 셋째, 메타인지적 경험에 대해 가르칠 수 있다. 예를 들어, 학생들이 학습 과제와 관련된 느낌, 즉 어리둥절함이나 아하 경험 등이다.
  • 메타인지 경험은 종종 학습자가 학습에 대한 판단의 기초를 형성하는 휴리스틱 피상적 단서로 사용된다. 예를 들어, 2,20 의대생들은 이 진단이 떠오른 속도에 기초하여 올바른 진단을 내릴 가능성을 판단할 수 있다. 하지만, 빠른 사고가 반드시 학생의 대답이 옳다는 것을 의미하지는 않습니다. 오히려 인과적 추론에 의해 형성된 이해 기반 단서는 정확한 반응을 더 예측한다.21

The cycle of self-regulated learning is guided by three interrelated components: cognition, metacognition, and motivation.13 While most medical education studies focus on cognition14 and motivation,15 research on metacognition is relatively limited. In the social-cognitive sciences, researchers have been studying metacognition for several decades. Flavell and others have described three major components of metacognition, which may facilitate metacognitive teaching practices in the classroom.16–19 

• Firstly, one may explicitly teach students about metacognitive knowledge; for example, educators should help students to become aware of their strengths and weaknesses regarding learning, and of what they know and do not yet know.
• Secondly, one may explicitly teach metacognitive skills; for example, educators should provide students with effective strategies for learning so students can use them when studying.
• Thirdly, one may explicitly teach students about metacognitive experiences; for example, students’ feelings related to the learning task such as a feeling of puzzlement or an aha-experience.
  • Metacognitive experiences are often used by learners as heuristic superficial cues which form the basis for their judgements of learning.2,20 For instance, medical students may judge their chances of making the right diagnosis based on the speed with which this diagnosis came to mind. However, fast thinking does not necessarily mean that the student’s response is correct. Rather, comprehension-based cues that are formed by causal reasoning are more predictive of correct responses.21

메타인지 역량의 개발은 의료 훈련의 시작에서 이미 중요한 역할을 해야 한다; 이러한 역량을 소유하는 것은 임상 전 학생들이 임상 학습으로 전환할 때 특히 가치 있을 수 있다. 학교에서 임상의학 전 학생에서 직장에서의 임상 학생으로의 전환은 꽤 까다롭고, 학생들은 더 자기 조절적인 학습 스타일에 적응해야 한다.
The development of metacognitive competencies already should play an important role at the start of medical training; possessing these competencies can be particularly valuable when final year pre-clinical students transition to clinical learning. The transition from being a pre-clinical student in school to a clinical student in the workplace is quite demanding, and students must adapt to a more self-regulated learning style.22 

본 연구에서는 최종 연도 임상 전 의대생의 과제별 메타인지 지식, 기술 및 경험을 조사하기 위해 정성적 접근법을 사용했다. 또한, 우리는 과제별 메타인지 역량에 대한 우리의 발견을 더 넓은 자기 조절 학습 맥락과 연관시키기 위해 학부 의료 커리큘럼에서 자기 조절 학습에 대한 학생들의 인식을 식별했다. 본 연구의 연구 질문은 다음과 같다.

In this study, we used a qualitative approach to investigate final year pre-clinical medical students’ task-specific metacognitive knowledge, skills, and experiences. Additionally, we identified students’ perceptions of self-regulated learning in the undergraduate medical curriculum to relate our findings on task-specific metacognitive competencies to the broader self-regulated learning context. The research question of this study was:

임상의학전 마지막 학년 학생들은 어떤 메타인지적 역량을 보여주며, 커리큘럼 맥락에서 이러한 역량과 자기 조절 학습을 어떻게 인지하는가?
What type of metacognitive competencies do final year pre-clinical medical students display, and how do they perceive these competencies and self-regulated learning in the curricular context? 

방법들
Methods

컨텍스트
Context

이 연구는 네덜란드 레이던 대학 의료 센터에서 수행되었습니다. LUMC는 6년간의 의료 훈련 프로그램을 제공하고 있으며, 학부 1~3학년은 임상 전 과정이며 대학원 4~6학년은 임상실습으로 구성된다. 네덜란드 의대 학부 교육 프레임워크는 의대생이 건강관리 기준을 효과적으로 충족시키기 위해 훈련에서 달성해야 할 학습 성과를 설명한다. 학습 성과 중 하나는 학부생들이 높은 수준의 자율성을 다루는 데 필요한 메타인지 역량을 보유해야 한다는 것이다. 23 그러나 현재 LUMC 커리큘럼에서는 그러한 기술에 대한 공식적인 교육이 제한적이다.
This study was conducted at Leiden University Medical Center (LUMC), the Netherlands. The LUMC offers a six-year medical training program; undergraduate Years 1–3 are pre-clinical and graduate Years 4–6 consist of clinical clerkships. The Framework for Undergraduate Medical Education in the Netherlands describes the learning outcomes that medical students should achieve in their training to effectively meet the standards of health care. One of the learning outcomes is that undergraduates should possess metacognitive competencies that are necessary to handle a high level of autonomy.23 However, in the current LUMC curriculum, formal teaching of such skills is limited.

이 교육과정은 CanMEDS의 역량 모델을 기반으로 하며, 처음 3년 동안은 의학 전문가Medical expert에 중점을 둔다. 교육과정 내내 학생들은 사례별 과제를 수행하는 소그룹 학습 활동으로 보완된 대규모 그룹 강의에 참여한다. 연간 8회 그룹 세션과 2회 개별 세션을 아우르는 '교사-코치 대화'를 통해 자율학습 개발이 교육과정에 공식화된다. 이러한 대화를 하는 동안, 교사-코치는 CanMEDS 역량에 대한 공부 진행, 동기 부여 및 개인적 계발에 대해 논의, 지원 및 격려해야 한다. 의사소통, 직업적 행동, 신체검사 등 모든 역량은 등급이 매겨진다. 채점은 때때로 선생님의 서술적 피드백이 뒤따르지만, 반드시 교사-코치와 같은 선생님일 필요는 없다. 이 연구는 임상 전 단계의 3년 동안 수행되었습니다. 우리는 올해 이후 시작되는 임상실습을 잘 수행하기 위해서는 충분한 메타인지 능력을 갖춰야 하기 때문에, 이 기말고사 이전 학생들의 특정 모집단을 이용했다.
The curriculum is based on the CanMEDS competency model, with an emphasis on the medical expert in the first three years. Throughout the curriculum, students participate in large-group lectures complemented by small-group learning activities in which they work on case-based assignments. Development of self-regulated learning is formalized in the curriculum through “teacher–coach conversations,” which encompass eight group sessions and two individual sessions per year. During these conversations, the teacher–coach is supposed to discuss, support, and stimulate study progress, motivation, and personal development for the CanMEDS competencies. All competencies are graded, including communication, professional behavior, and physical examination. Grading is occasionally followed by narrative feedback from a teacher, but this does not necessarily have to be the same teacher as the teacher–coach. This study was conducted during the third year of the pre-clinical phase. We used this specific population of final year pre-clinical students as they are expected to have sufficient metacognitive competencies in order to be successful in their clerkships that start after this year.

참가자
Participants

2019년 1월부터 4월까지 제1저자(MV)는 최종 학년 임상 전 학생들에게 이메일을 통해 접근했다. 이 학생들은 의대 1학년 때 동료 지도와 메타인지에 대한 이전 연구에 참여했었다. 24 참가자들은 정량적으로 평가된 1학년 때 메타인지 성과에 기초하여 의도적으로 표본 추출되었다.25 이 접근법을 노래하면 다양한 수준의 메타인지 능력을 가진 참가자들의 샘플을 얻을 수 있었다. 또한 네덜란드 의대생 인구(남성 30%, 여성 70%)의 성별 변동을 목표로 했다. 총 30명의 학생들이 이 연구에 참여하기 위해 접근했고, 결국 11명의 학생들이 참여했습니다. 불참 이유로는 시험기간 등으로 인한 시간 부족 등이 주로 포함됐다. 익명성을 유지하기 위해, 우리는 참가자들에 대한 더 잠재적으로 신원을 확인할 수 있는 정보를 포함할 수 없다. 학생들은 세션 전에 음성 녹음을 구두로 동의했고, 그 후에 사전 동의서에 서명했다. 그들은 그들의 노력에 대한 보상으로 7.50유로 상당의 무료 점심을 받았다. 
During January–April 2019, the first author (MV) approached final year pre-clinical students by e-mail. These students had participated in a previous study on peer instruction and metacognition in their first year of medical school.24 Participants were purposively sampled based on their metacognitive performance in Year 1, which was assessed quantitatively.25 Using this approach allowed us to obtain a sample of participants with varying levels of metacognitive competencies. Additionally, we aimed for gender variation representative of the medical student population in the Netherlands (30% male, 70% female). In total, 30 students were approached to participate in this study, and 11 students eventually participated. Reasons for not participating mainly included a lack of time for example due to exam periods. To preserve anonymity, we cannot include more potentially identifying information about the participants. Students gave verbal consent to audio-recording before the session and signed an informed consent form afterwards. They were given a free lunch worth €7.50 in compensation for their effort. 

데이터 수집
Data collection

데이터는 두 가지 정성적 방법의 조합을 통해 수집되었습니다.

• 먼저, 우리는 학생들의 메타인지 능력과 메타인지 경험을 파악하기 위한 사고력 절차를 수행했다.
• 뒤이어 학부 의료 커리큘럼에서 학생들의 메타인지적 지식과 자기조절학습에 대한 인식을 통찰하기 위한 반구조적 면접이 이어졌다.

Data were collected through a combination of two qualitative methods.

• First, we conducted a think-aloud procedure to identify students metacognitive skills and metacognitive experiences.
• This procedure was followed by a semi-structured interview to gain insight in students’ metacognitive knowledge and perceptions of self-regulated learning in the undergraduate medical curriculum.

자기조절학습의 하위 구성요소인 메타인지역량에 대한 조사결과를 학생들의 자기조절학습에 대한 인식과 연결시키기 위해 면접 중 질문한 내용도 함께 알려줬다. 제1저자(MV)가 Think-Aloud 세션에 참석하여 이후 인터뷰를 진행했다.

The think-aloud session also informed the questions that were asked during the interview to connect the findings on metacognitive competencies, as a subcomponent of self-regulated learning, to students’ perceptions on self-regulated learning. The first author (MV) was present during the think-aloud sessions and conducted the interviews afterwards.

Think-aould 과제와 인터뷰는 제1저자(MV)가 음성녹음해 그대로 옮겨놓은 것으로 과제를 시작하며, 참가자들에게 의학 생리학에 관한 4가지 실습을 풀면서 큰 소리로 생각하도록 했다. 이 연습들은 전문 생리학자(PS)에 의해 고안되었으며 참가자들의 과학적 추론과 개념적 사고를 활성화하는 것을 목표로 했다. 문제는 2단계 객관식 형식으로 출제되었으며 혈류, 저항, 압력의 상호 관련 개념에 초점을 맞췄다(보충 자료의 부록 A 참조). 사실 지식은 정보 시트에 제시되었기 때문에 학생들은 주로 정보의 적용과 통합에 집중해야 했다. 각 연습이 끝난 후, 학생들은 제공된 답에 대해 얼마나 확신하는지 물어봄으로써 그들의 결론을 평가하도록 유도되었다. 참가자들이 3초 이상 침묵을 지키면 계속 큰 소리로 생각하도록 했다. 생리학 질문에 앞서 참가자들은 두 가지 질문을 받아 큰 소리로 생각하는 연습을 했다.
The think-aloud assignment and interviews were audio-recorded and transcribed verbatim by the first author (MV). At the start of the assignment, participants were asked to think aloud while solving four exercises on medical physiology. These exercises were designed by an expert physiologist (PS) and aimed to activate participants’ scientific reasoning and conceptual thinking. The questions were posed in a two-tier multiple-choice format and focused on the interrelated concepts of blood flow, resistance, and pressure (see Appendix A in Supplementary Material for an example). Factual knowledge was presented on an information sheet, so students mainly had to focus on application and integration of the information. After each exercise, students were prompted to evaluate their conclusions by asking how sure they were of their provided answer. If participants were silent for more than three seconds, they were asked to continue to think aloud. Prior to the physiology questions, participants received two questions to practice thinking aloud.

이후 이어지는 반구조적 면접의 프롬프트에도 Think-Aloud 절차가 활용됐다. 예를 들어, 참가자들에게 학습 과제를 어떻게 경험했는지, 문제가 어려웠는지, 어떻게 풀려고 노력하는지 등을 물었다. 인터뷰 가이드는 MV, GB, MW 및 BO에 의해 개발되었다(보충 자료의 부록 B 참조). 인터뷰 가이드는 메타인지의 이론적 개념을 바탕으로 설계되고 구성되었다. 4,17-19,26

• 이 가이드에는 목표 설정, 학습 전략 및 성찰 활동에 대한 질문이 포함되어 있다.
• 다른 이슈들은 의료 커리큘럼에서의 자기 조절 학습에 대한 참가자들의 인식과 관련이 있었다.
• 이 질문들은 자신이 무엇을 알거나 모르는지를 아는 것의 가치와 학습 활동이 이를 어떻게 강화할 수 있는지에 초점을 맞췄다.

The think-aloud procedure was also used as a prompt for the subsequent semi-structured interview. For example, participants were asked how they had experienced the learning task, whether the questions were difficult, and how they would try to solve them. The interview guide was developed by MV, GB, MW, and BO (see Appendix B in Supplementary Material). The interview guide was designed and structured based on theoretical concepts of metacognition.4,17–19,26 

• This guide included questions about goal-setting, learning strategies, and reflective activities.
• Other issues that were pursued during the interview concerned participants’ perceptions of self-regulated learning in the medical curriculum.
• These questions focused on the value of knowing what one does (not) know and how learning activities could enhance this.

각 세션은 think-aloud 절차와 인터뷰로 구성되며 평균 45분 동안 진행되었다. 테마의 이론적 포화는 8번의 인터뷰 끝에 도달했으며, 이는 새로운 테마를 개발할 수 있는 추가 데이터가 발견되지 않았다는 것을 의미한다. 이후 질적 건강 연구의 일반적인 관행인 포화도를 확인하기 위해 마지막 세 번의 인터뷰를 실시했다.27

Each session, consisting of a think-aloud procedure and interview, lasted on average 45 minutes. Theoretical saturation of the themes was reached after eight interviews, meaning no additional data were found to develop new themes. Subsequently, we conducted three last interviews to check saturation, which is common practice in qualitative health research.27

데이터 분석
Data analysis

데이터 분석과 수집은 반복적인 방식으로 진행되었습니다. 데이터는 메타인지 이론에 기초한 템플릿 분석28을 사용하여 MV, GB 및 MW에 의해 코딩, 분석 및 해석되었다. 선험적 주제는

• 메타인지적 지식(즉, 자아, 과제, 전략의 지식),
• 메타인지적 기술(계획, 모니터링, 평가),
• 메타인지 경험이었다.

Data analysis and collection proceeded in an iterative fashion. The data were coded, analyzed, and interpreted by MV, GB, and MW using template analysis28 based on metacognitive theory,19,26 allowing a priori themes to be used in developing the initial version of a coding template. These a priori themes were:

• metacognitive knowledge (i.e. of self, of task, of strategy),
• metacognitive skills (i.e. planning, monitoring, and evaluating), and
• metacognitive experiences.

MV와 GB는 각자 스크립트 1-3에 대해 독립적으로 예비 코딩을 수행하여 초기 템플릿을 만들었다. 코딩, 코드, 템플릿에 대한 연구자들 간의 합의가 이루어질 때까지 코드를 교차 점검했다. 인터뷰가 많아지자 우리는 코딩 템플릿을 계속 다듬었습니다. 코딩 템플릿은 데이터 수집 기간 동안 MV와 GB에 의해 비교되고 논의되었다. MV는 이 템플릿을 사용하여 스크립트 4-5를 코드화하고, 스크립트 6은 GB로 코드화하였다. 연구팀 간의 협업 분석을 통해 템플릿을 더욱 개선한 결과 템플릿에 대한 합의가 이루어졌습니다(보충 자료의 부록 C 참조). 이 마지막 템플릿은 MV가 나머지 대본(7–11)을 코드화하는 데 사용되었다.

MV and GB performed preliminary coding on Transcripts 1–3 independently to create an initial template. The codes were cross-checked until consensus was reached between the researchers about the coding, codes, and template. As the number of interviews grew, we kept refining the coding template. The coding template was compared and discussed by MV and GB throughout the data collection period. MV used the template to code Transcripts 4–5, and Transcript 6 was independently coded by GB. Further refinement of the template through collaborative analysis among the research team led to template consensus (see Appendix C in Supplementary Material). This final template was use by MV to code the remaining transcripts (7–11).

htlm_a_1889559_sm4878.zip

1.08MB

반사율
Reflexivity

팀은 질적 연구에 대한 다양한 배경과 전문 지식을 가진 연구원으로 구성되어 있어 다양한 관점을 사용하여 연구 결과를 쉽게 해석할 수 있었다. 제1저자(MV)는 신경생물학 관련 배경의 의학 교육 박사 학위를 보유하고 있으며 메타인지와 개념적 사고에 특히 관심이 많다. 다른 저자들은 모두 의학인류학·사회학(GB), 교육학(BO), 교육과학(MW), 의학(AdB), 물리학(PS) 등 각기 다른 배경을 갖고 있다.
The team consisted of researchers with varied backgrounds and expertise in qualitative research to facilitate interpretation of our findings using multiple perspectives. The first author (MV) holds a doctorate degree in medical education with a background in neurobiology and has a particular interest in metacognition and conceptual thinking. All other authors are active in the field of medical education research and have different backgrounds, including medical anthropology and sociology (GB), pedagogical sciences (BO), educational sciences (MW), medicine (AdB), and physics (PS).

 

결과
Results

우리는 학생들이 문제 풀이 과정에서 보여준 메타인지 능력을 파악했다. 템플릿을 사용하여 메타인지 기술의 특정 하위 유형에서 어려움이 발생하는지 여부를 확인할 수 있었습니다.
We identified the metacognitive skills that students displayed during problem-solving. With our template we were able to identify whether difficulties occurred for specific subtypes of metacognitive skills.

계획
Planning

계획 수립은 문제 해결 과정에 앞서 이루어지며 목표 설정, 적절한 전략 선택, 예측, 순서 전략 수립, 자원 할당 등이 포함된다.26 이 모든 테마는 본 연구에서 발견되었습니다. 사고력 과제 동안, 일부 학생들은 강조, 요약 또는 시각화를 통해 연습의 중요한 특성에 대한 개요를 만들어 계획적인 행동을 보여주었다. 인터뷰에서, 학생들은 종종 개요를 만드는 능력을 인정합니다.

Planning occurs prior to the problem-solving process and includes setting goals, selecting appropriate strategies, making predictions, sequencing strategies, and allocating resources.26 All these themes were found in this study. During the think-aloud assignment, some students demonstrated planning behavior by creating an overview of the important characteristics of the exercise, either by highlighting, summarizing, or visualizing. In the interview, students would often recognize their ability to create overview.

글쎄요, 저는 개요를 잘 만드는 것 같아요. 개요를 만들기 전에는 문제 해결을 시작하지 않겠습니다. 저는 문제 해결을 시작하기 전에 모든 정보를 적고 중요한 정보를 강조하여 명확하게 합니다. (P9)
Well, I think I am good at creating an overview. I will not start problem solving before creating an overview. Generally, I write down all the information and highlight the important information to clarify things before I start problem-solving. (P9).

또한, 일부 학생들은 다른 것을 하기 전에 먼저 문제를 파악하는 것이 전략이라고 명시했다. 그러나, 이것은 think-aloud 과제 동안 명시적으로 수행된 적이 거의 없다.

Further, some students specified that their strategy was to first identify the problem (i.e. setting the goal), before doing anything else. However, this was rarely done explicitly during the think-aloud assignment.

보통 질문을 먼저 읽고 그 다음부터는 본문을 다 읽기 전에 나에게서 진짜 질문을 받은 내용으로 넘어간다. 하지만 지금은 그렇게 하지 않았다. (P3)
Usually, I read the questions first and quickly after that I move on to what is really been asked from me, before reading all the text. However, I did not really do it now [during the exercise]. (P3).

일반적으로 문제 해결에 앞서 계획을 세우는 데 거의 시간을 할애하지 않았다. 여러 학생이 문제를 파악하고 문제 해결에 필요한 자원을 배분하는 데 시간을 들였지만, 자신이 가지고 있는 정보를 정확하게 기록하지 않아 문제를 풀 수 있는 정보를 놓치는 학생들도 있었다.

Generally, little time was devoted to planning prior to problem-solving. Several students spent some time identifying the problem and allocating resources that were needed to solve the question, however there were also students who missed out on information to solve the question because they did not accurately record which information they had at their disposal.

모니터링
Monitoring

모니터링은 이해와 수행에 대한 온라인 인식online awareness이므로 실제 문제 해결 중에 발생합니다.26 학생들은 다양한 형태의 모니터링, 즉 전략을 think-aloud 과제에서 사용했습니다. 정기적으로 사용되는 전략에는 재독서, 목표 확인, 상황 시각화, 정답을 찾기 위한 답변 옵션 제거 등이 포함되었다. 학생들은 서로 다른 전략을 거의 바꾸지 않았다. 일반적으로 최초 결과가 답변옵션 중 하나와 일치하지 않는 경우에만 다른 접근법을 사용하기 시작하였다. 일부 학생들은 그들이 생각 과제 동안 특정한 메타인지 전략을 의식적으로 사용하지 않았다고 인정했다. 학생들의 전략 활용에 대한 인식도 매우 다양했다.
Monitoring is the online awareness of comprehension and performance and thus takes place during actual problem-solving.26 Students used various forms of monitoring, that is, strategies, during the think-aloud assignment. Regularly used strategies included rereading, goal-checking, visualizing the situation, and eliminating answer options to get to the correct solution. Students rarely switched between different strategies. Generally, they started to use a different approach only when their initial outcome did not align with one of the answer options. Some students admitted that they did not consciously use specific metacognitive strategies during the think-aloud assignment. A large variety in awareness of student’s strategy use was found.

나는 딱히 특별한 전략이 없어, 와, 이러고 저러고 해야겠다. 나는 가끔 그것을 다시 읽는 전략을 사용해요. 그리고 때때로 당신은 시험을 보는 동안 당신에게 도움이 될 수 있는 것들을 만나게 될 것입니다. 네, 기본적으로 그렇습니다. (P9)
I do not really have specific strategies, that I think wow, I should do this or that. I use the strategy to sometimes just read it again. And sometimes you will encounter things during the test that may help you. So yes… basically like that. (P9).
저는 먼저 정보를 구조화하려고 노력합니다. 그래서, [이 과제를 위해] 저는 수치와 많은 문자를 받았습니다. 그리고 나서 글자를 사용해서 텍스트를 구성해요. 예를 들어, A 더하기 B는 C이다. (P7)
I first try to structure the information. So, [for this assignment] I received a figure and a lot of text. Often, I then use letters to structure the text. For example, A plus B is C. (P7)

발췌문은 스펙트럼의 두 끝을 보여준다. 첫 번째 발췌문은 구체적인 전략을 전혀 사용하지 않은 학생을 보여줍니다. 두 번째 발췌문은 문제를 해결하기 위해 특정한 전략을 사용한 학생을 보여준다. 이런 스펙트럼 가운데, 문제를 풀기 위해 특정 전략을 사용해야 한다는 것을 알면서도 과제 수행 중에 사용하지 않았다고 인정하는 학생들이 있었다.

The excerpts illustrate two ends of a spectrum. The first excerpt demonstrates a student who did not use any specific strategies at all. The second excerpt demonstrates a student who used a specific strategy to tackle the question. In the middle of this spectrum, there were students who admitted that, although they knew they should use certain strategies to solve the questions, they did not use them during the task.

대다수의 학생들은 분석적 사고, 즉 논리적으로 어려운 문제인 만큼 다소 어려운 문제라는 점을 인정했다.

The majority of students admitted that they found the questions rather difficult, as they found analytical thinking, that is, to reason, difficult.

저는 우리가 의과대학에서 사실 지식을 배우기 위해 훈련을 받고 있다고 생각합니다. 그리고 이것은 사실을 배우는 기술이나 사실을 연결하는 것과는 다른 기술입니다. 그래서 이것은 정말 다른 기술이기 때문에 항상 어렵지만, 꽤 많은 지능이 필요합니다.
I think we are trained in medical school to learn factual knowledge, and this [exercise] is a different skill than learning facts, or connecting facts, so… this is really a different skill, so I think that is always difficult, but it requires quite some brainpower. (P2)

일반적으로 학생들은 분석적 추론이 의학 훈련 중에 활발하게 가르쳐지지 않는 역량이라고 느꼈다.
In general, students felt that analytical reasoning was a competency not actively taught during medical training.

평가하기
Evaluation

평가란 문제 해결 후 결과와 조절 과정을 평가하는 것을 말한다. 예를 들어, 개인의 목표와 결론을 평가하는 것이 포함된다.26 생각하는 과제 동안 소수의 학생들이 정답 옵션 중 하나를 표시한 후 결론을 평가하였다. 우리는 학생들이 제공한 답을 얼마나 확신하는지 물어봄으로써 평가하도록 유도했다. 이 조언에도 불구하고, 학생들은 그들의 답을 평가하는 데 거의 시간을 할애하지 않았다. 대부분의 학생들은 자신감에 대한 명확한 설명이나 답안 확인 없이 '자신의 주어진 답이 맞다고 얼마나 확신하느냐'는 질문에 답할 것이다. 인터뷰에서 대부분의 학생들은 "논리적인 느낌"이 그들의 이해 수준을 결정할 것이라고 묘사했다.
Evaluation refers to appraising the outcomes and regulatory processes after problem-solving. This includes, for example, evaluating one’s goals and conclusions.26 During the think-aloud assignment, few students evaluated their conclusions after marking one of the answer options. We prompted the students to evaluate by asking how sure they were of their provided answer. Despite this prompt, students spent little time evaluating their answers. Most students would answer the question “How confident are you that your given answer is correct?” without explicitly elaborating on their feeling of confidence or without checking their answer. During the interviews, most students described that a “feeling of logic” would determine their level of comprehension.

네, 만약 제 감정이 [정답이] 맞지는 않지만 공식대로라면 맞다고 한다면, 저는 이것이 옳지 않다고 생각하기 때문에 의심하게 될 것입니다. 예를 들어, 서로 맞지 않을 때, 그리고 공식과 내 감정으로 풀지 못할 때, 나는 확신할 수 없다. (P6)
Yes, if my feelings tell me that it [the answer] is not right but according to the formula it would be right, then I think, this is not right so I will doubt. Like, when it is not in accordance with each other, and if I cannot solve it with the formula and with my feelings, then I am not sure. (P6)

이해를 위한 다른 단서로는 과제에 소요되는 시간, 학습 자료에 대한 익숙함, 추론 용이성이 포함되었다.

Other cues for comprehension included; time spent on task, familiarity with the learning material, and the ease of reasoning.

생각할수록 의심이 많아진다는 걸 항상 알아차려요. (P1)
I always notice that the longer I think about it, the more I start doubting. (P1)

네, 하지만 제가 이 [학습 자료]를 정말 알고 있다고 생각하시는군요. 나는 이것을 정말 공부해서 알고 있어. 그땐 내가 그걸 잘하는지 몰랐지만, 그래. (P2)
Yes, but you also think I really have known this [learning material]. I have really studied this and known this. I didn’t know then if I was good at it, but yeah. (P2)

언제가 될지 확실합니다: 이렇게 추리하고 정답에 도달했습니다. 그러면 이것이 저에게 맞는 답인 것 같습니다. (P5)
I am sure when: this is how I reasoned and then I get to the right answer, then this seems the right answer to me. (P5)

논리적이라는 느낌feeling of logic과 학습 자료에 대한 친숙함이 자주 언급됐다. 일반적으로 이러한 단서는 이해 수준에 대한 나쁜 예측 변수이다.221 오히려 추론의 용이성이 실제 이해 수준과 잘 연관되어 있지만, 이 단서는 훨씬 덜 언급되었다.

The feelings of logic and familiarity with the learning material were often mentioned. Generally, these cues are bad predictors for the level of comprehension.2,21 Rather, the ease of reasoning is well associated with one’s actual level of comprehension, but this cue was mentioned to a much lesser extent.

의료 커리큘럼에서 자율 학습에 대한 인식
Perceptions of self-regulated learning in the medical curriculum

면접을 진행하는 동안 학생들에게 교과과정에서 '자신이 아는(모르는) 것을 아는' 역할을 되새겨보라고 해 think-aloud 데이터를 풍부하게 했다. 학생들은 자신의 지식과 실력을 정확하게 평가해 자신이 어떤 역량을 갖췄는지 알 수 있는 능력을 중시한다고 말했다. 대부분의 학생들은 이 능력을 외부 평가 도구에 아웃소싱했습니다. 예를 들어, 그들은 자신의 지식이나 기술 수준을 추정하기 위한 도구로 형성시험과 총괄시험, 학습 과제, 이러닝을 모두 언급했다.

During the interviews, the think-aloud data were enriched by asking students to reflect on the role of “knowing what you (do not) know” in the curriculum. Students said they valued the ability to accurately estimate their knowledge and skills so they know what they are (not yet) competent at. Most students outsourced this ability to external assessment tools. For example, they would mention both formative and summative exams, study assignments, and e-learnings as tools to estimate their level of knowledge or skills.

네, 당신은 대부분 공부 과제와 실기 시험을 치르는데, 물론 이미 어떤 지식을 가지고 있는지 진단할 수 있는 가치가 있습니다. (P8)
Yes, you have mostly study assignments and practice exams of course which have a diagnostic value in terms of what knowledge you actually already possess. (P8)

몇몇 학생들은 자신의 지식을 정확하게 추정할 수 있는 능력을 자기 설명, 또래에게 설명, 교사나 다른 출처와의 컨설트와 같은 특정 전략에 의해 개발될 수 있는 내부적이고 개인적인 능력이라고 설명했다. '성찰reflection'이라는 단어는 거의 언급되지 않았고, 만약 그렇다면 학생들은 의료 훈련 중 이 역량에 대한 집중력이 부족하다고 지적했다.

A few students described the ability to accurately estimate one’s knowledge as an internal, personal ability that could be developed by specific strategies, such as self-explaining, explaining to a peer, and consulting a teacher or other sources. The word “reflection” was rarely mentioned, and if it was, students indicated that focus on this competency during their medical training was insufficient.

하지만 그런 메타 레벨은 아닌 것 같아. 우리가 무언가를 얼마나 잘 이해하는지 우리 자신을 돌아볼 수 있을까? 연습을 얼마나 잘 이해하고 있는가, 또는 지식 및 사물을 어떻게 처리해야 하는지를 얼마나 잘 이해하고 있는가. 저는 그것이 교육 프로그램, 특히 학업 교육의 필수적인 요소가 되어야 한다고 생각합니다. 그것에 대한 충분한 관심이 없는 것 같다. 성찰문을 써야 하는데 선생님은 어떻게 해도 괜찮다하니, 그냥 세 단어만 쓴다. 네, 그것은 주로 과제를 채우는 것일 뿐, 학생인 당신이 내가 더 잘할 수 있는 것이 무엇인가를 생각하며 자신을 돌아볼 것이라는 사실은 아닙니다. 그리고 좀 더 진지하게 받아들이신다면, 그 학생이 실제로 어떤 반응을 보이는지도 생각해보세요. 왜냐하면 그 피드백은 대부분 잊혀지고 있기 때문입니다. (P8)
But at such a meta-level not really I think. That we really reflect on ourselves in terms of how well we understand something? How well do we understand exercises, or how well do we understand how we have to handle knowledge and things: I think that should be an essential component of an educational program, especially of an academic education. There is not enough attention paid to it [reflection] I think. We have to write reflection reports but you might as well just fill in three words, because the teacher is OK with it anyway. Yes, it is mainly just a fill in assignment, and not really that you, as a student, will take a look at yourself thinking what can I do better. And if you would take that maybe a little bit more seriously, also looking [as a teacher] what he [the student] actually does with it [the feedback], because that is being forgotten most of the time. (P8)

학생들은 역량의 상태에 대해 더 많은 통찰력을 가질 수 있으면 좋겠다고 언급하면서, "견고한 성과 척도"(즉, 숫자)을 찾고 있었다.

Students were in search of “hard outcome measures” (i.e. numbers) as they mentioned that they would appreciate having more insight into the status of their competences.

어... 역량 기반 교육, 실무 기반 교육으로 인해 저는 제 발전과 제 자신을 어떻게 발전시키는지 모니터링하기가 정말 어렵다는 것을 인정해야 할 것 같습니다. 물론 그것은 교사-코치 대화의 주제 중 하나이지만, 매우 구체적이지는 않다. 지난 3년 동안 얼마나 소통이 잘 되고, 팀플레이가 잘 됐나요? 나도 잘 모르겠고, 그걸 보여주는 숫자도 없다 (P7)
Uh… with those competences, so competency-based education, really the practice-based education, I would have to admit that I find it really difficult to monitor my progress and how I have developed myself. That of course is one of the subjects during the teacher–coach conversations, but it is not very tangible. How good of a communicator, how good of a team player have I become during the last three years? I do not really have a clue, and I do not have any numbers either. (P7)

모든 학생들은 의학 교과 과정 동안 학습에 대한 통찰력을 높일 수 있는 방법에 대한 질문 중 하나에 대해 아이디어를 제시했습니다. 학생들은 대부분 현재 존재하는 평가 도구(예: 저부담시험, 공부 과제, 전자 학습)를 더 많이 보유하는 것이 지식 부족에 대한 더 많은 통찰력을 제공할 것이라고 언급했다.

All students offered ideas in response to one of the questions on how we could enhance one’s insight into one’s learning during the medical curriculum. Students mostly mentioned that having more of the currently existing assessment tools (e.g. low-stakes exams, study assignments, and e-learnings) would provide more insight in one’s knowledge deficiencies.

하지만, 예를 들어, 자율학습 과제나 e-러닝 과제가 시험과 같이 설계된다면, 아마도 여러분의 학습은 매우 시험 지향적일 것입니다. (P2)
But maybe if, for example, the self-study assignments or e-learning assignment are designed like the exam, it would be… but, then your learning is very exam-oriented maybe. (P2)

몇몇 학생들은 개인의 지속적인 발전을 촉진하기 위해 피드백과 성찰을 강화함으로써 얻을 수 있는 이점에 대해 상세히 설명했습니다.
A few students elaborated on the benefits of intensifying feedback and reflection to facilitate personal continuous development.

사실 어제 교육위원회에서 얘기했잖아요 종적 평가와 자기 자신을 향상시키는 것 등... 그것에 더 많은 관심을 기울여야 합니다. 그리고 학생들 스스로에게 물어보거나 그들이 스스로를 개선할 의지가 있는지 평가할 수도 있습니다. (P8)
Well, actually we were talking about this yesterday in an educational committee. Longitudinal assessment and improving yourself and such… that more attention should be paid to that. And that you maybe can ask the students themselves or assess if… are they willing to improve themselves? (P8)

마지막으로, 몇몇 학생들은 지금의 의학 교육이 오로지 의학적인 사실을 배우는 것에만 있다고 언급했다.

Finally, some students mentioned that medical education is solely about learning medical facts.

저에게 있어서, 제가 배우는 것은 대부분 사실을 배우는 것이고, 그것이 정말로 평가된 것입니다. 저는 사실을 배우는 데 있어서 도움을 필요로 하는 것이 아닙니다. 왜냐하면 그것은 제가 알거나 모르거나 둘 중 하나기 때문이다. 저는 암기를 잘하는 것이 장점 중 하나이기 때문에 암기를 잘 할 수 있는 사람은 아무도 없다고 생각합니다. 그래서 저는 암기에 별로 도움이 필요하지 않고, 제가 교육받는 동안 [사실들을 배우는 것]이 제가 주로 시험을 위해 하는 것이라고 생각합니다. 그리고 그런 의미에서, 그 자료를 이해하는 정도는 덜 합니다. (7쪽)
To me, what I am learning is mostly about learning facts, and that is what’s assessed really … I am not looking for any help [in learning facts], because it’s things that I know or do not know. I don’t think that anyone can help me to better learn things by heart, because I, that is one of my strengths, that I am good at learning things by heart. So, I don’t really need help with that and I think that during my education that [learning facts] is what I mainly do for an exam, and in that sense, to a lesser extent understanding the material. (P7)

이 발췌문에서 알 수 있듯이, 학생들은 사실을 배우는 것이 자기 조절적인 학습(예: 도움을 구하는 것)을 필요로 하지 않으며, 사실을 배우는 것이 의과대학의 임상 전 단계에서 성공하기에 충분하다고 느꼈다.
As illustrated by this excerpt, students felt that learning facts does not require self-regulated learning (e.g. help-seeking) and that learning facts is sufficient to succeed in the pre-clinical phase of medical school.

고찰
Discussion

우리의 연구는 의대생들의 메타인지 능력, 지식, 경험에 대한 통찰력을 제공했다. 또한, 우리는 의료 커리큘럼에서 자율 학습에 대한 학생들의 인식을 얻었습니다. 메타인지 능력과 관련하여, 학생들은 문제를 푸는 동안 학습 과정을 모니터링하는 다양한 방법을 사용했다. 예를 들어, 그들은 문제를 덜 추상적으로 만들기 위해 상황을 시각화했다. 모니터링과 달리 기획과 평가에 드는 시간이 적었다. 임상 추론에서 메타인지 기술에 대한 이전의 연구도 학생들이 모니터링을 수행하지만, 계획은 훨씬 덜 발생한다. 계획과 평가는 학업성취도에 대한 강력한 예측 변수이다. 중요한 것은 이러한 기술은 고정된 특성보다는 수정 가능하고 가르칠 수 있다는 것이다.7 Tanner는 과제, 단일 수업 세션, 시험 또는 전체 과정의 레벨에서 학습자가 메타인지적 기술을 훈련할 때 물어볼 수 있는 자기 질문의 예를 제시했습니다. 이러한 질문은 학습자에게 도움이 될 뿐만 아니라 교실에서 메타인지 기술을 명시적으로 다루는 것을 목표로 하는 교육자들에게도 도구 역할을 합니다.
Our study provided insight into medical students’ metacognitive skills, knowledge, and experiences. Additionally, we obtained students’ perceptions of self-regulated learning in the medical curriculum. Regarding metacognitive skills, students used various ways to monitor their learning process while problem-solving. For example, they visualized the situation to make the problem less abstract. Contrary to monitoring, less time was spent on planning and evaluating. Previous research on metacognitive skills in clinical reasoning has also shown that students perform monitoring, but that planning occurs to a much lesser extent.29 Planning and evaluation are strong predictors of academic performance.30–32 Importantly, these skills are modifiable and teachable, rather than fixed traits.7 Tanner has provided examples of self-questions that learners may ask in training their metacognitive skills, either on the level of an assignment, a single class session, an exam, or a full course.33 These questions are not only helpful for learners, but also serve as a tool for educators who aim to address metacognitive skills explicitly in their classrooms.

[메타인지 지식]과 관련하여, [학습 과정에 대한 인식의 다양성]이 발견되었다. 기술의 종류나 사용법에 대한 메타인지적 지식이 거의 없는 학생들에게는 이것을 명시적으로 가르칠 필요가 있다. 게다가, 교육자들은 새로운 정보를 가르치기 전에 어떤 과목에 대한 학생들의 사전 지식을 알아야 한다. 예를 들어, [사전 평가]는 학생들이 자신의 지식 수준을 조사하도록 장려하는 데 매우 가치 있는 도구일 수 있으며, 학생들의 이해에 대한 통찰력을 얻기 위한 진단 도구로서 교육자들에게는 매우 가치 있는 도구일 수 있다. 교육자들은 책임을 져야 하는데, 특히 우리는 문헌을 통해 학생 스스로가 그들의 실제 지식과 역량에 대해 [다소 형편없는 판단자poor judges]라는 것을 알고 있기 때문이다. 
Regarding metacognitive knowledge, a large variety in awareness about one’s learning process was found. For those students with little metacognitive knowledge about types of skills or how to use them, there is a need to teach this explicitly.17,33 Moreover, educators should be aware of students’ prior knowledge about a subject before teaching them new information. For example, preassessments may be very valuable tools in encouraging students to examine their level of knowledge, and for educators as a diagnostic tool to gain insight in students’ understanding.34 Educators should take responsibility, especially since we know from literature that students themselves are rather poor judges of their actual knowledge and competencies.34,35

[메타인지 경험]에 대해서는 대부분의 학생들이 논리적인 느낌이나 친근한 느낌을 바탕으로 자신의 성과를 평가했고, 추론의 용이성에 대해서는 덜 평가했다. 처음 두 가지는 자동 및 무의식적으로 작동하는 표면 관련 단서라고 할 수 있으며, 일반적으로 성능에 대한 예측 단서로 신뢰할 수 없다. 중요한 것은 학습자가 이해 기반 단서(예: 추론 용이성)와 같은 예측 단서를 효과적으로 사용하도록 훈련할 수 있다는 것이다. 사실지식을 배우는 경우 키워드나 요약을 생성하고, 개념지식의 경우 도표를 완성하는 등의 다양한 교육방법이 있다. 학생들이 교실에서 예측 신호를 인식하고 생성하도록 명시적으로 가르치는 것은 결국 교실 밖에서 자율적으로 학습하는 동안 예측 신호 사용을 강화하는 결과로 이어질 수 있다.2
Regarding metacognitive experiences, most students estimated their performance based on a feeling of logic or a feeling of familiarity, and to a lesser extent on the ease of reasoning. The first two can be referred to as surface-related cues that operate automatically and unconsciously, and which are generally unreliable as predictive cues for performance.20,21 Importantly, learners can be trained to effectively use predictive cues such as comprehension-based cues (e.g. ease of reasoning).20,36 Various examples of training methods include generating keywords or summaries in the case of learning factual knowledge, and completing diagrams in the case of conceptual knowledge.37,38 Teaching students explicitly to recognize and generate predictive cues in the classroom may eventually lead to enhancing predictive cue use during self-regulated learning outside of the classroom.2

 

사실을 직시하며
Facing the facts

의료 훈련을 받는 동안 학생들은 계속해서 자신을 증명해야 하며, 결과적으로 그들의 학습은 평가에 의해 주도된다. 우리의 연구는 평가 결과에 할당한 가치에 대한 학생들의 설명에서 이를 확인한다. 그들은 평가가 성과에 대한 주요 지표라고 느꼈다. 특히 역량 기반 교육에 대해서는 어떤 수치에도 의존할 수 없었기에, 학생들은 자신의 역량 수준에 대한 통찰력이 없다고 느꼈다. 평가가 의대생들의 공부 동기에 미치는 영향은 심오하며, 종종 학습에 대한 표면적인 접근으로 이어진다. 표면적 접근은 예를 들어, 사실을 암기하려는 학생들의 목표로 특징지어진다. 특히 우리 학생들은 임상 전 의료훈련의 초점이 사실지식을 배우는 데 있다고 설명하면서 이 문장에 힘을 실었다. 그들은 학습에 대한 이러한 접근은 그들의 추론 능력을 희생하는 것이라고 느꼈다. 심지어 어떤 학생들은 임상적 "추론"은 단지 사실적 지식을 상기해야 하는 패턴 인식의 과정으로 묘사한다.
During their medical training, students continuously have to prove themselves, resulting in their learning being driven by assessments.39,40 Our research confirms this in students’ descriptions of the value they assigned to assessment outcomes. They felt that assessments were the main indicators for performance. Regarding competency-based education specifically, students felt they had no insight in their level of competency as they could not fall back on any numerical indicator of performance. The impact of assessments on medical students’ motivation to study is profound and often leads to a surface approach to learning.39,41,42 This surface approach is characterized, for example, by students’ aim to memorize facts.43 Notably, our students underlined this statement by describing that the focus in pre-clinical medical training is on learning factual knowledge. They felt that this approach to learning came at the cost of their reasoning abilities. Even clinical “reasoning” is described by some students as a process of pattern recognition during which one has to merely recall factual knowledge.

의학 교육계는 이미 딥러닝을 확립하기 위한 솔루션 중 하나가 기초 과학과 임상 학습의 더 많은 통합이며, 이는 의료 개념을 더 잘 이해하기 위한 개념적 지식을 원하는 학생들의 필요를 충족시킬 수 있다고 제안했다. 또한, 평가는 학습을 유도하기 때문에 교육자와 교수진은 평가에서 요구하는 것을 연습practie에 필요한 스킬셋에 맞게 조정해야 합니다. 메타인지와 자기 조절 학습이 정규 평가 일정의 일부이고 성적에 기여했다면, 모든 당사자들에 의해 학습의 중요한 측면에 더 큰 관심을 받을 수 있을 것이다. 메타인지 성과를 평가 일정에 통합하는 예는 성찰 저널의 사용을 소개하는 것입니다. 
The medical education community has already suggested that one of the solutions to establish deep-learning might entail more integration of basic science and clinical learning, which would meet the students’ needs for conceptual knowledge to better understand medical concepts.44 Additionally, because assessment drives learning, educators and faculty should better align assessments with the skill sets required for practice. If assessment of metacognition and self-regulated learning were part of the regular assessment schedule and contributed to grades, one might well get greater attention placed on this important aspect of learning by all parties. An example of integrating metacognitive performance in the assessment schedule is to introduce the use of reflective journals.33 

그러나 평가만이 학생들 사이에서 메타인지적 발전을 자극하는 유일한 해결책은 아니다. 다른 전략에는 학생들의 사전 지식을 명시적으로 활성화하고 새로운 학습 주제에 접근하는 방법에 대한 사려 깊은 계획 수립에 도움이 되는 자체 질문self-guestions의 사용이 포함된다.33 또한 우리의 연구 참여자들이 원하는 바와 같이, 보다 지속적인 평가를 용이하게 하는 통합 종적 평가 프로그램으로의 추세가 있다. 유능한 평생 학습자를 배출하는 것을 목표로 한다. 학생들이 자신의 역량을 평가할 수 있는 메타인지 성과지표를 정의해 의미 있는 평가를 통합하면 우리 학생들이 평생학습 건강전문가가 되는 데 도움이 될 것이다. 

But assessments are not the only solution toward stimulating metacognitive development among students. Other strategies include the use of self-questions that explicitly activate students’ prior knowledge and help them in thoughtful planning of how to approach a new learning topic.33 Further, as also desired by participants in our study, there is a trend toward integrated longitudinal assessment programs that facilitate a more continuous evaluation of student abilities, and which aim to produce competent lifelong learners. The integration of meaningful assessments by defining metacognitive performance indicators against which students can assess their competencies will help our students become lifelong learning health professionals.40,45

장점 및 한계
Strengths and limitations

우리 연구의 강점은 사고력 과제와 인터뷰 시간을 결합하는 데 있다. 이 접근법은 학생들의 메타인지적 수행의 세 가지 측면을 더 잘 파악할 수 있게 해주었다. 교육과정 수준의 자율학습에 대한 학생들의 생각을 촉진하는 역할도 톡톡히 했다. 그러나 몇 가지 제한 사항이 고려되어야 합니다.

• 첫째, 연구는 진위적이지 않은 환경에서 수행되었는데, 이는 학습 행동과 성과에 영향을 미칠 수 있는 실제 환경의 맥락적 요인이 제외되었다는 것을 의미한다. 그럼에도 불구하고, 학생들은 성적이 매우 좋은 경향이 있었고, 어떠한 채점도 수반되지 않았음에도 불구하고 매우 진지하게 학습 과제를 수행했다.
• 둘째, 메타인지 기술은 과제 중에 학생들에게 명시적으로 이러한 기술에 대해 묻지 않고 측정되었습니다. 이것은 다음과 같이 정의된 미세분석을 사용하는 것과 반대된다. "교육생들이 진정한authentic 활동을 할 때, [여러 주기적 단계 프로세스를 대상으로 상황별 질문]을 던지는 구조화된 인터뷰 접근 방식입니다." 

A strength of our study lies in combining the think-aloud assignment with an interview session. This approach allowed us to better grasp all three facets of students’ metacognitive performance. It also functioned well as a prompt for students’ thoughts about self-regulated learning on the curriculum level. However, some limitations must be taken into consideration.

• First, the study was conducted in a non-authentic setting, meaning that contextual factors from a real environment which may influence learning behavior and performance were excluded. Still, students were very inclined to perform well and worked on the learning task very seriously although there was not any grading involved.
• Second, metacognitive skills were measured without explicitly asking our students about these skills during the task. This is contrary to the use of microanalyses, defined as “structured interview approaches that involve administering context-specific questions targeting multiple cyclical phase processes as trainees engage in authentic activities.”46 

이러한 미세분석은 자기조절학습 과정을 측정하고 학생들이 문제 해결 동안 전략적인 단계에 집중하도록 유도하는 데 사용됩니다.29 그러나 이러한 질문은 학생들의 인식을 촉발하고 메타인지적 기술의 "인공적인artificial" 사용을 유도할 수 있습니다. 따라서 우리는 우리의 접근 방식이 메타인지적 기술을 사용하는 학생들의 더 정확한 이미지로 이어진다고 주장한다. 다만 학생들의 생각만 추정할 수 있을 뿐 메타인지 전략과 경험을 모두 발성할 수 있다고 장담할 수 없기 때문에, 'underestimation'의 가능성을 배제할 수 없다.

These microanalyses are often used to measure self-regulated learning processes and prompt students to focus on strategic steps during problem-solving.29 However, such prompts may trigger students’ awareness and induce “artificial” use of metacognitive skills as they may not have used these skills in a non-prompted setting. We therefore argue that our approach leads to a more accurate image of students’ use of metacognitive skills. Yet, we cannot rule out the possibility of an “underestimation” due to this method because we can only approximate students’ thoughts and cannot guarantee that they vocalize all their metacognitive strategies and experiences.

본 연구는 네덜란드 대학의 최종 학년 임상의학과 학생들 사이에서 수행되었다. 질적 연구에서 항상 그렇듯이, 결과를 다른 맥락으로 옮길 때는 주의가 필요하다. 이 특정한 맥락에도 불구하고, 우리는 모든 네덜란드의 의료 프로그램이 네덜란드 대학 의료 센터 연맹에 의해 개발된 것과 같은 청사진에 기초하기 때문에 우리의 발견이 네덜란드의 교육적 맥락 안에서 이전될 수 있다고 주장한다.26 이 청사진은 임상 전 훈련을 위한 공식화된 목표가 매우 구체적이고 구체적이기 때문에 전이가능성transferability을 촉진한다. 
Our study was performed among final year pre-clinical medical students in a Dutch University. As always in qualitative research, caution is advised in transferring the results to other contexts. Despite this specific context, we argue that our findings are transferable within the Dutch educational context as all Dutch medical programs are based on the same blueprint as developed by the Dutch Federation of University Medical Centers.26 This blueprint promotes transferability as the formulated objectives for pre-clinical training are very specific and concrete.

 

결론
Conclusion

이 연구는 의대생들이 자기조절학습을 용이하게 하기 위해 메타인지에 대한 명시적인 훈련과 평가가 필요하다는 것을 밝혀냈다. 또한, 연구 결과는 지원 교육 활동(예: 코치 대화, 성찰 에세이)을 포함한 CanMEDS 기반 커리큘럼이 align되어있지 않거나, 메타인지 능력의 개발을 촉발하지 않았다는 것을 보여주었다. 커리큘럼 설계가 변하지 않는다면 메타인지에 대한 명시적 교육의 구현은 여전히 원하는 효과를 얻을 수 없을 것이다. 교육자와 교직원은 메타인식을 강의실의 일상적인 담론에 통합하여 학생들이 자신의 인식과 학습을 토론하는 환경을 조성하는 것을 목표로 해야 한다. 여기에는 메타인지적 마음의 습관을 발달시키고 평생학습을 자극하기 위해 인지적 학습과 메타인지적 학습을 동시에 추진하는 새로운 평가전략의 사용이 포함된다.

This study revealed that medical students are in need of explicit training and assessment of metacognition to facilitate self-regulated learning. Moreover, findings showed that the CanMEDS-based curriculum, including supportive educational activities (e.g. coach conversations, reflective essays) were not aligned or did not trigger the development of metacognitive skills. If curriculum design remains unchanged, implementation of explicit teaching of metacognition could still not yield the desired effects. Educators and faculty should aim to integrate metacognition in the everyday discourse of the classroom to foster an environment in which students discuss their own cognition and learning. This includes the use of novel assessment strategies that drive both cognitive and metacognitive learning in order to develop metacognitive habits of mind and stimulate lifelong learning.

 

---

Teach Learn Med. Oct-Dec 2021;33(5):473-482.

 doi: 10.1080/10401334.2021.1889559. Epub 2021 Mar 15.

What Were You Thinking? Medical Students' Metacognition and Perceptions of Self-Regulated Learning

Marjolein Versteeg 1 2, Guusje Bressers 3, Marjo Wijnen-Meijer 4, Belinda W C Ommering 1, Arnout Jan de Beaufort 1, Paul Steendijk 1 2

Affiliations collapse

Affiliations

1Center for Innovation in Medical Education, Leiden University Medical Center, Leiden, The Netherlands.

2Department of Cardiology, Leiden University Medical Center, Leiden, The Netherlands.

3Eindhoven School of Education, Eindhoven University of Technology, Eindhoven, The Netherlands.

4TUM School of Medicine, TUM Medical Education Center, Technical University of Munich, Munich, Germany.

PMID: 33722115

DOI: 10.1080/10401334.2021.1889559

Abstract

Phenomenon: As a component of self-regulated learning, metacognition is gaining attention in the medical education research community. Metacognition, simply put, is thinking about one's thinking. Having a metacognitive habit of mind is essential for healthcare professionals. This study identified the metacognitive competencies of medical students as they completed a conceptual learning task, and provided insight into students' perceptions of self-regulated learning in their curriculum. Approach: Eleven third-year medical students from a Dutch University were purposively sampled to participate in this qualitative study. The study design included a think-aloud assignment followed by a semi-structured interview. During the assignment, participants were instructed to think aloud while solving questions about medical physiological concepts such as blood flow, pressure, and resistance. Think-aloud data were collected through audiotaping and used to identify participants' metacognitive competencies. The assignment also served as a prompt for an interview in which participants were questioned about metacognitive knowledge, monitoring, experiences, and perceptions of self-regulated learning in their curriculum. All data were transcribed verbatim and analyzed iteratively using a template analysis. Findings: Students differed in their use of metacognitive skills, with an overall focus on monitoring and, to a lesser extent, on planning and evaluation. Additionally, differences were found in students' metacognitive knowledge and metacognitive experiences. There was apparent use of inefficient, superficial predictive cues. Regarding perceptions of self-regulated learning skills, some students felt no need to develop such skills as they perceived medical education as an exercise in memorizing facts. Others emphasized the need for more insight into their actual level of knowledge and competence. Insights: Pre-clinical medical students require explicit teaching of metacognitive skills to facilitate self-regulated learning. Educators should aim to integrate metacognition in the everyday discourse of the classroom to foster an environment in which students discuss their own learning.

Supplemental data for this article is available online at https://doi.org/10.1080/10401334.2021.1889559.

Keywords: Metacognition; medical students; qualitative research; self-regulated learning.