보건의료전문직교육에서 학생의 학습동기와 성과에 평가가 미치는 영향: 검토와 실재주의자 통합(Acad Med, 2023)

보건의료전문직교육에서 학생의 학습동기와 성과에 평가가 미치는 영향: 검토와 실재주의자 통합(Acad Med, 2023)
The Effect of Assessments on Student Motivation for Learning and Its Outcomes in Health Professions Education: A Review and Realist Synthesis
Rashmi A. Kusurkar, MD, PhD, Cesar Orsini, MEd, DHPE, Sunia Somra, MSc, Anthony R. Artino Jr, PhD, Hester E.M. Daelmans, MD, PhD, Linda J. Schoonmade, and Cees van der Vleuten, PhD 

 

일반적으로 고등 교육, 특히 보건 전문직 교육(HPE)에서 저자들은 "평가가 학습을 주도한다", "학습을 위한/위한 평가", "학습으로서의 평가"와 같은 문구를 사용하여 평가가 학습에 미치는 영향에 대해 논의해 왔습니다.1-3 그러나 이러한 과학적 논의에서 평가가 학습 동기의 질과 그 결과에 미치는 영향은 대부분 소홀히 다루어져 왔습니다. 고부담 평가는 장기적으로 학생의 자율적 동기를 저해할 뿐만 아니라4 심리적 고통을 유발할 수 있기 때문에 이러한 격차는 중요합니다.5 따라서 고부담 평가가 동기 부여에 미치는 영향은 평가가 학습 및 심리적 안녕에 영향을 미치는 하나의 인과 메커니즘일 수 있습니다.6,7 이 검토에서는 평가가 학생의 학습 동기에 어떻게 영향을 미치고, 이는 다시 학습 및 심리적 안녕 결과에 영향을 미치는지에 대한 보건 전문직 교육자의 이해를 높이는 것을 목표로 하고 있습니다.  
In higher education, in general, and in health professions education (HPE), more specifically, authors have debated the effect of assessments on learning, with phrases like “assessment drives learning,” “assessment for/of learning,” and “assessment as learning” pervading the literature.1–3 However, the effect of assessments on the quality of student motivation for learning and its consequences have been largely neglected in this scientific dialogue. This gap is important as high-stakes assessments can not only hamper students’ autonomous motivation in the long term4 but also produce psychological distress.5 Thus, high-stakes assessment's effect on motivation could be one causal mechanism by which assessment influences learning and psychological well-being.6,7 In this review, we aim to improve health professions educators’ understanding of how assessments influence student motivation for learning, which in turn has an effect on learning and psychological well-being outcomes.

이 검토에서 심리적 안녕은 기분이 좋고 효과적으로 기능하는 것을 포함합니다.7 따라서 부정적인 심리적 안녕은 이 두 가지 중 하나 또는 둘 다 손상된 것으로 특징지어집니다.7 학습은 "연습 또는 다른 형태의 경험에서 비롯되는 행동의 지속적인 변화 또는 주어진 방식으로 행동할 수 있는 능력"을 의미합니다.8 
For this review, psychological well-being includes feeling good and functioning effectively.7 Thus, negative psychological well-being would be characterized as either or both of these being compromised.7 Learning denotes “an enduring change in behavior or the capacity to behave in a given fashion, which results from practice or other forms of experience.”8

교육자는 학생의 지식과 기술에 대한 총체적인 평가를 제공하는 것과 함께, 평가를 통해 학습을 이끌어내려는 의도를 가지고 있는 경우가 많습니다. 반면에 학생들은 학습보다는 '성과'에 초점을 맞추는 경우가 많습니다.9,10 이는 평가의 의도와 영향력 사이에 큰 차이가 있음을 나타냅니다. "2018 좋은 평가를 위한 합의 프레임워크"에서는 학생 동기와 관련된 교육적 효과와 촉매적 효과를 포함하여 평가에 대한 7가지 기준을 권장합니다.11

• 교육적 효과는 학생이 교육적 혜택을 준비하고 생산하도록 동기를 부여하는 평가를 말하며,
• 촉매적 효과는 교육을 창출, 개선 및 지원하는 이해 관계자에게 동기를 부여하는 결과와 피드백을 제공하는 평가를 말합니다.11

Along with providing summative evaluations of students’ knowledge and skills, educators often intend for assessments to produce learning. Students, on the contrary, often focus on “giving a performance” rather than on learning.9,10 This represents a major gap between the intention and impact of assessments. The “2018 consensus framework for good assessment” recommends 7 criteria for assessments, including that they have educational and catalytic effects that are concerned with student motivation.11 

• Educational effects refer to assessments motivating students to prepare for and produce educational benefit, whereas
• catalytic effects refer to assessments providing results and feedback that motivate stakeholders in creating, improving, and supporting education.11 

이 프레임워크에서는 교육적 혜택에 초점을 맞추기 때문에 동기 부여의 개념이 다소 제한적이며, 교육이 학생의 호기심을 불러일으키고 자극해야 한다는 동기 부여의 측면을 무시합니다.12,13 Lineberry는 학생 동기를 고려하고 교육에서 학습과 성과를 장려하는 주요 방법으로 평가를 사용할 것을 권장하는 "학습에 영향을 미치는 평가"의 개념을 제시합니다.9 그러나 이러한 접근 방식은 통제된 동기와 자율적 동기를 통해 학생의 학습을 촉진하는 것을 구분하거나 통제된 동기를 촉진하는 것이 자율적 동기에 해로운 영향을 미치는 문제를 다루지 않습니다.12,13 동기를 자율적 동기(진정한 관심 및/또는 개인적으로 지지하는 중요성)와 통제된 동기(내부 또는 외부 압력 또는 보상이나 제재에 따른 조건부)로 분류하는 동기 자기 결정 이론(SDT)은 통제된 동기보다는 자율적 동기를 촉진하기 위해 평가를 어떻게 개념화해야 하는지에 대한 지침을 제공할 수 있습니다.12,13 통제된 동기와 비교하여 자율적 동기는 심층 학습, 학업 성취도 향상, 창의성 및 심리적 안녕과 관련이 있습니다.12-14 자율적 동기를 자극하는 것은 자율성(학습에 대한 선택감), 유능감(학습 능력), 관련성(또래 집단에 대한 소속감)이라는 세 가지 기본 심리적 욕구의 충족에 달려 있습니다. 반대로 통제된 동기는 이러한 욕구의 좌절에 의해 자극됩니다.12-14 
In this framework, the concept of motivation is rather limited, as it focuses on the educational benefit, while ignoring the aspect of motivation suggesting education should inspire and stimulate student curiosity.12,13 Lineberry puts forward the concept of “assessment affecting learning,” which considers student motivation and recommends using assessment as the primary way of encouraging learning and performance in education.9 But, this approach does not differentiate between driving student learning through controlled and autonomous motivation or address the problem of how driving controlled motivation has a harmful effect on autonomous motivation.12,13 Self-determination theory (SDT) of motivation—which classifies motivation as autonomous (out of genuine interest and/or personally endorsed importance) and controlled (out of internal or external pressure or contingent on rewards or sanctions)—can provide guidance on how assessments should be conceptualized to foster autonomous rather than controlled motivation.12,13 Autonomous motivation as compared with controlled motivation is associated with deep learning, better academic performance, higher creativity, and psychological well-being.12–14 Stimulating autonomous motivation is contingent on the satisfaction of 3 basic psychological needs: autonomy (sense of choice in learning), competence (sense of capability for learning), and relatedness (sense of belonging to the peer group). In contrast, controlled motivation is stimulated by the frustration of these needs.12–14

SDT는 고부담의 평가가 학생들의 자율적인 학습 동기에 해로운 영향을 미치고 교육 관행을 부패시킬 수 있다고 가정합니다.4 교육자가 형성 평가와 총괄 평가를 구분한 후에도 학생들은 종종 형성 평가의 순간을 총괄 평가의 순간으로 인식하는 경우가 많습니다. 학생들은 형성 평가에서 최고의 성적을 거둔 순간을 선택하여 성적을 관리하려고 합니다.15 이는 평가가 미래의 교육 기회를 결정하는 데 도움이 되는 경우가 많다는 생각에 뿌리를 두고 있을 수 있습니다. 따라서 이러한 현상은 주로 학습을 위한 평가 기회로 설계된 프로그램 평가와 같은 정교한 평가 시스템이나 프로그램에서도 발생할 수 있습니다.16 프로그램 평가를 채택한 의과대학에서 학생들은 평가 결과에 대한 통제감을 느끼지 못할 때 형성 평가를 총괄 평가처럼 취급하는 것으로 나타났습니다.17 이는 특히 정답이 구조화된 지식 기반 평가의 경우, 교사와의 신뢰 관계가 부족하고 평가가 수행 능력 향상에 사용될 수 없는 경우 더욱 그렇습니다.17 또한 교사는 교육과정 개발자의 의도와 다르게 평가를 시행할 수 있습니다(예: 임상 감독자마다 역량 채점 기준을 다르게 적용하는 것으로 밝혀짐).3,18 이는 평가의 의도와 영향 사이의 격차를 확대할 수 있는 추가적인 요인입니다. 따라서 좋은 의도의 평가 시스템이나 프로그램이라도 잘못 시행하면 학생의 동기 부여에 역행할 수 있습니다.19 
SDT posits that high-stakes assessments have deleterious effects on students’ autonomous motivation for learning and can corrupt educational practices.4 Even after educators distinguish between formative and summative assessments in HPE, students often perceive formative moments as summative ones. They try to control their grades by choosing their best performance moments for their formative assessments.15 This may be rooted in the notion that assessments often help to determine future educational opportunities. This can, therefore, happen even in sophisticated assessment systems or programs, like programmatic assessment, which is primarily designed as an assessment for learning opportunity.16 In medical schools that have adopted programmatic assessment, students have been found to treat formative assessments like summative assessments when they do not feel a sense of control over the assessment outcome.17 This is especially true for knowledge-based assessments with structured answers, when there is a lack of a trusting relationship with teachers and when assessments cannot be used for improving performance.17 Moreover, teachers may implement assessments differently than intended by curriculum developers (e.g., different clinical supervisors have been found to apply standards for scoring competencies differently).3,18 This is an additional factor that can widen the gap between the intention and impact of assessments. Thus, even a well-intentioned assessment system or program may work against student motivation if implemented incorrectly.19

따라서 이 검토는 HPE 문헌에 보고된 바와 같이 평가가 동기에 미치는 영향과 그 결과를 조사하여 학생의 호기심과 자율적 동기를 자극하여 궁극적으로 학습과 장기적인 임상 성과 및 심리적 안녕을 촉진하는 평가를 설계하기 위한 과학적 근거를 제공하는 것을 목표로 합니다. 이 검토를 이끄는 연구 질문은 다음과 같습니다: HPE에서 평가는 학생의 학습 동기에 어떤 영향을 미치는가? 어떤 상황에서 어떤 결과를 가져오는가? 
Therefore, this review aims to examine the effect of assessments on motivation and its consequences, as reported in the HPE literature, thereby attempting to provide a scientific grounding for designing assessments that stimulate student curiosity and autonomous motivation which, in turn, should ultimately foster learning and long-term clinical performance and psychological well-being. The research questions guiding this review were: How do assessments affect student motivation for learning in HPE? What outcomes does this lead to in which contexts?

조사 방법
Method

체계적인 방식으로 검색을 수행했으며 데이터 분석을 위해 실재주의적 종합 방법을 사용했습니다. 방법론 논문과 함께 HPE에 게재된 현실주의적 검토를 인용하여 방법을 안내했습니다.20-24 
We conducted our search in a systematic manner and used realist synthesis method for data analysis. We used the cited realist reviews published in HPE along with methodology articles to guide our method.20–24

검색 전략
Search strategy

검색 전략은 정보 전문가(L.J.S.)와 함께 반복적으로 개발했으며, 실현 가능성을 고려하여 2010~2020년으로 제한했습니다.21 2020년 10월, 2010년 1월 1일부터 2020년 10월 29일까지의 논문을 포함하는 6개의 서지 데이터베이스(PubMed, Embase, APA PsycInfo, ERIC(교육자원정보센터), CINAHL, Web of Science Core Collection)에서 언어 제한 없이 종합적인 검색을 수행했습니다. 다음 용어는 색인어 또는 자유 텍스트 단어의 반복적으로 개발된 3개의 검색 문자열(동의어 및 밀접하게 관련된 단어 포함)에 사용되었습니다: "평가" 및 "동기 부여" 및 "보건 전문직 교육/학생"(보충 디지털 부록 1 참조). 중복 논문은 제외되었습니다. 더 관련성이 높은 논문을 찾기 위해 포함된 모든 논문의 참고문헌에 대해 눈덩이 검색을 실시했습니다. 
The search strategy was developed iteratively with an information specialist (L.J.S.) and was limited to 2010–2020 because of feasibility considerations.21 In October 2020, a comprehensive search was performed in 6 bibliographic databases—PubMed, Embase, APA PsycInfo, ERIC (Education Resources Information Center), CINAHL, and Web of Science Core Collection—that included articles from January 1, 2010, to October 29, 2020, with no language restrictions. The following terms were used in 3 iteratively developed search strings (including synonyms and closely related words) of index terms or free-text words: “assessments” AND “motivation” AND “health professions education/students” (see Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/B420 for the full search strategy). Duplicate articles were excluded. A snowball search was conducted on the references of all included articles to identify more relevant articles.

포함 기준
Inclusion criteria

HPE에서 평가(모든 유형)가 학생의 학습 동기에 미치는 영향을 조사하고, 경험적 논문 및 문헌 고찰이며, 양적, 질적 또는 혼합 방법을 사용한 논문이 포함되었습니다. 
Articles were included if they investigated the effect of assessments (all types) on student motivation for learning in HPE; were empirical papers and literature reviews; and used quantitative, qualitative, or mixed methods.

제외 기준
Exclusion criteria

HPE가 아닌 집단을 조사했거나, 평가와 동기를 다루지 않았거나, 비경험적 출판물(의견, 관점, 편지, 사설, 논평, 논문, 학회 초록)이거나, 동기가 결과 측정이 아니거나 측정 또는 평가되지 않은 경우 논문은 제외되었습니다. 
Articles were excluded if they examined a non-HPE population, were not on assessments and motivation, were nonempirical publications (opinions, perspectives, letters, editorials, commentaries, dissertations, conference abstracts), or if motivation was not an outcome measure or was not measured or evaluated.

엄격성 및 관련성
Rigor and relevance

포함된 논문의 엄격성과 관련성은 사실주의적 합성을 위한 RAMSES(Realist and Meta-narrative Evidence Syntheses: Evolving Standards) 출판 표준에 명시된 대로 평가되었습니다.20,21 엄격성은 결과를 생성하는 데 사용된 방법의 신뢰성과 신뢰성을 평가했습니다. 관련성은 연구 질문에 답하는 데 있어 논문의 중요성을 평가했습니다.20 
The rigor and relevance of included articles were evaluated as specified by the RAMSES (Realist and Meta-narrative Evidence Syntheses: Evolving Standards) standards of publication for a realist synthesis.20,21 Rigor evaluated the credibility and trustworthiness of the method used to generate the results. Relevance evaluated the importance of the article in answering our research questions.20

사실주의 합성을 선택한 이유
Rationale for choosing realist synthesis

저희는 복잡한 주제, 즉 평가가 동기 부여에 미치는 영향이 학습 및 심리적 웰빙 결과에 미치는 영향이라는 의도된 결과와 의도하지 않은 결과를 연구하고 싶었습니다. 현실주의적 종합은 "어떤 메커니즘이 어떤 맥락에서 어떤 결과를 초래하는지"(맥락-기제-결과)를 탐구하기 때문에 우리 분석에 가장 적합한 방법이라고 생각했습니다.20,21 즉, 우리의 의도는 즉시 실제적으로 적용할 수 있는 개입을 찾는 것이 아니었기 때문에 Carrieri와 동료들이 설명한 현실주의적 검토 방법을 따르지 않았습니다(예, 모든 단계에서 중요한 이해관계자를 참여시켜 의사와 의대생의 정신건강 문제를 해결하는 데 가장 적합한 개입을 결정하는 것).25 대신 동기 부여에 영향을 미쳐 학습 및 심리적 웰빙 결과를 산출하는 평가 기능(예: 평가 내용, 형식)의 맥락-기제-결과 구성을 연구하고자 했습니다. 따라서 HPE의 특정 변수에 영향을 미치는 요인을 연구한 다른 저자들이 따르는 현실주의적 방법이 우리의 목표에 더 적합했습니다.21-24 
We wanted to study the intended and unintended consequences of a complex topic—the effect of assessments on motivation and hence on, among others, learning and psychological well-being outcomes. Because realist synthesis explores “which mechanisms lead to what outcomes in which contexts” (context–mechanism–outcome), it seemed to be the most suitable method for our analysis.20,21 That said, we did not follow the realist review method described by Carrieri and colleagues because our intention was not to find an immediately practically applicable intervention (e.g., to determine which intervention is best for tackling doctors’ and medical students’ mental ill-health by involving important stakeholders at all stages).25 Our intention was instead to study the context–mechanism–outcome configurations of assessment features (e.g., assessment content, format) that influence motivation and hence produce, among others, learning and psychological well-being outcomes. Thus, the realist method followed by other authors, who also studied factors influencing certain variables in HPE, suited our objectives better.21–24

데이터 추출
Data extraction

R.A.K.와 C.O. 또는 S.S.는 먼저 모든 제목과 초록을 읽고 포함 또는 제외를 결정한 후 전문을 읽고 추가 포함 또는 제외를 결정했습니다. 의견 차이는 회의에서 논의하고 합의를 통해 해결했습니다. 그런 다음 R.A.K.와 C.O. 또는 S.S.가 독립적으로 기사에서 실제 데이터 문장 또는 구문을 추출하고(보충 디지털 부록 2 참조), 합의를 통해 최종 확정했습니다. 그런 다음 R.A.K는 문맥-메커니즘-결과 데이터(보충 디지털 부록 3 참조)를 추출하여 C.O.와 S.S.가 독립적으로 확인했습니다. 의견 차이는 합의를 통해 해결되었습니다. 
R.A.K. and C.O. or S.S. first read all titles and abstracts to make inclusion or exclusion decisions followed by reading full texts to make further inclusion or exclusion decisions. Differences of opinion were discussed in a meeting and resolved through consensus. R.A.K. and C.O. or S.S. then independently extracted actual data sentences or phrases from the articles (see Supplemental Digital Appendix 2 at https://links.lww.com/ACADMED/B420), which was finalized through consensus. R.A.K then extracted context–mechanism–outcome data (see Supplemental Digital Appendix 3 at https://links.lww.com/ACADMED/B420), which was independently checked by C.O. and S.S. Differences in opinion were resolved through consensus.

데이터 분석
Data analysis

분석의 모든 단계는 R.A.K.가 수행했습니다. 각 단계는 최고운영책임자(CO)와 수석연구원이 독립적으로 확인했습니다. A.R.A. Jr는 무작위로 선정된 6개 논문의 코딩된 데이터를 확인했습니다. 
R.A.K. conducted all steps of the analysis. C.O. and S.S. checked each step independently. A.R.A. Jr checked the coded data of 6 randomly chosen articles.

첫째, R.A.K.는 자율적 또는 통제적 동기의 자극을 식별하기 위해 MAXQDA(버전 2020, VERBI GmbH, 독일 베를린)를 사용하여 SDT로부터 민감화 개념을 사용하여 데이터의 내용 분석을 수행했습니다. 
First, R.A.K. used MAXQDA (version 2020, VERBI GmbH, Berlin, Germany) to conduct a content analysis of the data using sensitizing concepts from SDT to identify stimulation of autonomous or controlled motivation.

둘째, 내용 분석에서 나온 코드를 맥락, 메커니즘 또는 결과로 분류했습니다. 자율적 또는 통제적 동기에 영향을 미치는 조건이 맥락을 구성했습니다. 자율적 또는 통제적 동기가 자극되는 방식은 메커니즘을 구성했습니다. 결과는 학습 및 심리적 웰빙 결과(예: 영감 감소, 성과 문화 조성)로 구성되었습니다.  
Second, she classified the codes from the content analysis as a context, mechanism, or outcome. The conditions which led to effects on autonomous or controlled motivation constituted the context. How autonomous or controlled motivation was stimulated constituted the mechanism. Outcomes comprised learning and psychological well-being outcomes, among others (e.g., decreased inspiration, creation of a performance culture).

셋째, R.A.K.는 맥락-기제-결과 구성을 추출하여 평가 기능이 자율적 또는 통제적 동기를 자극하는 방식에 대한 중요한 프로그램 이론을 제안했습니다. 여기서 제안된 현실주의 프로그램 이론은 연구팀 전체의 합의를 통해 최종 확정되었습니다. 
Third, R.A.K. extracted context–mechanism–outcome configurations to propose overarching program theories on how assessment features stimulate autonomous or controlled motivation. The realist program theories proposed here were finalized through consensus among the whole research team.

결과
Results

포함 및 제외 기준을 적용한 결과 15,291개의 논문 중 24개의 논문이 포함되었습니다(그림 1 참조).26-49 각 논문의 엄격성과 관련성은 부록 디지털 부록 2에 보고되어 있습니다.  
After applying the inclusion and exclusion criteria, 24 out of 15,291 articles were included (see Figure 1).26–49 The rigor and relevance of each article is reported in Supplemental Digital Appendix 2 (at https://links.lww.com/ACADMED/B420).

의대생 또는 레지던트를 대상으로 한 연구는 10건, 간호학과 학생을 대상으로 한 연구는 4건, 의대생과 간호학과 학생을 대상으로 한 연구는 1건, 영양학과 학생을 대상으로 한 연구는 2건, 수의학, 물리치료, 보건학, 구강보건, 의사 보조, 약학, 치의학 학생을 대상으로 한 연구는 각각 1건씩이었습니다. 유럽에서 11건, 호주에서 4건, 아시아와 미국에서 각각 3건, 캐나다에서 2건, 중동에서 1건의 연구가 수행되었습니다. 현실주의적 종합 접근법을 사용했기 때문에 이 리뷰에서는 다양한 평가의 특징에 중점을 두었습니다. 따라서 구체적인 평가는 여기서는 다루지 않았지만 부록 디지털 부록 4에 나열되어 있습니다. 
Ten studies were conducted on medical students or residents; 4 on nursing students; 1 on medical and nursing students; 2 on nutrition students; and 1 each on veterinary medicine, physiotherapy, health sciences, oral health, physician assistant, pharmacy, and dental students. Eleven studies were conducted in Europe, 4 in Australia, 3 each in Asia and the United States, 2 in Canada, and 1 in the Middle East. As we used a realist synthesis approach, we focused on the features of the different assessments in this review. The specific assessments were, therefore, not relevant, but are listed in Supplemental Digital Appendix 4 (at https://links.lww.com/ACADMED/B420). 

분석에서는 SDT의 민감 개념을 사용하여 어떤 평가 기능이 자율적 동기와 통제적 동기를 자극하는지 파악했습니다. 아래에서 이 두 가지 범주 각각에 대한 맥락, 메커니즘 및 결과를 보고합니다(주요 결과의 개요는 차트 1 참조).
In our analysis, we used sensitizing concepts from SDT, to identify which assessment features stimulated autonomous versus controlled motivation. We report the contexts, mechanisms, and outcomes for each of these 2 broad categories below (see Chart 1 for an overview of the main findings).

 

통제된 동기 부여
Controlled motivation

결과.
Outcomes.

통제된 동기를 자극하는 평가의 결과로는 다음 등이 있습니다.33

• 외부 압력에 의한 노력 증가26-30, 
• 표면적 및 전략적 학습(흥미 또는 향후 연습을 위해 학습을 희생하면서 평가될 가능성이 있는 내용만 학습)26-28,31-34, 
• 학생 참여 및 학습 저해34, 
• 학습에 대한 압박감, 불안, 좌절, 스트레스26,27,33, 
• 학습 및 개발을 희생한 '성과 문화' 조성33, 
• 평가 프로그램의 학습 잠재력 저해 

평가에서 통제된 동기를 자극하는 평가는 영감과 동기를 감소시키고35 학생들의 자기 효능감을 감소시키며, 직장 기반 학습에 대한 학생들의 성찰에 색을 입힙니다.33 학습에 대한 압박, 불안, 좌절, 스트레스, 영감 감소, 낮은 자기 효능감은 모두 부정적인 심리적 안녕의 지표로 간주될 수 있습니다.7 
The outcomes of assessments stimulating controlled motivation included

• higher effort driven by external pressure26–30;
• surface and strategic learning (learning only what is likely to be assessed, which happened at the expense of learning out of interest or for future practice)26–28,31–34;
• undermining of student engagement and learning34;
• feelings of pressure to study, anxiety, frustration, and stress26,27,33;
• creation of a “performance culture” at the expense of learning and development33; and
• undermining of the learning potential of an assessment program.33 

With assessments that stimulate controlled motivation failure in assessments decreased inspiration and motivation,35 reduced students’ sense of self-efficacy, and colored their reflections of workplace-based learning.33 Pressure to study, anxiety, frustration, stress, decreased inspiration, and low perceived self-efficacy can all be considered indicators of negative psychological well-being.7

맥락.
Contexts.

통제된 동기 부여의 자극은 다양한 맥락에서 일어났습니다. 평가(형성형31,32 또는 총괄형26-28,36,37)가 있다는 것만으로도 학습 또는 평가 준비에 대한 외적 동기를 유발했으며,34,38 고부담의 평가(면허 시험36 등),26 사실적 지식에 대한 강한 초점도 마찬가지였습니다.27 통제된 동기를 자극하는 다른 맥락으로는 경쟁 요소의 존재26,31, 성과와 관련된 압력,27 시간,26-28,35 감정,27 외부 보상,27 내적 이유(감독자의 기대 충족 욕구)36, 지식 부족 또는 실패를 드러내는 것에 대한 두려움 등이 있었습니다.26,27 임상 전문직 준비와 최종 시험 통과 사이의 갈등26,38 및 평가와 결합된 결과도 통제된 동기를 자극했습니다.39 평가의 단계는 평가가 끝날수록 동기가 떨어지는 것처럼 보였기 때문에 중요한 역할을 하는 것으로 보였습니다.40
Stimulation of controlled motivation happened in different contexts. The mere presence of assessments (formative31,32 or summative26–28,36,37) was an external motivator for learning or preparing for the assessments, as were the presence of grades,34,38 high-stakes assessments (like licensure examinations36),26 and a strong focus on factual knowledge.27 Further contexts stimulating controlled motivation included the presence of a competitive element26,31; pressures related to performance,27 time,26–28,35 emotions,27 external rewards,27 and internal reasons (the desire to fulfill supervisor’s expectations)36; and fear of disclosing a lack of knowledge or failure.26,27 Conflict between preparing for the clinical profession and to pass the final examinations26,38 and consequences being coupled with assessments also stimulated controlled motivation.39 The phase of the assessment seemed to play a role as motivation seemed to dip toward the end of the assessment.40

메커니즘.
Mechanisms.

평가는 여러 가지 메커니즘을 통해 통제된 동기를 자극했습니다.

• 실습practice에 중요한 내용을 배우기 위해 공부하거나28 평가를 통과하기 위해 공부하도록 가해지는 외부 압력은 통제된 동기를 자극했습니다.27,31
• 시험은 틀을 제공하고 학생들이 필요한 지식을 습득하고 우선순위를 정하도록 강요했습니다.28
• 외부 압력과 보상은 통제된 동기를 유발하는 트리거로 작용했습니다.27,29,31,38,41,42
• 평가는 통제된 동기를 유발하여 학생들이 평가를 위해 공부하고 연습하게 했습니다.27
• 일부 형성 평가는 학생들의 통제된 동기를 자극하여 성취도를 높였습니다.31 평가 채점은 학생들이 양질의 과제를 제출하도록 동기를 부여했습니다.43
• 형성 평가에서 출제된 문제가 기말 시험에 중요하다고 인식되는 경우 더 많은 학습 노력을 기울였습니다.31
• 평가는 학생들이 더 많이 공부해야 한다는 압박감을 느끼게 하지만, 과목에 대한 흥미를 자극할 수도 있습니다.27
• 외부 규제 기관과 규정의 존재는 평생 학습을 자극했습니다.36
• 평가 결과에 대한 위임에 초점을 맞추면 학습자가 지속적으로 평가를 받는다는 인식과 평가가 형성적이기보다는 총괄적인 것으로 인식되는 것으로 나타났습니다.33 이러한 효과는 신뢰와 심리적 안전에 기반한 평가 프로그램의 학습 잠재력을 약화시킬 수 있습니다.33
• 자율성과 감독되지 않은 연습에 중점을 두기 때문에 위임 언어는 학습과 개발을 희생하는 성과 문화로 이어질 수 있습니다.33 평가는 또한 불안과 좌절감을 유발했습니다.26,27,40,41 

Assessments stimulated controlled motivation through several mechanisms.

• External pressure exerted to study to learn material that was important for practice28 or to study to pass assessments stimulated controlled motivation.27,31 
• Examinations provided a framework and forced students to acquire and prioritize the required knowledge.28 
• External pressures and rewards functioned as triggers for controlled motivation.27,29,31,38,41,42 
• Assessments triggered controlled motivation, which made students study and practice for assessments.27 
• Some formative assessments stimulated students’ controlled motivation and hence achievement.31 
• Grading of assessments motivated students to submit high-quality work.43 
• Questions asked in a formative assessment garnered more study effort if they were perceived to be important for final examinations.31 
• Although assessments made students feel pressure to study more, they could also stimulate an interest in the subject.27 
• The existence of external regulating bodies and regulations stimulated lifelong learning.36 
• Focus on entrustment as the assessment outcome seemed to enhance learner perceptions of being judged continuously and of assessments being perceived as summative rather than formative.33 This effect can undermine the learning potential of an assessment program, which is based on trust and psychological safety.33 
• Because of its focus on autonomy and unsupervised practice, entrustment language can lead to a performance culture at the expense of learning and development.33 Assessments also led to anxiety and frustration.26,27,40,41

평가는 또한 경쟁 의식을 유발하거나, 실패 또는 성과 저하에 대한 두려움으로 인해 통제된 동기를 자극하기도 합니다. 동료 평가는 동료와의 비교를 유도하고,42 낮은 점수를 받는 것에 대한 두려움(기여하지 않은 경우)29 학습 동기를 부여했습니다. 동료들이 자신의 과제에 대해 어떻게 생각하는지 알고 싶어서 동료의 피드백에 비추어 자신의 과제를 다시 읽게 되었습니다.42 학생들은 추가 학점이라는 보상을 위해27 더 열심히 공부했고,26,29 성적이 낮아지거나,26,29 실패하거나,30 성적이 좋지 않을 것이라는 두려움 때문에 더 열심히 공부했습니다.26,31 학생들은 동료 학생들을 실망시키지 않기 위해 협력 시험을 위해 열심히 공부했고, 이는 자신감을 강화하고 뛰어난 성적을 거두게 만들었습니다.44
Assessments also stimulated controlled motivation through creating a sense of competition or out of fear of failure or poor performance. Peer assessment led to comparisons with peers,42 fear of receiving low marks (if they did not contribute),29 and motivated them to learn. Wanting to know what their peers thought of their work prompted them to reread their work in light of the peer feedback.42 Students studied harder for the reward of extra credits27 and out of fear of getting lower grades, failing,26,29 or performing poorly.30 Competition motivated students to prepare for assessments.26,31 Students studied hard for collaborative tests to avoid disappointing fellow students; this strengthened their confidence and made them excel.44

평가는 통제된 동기를 자극하여 표면적이고 전략적인 학습을 장려했습니다. 평가에서 사실적 지식에 초점을 맞추고 동기를 통제하면 표면적 학습이 이루어졌습니다.27 암기식으로 학습하여 시험 때에는 이해 없이 토해내는regurgitate 학생은 특정 평가에서 더 잘하는 경향이 있었습니다.26 전통적인 채점을 사용했을 때 학생들은 평가가 전체 성적에서 차지하는 비중을 기준으로 평가를 평가했습니다. 이는 주제와 학습 목표에 대한 참여도에 영향을 미쳤습니다.34 학습할 내용을 선택하는 것은 실무에 필수적인 지식보다는 이전 시험 문제를 기반으로 했습니다.28 학생들은 가능하면 더 좋은 성적을 받기 위해 더 쉬운 평가 활동을 선택하는 경향이 있었습니다.26 높은 비중의 평가는 표면적 학습 접근 방식을 장려하는 반면, 다른 평가 유형은 낮은 비중으로 인해 심층적 학습 접근 방식을 장려했습니다.26 특정 평가 유형(예: 위탁 전문 활동[EPA])의 비중을 높게 설정하면 학생들 사이에서 전략적 학습 행동을 유발할 수 있습니다.33 
Assessments stimulated controlled motivation resulting in encouragement of surface and strategic learning. Focus on factual knowledge in assessments and controlled motivation led to surface learning.27 Students who learned by rote memorization and regurgitated the material without understanding it during examinations tended to fare better on certain assessments.26 When traditional grading was employed, students valued the assessment on the basis of the weight it carried for the overall grade. This influenced their engagement with the topic and the learning objectives.34 Choosing what to study was based on previous examination questions rather than on the knowledge essential for practice.28 When possible, students were inclined to pick easier assessment activities to fare better.26 High-stakes assessments encouraged a surface learning approach, while other assessment types encouraged a deep learning approach owing to the lower stakes.26 Making certain assessment types (like entrustable professional activities [EPAs]) high stakes may give rise to strategic learning behavior among students.33

평가에 대한 개별적인 인식은 서로 다른 행동을 유발했습니다(예: 일부 학생은 능동적 학습 기반 평가에서 아이디어를 생성하는 것을 경쟁 과정으로 인식한 반면, 다른 학생은 이를 성찰의 기회로 인식했습니다40).
Individual perceptions about assessments gave rise to different behaviors (e.g., some students perceived generating ideas, in an active learning-based-assessment, as a competitive process, while others perceived it as an opportunity for reflection40).

자율적 동기 부여
Autonomous motivation

결과.
Outcomes.

자율적 동기를 자극하는 평가의 결과는 더 높은 창의성34; 기술 개발44; 자기 조절, 시간 관리 기술, 숙달 학습 및 자기 주도적 수정 행동의 육성30,34,41; 주제에 대한 관심27; 더 깊이 있는 학습 접근 방식26,43,45,46 더 높은 노력과 자료와의 더 나은 연결34,47 등이었습니다; 업무의 질 향상,29 역량, 자신감 및 성과26,40; 목표 설정 및 학습 참여도 향상33,44; 오류 식별 능력 향상 및 임상 술기 연습에 대한 노력 증가48; 환자와 더 많은 시간을 보내려는 동기 부여 증가38; 기술 및 전문성 개발 증가45; 학생의 업무 개선 독려. 42 자율적 동기를 자극하는 형성적 평가에도 불구하고 총합적 평가에 비해 형성적 평가에서 더 낮은 노력이 발견되었습니다.38 평가에 대한 성찰은 학생의 동기, 학습 및 복지를 향상시켰습니다.33  
The outcomes of assessments that stimulated autonomous motivation were higher creativity34; skill development44; fostering of self-regulation, time management skills, mastery learning, and self-directed corrective actions30,34,41; interest in the topic27; a deeper learning approach,26,43,45,46 higher effort and better connection with the material34,47; increased quality of work,29 competence, confidence, and performance26,40; improved goal setting and engagement in learning33,44; better error identification and higher effort on practicing clinical skills48; increased motivation to spend more time with patients38; increased skills and professionalism development45; and encouraging students to improve their work.42 Lower effort was found in formative compared with summative assessments in spite of formative assessments stimulating autonomous motivation.38 Reflection on assessments enhanced student motivation, learning, and well-being.33

맥락.
Contexts.

자율적 동기의 자극은 평가가

• 재미있고 흥미로우며 도전적인26,27,36,40,45,
• 혁신적이고 숙달에 기반하며 종단적으로 실시되는33,34,
• 수업의 일부로 매끄럽게 도입되는46,
• 학생 자율성의 측면이 포함된 맥락에서 발생했습니다 (예,
  • 교사가 미리 정한 숙달 기준에 따라 학생 스스로 채점,34
  • 합격/불합격 채점만 사용,34
  • 여러 번의 합격 시도 제공,26
  • 과제 선택,34
  • 관심 있는 주제에 대한 학습 선택,40,45
  • 평가 장소 및 시간 선택39). 

Stimulation of autonomous motivation happened in the context of the assessment being

• fun, interesting, and challenging26,27,36,40,45;
• innovative, mastery-based, and conducted longitudinally33,34;
• introduced in a seamless manner as part of instruction46; and
• embedded with facets of student autonomy (e.g.,
  • students graded themselves on mastery criteria predetermined by the teacher,34 
  • use of pass/fail grading only,34 
  • provision of multiple attempts to pass,26 
  • choices of assignments,34 
  • choices in learning about topics of interest to them,40,45 
  • choices in place and time of assessment39).

평가가 직접적으로 역량을 키울 수 있도록 준비되어 있고, 시기적절하고 외부적이며 다양한 피드백을 제공하는 능동적 학습 평가인 경우에도 자율적 동기를 자극하는 효과가 있었습니다.28,31,33,40,41,44,47,49) 다음과 같은 평가도 자율적 동기를 자극합니다.

• 개별적40 또는 공유 목표 설정이 포함된 평가,41
• 학습자의 성찰을 자극하고,33
• 학습자와 교사가 공동으로 구성하고,45
• 임상 실습과 진정성이 있고,26,28,35,37,38,49
• 공유를 장려하거나 그룹 학습 및 책임을 공유하며,27,39,41,44
• 학생에게 개인적인 가치를 부여하는 27,31,45

높은 기본 자율적 동기(학습에 대한) 수준,39 개인적 성취 또는 만족에 대한 동기, 학습에 대한 애정과 열정 등 특정 학생 특성도 자율적 동기 자극의 맥락을 형성합니다.26,40 평가 유형(예: 사실 회상 또는 심층 사고 테스트)에 따라 평가가 동기에 미치는 영향의 차이가 나타났습니다.26 
Stimulation of autonomous motivation also happened if the assessment was poised to directly build competence and was an embedded active learning assessment, with timely, external, and multiple sources of feedback.28,31,33,40,41,44,47,49 Assessments that 

• included setting individual40 or shared goals,41 
• stimulated learners to reflect,33 
• were jointly constructed by learners and teachers,45 
• had authenticity with clinical practice,26,28,35,37,38,49 
• encouraged sharing or shared group learning and responsibility,27,39,41,44 and
• held personal value for students also stimulated autonomous motivation.27,31,45 

Certain student characteristics also form the context for autonomous motivation stimulation, such as high baseline autonomous motivational (for learning) levels,39 having the motivation for personal achievement or satisfaction, or having a love of learning and passion for the topic.26,40 Variations in the effect of assessments on motivation were seen depending on the type of assessment (i.e., testing fact recall or deep thinking).26

메커니즘.
Mechanisms.

평가는 여러 가지 메커니즘을 통해 자율적 동기를 자극합니다. 재미있고 도전적인 평가는 자율적 동기를 유발하고, 그룹으로 수행하면 개별 학생이 혼자서 하기 어려운 전체적인 그림을 그릴 수 있습니다.27 학생들은 스스로 주제를 선택하고 학습 방식을 변경할 수 있을 때 개인적 동기에 의해 더 많이 움직였습니다.45 학생들은 자율적 동기에 의해 일정에 따라 학습했습니다.32 일부 학생은 좋은 의사가 되고 싶어서 성적이 나오지 않더라도 평가를 위해 공부했습니다.38 형성 평가는 학생들이 이미 알고 있는 내용과 공부해야 할 내용을 인식하게 함으로써 동기를 부여했습니다.27 특정 평가 유형은 루브릭을 통해 즉각적인 피드백을 제공하고 숙달 학습으로 초점을 전환함으로써 자율적 동기를 자극했습니다.34
Assessments stimulated autonomous motivation through several mechanisms. A fun and challenging assessment triggered autonomous motivation and doing it in a group provided a holistic picture, which would be difficult for individual students to do on their own.27 Students were more driven by personal motivation when they could choose their own topics and change their learning approach.45 Students worked to a schedule because they were autonomously motivated.32 Some students would study for the assessment even if they were not graded as they just wanted to be good doctors.38 Formative assessments motivated students by making them aware of what they already knew and what they needed to study.27 Certain assessment types stimulated autonomous motivation by providing instant feedback through rubrics and shifting the focus to mastery learning.34

학습의 자율성은 또한 자율적 동기를 자극했습니다. 포트폴리오를 사용하면 학생들이 개인적으로 더 많은 동기를 갖게 되어 학습을 강의 자료에만 의존하지 않게 되었습니다.45 평가에서 어느 정도의 선택권(예: 학습 주제 또는 포트폴리오에 추가할 내용)은 커리큘럼에 국한된 경계를 없애고 개인적인 탐색을 허용하며 학습 주제에 대한 학생들의 인정appreciation을 높였습니다.45 학생들이 계획 과정을 진행하고 더 독립적이 되면서 동기 부여가 증가했습니다.45 학습의 자율성은 학생들이 독립적으로 자신의 기술을 개발하고 동기를 증가시켰습니다.40 자신의 수행을 볼 수 있다는 것은 학생들이 기술을 연습하도록 동기를 부여했습니다.48 특정 평가 유형은 학생들이 더 많이 공부하고 중요한 개념에 집중하며 학습을 반성하도록 동기를 부여했습니다.31 일부 평가 유형은 즉각적인 피드백을 제공함으로써 동기를 높였습니다.41 평가에서 기대되는 것을 알고 이해하면 학생들이 향상하는 데 도움이 되었습니다.42
Autonomy in learning also stimulated autonomous motivation. Use of portfolio made students more personally motivated and so they did not rely only on lecture material for their study.45 Some amount of choice in assessments (e.g., of topics to study or what to add in the portfolio) removed boundaries (e.g., being confined to the curriculum), allowed for personal exploration, and increased students’ appreciation of the study topics.45 Students’ motivation increased as they progressed through the planning process and became more independent.45 Autonomy in learning made students independently develop their skills and increased their motivation.40 Being able to watch their own performance motivated students to practice their skills.48 Certain assessment types motivated students to study more, focus on important concepts, and reflect on their learning.31 Some assessment types increased motivation by giving immediate feedback.41 Knowing and understanding what was expected in the assessment helped students to improve.42

피드백을 받는 것은 여러 가지 방식으로 자율적 동기를 자극했습니다. 

• 대면 피드백은 학생의 역량과 자신감을 향상시켰습니다.26 
• 환자와 동료의 피드백은 학생이 역량을 향상하고 우수성을 추구하도록 동기를 부여했습니다.49 
• 평가 직후 정답을 알게 되면 학생이 모든 문제에 더 집중하고 동기를 부여하도록 자극했습니다.31 
• 평가 후 설명 피드백은 학습 과정을 개선하고 학생 동기를 지속했습니다.46 
• 오류 감지는 학생이 자신의 지식 격차를 파악하는 데 도움이 되었습니다.47 
• 공동 시험은 지속적인 동료 평가와 피드백을 통해 수행 격차를 줄이는 데 도움이 되었습니다.44 
• 평가에 대해 성찰하면 학생의 발달에 대해 더 잘 파악하여 동기, 학습, 웰빙을 개선했습니다.33

Getting feedback stimulated autonomous motivation in several ways.

• Face-to-face feedback improved students’ competence and confidence.26 
• Feedback from patients and colleagues motivated students to improve their competence and pursue excellence.49 
• Getting to know the correct answer immediately after the assessment stimulated students to focus more on all questions and their motivation.31 
• Assessment followed by explanatory feedback enhanced the learning process and sustained student motivation.46 
• Error detection helped students to identify their knowledge gaps.47 
• Collaborative testing helped in closing a performance gap through constant peer evaluation and feedback.44 
• By providing a better picture on their development, reflection on assessments improved students’ motivation, learning, and well-being.33

능동적 학습 평가는 자율적 동기를 자극했습니다. 능동적 학습 평가는 학습 여정의 각 단계를 완료한 후 기술, 자신감 및 동기 부여를 향상시켰습니다.40,47 능동적 학습 평가는 지식 구축을 지원할 뿐만 아니라 학생들에게 질문을 공식화할 기회를 제공함으로써 탐구심을 유발하여 인지적, 정서적으로도 학생들의 참여를 유도했습니다.42,45
Active learning assessments stimulated autonomous motivation. They led to increased skills, confidence, and motivation after the completion of each stage of the learning journey.40,47 Active learning assessments not only supported knowledge building but also engaged students cognitively and emotionally,42,45 as they generated enquiry by providing students with the opportunity to formulate questions.45

실습과 진정성이 있는 평가는 온전함을 제공하고, 임상 기술과 전문성을 키우고, 학생들의 관심을 끌고, 팀워크를 장려하기 때문에 학생들에게 본질적인 동기를 부여했습니다.27,38,41,44,45 포트폴리오에 포함할 내용을 선택할 수 있어 학생들은 자신의 개인적인 경험을 학습에 포함할 수 있었고 상당한 동기를 부여했습니다.45 의사의 직업적 책임은 학생들에게 평생 학습에 대한 동기를 부여했습니다.36
Assessments that had authenticity with practice motivated students intrinsically as they provided a sense of wholeness, fostered clinical skills and professionalism, captured students’ interest, and encouraged teamwork.27,38,41,44,45 Having choices in what to include in the portfolio allowed students to include their personal experiences into their study and significantly motivated them.45 The professional responsibility of physicians motivated students for lifelong learning.36

동료, 그룹 또는 공유 학습은 학생들이 자신의 지식 격차를 파악하고 건설적인 마찰을 일으키며 비고츠키의 근위 발달 영역(즉, 학생들이 충분히 도전하고 새로운 것을 배우고자 하는 동기가 있는 영역)으로 이동하여 학습을 향상시키는 데 도움이 되었습니다.41

• 동료 평가는 개별 학생이 의미 있는 방식으로 그룹에 기여할 수 있는 추가적인 동기 부여 전략으로 기능하고 팀워크 경험을 제공했습니다.29,44
• 동료 학습 형식은 상호 작용을 유도하여 참여와 동기를 부여했습니다.44
• 동료 평가 과정은 학생들에게 권한을 부여하고 동기를 부여하며 학습에 대한 자신감과 참여도를 높였습니다.42
• 그룹 평가는 학생들이 혼자서는 달성하기 어려웠을 주제에 대해 더 넓은 시각을 갖도록 도왔습니다.27
• 상호 의존적인 목표를 공유하는 그룹에서 학습하면 학생들은 그룹 작업에 대한 개인적인 책임감을 느끼고 지식과 노력 측면에서 더 많은 기여를 하게 됩니다.41
• 일부 학생들은 평가의 일부인 아이디어 창출을 경쟁 과정으로 인식한 반면, 다른 학생들은 자신의 아이디어를 반성하고 비교할 기회로 인식했습니다.40
• 실패는 학생들이 더 열심히 공부하도록 이끌었습니다.33 위탁 평가를 통과하지 못한 학생들은 좌절감을 느낍니다.33 

Peer, group, or shared learning helped students to identify their knowledge gaps, created constructive friction, and moved them into Vygotsky’s Zone of Proximal Development (i.e., the zone in which students have enough challenge and are motivated to learn new things), enhancing their learning.41 

• Peer assessment functioned as an extra motivational strategy for individual students to contribute to the group in a meaningful way and provided teamwork experience.29,44 
• Peer learning formats led to interactions, resulting in engagement and motivation.44 
• The peer assessment process empowered students, motivated them, and increased their confidence and engagement in learning.42 
• Group assessment helped students to get a broader view of topics, which would have been hard to achieve on their own.27 
• Learning in a group with a shared interdependent goal made students feel personal responsibility for the group work and contribute more in terms of knowledge and effort.41 
• Some students perceived generating ideas as part of the assessment as a competitive process, while others perceived it as an opportunity to reflect on their ideas and make comparisons.40 
• Failure led students to study harder.33 Not passing their entrustment assessment made students feel frustrated.33

맥락-기제-결과 조합에 기반한 새로운 프로그램 이론
Emergent program theories based on context–mechanism–outcome combinations

그림 2는 평가가 어떻게 통제된 동기를 향상시키고 부정적인 학습 및 심리적 웰빙 결과를 초래할 수 있는지 설명하는 신흥 현실주의 프로그램 이론을 보여줍니다. 부정적인 심리적 웰빙은 질적 데이터에서만 보고된 결과로 불안, 스트레스, 좌절과 같은 부정적인 감정이 특징입니다.26,27,33 평가가 어떻게 통제된 동기를 향상시킬 수 있는지에 대한 이해를 위해 평가 시스템 또는 프로그램 수준과 개별 학생 수준에서 자율성을 빼앗고 역량에 대한 부정적인 인식을 형성하는 맥락적 요인을 발견했습니다. 또한 평가 시스템 또는 프로그램 수준에서 통제된 동기를 자극하면 성과 문화가 형성되고 평가 시스템의 학습 잠재력이 약화된다는 사실도 발견했습니다.

Figure 2 depicts the emergent realist program theory that explains how assessments can enhance controlled motivation and lead to negative learning and psychological well-being outcomes. Negative psychological well-being was an outcome reported only in qualitative data and was characterized by negative emotions, such as anxiety, stress, and frustration.26,27,33 For an understanding on how assessments can enhance controlled motivation, we found contextual factors at an assessment system or program level as well as at an individual student level that work by taking away autonomy and creating negative perceptions of competence. We also found that at an assessment system or program level, stimulation of controlled motivation led to creation of a performance culture and undermining of the learning potential of the assessment system.

그림 3은 평가가 어떻게 자율적 동기를 강화하고 긍정적인 학습 결과로 이어질 수 있는지를 설명하는 새로운 현실주의 프로그램 이론을 보여줍니다. 평가가 어떻게 자율적 동기를 향상시킬 수 있는지에 대한 통찰력을 얻기 위해, 우리는 평가 기능의 맥락적 요인(즉, 평가 내용 및 형식과 개별 학생 수준에서)이 자율성, 역량 및 관련성이라는 기본적인 심리적 요구를 충족하고 개별 학생 수준에서 긍정적인 학습 결과를 생성하는 활동에 대한 가치를 창출함으로써 작용한다는 사실을 발견했습니다. 자율적 동기를 자극하는 평가에 대한 심리적 웰빙 결과를 찾지 못했습니다.

Figure 3 depicts the emergent realist program theory that explains how assessments can enhance autonomous motivation and lead to positive learning outcomes. For insights into how assessments can enhance autonomous motivation, we found that contextual factors in the assessment features (i.e., in the assessment content and format, as well as at an individual student level) work through satisfying the basic psychological needs of autonomy, competence, and relatedness as well as by creating value for the activity to produce positive learning outcomes at an individual student level. We did not find psychological well-being outcomes for assessments that stimulate autonomous motivation.

토론
Discussion

이 검토 및 현실주의적 종합에서 우리는 평가가 학생의 학습 및 심리적 웰빙 결과로 이어지는 동기에 어떻게 영향을 미치는지에 대한 맥락 메커니즘-결과 구성을 평가 시스템 또는 프로그램 수준뿐만 아니라 개인 수준에서도 설명함으로써 HPE 문헌에 추가하고자 했습니다.

• 우리는 평가 시스템 또는 프로그램과 개별 학생 수준에서 평가가 자율성과 역량이라는 SDT 기반 심리적 요구를 좌절시킴으로써 통제된 동기를 강화하여 평가 시스템 또는 프로그램과 개별 학생 수준에서 부정적인 결과를 초래한다는 것을 발견했습니다.
• 반면, 특정 평가와 학생 개개인의 특성은 자율성, 유능성, 관계성이라는 SDT 기반의 기본 심리적 욕구를 충족시켜 자율적 동기를 강화하고 학생 개인 수준에서만 성과를 창출하는 가치를 창출한다는 사실을 발견했습니다.

현재 HPE 문헌에서 자율적 동기 향상과 관련된 심리적 웰빙이나 평가 시스템 또는 프로그램 수준의 결과를 찾지 못했습니다. 

In this review and realist synthesis, we sought to add to the HPE literature by describing context–mechanism–outcome configurations for how assessments influence motivation leading to learning and psychological well-being outcomes among students at an individual level as well as at an assessment system or program level.

• We found that assessments, at the assessment system or program as well as the individual student levels, enhance controlled motivation by frustrating the SDT-based psychological needs of autonomy and competence, leading to negative outcomes at the assessment system or program as well as the individual student levels.
• In contrast, we found that certain assessment as well as individual student characteristics enhance autonomous motivation through satisfaction of the SDT-based basic psychological needs of autonomy, competence, and relatedness, along with creation of value to produce outcomes only at an individual student level.

We did not find any psychological well-being or assessment system- or program-level outcomes related to the enhancement of autonomous motivation in the current HPE literature.

조사 결과를 바탕으로, 표 2에서는 통제된 동기를 자극하는 평가를 자율적 동기를 자극할 수 있는 평가로 전환하기 위해 교육자가 사용할 수 있는 기능 변경 목록을 제공합니다. 통제된 동기를 자극하는 평가는 부정적인 심리적 웰빙 결과를 초래할 뿐만 아니라 자율적 학습 동기에 장기적으로 해로운 영향을 미칠 수 있기 때문에 이는 중요합니다.4
Based on our findings, in Chart 2, we provide a list of feature changes educators can use to convert assessments that stimulate controlled motivation into ones that can stimulate autonomous motivation. This is important because assessments that stimulate controlled motivation can not only produce negative psychological well-being outcomes but also have a long-term deleterious effect on autonomous motivation for learning.4

현재 HPE 실무에서 널리 시행되고 있는 두 가지 주요 평가 개념은 프로그램식 평가와 EPA입니다.50 프로그램식 평가가 학생 동기 부여에 미치는 영향에 대한 연구는 찾지 못했습니다. 이러한 연구는 문헌에 추가될 수 있는데,

• 특히 프로그램식 평가에는 본 검토에서 자율적 동기를 자극하는 것으로 확인된 몇 가지 특징이 있기 때문입니다.51
• EPA의 경우, EPA 기반 평가가 주로 통제 동기를 자극한다는 한 연구를 발견했습니다.33

이 발견은 본 검토에서 자율적 동기를 자극하는 것으로 확인된 몇 가지 특징(예, 임상 실습의 진정성과 학생의 자율성 제공).52 우리는 이러한 단절이 개별 EPA 평가의 설계와 평가 프로그램 또는 전반적인 평가 문화에 포함되는 방식 사이의 차이 때문일 수 있다고 가정하지만, 이에 대해서는 추가 조사가 필요합니다. 
In current HPE practice, the 2 major assessment concepts being implemented widely are programmatic assessment and EPAs.50 We did not find any research on the effect of programmatic assessment on student motivation. Such research would add to the literature, especially because programmatic assessment has some of the features identified in this review as ones that seem to stimulate autonomous motivation.51 In terms of EPAs, we found one study suggesting that EPA-based assessments mainly stimulated controlled motivation.33 This finding was somewhat surprising, given that EPA-based assessments have some of the features identified in this review as stimulating autonomous motivation (e.g., authenticity with clinical practice combined with providing students with autonomy).52 We hypothesize that this disconnect may be due to the gap between the design of individual EPA assessments and how they are embedded in an assessment program or an overall assessment culture, but this needs further investigation.

본 검토 결과 전반에 걸쳐 나타난 평가의 의도와 영향력 사이의 격차는 이전에 발표된 문헌과 일치합니다.3 서로 다른 평가 관행, 평가에 대한 시행자의 신념, 졸업 연수생의 질을 유지하고 보장해야 하는 요구사항 사이의 긴장이 이러한 격차를 설명할 수 있습니다.53 이 문제는 평가 설계 시 학생 동기 고려, 평가가 포함된 문화 변화, 의도대로 평가를 시행하도록 교직원 교육3, 평가 목표에 대한 교사와 학생 간의 공유 이해 구축을 포함하는 다각적인 전략으로 해결할 수 있습니다.54
The presence of a gap between the intention and impact of an assessment, which was seen throughout the results of this review, aligns with earlier published literature.3 Tensions between different assessment practices, the implementers’ beliefs about assessments, and the requirement to uphold and guarantee the quality of graduating trainees may account for this gap.53 This issue can be addressed by a multipronged strategy that includes considering student motivation when designing assessments, changing the culture within which assessments are embedded, training faculty to implement assessments as they are intended,3 and building a shared understanding between teachers and students on the goals of assessment.54

실천을 위한 시사점
Implications for practice

우리가 발견한 자율적 동기를 자극할 수 있는 평가 특징은 현재 평가를 재설계하거나 혁신적인 평가를 개발하는 데 사용할 수 있습니다. 표준 객관식 문제보다 환자의 문제와 근본적인 메커니즘을 설명하는 임상적 추론 연습 문제나 감별 및 근거를 제시하는 진단적 정당화 연습 문제를 더 많이 출제하는 등 학생들이 임상 실습에 보다 진정성 있게 대비할 수 있는 평가를 개발하는 것이 좋습니다. 우리는 학생들이 실제로 필요한 것을 희생하면서까지 평가에 출제될 것으로 예상되는 내용을 전략적으로 학습하는 경향을 발견했습니다. 이는 인센티브(예: 성적 및 자격)를 통한 통제된 동기의 자극이 자율적 동기에 장기적으로 해로운 영향을 미친다는 SDT의 주장에 비추어 볼 때 우려스러운 결과입니다.4,55 교육자가 평가를 통해 자율적 학습 동기를 자극하는 데 주의를 기울여야만 HPE 학생들에게 단순히 "양동이를 채우는" 대신 "학습의 불을 붙일 수 있을 것"입니다.13 
The assessment features we found that can stimulate autonomous motivation can be used by educators to redesign current assessments or develop innovative assessments. We recommend developing assessments that more authentically prepare students for clinical practice, such as having more clinical reasoning exercises, where students describe patient problems and the underlying mechanisms, or diagnostic justification exercises, where students suggest a differential and rationale, over the standard multiple-choice questions. We found a trend that suggests students strategically learned what was expected to appear in the assessments at the expense of what was needed in practice. This is alarming in light of SDT’s claim that stimulation of controlled motivation through incentives (i.e., grades and qualifications) has a long-term deleterious effect on autonomous motivation.4,55 Only if educators pay attention to stimulating autonomous motivation for learning through assessments, will they be able to “light the fire of learning” instead of just “filling the bucket” for HPE students.13

추가 연구를 위한 시사점
Implications for further research

이 검토 결과는 자율적 동기를 자극하는 혁신적인 평가 설계에 대한 연구 프로그램을 개발하고 설계 기반 연구를 통해 이러한 평가가 어떻게 작동하는지, 그리고 프로그램 및 EPA 기반 평가가 학생 동기 부여에 미치는 영향을 조사하는 데 과학적 근거를 제공합니다. 
The results of this review provide a scientific basis for developing a research program on designing innovative assessments stimulating autonomous motivation and investigating how they work through design-based research and the effects of programmatic and EPA-based assessments on student motivation.

제한 사항
Limitations

이 검토는 HPE 문헌에 국한되었습니다. 고등 교육에서 평가가 동기 부여에 미치는 영향에 대한 광범위한 검토가 도움이 될 수 있습니다. 검토에서 각 연구의 엄격성과 관련성을 평가했지만, 이 평가를 사용하여 논문을 제외하지는 않았습니다. 그러나 이 접근 방식은 현실주의적 종합 방법과 잘 맞으며,20,24 혁신적인 평가 방법에 기여하는 모든 아이디어를 포함할 수 있습니다. 
This review was limited to the HPE literature. A broader review of the effect of assessments on motivation in higher education may be beneficial. Although we evaluated the rigor and relevance of each study in the review, we did not use this evaluation to exclude articles. This approach, however, fits well with the realist synthesis method,20,24 allowing us to include all ideas that contribute to innovative assessment methods.

결론
Conclusions

통제된 동기를 자극하는 평가 기능은 심리적 안녕감 저하와 같은 부정적인 결과를 초래하는 것으로 나타났습니다. 자율적 동기를 자극하는 평가 기능은 더 높은 노력과 창의성과 같은 긍정적인 결과를 가져오는 것으로 보였습니다. 연구 결과에 따르면 학생들은 실제로 필요한 것을 희생하면서까지 평가에 출제될 것으로 예상되는 내용을 전략적으로 학습하는 것으로 나타났습니다. 이러한 접근 방식은 스트레스와 부정적인 심리적 웰빙으로 이어집니다. 따라서 보건 전문직 교육자들은 평가 철학과 관행을 재고하고 콘텐츠에 대한 호기심과 진정한 관심을 자극하고 전문직 실무와 관련 있는 평가를 도입해야 합니다. 
Assessment features stimulating controlled motivation seemed to lead to negative consequences like decreased psychological well-being. Assessment features stimulating autonomous motivation seemed to lead to positive outcomes such as higher effort and creativity. Our findings indicate that students strategically learn what is expected to appear in assessments at the expense of what is needed in practice. This approach leads to stress and negative psychological well-being. Therefore, health professions educators urgently need to rethink their assessment philosophy and practices and introduce assessments that stimulate curiosity and genuine interest in the content and that are relevant to professional practice.

 

---

 

 

 

Acad Med. 2023 May 4;98(9):1083-1092. doi: 10.1097/ACM.0000000000005263. Online ahead of print.

 

 

The Effect of Assessments on Student Motivation for Learning and Its Outcomes in Health Professions Education: A Review and Realist Synthesis

Rashmi A Kusurkar 1, Cesar Orsini 2, Sunia Somra 3, Anthony R Artino Jr 4, Hester E M Daelmans 5, Linda J Schoonmade 6, Cees van der Vleuten 7

Affiliations

1R.A. Kusurkar is professor and research programme leader, Research in Education, Amsterdam University Medical Centers location Vrije Universiteit Amsterdam, professor and research programme leader, LEARN! Research Institute for Learning and Education, Faculty of Psychology and Education, VU University Amsterdam, and professor and research programme leader, Amsterdam Public Health, Quality of Care, Amsterdam, the Netherlands; ORCID: http://orcid.org/0000-0002-9382-0379.

2C. Orsini is associate professor in medical education, Norwich Medical School, University of East Anglia, Norwich, United Kingdom, and Researcher in Health Professions Education, Faculty of Dentistry, Universidad de Los Andes, Santiago, Chile; ORCID: http://orcid.org/0000-0002-5226-3625.

3S. Somra was research assistant, Research in Education, Amsterdam University Medical Centers location Vrije Universiteit Amsterdam, Amsterdam, the Netherlands, at the time of this study.

4A.R. Artino Jr. is professor and associate dean for evaluation and educational research, School of Medicine & Health Sciences, George Washington University, Washington, DC; ORCID: http://orcid.org/0000-0003-2661-7853.

5H.E.M. Daelmans is director of the master of medicine programme, Faculty of Medicine Vrije Universiteit Amsterdam, Amsterdam, the Netherlands.

6L.J. Schoonmade is information specialist at the medical library, Vrije Universiteit Amsterdam, Amsterdam, the Netherlands; ORCID: https://orcid.org/0000-0002-2407-5977.

7C. van der Vleuten is professor, School of Health Professions Education, University of Maastricht, Maastricht, the Netherlands; ORCID: http://orcid.org/0000-0001-6802-3119.

PMID: 37146237

PMCID: PMC10453393

DOI: 10.1097/ACM.0000000000005263

Free PMC article

 

Abstract

Purpose: In health professions education (HPE) the effect of assessments on student motivation for learning and its consequences have been largely neglected. This is problematic because assessments can hamper motivation and psychological well-being. The research questions guiding this review were: How do assessments affect student motivation for learning in HPE? What outcomes does this lead to in which contexts?

Method: In October 2020, the authors searched PubMed, Embase, APA PsycInfo, ERIC, CINAHL, and Web of Science Core Collection for "assessments" AND "motivation" AND "health professions education/students." Empirical papers or literature reviews investigating the effect of assessments on student motivation for learning in HPE using quantitative, qualitative, or mixed methods from January 1, 2010-October 29, 2020, were included. The authors chose the realist synthesis method for data analysis to study the intended and unintended consequences of this complex topic. Assessments were identified as stimulating autonomous or controlled motivation using sensitizing concepts from self-determination theory and data on context-mechanism-outcome were extracted.

Results: Twenty-four of 15,291 articles were ultimately included. Assessments stimulating controlled motivation seemed to have negative outcomes. An example of an assessment that stimulates controlled motivation is one that focuses on factual knowledge (context), which encourages studying only for the assessment (mechanism) and results in surface learning (outcome). Assessments stimulating autonomous motivation seemed to have positive outcomes. An example of an assessment that stimulates autonomous motivation is one that is fun (context), which through active learning (mechanism) leads to higher effort and better connection with the material (outcome).

Conclusions: These findings indicate that students strategically learned what was expected to appear in assessments at the expense of what was needed in practice. Therefore, health professions educators should rethink their assessment philosophy and practices and introduce assessments that are relevant to professional practice and stimulate genuine interest in the content.

Copyright © 2023 The Author(s). Published by Wolters Kluwer Health, Inc. on behalf of the Association of American Medical Colleges.