졸업후의학교육에서 자기모니터링의 스코핑 리뷰 (Med Educ, 2023)

Meded. 2023. 3. 26. 06:34

2023. 3. 26. 06:34

졸업후의학교육에서 자기모니터링의 스코핑 리뷰 (Med Educ, 2023)
A scoping review of self-monitoring in graduate medical education
William Rainey Johnson1 | Steven J. Durning2 | Rhonda J. Allard3 | Adam M. Barelski4 | Anthony R. Artino Jr5

1 서론
1 INTRODUCTION

의사와 수련 중인 의사는 어떤 개입이 되었든, [특정 업무의 맥락이 소거된 글로벌 자기평가의 정확도가 낮다]는 것을 반복적으로 입증해 왔습니다.1, 2 구조로서의 자기평가는 잘 정의되지 않았으며, 일반적으로 [지식, 기술 또는 태도와 관련된 특정 영역에서 자신의 전반적인 성과에 대한 개인적인 반성, 요약 또는 평가]를 나타냅니다.3 그러나 수련 중인 의사가 자신의 성과 한계와 성장 기회를 인식하는 법을 배워야 한다는 생각은 매력적이며 수많은 인증 기관의 지침 문서에 나타나 있습니다.4-7 결국, 수련 중인 의사와 지속적으로 '함께' 하는 유일한 사람은 의사 자신입니다.
Physicians and physicians-in-training have repeatedly demonstrated poor accuracy of global self-assessments, which are removed from the context of a specific task, regardless of any intervention.1, 2 Self-assessment as a construct is ill-defined, generally representing a personal reflection, summary or evaluation of one's overall performance in a particular area typically related to knowledge, skill or attitude.3 Yet, the idea that practicing physicians should learn to recognise their performance limitations and opportunities for growth is appealing and appears in the guiding documents of numerous accreditation bodies.4-7 After all, the only person who is consistently “with” a practicing physician is the physician themself.

[자가 모니터링]은 [자신의 성과에 대한 순간적인 자기 인식]이며, [자가 평가에 대한 유망한 대안]을 제공합니다.8, 9 [Global phenomenon인 자가 평가]와 달리, [자가 모니터링]은 [특정 시점]의 [특정 작업]에 초점을 맞추고 있습니다. 예를 들어, 수련의가 중환자에게 동맥관을 삽입하는 능력을 전반적으로 평가하도록 요청받는다면 자신의 능력에 대해 부정확한 평가를 내릴 가능성이 높습니다. 반면에 학부 의학교육 수련생은 정확하게 자가 모니터링을 할 수 있다는 연구 결과가 있습니다.8, 9 즉, 수련생은 중환자실에서 근무하는 동안 72세의 중환자인 존스 씨에게 동맥관 삽입을 [완료하기 직전, 도중 또는 직후]에 자신의 수행 능력을 정확하게 평가할 수 있다는 것입니다.
Self-monitoring is an in-the-moment self-awareness of one's performance and offers a promising alternative to self-assessment.8, 9 Unlike self-assessment, which is a global phenomenon, self-monitoring focuses on a specific task at a specific moment in time. For example, if a trainee was asked to globally assess their ability to insert an arterial line in a critically ill patient, he/she would likely provide an inaccurate assessment of their capabilities. On the other hand, research suggests that undergraduate medical education trainees can accurately self-monitor.8, 9 In other words, a trainee can accurately evaluate their performance of an arterial line placement in Ms. Jones, a 72-year-old critically ill patient, immediately before, during or after completing it at 0115 during a shift in the intensive care unit.

학부 과정과 비교하여 [졸업후 과정의 의사 수련생]에 대한 자가 모니터링에 관한 문헌도 다소 명확하지는 않지만 유망합니다.10 존스 씨에게 동맥 라인을 배치한 의대생처럼, 수행에 대한 자기 인식을 시간적, 맥락적으로 행동에 연결하면 대학원 의학 교육(GME) 수련생이 자신의 역량을 더 정확하게 평가하는 데 도움이 될 수 있습니다. 즉, 초보 의대생과 마찬가지로 GME 수련생도 정확하게 자기 모니터링을 할 수 있을 것입니다. 안타깝게도 이 아이디어의 직관적인 매력에도 불구하고 [GME에서 수련의 자가 모니터링]에 대한 문헌은 엄격하게 평가되지 않았습니다.
The literature on self-monitoring for post-graduate, as compared with undergraduate, physician trainees is also promising, albeit a little less clear.10 Like the medical student placing the arterial line in Ms. Jones, tying the self-awareness of performance temporally and contextually to the action may help graduate medical education (GME) trainees to more accurately evaluate their capabilities. In other words, much like the novice medical student, GME trainees may be able to accurately self-monitor. Unfortunately, despite the intuitive appeal of this idea, the literature on trainee self-monitoring in GME has not been rigorously appraised.

[레지던트]와 [펠로우 의사]는 각자의 프로그램을 졸업하고 임상 진료에서 역할을 맡아 독립적으로 진단 및 치료 결정을 내립니다. 그러나

진단 및 치료 오류는 여전히 환자 안전 사고의 약 15%를 차지하며 미국에서만 매년 1,200만 명 이상의 사람들에게 부정적인 영향을 미치고 있습니다.11
또한 임상의는 수련 후 진화하는 의료 지식과 기술을 따라잡기 위해 고군분투하며, 최신 상태를 유지하지 못하면 환자 결과에 부정적인 영향을 미칠 수 있습니다.12
마지막으로 임상 진료는 종종 복잡하고 복잡하며 내재된 불확실성으로 가득 차 있어 중요한 자가 모니터링이 필요합니다.13
궁극적으로 모든 진단 및 치료 결정에 책임 있는 유일한 사람은 임상의 본인뿐입니다.

Resident and fellow physicians graduate their respective programmes and assume roles in clinical care, making diagnostic and therapeutic decisions independently.

However, diagnostic and therapeutic errors still account for approximately 15% of patient safety events, negatively affecting over 12 million people annually in the United States alone.11
What is more, clinicians struggle to keep up with evolving medical knowledge and skills after training, and failures to stay current can negatively impact patient outcomes.12
Finally, clinical practice is often complex and messy, filled with inherent uncertainty that requires critical self-monitoring.13
Ultimately, the only person present for every diagnostic and therapeutic decision is the responsible clinician themself.

[자기 모니터링]은 많은 [자기조절학습(SRL) 이론]의 필수적인 특징으로 간주됩니다.14,15

전체적으로 [SRL 이론]은 발달 중인 의사가 다음을 할 수 있는 정도를 이해하기 위한 프레임워크를 제공합니다.
- [자신의 한계를 적극적으로 인식]하고
- [동료 및 임상 지원 도구를 활용]하며
- [변화무쌍하고 종종 불확실한 임상 실무의 요구를 충족]하기 위해 [학습을 구체화]
[SRL에 대한 사회인지적 관점]에는 [목표 설정, 동기 부여, 자기 모니터링 및 주기적 피드백]이라는 최소 네 가지 핵심 기능이 포함됩니다.14
- 최근의 체계적 문헌고찰에 따르면 학부 의학교육 및 GME 문헌에서 목표 설정과 동기 부여는 일반적으로 나타났지만 자기 모니터링과 주기적 피드백을 포함하는 규제 평가 과정은 거의 나타나지 않았습니다.16
- 마찬가지로, 의대생을 대상으로 한 SRL에 대한 범위 검토에서 학생들의 자기 모니터링이 작업장 환경에서 관찰되는 상황적 자기 모니터링을 탐구한 연구는 4건만 확인되었습니다.17

Self-monitoring is considered an essential feature of many self-regulated learning (SRL) theories.14, 15

As a group, SRL theories provide a framework for understanding the degree to which developing physicians can
- actively recognise their limitations,
- leverage peer and clinical support tools and
- sculpt their learning to meet the demands of an evolving and often uncertain clinical practice.
The social cognitive perspective on SRL includes at least four core features: goal setting, motivation, self-monitoring and cyclical feedback.14
- A recent systematic review found that goal setting and motivation commonly appeared in the undergraduate medical education and GME literature; however, the process of regulatory appraisal, which encompasses self-monitoring and cyclical feedback, rarely appeared.16
- Similarly, a scoping review of SRL in medical students identified only four studies that explored situated self-monitoring, where students' self-monitoring was observed in the workplace environment.17

그러나 임상 맥락에서 이루어지는 자기 모니터링은 의사가 자신의 기술을 연습하고 숙달해야 하는 바로 그 장소입니다. 사회인지 학습 이론에 따라 자기 모니터링은 다음을 포함합니다(그림 1a).18

자기 관찰(즉, 자신의 생각, 태도 또는 행동 인식),
자기 판단(즉, 자신의 생각, 태도 또는 행동의 정확성/적절성 평가) 및
자기 반응(즉, 생각, 태도 또는 행동의 변화 강화, 계획 또는 실행)

과제 수행과 관련하여, 자기 모니터링은 활동 [직전, 도중 또는 후]에 발생할 수 있습니다. 자가 모니터링 시기와 사용되는 특정 유형의 자가 모니터링의 중요성은 불확실합니다.

Yet, self-monitoring situated within the clinical context is the very place where physicians must practice and master their skills. Consistent with social cognitive learning theories, self-monitoring encompasses

self-observation (i.e. recognising one's thoughts, attitudes or behaviours),
self-judgement (i.e. grading accuracy/appropriateness of one's own thoughts, attitudes or behaviours) and
self-reaction (i.e. reinforcing, planning or implementing change in thoughts, attitudes or behaviours) (Figure 1a).18

Relevant to task performance, self-monitoring can occur immediately before, during or after an activity. The significance of the timing of self-monitoring and the particular type of self-monitoring being used are uncertain.

이 연구의 목적은 GME에서 자체 모니터링의 상태를 더 잘 이해하기 위한 것으로, 특히 자체 모니터링이 GME에 어떻게 통합되는지, 즉 [자기 모니터링]이 어떻게 [특성화, 개발, 장려, 측정]되는지 조사했습니다(표 1). 여기서

'특성화'는 자체 모니터링에 참여하는 과정과 자체 모니터링에 영향을 미치는 요인을,
'개발'은 자체 모니터링의 품질을 개선하기 위한 전략을,
'장려'는 자체 모니터링의 빈도나 적절성을 높이기 위한 조치를,
'측정'은 자체 모니터링의 정확성이나 성과에 미치는 영향을 의미합니다.

이를 통해 자체 모니터링을 촉진하고, 경험적 문헌의 격차를 파악하며, 향후 자체 모니터링 연구에 대한 방향을 제시하기 위해 GME 내 모범 사례를 발굴하고자 합니다.

The purpose of this study is to better understand the state of self-monitoring in GME; specifically, we examined how self-monitoring is incorporated in GME—how self-monitoring is characterised, developed, encouraged and measured (Table 1). For our purposes,

“characterised” describes the process of engaging in self-monitoring and factors that influence self-monitoring;
“developed” represents strategies to improve the quality of self-monitoring;
“encouraged” means actions intended to increase the frequency or appropriateness of self-monitoring; and
“measured” refers to the accuracy or impact on performance of self-monitoring.

In doing so, we hope to discover the best practices within GME to promote self-monitoring, identify the gaps in the empirical literature and recommend future directions for self-monitoring research within GME.

2 방법
2 METHODS

지식 종합의 한 유형인 범위 검토는 향후 연구를 위해 무르익은 지식이나 관행의 격차를 파악한다는 중요한 목적을 위해 대량의 문헌을 종합하여 현재 상태를 파악하는 데 가장 적합합니다.23 따라서 우리는 광범위한 연구 질문을 해결하기 위해 Arksey와 O'Malley의 6단계인 연구 질문 식별, 관련 연구 식별, 포함된 연구 선택, 데이터 차트 작성, 결과 집계 및 요약, 주요 이해 관계자 또는 전문가 자문에 따라 범위 검토를 수행했습니다.23-25
As a type of knowledge synthesis, scoping reviews are best for synthesising a large volume of literature to understand its current state for the overarching purpose of identifying gaps in knowledge or practice that are ripe for future research.23 Therefore, we performed a scoping review to address our broad research question, following Arksey and O'Malley's six steps: identifying a research question, identifying relevant studies, selecting included studies, charting the data, collating and summarising the results and consulting key stakeholders or experts.23-25

연구 질문 식별
Identifying a research question

우리는 예비 문헌 검색을 수행하고 연구 질문을 구체화하기 위해 협력적인 토론을 진행했습니다:

자가 모니터링은 GME에 어떻게 통합되어 있는가(예: 특성화, 개발, 장려 및 측정)?

We conducted preliminary literature searches and had collaborative discussions to hone our research question:

How is self-monitoring incorporated (e.g. characterised, developed, encouraged and measured) in GME?

포함된 연구 선택
Selecting included studies

중복, 1999년 이전의 출판물, 리뷰, 관점 및 의견과 같은 비일차 문헌을 제거했습니다. 두 명의 저자(WRJ 및 SJD)가 제목, 초록 및 색인된 설명 필드를 검토하여 GME 모집단이 없거나, 자가 모니터링과 관련이 있을 것 같은 내용이 없고, 정보가 불충분한 결과를 제외했습니다. 이견이 있는 경우 전체 텍스트 검토에 포함시켰습니다. 각 논문 전문은 동일한 제외 기준을 적용하여 두 명의 저자(WRJ 및 AMB, ARA 또는 SJD)가 검토했습니다. 방법 및 결과 섹션을 가장 면밀히 검토하여 내용이 자체 모니터링의 정의에 부합하는지 확인했습니다. 의견이 일치하지 않는 부분은 합의에 도달할 때까지 최소 3명의 저자와 함께 그룹으로 논의했습니다. 이러한 논의는 자체 모니터링의 정의3를 실제로 적용할 수 있는 프레임워크로 운영하는 데 도움이 되었습니다. 전체 텍스트를 검토하는 동안, 관련성이 있을 수 있는 인용이 검색 결과에 포함되었는지 확인했습니다. 참고 문헌이 누락된 경우, 참고 문헌의 전문을 검토하여 포함 가능성을 평가했습니다.
We removed duplicates, publications before 1999 and non-primary literature, such as reviews, perspectives and opinion pieces. Two authors (WRJ and SJD) reviewed titles, abstracts and indexed descriptive fields to exclude results without a GME population, without content likely related to self-monitoring and with insufficient information. Any disagreements were included for full text review. Each full text article was reviewed by two authors (WRJ and AMB, ARA or SJD) with the same exclusion criteria. The methods and results sections were most heavily scrutinised to ensure that the content met our definition of self-monitoring. Any disagreements were discussed as a group with a minimum of three authors until consensus was reached. These discussions helped us to operationalise the definition of self-monitoring3 into a framework that we could practically apply. During the full text review, we looked at potentially relevant citations to ensure that they had been captured in our search results. Where a reference was missing, we evaluated the full text of the reference for potential inclusion.

데이터 차트화
Charting the data

포함된 논문의 하위 집합을 예비 코딩하고 공동 저자 간의 그룹 토론을 통해 반복적으로 개발한 코딩 시트를 사용하여 데이터를 도표화했으며, 사회 인지 이론인 SRL 이론과 특히 자기 모니터링에 근거하여 데이터를 도표화했습니다. 최종 코딩 시트를 포함된 각 논문에 적용했습니다(데이터 S2). 논문 유형의 이질성을 고려하여 의학교육 연구 품질 도구와 질적 연구 보고 표준이라는 잘 연구된 두 가지 품질 지표를 사용하여 각 연구의 질을 평가했습니다.26, 27 양적 연구는 의학교육 연구 품질 도구로, 질적 연구는 질적 연구 보고 표준으로, 혼합 방법 연구는 이 두 가지를 모두 사용하여 평가했습니다. 모든 분야가 각 연구와 관련이 있는 것은 아니므로, 해당 분야에 따라 논문이 받을 수 있는 최대 점수의 백분율로 품질 점수를 보고하기로 결정했습니다. 한 명의 저자(WRJ)가 각 논문을 코딩했습니다. 두 번째 저자(AMB, ARA 또는 SJD)가 각 논문을 검토하고 코딩을 할당했습니다. 불일치하는 부분이 있으면 최소 3명의 저자(ARA, SJD, WRJ)가 참석한 가운데 토론을 통해 해결했습니다.
We charted the data using a coding sheet that we developed iteratively by preliminary coding a subset of included articles and group discussions among the co-authors, grounded in a social cognitive theory of SRL theory and, specifically, self-monitoring. We applied the final coding sheet to each included article (Data S2). Given the heterogeneity of types of articles, we assessed the quality of each study using two different, well-studied quality metrics—the Medical Education Research Study Quality Instrument and Standards for Reporting Qualitative Research.26, 27 Quantitative studies were evaluated with the Medical Education Research Study Quality Instrument, qualitative studies with the Standards for Reporting Qualitative Research and mixed methods studies with both. Given that not all fields were relevant for each study, we decided to report quality scores as a percentage of the maximum possible points an article could receive based on the applicable fields. One author (WRJ) coded each article. A second author (AMB, ARA or SJD) reviewed each article and assigned coding. Any discrepancies were resolved through discussion with a minimum of three authors present (ARA, SJD and WRJ).

결과 집계 및 요약
Collating and summarising the results

한 명의 저자(WRJ)가 결과를 취합하고 요약하여 공동 저자들과 논의했습니다. 함께 결과를 검토하고 그룹 합의를 통해 어떤 결과를 결과로 포함할지 결정했습니다. 이러한 결과를 바탕으로 우리는 조사 결과에서 얻을 수 있는 주요 메시지와 자체 모니터링 문헌에 추가할 가치를 결정하기 위해 협력했습니다. 데이터 취합 과정에서 우리는 판단에 영향을 미칠 수 있는 편견을 인식하고 반성하는 태도를 취하려고 노력했습니다.
One author (WRJ) collated and summarised the results to discuss with the co-authors. Together, we reviewed the findings and, through group consensus, determined which findings to include as results. Based on these results, we collaborated to determine the key take away messages from our findings and value added to the self-monitoring literature. Throughout the collation process, we attempted to practice reflexivity, recognising our biases that may impact our judgements.

주요 이해관계자 또는 전문가 자문
Consulting key stakeholders or experts

검토 과정 전반에 걸쳐 이해관계자 및 SRL 분야 전문가와 상의하여 연구 질문에 대해 논의하고 포함된 논문을 검토하여 관련 출판물이 누락될 위험을 최소화했습니다. 저희는 의학교육의 SRL 분야에서 동료 심사 저널 논문을 여러 편 게재한 전문가를 고려했습니다. 제안된 논문은 검색 결과에 포함되었는지 여부에 따라 포함 여부를 검토하거나 재검토했습니다.
Throughout the review process, we consulted stakeholders, experts in the field of SRL, to discuss our research question and review our included articles to minimise the risk of relevant missing publications. We consider expert individuals who had published multiple peer-reviewed journal articles in the field of SRL in medical education. Any suggested articles were reviewed or re-reviewed for inclusion, depending on whether they had been included in our search results.

3 결과
3 RESULTS

문헌 검색을 통해 중복을 제거한 후 5개의 다른 데이터베이스에서 5363개의 논문이 검색되었습니다. 초록과 전문 논문의 반복적인 검토를 통해 72편의 논문을 확인했으며, 참고 문헌 검색과 전문 컨설턴트의 피드백을 통해 찾은 5편의 논문을 추가한 후 77편의 논문으로 증가했습니다(그림 2).
The literature search yielded 5363 articles from the five different databases, after removing duplicates. Through iterative reviews of the abstracts and full text articles, we identified 72 articles for inclusion, which increased to 77 articles after we added five articles that we found during reference hand searching and via feedback from our expert consultants (Figure 2).

범위 검토 프로세스에서 얻은 결과
Findings from the process of the scoping review

범위 검토를 수행하는 과정, 즉 무엇을 포함하거나 제외할지 결정하는 과정은 자가 모니터링을 이해하는 방식을 형성했습니다. 우리는 [자신의 성과에 대한 순간적인 자기 인식]인 [자가 모니터링]에 대한 [문헌의 명확한 정의]에서 프로세스를 시작했으며,3 [일관되지 않은 언어와 정의가 부족한 이질적인 문헌의 바다]에서 정의를 조작화하면서 [자가 모니터링의 실질적인 한계를 보다 명확하게 정의해야 한다]는 것을 알게 되었습니다. 자가 모니터링을 다른 유형의 자기 인식, 특히 자기 평가와 구별하기 위해 포함 사항과 제외 사항에 대한 논의를 통해 개발한 프레임워크를 아래에 공유합니다.
The process of performing the scoping review—of deciding what should be included or excluded—shaped the way that we understand self-monitoring. We started the process with a clear definition from the literature of self-monitoring, an in-the-moment self-awareness of one's performance,3 and found that operationalising the definition in a sea of heterogeneous literature with inconsistent language and lack of definitions forced us to define the practical limits of self-monitoring more clearly. We share below the framework that we developed through dialogue around inclusions and exclusions for distinguishing self-monitoring from other types of self-awareness and particularly self-assessment.

자기 모니터링과 자기 평가의 개념은 연속선상에 놓여 있다고 생각하시면 됩니다(그림 3).

어떤 자기 인식의 순간은 매우 명확하게 자기 모니터링인 반면, 어떤 순간은 자기 평가이며, 또 다른 순간은 그 중간 어딘가에 있습니다. 우리는 이 연속체가 시간과 맥락의 좌표를 따라 놓여 있다고 제안합니다.
시간은 자기 인식과 실제 또는 재현된(예: 비디오로 관찰한) 작업 수행의 시간적 근접성을 측정합니다. 자기 인식이 과제와 시간적으로 분리되지 않고 발생하는 경우, 자기 인식은 시간에 따라 달라집니다.
컨텍스트는 단일 과제 수행에 대한 자기 인식의 특이성을 측정합니다. 특정 단일 작업 수행에 대해 자기 인식이 발생하는 경우, 자기 인식은 컨텍스트에 따라 달라집니다.
자기 인식이 시간에 따라 달라지고 상황에 따라 달라지면 자기 모니터링입니다.
컨텍스트와 시간 의존성을 모두 충족하지 못하는 자기 인식은 자기 평가입니다(그림 3).
그러나 모든 자기 평가가 동일한 것은 아닙니다.
- 컨텍스트 의존성을 충족하는 자기 평가는 컨텍스트 의존성이 결여된 자기 평가보다는 자기 모니터링에 더 가깝고, 이 리뷰의 일부 결과는 컨텍스트 특이적 자기 평가에 적용될 수도 있습니다.
- 한 사람이 한 가지 일을 수행하면서 다른 일을 생각하는 등 멀티태스킹을 해야 하는 경우, 시간에 의존적이고 상황에 독립적인 자기 인식이 발생할 가능성은 낮습니다.28 우리는 이러한 유형의 자기 인식을 정의되지 않은 자기 인식이라고 분류했습니다.

We suggest that the concepts of self-monitoring and self-assessment lie on a continuum (Figure 3).

Some moments of self-awareness are very clearly self-monitoring; whereas others are self-assessment; and still others, somewhere in the middle. We propose that the continuum lies along the coordinates of time and context.
Time measures the temporal proximity of the self-awareness and actual or relived (e.g. video observed) task performance. When self-awareness occurs without temporal separation from the task, the self-awareness is time dependent.
Context measures the specificity of self-awareness to a single performance of a task. When self-awareness occurs about a specific, single performance of a task, the self-awareness is context dependent.
When self-awareness is both time dependent and context dependent, then it is self-monitoring.
Self-awareness that fails to meet both context and time dependence is self-assessment (Figure 3).
However, not all self-assessment is equivalent.
- Self-assessment that achieves context dependence is more like self-monitoring than self-assessment that lacks context dependence, and, perhaps, some of our findings in this review apply to context-specific self-assessment.
- Self-awareness that is time dependent and context independent is unlikely to occur, given a person would have to multitask to do this—performing one thing, while thinking about another.28 We have labelled this type of self-awareness as undefined self-awareness.

포함된 문헌의 내용에서 얻은 결과
Findings from the content of the included literature

표 2에는 결과 요약이 나와 있으며, 자세한 결과는 데이터 S3에서 확인할 수 있습니다. 이 문헌에는 GME에서 자가 모니터링의 특성, 개발, 장려 및 측정 방법을 탐구하는 연구가 포함되어 있습니다. 문헌의 이질성으로 인해 명확한 결론을 내리기는 어렵습니다. 그러나 자가 모니터링의 특성, 개발, 장려 및 측정 방법에 대한 몇 가지 일관된 주제가 있다고 생각합니다.

Table 2 presents a summary of the results with more detailed results available in Data S3. The literature includes studies that explore how self-monitoring is characterised, developed, encouraged and measured in GME. The heterogeneity of the literature makes definitive conclusions difficult. However, we believe that there are some consistent themes for how self-monitoring is characterised, developed, encouraged and measured.

[자가 모니터링 과정] 또는 [자가 모니터링에 영향을 미치는 요인]에 초점을 맞춘 연구를 [자가 모니터링 특성화 연구]로 분류했습니다.

대부분의 연구에서 [훈련 연수가 많은 훈련생]이 [훈련 연수가 적은 훈련생]보다 정확도가 높았습니다.29-32
또한 대부분의 연구에서 높은 수준의 훈련생이 더 정확한 자가 모니터링을 수행했으며,19, 33-35 자신의 성과를 과소평가하는 경향이 있었습니다.33, 36
동시 자가 모니터링의 정확도는 작업의 정신적 노력이 증가할수록 저하되었으며,10, 37, 38 주의 산만 증가,39 실수,40 작업 난이도,40, 41 등을 포함합ㄴ디ㅏ.
전문가의 질문,42 목표 및 이전 경험이 자가 모니터링을 유발하는 것으로 나타났습니다.43
자가 모니터링 시기가 정확도에 미치는 영향에 대한 연구 결과는 동시적 자가 모니터링이 후향적 자가 모니터링보다 더 정확하다는 일부 연구,44 그 반대의 결과를 보인 연구32,45 및 동시적 자가 모니터링과 후향적 자가 모니터링 간에 차이가 없다는 연구34,46와 일치하지 않았습니다.

We classified studies as characterising self-monitoring when the study focused on the self-monitoring process or the factors that influence self-monitoring.

Trainees with more years of training had more accuracy than trainees with less years of training, in most studies.29-32
Trainees who performed at a higher level also had more accurate self-monitoring, in most studies,19, 33-35 and tended to underestimate their performance.33, 36
The accuracy of concurrent self-monitoring degraded with increased mental effort of task,10, 37, 38 which includes increased distractions,39 mistakes,40 task difficulty,40, 41
questions from experts,42 goals and prior experiences triggered self-monitoring.43
The findings about the influence of timing of self-monitoring on accuracy were inconsistent with some studies finding that concurrent self-monitoring is more accurate than retrospective self-monitoring,44 others finding the opposite32, 45 and still other studies finding no difference between concurrent and retrospective self-monitoring.34, 46

저희는 자가 모니터링의 [빈도나 적절성을 높이는 데 초점]을 맞춘 연구를 [자가 모니터링을 장려]하는 것으로 분류했습니다.

사용하기 쉬운 로그 또는 자가 모니터링 도구는 자가 모니터링 빈도를 증가시키는 것으로 나타났습니다.47-49
자가 모니터링에 할애할 시간을 확보하는 것도 자가 모니터링 빈도를 증가시키는 것으로 나타났습니다.21, 50-52

We classified studies as encouraging self-monitoring if they focused on increasing the frequency or appropriateness of self-monitoring.

Easy to use logs or self-monitoring instruments seemed to increase frequency of self-monitoring.47-49 Carving out time to dedicate to self-monitoring also seemed to increase frequency of self-monitoring.21, 50-52

자가 모니터링의 정확성 또는 특정 결과에 대한 자가 모니터링의 영향에 초점을 맞춘 연구를 [자가 모니터링을 측정]하는 것으로 분류했습니다.

자가 모니터링에 참여한 교육생(자가 모니터링을 하지 않았거나 빈도가 낮은 교육생에 비해)은 더 나은 성과를 거두거나 더 큰 성과 향상을 보였으며,51-56 이러한 성과 효과는 동시51-53, 55 및 후향적54, 56 자가 모니터링 모두에 해당되는 것으로 나타났습니다.
또한 자가 모니터링은 환자 수준의 결과57 및 직장 내 임상 행동에 긍정적인 영향을 미칠 수 있습니다.58, 59
그러나 자가 모니터링을 측정한 대부분의 연구는 전문가 평가22, 29-32, 34-36, 44, 45, 60-71 동료 평가35, 72 또는 표준화된 임상 관리와 비교하여 성과에 대한 자가 판단의 정확성에 초점을 맞추었습니다.37-39, 47, 73-75 연구에서는 자가 평가와 전문가 평가 사이에 일치하지 않는 것부터 강한 일치까지 다양한 결과가 나타났습니다.
코칭, 피드백 또는 표준 설정과 같은 개입을 통해 교육생의 자가 평가를 보정하는 방법이 포함된 연구에서 더 긍정적인 일치도를 보이는 경향이 있었습니다.19, 20, 60, 61, 64, 76, 77

We classified studies as measuring self-monitoring if they focused on accuracy of self-monitoring or impact of self-monitoring on a specified outcome.

Trainees who engaged in self-monitoring (as compared with those that did not or did so less frequently) had better performances or larger performance gains,51-56 and this performance effect seemed to hold true for both concurrent51-53, 55 and retrospective54, 56 self-monitoring.
In addition, self-monitoring could have positive impacts on patient-level outcomes57 and workplace clinical behaviours.58, 59
Most of the studies that measured self-monitoring, however, focused on the accuracy of self-judgement of performance compared with an expert rating,22, 29-32, 34-36, 44, 45, 60-71 peer rating35, 72 or standardised clinical management.37-39, 47, 73-75 Studies showed everything from no agreement to strong agreement between self-ratings and expert ratings.
Studies that included some method for calibrating trainees' self-ratings through interventions such as coaching, feedback or standard setting tended to show more positive agreement.19, 20, 60, 61, 64, 76, 77

우리는 자가 모니터링 개선에 초점을 맞춘 연구를 [자가 모니터링 개발] 연구로 분류했습니다.

전문가 피드백60-62 코칭68, 78-80 및 자가 모니터링 방법에 대한 전용 교육(예: 교훈)20, 51, 57-59, 81 모두 자가 모니터링의 정확성 또는 자가 모니터링과 함께 트레이너의 성과에 긍정적인 영향을 미치는 것으로 나타났습니다.
대부분의 연구에서 자가 모니터링과 코칭의 결합 효과와 코칭 단독 효과의 영향력을 구분할 수 없었지만, 일부 연구에서는 각 개입의 단독 효과와 시너지 효과가 있다고 제안했습니다.54, 67, 82 부정적인 결과가 나온 연구 중 자가 모니터링과 코칭 또는 전문가 피드백을 병행한 연구는 없었습니다.

We classified studies as developing self-monitoring if they focused on improving self-monitoring.

Expert feedback,60-62 coaching68, 78-80 and dedicated instruction (e.g. didactics) on a method for self-monitoring20, 51, 57-59, 81 all seemed to positively influence the accuracy of self-monitoring or trainee performance in conjunction with self-monitoring. Differentiating the influence of the combined effect of self-monitoring and coaching versus coaching alone was not possible in most studies; however, some studies suggested that there is a synergistic difference from the effect of each intervention alone.54, 67, 82 None of the studies with negative findings paired self-monitoring with coaching or expert feedback.

4 토론
4 DISCUSSION

범위 검토를 통해 GME에서 자가 모니터링의 역할을 탐색하는 것은 현존하는 문헌에서 [명확한 정의가 부족]하고 [일관되지 않은 언어]로 인해 특히 어려웠습니다. 자체 모니터링을 GME에 통합하기 위한 명확한 모범 사례를 확인할 수는 없었지만, GME에서 자체 모니터링의 유용성을 뒷받침하는 트렌드는 확인할 수 있었습니다. 또한, 범위 검토 과정과 결과는

(a) 자체 모니터링을 식별하기 위한 실용적인 프레임워크를 개발하고,
(b) 질문 및 시기와 관련하여 다양한 유형의 자체 모니터링을 인식하고,
(c) 자체 모니터링의 유용성을 확인하고,
(d) 자체 모니터링에 관한 문헌의 한계를 인식하는 데 도움이 되었습니다.

Exploring the role of self-monitoring in GME through a scoping review was particularly challenging because of the lack of clear definitions and inconsistent language in the extant literature. We were unable to identify clear best practices for incorporating self-monitoring into GME; however, we did identify trends that support the usefulness of self-monitoring in GME. Moreover, the scoping review process and results helped us to

(a) develop a practical framework for identifying self-monitoring,
(b) recognise different types of self-monitoring with respect to question and timing,
(c) confirm the usefulness of self-monitoring and
(d) appreciate the limitations of the literature on self-monitoring.

[자가 모니터링의 개념]을 설명하는 데 사용되는 용어는 20개 이상이지만, [사용된 용어에 대한 정의]가 포함된 연구는 20% 미만이었습니다. 자가 모니터링과 자가 평가가 보건 전문직 교육 문헌에서 명확하게 정의되어 있다는 점을 고려할 때 이러한 일관성 부족은 의외입니다.3, 8 안타깝게도 문헌에 제시된 명확한 정의가 보편적인 채택으로 이어지지는 않는 것 같습니다. 저희는 범위 검토를 통해 기존의 자가 모니터링 정의를 운영하기 위해 상당한 노력을 기울였기 때문에 명확한 정의가 반드시 쉽게 적용될 수 있는 것은 아니라는 사실을 알게 되었습니다(그림 3). 하지만 적용이 어렵다고 해서 정의를 일관되게 배제하는 것이 변명의 여지가 있는 것은 아닙니다. 따라서 우리는 문헌에 정의가 부족한 것은 자가 모니터링에 대해 연구하는 저널과 연구자가 매우 다양하기 때문일 수 있다고 가설을 세웠습니다. 정의가 포함된 논문(n = 13) 중 거의 85%(n = 11)가 보건 전문가 교육 중심 저널에서 나왔고, 임상 중심 저널에서 나온 정의가 포함된 논문은 단 1편에 불과했습니다. 하지만 대부분의 교육 중심 저널 논문(69%, n = 24)에도 정의가 포함되어 있지 않았습니다.
We found more than 20 terms used to describe the concept of self-monitoring, yet fewer than 20% of studies included a definition of the term used. We found this lack of consistency surprising given that self-monitoring and self-assessment have been clearly defined in the health professions education literature.3, 8 Unfortunately, it seems a clear definition provided in the literature does not lead to universal adoption. Through our scoping review, we also came to appreciate that a clear definition does not necessarily make for easy application, as we spent significant effort operationalising the existing definition of self-monitoring (Figure 3). That said, difficulty with application does not excuse the consistent exclusion of definitions. We hypothesize, then, that the lack of definitions in the literature may be related to the wide variety of journals that publish and investigators who examine self-monitoring. Of the articles that included definitions (n = 13), nearly 85% (n = 11) came from health professions education-focused journals; only one article with a definition emerged from a clinically focused journal. Still, most educationally focused journal articles (69%, n = 24) also did not include a definition.

또한 많은 연구에서 [인증 기관이 정의]의 유무에 영향을 미쳤을 수 있다고 언급했습니다. 교육 인증 기관은 빠르면 1990년대 후반부터 인용되었습니다. 이 범위 검토에 포함된 문헌에 언급된 이전 버전의 인증 표준을 모두 찾을 수는 없었지만, 동일한 [인증 기관의 현재 표준]을 면밀히 검토한 결과 [명확하게 정의된 용어가 부족]하다는 것을 알 수 있었습니다. 예를 들어, ACGME 이정표 가이드북에는 정의 없이 "자가 평가" 또는 "자가 지시"가 16번 언급되어 있습니다.83 따라서 인증 기관의 교육 지침을 따르는 임상의들도 일반적으로 일관된 언어나 정의를 사용하지 않는 것은 당연한 일입니다. 이러한 연구를 발전시키기 위해 연구자와 인증 기관 모두 이전 연구를 기반으로 한 명확한 정의를 사용할 것을 강력히 권장합니다. 명확한 정의는 검색 가능성을 개선하고 비교를 가능하게 하며, 명확한 정의는 향후 연구를 더욱 효과적으로 이끌 것입니다.
Moreover, many studies cited accreditation bodies that may have influenced the definitions or lack thereof. Educational accreditation bodies are cited from as early as the late 1990s. Although we could not find all the older versions of accreditation standards referenced in the included articles of this scoping review, close examination of current standards from the same accreditation agencies demonstrates a lack of clearly defined terminology as well. The ACGME Milestones guidebook, for example, mentions “self-assessment” or “self-direct” 16 times without a definition.83 It is no wonder, then, that clinicians following educational guidance of their accreditation bodies are generally not using consistent language nor definitions either. To advance this line of research, we strongly recommend the use of clear definitions—by both researchers and accreditation bodies—that build off prior work. Clear definitions would improve searchability and allow for comparisons; clear definitions would also drive more effective future research.

[자체 모니터링의 보편적인 매력]은 또한 자체 모니터링 구현 및 정의와 관련하여 문헌의 이질성을 유발할 수 있습니다. 자기 모니터링은 각각 [자기 주도 학습]과 [자기 조절 학습SRL]이라는 교육 및 심리학 이론에 뿌리를 두고 있습니다.14-16 자기 모니터링은 이러한 이론의 핵심적인 특징이며, 이 작업 중 일부는 상당히 난해하고 이론적일 수 있습니다. 그러나 이번 리뷰에 포함된 출판물의 50% 이상(n=42)이 교육에 초점을 맞추지 않은 저널에서 나온 것에서 알 수 있듯이 자기 모니터링의 매력은 광범위합니다. 다음과 같은 궁금증이 생겼습니다: 이러한 결과가 인증 기관의 언어 변화와 관련이 있을까요? [교육에 중점을 둔 인증 기관]이 1990년대 후반부터 자체 모니터링 [연구의 주요 동기로 언급]되었으며,47, 58 [전문 분야별 인증 기관]은 2000년대 후반에 연구자들에게 동기를 부여하는 것으로 나타났습니다.53, 61, 84 그럼에도 불구하고 인증 기관을 동기로 언급한 연구는 소수에 불과했습니다(32%, n = 25). 아마도 말콤 글래드웰의 『아웃라이어』(2008)나 앤더스 에릭슨의 『피크』(2016)와 같은 인기 도서에서 자기 모니터링 개념이 등장한 것이 유비쿼터스적인 관심의 일부를 설명하거나, 자기 개선의 직관적인 특성으로 인해 거의 모든 사람이 주어진 작업에 대해 자기 모니터링에 접근할 수 있다고 느끼는 것일 수도 있습니다. 이유야 어떻든, 자기 모니터링의 개념은 교육 및 심리학 이론가들과 임상을 염두에 둔 실무자들 모두에 의해 고려되고 있습니다. 이에 따라 자가 모니터링을 탐구하는 논문이 증가하고 있는 것으로 보입니다. 검색에 포함된 논문 중 25% 이상이 지난 4년 이내에 출판되었습니다. 정확한 이유는 아직 불분명하지만, 특히 지속적인 연구가 최대한 생산적이고 의미 있으며 실용적이기를 원한다면 문헌 내에서 일관성을 유지하는 것이 그 어느 때보다 중요해 보입니다.

The ubiquitous appeal of self-monitoring may also drive the heterogeneity of the literature, both with respect to self-monitoring implementation and definitions. Self-monitoring is rooted within educational and psychological theories of self-directed learning and SRL, respectively.14-16 Self-monitoring is a core feature of these theories, and some of this work can be quite esoteric and theoretical. Yet, the appeal of self-monitoring is broad, as evidenced by the fact that over 50% (n = 42) of the publications included in our review came from non-educationally focused journals. We wonder the following: Could this finding be related to changes in the language of accreditation bodies? Educationally focused accreditation bodies are cited as a primary motivation for studying self-monitoring as early as the late 1990s,47, 58 and specialty-specific accreditation bodies appeared to motivate researchers in the late 2000s.53, 61, 84 Still, only a minority of studies cited accreditation bodies as motivation (32%, n = 25). So, perhaps, the appearance of the concept of self-monitoring in popular books, such as Malcom Gladwell's Outliers (2008) or Anders Erickson's Peak (2016), explains some of the ubiquitous interest, or maybe, the intuitive nature of self-improvement makes self-monitoring feel accessible to almost everyone for a given task. Regardless of the reason, the concept of self-monitoring is being thought about both by educational and psychological theorists and by clinically minded practitioners alike. To that end, publications exploring self-monitoring appear to be rising. Over 25% of the articles included in our search were published within the last 4 years. Although the exact reason remains unclear, the importance of cultivating consistency within the literature seems more important than ever, especially if we want ongoing research to be as productive, meaningful and practical as possible.

이를 위해 우리는 문헌3의 자체 모니터링 정의를 사용하여 자체 모니터링을 식별하는 프레임워크(그림 3)를 만들고 이를 범위 검토 프로세스와 결합했습니다. 자체 모니터링 프레임워크는 포함 및 제외 프로세스의 초석 역할을 했습니다. 그럼에도 불구하고 일부 사람들에게는 자체 모니터링과 자체 평가의 연속성이 여전히 모호할 수 있습니다. 저희 중 세 명은 임상의이고, 두 명은 GME 교육생과 광범위하게 일하고 있습니다. 저희의 전문적 경험은 자가 모니터링을 결정할 때 시간 및 상황 의존성에 대한 임계값에 영향을 미쳤습니다.

[컨텍스트 의존성]을 유지하기에는 너무 큰 작업의 크기는 어느 정도일까요?
[시간 종속성]을 유지하기에는 너무 긴 시간(작업 전 또는 후)은 얼마나 되는가?

To that end, we created a framework for identifying self-monitoring (Figure 3) using a definition of self-monitoring from the literature3 and marrying that with the process of our scoping review. Our self-monitoring framework served as the cornerstone of our inclusion and exclusion processes. Still, the continuum of self-monitoring and self-assessment may continue to be blurry for some. Three of us are clinicians and two of us work extensively with GME trainees. Our professional experiences influenced our thresholds for time and context dependence in the determination of self-monitoring. Consider two questions—

what size of task is too big to remain context dependent?
How long is too long (pre- or post-task) to be time dependent?

예를 들어, 몇 분이 걸리는 간단한 열상을 봉합하는 작업에 대한 자체 판단은 분명 상황에 따라 달라지지만, 4-H 수술에 대한 자체 판단은 어떨까요? 특정 환자의 30일 입원 치료는 어떨까요?

저희는 4-H 수술이 상황에 따라 달라질 수 있다고 생각합니다. 결국, 외과의가 이 정도(또는 그 이상)의 수술에 대한 기록을 작성할 것으로 예상되므로 수술 직후의 사건에 대한 기억만으로도 자가 모니터링에 충분할 것입니다.
그러나 한 명의 환자가 30일간 입원하는 경우, 수련의가 내내 환자를 돌보았다고 해도 입원 마지막 날에 상세한 문서화를 기대하는 것은 합리적이지 않습니다. 문서는 상세한 설명보다는 요약본에 가까울 것입니다.

[상황에 따른 임계값]을 충족하려면 수행자가 [상세한 설명을 제공할 수 있을 정도로 작은 작업]을 수행하는 것이 좋습니다.

For example, a self-judgement of task of suturing a simple laceration that takes minutes is certainly context dependent, but what about self-judgement of a 4-h surgery? What about a 30-day inpatient stay of a specific patient? We suggest that the 4-h surgery can be context dependent.

After all, we expect surgeons to dictate notes about a surgery of this length (and even longer); thus, their recollection of the events in the time immediately after the procedure should be sufficient for self-monitoring.
However, for a 30-day admission of a single patient, even if a trainee was taking care of the patient the entire time, it would not be reasonable to expect a detailed documentation on the last day of the hospitalisation. The documentation would be much more a summary than a detailed account.

To meet the context-dependent threshold, we suggest that a task should be small enough for the performer to provide a detailed description.

[시간 의존성 임계값]을 식별하는 데에도 비슷한 접근 방식이 적용됩니다. 위의 단순 열상 봉합의 예를 다시 한 번 생각해 보겠습니다:

조직 취급의 품질에 대한 자체 판단이 작업 후 몇 초 이내에 이루어졌다면 이는 확실히 시간 의존성 기준을 충족할 것입니다.
하지만 자체 판단이 작업 후 30분 후에 이루어졌다면 어떨까요?
또는 작업 후 7일이 지난 후였다면 어떨까요?

[수행자가 작업에 대해 자세히 설명하는 것이 합리적]이라고 생각되면 [시간 종속 기준이 충족]되는 것으로 간주합니다. 이는 작업 전후의 시간 경과 기간과 작업 시점과 자체 모니터링 시도 사이에 발생한 추가 작업의 수에 따라 달라질 수 있습니다.
A similar approach works for identifying the threshold of time dependence. Again, consider the example of suturing of a simple laceration above:

If a self-judgement about the quality of the tissue handling was made within seconds after the task, this would certainly meet the time-dependent criteria.
But what if the self-judgement was 30 min after the task?
Or what if it were 7 days after the task?

We suggest that the time-dependent threshold is met if it seems reasonable for the performer to give a detailed account of the task. This is likely dependent on both the duration of time that passes before or after a task and the number of additional tasks that occur between the time of the task and attempted self-monitoring.

[셀프 모니터링]은 수행되는 활동이나 작업의 성격에 따라 매우 다르게 보일 수 있습니다.

저희는 사회인지 학습 이론의 관점에서 [다양한 유형의 자가 모니터링]을 예상했습니다(그림 1a).
문헌 검토를 통해 교육생이 이 세 가지 유형의 자가 모니터링을 각각 수행하기 위해 물어볼 수 있는 [질문의 예를 공식화]하는 데 도움이 되었습니다(그림 1b).
문헌을 검토하는 동안 자가 모니터링 유형에 대한 또 다른 차원, 즉 [시기의 가변성]에 주목했습니다. 작업 전, 작업 중, 작업 후에 발생하는 자가 모니터링을 발견했습니다.

Self-monitoring can look very different depending on the nature of the activity or task performed.

We anticipated the different types of self-monitoring from the perspective of social cognitive learning theory (Figure 1a).
Our review of the literature helped to formulate examples of questions that a trainee might ask to perform each of these three types of self-monitoring (Figure 1b).
During our review of the literature, we appreciated an additional dimension to the type of self-monitoring—the variability of timing. We encountered self-monitoring that occurred before, during and following a task.

또한 자기 모니터링은 작업 수행과 동시적으로, 또는 작업 수행을 회상하는 방법을 통해 후향적(회고적)으로 발생했습니다.

회고적 자기 모니터링은 종종 비디오 녹화와 같은 기술을 사용하여 과제를 재현하기 위해 다시 그 과제를 떠올리게 하는 방식으로 이루어졌습니다(그림 4).
우리는 회고적 자가 모니터링이 존재할 수 있는지에 대해 고민했습니다. 회고적 자기 모니터링은 앞서 설명한 시간 및 상황 의존적 기준에 거의 반직관적으로 보입니다. 우리는 과제를 실제로 재현하기 위한 충분한 노력이 있다면 개인이 과제의 마음가짐으로 완전히 또는 거의 완전히 돌아갈 수 있어야 맥락 의존적 임계값을 충족할 수 있다고 주장합니다.
[시간 의존적 기준]은 [동시 자기 모니터링]과 같은 방식으로 충족할 수 있습니다. 즉, 수행자가 [회고적으로 재현한 과제]에 대해 자세히 설명하는 것이 합리적이라고 판단되는 경우입니다.
일부 연구에서는 수행에 대한 [동시적 자기 판단]과 [회고적 자기 판단]의 정확도를 비교한 결과 차이가 없거나,34, 46 동시적 자기 모니터링이 더 우수하고44 회고적 자기 모니터링이 더 우수하다는 결과가 엇갈렸습니다.32, 45 [높은 인지 부하]가 [자기 모니터링에 부정적인 영향을 미치는 것으로 보인다]는 점을 고려할 때,37-39 [매우 까다로운 작업]이나 [매우 산만한 상황]에서는 [회고적 자기 모니터링]이 최적일 수 있다는 가설이 있습니다.

Additionally, self-monitoring occurred concurrently, at the same time as the task performance or, retrospectively, through a method of reliving the task performance.

Retrospective self-monitoring often used technology, such as video recording, to bring a person back into mindset of the task (Figure 4) in an effort to relive it.
We wrestled with whether retrospective self-monitoring could exist. Retrospective self-monitoring seems almost counterintuitive to the time- and context-dependent criteria we have described. We argue that if there is sufficient effort to really relive the task, then an individual should be able to return to the mindset of the task completely or almost completely, thereby meeting the context-dependent threshold.
The time-dependent criterion can be met in the same way as concurrent self-monitoring: if it seems reasonable for the performer to give a detailed account of the retrospectively re-lived task.
Some studies compared the accuracy of concurrent versus retrospective self-judgement of performance with mixed results—no difference,34, 46 better with concurrent44 and better with retrospective self-monitoring.32, 45 Given that high cognitive load seems to negatively impact self-monitoring,37-39 we hypothesize that retrospective self-monitoring may be optimal for very demanding tasks or highly distracting contexts.

[자가 모니터링 데이터]는 [작업 전, 작업 중 또는 작업 후 동시에 수집]하거나, [작업 전, 작업 중 또는 작업 후 소급하여 수집]하는 등 [다양한 시점에 수집]할 수 있기 때문에, 서로 다른 연구 간의 자가 모니터링을 비교하는 것은 어렵습니다. 최소한 향후 연구의 연구자는 자가 모니터링을 자극 및/또는 기록하는 데 사용한 방법을 명확하게 설명할 것을 권장합니다. 방법에는 과제 전(과제 전), 과제 수행 중 또는 과제 수행 후(과제 후)의 자기 모니터링과 과제 간의 관계, 과제와의 동시적 또는 후향적 일치에 대한 설명이 포함되어야 합니다.
The comparison of self-monitoring between different studies is difficult because self-monitoring data can be collected at many different time points:

concurrently before, during or following task and
retrospectively before, during or following task.

At the very least, we encourage investigators of future studies to clearly describe the methods they used to stimulate and/or record self-monitoring. Methods should include a description of the relationship between self-monitoring and the task—before (pre-task), during or following (post-task)—and the concurrence with the task—concurrent or retrospective.

[언어의 일관성]을 높이면 최적의 셀프 모니터링 시기 및/또는 다양한 순간에 대한 셀프 모니터링의 유용성을 명확히 하는 데 도움이 됩니다. [일관된 언어]는 연구를 비교하고 재현하는 것을 더 쉽게 만들어 결과적으로 더 영향력 있는 문헌을 만들 수 있습니다.85 예를 들어, 앞서 가설한 대로 [동시적 자가 모니터링]과 [후향적 자가 모니터링]의 장단점이 다르다고 가정해 보겠습니다.
Increased consistency of language will help to clarify the optimal timing of self-monitoring and/or utility of self-monitoring at different moments. Consistent language will make comparing and reproducing studies easier and, as a result, create a more impactful body of literature.85 For example, we imagine that the advantages and disadvantages of concurrent and retrospective self-monitoring are different, as previously hypothesized.

문헌의 이질성에도 불구하고 자가 모니터링이 유용하다는 분명한 신호가 있습니다. 자가 모니터링은 성과를 향상시키는 것으로 보이며,51-58, 65 일부 연구에서는 자가 모니터링이 보다 객관적인 성과 측정과 일치하는 것으로 나타났습니다.37-39, 73, 74, 86 그러나 자가 모니터링이 더 유용하거나 신뢰할 수 있는 시기와 장소는 문헌의 이질성으로 인해 여전히 불분명합니다. 명명법과 관련하여 문헌을 동질화하면 문헌의 비교와 집계가 더 쉬워지겠지만, 더 많은 연구가 필요합니다.
Despite the heterogeneity of the literature, there is a clear signal that self-monitoring is useful. Self-monitoring seems to improve performance,51-58, 65 and some studies find that self-monitoring aligns with more objective performance measures.37-39, 73, 74, 86 When and where self-monitoring is more useful and/or reliable, however, remains unclear secondary to heterogeneity of the literature. Although homogenising the literature with respect to nomenclature will make comparisons and aggregation of literature easier, more research is also needed.

자가 모니터링의 [첫 번째 단계]는 [자가 모니터링을 하기로 결정하는 것]입니다.

즉, [언제] 자가 모니터링을 하는 것이 적절한가요?
일부 문헌에서는 무엇이 자가 모니터링을 촉발하는지에 대한 질문에 답하기 위해 자가 모니터링의 트리거를 탐색했지만,40,42,43 반드시 무엇이 자가 모니터링을 촉발해야 하는지에 대해서는 다루지 않았습니다.
또한 자가 모니터링의 적절성을 자연스럽게 높이려고 시도한 연구는 단 한 건에 불과했습니다.40
마찬가지로 자가 모니터링의 최적 빈도는 알려져 있지 않습니다.

The first step in self-monitoring is deciding to self-monitor—that is, when is self-monitoring appropriate?

Some literature has explored triggers for self-monitoring answering the question of what prompts self-monitoring,40, 42, 43 but not necessarily what should prompt self-monitoring.
Additionally, we found only one study that attempted to naturally increase the appropriateness of self-monitoring.40
Similarly, the optimal frequency of self-monitoring is unknown.

현재 문헌은 절차적 기술, 관리 또는 해석에 대한 성과에 대한 [작업 후 자기 판단(55건, n = 71%)에 초점]을 맞추고 있습니다. 그러나 절차적 술기 및/또는 관리 및 해석에 관한 의사 결정 시 환자의 안전을 위해 [가장 중요하고 적절한 것은 작업 전과 작업 중 자가 판단]입니다. 술기 전 자기 판단은 교육생이 준비 상태를 평가한 다음 실제 수행과 비교하여 측정할 수도 있지만, 술기 전 자기 판단을 평가하는 더 실용적인 방법은 도움 요청이나 준비 자료(예: 읽기, 비디오 및 메모)의 소화 과정을 기록하는 것입니다.

Moulton 등은 수술실에서의 자가 모니터링을 "해야 할 때 속도를 늦추는 것"으로 설명하며, 이는 작업 중 자가 모니터링을 설명합니다.87
Ilgen 등은 작업장 기반 연구에서 유사하게 임상 실습 중 수련의의 자가 모니터링 대부분이 실제로 작업 중이라고 제안합니다.41

The current literature focuses on post-task self-judgements (55, n = 71%) of performance on procedural skills, management or interpretation. Yet, pre-task and during task self-judgement would seem most critical and appropriate for patient safety during procedural skills and/or decisions around management and interpretation. Although pre-task self-judgement could be measured through trainee estimation of preparedness and then compared against actual performance, another, more practical method for assessing pre-task self-judgement might be recording the request for help or digesting of preparatory materials (e.g. reading, videos and notes).

Moulton et al. describe self-monitoring in the operating room as “slowing down when you should,” which describes a during task self-monitoring.87
Ilgen et al., in their workplace-based study, similarly suggest that most of trainees' self-monitoring during clinical practice is actually during task.41

과제 수행 중 자가 모니터링을 포함하는 기존 연구가 부족하다는 점을 고려할 때, [과제 수행 중 자가 모니터링]은 [실제로 진행 중인 과제에 대한 사전 및 사후 자가 모니터링의 반복적 과정]이라고 개념화하는 것이 더 쉬울 수 있습니다. 과제 완료 후 수행이 미흡하다고 자가 판단하는 것은 향후 진료에 도움이 될지라도 수술 중인 환자나 퇴원 서류 작성에 도움이 되지 않지만, 과제의 구성 요소 후 수행에 대한 반복적인 자가 판단은 결과에 영향을 미칠 수 있습니다. 또한, [과제 후 절차적 기술에 대한 자가 판단]은 상당한 정확성을 시사하지만,19, 20, 29, 31, 32, 45, 48, 53, 54, 61, 64, 65, 70, 71, 76, 77, 84, 88 절차적 맥락에서의 결과가 비절차적 맥락으로 일률적으로 해석되는 것은 아닙니다. 자가 모니터링의 정확성 외에도 여러 연구에서 실제로 절차적 술기가 개선된 것으로 나타났습니다.52, 54-56, 65, 76 절차적 영역에 대한 향후 연구는 입증된 자가 모니터링의 정확성을 기반으로 자가 모니터링의 최적 시기를 탐색하고 자가 모니터링이 임상 진료에 미칠 수 있는 긍정적인 영향을 연구해야 합니다.

Based on the lack of existing research that includes during task self-monitoring, it may be easier to conceptualise pre- and post-task self-monitoring, such that during task self-monitoring is actually an iterative process of pre- and post-task self-monitoring of an ongoing task. A self-judgement of poor performance after the completion of a task will not help the patient under-the-knife or with their discharge paperwork in hand, even if it may improve future practice; however, an iterative self-judgement of performance after components of a task may well influence outcomes. Additionally, although the post-task self-judgement of procedural skills suggests decent accuracy,19, 20, 29, 31, 32, 45, 48, 53, 54, 61, 64, 65, 70, 71, 76, 77, 84, 88 findings within a procedural context do not uniformly translate to non-procedural contexts. Beyond the accuracy of self-monitoring, several studies actually showed improved procedural skills.52, 54-56, 65, 76 Future research in the procedural realm should build off the demonstrated accuracy of self-monitoring, explore the optimal timing of self-monitoring and study the likely positive impact of self-monitoring on clinical practice.

자가 모니터링의 유용성은 [비-프로시져 과제]에서도 유망한 것으로 보입니다. 그러나 대부분 문헌은 진단 또는 해석에 기반한 자가 모니터링 정확도,73-75 환자 결과57 또는 임상 행동에 초점을 맞추고 있습니다.51, 80 이러한 측정은 모두 장기적인 추적 관찰이 필요하며, [수술 문헌]에서는 [기술 술기의 객관적 구조화 평가], [절차 학습 개선 및 측정 시스템] 또는 [특정 수술에 대한 역량 평가 도구]와 같이 타당성 증거가 있는 여러 도구의 이점을 활용하고 있습니다. [비-프로시저 과제]에 대한 자가 모니터링 도구의 개발 및 구현은 교육생에게 또 다른 피드백 소스를 제공하고 비절차적 작업에서 자가 모니터링을 이해하는 데 필요한 데이터를 제공할 수 있습니다.
The usefulness of self-monitoring seems promising even in non-procedural tasks. The literature, however, has mostly focused on self-monitoring accuracy based on diagnosis or interpretation,73-75 patient outcomes57 or clinical behaviours.51, 80 All of these measures require longer term follow-up, and the surgical literature has benefited from multiple instruments with validity evidence, such as Objective Structured Assessment of Technical Skills, System for Improving and Measuring Procedural Learning or Competency Assessment Tools for specific surgeries. The development and implementation of self-monitoring instruments for non-procedural tasks would provide another source of feedback for trainees and data for understanding self-monitoring in non-procedural tasks.

[코칭이나 피드백]을 통한 교정은 자가 모니터링의 정확성과 성과 향상에 중요한 역할을 하는 것으로 보입니다.20, 51, 60-62, 74, 76, 80 [코칭과 피드백이 자가 모니터링에 미치는 시너지 효과]에 대한 관찰은 [목표 설정, 동기 부여, 자가 모니터링 및 주기적 피드백 간의 상호 작용]을 설명하는 [SRL 이론]과 일치합니다. 이러한 관찰은 향후 연구 개발에 영향을 미칠 것이며,

자기 판단의 정확성에 대한 순수한 측정에서 벗어나
자기 모니터링을 장려하는 방법,
특히 모든 유형의 자기 모니터링(자기 관찰, 자기 판단, 자기 반응)이 SRL 이론의 다른 핵심 특징의 맥락에서 임상 실습에 미치는 영향에 대한 조사로 문헌을 이동시키는 데 도움이 될 것입니다.

우리는 [양질의 자기 모니터링]이 당장의 업무 준비나 성과를 개선할 뿐만 아니라 동기 부여와 목표 설정에도 영향을 미쳐 전문가 성장에 더 큰 영향을 미칠 수 있다는 가설을 세웠습니다. 요약하자면, 향후 연구에서는 학습 설계를 지원하기 위해 다양한 학습 이론 프레임워크를 더 잘 활용해야 합니다.
Calibration, often via coaching or feedback, seems to play an important role in the accuracy of self-monitoring and even performance improvement.20, 51, 60-62, 74, 76, 80 The observation of the synergism of coaching and feedback with self-monitoring aligns with SRL theory, which describes the interplay among goal setting, motivation, self-monitoring and cyclical feedback. These observations should influence the development of future studies and help to

move the literature away from pure measurement of the accuracy of self-judgement and
towards an examination of the methods that encourage self-monitoring and,
in particular, the impact of increased self-monitoring of all types (self-observation, self-judgement and self-reaction) on clinical practice in the context of the other core features of SRL theory.

We hypothesize that quality self-monitoring cannot only improve in-the-moment task preparation or performance but also influence motivation and goal setting to have more global impact on professional growth. In sum, future research should do a better job utilising various learning theory frameworks to support study design.

본 연구 결과와 논의는 몇 가지 중요한 제한점을 염두에 두고 해석해야 합니다. 가장 주목할 만한 점은 자가 모니터링에 관한 문헌에서 사용된 용어의 이질성으로 인해 검색이 매우 어려웠다는 점입니다. 그 결과, 비교적 광범위한 검색 후 수작업으로 문헌을 포함하거나 제외하는 데 의존했습니다. 그럼에도 불구하고 날짜 범위와 언어별로 검색을 제한했습니다. 검색을 영어로 된 문헌으로 제한하면 저자가 독립적으로 수동 검토를 수행할 수 있습니다. 문헌 검색의 시작일은 우리가 사용한 자가 모니터링의 정의 이전 10년 전으로 선택했습니다.3 수동 검토는 인적 오류의 가능성을 높입니다. 우리는 제외된 논문에 대한 2차 검토, 포함된 논문의 참고문헌 수작업 검색, 전문가 검토 활용을 통해 이 문제를 해결하려고 노력했습니다. 또한 광범위한 수작업 검토로 인해 검토 완료가 지연되어 출판 전에 검색을 업데이트해야 했습니다. 또한 자가 모니터링에 대한 연구의 품질은 매우 다양하고, 그 중 상당수가 불완전하거나 타당성 근거가 불충분한 도구에 의존하는 낮은 수준의 연구로 인해 GME에서 자가 모니터링의 모범 사례를 식별하는 데 한계가 있었습니다. 이러한 한계를 해결하기 위해 사용된 방법론에 관계없이 포함된 각 논문의 품질 지표를 포함한 투명성을 선택하고 향후 연구 기회에 초점을 맞추었습니다.
Our results and discussion should be interpreted with several important limitations in mind. Most notably, the heterogeneity of the terminology used in the literature on self-monitoring made searching very challenging. As a result, we relied on manual inclusion and exclusion of the literature after a relatively broad search. Nevertheless, we did limit our search by date range and language. Limiting the search to literature in the English language allows the authors to independently perform the manual review. We chose a start date of our literature search as 10 years prior to the definition of self-monitoring that we used.3 Manual review increases the probability of human error. We attempted to combat this with secondary reviews of excluded articles, hand searching of the references of our included articles and leveraging of expert review. The extensive manual review also delayed the completion of our review, requiring us to update our search before publication. Additionally, the quality of research on self-monitoring is highly variable, and much of it is of low quality, relying on instruments with incomplete or inadequate validity evidence, which limited our ability to identify best practices for self-monitoring in GME. To address this limitation, we chose transparency, including quality metrics for each included article, regardless of the methodology employed, and focused on the opportunities for future research.

5 결론
5 CONCLUSION

자가 모니터링은 복잡하지만 매력적인 현상으로, 특히 임상시험의 질과 임상 진료의 안전성을 개선하기 위한 연구 초점으로서 유망해 보입니다. 현재 문헌에는 명확한 정의와 용어가 부족하다는 점 등 여러 가지 과제가 산적해 있습니다. 이 범위 검토가 연구 질문과 연구 설계를 안내하는 용어, 정의 및 이론적 프레임워크에 대한 권장 사항을 제공함으로써 향후 GME의 자가 모니터링에 대한 연구의 토대가 되기를 바랍니다.
Self-monitoring is a complex yet appealing phenomenon that seems promising as a research focus to improve the quality of GME specifically and the safety of clinical practice more generally. The current literature is riddled with challenges, most notably a lack of clear definitions and terminology. We hope this scoping review will establish a foundation for future research on self-monitoring in GME by providing recommendations for terminology, definitions and theoretical frameworks to guide research questions and study designs.

Med Educ. 2023 Feb 5. doi: 10.1111/medu.15023. Online ahead of print.

A scoping review of self-monitoring in graduate medical education

William Rainey Johnson 1, Steven J Durning 2, Rhonda J Allard 3, Adam M Barelski 4, Anthony R Artino Jr 5

Affiliations

1Military and Emergency Medicine and Medicine, Uniformed Services University of Health Sciences, Bethesda, Maryland, USA.

2Center for Health Professions Education, Uniformed Services University of Health Sciences, Bethesda, Maryland, USA.

3James A. Zimble Learning Resource Center, Uniformed Services University of the Health Sciences, Bethesda, Maryland, USA.

4Department of Medicine, Uniformed Services University of Health Sciences, Bethesda, Maryland, USA.

5School of Medicine and Health Sciences, George Washington University, Washington, District of Columbia, USA.

PMID: 36739527

DOI: 10.1111/medu.15023

Abstract

Background: Physicians and physicians-in-training have repeatedly demonstrated poor accuracy of global self-assessments, which are assessments removed from the context of a specific task, regardless of any intervention. Self-monitoring, an in-the-moment self-awareness of one's performance, offers a promising alternative to global self-assessment. The purpose of this scoping review is to better understand the state of self-monitoring in graduate medical education.

Methods: We performed a scoping review following Arksey and O'Malley's six steps: identifying a research question, identifying relevant studies, selecting included studies, charting the data, collating and summarising the results and consulting experts. Our search queried Ovid Medline, Web of Science, PsychINFO, Eric and EMBASE databases from 1 January 1999 to 12 October 2022.

Results: The literature search yielded 5363 unique articles. The authors identified 77 articles for inclusion. The search process helped create a framework to identify self-monitoring based on time and context dependence. More than 20 different terms were used to describe self-monitoring, and only 13 studies (17%) provided a definition for the equivalent term. Most research focused on post-performance self-judgements of a procedural skill (n = 31, 42%). Regardless of task, studies focused on self-judgement (n = 66, 86%) and measured the accuracy or impact on performance of self-monitoring (n = 41, 71%). Most self-monitoring was conducted post-task (n = 65, 84%).

Conclusion: Self-monitoring is a time- and context-dependent phenomenon that seems promising as a research focus to improve clinical performance of trainees in graduate medical education and beyond. The landscape of current literature on self-monitoring is sparse and heterogeneous, suffering from a lack of theoretical underpinning, inconsistent terminology and insufficiently clear definitions.

저작자표시

'Articles (Medical Education) > 평가법 (Portfolio 등)' 카테고리의 다른 글

전공의 수련과정에서 직접관찰의 현상학: 밀러의 'does'레벨은 관찰가능한가? (Med Educ, 2022) (0)	2023.04.23
평가 실무의 개편에서 복잡성 탐색: 비판적 실재주의자 관점(Adv Health Sci Educ Theory Pract. 2021) (0)	2023.04.16
자기평가: 그 모든 한계에도 불구하고, 왜 우리는 여전히 측정하고 가르치는가? 스코핑 리뷰의 교훈 (Med Teach, 2022) (0)	2023.03.26
전공의 역량 검토: 수행능력 평가에 CCC의 역할에 대한 질적 연구(Acad Med, 2015) (0)	2023.03.04
임상실습에서 과락-실패를 유발하는 교수역할특성 (Med Educ, 2022) (0)	2022.11.01

Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.