의과대학부터 진료현장까지 의사의 부족함에 대한 재교육: 문헌의 주제 리뷰(Acad Med, 2009)

의과대학부터 진료현장까지 의사의 부족함에 대한 재교육: 문헌의 주제 리뷰(Acad Med, 2009)

Remediation of the Deficiencies of Physicians Across the Continuum From Medical School to Practice: A Thematic Review of the Literature

Karen E. Hauer, MD, Andrea Ciccone, MS, Thomas R. Henzel, EdD, Peter Katsufrakis, MD, MBA, Stephen H. Miller, MD, MPH, William A. Norcross, MD, Maxine A. Papadakis, MD, and David M. Irby, PhD

평가에서 실력을 입증하지 못하는 실습생 또는 의사가 확인되면 재교육이 시작됩니다. 재교육을 필요로하는 연수생의 확인은 학부 수준에서 가장 쉬울 수 있습니다. 이는 학생들에 대한 기대치는 상대적으로 동질적이며, 학교에서 자주 시험을 보기 때문입니다.

Remediation begins with the identification of trainees or physicians in practice who fail to demonstrate competence during assessments of their skills. Identification of trainees needing remediation may be easiest at the undergraduate level because the performance expectations of students are relatively homogeneous, and students are frequently tested within their schools.

대학원 의학 교육 (GME) 수준의 평가는 훈련이 전문 분야별로 차별화되고, 배우면서 동시에 환자에게 필요한 서비스를 제공하기 때문에 더욱 어려워집니다.

Assessment at the graduate medical education (GME) level becomes more challenging because training differentiates along specialty lines and because trainees are expected not only to learn but also to provide necessary service to patients.

모든 교육 수준에서 nonprocedural 분야의 전문가가 환자와 연수생을 직접 관찰하는 경우는 거의 없기 때문에 supervisor는 구두 발표 및 다른 의료공급자와의 상호 작용에서 학생 및 레지던트의 역량에 대해 추론할 수 밖에 없다.4 마찬가지로, physicians in practice는 부분적으로는 신뢰할 수 있고 타당하며 실현 가능한 평가 도구가 부족하기 때문에 거의 평가되지 않습니다 .5

At all levels of training, it is rare that supervisors in nonprocedural specialties directly observe trainees with patients, which leaves supervisors to draw inferences about the competence of students and residents fromtheir oral presentations and their interactions with other health care providers.4 Similarly, physicians in practice are rarely assessed in their work environments, in part because of the paucity of reliable, valid, and feasible assessment tools.5

부족 영역deficit이 감지되지 않거나 해결되지 않으면 의료행위와 환자의 안전이 위협받을 수 있습니다.

When deficits go undetected or unaddressed, physician performance and patient safety are jeopardized.

그러나 advancement 전에 역량 부족이 어떻게 다루어 져야하는지, 의학 교육은 다른 교육 분야에 비해서 재교육을 위한 강력한 전략을 개발하는 데는 뒤쳐져있다.

However, it remains unclear how a lack of competence should be addressed before advancement, and medical education lags behind other areas of education13 in developing robust strategies for remediation.

학습 과학은 의학 교육에서 재교육 프로그램을 구조화하기위한 지침을 제공합니다. 

• 예를 들어, 지식과 추론 문제에 관해서는, 학습자가 강력한 지식 구조와 표현 (예 : 스키마, 스크립트, 표본 및 프로토 타입)을 구축하도록 돕는 데 중점을 두어야합니다 .14-19 

• 지식과 학습 기술 학생은 deliberate (예 : 의식적이고 집중적 인) practice에 참여해야하며, 피드백을 받아야합니다. 

• 프로페셔널리즘 부족 문제를 해결하기 위해 학습자는 명시적인 교육, guided practice, 멘토링 된 성찰, 역할 모델의 관찰 및 상호 작용이 필요할 수 있습니다 .

The learning sciences offer guidance for structuring remediation programs in medical education. 

• For example, when dealing with knowledge and reasoning problems, the focus should be on helping learners to build strong knowledge structures and representations (e.g., schema, scripts, exemplars, and prototypes).14–19 

• For both gaining knowledge and learning skills (procedural and communication), students need to participate in deliberate (i.e., conscious and focused) practice and need to receive feedback.20 

• To remedy deficiencies in professionalism, learners may need explicit instruction, guided practice, mentored reflection, and observation of and interaction with role models.7,21–26

방법

Method

재교육을 세 가지 요소로 정의

• 첫째, 개인의 성과에 대한 결함은 평가 과정을 통해 확인됩니다.

• 둘째, 개인에게 재교육을 제공하려는 시도를 한다.

• 셋째, 치료 개입 후, 개인은 자신의 부족한 수행 영역에서 재평가됩니다.

We defined remediation as having three components that were based on criteria proposed by the Federation of State Medical Boards.27 

• First, deficiencies in the individual’s performance are identified through an assessment process. 

• Second, an attempt is made to provide remedial education to the individual. 

• Third, after the remedial intervention, the individual is reassessed in the area of his or her deficient performance.

Results

170개 문헌

Of 207 citations identified, 170 (63 UME, 43 GME, and 64 CME) were selected for further review

포함 기준

Eligibility criteria for studies

방법론적 퀄리티

Methodological quality

The methodological quality of the studies varied with the subjects’ training level. 

• Eight of nine studies evaluating trainees, both undergraduate and graduate, were coded as Level 2b in the Kirkpatrick hierarchy for “modification of participants’ knowledge/skills.”30–35,37,38 

• Three studies of practicing physicians were coded as Level 3 (behavior change [documentation of the transfer of learning to the workplace]). Physicians’ practice behaviors were evaluated after the remediation intervention by using expert judgments.39,41,42 

• One study of practicing physicians40 was coded as Level 1 (participation [a description of the participants’ views of the experience]) because the main outcome measure was a behavior change as self-assessed by the physicians involved in the intervention, on the basis of their own learning goals.

재교육 영역 

Remediated skill areas

• Six of the nine studies that addressed UME or GME described the remediation of knowledge deficits identified through written examinations.30,34,35,37,38,43 Four of these nine studies32,33,35,36 focused on remediation of clinical skills, and one of those four also addressed knowledge deficiencies.35 

• The four articles on postlicensure physicians described remediation of generalist office or subspecialty practice, which encompassed multiple skills assessed through chart reviews, chart-stimulated recall, interviews, and peer assessments.39–42

재교육 성과

Outcomes of remediation

The seven studies on remediation of the deficits of medical students used written examinations of knowledge,30,31 standardized patient assessments,32,33,35,36 or a combination of the two34 to diagnose learners in need of remediation. All but one of these studies36 used the same assessments as outcome measures after remediation, and those six studies demonstrated improvements in scores. These studies were classified as Level 2b (modification of knowledge/skills), which did not include any assessment of behavior change.

고찰

Discussion

이 문헌을 검토 한 결과, 재교육 효과를 평가 한 연구가 놀랍게도 거의 없었다. 우리가 확인한 연구는 주로 소규모 단일 기관 노력이었습니다. 이를 통해 대규모의 결과 기반 재교육을 수행하고, 그러한 중재의 결과를 게시해야 할 필요성이 강조됩니다.

This review of the literature yielded surprisingly few studies that described remediation interventions coupled with assessments of remediation efficacy. The studies that we did identify were predominantly small, single-institution efforts. This highlights the need to perform more large-scale, outcome-based remediation interventions and to publish the results of those interventions.

우리는 UME에서 치료 노력을 평가하는 여러 연구를 기대할 수있을 것으로 기대했다. 그러나 오직 3 개의 연구 만 의대생의 임상 기술 개선 결과를 설명했다 .32,33,35 의대생은 고용주 - 근로자 계약 문제가없고보다 레지던트나 physician in practice보다 직접적인 임상 감독을 받는다. 발달적 교육developmental education은 대학 수준에서 일하는 사람들이 사용하는 개념적 틀로서, 이 때 재교육이란 교육과정, 교수진의 조언 및 멘토링, 그리고 의학 교육의 다른 측면을 통해, 학업적으로나 개인적으로 성숙하는 데 도움을 주는 포괄적인 노력을 말한다.13 접근 방식은 의대생에게보다 타당 할 것이다.

we anticipated finding multiple studies evaluating remediation efforts in UME.However, only three studies described outcomes of remediation of medical students’ clinical skills.32,33,35 Medical students are free of employer–employee contractual issues, and they receive more direct clinical supervision than do residents or physicians in practice. Developmental education is a conceptual framework used by those working at the college level, in which remediation incorporates comprehensive efforts to help individual students mature both academically and personally through course work, advice and mentoring from faculty, and other aspects of their medical training.13 This type of approach would be more feasible for a medical student

GME에서 재요규 개입의 부족에 대한 몇 가지 이유가있을 수 있습니다. 치료는 많은 자원을 필요로하며, 임상 서비스를 제공하기 위해서는 레지던트 필요합니다. 재교육 참여시키기 위해서 임상 업무에서 빼오는 것은 어려울 수 있습니다. 재교육 시험되지 않은 방법과 일화적 결과를 사용하여 개별적으로 수행되었다. in-training examination에 대한 의존도는 이러한 지식 기반 시험의 가용성을 반영합니다.

There may be several reasons for the lack of published remediation interventions in GME. Remediation requires a large investment of resources, and residents are needed to staff clinical services; removing them from clinical duties for participation in remediation can be challenging. Remediation is likely to be conducted on an individual basis by using untested methods and anecdotal outcomes.44 The reliance on in-training examinations also reflects the availability of these knowledge-based examinations.

실제 임상 진료에 기초한 평가에 기초한 평가에서 초점으로의 전환은 지식과 기술 습득에서부터 임상 진료에 이르기까지 의사의 전문성 개발의 발달를 반영합니다. High-quality 환자 치료는 본질적으로 평가하기 어렵습니다. 왜냐하면 진료를 하는 동안, 지식을 임상 기술과 의사 소통 기술 모두에 통합해야하기 때문입니다.

This shift in focus from assessments based on examinations to assessments based on actual clinical practice reflects the progression of a physician’s professional development from the acquisition of knowledge and skills to clinical practice. High-quality patient care is inherently difficult to assess because it requires integration of knowledge with both clinical and communication skills during service to patients.

재교육 모델 권고

Proposed model for remediation

강력한 개선 프로그램의이 네 가지 핵심 구성 요소는

• (1) 결함을 확인하기 위해 여러 평가 도구를 사용한 초기 평가 (또는 심사)

• (2) 문제 진단 및 개별화 된 학습 계획 개발,

• (3) 고의적 인 실행, 피드백 및 반영을 포함하는 교육 제공

• (4) 역량의 재평가와 인증 (그림 1).

These four core components of a powerful remediation program would be 

• (1) initial assessment (or screening) using multiple assessment tools to identify deficiencies, 

• (2) diagnosis of problems and development of an individualized learning plan, 

• (3) provision of instruction that includes deliberate practice, feedback, and reflection, and 

• (4) reassessment and certification of competence (Figure 1).

재교육의 첫 번째 구성 요소에는 재교육이 필요한 개인의 식별과 성과 deficit의 진단이다. 개선은 결함이있는 연수생과 의사를 식별하기위한 여러 가지 신뢰할 수있는 유효한 평가 도구를 필요로합니다 .47) 결함은 많은 역량 분야 (예 : 지식, 임상 및 의사 소통 기술 또는 전문성)에 존재할 수 있으므로 여러 가지 평가가 필요합니다. 그들은 단 하나의 도구보다 결함을 식별 할 가능성이 더 높습니다.

The first component of remediation includes the identification of those individuals who need remediation and the diagnosis of the performance deficits. Remediation requires multiple, reliable, and valid assessment tools for identification of trainees and physicians with deficiencies.47 Because deficiencies may exist in many domains of competence (e.g., knowledge, clinical and communication skills, or professionalism), multiple assessments are required; they are more likely to identify deficiencies than is a single tool.13

실제로 수행 능력이 저조한 의사를 식별하기위한 2 단계 접근법, 즉 동료 평가와 지식 및 임상 기술 테스트를 결합하여 영국에서 제안되었습니다 .48

A two-step approach to the identification of poorly performing physicians in practice, combining peer assessment with tests of knowledge and clinical skills, has been proposed in the United Kingdom.48

재조정 프로그램의 두 번째 구성 요소에는 두 부분으로 되어있다.

(1) 수행능력 부족을 일으킨 근본적인 문제 진단

(2) 학습자의 특성과 확인 된 요구에 기초한 개별 학습 계획 개발. 이러한 계획의 개발에는 수용 가능한 성과에 대한 명확한 기대치의 표현이 들어가 있어야 한다.

The second component of a remediation program has two parts: 

(1) diagnosis of the underlying problemthat led to the performance deficits and 

(2) development of an individualized learning plan based on learner characteristics and identified needs. The development of such a plan involves, an articulation of clear expectations for acceptable performance.

다음으로, 학습자는, 이 외부 표준에 비추어 자신의 성과를 정확하게 평가기 위해서 지도guidance가 필요하며, 자기 반성과 개선 계획을 세우는데 코칭을 필요로합니다. 학습자는 항상 정확한 자기 평가자가 아니기 때문에 전문가의지도가 필수적입니다. 개인의 강점과 약점을 잘 알고있는 멘토는 개별화 된 학습 계획 수립에 도움이됩니다. 이 재교육이 필수인지 아니면 자발적인지, 그리고 재교육 시행 또는 미시행의 결과가 무엇인지에 대해 명확해야합니다.

Next, learners need guidance in assessing their own performance accurately in light of this external standard, as well as coaching in self-reflection and in planning for improvement. Because learners are not always accurate self-assessors, guidance froman expert is essential. A mentor who is familiar with the individual’s strengths and weaknesses is helpful for establishing an individualized learning plan. There should be clarity about whether this remediation is required or voluntary and about what the consequences of remediation or nonremediation will be.

재교육 프로그램의 세 번째 요소는 계획된 학습 활동의 제공입니다. 

임상 기술의 결함이있는 의대생은 인지 적 및 비인지적 결함이 공존할 수 있다 .49 그러므로 

• 지식 습득

• 사전 지식 활성화 및 연결, 

• 권장되는 스탠다드의 이론적 근거에 대한 이해, 

• 지식 적용 및 사용과 관련된 인지 전략 연습

...이 필요할 수 있습니다. 

The third component of the remediation program is the provision of the prescribed learning activities. Medical students with deficiencies in clinical skills may harbor coexisting cognitive and noncognitive deficits.49 Thus, cognitive strategies associated with 

• gaining knowledge, 

• activation of and connection to prior knowledge, 

• an understanding of the rationale for recommended standards, and 

• the application and use of knowledge in practice may be needed.

프로페셔널리즘의 문제는 

• 문제 행동을 식별하고 

• 그러한 행동의 기능 장애 본성에 대한 이론적 근거를 제시하며 

• 예의, 존중 및 신뢰감과 같은 새로운 행동을 연습

...행동 접근법을 통해보다 효과적으로 해결 될 수 있습니다.

Problems with professionalism may be better addressed through a behavioral approach that involves 

• identifying the problematic behaviors, 

• offering rationales for the dysfunctional nature of those behaviors, and 

• practicing new behaviors, such as courtesy, respect, and reliability.

처방 된 치료 활동은 참가자들에게 Deliberate 연습과 피드백에 대한 기회를 제공해야합니다. 성공의 열쇠는 구체적이고 시기 적절한 피드백을 제공 할 수있는 숙련 된 감독자의 지도하에 이루어지는 deliberate, conscious practice입니다. 절차 기술 훈련에서 시뮬레이터의 유용성은 임상 시뮬레이터의 고도화가 이러한 유형의 연습을위한 기회를 제공 할 수 있음을 시사한다.

The prescribed remediation activities should offer participants opportunities for deliberate practice followed by feedback. The key to success is deliberate, conscious practice under the guidance of experienced supervisors who can offer specific and timely feedback. The usefulness of simulators in procedural skills training50 suggests that the increasing sophistication of clinical simulators may offer opportunities for this type of practice.

인지적 접근법은 다음을 guide할 것이다. 

• 환자 프리젠테이션에 의해 제기 된 개념에 대해 생각하고 

• 그 환자 프리젠테이션이 해당 사례의 다른 측면과 어떻게 연결되는지, 그리고 다른 유사한 임상 문제에 대한 사전 지식과 어떻게 연결되는지 조사하고,

• 그 지식이 미래의 사례에 어떻게 적용될 수 있는지를 식별 

a cognitive approach would guide participants in 

• thinking about the concepts raised by patient presentations, 

• examining how they relate to other facets of the case and to prior knowledge of similar clinical problems, and 

• discerning how that knowledge can be applied to future cases. 

이러한 유형의인지 전략은 잘못된 감별 진단으로 인해 병력 검사에서 중요한 질문을하지 못하거나 신체 검사의 중요한 요소를 수행하지 못하는 것과 같은, 임상적 추론에서 비롯된 임상 기술 문제에 적합합니다.

This type of cognitive strategy might also be suited to problems with clinical skills that stem from faulty clinical reasoning, such as a failure to ask the right questions in taking the history or a failure to perform important elements of the physical examination because of an incorrect differential diagnosis.

대조적으로, 관찰 및 측정 할 수있는 관찰 가능한 행동을 강조하는 행동 접근법은 기술 문제로 인해 발생하는 dyscompetence를 효과적으로 해결할 수 있습니다. 예를 들어, 신체 검사의 부정확 한 수행은 표준화 된 환자와의 연습을 통해 교정 될 수 있으며, 그 후에 전문가 관찰자는 피드백과 코칭을 제공하고 수행과 관련된 행동을 평가합니다. 이 접근법과 함께 인지적 노력을 기울인다면, 학습자가 자신의 성과를 검토하고, 바람직한 표준과 비교하여 어떠한지 평가할 수 있는 성찰 능력을 개발이 강화 될 것입니다. Reflection-in-action(메타인지라고도 함)은 자신의 행동이 발생했을 때의 영향을 분석하고 그 분석을 토대로 행동을 수정하는 행위입니다.

In contrast, a behavioral approach, which emphasizes observable behaviors that can be taught and measured, might better address dyscompetence arising from problems with technique. For instance, incorrect performance of the physical examination can be remediated through practice with standardized patients, after which expert observers provide feedback and coaching and evaluate the behaviors associated with performance. This approach would be bolstered by simultaneous cognitive efforts to help learners develop reflective abilities that will allow themto review their own performance and evaluate how it compares with the desired standard. Reflection-in-action (also called meta- cognition) is the act of analyzing the impact of one’s actions as they are occurring and modifying one’s behavior on the basis of that analysis.51

개선의 네 번째이자 마지막 요소는 수용 가능한 수준의 성과가 달성되도록 보장하여 역량을 인증 할 수 있도록 참가자를 retesting하는 것입니다. 재시험에는 deficit이나 문제 영역을 식별하기 위해 원래 사용 된 것과 동일한 검사 방식이 포함될 수도 있고, 선택된 문제 영역만을 다루는 더욱 customize된 평가 방법을 사용 할 수도 있습니다.

The fourth and final component of remediation is the retesting of participants to ensure that acceptable levels of performance have been achieved, so that competence can be certified. Retesting may involve the same examination modalities as were originally used to identify deficiencies or areas of dyscompetence, or it may involve more- customized assessment methods addressing selected areas of difficulty.

• 재교육 강화를 위한 노력은 UME 수준에서 일어날 가능성이 가장 높습니다. UME에서는 학습자를 집중적으로 감독하며, 평가가 교육 환경의 일상적인 부분이기 때문이다. 

• GME 수준에서의 재교육은 기존 평가 시스템을 활용하여 결함을 식별하고 재교육의 영향을 측정해야한다. 현존하는 측정 시스템에 의해 효과적으로 목표되지 않은 역량을 평가하고 개선하는 데 developmental efforts의 중점을 두어야한다. 

• 의사의 독립성을 중요시하는 문화, 의사를 실제로 관찰하는데 따르는 로지스틱 문제, 그리고 UME 및 GME 환경에있는 평가 시스템과 비교할만한 평가 시스템이 없는 것 등은 CME 수준에서 재교육 구현의 어려움이다.

• Efforts at enhancing remediation are most likely to occur at the UME level, where there is centralized oversight of the learners and where assessment is a routine part of the educational environment. 

• Remediation at the GME level should take advantage of existing assessment systems to identify deficiencies and measure the impact of remediation; developmental efforts should focus on assessing and remediating competencies not effectively targeted by existing measurement systems. 

• Implementing remediation at the CME level is more daunting because of the culture of physician independence, the logistical challenges of observing physicians in practice, and the absence of assessment systems comparable with those present in UME and GME settings.

일반적으로 학습자는 재교육을 받아야 한다는 것이 밝혀지는 것을 꺼린다. 한편 각 기관들은 재교육에 대한 전문 지식이 부족하거나, 재교육 서비스를 제공 할 의사가 없거나, 재교육을 제공 할 수 없기 때문에 재교육을 필요로하는 의사의 식별 자체를 주저할 수 있다.

Learners are generally reluctant to be identified as needing remediation, and institutions may manifest similar reluctance to identify practitioners as needing remediation because the institutions lack expertise in remediation or are unwilling or unable to provide remedial services.5

훈련이 필요하거나 재교육이 치료가 필요하다고 확인된 의사는 당황하거나 낙인 찍힐 수 있습니다. 학생들은 치료 과정에서 익명 성 및 안전성을 제공하는 환경인 것이 더 바람직하다. 그러나 stigma-free 접근 방식이 반드시 이상적인 것은 아닐 수도 있고, 불가능할 수 있습니다. 자신의 동료와 비교하여 자신이 어떤 수행 상태인지에 대해 혼동할 수 있으며, 자신의 결함의 심각성을 깨닫지 못할 수 있습니다.

A trainee or physician with recognized dyscompetence who is in need of remediation may be embarrassed or may feel stigmatized. Students will benefit froman environment that affords some anonymity and safety during the remediation process. However, a stigma- free approach may not be optimal or possible. It can lead to confusion among learners about the status of their performance relative to that of their peers, and it can minimize an understanding of the severity of one’s deficiencies.32,53

재교육에거 가장 중요한 것은 높은 비용이다. 대학 수준에서 교정의 비용은 기관 및 정책 결정자에게 영향을 미친다. 재교육의 효율성을 높이기위한 한 가지 방법은 기관 간 협업 프로그램의 구현이며, 특히 집중적 인 치료가 필요한 학습자의 수는 적을 수있는 의학 교육 환경에서 그러하다.

The critical importance of remediation must be weighted against the high cost of remediation interventions. At the college level, the expense of remediation challenges institutions and policy makers.54 One approach to increasing the efficiency of remediation, particularly in the medical education setting in which the numbers of learners needing intensive remediation may be small, is the implementation of collaborative programs across institutions.

Conclusion

모든 수준에서의 의학 교육에서 개선의 "우수 사례"를 안내하는 증거는 놀랄만큼 적다. 우리의 연구 결과는 미래의 성과에 대한 영향을 결정하기 위해 장기간 추적 관찰을 수반 한 무능하고 덜 유능한 연수생 및 의사의 결핍을 치료하기위한 전략에 대한 다단계 결과 기반 연구의 절실한 필요성을 강조합니다.

There is surprisingly little evidence to guide “best practices” of remediation in medical education at all levels. Our findings highlight the dire need for multiinstitutional, outcomes-based research on strategies for remediation of the deficiencies of incompetent and less- than-competent trainees and physicians, accompanied by long-termfollow-up, to determine the impact on future performance.

---

Acad Med. 2009 Dec;84(12):1822-32. doi: 10.1097/ACM.0b013e3181bf3170.

Remediation of the deficiencies of physicians across the continuum from medical school to practice: a thematic review of the literature.

Hauer KE1, Ciccone A, Henzel TR, Katsufrakis P, Miller SH, Norcross WA, Papadakis MA, Irby DM.

Author information

1

Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California 94143-0131, USA. karen.hauer@ucsf.edu

Abstract

Despite widespread endorsement of competency-based assessment of medical trainees and practicing physicians, methods for identifying those who are not competent and strategies for remediation of their deficits are not standardized. This literature review describes the published studies of deficit remediation at the undergraduate, graduate, and continuing medical education levels. Thirteen studies primarily describe small, single-institution efforts to remediate deficient knowledge or clinical skills of trainees or below-standard-practice performance of practicing physicians. Working from these studies and research from the learning sciences, the authors propose a model that includes multiple assessment tools for identifying deficiencies, individualized instruction, deliberate practice followed by feedback and reflection, and reassessment. The findings of the study reveal a paucity of evidence to guide best practices of remediation in medical education at all levels. There is an urgent need for multiinstitutional, outcomes-based research on strategies for remediation of less than fully competent trainees and physicians with the use of long-term follow-up to determine the impact on future performance.

PMID:

 

19940595

 

DOI:

 

10.1097/ACM.0b013e3181bf3170