의과대학에서 의사에 이르기까지 부족한 영역의 재교육: 문헌의 주제 검토(Acad Med, 2009)

의과대학에서 의사에 이르기까지 부족한 영역의 재교육: 문헌의 주제 검토(Acad Med, 2009)
Remediation of the Deficiencies of Physicians Across the Continuum From Medical School to Practice: A Thematic Review of the Literature
Karen E. Hauer, MD, Andrea Ciccone, MS, Thomas R. Henzel, EdD, Peter Katsufrakis, MD, MBA, Stephen H. Miller, MD, MPH, William A. Norcross, MD, Maxine A. Papadakis, MD, and David M. Irby, PhD

 

 

의료 교육자와 인증 기관은 교육 과정에서 가르치는 것에서 의대생, 레지던트 또는 개업 의사가 수행할 수 있는 것으로 중점을 전환했습니다. 대부분의 훈련생과 실무의는 임상 및 의사소통 기술에서 역량을 입증할 수 있지만, 소수만이 예상 표준을 충족하지 못해 교정조치가 필요하다. 훈련 중인 의사와 개업의가 역량을 평가받으리라는 기대에 대한 광범위한 지지에도 불구하고, [무능]하거나 [완전히 유능하지 않은] 훈련생과 의사를 정확하고 신뢰성 있게 식별하고 그들의 결함을 효과적으로 교정하는 것은 여전히 어려운 일이다. 완전히 유능하지는 않은 의사나 훈련생은 하나 이상의 전문 진료 분야에서 허용 가능한 기준을 유지하는 데 실패하는 반면, 무능한 의사는 전문 의사 진료 범위 내에서 효과적으로 수행하는 데 필요한 능력과 자질이 부족하다.1
Medical educators and accrediting organizations have shifted their emphasis from what is taught in the curriculum to what a medical student, resident, or practicing physician can perform. Whereas most trainees and practicing physicians can demonstrate competence in clinical and communication skills, a minority fail to meet the expected standard and require remediation. Despite widespread endorsement of the expectation that physicians-in-training and practicing physicians be assessed for their competence, it remains challenging to identify accurately and reliably those trainees and physicians who are incompetent or less than fully competent and to remediate their deficiencies effectively. Less than fully competent physicians or trainees fail to maintain acceptable standards in one or more areas of professional physician practice, whereas incompetent physicians lack the abilities (cognitive, noncognitive, and communicative) and qualities needed to perform effectively within the scope of professional physician practice.1

교정조치는 자신의 기술을 평가하는 동안 역량을 입증하지 못한 연습생 또는 의사를 실제로 [식별하는 것]으로 시작한다.

• 교정이 필요한 교육생의 식별은 [학부 단계]에서 가장 쉬울 수 있는데, 이는 학생들의 수행 기대치가 비교적 동질적이고 학생들이 학교 내에서 자주 시험을 치르기 때문이다. 미국 의료면허시험(USMLE) Step 2 Clinical Skills (CS) 시험의 등장으로 의과대학에서 학생들의 교육과정에서의 기술 성취도를 평가하고 대학원에서의 면허 시험에 대비하기 위한 임상 기술 평가가 증가하게 되었다.2
• [졸업후교육(GME) 수준]은 훈련이 전문 분야에 따라 분화되고, 훈련생들이 배우는 것뿐만 아니라 환자에게 필요한 서비스를 제공해야 하기 때문에 더욱 어려워지고 있다. GME의 평가를 위한 역량 프레임워크의 광범위한 채택이 있었지만, 이 구조는 여전히 문헌에 의해 뒷받침되지 않고 있으며, 역량 평가를 위한 유효하고 신뢰할 수 있는 방법은 아직 존재하지 않는다.3 모든 수준의 교육에서 비시술 전문 분야의 감독관이 환자와 함께 교육생을 직접 관찰하는 경우는 드물며, 따라서 감독관은 구술 발표에서 학생과 레지던트의 역량과 다른 의료 기관과의 상호작용에 대한 추론을 도출할 수 있다.4
• 마찬가지로, [실무에 종사하는 의사들]은 부분적으로 신뢰할 수 있고 유효하며 실현 가능한 평가 도구의 부족으로 인해 작업 환경에서 거의 평가되지 않는다.5 그럼에도 불구하고 대중은 의사가 정기적으로 모니터링되고 필요할 때 교정 개입을 받을 것으로 가정하고 바란다.6

Remediation begins with the identification of trainees or physicians in practice who fail to demonstrate competence during assessments of their skills.

• Identification of trainees needing remediation may be easiest at the undergraduate level because the performance expectations of students are relatively homogeneous, and students are frequently tested within their schools. The advent of the United States Medical Licensing Examination (USMLE) Step 2 Clinical Skills (CS) exam has prompted an increase in the assessment of clinical skills in medical schools, both to evaluate students' achievement of skills emphasized in their schools' curriculum and to prepare students for the licensing exam.2 
• Assessment at the graduate medical education (GME) level becomes more challenging because training differentiates along specialty lines and because trainees are expected not only to learn but also to provide necessary service to patients. There has been broad adoption of the competency framework for assessment in GME, but this construct still remains unsupported by the literature, and valid and reliable methods of assessing competencies do not yet exist.3 At all levels of training, it is rare that supervisors in nonprocedural specialties directly observe trainees with patients, which leaves supervisors to draw inferences about the competence of students and residents from their oral presentations and their interactions with other health care providers.4 
• Similarly, physicians in practice are rarely assessed in their work environments, in part because of the paucity of reliable, valid, and feasible assessment tools.5 Nonetheless, the public assumes and desires that physicians are monitored regularly and will receive remedial intervention when needed.6

결손이 발견되지 않거나 해결되지 않으면 의사 수행과 환자의 안전이 위태로워집니다. 예를 들어 지식 및 전문성 영역의 성과 문제는 주 의료 위원회의 후속 징계와 관련이 있다. 의과대학은 USMLE Step 2 CS 시험에서 핵심 임상 및 커뮤니케이션 기술을 효과적으로 수행할 수 있도록 그들의 자원을 투자하고 있으며, 레지던트 프로그램은 ACGME 성과 프로젝트에 의해 정의된 6가지 역량 영역에서 역량을 가르치고 평가하는 혁신적인 방법을 개발하고 있다. 여기에는 전문직업성과 같은 이전에 관심을 덜 받았던 분야도 포함된다. 그러나 역량의 부족을 어떻게 해결해야 하는지는 여전히 불분명하며, 의학교육은 교정조치에 대한 강력한 전략을 개발하는 데 있어 다른 교육 영역에 비해 뒤처진다.
When deficits go undetected or unaddressed, physician performance and patient safety are jeopardized. For instance, performance problems in the domains of knowledge and professionalism have been linked to subsequent disciplinary action by state medical boards.7,8 Medical schools are investing their resources to prepare their students to effectively perform core clinical and communication skills in the USMLE Step 2 CS Exam,9,10 and residency programs are developing innovative methods of teaching and assessing competence in the six competency domains defined by the Outcome Project of the Accreditation Council for Graduate Medical Education,11 including those domains, such as professionalism, that previously received less attention.12 However, it remains unclear how a lack of competence should be addressed before advancement, and medical education lags behind other areas of education13 in developing robust strategies for remediation.

[학습 과학]은 의료 교육에서 교정 프로그램을 구조화하기 위한 지침을 제공한다. 예를 들어

• 지식과 추론 문제를 다룰 때 학습자가 강력한 지식 구조와 표현(예: 스키마, 대본, 예시 및 프로토타입)을 구축할 수 있도록 돕는 데 중점을 두어야 한다.
• 지식과 학습 기술(절차 및 커뮤니케이션)을 습득하기 위해 학생들은 의도적 연습(즉, 의식적이고 집중적인)에 참여해야 하며 피드백을 받아야 합니다.20 이러한 개입은 학습자가 깊이 생각하고, 건전하게 추론하고, 의도적이고 반복적으로 연습하는 데 도움이 됩니다.
• 전문직업성의 결여를 해결하기 위해 학습자는 명시적인 지도, 지도된 실습, 멘토링된 성찰, 역할 모델에 대한 관찰 및 상호작용이 필요할 수 있습니다.

The learning sciences offer guidance for structuring remediation programs in medical education. For example,

• when dealing with knowledge and reasoning problems, the focus should be on helping learners to build strong knowledge structures and representations (e.g., schema, scripts, exemplars, and prototypes).14–19 
• For both gaining knowledge and learning skills (procedural and communication), students need to participate in deliberate (i.e., conscious and focused) practice and need to receive feedback.20 These interventions assist learners in thinking deeply, reasoning soundly, and practicing deliberately and repetitively.
• To remedy deficiencies in professionalism, learners may need explicit instruction, guided practice, mentored reflection, and observation of and interaction with role models.7,21–26

이 연구의 목적은 학부, 대학원 및 지속 교육의 교정 개입에 대한 문헌을 검토하고 이 문헌이 학습 과학의 연구와 일치하는지 여부를 결정하는 것이었다. 특히, 교정조치에 사용된 개입을 식별하고, 교정조치가 대상이었던 영역을 조사하며, 교정 노력의 결과를 결정하기 위해 노력했다. 우리의 목표는 문헌과 학습 과학을 기반으로 이상적인 교정 모델을 개발하는 것이었다.
Our purposes in this study were to review the literature on remediation interventions in undergraduate, graduate, and continuing education and to determine whether this literature is congruent with research from the learning sciences. Specifically, we sought to identify interventions that have been used for remediation, to examine the areas that were targeted for remediation, and to determine the outcomes of remediation efforts. Our goal was to develop an ideal model of remediation based on the literature and on the learning sciences.

방법
Method

교정조치는 주정부의료위원회연합이 제안한 기준에 기초한 세 가지 구성요소를 갖는 것으로 정의했다.27

• 첫째, 개인 수행의 결함은 평가 프로세스를 통해 식별된다.
• 둘째, 개인에게 교정 교육을 제공하려는 시도가 있다.
• 셋째, 교정 개입 후, 개인은 그 또는 그녀의 부족한 수행 영역에서 재평가된다.

We defined remediation as having three components that were based on criteria proposed by the Federation of State Medical Boards.27 

• First, deficiencies in the individual's performance are identified through an assessment process.
• Second, an attempt is made to provide remedial education to the individual.
• Third, after the remedial intervention, the individual is reassessed in the area of his or her deficient performance.

문헌 탐색은 학부 의료 교육(UME), GME 및 면허 후 의사의 지속적인 의료 교육(CME)에서 발생한 교정 연구에 초점을 맞췄다. 2008년 4월까지 MEDLINE 데이터베이스에서 교정(치료 또는 교정 교육), 실무자 수준(의대생, 임상 사무원, 인턴십 및 레지던트, 의사) 및 기타 관련 용어(임상 역량, 프로그램 평가 또는 프로그램 개발, 교육 측정)와 관련된 용어를 사용하여 인용을 검색했다.멘트, 커리큘럼, 모델 및 멘토). 우리는 새로 출판된 연구를 식별하기 위해 2008년 10월까지 검색을 확장했다. 또한 검색된 관련 기사의 참고 문헌을 수작업으로 검색하여 해당 분야에 대한 개인적 지식을 바탕으로 기사를 확인하였습니다. 우리는 영어 연구를 포함하고 의견 기사, 검토 기사, 교정 그룹이 없는 커리큘럼에 대한 설명 및 교정 조사에 대해 제외했다.

The literature search focused on studies of remediation that took place in undergraduate medical education (UME), GME, and continuing medical education (CME) of postlicensure physicians. We searched the MEDLINE database through April 2008 for citations by using terms related to remediation (remediation or remedial teaching), level of practitioner (medical students, clinical clerks, internship and residency, and physicians), and other related terms (clinical competence; program evaluation or program development; educational measurement, curriculum, or model; and mentors). We extended the search through October 2008 to identify any newly published studies. In addition, we manually searched the bibliographies of relevant retrieved articles and identified articles from our personal knowledge of the field. We included English-language studies and excluded opinion articles, review articles, descriptions of curricula without a remediation group, and surveys on remediation.

우리는 Best Evidence Medical Education Collaboration Protocol을 기반으로 표준화된 데이터 추출 양식을 개발했다.28 각 기사에서 학습자/물리학자 수준 및 수, 연구 위치, 평가 설명, 기술 영역, 교정 기준(표준 설정), 교정 활동, 재시험 및 교정 결과 정보를 추출했다. 개입의 강도를 평가하기 위해 4단계 Kirkpatrick 계층을 사용하여 행동 영향 수준을 평가했습니다.29 우리는 다음과 같이 영향 수준을 정의했습니다. 

• 레벨 0 = 기술 연구만(영향 평가 없음), 
  
• 레벨 1 = 참여(참가자의 경험에 대한 관점 설명) 
  
• 레벨 2a = 참가자의 태도/인식의 수정 
  
• 레벨 2b = 참가자의 지식/스킬의 수정; 
  
• 레벨 3 = 행동 변화(직장으로의 학습 전이에 대한 문서화) 
  
• 레벨 4a = 교육 프로그램에 따른 돌봄 제공의 조직적 변화 확대 
  
• 레벨 4b = 환자/수련생에 대한 혜택(교육 프로그램의 직접적인 결과로 환자/수련생의 건강/복지 개선) 

우리는 이 검토가 체계적인 검토가 아니었고 역량 평가에 사용된 측정치가 매우 가변적이었기 때문에 메타 분석을 수행하지 않았다.

We developed a standardized data-extraction form based on the Best Evidence Medical Education Collaboration protocol.28 We extracted the following information from each article: level and number of learners/physicians, study location, description of assessment, skill area, criteria for remediation (standard setting), remediation activities, retesting, and outcomes of remediation. We assessed the level of behavioral impact by using the four-level Kirkpatrick hierarchy to assess the strength of the intervention.29 We defined the levels of impact as follows:

• Level 0 = descriptive study only (no assessment of impact);
• Level 1 = participation (a description of the participants' views of the experience);
• Level 2a = modification of participants' attitudes/perceptions;
• Level 2b = modification of participants' knowledge/skills;
• Level 3 = behavior change (documentation of the transfer of learning to the workplace);
• Level 4a = wider changes in the organizational delivery of care attributable to the educational program; and
• Level 4b = benefits to patients/trainees (any improvement in the health/well-being of patients/trainees as a direct result of an educational program).

We did not perform a meta-analysis because this review was not a systematic review and because the measurements used to assess competence were highly variable.

우리 중 한 명(K.E.H.)이 보건학 사서의 도움을 받아 문헌 검색을 수행했고, 다른 모든 저자들은 제목과 초록에 대한 검토를 바탕으로 보존 및 제외된 논문의 적절성을 검토하고 확인했다. 다음으로 UME팀(K.E.H., M.A.P., D.M.I.)과 GME팀(T.R.H., W.A.N., AC., P.K.T.)의 세 팀으로 구성되었다. 각 팀의 기사 요약본에 대해 다른 팀의 조사관 1명이 각 기사를 검토하여 정확성을 검증했습니다. 마지막으로 우리 세 명(K.E.H., M.A.P., D.M.I.)은 각각의 추상화된 기사와 추상화된 정보를 검토하여 정확성을 확인하고 추상화된 정보를 표준화했습니다. 우리는 검색 기준, 데이터 추출 및 연구 결과의 분류에 대한 불일치를 해결하기 위해 합의를 이용했다. 
One of us (K.E.H.) performed the literature search with the assistance of a health sciences librarian, and all other authors reviewed and confirmed the appropriateness of the retained and excluded articles on the basis of their review of titles and abstracts. Next, we worked in three teams—the UME team (K.E.H., M.A.P., and D.M.I.), the GME team (T.R.H., W.A.N., A.C., and P.K.), and the CME team (T.R.H. and W.A.N.)—to abstract each article. For each team's article abstracts, one investigator from another team reviewed each article to validate the accuracy. Finally, three of us (K.E.H., M.A.P., and D.M.I.) reviewed each abstracted article and the abstracted information to confirm accuracy and to standardize the abstracted information. We used consensus to resolve disagreements about search criteria, data extraction, and classification of study results.

 

결과.
Results

확인된 207개의 인용문 중 170개(63 UME, 43 GME, 64 CME)가 제목, 추상 및 관련 있는 경우 전문에 기초하여 추가 검토를 위해 선택되었다. 선정된 문서에는 방법(즉, 성능결손 확인, 교정조치 개입 및 개입 후 성과 재평가)에 열거된 교정조치의 세 가지 구성요소가 모두 포함되었다. 13개의 연구가 적격 기준을 충족했다. 그 결과는 여기와 부록 1에 설명되어 있다. 처음에 검토되었으나 제외된 기사는 성과-문제 식별만 또는 성과 재평가 없이 문제 식별과 교정조치에 대한 설명, 프로그램 책임자 또는 기타 교육자를 대상으로 성능 문제 또는 교정조치에 대한 설문 조사, 의견 조각 등 여러 가지 유형이었다.
Of 207 citations identified, 170 (63 UME, 43 GME, and 64 CME) were selected for further review on the basis of the title, abstract, and, when relevant, the full article. Selected articles contained all three components of remediation as listed in Methods (i.e., identification of performance deficit, remediation intervention, and reassessment of performance after intervention). Thirteen studies met eligibility criteria; the results are described here and in Appendix 1. Articles that were initially reviewed but excluded were of several types: descriptions of performance-problem identification only or of problem identification and remediation without reassessment of performance, surveys of program directors or other educators about performance problems or remediation, and opinion pieces.

스터디 자격 기준
Eligibility criteria for studies

UME.
UME.

의대생 적자deficit 해결을 다룬 기사는 임상 전 학생 관련 기사 1건, 임상 사무원 학생 관련 기사 6건 등 7건이었다. 두 개의 논문은 필기시험에 대한 낮은 점수를 다루고 지식을 향상시키는데 국한된 개입을 묘사했다. 30,31 다섯 개의 논문은 임상능력 부족을 식별하기 위해 표준화된 환자 검사를 사용했고, 한 개의 논문은 객관적인 구조화된 임상검사 형식을 지식평가와 결합하여 재교육을 필요로 하는 학생을 식별했다.34 실제 환자와의 임상 성과에 따른 학습자 결손 진단에 기초한 연구는 없었다.
Seven articles addressed the remediation of deficits of medical students, including one article that reported on preclinical students and six articles that reported on clinical clerkship students. Two articles portrayed interventions limited to addressing poor scores on written examinations and improving knowledge.30,31 Five articles used standardized patient examinations to identify clinical skills deficits,32–36 and one article combined the objective structured clinical examination format with knowledge assessments to identify students who needed remediation.34 No studies based the diagnosis of learner deficits on clinical performance with actual patients.

GME.
GME.

전공의의 적자deficit 해결을 다루는 두 연구 모두 지식 결손 전공의를 식별하기 위해 훈련 중 검사를 사용한 후 교정 조치를 제공했다. 한 교정 프로그램은 독서와 연구 기술을 통한 지식 습득을 다루었지만, 다른 교정 프로그램은 독서와 더불어 반복 임상 로테이션을 의무화했다.37
Both of the studies addressing the remediation of deficits of residents used in-training examinations to identify residents with knowledge deficits and then provided remediation.37,38 Whereas one remediation program addressed knowledge acquisition through a program of reading and study skills,38 the other mandated repeat clinical rotations in addition to reading.37

CME.
CME.

개업 의사 수준에서, 네 가지 연구는 의사의 개업을 평가하고 다양한 결함을 교정했다. 결손은 두 연구에서 동료 평가자에 의해 확인되었고, 다른 두 연구에서 면허 조직에 의해 확인되었으며, 두 연구 모두 교정 조치를 위해 자신을 언급한 일부 의사를 포함했다.

At the practicing physician level, four studies assessed physicians' practice and remediated a variety of deficiencies. Deficits were identified by peer assessors in two studies39,40 and by a licensing organization in two other studies,41,42 both of which included some physicians who had referred themselves for remediation.

방법론적 품질
Methodological quality

연구의 방법론적 질은 피실험자의 훈련 수준에 따라 달랐다. 학부생과 대학원생 모두 교육생을 평가하는 9개 연구 중 8개가 '참가자의 지식/스킬 수정'으로 커크패트릭 계층구조에서 레벨2b로 코딩됐다. 개업의에 대한 세 가지 연구는 수준 3으로 코딩되었다(행동 변화[직장으로의 학습 이전 문서]. 의사의 실무 행동은 전문가의 판단을 사용하여 교정 개입 후 평가되었다. 개업의에 대한 한 연구는 레벨 1(참가자의 경험에 대한 관점에 대한 설명)로 코딩되었다. 왜냐하면 주요 결과 척도는 개입에 참여한 의사가 자신의 학습 목표에 기초하여 스스로 평가한 행동 변화였기 때문이다.
The methodological quality of the studies varied with the subjects' training level. Eight of nine studies evaluating trainees, both undergraduate and graduate, were coded as Level 2b in the Kirkpatrick hierarchy for “modification of participants' knowledge/skills.”30–35,37,38 Three studies of practicing physicians were coded as Level 3 (behavior change [documentation of the transfer of learning to the workplace]). Physicians' practice behaviors were evaluated after the remediation intervention by using expert judgments.39,41,42 One study of practicing physicians40 was coded as Level 1 (participation [a description of the participants' views of the experience]) because the main outcome measure was a behavior change as self-assessed by the physicians involved in the intervention, on the basis of their own learning goals.

두 연구는 교정조치 기준을 설명하지 않았다.33,34 어떤 연구도 교정조치를 받지 않은 저성과자로 구성된 동시 대조군 그룹을 포함하지 않았다. 두 연구는 자체 평가나 만족을 넘어서는 재시험이나 재평가를 설명하지 않았다.36,40
Two studies did not describe the criteria for remediation.33,34 None of the studies included a contemporaneous control group of low performers who did not receive remediation. Two studies did not describe a retest or reassessment beyond self-assessment or satisfaction.36,40

 

교정된 스킬 영역
Remediated skill areas

UME 또는 GME를 다룬 9개 연구 중 6개는 필기 시험을 통해 확인된 지식 결손의 교정 방법을 설명했다. 이 9개 연구 중 4개는 임상 기술의 교정 조치에 초점을 맞추고, 그 4개 연구 중 1개는 지식 부족을 다루었다.35 면허 후 의사에 대한 4개 논문은 차트 검토, 차트 자극 리콜, 인터뷰를 통해 평가된 여러 기술을 포함하는 일반의 사무실 또는 하위 전문 사례의 교정 조치를 설명했다., 및 동료 평가.39-42
Six of the nine studies that addressed UME or GME described the remediation of knowledge deficits identified through written examinations.30,34,35,37,38,43 Four of these nine studies32,33,35,36 focused on remediation of clinical skills, and one of those four also addressed knowledge deficiencies.35 The four articles on postlicensure physicians described remediation of generalist office or subspecialty practice, which encompassed multiple skills assessed through chart reviews, chart-stimulated recall, interviews, and peer assessments.39–42

교정 결과
Outcomes of remediation

의대생 결손 교정 7개 연구는 지식의 필기시험, 30,31 표준화된 환자평가 또는 이 두 가지의 조합을 사용하여 재교육이 필요한 학습자를 진단했다. 이러한 연구 중 하나를 제외하고36은 교정조치 후 결과 측정과 동일한 평가를 사용했으며, 이 6개 연구는 점수 개선을 입증했다. 이러한 연구는 행동 변화에 대한 평가를 포함하지 않은 레벨 2b(지식/기술의 수정)로 분류되었다.
The seven studies on remediation of the deficits of medical students used written examinations of knowledge,30,31 standardized patient assessments,32,33,35,36 or a combination of the two34 to diagnose learners in need of remediation. All but one of these studies36 used the same assessments as outcome measures after remediation, and those six studies demonstrated improvements in scores. These studies were classified as Level 2b (modification of knowledge/skills), which did not include any assessment of behavior change.

GME 수준에서 두 연구는 교육 내 검사를 통해 학습자 결함을 진단하고 교수 멘토링(수술)38 또는 추가 임상 순환(방사선학)을 포함한 개별 연구 계획을 통해 이러한 결함을 교정했다.37 결과는 교육 중 검사와 후속 검사 점수로, 대부분의 참가자들에게 개선되었다. 이 연구들은 또한 레벨 2b로 분류되었다.
At the GME level, the two studies diagnosed learner deficiencies through in-training examinations and remediated those deficiencies through individualized study plans that included faculty mentoring (surgery)38 or additional clinical rotations (radiology).37 Outcomes were in-training examination and subsequent examination scores, which improved for most participants. These studies also were classified as Level 2b.

개업 의사를 검사하는 네 가지 연구 모두 캐나다에서 왔다. 그들은 차트 검토, 차트 자극 리콜, 인터뷰를 포함한 방법 조합을 사용하여 의사의 실제 임상 실습에서 성능 부족을 진단했다. 연구 중 2개는 동료 평가를 사용했다. 39,40개 중 3개는 면접관 또는 차트 리뷰에 의해 평가된 교정 후 개선된 외래 임상 관행을 보여주었고, 그 영향은 수준 3으로 분류되었다(행동 변화[직장으로의 학습 이전 문서]. 한 연구40은 프로그램에 대한 의사의 만족도를 평가했고 참가자들이 그들의 수행이 향상되었다고 느낀다는 것을 보여주었습니다; 이 연구는 레벨 1 영향을 미치는 것으로 분류되었습니다(참가자들의 경험에 대한 관점에 대한 설명)되었습니다.
All four of the studies examining practicing physicians came from Canada.39–42 They diagnosed performance deficiencies in physicians' actual clinical practice by using a combination of methods including chart review, chart-stimulated recall, and interviews. Two of the studies used peer assessments.39,40 Three of them showed improved outpatient clinical practice after remediation, as rated by interviewers or chart reviews, and their impact was classified as Level 3 (behavior change [documentation of the transfer of learning to the workplace]).39,41,42 One study40 assessed physician satisfaction with the program and showed that participants felt their performance had improved; this study was classified as having a Level 1 impact (a description of the participants' views of the experience).

논의
Discussion

교육 연속체에 걸친 의사의 결핍에 대한 교정조치에 대한 이 문헌 검토는 교정 효과의 평가와 결합된 교정조정을 설명하는 연구 결과를 놀랍게도 거의 도출하지 못했다. 우리가 확인한 연구는 대부분 소규모의 단일 기관 노력이었다. 교정조치 노력을 평가하는 연구의 부족은 우려되는 부분이며, 더 큰 규모의 결과 기반 교정조치 개입을 수행하고 그러한 개입의 결과를 발표해야 할 필요성을 강조한다.
This review of the literature on remediation of the deficiencies of physicians across the educational continuum yielded surprisingly few studies that described remediation interventions coupled with assessments of remediation efficacy. The studies that we did identify were predominantly small, single-institution efforts. This paucity of studies evaluating remediation efforts is concerning, and it highlights the need to perform more large-scale, outcome-based remediation interventions and to publish the results of those interventions.

의과대학이 교정조치에 이상적인 위치로 보일 수 있기 때문에, 우리는 UME에서 교정 노력을 평가하는 여러 연구를 찾을 것으로 예상했다. 그러나, 의대생의 임상 기술에 대한 교정조치의 결과를 설명한 연구는 단 세 가지뿐이었다. 의대생은 필요할 때 치료를 받을 수 있는 주요 후보이다. 학생들은 환자에 대한 직접적이고 감독되지 않은 책임 없이 훈련 환경에서 기능하기 때문에 고용주와 고용인의 계약 문제가 없으며, 실제 레지던트나 의사보다 더 직접적인 임상 감독을 받는다. [발달 교육]은 대학 수준에서 일하는 사람들이 사용하는 개념적 프레임워크로, 여기서 재교육은 (과목 내 학업, 교수진의 조언 및 멘토링, 의료 훈련의 다른 측면을 통해) 개별 학생들이 학문적으로나 개인적으로 성숙할 수 있도록 돕는 포괄적인 노력을 포함한다. 이러한 유형의 접근법은 임상적 책임을 지는 레지던트 의사보다 의대생에게 더 실현 가능하다.

Because medical school would seem the ideal location for remediation, we anticipated finding multiple studies evaluating remediation efforts in UME. However, only three studies described outcomes of remediation of medical students' clinical skills.32,33,35 Medical students are prime candidates for remediation when needed. Because students function in a training environment without direct, unsupervised responsibility for patients, they are free of employer–employee contractual issues, and they receive more direct clinical supervision than do residents or physicians in practice. Developmental education is a conceptual framework used by those working at the college level, in which remediation incorporates comprehensive efforts to help individual students mature both academically and personally through course work, advice and mentoring from faculty, and other aspects of their medical training.13 This type of approach would be more feasible for a medical student than for a resident physician who shoulders clinical responsibilities.

전공의 교정 조치의 결과를 평가하는 유일한 연구는 지식에 초점을 맞췄지만 역량의 다른 핵심 영역에는 초점을 맞추지 않았다. 전공의가 감독 주치의의 직접적인 관찰 없이 독립적으로 실천하지만, 성과 부족을 입증하는 거주자의 임상 기술 교정을 다룬 연구는 없었다. GME에 발표된 교정조치 개입이 부족한 몇 가지 이유가 있을 수 있다. 교정조치는 많은 자원을 투자해야 하며, 의료 서비스를 제공하는 데 레지던트가 필요하다. 교정조치 참여를 위해 임상 의무에서 제거하는 것은 어려울 수 있다. 교정조치는 검증되지 않은 방법과 일화적인 결과를 사용하여 개별적으로 수행될 가능성이 높다.44 레지던트 프로그램 책임자는 의대생 교육자와 달리 레지던트와의 고용주-고용주 관계에 내재된 법적 정책에 의해 제한된다고 느낄 수 있다. 교육 중 검사에 대한 의존도는 이러한 지식 기반 검사의 사용 가능 여부도 반영합니다. 이러한 도구는 임상 실무의 평가에 침투하는 교란 요인으로부터 자유로운 거주자의 지식 숙달 테스트 및 재테스트 메커니즘을 효율적으로 제공한다.

The only studies we found evaluating the outcomes of resident remediation focused on knowledge, but not on any other of the core domains of competence. Although residents practice independently, usually without direct observation by their supervising attendings, no studies addressed the remediation of the clinical skills of residents demonstrating performance deficits. There may be several reasons for the lack of published remediation interventions in GME. Remediation requires a large investment of resources, and residents are needed to staff clinical services; removing them from clinical duties for participation in remediation can be challenging. Remediation is likely to be conducted on an individual basis by using untested methods and anecdotal outcomes.44 Residency program directors, unlike medical student educators, may feel limited by the legal policies inherent in their employer–employee relationship with the resident. The reliance on in-training examinations also reflects the availability of these knowledge-based examinations. These instruments efficiently provide a mechanism for testing and retesting residents' mastery of knowledge free from the confounders that pervade assessments of clinical practice.

실제 의사의 결손에 대한 교정 연구는 환자와 함께 임상 성과를 조사한 유일한 연구였다. 훈련생에 대한 연구는 서면 및 임상 기술 검사를 통해 얻은 성과 측정에 의존했다. 검사에 기반한 평가에서 실제 임상 실습에 기반한 평가로 초점을 전환하는 것은 지식과 기술의 습득에서 임상 실습으로의 의사의 전문적 발전 과정을 반영한다. 양질의 환자진료는 환자에게 서비스를 제공하는 동안 임상 및 의사소통 능력을 모두 갖춘 지식의 통합이 필요하기 때문에 본질적으로 평가가 어렵다. Dreyfus의 전문지식 개발 모델45와 Miller의 피라미드46은 비슷하게, [역량의 최고 수준]에 도달한 의사는 각각의 사례를 더 넓은 맥락에서 이해하고, 일반적인 패턴에 맞지 않는 요소를 인식하고, 성숙한 판단을 할 수 있다고 강조한다. 그럼에도 불구하고, 우리가 식별한 실제 의사의 교정조치에 대한 네 가지 연구에서, 치료 개입의 평가 결과는 환자 만족도 또는 개선된 조치와 같은 "더 어려운" 결과 측정과 비교하여 상대적으로 "부드럽다"(예: 의사 인터뷰, 차트 검토, 프로세스에 대한 의사 만족도) 질병 통제 능력을 가지고 있다.
The studies of remediation of the deficits of physicians in practice were the only studies we found that examined clinical performance with patients; studies of trainees relied on measures of performance obtained through written and clinical skills examinations. This shift in focus from assessments based on examinations to assessments based on actual clinical practice reflects the progression of a physician's professional development from the acquisition of knowledge and skills to clinical practice. High-quality patient care is inherently difficult to assess because it requires integration of knowledge with both clinical and communication skills during service to patients. The Dreyfus model of the development of expertise45 and Miller's pyramid46 similarly emphasize that, at the highest levels of physician competence, physicians can understand each case in a broader context, recognize elements that do not fit usual patterns, and exercise mature judgment. Nevertheless, in the four studies of remediation of physicians in practice that we identified,39–42 the assessed outcomes of the remedial intervention were relatively “soft” (e.g., physician interviews, chart reviews, and physician satisfaction with process) in comparison with “harder” outcome measures, such as patient satisfaction or improved measures of disease control.

치료를 위한 제안된 모델
Proposed model for remediation

교정조치에 대한 문헌과 학습 과학에서 선별된 연구에 대한 검토를 바탕으로, 우리는 기존 노력을 강화할 수 있는 성공적인 [교정 프로그램의 필수 요소]를 제안한다. 강력한 교정 프로그램의 4가지 핵심 구성요소는 다음과 같습니다. 

• (1) 여러 평가 도구를 사용하여 결함을 확인하는 초기 평가(또는 선별) 
  
• (2) 개별화된 학습 계획의 개발 및 문제 진단 
  
• (3) 의도적인 실습, 피드백 및 성찰을 포함하는 지침의 제공, 
  
• (4) 역량의 재평가 및 인증(그림 1)

On the basis of our review of the literature on remediation and selected studies in the learning sciences, we propose essential elements of successful remediation programs that would enhance existing efforts. These four core components of a powerful remediation program would be

• (1) initial assessment (or screening) using multiple assessment tools to identify deficiencies,
• (2) diagnosis of problems and development of an individualized learning plan,
• (3) provision of instruction that includes deliberate practice, feedback, and reflection, and
• (4) reassessment and certification of competence (Figure 1).

 

[교정조치의 첫 번째 구성요소]에는 교정조치가 필요한 개인의 식별과 성능결손 진단이 포함된다. 교정조치에는 교육생과 의사가 부족한 경우 이를 식별하기 위한 [복수의 신뢰할 수 있고 유효한 평가 도구]가 필요하다.47 결함(예: 지식, 임상 및 의사소통 기술 또는 전문성)은 여러 역량 영역에 존재할 수 있기 때문에 [복수의 평가가 필요]하다. 이들은 단일 도구보다 결함을 식별할 가능성이 더 높다.13 이러한 평가 도구의 예는 다음과 같다. 

• 관찰된 실제 환자와의 만남, 표준화된 환자 만남, 임상 추론의 서면 또는 웹 기반 평가, 기록 검토, 차트 자극 리콜, 감독자 및 동료 관찰, 지식의 객관식 검사.

이러한 평가 양식은 결함을 발견할 뿐만 아니라 확인된 필요 영역으로 교정 전략을 안내하는 데 도움이 될 수 있다.

The first component of remediation includes the identification of those individuals who need remediation and the diagnosis of the performance deficits. Remediation requires multiple, reliable, and valid assessment tools for identification of trainees and physicians with deficiencies.47 Because deficiencies may exist in many domains of competence (e.g., knowledge, clinical and communication skills, or professionalism), multiple assessments are required; they are more likely to identify deficiencies than is a single tool.13 Examples of these assessment tools include

• observed encounters with actual patients, standardized patient encounters, written or Web-based assessments of clinical reasoning, record reviews, chart-stimulated recall, supervisor and peer observations, and multiple-choice examinations of knowledge.

These assessment modalities not only uncover deficiencies but also can help guide remediation strategies to the identified areas of need.

영국에서 동료 평가와 지식 및 임상 기술 테스트를 결합한, 실무적으로 잘 수행되지 않는 의사를 식별하는 2단계 접근법이 제안되었다.48 학생 수준에서 결손을 진단하는 경우, 임상 능력 검사의 성과 문제는 다음의 6개 영역으로 구분되었다. 

• 지식 기반, 
• 임상 추론, 
• 병력 청취, 
• 신체 검사, 
• 커뮤니케이션, 
• 전문직업성

이러한 범주는 GME와 실무 의사 모두에게 적용된다.
A two-step approach to the identification of poorly performing physicians in practice, combining peer assessment with tests of knowledge and clinical skills, has been proposed in the United Kingdom.48 For diagnosing deficits at the student level, performance problems in clinical skills examinations have been characterized in six domains:

• fund of knowledge,
• clinical reasoning,
• history-taking,
• physical examination,
• communication, and
• professionalism.49 

These categories are applicable for both GME and practicing physicians.

[교정 프로그램의 두 번째 구성요소]는 두 부분으로 구성된다. 

• (1) 성능 저하를 초래한 근본적인 문제의 진단 및 
  
• (2) 학습자 특성과 확인된 요구에 기반한 개별화된 학습 계획의 개발. 

문제의 진단 후, 이러한 계획의 개발은, [허용가능한 성과에 대한 명확한 기대의 표현]을 포함한다. 다음으로 학습자는 이러한 [외부 기준에 비추어 자신의 성과를 정확하게 평가하기 위한 가이드]와 함께, [자기성찰과 개선계획 수립을 위한 코칭]이 필요하다. 학습자가 항상 정확한 자가 평가자는 아니기 때문에 전문가의 지도가 필수적이다. 개인의 장단점을 잘 아는 멘토가 개별화된 학습계획을 수립하는 데 도움이 된다. 이 교정조치가 필수사항인지 선택사항인지, 교정조치 시행 비시행의 결과가 무엇인지 명확해야 한다.

The second component of a remediation program has two parts:

• (1) diagnosis of the underlying problem that led to the performance deficits and
• (2) development of an individualized learning plan based on learner characteristics and identified needs.

The development of such a plan involves, after the diagnosis of the problem, an articulation of clear expectations for acceptable performance. Next, learners need guidance in assessing their own performance accurately in light of this external standard, as well as coaching in self-reflection and in planning for improvement. Because learners are not always accurate self-assessors, guidance from an expert is essential. A mentor who is familiar with the individual's strengths and weaknesses is helpful for establishing an individualized learning plan. There should be clarity about whether this remediation is required or voluntary and about what the consequences of remediation or nonremediation will be.

[교정 프로그램의 세 번째 구성요소]는 규정된 학습 활동의 제공이다. 이러한 진단 및 반사 과정에 기초하여 일련의 [구체적인 경험이 규정]되어야 합니다. 학생의 필요에 따라 개인적이고 전문적인 개발을 위한 다양한 서비스를 추천하는 것도 적절할 수 있다.

• 임상 기술이 부족한 의대생은 인지적 결손과 비인지적 결손이 공존할 수 있다. 따라서 지식을 습득하는 것과 관련된 인지 전략, 사전 지식의 활성화 및 연결, 권장 표준에 대한 이론적 근거의 이해, 그리고 실제로 지식의 적용과 사용이 필요할 수 있다.
• 전문직업성과 관련된 문제는 문제가 있는 행동을 식별하고, 그러한 행동의 기능 장애 성격에 대한 이유를 제시하며, 예의, 존중, 신뢰성과 같은 새로운 행동을 실천하는 것을 포함하는 행동 접근법을 통해 더 잘 해결될 수 있다.

The third component of the remediation program is the provision of the prescribed learning activities. On the basis of this diagnostic and reflective process, a set of specific experiences should be prescribed. It may also be appropriate to recommend a range of services for personal and professional development, tailored to the student's needs.13 

• Medical students with deficiencies in clinical skills may harbor coexisting cognitive and noncognitive deficits.49 Thus, cognitive strategies associated with gaining knowledge, activation of and connection to prior knowledge, an understanding of the rationale for recommended standards, and the application and use of knowledge in practice may be needed.
• Problems with professionalism may be better addressed through a behavioral approach that involves identifying the problematic behaviors, offering rationales for the dysfunctional nature of those behaviors, and practicing new behaviors, such as courtesy, respect, and reliability.

규정된 교정조치 활동은 참가자에게 [피드백이 뒤따르는 의도적인 연습의 기회]를 제공해야 한다. 이러한 활동에는 다음이 포함될 수 있다. 

• 가이드된 임상 경험,
• 시뮬레이션 또는 표준화된 환자를 사용한 실습,
• 학습 및 지식 시험,
• stimulated recall을 동반한 의료 차트 검토
• 임상 성과 관찰

The prescribed remediation activities should offer participants opportunities for deliberate practice followed by feedback. These activities might include

• guided clinical experience,
• practice with simulations or standardized patients,
• study and knowledge testing,
• review of medical charts with stimulated recall, and
• observation of their clinical performance.

성공의 열쇠는 [구체적이고 시기적절한 피드백을 제공할 수 있는 숙련된 감독관의 지도 아래 신중하고 의도적인 연습]이다. 절차적 기술 훈련에서 시뮬레이터의 유용성은 임상 시뮬레이터의 정교화가 이러한 유형의 실천에 대한 기회를 제공할 수 있음을 시사한다. 새로운 임상 문제에 직면하는 것을 배우는 학생의 수준에서든, 복잡한 상태의 여러 환자를 치료하는 의사의 수준에서든, [인지적 접근]은 참가자들에게

• 환자 프레젠테이션에 의해 제기된 개념에 대해 생각하도록 안내하고,
• 사례의 다른 측면 및 유사한 임상 문제에 관한 기존 지식과 어떻게 관련되는지 검토하게 하며,
• 어떻게 그 지식이 미래 사례에 적용될 수 있는지 파악하게 한다.

The key to success is deliberate, conscious practice under the guidance of experienced supervisors who can offer specific and timely feedback. The usefulness of simulators in procedural skills training50 suggests that the increasing sophistication of clinical simulators may offer opportunities for this type of practice. Whether at the level of a student who is learning to face new clinical problems or that of a practicing physician who is treating multiple patients with complex conditions, a cognitive approach would guide participants in

• thinking about the concepts raised by patient presentations,
• examining how they relate to other facets of the case and to prior knowledge of similar clinical problems, and
• discerning how that knowledge can be applied to future cases.

이러한 유형의 [인지적 전략]은 또한 잘못된 감별 진단으로 인해 병력 청취에서 올바른 질문을 하지 못하는 것, 잘못된 임상 추론으로 인해 신체 검사의 중요한 요소 수행을 실패하는 것과 같은 문제에 적합할 수 있다. 교정조치 참여자는 임상 문제 해결, 감별 진단 및 관리 계획 생성, 다른 진단 및 치료 전략 분석을 연습하기 위해 [문제 기반 학습 형식에서의 튜터] 또는 [표준화된 환자 또는 실제 환자]를 가지고 연습할 수 있다.

This type of cognitive strategy might also be suited to problems with clinical skills that stem from faulty clinical reasoning, such as a failure to ask the right questions in taking the history or a failure to perform important elements of the physical examination because of an incorrect differential diagnosis. Participants in remediation might work individually with a preceptor in a problem-based learning format or with standardized or actual patients to practice addressing clinical problems, generating differential diagnoses and management plans, and analyzing different diagnosis and treatment strategies.

반대로, 가르치고 측정할 수 있는 관찰 가능한 행동을 강조하는 [행동적 접근법]은 기술 문제에서 발생하는 역량을 더 잘 다룰 수 있다. 예를 들어, 신체 검사의 잘못된 수행은 표준화된 환자와의 연습을 통해 교정될 수 있다. 그 다음에 전문가 관찰자가 피드백을 제공하고 성과와 관련된 행동을 코칭 및 평가해주는 것이 좋다. 이 접근법은 학습자가 자신의 성과를 검토하고 원하는 표준과 어떻게 비교하는지 평가할 수 있는 성찰 능력을 개발하도록 돕는 [인지적 노력]이 함께 이뤄지면 더욱 강화될 것이다. [행동 중 성찰]은 자신의 행동이 일어날 때 미치는 영향을 분석하고 그 분석에 기초하여 행동을 수정하는 행위이다. 교정 대상자의 경우 이러한 성찰 능력 수준을 달성하려면 벤치마크에 대한 상당한 통찰력과 이해가 필요하다. 무슨 학습 전략을 선택하든, 재교육을 위해서는 피드백이 포함된 여러 가지 형태의 연습이 필요하다.

In contrast, a behavioral approach, which emphasizes observable behaviors that can be taught and measured, might better address dyscompetence arising from problems with technique. For instance, incorrect performance of the physical examination can be remediated through practice with standardized patients, after which expert observers provide feedback and coaching and evaluate the behaviors associated with performance. This approach would be bolstered by simultaneous cognitive efforts to help learners develop reflective abilities that will allow them to review their own performance and evaluate how it compares with the desired standard. Reflection-in-action (also called meta-cognition) is the act of analyzing the impact of one's actions as they are occurring and modifying one's behavior on the basis of that analysis.51 In a candidate for remediation, this level of reflective ability would require significant insight into and understanding of the benchmark to be attained. Regardless of the learning strategy selected, multiple forms of practice with feedback will be required for remediation.

[교정조치의 네 번째이자 마지막 구성요소]는 역량을 인증할 수 있도록 허용 가능한 수준의 성과를 달성했는지 확인하기 위한 [참가자의 재시험]이다. 재시험은 원래 결함이나 역량이 없는 영역을 식별하기 위해 사용되었던 것과 동일한 검사 양식을 포함할 수도 있고, 선택된 난이도를 다루는 더 맞춤화된 평가 방법을 포함할 수도 있다. 이 보고서에서는, 교정 노력이 성공했으며 참가자가 역량을 갖추었다고 간주된다고 가정했다. 그러나 의료 교육 리더와 면허 위원회는 교정조치가 원하는 결과를 달성하지 못할 경우 적절한 조치를 취해야 한다.52 이러한 교정조치의 노력은 환자의 성과 변화와 환자 결과 및 만족도에 미치는 영향을 입증하기 위한 결과 기반 연구와 결합되어야 한다.

The fourth and final component of remediation is the retesting of participants to ensure that acceptable levels of performance have been achieved, so that competence can be certified. Retesting may involve the same examination modalities as were originally used to identify deficiencies or areas of dyscompetence, or it may involve more-customized assessment methods addressing selected areas of difficulty. In this report, we assumed that remediation efforts have succeeded and that the participant was deemed competent. However, medical education leaders and licensing boards need to take appropriate action if remediation does not achieve the desired result.52 These remediation efforts must be coupled with outcomes-based research to demonstrate a change in performance with patients and the effect on patient outcomes and satisfaction.

• 재교육 노력은 UME 수준에서 가장 흔히 이뤄지는데, 이는 학습자에 대한 중앙 집중식 감독이 있고 평가가 교육 환경의 일상적인 부분이기 때문이다.
• GME 수준의 교정조치는 결함을 식별하고 교정조치의 영향을 측정하기 위해 기존 평가 시스템을 활용해야 한다. 발달적 노력developmental effort은 기존 측정 시스템이 효과적으로 대상으로 하지 않는 역량의 평가와 교정조치에 초점을 맞추어야 한다.
• CME 수준에서 교정조치를 구현하는 것은 더 어렵다. 왜냐하면 의사의 독립적 문화, 실제로 의사를 관찰하는 것의 로지스틱한 어려움, 그리고 UME 및 GME 환경에 존재하는 것과 유사한 평가 시스템의 부재 때문이다.
• Efforts at enhancing remediation are most likely to occur at the UME level, where there is centralized oversight of the learners and where assessment is a routine part of the educational environment.
• Remediation at the GME level should take advantage of existing assessment systems to identify deficiencies and measure the impact of remediation; developmental efforts should focus on assessing and remediating competencies not effectively targeted by existing measurement systems.
• Implementing remediation at the CME level is more daunting because of the culture of physician independence, the logistical challenges of observing physicians in practice, and the absence of assessment systems comparable with those present in UME and GME settings.

학습자는 일반적으로 교정이 필요한 것으로 식별되는 것을 꺼려하며, 기관 역시 특정 의료인을 재교육 대상자로 식별하기를 주저할 수 있는데, 이는 재교육에 대한 전문성이 부족하거나, 재교육 서비스를 제공할 의사가 없기 때문이다.5 역량이 인정된 교육생 또는 의사교정조치 에드가 부끄럽거나 낙인처럼 느껴질 수 있다. 학생들은 교정 과정 동안 어느 정도 익명성과 안전성을 제공하는 환경으로부터 이익을 얻을 것이다. 그러나 낙인-없는 접근법이 가장 이상적이거나, 가능하지 않을 수 있다. 그것은 또래에 비해 학습자의 수행 상태에 대한 혼란을 초래할 수 있고, 자신의 결핍의 심각성에 대한 이해를 최소화할 수 있다. 우리가 검토한 한 연구는 학습자의 역량에 대한 교정 조치에 다소 대중적으로 초점을 맞추고 있음에도 불구하고 신중하게 설계된 그룹 워크숍이 학습자들에 의해 높은 평가를 받았다는 것을 발견했다.36

Learners are generally reluctant to be identified as needing remediation, and institutions may manifest similar reluctance to identify practitioners as needing remediation because the institutions lack expertise in remediation or are unwilling or unable to provide remedial services.5 A trainee or physician with recognized dyscompetence who is in need of remediation may be embarrassed or may feel stigmatized. Students will benefit from an environment that affords some anonymity and safety during the remediation process. However, a stigma-free approach may not be optimal or possible. It can lead to confusion among learners about the status of their performance relative to that of their peers, and it can minimize an understanding of the severity of one's deficiencies.32,53 One study we reviewed found that carefully designed group workshops were rated highly by learners, despite the somewhat public focus on remediation of their dyscompetence.36

재교육의 중요성은 [재교육의 높은 비용]과 비교하여 가중치를 부여해야 한다. 대학 수준에서 교정조치에 대한 비용은 기관 및 정책 입안자에게 큰 부담을 준다.54 특히 집중적인 교정조치가 필요한 학습자의 수가 적을 수 있는 의료 교육 환경에서 교정조치의 효율성을 높이기 위한 한 가지 접근방식은 [기관 간 협력 프로그램]의 구현이다. 기관과 다소 인위적인 UME-GME-CME 장벽을 포괄하고 지식, 자원 및 경험을 결합한 협업 노력이 시작되는 것이 바람직해 보인다. 특정 센터는 교정조치에 대한 전문지식과 자원을 개발하고 전국의 교육 프로그램이나 병원의 의뢰 센터가 될 수 있다.555 이 비용 효율적인 모델은 교정조치에 전문지식을 집중할 수 있다. 문헌 검색 날짜 이후에 기술된 또 다른 효율적인 교정 전략은 학습자가 스스로 그리고 교수진의 지도를 통해 자신의 성과를 자체 평가하여 잠재적인 개선 영역을 파악하는 것이었다.56
The critical importance of remediation must be weighted against the high cost of remediation interventions. At the college level, the expense of remediation challenges institutions and policy makers.54 One approach to increasing the efficiency of remediation, particularly in the medical education setting in which the numbers of learners needing intensive remediation may be small, is the implementation of collaborative programs across institutions. It seems desirable for collaborative efforts to be launched that span institutions and the somewhat artificial UME–GME–CME barriers and that combine knowledge, resources, and experience. Certain centers could develop expertise and resources for remediation and become referral centers from training programs or hospitals around the country.5,55 This cost-effective model would concentrate expertise in remediation. Another efficient remediation strategy, described after the dates of our literature search, involved learners' self-assessment of their performance, both on their own and with faculty guidance, to identify potential areas for improvement.56

이번 문학평론에는 몇 가지 한계가 있다. 부정적인 결과가 포함될 가능성이 더 높은 국가 전문가 회의의 초록은 검토하지 않았다. 따라서, 우리의 연구 결과는 출판 편향과 전국의 재교육 노력에 대한 과소 보고의 대상이 될 수 있다. 검토한 연구의 방법론적 질은 기껏해야 중간 정도였으며, 이러한 연구의 결과는 행동 변화로 이어질 교정 노력에 대한 확실한 결론을 허용하지 않는다. 하지만, 우리는 또한 학습 과학을 지침으로 삼았습니다.
This literature review has several limitations. We did not review abstracts from national professional meetings, which might be more likely to include negative results. Thus, our findings may be subject to publication bias and underreporting of remediation efforts around the country. The methodologic quality of the studies reviewed was moderate at best, and the findings from these studies do not allow firm conclusions about remediation efforts that will lead to behavior change. However, we also drew on the learning sciences for guidance.

결론
Conclusion

모든 수준의 의료 교육에서 교정조치의 "모범 사례"를 안내할 수 있는 증거는 놀랍게도 거의 없다. 우리의 연구 결과는 미래 성과에 미치는 영향을 결정하기 위해 무능하고 경쟁력이 떨어지는 훈련생과 의사의 결핍을 교정하기 위한 전략에 대한 다중 기관, 결과 기반 연구가 절실히 필요하다는 것을 강조한다. 그러한 연구가 없다면, 우리는 적은 수의 이용 가능한 연구와 학습 과학의 문헌으로부터 추론해야 한다. 이러한 자원은 사실 모두 결함을 식별하기 위한 여러 평가 도구, 개별화된 지침, 피드백과 성찰에 따른 의도적인 실천 및 재평가를 포함하는 모델을 가리킨다.

There is surprisingly little evidence to guide “best practices” of remediation in medical education at all levels. Our findings highlight the dire need for multiinstitutional, outcomes-based research on strategies for remediation of the deficiencies of incompetent and less- than-competent trainees and physicians, accompanied by long-term follow-up, to determine the impact on future performance. Absent such research, we are left to extrapolate from the small number of available studies and from the literature in the learning sciences. These resources do, in fact, all point to a model that includes multiple assessment tools for identifying deficiencies, individualized instruction, deliberate practice followed by feedback and reflection, and reassessment.

 

---

 

Acad Med. 2009 Dec;84(12):1822-32.

 doi: 10.1097/ACM.0b013e3181bf3170.

 

Remediation of the deficiencies of physicians across the continuum from medical school to practice: a thematic review of the literature

Karen E Hauer 1, Andrea Ciccone, Thomas R Henzel, Peter Katsufrakis, Stephen H Miller, William A Norcross, Maxine A Papadakis, David M Irby

Affiliations collapse

Affiliation

1Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California 94143-0131, USA. karen.hauer@ucsf.edu

PMID: 19940595

DOI: 10.1097/ACM.0b013e3181bf3170

Abstract

Despite widespread endorsement of competency-based assessment of medical trainees and practicing physicians, methods for identifying those who are not competent and strategies for remediation of their deficits are not standardized. This literature review describes the published studies of deficit remediation at the undergraduate, graduate, and continuing medical education levels. Thirteen studies primarily describe small, single-institution efforts to remediate deficient knowledge or clinical skills of trainees or below-standard-practice performance of practicing physicians. Working from these studies and research from the learning sciences, the authors propose a model that includes multiple assessment tools for identifying deficiencies, individualized instruction, deliberate practice followed by feedback and reflection, and reassessment. The findings of the study reveal a paucity of evidence to guide best practices of remediation in medical education at all levels. There is an urgent need for multiinstitutional, outcomes-based research on strategies for remediation of less than fully competent trainees and physicians with the use of long-term follow-up to determine the impact on future performance.