전공의 역량 검토: 수행능력 평가에 CCC의 역할에 대한 질적 연구(Acad Med, 2015)
Reviewing Residents’ Competence: A Qualitative Study of the Role of Clinical Competency Committees in Performance Assessment
Karen E. Hauer, MD, Benjamin Chesluk, PhD, William Iobst, MD, Eric Holmboe, MD, Robert B. Baron, MD, Christy K. Boscardin, PhD, Olle ten Cate, PhD, and Patricia S. O’Sullivan, EdD
의학교육자는 수련의의 성과를 평가하여 수련의가 고품질의 안전한 의료 서비스를 제공할 수 있는 역량을 갖추었는지 판단합니다. 점점 더 많은 대중은 교육 프로그램에 미래의 의사가 독립적인 진료를 할 수 있도록 준비된 프로세스가 마련되어 있기를 기대하게 되었습니다. 전 세계의 교육자들은 [의사가 수행해야 할 바람직한 특성]을 명확히 하고 평가의 근거로 삼기 위해 역량을 정의하고 최근에는 [마일스톤을 정의]했습니다.1-3
Medical educators assess trainees’ performance to determine whether they have achieved competence to provide high-quality, safe medical care. Increasingly, the public has come to expect that training programs have processes in place to ensure that future physicians are prepared for independent practice. Educators around the world have defined competencies, and more recently milestones, to articulate the desired characteristics of physicians’ performance and to serve as the basis for assessment.1–3
과거에는 특정 분야의 레지던트 수련을 [정해진 기간] 동안 [공인된 프로그램]에서 이수하는 것으로 거의 모든 수련의의 진료 준비가 완료되었다고 정의했지만, 이제는 [역량을 확인하는 메커니즘]에 대한 면밀한 검토가 이루어지고 있습니다. 역량 및 이정표 기반 교육은 모든 수련의가 [의료행위에 대비]하고 [주요 활동에 능숙]하도록 하는 것을 목표로 합니다.4,5 이정표는 개별 학습 요구에 맞춘 일관되고 논리적인 경험의 순서로서 레지던트의 학습을 지원하는 프레임워크 역할을 하도록 고안되었습니다. [역량]의 [추상적인 특성]으로 인해 사용이 복잡할 수 있지만,6 [마일스톤]은 [특정 역량 영역에서 평가할 진행 상황을 명확히 하는 것]을 목표로 합니다.
Whereas the completion of residency training within a specific discipline in an accredited program after a prescribed number of years has historically defined readiness for practice for nearly all trainees, mechanisms to confirm competence are now receiving closer scrutiny. Competency- and milestones-based education seeks to ensure that all trainees are prepared for practice and competent in key activities.4,5 Milestones are intended to serve as a framework to support residents’ learning as a coherent and logical sequence of experiences tailored to individual learning needs. Although the abstract nature of competencies can complicate their use,6 milestones aim to clarify progress to be assessed in specific competency domains.
의학전문대학원(GME) 프로그램 디렉터는 항상 레지던트의 성과를 모니터링할 책임이 있었지만, 미국에서는 이제 [차기 인증 시스템(NAS)7]에 따라 [GME 프로그램 내에서 임상역량위원회(CCC)]가 [레지던트의 점진적인 역량 달성을 측정]하도록 요구하고 있습니다. 2013년부터 CCC는 모든 레지던트 평가를 반기별로 검토하고 주요 성과를 의학전문대학원교육인증위원회(ACGME)에 보고해야 합니다.1 그럼에도 불구하고, 이 의무화에는 이러한 위원회가 역량 판단을 내리기 위해 [어떤 방식으로 업무에 접근해야 하는지]에 대한 답이 없는 질문이 있습니다. [무엇을 평가할 것인지], [어떻게 정보를 종합하여 수련의의 성과에 대한 판단을 내릴 것인지]에 대한 결정은 검토 과정의 목적에 대한 기본 가정을 반영합니다.8,9 CCC가 이용할 수 있는 정보 출처, 이 정보를 공유하고 사용하는 방식, 의사 결정 책임에 대한 인식은 모두 수련생과 환자에 대한 책임의 범위와 성격에 대한 이해를 반영할 수 있습니다. [수련의의 성과에 대한 정보를 종합하여 승진을 권고하는 것]은 궁극적으로 수련의가 [향후 임상 업무를 감독 없이 독립적으로 수행할 수 있도록 신뢰한다는 판단]에 해당합니다.10
Though graduate medical education (GME) program directors have always been responsible for monitoring residents’ performance, in the United States, the Next Accreditation System (NAS)7 now requires that, within GME programs, clinical competency committees (CCCs) measure residents’ progressive attainment of competence. As of 2013, CCCs must review all resident evaluations semiannually and report on milestones to the Accreditation Council for Graduate Medical Education (ACGME).1 Nonetheless, this mandate comes with unanswered questions about how these committees should approach their work to render judgments of competence. Decisions about what will be evaluated and how information will be synthesized into a judgment about a trainee’s performance reflect underlying assumptions about the purposes of the review process.8,9 The information sources available to CCCs, the ways that they share and use this information, and their perceptions of their decision-making accountability all may reflect their understanding of the scope and nature of their responsibilities toward trainees and patients. Synthesizing information about a trainee’s performance into a recommendation for advancement ultimately constitutes a judgment to trust the trainee to perform future clinical work independently and unsupervised.10
본 연구는 전공의의 역량 개발을 안내하고 보장하기 위한 목적으로 성과 정보를 해석하는 관점에서 [GME에서 CCC의 현황]을 설명하고자 했습니다. 현재 레지던트 프로그램에서 CCC가 의무화되었지만, 이들의 업무를 안내할 수 있는 정보는 문헌에 거의 존재하지 않습니다. 또한 이러한 위원회가 자신의 임무에 어떻게 접근하거나 목적을 어떻게 인식하는지, 또는 운영이 의도와 어떻게 일치하는지에 대해서는 아직 알려지지 않았습니다. 이 연구는 레지던트 CCC의 특성, 목적에 대한 이해, 레지던트의 역량에 대한 판단을 내리기 위해 성과 정보를 사용하는 방식을 파악하는 것을 목표로 합니다. 연구 결과는 교육자가 평가와 커리큘럼 설계, 학습 및 결과 간의 관계를 다루는 데 도움이 되는 현재 관행을 파악할 것입니다. GME 평가의 중추적인 시기에 연구 결과는 CCC 과정의 리더이자 최종 사용자로서 프로그램 디렉터가 레지던트의 역량 보장에 대한 책임과 책임을 어떻게 인식하는지에 대한 기초적인 통찰력을 제공할 수 있습니다.
From the perspective of interpreting performance information for the purpose of guiding and ensuring residents’ development of competence, this study sought to describe the current state of CCCs in GME. Although CCCs are now required in residency programs, little information exists in the literature to guide their work. In addition, how these committees approach their charge or perceive their purpose, or how their operations align with their intentions, remains unknown. This study aims to characterize residency CCCs, understandings of their purpose, and the ways in which they use performance information to make judgments about residents’ competence. Study results will identify current practices to help educators address the relationship between assessment and curricular design, learning, and outcomes. At a pivotal time for assessment in GME, study findings can provide baseline insights about how program directors, as both leaders and end users of the CCC process, perceive their charge and their accountability for ensuring residents’ competence.
연구 방법
Method
연구 설계
Study design
이 질적 연구는 데이터의 검사, 코딩, 해석을 통해 현상을 설명하고 주제를 파악하는 전통적인 내용 분석을 사용했습니다.11 연구자들은 2013년 캘리포니아에 있는 5개 기관의 레지던트 프로그램 디렉터들과 반구조화된 인터뷰를 실시했습니다. 연구자들은 프로그램마다 차이가 있을 것으로 예상하고 인터뷰를 통해 프로그램 디렉터들의 CCC 절차에 대한 인식과 달성한 결과에 대해 심층적으로 이해했습니다. 캘리포니아 대학교 샌프란시스코 의과대학의 기관윤리심의위원회는 이 연구를 승인했습니다.
This qualitative study used conventional content analysis, which seeks to describe a phenomenon through the examination, coding, and interpretation of data to identify themes.11 The investigators conducted semistructured interviews with residency program directors at five institutions in California in 2013. Anticipating variability across programs, the investigators used interviews to gain an in-depth understanding of program directors’ perceptions of their CCC procedures and the results achieved. The institutional review board at the University of California, San Francisco, School of Medicine approved this study.
연구팀에는 성과 평가 연구 및 수행 경험이 있고 학생 역량 위원회에서 활동한 경험이 있는 연구 책임자(K.E.H.)가 포함되었습니다. 인터뷰를 수행한 연구 조교는 질적 인터뷰 및 연구 경험이 풍부했습니다. 나머지 팀원들은 연구 방법(B.C., C.K.B., O.T.C., P.S.O.)과 여러 기관의 역량 기반 교육(W.I., E.H., R.B.B.)에 대한 전문성을 가지고 있었습니다.
The research team included the principal investigator (K.E.H.), who had experience studying and conducting performance assessment and had served on a student competency committee. The research assistant, who conducted the interviews, had extensive experience in qualitative interviewing and research. The remaining team members brought expertise in research methods (B.C., C.K.B., O.T.C., P.S.O.) and competency-based education across institutions (W.I., E.H., R.B.B.).
표본
Sample
응답의 다양성을 극대화하기 위해 조사자들은 데이비스, 어바인, 로스앤젤레스, 샌디에이고, 샌프란시스코에 있는 캘리포니아 대학교 의과대학의 레지던트 프로그램 디렉터들을 대상으로 [계층화된 의도적 표본 추출12]을 선택했습니다. 프로그램은 [대규모 또는 소규모]로, [절차적 또는 비절차적 프로그램]으로 분류되었습니다(보충 디지털 부록 1 참조). 연구자들은 일반화 가능성을 높이고 대표성을 보장하기 위해 [난수 생성기]를 사용하여 각 참여 기관에서 [8개의 레지던트 프로그램(대규모 절차적 프로그램 3개, 대규모 비절차적 프로그램 3개, 소규모 절차적 프로그램 1개, 소규모 비절차적 프로그램 1개)을 선정]하고 해당 프로그램의 책임자를 참여하도록 초청했습니다. 1차 인터뷰 후, 각 참여 기관의 프로그램 책임자를 추가로 초청했으며, 연구자들은 각 기관의 각 범주(대규모 절차적, 대규모 비절차적, 소규모 절차적, 소규모 비절차적)에서 무작위로 하나의 프로그램을 선택했습니다. 연구자들은 이러한 추가 참가자를 통해 포화 상태에 도달할 것으로 예상했습니다.
To maximize diversity of responses, the investigators chose stratified purposive sampling12 of residency program directors from the University of California Schools of Medicine at Davis, Irvine, Los Angeles, San Diego, and San Francisco. Programs were classified as larger or smaller and as procedural or nonprocedural (see Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/A277). Using a random number generator to increase generalizability and assure representation, the investigators selected eight residency programs from each participating institution (three large procedural, three large nonprocedural, one small procedural, one small nonprocedural) and invited the directors of those programs to participate. After the initial interviews, additional program directors from each of the participating institutions were invited—the investigators randomly selected one program from each category at each institution (large procedural, large nonprocedural, small procedural, small nonprocedural). They anticipated achieving saturation with these additional participants.
데이터 수집
Data collection
연구 책임자(K.E.H.)는 캘리포니아 대학교 샌프란시스코 의과대학의 펠로우십 디렉터와 세 차례의 파일럿 인터뷰를 실시하여 [인터뷰 가이드를 명확하게 수정]했습니다. 연구팀은 각 레지던트 프로그램의 프로그램 요건과 집단 의사 결정에 관한 문헌을 검토하여 [인터뷰 질문을 개발]했으며, 각자의 전문 지식도 활용했습니다.
The principal investigator (K.E.H.) conducted three pilot interviews with fellowship directors from the University of California, San Francisco, School of Medicine and refined the interview guide for clarification. The research team developed the interview questions by reviewing the program requirements for each residency program and the literature on group decision making; they also drew on their expertise.
잠재적 참가자에게는 이메일 참여 초대장을 보냈습니다. 응답하지 않은 참가자에게는 최대 3번의 후속 이메일 초대를 보냈습니다. 참가자들은 구두 동의를 한 후 7가지 항목의 전자 설문지와 1회의 인터뷰를 완료했습니다. 설문지에는 참가자의 전문 분야, 성별, 나이, CCC 의장, 프로그램 디렉터 및 부프로그램 디렉터로 활동한 기간, 프로그램에 참여한 전공의 수에 대한 질문이 포함되었습니다. 숙련된 연구 보조원은 2013년 1월부터 5월까지, 7개의 1단계 전문과목에 대한 NAS의 역량 위원회 구성 요건을 준수하기 위한 2013년 7월 마감일 발표 이후부터 그 직전까지 각 참가자와 약 30분 동안 전화 인터뷰를 진행했습니다.13 인터뷰는 녹음되었으며, 전문 전사 서비스에서 이를 그대로 옮겨 적었습니다. 참가자들은 보상을 받지 않았습니다.
Potential participants received an e-mail invitation to participate. Nonrespondents received up to three follow-up e-mail invitations. Participants provided verbal consent and completed a seven-item electronic questionnaire and one interview. The questionnaire queried the participant’s specialty; gender; age; years as a CCC chair, program director, and/or associate program director; and number of residents in the program. The trained research assistant conducted phone interviews lasting approximately 30 minutes with each participant between January and May 2013, after the announcement about but just prior to the July 2013 deadline for the seven Phase 1 specialties to adhere to the NAS requirement to have a competency committee.13 Interviews were recorded; a professional transcription service transcribed them verbatim. Participants did not receive compensation.
인터뷰 질문은 회원 구성, 회원 교육, 위원회 리더십, 회의 빈도 및 사용 가능한 상주 성과 데이터를 포함하여 CCC에 대한 설명을 요청했습니다(부록 1 참조). [CCC가 운영되지 않는 프로그램]의 경우, 프로그램 책임자에게 전공의의 성과를 검토하는 데 사용되는 프로세스를 설명하도록 요청했습니다. 모든 참가자는 신원 정보를 사용하지 않고 [최근 어려움을 겪고 있는 전공의의 사례]와 [일반적인(어려움을 겪지 않는) 전공의의 사례]에 대한 검토 프로세스를 설명했습니다. 질문은 위원회 또는 검토 절차의 주요 목적에 대한 프로그램 책임자의 인식, 현재 절차의 장단점, 절차에 예상되는 변경 사항을 다루었습니다.
Interview questions solicited descriptions of CCCs, including membership composition, member training, committee leadership, frequency of meetings, and resident performance data available (see Appendix 1). For programs without a functioning CCC, the program director was asked to describe the process used to review residents’ performance. All participants described, without using any identifying information, the review process for a recent example of a struggling resident and an example of a typical (nonstruggling) resident. Questions addressed program directors’ perceptions of the main purpose their committee or review process served, pros and cons of their current procedures, and any anticipated changes to their procedures.
5명의 조사자(K.E.H., B.C., W.I., E.H., 연구 보조원)가 명확성을 위해 2~4개의 초기 녹취록을 읽은 후, 불명확한 질문 1개를 삭제하고 두 개의 질문을 추가했습니다.
Five investigators (K.E.H., B.C., W.I., E.H., the research assistant) read two to four early transcripts for clarity; subsequently, one unclear question was dropped, and two questions were added.
분석
Analysis
두 명의 연구자(연구 조교인 K.E.H.)가 각 프로그램에 대한 [기술적 정보]를 추출했는데, 여기에는 [CCC의 존재 여부, 위원회 위원 수, 위원회 회의 빈도, 전공의의 성과를 검토하는 다른 위원회의 존재 여부]가 포함되었습니다.
Two investigators (K.E.H., the research assistant) extracted descriptive information about each program, including the presence of a CCC, the number of committee members, the frequency of committee meetings, and the presence of any other committee that also reviewed residents’ performance.
주제에 대한 질적 분석을 위해 연구자들은 [지속적 비교 방법14] 및 [불일치 사례 분석]을 사용한 [데이터 수집과 함께 반복적으로 전사 코딩]을 수행했습니다.15 한 명의 연구자(K.E.H.)가 처음 10개의 인터뷰를 읽고 초기 주제를 생성했습니다. 4명의 추가 연구자(B.C., W.I., E.H., P.S.O.)가 각각 10명의 그룹에서 [무작위로 선정된 5~6개의 녹취록을 검토]하고 [코드북 초안]에서 [주제를 검토]한 후 [연구책임자와 만나 코드북 추가 및 수정]에 기여했습니다. 그 후 [코드북이 최종 완성]되었습니다. 두 명의 코더(연구 조교인 K.E.H.)가 [각각 독립적으로 나머지 모든 트랜스크립트를 코딩]했습니다. 이들은 전체 트랜스크립트 검토와 토론을 통해 불일치하는 부분을 해결했습니다.
For the qualitative analysis of themes, the investigators conducted transcript coding iteratively with data collection using the constant comparative method14 and discrepant case analysis.15 One investigator (K.E.H.) read the first 10 interviews and generated initial themes. Four additional investigators (B.C., W.I., E.H., P.S.O.) each reviewed 5 to 6 randomly selected transcripts from that group of 10, reviewed the themes in a draft codebook, and met with the principal investigator to contribute codebook additions and revisions. The codebook then was finalized. Two coders (K.E.H., the research assistant) each independently coded all remaining transcripts. They resolved discrepancies through full transcript review and discussion.
[다양한 관점]을 가진 [다양한 연구자 그룹 간]의 [정기적인 연구팀 회의]는 삼각측량의 목적에 부합했습니다.16 연구자들은 초기 (개방형) 코딩을 기반으로 데이터를 검토하고 토론하여 더 큰 새로운 주제를 식별하고 구체화했습니다.
Regular research team meetings amongst this diverse group of investigators with multiple perspectives served the purpose of triangulation.16 On the basis of the initial (open) coding, the investigators reviewed and discussed the data to identify and refine larger emerging themes.
데이터 코딩, 구성 및 검색에는 Dedoose 버전 4.5(미국 캘리포니아주 로스앤젤레스의 SocioCultural Research Consultants, LLC) 웹 애플리케이션 소프트웨어가 사용되었습니다.
Dedoose Version 4.5 (SocioCultural Research Consultants, LLC, Los Angeles, California) Web application software was used for coding, organizing, and retrieving data.
결과
Results
초청된 레지던트 프로그램 디렉터 60명 중 34명(56.7%)이 인터뷰를 완료했습니다. 9명의 프로그램 디렉터가 추가로 참여하기로 동의했지만 일정상의 제약이나 연구 주제가 포화 상태에 이르렀기 때문에 참여하지 않았습니다. 표본 추출 절차에 따라 참가자는 22개의 대규모 프로그램과 12개의 소규모 프로그램을 포함했으며, 15개의 절차적 전문 분야와 19개의 비절차적 전문 분야를 대표했습니다. 학교별 참여율은 33.3%에서 75.0%까지 다양했습니다. 참가자는 남성이 23명, 여성이 11명이었습니다.
Thirty-four of 60 (56.7%) invited residency program directors completed an interview. Nine additional program directors agreed to participate but did not either because of schedule constraints or because the study had achieved thematic saturation. Consistent with our sampling procedure, participants included 22 large and 12 small programs, representing 15 procedural and 19 nonprocedural specialties. The participation rate by school varied from 33.3% to 75.0%. Participants included 23 men and 11 women.
전체적으로 31명(91.2%)의 참가자가 인구통계학적 설문조사를 완료했습니다. 평균 연령은 48세였으며, 35세 미만에서 66세까지 다양했습니다. 이들은 평균 7년(1~21년 범위, 30명)간 프로그램 디렉터로 근무했으며, 이는 전국 프로그램 디렉터와 비슷한 수준입니다.17 14명은 이전에 부 프로그램 디렉터로 근무한 경험이 있습니다. 연구 당시 각 프로그램의 전공의 수는 평균 39명이었습니다(범위 0~99명, 소규모 프로그램 1곳은 당시 전공의가 없었습니다).
Overall, 31 (91.2%) participants completed the demographic survey. Their mean age was 48, ranging from under 35 to 66 years. They had served as program director for an average of 7 years (range 1–21, n = 30), comparable to program directors nationally.17 Fourteen had previously served as an associate program director. The number of residents in each program at the time of the study averaged 39 (range 0–99; one small program did not have residents at the time).
CCC 구조에 대한 설명
Description of CCC structure
34개 프로그램 중 21개 프로그램에 CCC가 있었습니다. 22명의 참가자는 평균 5.6년(범위 1-18년) 동안 CCC 또는 이와 동등한 그룹의 의장을 맡았습니다. 위원회 구성원의 규모는 3명에서 약 25명까지 다양했지만, 많은 참가자가 참석 인원이 다양하고 전체 인원에 미치지 못한다고 설명했습니다. 회의 빈도는 [매주에서 매년까지] 다양했습니다. CCC가 있는 10개 프로그램은 레지던트 성과에 대해 논의하는 두 번째 장소로 [광범위한 교육 위원회] 또는 [전체 교수진 회의]가 있다고 설명했으며, 이러한 장소를 통해 어려움을 겪는 레지던트를 조기에 파악하거나 보다 심도 있는 논의를 할 수 있었다고 답했습니다.
Twenty-one of the 34 programs had CCCs. Twenty-two participants had chaired a CCC or equivalent group for an average of 5.6 years (range 1–18 years). Committee membership ranged in size from 3 to about 25 members, although many participants described that attendance varied and was less than the full possible membership. Meeting frequency varied from weekly to yearly. Ten programs with CCCs described second venues for discussing residents’ performance, such as a broader education committee or a general faculty meeting; these venues allowed for early identification or more in-depth discussion of struggling residents.
레지던트 평가의 특징
Characteristics of resident evaluation
분석 결과, CCC가 있는 프로그램과 없는 프로그램이 레지던트 역량 평가의 목적을 어떻게 인식하는지를 특징짓는 두 가지 주요 패러다임이 나타났습니다. 이러한 패러다임은 [문제 식별 모델]과 [발달 모델]의 원칙과 일치했습니다.
- [문제 식별 모델]이 우세했습니다. 이 모델은 레지던트 성과 평가의 주요 목적을 어려움을 겪고 있는 소수의 레지던트를 식별하는 것으로 간주했습니다. 이 모델의 암묵적인 가정은 레지던트 프로그램에 참여하면 대부분의 레지던트가 수련이 끝날 때까지 역량과 성공을 거둘 수 있다는 것이었습니다.
- 이와는 대조적으로 [발달 모델]은 교육을 숙달을 향한 일련의 계획된 단계로 간주했습니다. 모든 레지던트가 학습자라는 기본 오리엔테이션은 '문제' 레지던트를 선별하지 않고 레지던트의 점진적인 발전을 유도하는 데 초점을 맞추었습니다.
일부 프로그램에는 두 가지 모델의 요소가 모두 포함되어 있었습니다.
From our analysis, two major paradigms emerged that characterized how programs with and without CCCs perceived their purpose in evaluating residents’ competence. These paradigms aligned with the tenets of a problem identification model and a developmental model.
- The problem identification model predominated. This model viewed the primary purpose of resident performance review as identifying the few struggling residents. The implicit assumption with this model was that participating in the residency program would lead most residents to competence and success by the end of training.
- In contrast, the developmental model viewed education as a planned series of steps toward mastery. The underlying orientation that all residents were learners informed a focus on guiding residents’ progressive development, without necessarily singling out “problem” residents.
Some programs had elements of both models.
아래 결과는 [세 가지 주요 주제]와 [각 모델에 적용되는 방식]을 설명합니다. 참가자의 연구 식별 번호는 괄호 안에 예시적인 인용문과 함께 나열되어 있습니다. 주요 주제와 관련 하위 주제는 여기에 나열되어 있으며 표 1에 요약되어 있습니다.
- (1) 레지던트 성과 데이터 사용: 다양한 도구, 임상 시스템 데이터, 비공식 데이터,
- (2) 위원회 위원 참여: 위원회 위원의 자격, 위원회 과정의 신뢰성에 대한 기여도, 의사 결정,
- (3) 레지던트에 대한 시사점: 위원회 검토 결과, 받은 피드백, 위험에 대처하는 방법 등이 그것입니다.
그런 다음 각 모델에 대한 성과 검토 프로세스의 효과성에 대한 참여자의 인식을 설명합니다.
The results below describe three major themes and how they apply within each model. Participants’ study identification numbers are listed in parentheses with illustrative quotations. The major themes and associated subthemes are listed here and summarized in Table 1. They are
- (1) Use of residents’ performance data: variety of tools, clinical systems data, and informal data;
- (2) Committee member engagement: committee members’ qualifications, contributions to the credibility of the committee process, and decision making; and
- (3) Implications for residents: committee review consequences, feedback received, and dealing with risks.
The results then describe participants’ perceptions of the effectiveness of their performance review processes with each model.
입주자의 성과 데이터 사용.
Use of residents’ performance data.
레지던트의 성과 데이터는 [임상 시스템 데이터] 및 [비공식적으로 수집된 데이터]와 함께 레지던트 프로그램에서 구현된 [다양한 도구]에서 나왔습니다. 프로그램에서 다양한 평가 도구를 사용했지만, 성과 검토 프로세스를 위한 평가 데이터는 주로 감독자의 [글로벌 평가]와 [지식 시험]으로 구성되었습니다.
Residents’ performance data came from a variety of tools implemented in the residency program along with clinical systems data and informally gathered data. Although programs used a variety of assessment tools, evaluation data for the performance review process constituted primarily supervisors’ global evaluations and knowledge examinations.
[문제 식별 모델]에서 이러한 성과 데이터의 중요한 측면은 일반적으로 [낮은 점수 경고]와 같은 [이상값을 적시에 인식]하고 [임상 수퍼바이저의 구두 보고]를 포함하여 [여러 정보 출처에서 성과 문제를 확인하는 것]이었습니다. 지속적인 데이터 수집에도 불구하고 위원회 회의에서 CCC 위원은 특히 [어려움을 겪고 있는 전공의]에 대한 평가 내용을 보완하기 위한 중요한 추가 정보원으로 간주되었습니다. 따라서 [위원회 위원]은 대부분 [여러 현장에서 전공의와의 접촉을 기준으로 선정]되었습니다. 위원들은 [전공의들과의 경험]을 통해 [전공의의 역량과 수행상의 문제점을 전반적으로 파악]할 수 있었으며, 특히 [소규모 프로그램]과 [프로시저 중심 전공]처럼 [직접 관찰이 용이한 분야]에서는 더욱 그러했습니다.
With the problem identification model, valued aspects of these performance data were the timely recognition of outliers, usually as low score alerts, and the corroboration of performance problems from more than one information source, including a verbal report from a clinical supervisor. Despite ongoing data collection, CCC members were viewed as important additional sources of information at committee meetings to supplement what was written in evaluations, particularly about struggling residents. Consequently, committee members were selected in large part on the basis of their contact with residents across sites. Committee members’ experience with residents informed an overall understanding of the residents’ competence and any performance problems, particularly in small programs and procedural specialties, whose characteristics facilitated direct observation.
환자 또는 전문가 간 직원의 [사고 보고서 및 불만 사항]과 같은 [임상 시스템 데이터]는 중요한 "위험 신호" 문제 식별 메커니즘을 구성했습니다. 이를 통해 프로그램 디렉터와 CCC는 해당 레지던트에 대한 이전 슈퍼바이저의 평가와 다른 슈퍼바이저의 구두 의견 등 다른 성과 데이터를 검토한 후 개입 계획을 수립했습니다. 여러 참가자가 [교수진 및 치프 레지던트와의 복도 대화]와 [교수진의 이메일]을 통해 [비공식적으로 수집한 데이터]의 가치에 대해 설명했습니다. 이러한 정보는 "대개 [긍정적인 것이 아니라 문제에 관한 것]이었습니다."(1011).
Clinical systems data, such as incident reports and complaints from patients or interprofessional staff, constituted important “red-flag” problem identification mechanisms. These triggered program directors and CCCs to review other performance data for those residents, such as their prior supervisors’ evaluations and verbal comments from other supervisors, then to generate plans to intervene. Multiple participants described the value of the data they gathered informally through hallway conversations with faculty and chief residents and through e-mails from faculty. This information was “usually about a problem, not something that’s positive” (1011).
참가자들은 위원회 검토를 위한 [평가 데이터를 효율적으로 수집하고 종합하는 데 어려움]을 겪었으며, 이는 [발달 모델]을 구현하는 데 방해가 되는 것 같다고 설명했습니다. 한 참가자는 [레지던트의 진행 상황을 특성화하기 위해 정보를 효율적으로 종합하는 것이 어렵다]고 설명했습니다:
Participants described challenges with efficiently gathering and synthesizing evaluation data for committee review, which seemed to impede their ability to implement the developmental model. One described the challenge of synthesizing information efficiently to characterize a resident’s progress:
지금 데이터를 수집하는 데 너무 오래 걸리고...... 예를 들어, 레지던트가 발달적으로 어디에 있는지, 임상 역량과 임상 독립성을 달성하는 데 있어 어디에 있는지 생각하거나 기록할 수 없습니다. (0901)
Our efficiency with gathering the data right now, it takes way too long.… I can’t, for example, think about or record in it where they are developmentally, or where they are on achieving clinical competence and clinical independence. (0901)
[여러 출처의 피드백, 동료 평가, 직접 관찰한 술기] 등 [다양한 평가 도구]가 널리 사용되고 있음에도 불구하고, 대부분의 참가자들은 [이러한 데이터를 사용하여 각 레지던트의 발달 궤적을 특성화하지 않았습니다]. [임상 시스템 위험 신호 도구]나 [비공식적으로 수집한 데이터]는 [성과 검토의 발달 모델]을 설명하는 맥락에서 언급되지 않았습니다. 일부 참가자는 [발달 모델]의 기초가 될 수 있는 레지던트의 수련 연도에 따른 성과 기대치 또는 이정표를 설명했습니다.
Despite the widespread use of multiple assessment tools, such as for multisource feedback, peer evaluations, and directly observed skills, most participants did not use these data to characterize each resident’s developmental trajectory. Neither clinical systems red-flag tools nor informally gathered data were mentioned in the context of informing a developmental model of performance review. Some participants did describe performance expectations or milestones based on the resident’s year of training that could serve as the foundation for the developmental model.
위원회 위원 참여.
Committee member engagement.
프로그램 디렉터들은 [위원회 위원의 자격]이 성과 검토 프로세스에 신뢰성을 더하고 레지던트의 승진에 대한 의사 결정에 기여할 수 있다고 인식했습니다. 21개 프로그램 중 14개 프로그램에서 [CCC 위원]은 일반적으로 [프로그램 목표, 목적 또는 이정표를 배포하는 방식]으로 [위원회 역할에 대한 교육]을 받았습니다. 일부는 레지던트 평가에 관한 [연례 또는 격년 교수진 개발 세션]을 개최했습니다. 참가자들은 어려움을 겪는 레지던트에 대한 더 많은 [의견이 공유]되고, 프로그램 책임자가 [어려운 결정을 내릴 때 지원]을 받으며, [상충되는 정보가 종종 조정]되기 때문에 그룹 성과 평가가 신뢰할 수 있다고 답했습니다.
Program directors perceived that committee members’ qualifications added credibility to the performance review process and enabled them to contribute to the decision making about residents’ advancement. In 14 of the 21 programs, CCC members received training for their committee roles, typically via the distribution of program goals, objectives, or milestones. A few held annual or biannual faculty development sessions on assessing residents. Participants opined that group performance review was credible because more opinions about struggling residents were shared, the program director was supported in making difficult decisions, and conflicting information was often reconciled.
프로그램 전반에서 [문제 식별 모델]은 교수진이 [전문가, 전담 교육자 및 임상 감독자]로 인식되는 지위를 통해 교수진의 자격에 크게 의존하여 [성과 검토 책임]에 대비했습니다.
Across programs, the problem identification model relied heavily on faculty members’ qualifications via their perceived status as expert, dedicated educators and clinical supervisors to prepare them for their performance review responsibilities.
교수진들은 평가 전략이 무엇인지, 어떻게 사용하는지, 그리고 점점 더 많은 위원회에 참석하면서 이해하게 되지만 구체적인 교육은 없습니다. (5817)
It’s both kind of learn as they go and then understanding of what our assessment strategies are, how we use them and they pick it up as they attend more and more committees, but there isn’t specific training. (5817)
[레지던트를 비교하는 성과 기준]은 [레지던트 성과에 대한 교수진의 일반적인 지식], 즉 [규범적 기준]이었습니다. 레지던트에 대한 의사 결정은 [일반적으로 체계적인 심의나 투표]를 통해 결정되기보다는 [이분법적(적절하게 수행했는지 여부)]이고 [추론]에 의해 이루어졌습니다. 특정 [전공의에 대한 우려가 없다]는 것은 [승진을 위한 준비가 되어 있다]는 의미로 받아들여졌고, [의사 결정]은 대개 [어려움을 겪고 있는 전공의]에 초점을 맞추었습니다. 그 결과, CCC와 프로그램 디렉터는 대다수 전공의에 대한 자세한 데이터를 논의하거나 검토하지 않는 경우가 많았습니다. 문제 파악에 초점을 맞춘 의사 결정은 매우 효율적이라고 설명했습니다: 레지던트 한 명당 "보통 1~2분 정도 걸린다"(0771), "다른 교수진에게는 매우 쉽다"(4399)는 응답이 있었습니다. 참가자들은 다양한 성과 등급을 가진 레지던트를 돕는 것이 어렵다는 것을 알았고, 위원회 위원들이 직접 경험에 대해 논의하거나 다른 임상 교수진에게 연락하여 추가 데이터 수집을 통해 이러한 상황을 관리했습니다.
The performance standard against which residents were compared was these faculty members’ general knowledge of resident performance—their normative frame of reference. Decision making about residents was commonly dichotomous (performing adequately or not) and inferred rather than determined by systematic deliberation or voting. The absence of concerns regarding a particular resident was taken to imply readiness for advancement, and decision making usually focused on struggling residents. Consequently, CCCs and program directors often did not discuss or review detailed data regarding the majority of residents. Decision making focused on problem identification was described as very efficient: “It usually takes a minute or two” per resident (0771) and “very easy for the other faculty” (4399). Participants found it difficult to help residents with variable performance ratings, and they managed these situations through additional data gathering, either through committee members’ discussing their own direct experience or by contacting other clinical faculty.
드물게 참가자들은 레지던트의 진척도를 분석하기 위해 [발달 모델]을 사용했다고 설명했습니다. 구체적인 교수진 교육에 대해서는 설명하지 않았습니다. 일부 CCC는 [발달 모델 사용]을 뒷받침할 수 있는 [이정표 또는 단계별 진전 기대치]를 적용하기 시작했습니다. 4명의 참가자는 [모든 레지던트의 성과 데이터를 공유]하여 CCC 구성원의 참여를 유도했다고 구체적으로 설명했습니다. 일부는 의사 결정을 위한 마일스톤과 전공의의 성과를 비교하는 데 따르는 [가치와 업무량], 그리고 위원회 [결정의 신뢰성을 실제로 향상시킬 수 있을지에 대해 우려]를 표명했습니다: "더 많은 목록과 체크리스트, 요구 사항으로 이미 이 일을 정말 잘 해내고 있는 교수진의 사기를 꺾고 싶지 않습니다."(0370).
Infrequently, participants described using a developmental model for analyzing residents’ progress. They did not describe specific faculty training. Some with CCCs were beginning to apply milestones or stepwise expectations for progress that would support the use of a developmental model. Four participants specifically described engaging CCC members by sharing performance data for all residents. Some expressed trepidation about the value and workload involved with comparing residents’ performance against milestones for decision making and whether it would really enhance the credibility of the committee decisions: “I just don’t want to dampen the spirit of my faculty that do this really well already with more lists and checklists and demands” (0370).
전공의를 위한 시사점.
Implications for residents.
성과 검토 프로세스의 시사점에는 위원회가 모든 전공의에 대해 논의했는지, 피드백이 어떻게 전달되었는지, 전공의에 대한 잠재적 위험이 어디에 존재하는지 등이 포함되었습니다. 16개 위원회는 매 회의마다 모든 전공의를 간략하게나마 검토했지만, 다른 위원회는 어려움을 겪고 있는 전공의에 대해서만 논의했습니다. 모든 전공의를 심층적으로 검토한 프로그램의 한 참가자는 다음과 같이 설명했습니다:
The implications of the performance review process included whether committees discussed all residents, how feedback was delivered, and where potential risks to residents existed. Sixteen committees reviewed all residents at least briefly at each meeting; others discussed only struggling residents. One participant from a program with a more in-depth review of all residents explained:
마지막으로 만난 이후 지난 6개월 동안의 점수, 평가 점수 및 의견을 강의실에서 각 전공의별로 투사한 다음 각 전공의에 대해 개별적으로 논의합니다. (4399)
Their scores, their evaluation scores and the comments from the last six months since the last time we met are projected for each resident in the lecture room and then we discuss each resident individually. (4399)
거의 모든 참가자가 회의 후 전공의들에게 피드백을 제공한다고 답했으며, 보통 2년에 한 번씩 피드백을 제공한다고 답했습니다.
Nearly all participants described providing feedback to residents after meetings, usually biannually.
[문제 식별 모델]은 대부분의 성과 검토 시간을 [어려움을 겪고 있는 레지던트]에게 할당했습니다: "우리가 이야기한 사람들 중 완벽하게 잘하고 있는 사례는 없습니다."(1582). CCC는 평가 도구나 위원회 위원의 개인적 지식으로 파악한 성과가 우수한 레지던트에 대해 논의하여 상, 펠로우십 또는 교수직 후보로 추천하는 것을 제안하기도 했습니다. [문제 파악에 중점을 둔 프로그램]에서는 레지던트에게 [피드백 보고서]를 보내거나, 프로그램 디렉터와 함께 레지던트를 위한 [피드백 미팅]을 예약하는 경우도 있었고, 피드백을 어떻게 활용할지 결정할 [책임을 레지던트에게 떠넘기는 경우]도 있었습니다. 이러한 피드백 회의에서는 [성장에 필요한 부분에 최소한의 시간만 할당]했는데, 한 참가자는 다음과 같이 전공의에게 피드백을 주는 것에 대해 설명했습니다:
The problem identification model allocated most performance review time to struggling residents: “There aren’t examples of people we’ve talked about who were doing just perfectly well” (1582). CCCs sometimes discussed high-performing residents, identified by evaluation tools or committee members’ personal knowledge, to suggest nominating them for awards, fellowships, or faculty positions. Programs oriented toward problem identification described sending feedback reports to residents; some scheduled feedback meetings for residents with the program director, whereas others relegated the responsibility for figuring out how to use the feedback to the residents. These feedback meetings allocated minimal time on areas for growth; one participant described giving a resident feedback as follows:
자신에 관해서는 잘하고 있다고 할 말이 별로 없습니다. 저는 그저 그들이 여전히 잘하고 있다고 격려할 뿐입니다. (2800)
Regarding themselves, I just don’t have much to say, that they’re doing a good job. I just encourage them to still do a good job. (2800)
여러 참가자가 성과 평가가 [편향된 프로세스]가 될 수 있기 때문에 위험하다고 인식했습니다. 이들은 전공의에게 도움이 되는 피드백의 내용이 아닌 대규모 또는 대표 위원회 내에서 성과 정보를 공유(전달)할 경우, 위원회 위원들이 전공의에 대한 [해로운 정보를 알게 되면 전공의에게 해를 끼칠 수 있다는 우려]를 표명했습니다. 임상 수퍼바이저가 성과 우려 사항을 서면으로 [문서화하는 것을 꺼린다]는 사실을 인지한 프로그램 디렉터들은 [구두 또는 이메일로 우려 사항을 보고하거나 익명의 레지던트 성과 리뷰]를 사용했습니다. 일부 프로그램 디렉터들은 레지던트들이 피드백을 받기 위해 자신들을 만나는 것을 부담스러워한다는 것을 감지했습니다.
Multiple participants perceived risks with performance review because it could be a potentially biased process. They expressed apprehension that sharing performance information (forward-feeding) within large or representative committees, rather than serving as the content of helpful feedback to residents, could harm residents if committee members learned damaging information about their trainees. Perceiving clinical supervisors’ reluctance to document performance concerns in writing, program directors invited verbal or e-mail reports of concerns or used anonymous resident performance reviews. Some program directors sensed that residents were nervous to meet with them for feedback.
[발달 모델]에서, [이정표]는 성과 검토를 안내하고 여러 역량 영역에서 전공의의 상대적 강점과 약점을 파악하도록 했습니다. [피드백 토론]에서는 각 레지던트의 개선이 필요한 영역을 파악하는 데 우선순위를 두었습니다. 한 참가자는 이렇게 설명했습니다:
With a developmental model, milestones guided performance review and the identification of residents’ relative strengths and weaknesses across multiple domains of competence. Feedback discussions prioritized the identification of areas for improvement for each resident. One participant explained:
이러한 벤치마크는 레지던트의 목표와 벤치마크가 무엇인지에 대해 레지던트, 그리고 교수진과 매우 투명하게 소통할 수 있게 해주기 때문에 매우 유용합니다. (1570)
These benchmarks are great because it lets us have a very transparent communication with our residents as to what the goals and benchmarks of residency are and then as well as with the faculty. (1570)
일부 프로그램에서는 [레지던트 어드바이저를 CCC 회의에 참석]시켜, 보다 심도 있는 피드백과 학습 계획을 제공하기도 했습니다. 피드백의 유용성을 높이기 위한 또 다른 접근 방식은 [각 레지던트의 성과를 맥락화]하기 위해, 프로그램 내 [다른 레지던트에 대한 집계 데이터를 제공]하는 것이었습니다. [발달 모델]은 레지던트의 [점진적인 성숙]이 예상되고, [모든 레지던트가 성장할 수 있는 영역이 있기 때문에], 성과 검토의 위험에 대한 [우려를 완화]하는 것 같았습니다.
Some programs enlisted resident advisors who attended the CCC meetings to inform more in-depth feedback and learning planning. Another approach to enhance feedback usefulness was providing aggregate data about the other residents in the program to contextualize each resident’s performance. The developmental model seemed to mitigate concerns about the risks of performance review because residents’ progressive maturation was expected and all residents would have areas for growth.
성과 검토의 효과에 대한 증거.
Evidence of the effectiveness of performance review.
거의 모든 참가자가 [성과 검토 프로세스에 대해 높은 자신감]을 나타냈습니다. 그 근거는 '최종 결과물'(레지던트)이 [우수하다는 느낌]에 근거한 [효과성에 대한 게슈탈트적 인상]부터 [모든 레지던트를 신중하게 평가하는 엄격한 데이터 기반 프로세스]라는 흔하지 않은 설명까지 다양했습니다. 이러한 자신감은 교수진 개개인의 경험과 헌신, 그리고 그룹 전체의 노력에서 비롯된 것이었습니다. 일부 참가자는 프로세스가 "적절했다" 또는 "80%는 좋았다"고 말하는 등 긍정적인 확신을 양면성으로 표현했으며, 한 참가자는 "누군가 더 좋은 아이디어를 내놓지 않는 한 이 정도면 충분하다고 생각한다"고 말했습니다(7415).
Almost all participants expressed high confidence in their performance review processes. The grounds they cited varied, from gestalt impressions of effectiveness based on a sense that their “end product” (the trainees) was excellent, to the less common description of a rigorous, data-driven process in which every resident was carefully assessed. This confidence was derived from the experiences and commitment of individual faculty members and from the group as a whole. Some participants qualified their positive convictions with ambivalence, such as saying that the process was “adequate” or “80% good”; one said, “I feel reasonably well, I guess, as well as I could, unless someone comes up with some better ideas” (7415).
일부 응답자는 어려움을 겪고 있는 전공의에게는 효과적이지만 다른 전공의에게는 그렇지 않을 수도 있다는 우려를 표명했습니다. 한 명은 전공의의 역량에 대한 궤적에 대해 불확실성을 표명했습니다:
Some shared misgivings that their processes were effective for struggling residents but perhaps not for other residents. One expressed uncertainty about residents’ trajectory toward competence:
누군가 저에게 "이 2년차 레지던트는 [특정 임상 활동을] 할 수 있는 위치에 있나요?"라고 묻는다면... 모든 2년차 레지던트에게 대답할 수 있었으면 하는 질문입니다. (3651)
If someone were to ask me, “Is this second-year resident in a position where they can [do this particular clinical activity]?”… That’s a question I’d like to be able to answer for every second-year resident. (3651)
그럼에도 불구하고 이 참가자는 대부분의 다른 참가자들과 마찬가지로 [모든 레지던트가 졸업 때가 되면 필요한 활동을 수행할 수 있으며] [펠로우십과 고용주로부터 칭찬을 받는다]는 데 동의했습니다.
Nonetheless, this participant concurred with most others that all residents could perform the necessary activities by graduation and were praised by fellowships and employers.
향후 방향.
Future directions.
레지던트 성과 평가에 [예상되는 변화]에 대한 질문에, 참가자들은 기존 위원회를 추가하거나 변경하는 것이 [단순히 요건을 충족하는 정도]와 [가치를 더하는 정도]에 대해 다양한 의견을 제시했습니다. 일부는 현재의 위원회가 이름만 바꾸거나 "이름만" 문서를 제공하는 것만으로도 ACGME의 기대치를 준수하고 있음을 입증할 수 있을 것이라고 예측한 반면, 더 효과적인 업무는 공식적인 레지던트 성과 검토 외에서 계속 이루어질 것이라고 예상했습니다. 참가자들은 마일스톤이 있는 성과 검토를 위해서는 데이터 캡처, 종합 및 프레젠테이션을 위한 더 많은 시간과 더 나은 전자 시스템이 필요할 것이라고 예측했습니다. 마일스톤이 글로벌 평가나 전반적인 역량에 기반한 리뷰보다 더 세분화되고 구체적일 것이라는 기대가 많았습니다. 교수진이 마일스톤을 어떻게 이해할지, 마일스톤 간 성과 불일치를 어떻게 관리할지, 새로운 시스템이 현재 절차보다 더 나은지 등이 불확실성이라고 답했습니다.
When asked about anticipated changes to their resident performance review, participants’ opinions varied about the degree to which adding or changing an existing committee would simply satisfy requirements versus add value. Some predicted that the current committee would demonstrate adherence to ACGME expectations just by changing its name or providing documentation “in name only,” while the more effective work would continue to occur outside of formal resident performance review. Participants predicted that performance review with milestones would necessitate more time and better electronic systems for data capture, synthesis, and presentation. Many were hopeful that milestones would provide more granularity and specificity than reviews based on global evaluations or overarching competencies. Common uncertainties included how faculty would understand milestones, how discrepant performance across milestones would be managed, and whether the new system would be better than current procedures.
토론
Discussion
이번 연구 결과는 레지던트 프로그램이 광범위한 데이터 수집과 정보 종합에 대한 다양한 접근 방식을 통해 [레지던트 성과 평가에 참여하는 방식]을 보여줍니다. 분석 결과, 성과 검토 프로세스를 이끄는 두 가지 패러다임, 즉 [문제 식별 모델]과 [발달 모델]이 확인되었습니다. [문제 식별 모델]에 따른 레지던트의 발전에 대한 의사 결정은 대부분의 레지던트가 [수련이 끝날 때까지 성공할 것이라는 가정과 함께 암묵적]으로 이루어지며, 이는 의학교육의 [체류 시간 또는 차 우려내기 모델]과 일치합니다.18,19 대부분의 프로그램은 발달적 접근법보다는 [문제 식별 접근법]을 취하고 있으며, 마일스톤 기반 평가 및 보고에 대한 새로운 요건이 요구되는 이 중요한 시기에 마일스톤이 어떻게 유리하게 운영될 것인지에 대해 의문을 제기합니다.19 또한 우리의 연구 결과는 NAS의 목표인 발달적 모델이 개별화된 역량 경로를 어떻게 지원할지에 대한 레지던트 프로그램 디렉터들의 질문, 우려 및 열망을 드러내고 있습니다.
Our findings illustrate the ways that residency programs engage in resident performance review through broad data collection and varying approaches to information synthesis. Our analyses identified two paradigms guiding performance review processes—a problem identification model and a developmental model. Decision making about residents’ advancement under the problem identification model is implicit, with the assumption that most residents will become successful by the end of training, consistent with the dwell time or tea-steeping model of medical education.18,19 Most programs take a problem identification approach rather than a developmental approach, and they question how milestones will be advantageously operationalized at this pivotal time of new requirements for milestones-based assessment and reporting.19 Our findings also reveal the questions, concerns, and aspirations that residency program directors harbor about how the developmental model—the goal of the NAS—will support individualized paths to competence.
이 두 가지 모델은 [품질 보증]과 [품질 개선]의 원칙을 잘 보여줍니다. [문제 식별 모델]은 어려움을 겪고 있는 전공의를 식별하여 [품질 보증]의 목적을 달성합니다. 이 모델이 전공의에게 미치는 위험에 대한 프로그램 책임자의 설명은 [품질 보증]을 [이상값을 식별하는 데 필요한 과정]으로 해석하는 것과 일치하지만, 잠재적으로 [징벌적]이며 [방어성을 유발]하기 쉽습니다.20 이 모델에서 [전공의의 최선의 행동 방침]은 [문제를 일으키지 않는 것]이며, 사소한 성과 결함이 성과 [문제로 분류되는 수준까지 올라가지 않는 한 용인될 수 있다고 추론]할 수 있습니다. 전공의가 진정으로 [학습을 위한 성과 피드백]을 원하더라도, [무능해 보이거나 감독자와의 관계가 위태로워질 것을 두려워]할 수 있습니다.21 [형성적 피드백이 고위험 총괄적 정보로 인식]되는 이러한 시나리오는 모든 레지던트가 더 나아지기 위한 노력을 유도하는 도구로서 [마일스톤의 의도된 가치를 위태롭게 합니다].
These two models exemplify the tenets of quality assurance and quality improvement. The problem identification model serves a quality assurance purpose by identifying struggling residents. Program directors’ descriptions of the risks of this model for residents are consistent with interpretations of quality assurance as a necessary process to identify outliers, yet also potentially punitive and prone to generating defensiveness.20 In this model, residents may infer that the best course of action is to stay out of trouble and that minor performance deficits are tolerated unless they rise to the level of being labeled performance concerns. Even with a genuine desire for performance feedback to guide learning, trainees can fear appearing incompetent or jeopardizing relationships with supervisors.21 This scenario, in which formative feedback is perceived as high-stakes summative information, jeopardizes the intended value of the milestones as a tool to guide all residents’ efforts to become better.
성과 검토의 [발달 모델]은, [마일스톤 기반 평가]를 통합하여, [지속적인 개선을 위한 전략]을 능동적으로 통합하는 [품질 개선]과 일치합니다. 환자 치료의 [품질 개선]에 중점을 두면서 의료 전문가들이 학습하고 행동을 변화시켜야 했던 것처럼, 레지던트 성과 평가의 [발달 모델]도 마찬가지로 [문화와 절차를 변화시켜야 합니다]. 이 모델에 따른 평가 프로세스는 [학습자 중심적]이며, [피드백 및 코칭]을 통해 독립적인 진료 역량을 갖추기 위해 [레지던트가 스스로 개선]할 수 있도록 [동기와 기술을 부여]하는 것을 목표로 합니다.22,23
The developmental model of performance review, by incorporating milestones-based assessment, aligns with quality improvement, which proactively incorporates strategies for continuous improvement. Just as the emphasis on quality improvement in patient care has required medical professionals to learn and change their behaviors, the developmental model of resident performance review similarly requires changing culture and procedures. Assessment processes under this model aim to be learner-centered and to empower residents with the motivations and skills, supported with feedback and coaching, to self-improve toward competence for independent practice.22,23
레지던트 프로그램에서 [이 두 가지 모델이 공존]할 수 있지만, 일부 프로그램 디렉터, 특히 성과가 우수한 레지던트가 있는 프로그램 디렉터는 벤치마크를 충족하지 못하는 [소수의 레지던트]를 위해 집중적인 이정표 기반 지원 또는 교정을 제공하기 위해 자원을 우선순위에 둘 수 있습니다.
These two models may coexist in residency programs, although it is possible that some program directors, particularly those with high-performing residents, may prioritize resources to provide intensive, milestones-based support or remediation for the small number of residents who do not meet the benchmarks.
연구 결과에 따르면 프로그램은 레지던트 성과 검토 및 역량 결정을 위해 [문제 식별 모델] 및 [발달 모델]의 요소를 모두 통합할 수 있습니다.
- 예를 들어, [발달적 접근 방식]은 [식별된 문제에 대한 해결책]을 알려줄 수 있습니다.
- 그러나 [문제 식별 모델]은 [잠재적으로 위험한 '문제' 레지던트]를 걸러내어 [즉각적인 환자 안전을 강조]하는 반면,
- [발달 모델]은 개별 레지던트의 [발달과 경력 전반에 걸쳐 제공]되는 [환자 치료의 질을 강조]하는 등 각 모델마다 강조하는 바가 다릅니다.
[마일스톤]은 [명확한 성과 기대치]를 바탕으로 대화를 진행하고, [성과 이상값의 근본 원인을 규명함]으로써 [문제 식별 모델을 향상]시킬 수 있습니다. 프로그램 디렉터에 대한 경고와 같은 [문제 식별 시스템]은 교수진이 상황을 조사하는 데 시간을 소비하는 반면, [역량 및 마일스톤 기반 교육]에서 구상하는 [학습자 중심의 오리엔테이션]은 [자신의 성장 영역을 사전에 파악하고 해결]하는 등, 현재 교수진이 수행하는 일부 업무에 [레지던트가 참여]할 수 있도록 할 수 있습니다.4 앞으로 NAS는 CCC가 마일스톤을 사용하여 [각 레지던트의 진행 상황을 평가하는 개발 전략]을 수용하도록 의무화했으며, 조사 결과에 따르면 프로그램 디렉터와 CCC는 이 새로운 의무화된 개발 접근 방식을 구현하는 방법에 대한 지침을 통해 혜택을 받을 수 있을 것으로 보입니다.
Our findings show that programs can incorporate elements of both the problem identification and developmental models for resident performance review and determinations of competence.
- For example, a developmental approach can inform solutions to identified problems.
- However, each model highlights a particular emphasis—
- the problem identification model emphasizes immediate patient safety (by attempting to weed out potentially dangerous “problem” residents),
- whereas the developmental model emphasizes individual residents’ development and the quality of patient care provided throughout their careers.
Milestones could enhance the problem identification model by grounding conversations in clear performance expectations and elucidating underlying etiologies of performance outliers. Whereas problem identification systems, such as alerts to program directors, consume faculty time as they investigate the situation, a more learner-centered orientation as is envisioned with competency- and milestones-based education may engage residents in doing some of the work currently done by their faculty, such as proactively identifying and addressing their own areas for growth.4 Going forward, the NAS has mandated that CCCs embrace the developmental strategy to evaluate each resident’s progress using milestones, and our findings suggest that program directors and CCCs will benefit from guidance on how to implement this new mandated developmental approach.
참가자들은 [전공의의 성과를 평가하는 데 필요한 시간]에 대해 우려를 표명했으며, [발달 모델 하에서는 더 많은 부담]이 될 수 있다고 예상했습니다. 그러나 [문제 식별 모델에도 리소스가 필요]하며, 프로그램은 [일상적인 평가를 보완하기 위해 비공식 데이터를 수집]하기 위해 현재 CCC 내부 및 외부에서 수행되는 작업을 과소평가할 수 있습니다. 참가자들의 프로그램에서는 일반적으로 위원회가 [평균적 전공의 및 고성과 전공의를 검토할 수 있는 시간이 제한적이거나 전혀 할당되지 않았습니다]. 이러한 전공의를 검토하는 데 이상적인 시간은 알 수 없지만 현재보다 더 많은 시간을 할애할 가능성이 높습니다. 그럼에도 불구하고 [이상적인 관행과 효율성의 균형]을 맞출 필요는 계속 있을 것입니다. 평가자와 위원회 위원이 강력한 정보 기술의 도움을 받아 마일스톤을 효과적으로 이해하고 적용한다면 마일스톤을 통해 보다 효율적으로 판단에 도달할 수 있습니다.24-26 참여 프로그램에서 [교수진의 CCC 참여를 준비하기 위해 실시한 교수진 개발의 양이 적다는 것]은 위원회가 효과적인 집단 의사 결정이라는 목표를 달성하기 위해 교수진 개발도 강화해야 함을 시사합니다.27,28
Participants expressed concern about the time required to assess residents’ performance and anticipated that it could be more onerous under the developmental model. However, the problem identification model also requires resources, and programs may underappreciate the work currently done within and outside of CCCs to collect informal data to supplement routine evaluations. Our participants’ programs typically allocated limited or no time for committees to review average and high-performing residents. Although the ideal amount of time for reviewing these residents is unknown, it is likely more than currently occurs. Nonetheless, there will continue to be a need to balance ideal practices with efficiency. Milestones may enable evaluators and committee members to reach judgments more efficiently if they understand and apply the milestones effectively with the aid of robust information technology.24–26 The modest amount of faculty development that the participating programs conducted to prepare faculty for CCC participation suggests that augmented faculty development will also be needed for committees to accomplish their goals of effective group decision making.27,28
참가자들의 경험과 프로세스의 효과성에 대한 인식을 검토하고 성과 검토가 레지던트의 역량 개발을 지원하는 방식에 대한 분석을 통해 NAS의 목표를 지원할 수 있는 관행이 밝혀졌습니다. [CCC 위원]은 [마일스톤 및 역량을 구성하는 요소에 대한 정의]를 포함하여 [성과 검토 기준]을 가지고 있어야 합니다. 임상 감독자와 레지던트는 [성과 마일스톤과 그 적용 방법]을 이해해야 합니다. CCC는 논의 전에 각 레지던트의 성과 데이터를 확인해야 하며, 프로그램 내 모든 레지던트의 성과를 검토해야 합니다. 전체 위원회 회의 전에 소규모 그룹이 성과 정보를 사전 검토하고 종합하는 것과 마찬가지로, 여러 데이터 소스를 적시에 데이터 종합과 함께 사용하면 위원회 설정의 효율성을 높일 수 있습니다. 각 레지던트의 역량을 향한 궤적을 촉진하기 위해 위원회는 [이전 회의에서 중점 또는 관심 분야를 재검토]하여 시간 경과에 따른 진행 상황을 검토해야 합니다. [레지던트의 어드바이저]를 참여시키면, 수동적으로 피드백을 보내는 대신, [레지던트와 함께 평가에 대해 논의]함으로써 레지던트가 학습의 다음 단계를 파악하는 데 도움이 될 수 있습니다.
Our review of participants’ experiences and their perceptions of the effectiveness of their processes, as well as our analysis of the ways that performance review supports residents’ development of competence, revealed practices that would support the aims of the NAS. CCC members must have criteria for performance review that include milestones and define what constitutes competence. Clinical supervisors and residents themselves need to understand the performance milestones and how they are applied. CCCs should view performance data for each resident before their discussions, and they should review the performance of all residents in the program. The use of multiple data sources coupled with timely data synthesis facilitates efficiency in the committee setting, as does pre-review and the synthesis of performance information by a small group prior to a full committee meeting. To facilitate each resident’s trajectory toward competence, committees should review progress over time by revisiting areas of focus or concern from prior meetings. Enlisting a resident’s advisor to discuss evaluations with her rather than just sending feedback passively can help the resident to identify next steps in her learning.
이 연구에는 한계가 있습니다. 참가자들은 한 지역에 있는 5개 공공 기관의 프로그램 디렉터들이었기 때문에 연구 결과의 일반화 가능성이 제한될 수 있습니다. 그러나 다양한 분야의 프로그램 디렉터가 다수 참여했습니다. 또한 역량 검토에 대한 질문으로 인해 참가자들이 자신의 최고 또는 이상적인 관행을 소개하도록 유도했을 수 있으며, CCC의 절차를 확인하기 위해 관찰하지는 않았습니다. 마지막으로, 본 연구는 성과 검토 요건이 변화하는 시기에 이루어졌으며 참가자들의 관행은 계속 발전할 수 있지만, 본 연구 결과에 따르면 프로그램에서 개발 모델을 더 많이 채택하는 것은 어려울 수 있습니다.
This study has limitations. Participants were program directors at five public institutions in one geographic region, potentially limiting the generalizability of our findings. However, a large number of program directors participated across specialties. In addition, our questions about competence review may have steered participants to showcase their best or idealized practices, and we did not observe the CCCs to confirm their procedures. Finally, our study occurred during a time of change in performance review requirements, and participants’ practices may continue to evolve, although our findings suggest that greater adoption of the developmental model may be difficult for programs.
역량 기반 의학교육과 마일스톤 기반 평가의 등장으로 의학교육자들은 수련의의 성과를 평가할 수 있는 의미 있는 전략을 찾아야 하는 과제를 안고 있습니다. 본 연구에 참여한 레지던트 프로그램은 성과 이상치를 식별하기 위해 기능적 전략을 사용했지만, 많은 레지던트들이 모든 레지던트의 발달 궤적을 이해하는 데 어려움을 겪고 있습니다. 이 두 가지 패러다임(문제 식별 모델과 발달 모델)의 불안정한 공존은 [CCC가 역량을 향한 개별 경로를 지원한다는 비전]을 달성하기 위해서는 다음이 필요하다는 것을 시사합니다.
- 성과 데이터를 관리하고 종합하는 정보 시스템,
- CCC 성과 검토의 목적에 대한 명확한 이해,
- 레지던트에 대한 건설적인 피드백을 환영하는 문화
이러한 요소들은 레지던트의 독립적인 진료 준비를 보장하고 GME 시스템의 공공 및 교육적 책임에 대한 의무를 이행할 수 있도록 프로그램을 강화할 수 있습니다.
The emergence of competency-based medical education and milestones-based assessment challenges medical educators to find meaningful strategies to assess trainees’ performance. The residency programs in our study used functional strategies for identifying performance outliers, yet many struggle to understand the trajectory of all residents’ development. The uneasy coexistence of these two paradigms (the problem identification model and the developmental model) suggests that, for CCCs to fulfill the vision of supporting individual paths toward competence,
- information systems to manage and synthesize performance data,
- clear understanding of the purpose of CCC performance review, and
- a culture that welcomes constructive feedback to residents
are needed.
These ingredients could empower programs to ensure their residents’ readiness for independent practice and fulfill their obligation for public and educational accountability of the GME system.
Acad Med. 2015 Aug;90(8):1084-92. doi: 10.1097/ACM.0000000000000736.
Reviewing residents' competence: a qualitative study of the role of clinical competency committees in performance assessment
PMID: 25901876
Abstract
Purpose: Clinical competency committees (CCCs) are now required in graduate medical education. This study examined how residency programs understand and operationalize this mandate for resident performance review.
Method: In 2013, the investigators conducted semistructured interviews with 34 residency program directors at five public institutions in California, asking about each institution's CCCs and resident performance review processes. They used conventional content analysis to identify major themes from the verbatim interview transcripts.
Results: The purpose of resident performance review at all institutions was oriented toward one of two paradigms: a problem identification model, which predominated; or a developmental model. The problem identification model, which focused on identifying and addressing performance concerns, used performance data such as red-flag alerts and informal information shared with program directors to identify struggling residents.In the developmental model, the timely acquisition and synthesis of data to inform each resident's developmental trajectory was challenging. Participants highly valued CCC members' expertise as educators to corroborate the identification of struggling residents and to enhance credibility of the committee's outcomes. Training in applying the milestones to the CCC's work was minimal.Participants were highly committed to performance review and perceived the current process as adequate for struggling residents but potentially not for others.
Conclusions: Institutions orient resident performance review toward problem identification; a developmental approach is uncommon. Clarifying the purpose of resident performance review and employing efficient information systems that synthesize performance data and engage residents and faculty in purposeful feedback discussions could enable the meaningful implementation of milestones-based assessment.
'Articles (Medical Education) > 평가법 (Portfolio 등)' 카테고리의 다른 글
| 졸업후의학교육에서 자기모니터링의 스코핑 리뷰 (Med Educ, 2023) (0) | 2023.03.26 |
|---|---|
| 자기평가: 그 모든 한계에도 불구하고, 왜 우리는 여전히 측정하고 가르치는가? 스코핑 리뷰의 교훈 (Med Teach, 2022) (0) | 2023.03.26 |
| 임상실습에서 과락-실패를 유발하는 교수역할특성 (Med Educ, 2022) (0) | 2022.11.01 |
| 수행능력이 저조한 학생들도 행동-중-성찰 시에는 통찰력이 있다(Med Educ, 2017) (0) | 2022.09.30 |
| 역량 기반, 시간 변동 의학교육시스템의 평가를 위한 강화된 요구조건 (Acad Med, 2018) (0) | 2022.09.24 |