역량, 마일스톤, EPA: 무엇이고, 무엇이 될 수 있는가 (Acad Med, 2015)

역량, 마일스톤, EPA: 무엇이고, 무엇이 될 수 있는가 (Acad Med, 2015)

Competencies, Milestones, and Entrustable Professional Activities: What They Are, What They Could Be

우리 레지던트 프로그램 임상역량위원회의 레지던트 파일을 검토하는 회의실에 교수진 동료들과 함께 앉아 보니, 경쟁 스포츠에 사용되는 것과 같이 성과를 평가하는 다른 방법들에 대해 성찰하지 않을 수 없었다. 육상 경기처럼 평점 과정이 쉬운 경우도 있고, 경주가 있으면 가장 빠른 주자가 승리해 최고라는 평가를 받는다. 또한 스톱워치는 전국의 다른 주자들과 비교를 해준다. 야구에서는 타격의 질을 평가하고 분류하는 데 사용할 수 있는 타율과 홈런에 대한 통계가 수없이 많다. 10경기마다 한 번 더 안타를 쳐도 좋은 선수와 올스타의 차이를 만들 수 있다. 때로는 평가가 더 뉘앙스를 띠며 전문가의 판단과 전문가 합의 기준이 필요할 때도 있다. 예를 들어, 올림픽의 빙상 스케이트 선수와 체조 선수들은 전문가들이 여러 가지 어려운 턴, 점프, 착지 등의 성적을 바탕으로 점수를 매긴다. 관찰자로서 나는 낙하를 인식할 수 있지만 점수를 결정하기 위해서는 전문가의 관찰과 판단이 필요하다. 심지어 개들이 그 품종의 이상적인 특징에 얼마나 근접했는지에 따라 개들을 평가하는 개 쇼도 있다.

As I sat with my faculty colleagues in a conference room reviewing the files of residents for our residency program’s clinical competency committee, I couldn’t help reflecting upon other ways to rate performance, such as those used in competitive sports. In some cases, like track and field competitions, the rating process is easy; if there is a race, the fastest runner wins and is judged to be the best. Also, a stopwatch provides comparison with other runners across the country. In baseball, there are numerous statistics about batting averages and home runs that can be used to rate and sort the quality of hitting. Even one extra hit every 10 games can make the difference between a good player and an all-star. Sometimes, assessments are more nuanced and require the judgments of experts as well as agreed-upon standards for the experts, to use. For example, ice skaters and gymnasts at the Olympics are scored by experts, based on the performance of various difficult turns, jumps, and landings. As an observer I can recognize the falls but need the observations and judgments of experts to determine the scores. There are even dog shows that rate dogs according to how close they came to an ideal set of characteristics for the breed.

레지던트 한 사람 한 사람에 대해 토론하면서, 나는 우리가 어떤 방법을 쓰고 있는지 생각해보았다. 우리는 우리가 수집한 자료를 토대로 역량이라 불리는 다양한 기준을 어떤 레지던트가 충족시켰다는 것을 입증했는지 파악하려고 했다. 본질적으로, 우리는 누가 좋은 의사가 되기 위한 진전을 이루고 있는지, 그리고 누가 환자에게 해를 끼칠 수 있는 실질적인 위험을 나타낼 수 있는지를 판단하기 위해 우리의 데이터를 이용하려고 했다. 이것은 우리가 사용한 표준의 모호함과 데이터의 완전성과 정확성의 한계 때문에 심각하고 어려운 작업이었다. 매년 시행되는 재직중 시험 성적 등 여러 종류의 자료가 있었지만, 레지던트들의 전문성이나 의사소통 능력, 심지어는 환자 진료 활동에 대해서도 좀 더 많은 정보를 활용할 수 있었을 것이다. 우리는 우리의 결정이 [기준 이하로 수행되고 있다고 판단되는 개인]뿐만 아니라 [(우리의 졸업생들에게 치료를 요청할 때 우리의 평가에 의존하는) 환자들]에게도 심각한 결과를 초래할 수 있다는 것을 알고 있었다.

As we discussed each resident, I wondered which methods of judgment we were using. We were trying to identify which residents had demonstrated that they had met various standards, called competencies, based on the data we had collected. In essence, we were trying to use our data to judge who was making progress toward becoming a good doctor and who might represent a substantial risk for causing harm to patients. This was a serious and difficult task because of ambiguities in the standards we used and the limitations in the completeness and accuracy of our data. Although we had several kinds of data, including performance on annual in-service exams, we could have used more information about the residents’ professionalism, communication skills, or even their patient care activities. We knew our decisions could have serious consequences to individuals judged to be performing below the standards as well as to patients who would depend on our assessments when they sought care from our graduates.

우리의 대화는 보통 표준화된 시험의 점수, 필수 프로젝트의 완료, 그리고 평가 양식에 반영되는 다양한 상황에서 교수진의 관찰 등 데이터에 대한 검토로 시작되었다. 그러나 평가서에 대한 의견은 레지던트 간 차별성이 거의 없는 등 군집화하는 경향이 있었다. 토론은 종종 일화로 바뀌었다. 예를 들어 한 교직원은 "조 교수(이름과 세부사항 변경)는 선의의 유능한 레지던트지만 때로는 너무 공격적이고, 특히 컨설턴트들에게 너무 강압적일 수 있다. 요전날 밤 그 사람에 대한 심장의학 동료 한 사람으로부터 귀엣말을 들었소."

Our conversations usually began with a review of data—the scores on standardized tests, the completion of required projects, and the observations of faculty in various settings, reflected in evaluation forms. However, the comments on the evaluation forms tended to cluster, with little differentiation between residents. Discussions often veered off into anecdotes. For example, for one resident, one faculty member said, “Joe (name and details changed) is a wellmeaning, capable resident, but at times he can be too aggressive, too pushy, especially with the consultants. I got an earful from one of the cardiology fellows about him the other night.”

"그래? 나도 정신과에서 그랬다고 들었다."라고 다른 교수진이 대답했다. "침대가 없는데도 정신병원으로의 환자 이전을 추진하고 있었던 겁니다."

“Really? I did too, but from psychiatry,” responded another faculty. “He was pushing for a patient’s transfer to a psych facility even though there were no available beds.”

"하지만 그는 대개 환자들을 오랫동안 기다린 후에 최대한의 이익을 위해 그것을 하고 있다. 그는 단지 결정을 내리려는 것뿐입니다,"라고 3분의 1이 말했다.

“But he usually is doing it for the patients’ best interests after they have been waiting a long time. He’s just trying to make a decision,” said a third.

한 네 번째 교직원은 "평소 그가 올바른 이유로 이 일을 하고 있다는 것에 동의하지만, 볼륨을 낮춰야 한다"고 답했다. 우리 모두 스트레스를 받고 있다"고 말했다.

“Well, I agree that he is usually doing it for the right reasons, but he needs to lower the volume,” responded a fourth faculty member. “We are all under stress.”

"우리가 그의 이정표를 작성할 수 있도록 그의 환자 진료, 시스템 기반의 실습, 또는 그의 연습 기반 학습에 대해 말할 사람이 있는가?"라고 프로그램 책임자가 물었다.

“Does anyone have anything to say about his patient care, his systems-based practice, or his practice-based learning, so that we can fill out his milestones?” asked the program director.

첫 번째 교직원은 "나는 그와 몇 번 같이 일한 적이 있을 뿐"이라며 "너무 바빠서 그를 지켜볼 기회가 거의 없었다"고 대답했다. "하지만 그는 괜찮아 보였다. 그는 자신의 medicine을 알고 있는 것 같았다. 간호사가 약을 잘못 주었을 때 그 환자안전서식 중 하나를 작성하기도 했다."

“I’ve only worked with him a few times,” answered the first faculty member, “and we were so busy, I hardly had a chance to watch him. But he seemed fine. He seemed to know his medicine. He even filled out one of those patient safety forms when a nurse gave the wrong medication.”

"그래, 잘됐군. 모든 레지던트들은 그렇게 해야 한다. 나도 동의해. 나는 그와 두세 번 같이 일한 적이 있다. 그는 차트 기록 작업을 잘했다. 그는 그 문서가 청구서에 어떤 영향을 미치는지 알고 있었다. 그는 괜찮을 것 같다며 다른 교직원은 말했다.

“Yeah, that’s great. We need all the residents to do that. I agree. I’ve worked with him two or three times. He did a good job on documentation of his charts. He knew about how the documentation affected billing. I think he will be okay,” said another faculty member.

우리는 그의 1년 평균을 약간 상회하는 몇몇 이정표에서 그를 평균보다 약간 높게 평가했고, 몇몇 다른 이정표들은 평균에 약간 못 미치는 것으로 평가했고, 다양한 필수 박스를 체크했고, 대인관계 기술을 연구해야 할 필요성을 메모한 다음 다음 다음 거주자로 옮겼다.

We rated him a little above average for his year in some of the milestones, a little below average for some others, checked the various required boxes, made a note of his need to work on interpersonal skills, and moved on to the next resident.

우리의 회의는 각 레지던트를 대상으로 진행되었는데, 데이터의 초기 검토와 지식의 적절성에서부터 의사소통 방식, 개인적 행동에 이르기까지 레지던트의 특정 특성에 대한 비정형적인 논의였다. 제한된 자료에도 불구하고, 우리는 이런 방식으로 거의 모든 사람들에 대해 합의를 이루었고, 레지던트들 대부분이 잘 진행되고 있다고 판단했고, 일부 사람들에게는 필요한 개선이 필요한 몇 가지 분야를 파악하고, 두 명의 레지던트이 지식이나 의사소통 능력에서 잠재적인 문제를 가지고 있다는 것에 동의했다. 레지던트들에 대한 우리의 직감적인 감정은, 그들을 뒷받침할 수 있는 아주 많은 구체적인 자료를 지적할 수는 없더라도 비교적 일관성이 있는 것 같았다.

This was how our meeting went for each resident: an initial review of the data and then an unstructured discussion about certain characteristics of the resident that could range from adequacy of knowledge to communication style to personal behavior. In spite of limited data, we reached consensus on almost everyone in this way, deciding that most of the residents were progressing nicely, identifying a few areas for needed improvement for some, and agreeing that two residents had potential problems in either knowledge or communications skills. It seemed that our gut feelings about the residents were relatively consistent even if we could not point to very many specific data to support them.

책임을 다했다는 만족감을 느끼며 회의장을 나섰지만, 현재의 평가 과정 때문에 고민에 빠졌다. 우리가 자유자재로 사용했지만 완전히 이해하지는 못한 것 같은 용어인 역량, 이정표, 위탁 가능한 프로페셔널 활동에 충분히 주의 깊게 일관된 주의를 기울였는가? 사실, 많은 교수진들은 명확한 평가 개선 없이 용어의 확산과 그것들과 관련된 업무들에 좌절감을 표했다.

I left the meeting feeling satisfied that we had fulfilled our responsibilities, but I was troubled by the current assessment process. Had we paid enough careful consistent attention to competencies, milestones, and entrustable professional activities, terms that we used freely but did not seem to fully understand? In fact, many of the faculty had expressed frustration with the proliferation of terms and the tasks associated with them that added to their work without any clear improvement in assessment.

역량이란 종종 "설명되고 측정될 수 있는 특정 성과 영역"을 가리키는 말로, 예를 들어, ACME(대학원 의학 교육 인증 위원회)의 결과 프로젝트에서 파악한 역량이 해당된다. 환자 치료, 의료 지식, 전문성, 실무 기반 학습 a.개선, 시스템 기반 실행, 대인 관계 및 커뮤니케이션 기술. 카라치오 외 연구진은 역량 개발의 4단계를 역량 확인, 역량 구성 요소 및 성과 수준의 결정, 역량 평가, 프로세스 전반 평가라고 설명했다.

Competency is the term often used to refer to a specific area of performance that can be described and measured, such as the competencies (summarized by Swing2) that were identified by the Outcomes Project of the Accreditation Council for Graduate Medical Education (ACGME): patient care, medical knowledge, professionalism, practice-based learning and improvement, systems-based practice, and interpersonal and communication skills. Carraccio et al3 described the four steps of competency development as competency identification, determination of competency components and performance levels, competency evaluation, and overall assessment of the process.

유능함과 역량은 기술 및 의료 제공자가, 대개 레지던트 교육이 끝날 때, 의료 서비스 제공자의 독립적이고 자율적으로 의료행위를 할 수 있는 지식, 스킬, 태도에 대한 글로벌하고 일반적인 인상을 설명할 때 자주 사용되는 용어다. 예를 들어, "그녀는 환자 치료에서 평균 이상의 능력을 보여준다; 그녀의 수행은 그녀가 유능한 의사라는 것을 보여준다."

Competent and competence are terms often used when describing a global, general impression of the adequacy of knowledge, clinical skills, and attitudes of a health care provider to practice independently and autonomously, usually at the end of residency training. For example, “She demonstrates above-average competence in patient care; her performance shows she is a competent doctor.”

마일스톤은 역량과 하위역량의 연속을 따라 한 지점을 가리킨다. 마일스톤은 명확하게 설명되어 있으며, 일반적으로 전공-특이적이다. 예를 들어, 내과의의 이정표는 환자의 문제를 정의하고 진단하기 위한 정보를 수집하는 능력일 수 있으며, 응급의학의 경우 이정표는 호흡기 장애가 있는 환자의 기도 관리 기술을 수행하는 능력일 수 있다. 이정표는 특정 역량의 전문지식 개발의 다양한 단계에서 레지던트에 대한 기대를 특징으로 할 것이다.

Milestone refers to a point along a continuum of a competency or subcompetency; milestones are clearly described and are usually specialtyspecific. For example, a milestone for internal medicine might be the ability to gather information to define and diagnose a patient’s problem, and for emergency medicine, a milestone might be the ability to perform airway management skills for a patient with respiratory failure. A milestone will characterize expectations for residents at various stages of the development of expertise in a particular competency.

위탁 가능한 전문 활동(EPA)은 다양한 역량의 활용과 통합을 필요로 하는 discrete한 임상 활동을 말하며, 특정 임상 사건과 관련된 활동을 나타낸다. 그것은 종종 환자와 교직원의 감독자가 학습자의 능력을 평가하고 레지던트의 수행에 있어 상응하는 수준의 신뢰(즉, 위탁)를 증명하는 책임의 수준을 할당해야 할 필요성을 수반한다. 예를 들어, 아기를 분만하거나 심장마비 후 환자를 소생시키는 것은 EPA의 예다.

An entrustable professional activity (EPA) refers to a discrete clinical activity that requires the utilization and integration of various competencies and represents an activity associated with a specific clinical event. It often entails some risk to patients and the need for a faculty supervisor to assess the skills of the learner and allocate a level of responsibility that demonstrates a corresponding level of trust (i.e., entrustment) in the resident’s performance. For example, delivering a baby, or resuscitating a patient after a cardiac arrest, are examples of EPAs.

이들 용어는 현재 역량 기반 평가의 기초 언어를 형성하며, 레지던트 또는 학생 평가와 피드백의 공유 개념 모델을 만드는 데 도움이 되기에 중요하다. 그러나 이러한 용어들의 의미에 대한 혼란으로 인해, 이 용어는 교수진들이 현재 평가 구조에 가지고 있는 많은 문제들의 핵심에 있다.

The importance of these terms is that they currently form the foundational language of competency-based assessment and help in the creation of a shared conceptual model of resident or student assessment and feedback. However, because of confusion about the meanings of these terms, they also are at the crux of many of the problems faculty have with the current assessment structure.

의학 교육에서의 평가 방법은 의학의 전문지식의 발달에 대한 우리의 개념과 결부되어 있다. 수행의 연속체가 어떻게 보이는지 모르는 한, 그 연속체를 따라 학생을 판단하고 평가하는 방법을 아는 것은 어렵다. 드레퓌스4는 초보자, 고급 초보자, 역량, 숙련도, 전문지식이라고 이름 붙인 5단계의 공연을 제안했다. 이 모델은 의료 연수생이 훈련 중에 증가하는 전문지식의 수준을 통해 진행되며, 어느 시점에서는 성능이 유능하다고 간주되는 수준에 도달할 것임을 시사한다. 이것은 아마도 안전하고 독립적이며 자율적이며 고품질의 의료와 일치할 것이다. 그러나 Dreyfus 모델에 따르면, 역량이라고 불리는 수준은 연속체의 중간에 발생하며, 달성될 수 있는 두 가지 추가적이고 더 높은 레벨이 뒤따른다는 것을 기억해야 한다. 이러한 전문성 스펙트럼의 중간에 역량을 배치하는 것은 분명히 더 높은 수준의 성과가 있기 때문에 역량의 의미에 문제를 일으킬 수 있다. 왜 의사가 독립적 의료행위를 하기 전에 다음 수준, 즉 숙련도 또는 심지어 전문지식에 도달하기를 기대하지 않는가?

Assessment methods in medical education have become tied to our conceptions of the development of expertise in medicine. Unless we know what the continuum of performance looks like, it is difficult to know how to judge and assess a student along that continuum. Dreyfus4 proposed five levels of performance, which he labeled novice, advanced beginner, competence, proficiency, and expertise. This model suggests that a medical trainee progresses through the levels of increasing expertise during training and, at some point, would reach a level in which performance was deemed competent. This would presumably correspond with safe, independent, autonomous, high-quality care. However, it should be remembered that according to the Dreyfus model, the level called competence occurs in the middle of the continuum and is followed by two additional and higher levels that may be achieved. This placement of competence in the middle of the expertise spectrum can create a problem with the meaning of competence, since there are clearly higher levels of performance. It raises the question, Why not expect the provider to reach the next level— proficiency—or even expertise—before independent practice?

전문지식의 발달에 관한 대부분의 연구는 초보자 및 전문가라는 스펙트럼의 양끝에 있는 개인에 대한 연구를 포함하며, 그들의 사고 과정이 어떻게 다른지 이해하려고 시도한다.5 이 연구는 전문지식의 발달 과정에서 일어나는 변화에 대해 유익하지만, 양질의 의료제공이라는 [연속체를 따른 개개인의 상대적 능력]에 대한 질문에는 답을 주지 않는다.

Most research on the development of expertise involves the study of the individuals at the two ends of the spectrum, the novice and expert, and attempts to understand how their thought processes differ.5 Although this research is informative of the changes that occur during the development of expertise, it does not answer questions about the relative capabilities of individuals along the continuum to provide high-quality care.

그러나 의학의 독자적인 실천을 위해 전문가 수준의 수행이 필요한지, 만약 그렇다면 어떤 상황에서 필요한지는 명확하지 않다. 또한 얼마나 많은 의사가 expert로서 자격을 갖춰야 하는지, 그러한 기준이 필요한 의사에게 필요한 능력의 결손을 가져올 것인지도 명확하지 않다. 모든 환자가 expert 수준의 기술을 필요로 하는 의학적인 문제를 가지고 있는 것은 아니지만, [어떤 환자가 그러한 전문성을 필요로 하는지를 아는 것]은 보통 후향적으로만 확실히 알 수 있다. 역량 및 전문지식과 관리 품질과의 관계에 대한 의미 있는 설명은 레지던트 평가뿐만 아니라 인력 추정, 면허 결정, 팀 기반 의료에도 중요한 영향을 미칠 수 있다.

However, it is not clear whether expert-level performance is necessary for the independent practice of medicine, or if so, under what circumstances. It is also not clear how many physicians would qualify as experts and whether such a standard would result in a deficit of needed providers. While it is likely that not all patients have medical problems that would require the skills of an expert, knowing which patients do require such expertise can usually be done with certainty only in retrospect. A meaningful description of competence and expertise and their relationship to quality of care would have important implications for workforce estimates, licensing decisions, and team-based care as well as the assessment of residents.

이 조항들과 평가의 이정표와 EPA에 대한 나의 이해에 기초하여, 나는 네 가지를 권고한다.

On the basis of these articles and my understanding of milestones and EPAs for assessment, I have four recommendations.

• 교육 프로그램, 인증 기관 및 면허 기관은 독립적 실천을 위한 역량의 의미에 대한 공감대를 형성해야 한다. 역량 기반 의료 교육에 사용되는 용어의 정의는 여러 가지가 있지만, 이러한 정의가 임상 실습에 어떻게 적용되어야 하는지에 대해서는 합의되지 않았다. 이러한 혼란은 국가 인허가 관련 교육에 대한 국가 요건의 차이뿐만 아니라 동일한 절차를 수행하는 전문가들 간의 절차 경험 요건의 차이로 이어졌다. 그러한 차이는 실천의 맥락에 근거하여 정당화될 수 있지만, 그것들은 역량에 대한 우리의 이해에 도전들을 야기한다.

• Our programs, certifying organizations, and licensing organizations should develop a consensus about the meaning of competence for independent practice. While there are several definitions of that term used in competencybased medical education, there is no agreement about how these definitions should apply to clinical practice. This confusion has led to differences in the state requirements for training related to state licensure as well as to different requirements for procedural experience between specialists performing the same procedure. While such differences may be justified based on the context of practice, they create challenges to our understanding of competence.

• 다양한 용어의 의미를 설명하고, 또한 교직원이 평가를 정확하게 수행할 수 있도록 지원하기 위해 평가 분야에서 교수진 개발이 상당히 필요하다. Carracchio와 Englander12는 더 나은 직접 관찰뿐만 아니라 표준화된 언어의 필요성에 주목했다. ACME가 핵심 역량을 확립한 지 거의 16년이 지난 지금도 레지던트들과 교직원들은 그 역량을 이해하고 논의하는데 어려움을 겪고 있다. 이제 이정표와 EPA가 추가됨에 따라, 이 분야에서 이해의 발전이 더욱 필요하다.

• There is a significant need for faculty development in the area of assessment, both to explain the meaning of the various terms and also to assist faculty in performing the assessments accurately. Carraccio and Englander12 have noted the need for standardized language as well as better direct observation. Even now, almost 16 years after the ACGME established its core competencies, residents and faculty continue to have difficulty understanding and discussing those competencies. Now with the additions of milestones and EPAs, there is an even greater need for the development of understanding in this area.

• 현재 역량 기반 평가 프로세스의 근본적인 결함은 개념적인 것이 아니라 구현과 관련된 것일 수 있다. 평가에는 학습자와 교수진 간의 헌신적인 시간과 헌신적인 관계가 필요하다. 임상 생산성에 대한 재정적 인센티브가 중요한 교수진-학생 교육 관계의 발전을 방해한다면, 역량 기반 평가는 그들의 잠재력에 미치지 못할 것이다.

• The fundamental flaw in the current competency-based assessment process may not be conceptual but, rather, related to implementation. Assessment requires dedicated time and committed relationships between learners and faculty. If financial incentives for clinical productivity prevent the development of critical faculty– student educational relationships, the competency-based assessments will not reach their full potential.

• 역량과 EPA에 대한 대부분의 강조는 학습자와 교사에게 집중되며, 치료 제공 시스템과는 무관하지만, 치료 환경은 훈련자 행동에 강력한 인센티브를 제공하고 나중에 제공되는 치료의 질과 관련이 있는 것으로 나타났다.13 훈련생이 역량을 갖추려면 양질의 의료를 보고 배울 수 있는 환경에서 배워야 한다. 훈련생 평가는 훈련 환경에 대한 평가를 포함해야 한다.

• Although most of the emphasis on competencies and EPAs is focused on learners and teachers and is independent of the care delivery system, it has also been shown that the environment of care provides strong incentives for trainee behaviors and is related to the quality of care provided later.13 Competent trainees need to be trained in health care environments that allow them to learn and model high-quality care. Assessment of trainees must include assessment of their training environment.

EPA에 대한 그의 초기 간행물 중 하나에서, 10개의 Cate8은 학습자의 평가에서 주관성과 직관적 감정의 중요한 역할에 주목했다: "교육자는 아직 평가에서 직감을 완전히 신뢰하여 활용하고 있지 못한다." 나는 이것이 다른 모든 것을 연결하는 핵심 개념이 될 수 있다고 믿는다. 역량 기반 평가를 위해서는 연습생들과 신뢰 관계를 형성하여 연습생들에 대한 충분한 근거 있는 직감을 가질 수 있도록 시간과 에너지에 대한 투자가 필요하다. 능력 있는 교수진 평가인을 제공하기 위한 시간적 투자가 없다면, 모든 체크리스트와 평가 양식은 거의 가치가 없을 것이다. 훈련되고 의욕적인 교수진을 통해, 다른 자료 출처를 맥락에 맞추어 배치하고, 우리 레지던트들이 그들의 성장을 위해 필요로 하는 3차원 사진을 계속해서 만들어야 하는 교수진들 간의 대화를 풍부하게 할 수 있다.

In one of his early publications on EPAs, ten Cate8 noted the important role of subjectivity and gut feelings in the assessment of learners: “Educators do not fully exploit these gut feelings about trustworthiness for assessment purposes.” I believe this may be the key concept that links all the others. Competencybased assessment requires the investment in time and energy to create trusting relationships with trainees so that we can have well-founded gut feelings about our trainees. Without the investment in time to provide capable faculty assessors, all of the checklists and evaluation forms will be of little value. With trained and motivated faculty, the other sources of data can be placed into context and enrich the conversations between faculty that need to continue to create the three-dimensional pictures that our residents require for their growth and that our patients deserve for their care.

3 Carraccio C, Wolfsthal SD, Englander R, Ferentz K, Martin C. Shifting paradigms: From Flexner to competencies. Acad Med. 2002;77:361–367.

---

Editorial

 

. 2015 Apr;90(4):395-7.

 doi: 10.1097/ACM.0000000000000659.

Competencies, Milestones, and Entrustable Professional Activities: What They Are, What They Could Be

David P Sklar

• PMID: 25803411
 
• DOI: 10.1097/ACM.0000000000000659