학부의학교육에서 Core EPA에 대한 비판(Acad Med, 2018)

Critical Thoughts About the Core Entrustable Professional Activities in Undergraduate Medical Education

Edward Krupat, PhD

역량 기반 의료 교육(CBME)의 세계는 끊임없이 진화하고 있습니다. Accreditation Council for Color Medical Education가 정의했던 것처럼 최초 초점은 역량(의료전문가가 지식과 기술을 입증해야 하는 부문)에 초점을 맞춘 후, 이후에 milestone(역량에 이르는 path에 대한 마커) 제안되었다. ACGME의 6가지 핵심 역량이 의사의 직무, 행동 또는 책임을 구체적으로 명시하지 않았다는 점을 지적하며, 10개의 Cate는 GME에서 책임 있는 전문적 활동(EPA)의 개념을 제안하였다. EPA는 모든 레지던트가 교육을 마칠 때까지 독립적으로 수행할 수 있는 신뢰할 수 있는 핵심 업무 또는 책임을 말한다.

The world of competency-based medical education (CBME) is constantly evolving. Following the initial focus on competencies (domains in which health professionals are expected to demonstrate knowledge and skills), as defined by the Accreditation Council for Graduate Medical Education (ACGME),6–8 the concept of milestones9,10 (observable markers along the path to competence) was proposed. Concerned that the ACGME’s six core competencies did not specify concretely the tasks, actions, or responsibilities required of a physician, ten Cate proposed the concept of entrustable professional activities (EPAs) in the context of graduate medical education (GME).11,12 These EPAs represented a pragmatic list of activities—a core set of tasks or responsibilities that all residents could be trusted to do independently by the time they completed their training.

GME에서 EPA를 점점 더 수용하면서, 미국 의과대학협회(AAMC)는 "의과대학과 레지던트 사이의 전환점에서의 성과 격차"를 인정했고, AAMC는 존경 받는 교육자들로 구성된 위원회를 소집하여, 공통의 틀 안에서 GME와 UME를 만들겠다는 목표를 가지고, 졸업하는 모든 MD에 기대되는 활동들을 식별하였다.

With the growing acceptance of EPAs in GME, the Association of American Medical Colleges (AAMC) recognized a “performance gap at the transition point between medical school and residency.”13 AAMC convened a panel of respected educators to identify those activities that might be expected of all graduating MDs, with the goal of having GME and UME work within a common framework.

핵심 EPA를 piloting하고 testing하는 데 상당한 조직적 자원이 투입되었다.15 일부 교육자들은 EPA를 중요하며 패러다임 전환이라고 설명했지만, 점점 더 많은 수의 교육자들이 CBME와 특히 EPA에 대해 의구심을 나타냈다. 한 관찰자는 "더 많은 시간, 노력, 좌절, 그리고 자원이 투자되기 전에, 역량, 마일스톤, Core EPA로의 돌격"을 늦추기를 요구한다. "17 진단 추론의 오류의 맥락에서 Moulton과 동료 23,24는 "늦춰야 할 때엔 늦춰야 한다"고 이야기 했다.

Considerable organizational resources have gone into piloting and testing the Core EPAs.15 Some educators have described EPAs as important and paradigm shifting16; however, a growing number have expressed reservations about CBME in general and EPAs in particular.17–22 One set of observers asks us to slow “the headlong rush to competencies, milestones and COREEPAs … before even more time, effort, frustration and resources are invested.”17 In the context of errors in diagnostic reasoning, Moulton and colleagues23,24 have talked about “slowing down when you should.”

내용과 초점에 대한 우려

Concerns About Content and Focus

역량 영역(예: 의료 지식) 또는 개인과 관련된 특성(예: 전문성)에 초점을 맞추는 대신, 핵심 EPA는 13개의 ambulatory 및 병원 기반 "활동" 목록을 구성합니다(workplace-based 작업으로 표현되는 전문적 행동의 단위 설명). 모든 의대생은 이 목록을 졸업(그리고 결과적으로 인턴십 1일차)까지 성취할 수 있어야 한다.1,4

Rather than focusing on domains of competence (e.g., medical knowledge) or characteristics associated with individuals (e.g., professionalism), the Core EPAs constitute a list of 13 ambulatory and hospital-based “activities” (discrete units of professional behavior expressed as workplace-based tasks) that all medical students should be able to accomplish by their graduation (and, consequently, on Day 1 of internship).1,4 

Tekian18은 핵심 EPA를 여러 가지 측면에서 비판하면서 그 중 3가지(예: 전문가 간 팀에서의 협력)는 실제로는 별개의, single-encounter 기반의 의료 업무가 아니라고 지적했으며, 한편으로 어떤 것들은 교육목표이지 과제가 아니라고 지적했다(예: 임상 질문을 만들고 근거를 찾기).

Tekian18 has criticized the Core EPAs on several counts, noting that three of them (e.g., collaborating in an interprofessional team) are not actually discrete, single- encounter-based medical tasks, while others sound more like educational objectives than tasks (e.g., forming clinical questions and retrieving evidence).

게다가, 코어 EPA 중 어떤 것은 지나치게 광범위하고, 어떤 것은 매우 구체적이어서 uneven하게 보인다. 이러한 EPA를 결정하는 전문가 패널은 "lumper(모든 것을 하나의 카테고리로 넣고싶어 하는 사람)"와 "splitter(모든 것을 각각의 카테고리로 두고 싶어하는 사람)"으로 구성되어 있으며, 각 그룹이 자신의 방식으로 만든 것 같다.

In addition, the Core EPAs seem to me like an uneven lot, with some extremely broad and others very specific. I can imagine that the expert panel that decided on these EPAs was composed of “lumpers” (who preferred to group things into broad categories) and “splitters” (who preferred to generate finer categories), and that each group had its way on some things.

예를 들어 병력을 수집하고 신체 검사(EPA 1)를 수행하는 것은 일반적으로 학생-의사의 두 가지 핵심 작업으로 간주되지만, 이러한 두 가지 활동이 하나로 결합되었습니다. 한편, 임상 접촉의 서면 문서화(EPA 5)와 구두 발표(EPA 6)는 "임상 접촉 요약"이라는 단일 EPA로 묶일 수 있지만, 패널 구성원은 이를 두 가지 활동으로 구분하기로 결정했다.

For example, gathering a history and performing a physical exam (EPA 1) are typically thought of as two core tasks of the student–physician, yet these two activities were combined. On the other hand, written documentation (EPA 5) and oral presentation (EPA 6) of a clinical encounter could have been included as a single EPA, “summarizing a clinical encounter,” but the panel members chose to list these as two separate activities.

핵심 EPA는 발달 측면에서도 균일하지 않다. 일부는 의사가 되는 데 있어 가장 중요한 부분인 반면, 다른 것들은 꽤 advanced 수준인 것처럼 보인다.

the Core EPAs are also uneven from a developmental perspective. Some of them are part of the bread-and-butter of being a physician, whereas others appear to be quite advanced.

일부에서는 평가 양식에서 저학년 학생들에 대해서 특정 EPA를 생략하거나 "적용되지 않음" 범주를 포함해야 한다고 주장했다. 예를 들어, 핸드오버(EPA 8)에 대한 학습 및 응급 치료가 필요한 환자 인식(EPA 10)

Some argued that the assessment form should omit certain EPAs for students in their early years or include a “Does not apply” category. For instance, learning about handovers (EPA 8) and recognizing patients requiring urgent care (EPA 10)

숙련된 GME 교육자들은 제게 시스템 고장을 식별하는 것은 졸업하는 의대생에게 기대하지 못할 것임은 말할 것도 없고, 심지어 그들의 2년차 레지더트에게도 기대하기 쉽지 않다고말해왔습니다.

Experienced GME educators have told me that identifying system failures (EPA 13) seems aspirational for their second-year residents, let alone graduating medical students.

그러나 나는 핵심 EPA에 대해 훨씬 더 근본적인 우려를 갖고 있다. 이 접근법의 지지자들은 competencies vs EPA의 문제가 둘 중 하나either-or로 간주되어서는 안 된다는 점에 주목한다.

I have a far more fundamental concern about the Core EPAs, however. Advocates of this approach note that the issue of competencies versus EPAs should not be seen as something that is either–or.

이 말은 원칙적으로는 맞다. 그러나, 실제로는, 이것은 인간 인식의 가장 기본적이고 보편적인 원칙 하나를 무시한다: 바로 그림-배경 관계이다. 우리가 두 가지 "객체"를 볼 때, 그 중 한 가지(그림)가 우리의 관심을 끌고 집중한다. 다른 것(배경)은 먼 곳으로 후퇴하고 그것이 당연하게 여겨집니다; (배경)은 관심 대상이 아니라 맥락의 역할을 합니다.

In principle this is fine. In practice, however, this ignores one of the most basic and universally recognized principles of human perception: figure– ground relationships.25,26 When we are considering two “objects,” one (figure) engages our attention and is focused upon. The other (ground) recedes into the distance and is taken for granted; it serves as context, not as the object of interest.

Core EPA를 figure로 만들고, 반대로 [전문직업성, 환자와 의사 소통 능력, 인종/민족성, 성별 또는 성적 성향에 관계없이 양질의 환자 치료를 제공하는 능력] 등을 ground로 만드는 것이 정말 우리에게 좋은 것인가?

Is it to our advantage to make the Core EPAs figure, while relegating to ground professionalism, the ability to communicate with patients, and the ability to deliver quality patient care regardless of race/ethnicity, gender, or sexual orientation?

EPA 옹호자들은 "역량"에 대해 악의를 갖고 있지 않은 듯 하다. 설령 그렇다고 하더라도, "역량"은 그것이 우리 교육목표의 전면에 놓여지지 않는다면, 교육과정 map에서 2등시민으로 밀려날 것이다. 핵심 EPA를 채택하는 의과대학이 사명을 다시 쓰지는 않겠지만, 만약 형성평가와 총괄평가가 이 13개의 EPA에 초점을 맞춘다면, 교수와 학생 모두 거기에만 신경쓸 것이라는 예측이 절대 과장은 아니라고 생각한다. 그 상황에서 무엇이 figure가 되고 무엇이 ground가 될 것인지에 대해서는 일말의 의심의 여지도 없다.

EPA advocates seem to bear no ill will toward the competencies.1,6 Even so, competencies are likely to become second-class citizens in the curricular map if they are not at the forefront of our educational objectives and assessments. Medical schools that adopt the Core EPAs will not be rewriting their mission statements, but I do not think it is an exaggeration to say that if formative and summative assessments come to be focused on students’ ability to perform these 13 EPAs, this is what both faculty and students will care about most. I have little doubt as to which will become figure and which ground.

나는 또한 Core EPA에는 aspirational한 것이 전혀 없으며, 여기에는 [의학이 전문직업적 가치관를 핵심에 두는 소명]이라는 것을 암시하는 어떤 것도 없다는 것이 걱정된다. 이미 나 이전에 다른 사람들이 환원주의적, 구체적 직무 기반의 초점을 두는 것이 [상호연결성의 문제]와 [의사가 되는 더 넓은 의미]에 초점을 맞추지 않음으로써 젊은 의사의 정체성 형성에 영향을 미칠 것이라는 우려를 나타냈다. 

I am also concerned that there is nothing aspirational in the Core EPAs and nothing in their language that implies that medicine is a calling with a core set of professional values. Others before me28–30 have expressed concerns that a reductionist, concrete-task-based focus will affect the identity formation of young physicians by not focusing on issues of interconnectedness and the broader meaning of being a physician. 

한 걸음 더 나아가면, 핵심 EPA가 과연 환자와 사회에 어떠한 상징적인 메시지를 전달하는지 묻지 않을 수 없다. EPA 중심의 교육은 진료의 기술적 요건을 충족하는 방법을 알고, 병원을 효율적으로 운영하는데 필요한 작업을 수행하는 의사를 생성한다. 하지만 inspired professionals를 양성하기 위해서는, 우리는 교육 목적과 평가에서 우수한 doctoring의 한 부분으로서 (activities 뿐만 아니라) 더 넓은 가치와 방향을 보여줄 수 있는 방법을 찾아야 합니다.

Taking this one step further, I ask to what extent the Core EPAs also say something symbolically to patients and society. An EPA-focused education will produce physicians who know how to satisfy the technical requirements of care and to fulfill the tasks that enable a hospital to run efficiently. However, to produce inspired professionals, within our educational objectives and assessments we need to find a way to feature the broader values and orientations—as well as the activities—that are part of great doctoring.

또한 여러 근거들은 레지던트 프로그램 책임자들이 잠재적 전공의들에 대해 Core EPA에 대해 entrustable한지가 아니라, 그들의 개인적 자질(예: 다른 사람과 일하는 능력, 신뢰성 및 정직성)에 더 관심이 있다는 것을 보여준다.

The evidence indicates, however, that program directors are most interested in potential residents’ personal qualities (e.g., their ability to work with others, reliability, and honesty—elements of professionalism), rather than whether they are entrustable on this or that Core EPA.33,34

측정과 평가에 대한 우려

Concerns About Measurement and Assessment

제 관심의 두 번째 측면은 평가 과정 자체입니다.

The second dimension of my concerns involves the assessment process itself,

긍정적인 측면에서는 신뢰의 개념이 직관적으로 매력적이다. 대부분의 의사들은 그들의 훈련생을 얼마나 잘 믿을 수 있는지와 관련된 차원을 따라 생각하는 것에 익숙하고 편안하다.

On the positive side, the concept of trust is intuitively appealing. Most physicians are familiar and comfortable with thinking along a dimension that relates to how well they can trust their trainees,

그럼에도 불구하고, 나는 EPA 평가의 많은 측면이 사회과학의 측정 이론에 충분히 informed 되지 않았다고 믿는다.

Nonetheless, I believe that many aspects of EPA assessment are not sufficiently informed by measurement theory in the social sciences,

객관성에 대한 우리의 열망에도 불구하고, 우리가 사람들의 행동과 특성의 온도를 얻기 위한 온도계를 발명하기 전까지는, 우리는 주관적인 평가 과정을 가지게 된다. 이러한 점을 감안한다면, 우리의 주요 목표 중 하나는 우리가 상호 합의(즉, 신뢰성)를 증가시킬 수 있는 접근방식을 찾는 것이다. 그렇게 하기 위해서, 측정 이론에서 제시한 황금률은 Keep it simple이다: 행동을 보고 하나의 평가 척도에 따라 판단하고, 등급을 매긴다. 어떠한 비용을 들여서라도 최소화해야 하는 것은, [관찰]과 [판단] 사이에 이루어지는 추론의 layer이다.37

Despite our desire for objectivity, until we invent a thermometer to take the temperature of people’s behaviors and characteristics, we are left with a subjective process of assessment. Given this, one of our main goals is to find an approach by which we can increase interrater agreement (i.e., reliability). To do so, the golden rule in measurement theory is to keep it simple: See a behavior and judge it according to a single evaluative scale, thereby making a rating. What should be minimized at all costs is making judgments in which layers of inference are placed between the observation and the judgment.37

이 기준에 따라 entrustment가 어떤 layer에 따라 이뤄지는지 열거해 봅시다. 

To see how assessment via entrustment fares according to this criterion, let us enumerate the layers. 

먼저, 우리는 그 행동을 관찰하고 나서 그것이 효과적으로 수행되었는지 여부를 스스로 판단합니다. 여기서 멈춘다면, 합리적인 평가 시스템이 될 것입니다.

First, we observe the behavior, and then we determine for ourselves whether it has been performed competently—which, if stopped here, would be a reasonable rating system.

다음으로, 우리는 신뢰도를 고려하고, 스스로에게 "이 학생이 (유사한 문제를 가진 유사한 환자에 대해) 유사한 행동을 할 것을 얼마나 믿을 수 있는지"에 대해 자문하는 동시에, 그 때 얼마나 이 학생을 가까이에서 감독해야 하는지를 고려하면서, 이 모든 것들이 맥락특이성의 한계에도 불구하고 이뤄져야 한다는 것을 인정해야 한다.

Next, we consider trustworthiness and ask ourselves how much trust the student inspires in us to perform a similar behavior (on a similar patient with a similar problem), while simultaneously considering how closely this student would need to be supervised to do so, all the time acknowledging the limits of making generalizations because of context specificity.38,39

Layer가 늘어나면 늘어날수록, 신뢰도 판단은 결국 지식과 기술을 넘어 진실성, 양심, 한계치 파악과 같은 특징에 대한 평가까지 포함된다는 것을 암시한다.

Adding more layers, research suggests that entrustability judgments ultimately go beyond knowledge and skillfulness to include assessments of characteristics such as truthfulness, conscientiousness, and discernment of limitations.40,41

좋은 측정에 대한 또 다른 rule of thumb은 [모든 관련 당사자들이 주어진 척도의 endpoint 또는 앵커에 대해 정확하게 동일한 방식으로 의해 명확하게 인식, 정의, 이해되도록 하는 것]이다. 이것은 중요하지만 극도로 어렵다.

Another rule of thumb in good measurement is to ensure that the end points, or anchors,42,43 for any given scale are clearly recognized, defined, and understood by all relevant parties in exactly the same way. This is important yet extremely difficult.

GME에서는 레지던트가 [전혀 감독받지 않고도 업무를 수행하도록 위임될 수 있음]을 나타내는 문구로 척도의 한쪽 끝을 고정한다. [전혀 감독받지 않는 것]으로 절대적으로 표현된 이 anchor은 설득력이 있다. 이러한 anchor을 총괄평가용도로 사용하면 어떤 졸업생이 완전한 독립성을 발휘하여 감독 없이 EPA를 수행할 수 있음을 인증한다. 그러나 UME의 경우 positive end의 anchor는 학생이 [간접 감독 하에 주어진 EPA를 실천하도록 위임할 수 있음]을 나타낸다. 이 anchor은 토대가 훨씬 약하고, 훨씬 덜 잘 정의되어 있다. 간접감독은 얼마나 간접적인 것을 뜻하는가?

In GME, the entrustment scale is anchored on the positive end by wording indicating that the resident can be entrusted to perform a task completely unsupervised. This anchor, stated in absolute terms as the total absence of supervision, is compelling. Using such an anchor summatively, a program certifies that its graduates are entrusted to practice in complete independence, to perform the EPAs with no oversight or supervision. In UME, however, the anchor on the positive end indicates that the student can be entrusted to practice a given EPA under indirect supervision. This anchor is far less grounded; it is far less well defined. How indirect is indirect supervision?

어떤 사람들은 "학생이 실제적으로 다른 사람을 감독할 수 있는지 여부"를 가지고 positive end를 정의하자는 것과 같은 다른 anchor들을 제안하였다. 직관적으로는 좋아보일지 몰라도, 이는 좋은 측정의 핵심적 규칙을 위반하고 있다. 그것은 바로, 어떤 스케일은 하나의 차원에 대해서만 차이가 있어야 한다는 것이다one dimension at a time. EPA를 잘 수행할 수 있으면서, 동시에 다른 사람들을 감독하고 싶지 않은 학생은 어떻게 할 것인가? 우수한 측정 관행은 평가 기준의 교란을 방지하기 위해 척도를 단차원적으로 정의하도록 요구하지만, 이 제안은 그 원칙에 반한다.

others have proposed different anchors, such as defining the positive end point in terms of whether the person could be “allowed to supervise others in practice.”3 As intuitively compelling as this example seems, it violates another cardinal rule of good measurement, which is that a scale should vary along only one dimension at a time. Could we not imagine a trainee who is quite capable of performing an EPA yet whom we would not want supervising others in that EPA? Good measurement practice demands that scales be defined unidimensionally so as to avoid confounding the rating criteria, but this proposal runs counter to that principle.

Core EPA에 대한 또 다른 문제들

Other Problems Inherent in Working With the Core EPAs

여러 가지 논리적인 모순

several logical inconsistencies

첫째, 이러한 EPA는 UME와 GME 간의 차이를 메우기 위한 것이기 때문에, UME와 GME 등급 범주를 나란히 배치하여 두 가지 설정에 사용되는 일관성을 결정할 수 있습니다. 예를 들어, GME entrustment의 하한선에서는 종종 "적극적이고 완전한 감독 하에만 EPA를 실천할 수 있다."가 있다. 그러나 어떻게 의대를 졸업하기 위해 간접적이고 최소한의 감독만으로 EPA를 할 수 있었던 인턴이 적극적이고 완전한 감독을 필요로 하는 것으로 평가될 수 있는가?

First, because these EPAs were meant to bridge the gap between UME and GME, we can place the UME and GME rating categories side by side to determine the consistency with which they are used in the two settings. For instance, at the low end of GME entrustment, one often finds “allowed to practice EPA only under proactive, full supervision.”3 Yet how could an intern be rated as requiring proactive, full supervision when in order to graduate medical school this same person had to be certified as able to practice with indirect, or minimal, supervision?

심지어 능력이 뛰어난 학생들 사이에서도 높은 기준을 충족하는 능력과 그들이 그렇게 하는 속도에 차이가 존재할 것이다. 

even among the talented individuals , differences will exist in their ability to meet high standards and the pace at which they do so; 

그러나 어떻게 거의 모든 의과대학 또는 레지던스 코호트의 모든 구성원이 동일한 시점에 까다롭고 세심하게 평가된 EPA 규격 세트를 만족하게 될 것인가?

Yet how is it that almost every member of every medical school class or residency cohort would come to meet a demanding and carefully assessed set of EPA standards at the same moment

우리 모두가 인정하고 싶지 않은 한 가지 가능한 대답은, 그 기준이 충분히 낮아서 사실상 모든, 심지어 성적이 좋지 않은 학생들조차 제 시간에 그 기준을 충족할 수 있다는 것이다. 훨씬 더 회의적인 생각으로서, Witteles와 Verghese45는 과중한 업무에 시달리는 평가자들이 때로는 정확하고 의미 있는 평가를 하려고 하기보다는 학생들에게 '기대되는 수준'에 체크를 하고 있을 것이라고 추측했다.

One possible answer, which we would all prefer to reject, is that the standards are sufficiently low that virtually everyone, even poorly performing students, can meet them on time. Offering an even more skeptical thought, Witteles and Verghese45 have speculated whether overworked assessors may sometimes be checking boxes for where students are supposed to be rather than attempting to provide assessments that are accurate and meaningful.

사회적 인지 이론에서 도출된 또 다른 설명은 표준과 평가자들의 편을 더욱 들어준다: UME와 GME의 맥락이 다르기 때문에, 같은 표준도 암시적으로 다르게 여겨진다. UME 학생으로서 entrustable하다고 평가된 바로 그 행동이 레지던트 기준에 대해서는 preentrustable한 것으로 보일 수 있다. 왜냐하면 인턴/레지던트는 환자들의 웰빙에 대해 훨씬 더 큰 책임을 지기 때문이다. 이러한 대조효과를 언급하면서, 사회심리학자들은 평가자들이 서로 다른 환경에서 서로 다른 기준으로 행동을 판단하기 때문에, 자신도 모르게 서로 다른 판단을 내릴 수 있다고 제안한다.

Another explanation, deriving from social cognitive theory, is more charitable to the standards and assessors: Standards implicitly differ when seen in the differing contexts of UME and GME. The very same behavior that was rated as entrustable against the responsibilities of UME studenthood may appear to be preentrustable against the standards of residency where house staff hold far greater responsibility for patients’ well- being. Referring to contrast effects,46,47 social psychologists suggest that raters may unwittingly make differing judgments as the result of judging behavior against different standards in different settings.

다른 두 가지 밀접하게 관련된 개념들(기대 효과와 자기 충족적 예언들)로 인해서, 우리가 어떤 행동에 대한 특정한 기대를 가질 때 (예: 경험과 훈련의 증가할수록 신뢰도가 더 높아짐) 이러한 것들은 우리가 기대하는 방향으로 판단하도록 무의식 수준에서 영향을 미칠 수 있다.

Two other closely related concepts, expectancy effects and self- fulfilling prophesies, posit that when we hold specific expectations for behavior (e.g., that trustworthiness is greater with increased experience and training), these may influence us, below the level of awareness, to make judgments in the direction of our expectations.48,49

생의학 연구에서 우리는 이중맹검 연구를 고집합니다.

그러나 in vivo 임상 기술 평가에서 평가자는 평가 대상자를 잘 아는 상태에서 평가를 내린다. 결과적으로, 평가자는 (자신의 교수개발 수준이나 동기부여의 수준에 관계없이) 무의식적이고 자동적으로 편견을 가질 수 있다. 사실상, 우리가 사용하고 있는 "기준"은 우리가 인식하고 있는 것보다 더 유연할 수 있습니다.

But in clinical skills assessments made in vivo, raters are almost never blinded to the experience level of the person being rated. As a result, raters may be subject to various nonconscious, automatic biases, whatever their level of faculty development or motivation. In effect, the “ruler” we are using may simply be more elastic than we realize,

결론과 제언

Conclusions and Recommendations

가족 내에서 요리법을 알려줄 때, 많은 할머니들이 우리에게 소금 한 꼬집이나 후추 한 방울을 넣으라고 지시한다. 만약 내가 entrustment의 개념이 온스나 밀리그램과 같은 어떤 객관적인 것으로 바뀐다면, 나는 매우 기뻐할 것이다. 하지만, 많은 재능 있는 사람들이 쏟아내는 노력에도 불구하고, EPA 기반 시스템을 도입함으로써 학생들에게 유용한 형태별 피드백을 제공하거나 방어적인 결정을 내릴 수 있는 신뢰할 수 있는 등급이나 유효한 판단을 내릴 수 있는 능력이 향상되었다고 생각하지 않는다.

When sharing family recipes, many of our grandmothers instructed us to add a pinch of salt or a sprinkle of pepper. If I believed that the concept of entrustment had turned a pinch or sprinkle into something objective such as ounces or milligrams, I would be overjoyed. However, for all the effort expended by so many talented people, I do not believe that the adoption of an EPA-based system has increased our ability to make reliable ratings or valid judgments, to provide students with useful formative feedback, or to make defensible summative decisions about progression.

내용에 관해서, 나는 EPA를 향한 움직임이 [우리에게 무엇이 좋은가]가 아니라 [할머니가 아는 무슨 요리를 할 줄 아는가]에 너무 많이 집중하게 만들었다고 믿는다. Core EPA는 병원 팀이 원활하게 작동하도록 하는 mundane and technical한 기술에 너무 많은 관심을 기울이고 있습니다. 그로 인해 더 추상적 개념으로 표현되는 의사의 역할과 행동에서 우리를 멀어지게 한다. 그러나 우리가 더 열심히 노력한다면 행동적으로 조작화할 수 있을 것이다. 방법론적 관점에서, 의사들이 신뢰를 레퍼런스틀로 사용하는 것에 편안할 수 있지만, EPA를 통한 평가는 추론이나 주관성을 감소시키지 않는다.

As for content, I believe that the movement toward EPAs has made us focus too much on what Grandma knows how to cook, not what is good for us.50 The Core EPAs direct too much of our attention toward the mundane and technical skills that allow hospital teams to function smoothly, thereby distracting us from those roles and behaviors of physicians that are more abstract in concept, yet could be operationalized behaviorally if only we worked harder at doing so. Methodologically, although physicians may be comfortable using trust as their frame of reference, assessment via EPAs does not decrease inference or subjectivity.

소소한 제안.

a few modest proposals

첫째, 일부에서는 EPA와 역량이 나란히 공존할 수 있다고 주장하지만, 66.8은 figure and ground 원칙을 상기해보면, 저는 교육자들이 둘 중 하나에 초점을 맞출 것이라고 생각합니다. 따라서 단일 하이브리드 모델을 제안합니다.

First, while some have argued that EPAs and competencies can coexist side by side,6,8 recalling the principle of figure and ground, I believe that educators are likely to focus on one or the other—to the extent that they are seen as separate entities. Therefore, I would like to propose a single hybrid model

목록 1에는 의사가 수행할 수 있는 측정 가능한 활동으로, 다양한 역량 또는 신뢰 또는 감독 수준에서 실습생으로서, 1일차 레지던트와 그 이후의 위대한 의사들로도 명시되는, 제가 제안한 의학 과제(TOM)가 포함되어 있습니다.

List 1 contains my proposed Tasks of Medicine (TOMs), stated as measurable activities that physicians can be expected to do, at varying levels of competence or trust or supervision, as clerks, as residents on Day 1, and as great physicians well beyond.

성직자, 인턴, 거주자에 대해 서로 다른 기준, 표준, 기대치가 존재할 수 있기 때문에, 동일한 행동들은 상황에 따라 다르게 판단될 수 있다. 따라서, 우리는 초보자부터 마스터, 3학년 학생부터 수석 거주자, 20년 실무자까지 모든 범위의 설명자를 개발할 필요가 있다.

because different frames of reference, standards, and expectations may exist for clerks, interns, and residents, identical behaviors may be judged differently depending on their context. Therefore, we need to develop a single set of descriptors that covers the full range from beginner to master, from third-year student to chief resident to 20-year practitioner.

4 Englander R, Flynn T, Call S, et al. Toward defining the foundation of the MD degree: Core Entrustable Professional Activities for Entering Residency. Acad Med. 2016;91:1352–1358.

6 Carraccio C, Englander R, Gilhooly J, et al. Building a framework of entrustable professional activities, supported by competencies and milestones, to bridge the educational continuum. Acad Med. 2017;92:324–330.

31 Krupat E, Frankel R, Stein T, Irish J. The Four Habits Coding Scheme: Validation of an instrument to assess clinicians’ communication behavior. Patient Educ Couns. 2006;62:38–45. XXX

18 Tekian A. Are all EPAs really EPAs? Med Teach. 2017;39:232–233. ==

Critical Thoughts About the Core Entrustable Professional Activities in Undergraduate MedicalEducation.

CBME에서 양과 질에 대한 잘못된 이분법(Adv in Health Sci Educ, 2014)

The false dichotomy of quality and quantity in the discourse around assessment in competency-based education

Olle ten Cate

오래되었지만 유용한 정의에 따르면, 역량 기반 의료 교육(CBME)의 의도된 결과는 "국지적 조건에 부합하여, 국지적 요구를 충족시킬 수 있도록 정의된 수준의 숙련도로 의술을 수행할 수 있는 의료 전문가"이다.

According to an old but useful definition, the intended outcome of competency-based medical education (CBME) is ‘‘a health-professional who can practice medicine at a defined level of proficiency, in accord with local conditions, to meet local needs’’ (McGaghie et al. 1978).

보다 현대적인 정의에는 "

• 졸업 성과능력의 근본적 지향적인 실천을 위한 의사 준비 방법 

• 사회적 요구와 환자 요구의 분석에서 파생된 역량에 관련하여 조직화된다. 

• 시간 기반 훈련을 강조하지 않으며 책임성, 유연성 및 학습자 중심성을 높인다"(Frank et al. 2010)가 있다.

More modern definitions include ‘

• ‘An approach to preparing physicians for practice that is fundamentally oriented to graduate outcome abilities and 

• the organization around competencies derived from an analysis of societal and patient needs. 

• It de-emphasizes time based training and promises a greater accountability, flexibility, and learner-centeredness’’ (Frank et al. 2010)

"의료전문직 교육이란 한 개 이상의 의료 역량의 고정된 숙련도를 목표로 하는 것이다" (10 Cate 2014a, b)

‘‘Education for the medical profession that is targeted at a fixed level of proficiency in one or more medical competencies’’ (ten Cate 2014a, b).

질과 양 사이의 대조는 그것이 이것 또는 저것과 같은 "둘 중 하나" 상황을 암시함으로써 오해를 만든다. 즉 시간과 절차 수를 기록하여 역량을 획득하거나, 성능을 측정함으로써 역량을 획득한다고 보는 것이다.

The contrast between quality and quantity is such a misunderstanding, as it suggests that they represent an ‘‘either–or’’ situation. Either you achieve competence by documenting time and number of procedures, or you achieve it by measuring performance.

새로운 치과 교육 프로그램의 최근 현장 검토 결과...

a recent on-site review of a new dental education program

기존의 치과대학 커리큘럼에서 학생들은 양적 기준(예: 추출물 수, 근관 치료, 왕관 및 교량)을 충족하도록 요구받았다. 반대로 새로운 커리큘럼은 수행된 절차procedure의 양보다는 역량 기반 교육의 현대적인 접근방식을 따랐다. 여기서 우리가 충격을 받은 것은 학생들이 (학교가 최소한의 양적 기준을 요구하지 않았다는 이유로) independent practice을 위한 적절한 기준을 충족시키지 못할 것을 매우 걱정했다는 것이다. 학교는 대신 학생들에게 전자 포트폴리오로서 치과 시술에 관한 역량에 대한 증거를 제공할 책임을 부여한다.

Whereas in the former dental curriculum the students were required to meet quantitative criteria (such as numbers of extractions, root canal treatments, crowns and bridges completed), the new curriculum follows a modern approach of competency-based education that stresses attained competencies rather than quantity of procedures done. It struck our review committee how worried students were that they would not meet adequate standards for independent practice, as the school had ceased to require minimum quantitative standards but instead put responsibility on students to provide proof of their competence in dental procedures in their electronic portfolio. 

위에서 인용한 CBME의 정의 어느 곳에도 학습자 평가에 있어 연습의 양이나 경험의 양이 중요하지 않다고 이야기하지 않지만, 이러한 혼란은 쉽게 이해할 수 있다. 역량 기반 교육은 기준에 따라 역량을 평가해야 하지만, 이러한 기준을 충족하는 시간은 유연해야 한다. 따라서 CBE에서 시행된 경험이나 절차의 양이 학생이 "인증"을 받는 순간에 모든 학습자에게 동등하다고 말할 수는 없다. 그러나 그렇다고 해서 "우리는 역량 기반 교육을 채택했고 따라서 직무나 절차 수 등과 같은 경험의 양은 신경쓰지 않으며, 학습자의 질만을 검토한다"는 주장은 타당하지 않다.

Nowhere in definitions of CBME cited above is to be found that quantity of exercises or experiences in the evaluation of learners is unimportant, but the confusion is easily understood. While competency-based education requires evaluation of standard levels competence, the time to meet these standards must be flexible. Hence in CBE it cannot be stated that the quantity of experiences or procedures practiced should be equal for all learners at the moment of certification. The argument however, that ‘‘we have adopted competency-based education, and therefore we look at the quality of the learners, not at quantity of experiences, such as time on tasks or numbers of procedures’’ is not valid.

'양'을 버리는 것이 위험한 또 다른 이유가 있다. 개인의 진보를 문서화하는 포트폴리오 접근법은 집단 평가 절차를 위한 합리적인 대안이며, workplace 학습에 매우 적합하며, CBE 프로그램에서 점점 더 많이 사용된다.

There is another reason why abandoning quantity may be dangerous. To document individual progress, a portfolio approach is a sensible alternative for mass assessment procedures, very apt for workplace learning, and increasingly used in CBE programs.

일반적으로 포트폴리오는 학습자가 수집, 소유 및 제어하는 문서 컨테이너가 된다.(Challis 1999). 하지만, 이것의 성공에는 학습자와 교사 모두의 상당한 노력이 필요합니다. (Driessen et al. 2005) 학생들이 주로 채우고 읽으며, 철저하게 평가할 시간과 기술이 부족하다는 이유로 교사가 거의 읽지 않는 포트폴리오는 역량의 척도로서 쓸모가 없다.(Driessen et al. 2007).

Portfolios are usually presented as containers of documentation, to a large extent collected, owned and controlled by the learner (Challis 1999). Its success however requires quite a bit of effort from both learners and teachers (Driessen et al. 2005). Portfolios that are predominantly filled and read by the students themselves, and hardly by teachers because of a lack of time and skill to thoroughly evaluate them, cannot serve well as measures of competence (Driessen et al. 2007).

어떤 경우에는 학습자에게 너무 많은 책임이 주어져서 학습자는 자기 평가뿐만 아니라 그들의 능력을 수준까지 증명해야 한다. 이러한 상황은 포트폴리오의 복잡한 평가를 수행할 시간이 부족할 뿐만 아니라 포트폴리오에 대한 엄격한 평가 도구가 부족하기 때문에 발생할 수 있습니다. 또한 이러한 상황은 학습자가 자신의 학습(및 평가)에 대해 책임을 져야 한다는 구성주의 교육 철학에 의해 종종 보호됩니다. 하지만 이것이 단지 교사들의 부담을 경감하기 위한 방패막이 구실이라면, 그것이야말로 구성주의가 선호받지 못한 이유일 것이다. 이렇게 이뤄지는 포트폴리오는 단순히 말해서 부적절한 기준의 유지에 불과하다.

In some cases too much emphasis is laid on the responsibility of learners to not only self-assess but also prove their competence to a level . This policy may not only be caused by a lack of time to do the cumbersome evaluation of portfolios , but also by a lack of rigorous assessment tools for portfolios. The policy is often defended by a constructivist educational philosophy that learners should take responsibility for their own learning (and assessment). If such defense serves as an excuse to alleviate teacher burden, rather than a deliberate educational policy, it may be one of the reasons why constructivism has attained a less favorable press (Kirschner et al. 2006). The result is simply an inadequate maintenance of standards.

지금껏 너무 자주 'quantity'만으로 역량을 결정하기에 충분한 것으로 여겨져 왔다: "이 절차를 다섯 번 했다면, 더 이상 당신을 평가할 필요가 없다."와 같은 것이다. 물론 실제 능력은 관찰되고 평가되어야 한다. 그러나 학습자가 감독 없이도 할 수 있다고 믿기 전에(Cianciolo 및 Kegg 2013), 학습자가 그것을 얼마나 자주 수행했는지를 확실히 알 필요도 있습니다.

Too often quantities have been regarded as sufficient to determine competence: ‘‘if you have done this procedure five times, then I don’t need to evaluate you any further’’; Actual competence must be observed and assessed. But before trusting a learner to work unsupervised (Cianciolo andKegg 2013), it sure helps to know how often procedures have be done

합리적 접근 방식은 학습자가 감독 없이도 일을 수행할 수 있는지에 대한 공식적 entrustment 평가를 받기 전에 사전 조건을 충족하도록 요구하는 것이다.

and a logical approach is to require learners to meet some pre-conditions before they are eligible for evaluation and for a formal entrustment decision to work unsupervised.

역량 기반 교육에서 질적 평가를 수행해야 하는 필요성과는 별개로, 노력의 경험의 quantity는 중요하다. 최소 숫자의 절차를 완료해야 하는 프로그램도 역량-기반일 수 있다. 어떤 프로그램이 만약 특정 횟수의 procedure나 특정 기간의 수련을 요구하지 않는다면, 그 프로그램은 모든 의도된 역량을 타당하게 평가해야 하는 책임이 오히려 커진다(Lurie et al. 2009). 어쩌면 그 치대생들은 정말 타당한 논지를 가지고 있었을지도 모른다.

clearly quantity of effort and experience is important and by no means in contrast with the need to evaluate qualitatively in competency-based education. A program that requires minimum numbers of procedures completed may well be competency-based. A program that does not require numbers of procedures or months of effort takes on a great responsibility to validly assess all intended competencies, which is not an easy task (Lurie et al. 2009). The dental students may really have had a valid point.

Driessen, E., van Tartwijk, J., van der Vleuten, C., &Wass, V. (2007). Portfolios in medical education: Why do they meet with mixed success? A systematic review. Medical Education, 41(12), 1224–1233.

The false dichotomy of quality and quantity in the discourse around assessment in competency-based education.

역량바탕교육: 이정표인가 맷돌인가?(J Grad Med Educ, 2014)

Competency-Based Education: Milestones or Millstones1?

Geoff Norman, PhD John Norcini, PhD Georges Bordage, MD, PhD

CanMEDS 역량은 네덜란드, 덴마크, 멕시코 등 16개국에 의해 채택 및 조정되었다.5 게다가 카네기 재단의 영향력 있는 플렉스너 100주년 기념사업은 CBE 채택을 강력히 추천했고 다음과 같은 주장을 했다. "OBE의 채택은 의학 졸업생들이 복잡한 상황에서 효과적으로 대응할 수 있도록 더 잘 준비할 것이며 필요한 역량의 깊이와 폭을 계속해서 효율적으로 확장할 것이다."

CanMEDS competencies have been adopted and adapted by 16 countries, including the Netherlands, Denmark, and Mexico.5 Moreover, the Carnegie Foundation’s influential Flexner centenary strongly recommended adopting CBE and made the claim that ‘‘Adoption of OBE [outcome-based or competency-based education] would better equip medical graduates to respond effectively in complex situations and efficiently continue to expand the depth and breadth of the requisite competencies.’’6,7

Harden8(p666)은 OBE/CBE에 대한 여러 가지 이점을 설명합니다.

Harden8(p666) ascribes a number of advantages to OBE/ CBE:

OBE는 다양한 이점을 제공하는 커리큘럼 계획을 위한 정교한 전략입니다. 이해관계자를 engage시키는 직관적인 접근입니다. 그것은 학생 중심의 접근을 장려하며 동시에 더 나은 책임감과 퀄리티 보증을 위한 경향을 서포트한다. 그것은 무시될지도 모르는 교육과정의 분야를 강조한다. 예를 들면 윤리나 태도...

OBE is a sophisticated strategy for curriculum planning that offers a number of advantages. It is an intuitive approach that engages the range of stakeholders . . . it encourages a student-centred approach and at the same time supports the trend for greater accountability and quality assurance . . . [it] highlights areas in the curriculum which may be neglected . . . such as ethics and attitudes . . ..

유감스럽게도, 이 선언들은 증거보다는 믿음의 문제로 보인다.

Regrettably, these declarations appear to be more a matter of faith than of evidence.

CBE의 주된 목적은 투명성입니다. 투명성 덕분에 전문직과 대중은 훈련 프로그램이 실습을 위한 지식과 기술을 갖춘 유능한 의사들을 배출한다는 것을 확신할 수 있습니다. 이 전제를 반박하기는 어렵다; 문제는 CBME의 제안된 메커니즘이 약속을 이행할 수 있느냐이다.

The primary intent of CBE is, we believe, transparency, so that the profession and the public can be confident that a training program is producing competent physicians who are equipped with the knowledge and skills for practice. It is hard to challenge that premise; the issue is whether the proposed mechanisms can deliver on the promise.

3가지 수준의 잠재적인 문제: 개념적, 심리학적, 그리고 로지스틱적.

potential problems at 3 levels: conceptual, psychometric, and logistic.

개념적 문제

Conceptual Problems

CBE의 한 가지 이점은 역량이 (적어도 표면상으로는) 단순함의 미덕을 가지고 있다는 것이다. 그들은 일반적으로 수가 (적어도 최상위 수준에서는) 적다. CanMEDS는 8가지 역할을 나열하고, ACGME는 6가지 능력을 가지고 있으며, Scottish 닥터는 7가지 능력을 가지고 있다. 놀랍게도, 많은 specifications들 사이에 중복되는 부분이 거의 없는 것 같다.9

One purported advantage of CBE is that the competencies appear, on the surface, to have the virtue of simplicity. They are generally few in number, at least at the top level. CanMEDS lists 8 roles, ACGME has 6 competencies, and the Scottish Doctor lists 7. Remarkably, there appears to be little overlap among many of the specifications.9

비록 역할의 경제economy of roles가 CBE를 그것의 역사적 선조라 할 수 있는 행동 목표와 CBE를 차별화하는 하나의 특징으로 홍보되지만, 이 간결함은 각 역할 또는 역량에 대한 하위 역량에서 빠르게 상실된다. 예를 들어, 스코틀랜드의 닥터는 12개 역량의 86개의 하위역량을 열거한다.

although an economy of roles is touted as 1 feature that sets CBE apart from its historical predecessor, behavioral objectives, this parsimony is rapidly lost in the further, more detailed specification of each role or competency. For example, the Scottish Doctor lists 86 subcompetencies under 12 competencies.

(역량의 확산에도 불구하고) 역량이 행동 목표와 다소 다르다는 주장은 유지되기가 어렵다. 실제로, Morcke와 동료들은 1970년대의 행동 목표 운동과 결과나 역량에 대한 현재의 관심 사이의 직접적인 경계를 설명했다. 행동 목표와 역량 사이의 유사성에 비추어 볼 때, 행동 목표의 궁극적인 종말을 초래한 요인들을 고려해야 한다: 

• 분명한 교육 이점의 증거 부족 

• 목표를 지정하고 교육 및 평가 접근방식을 구현하는 데 필요한 많은 노력 

• 저수준 목표의 득세

The argument that competencies are somehow different from behavioral objectives is difficult to maintain in the face of this proliferation of competencies. Indeed, Morcke and colleagues7 described a direct lineage between the behavioral objectives movement of the 1970s and current interest in outcomes or competencies. In view of the similarity between behavioral objectives and competencies, one should consider the factors that led to the ultimate demise of behavioral objectives: lack of evidence of clear educational benefits, the effort required to specify objectives and then implement educational and assessment approaches, and the dominance of low-level objectives.

게다가 행동주의에 대한 상세한 비판 중 일부는 CBE에 대한 도전에서 이미 다시 논의되고 있다. 특히, Harden이 논의한 바와 같이, CBE의 장점은 (시험에 합격함으로써 증명되는 지식의 단순한 숙달보다) 임상 능력의 특성에 대한 보다 전체적인holistic 관점을 장려한다는 것이다. 그러나 역설적으로 역량의 상세 규격specification 요건은 그러한 전체적인 관점을 완화시킬 수 있다. 왜냐하면 Morcke 등이 지적한 바와 같이 인본주의, 이타주의, 전문성, scholarship과 같은 자질은 객관적이고 측정 가능한 용어로 정의하기 어려우며 따라서 평가에서 짧게 넘어갈 수 있기 때문이다.

Moreover, some of the detailed critiques of behaviorism have been revisited in challenges to CBE. In particular, as discussed by Harden,8 a purported advantage of CBE is that it encourages a more holistic view of the nature of clinical competence than simple mastery of a body of knowledge evidenced by passing an examination. However, paradoxically, the requirement for detailed specification of competencies may mitigate against such a holistic view, as pointed out by Morcke et al,7 since qualities, such as humanism, altruism, professionalism, and scholarship, are difficult to define in objective, measurable terms, and thus may receive short shrift in assessment.

심리측정적 측면

Psychometric Considerations

비록 역량의 긴 목록은 CBE가 행동 목적과 구별될 수 있다는 개념에 부합하지만, 두 가지 접근법은 측정 수준에서 다르다. 행동주의 연구 의제와 일관되게 행동 목표 달성은 2진법으로 여겨졌다.

Although the long lists of competencies belie the notion that CBE is distinguishable from behavioral objectives, the 2 approaches do diverge at the level of measurement. Consistent with the behaviorist research agenda, achievement of behavioral objectives was viewed as binary.

아마도 적절하게 CBE 운동은 역량 성취에 대해 보다 현실적인 관점을 취해왔다. 아무리 역량이 원자적이라 하더라도(다음 절에서 우리가 복귀하는 지점) 달성도를 단계적 함수로 기술하는 것은 비현실적이라는 인식이 있다. 어린이들은 어느 날까지 기어가다가 갑자기 다음 날 걷지 않습니다: 걷는 것은 몇 주 또는 몇 달 동안 일어나는 점진적인 숙달 과정입니다.

Perhaps appropriately, the CBE movement has taken a more realistic perspective on the achievement of competencies. There is recognition that, however atomistic a competency is specified (a point we return to in the next section), describing its achievement as a step function is unrealistic. A child does not crawl one day and walk the next: Walking is a gradual process of mastery that occurs over weeks or months.

능력의 점진적인 취득에 대한 개념은 비선형 성장 곡선으로 표현되어 왔다. 여기서 능력의 성장은 처음에는 빠르지만, 그 다음에는 감속된다.15

This notion of the gradual acquisition of competence has been represented as a nonlinear growth curve, where growth of competence is initially rapid, but then decelerates (FIGURE 1).15

간단한 운동 능력simple motor skill이 그러한 곡선들과 유사한 동력 법칙을 따른다는 가설을 뒷받침하는 몇 가지 증거가 있다. 그러나 이러한 곡선은 단순한 반복 작업(한 스터디에서 시가 롤링)과 단일 세션에서만 파생됩니다.

There is some evidence to support the hypothesis that simple motor skills do follow a power law that resembles those curves. However, such curves are derived from a simple repetitive task (in one study, cigar-rolling) and a single session.

그러나 전체 세션에서 단조로움monotonic 성장이 있습니다(FIGURE 2).16 특정한 능력 수준(Y축의 한 점)이 달성되고 "달성되지 않음"이 있을 수 있으며, 역량이 달성되는 경우 여러 점이 있을 수 있다는 것을 암시합니다.

but there is monotonic growth across sessions (FIGURE 2).16 The implication is that a particular level of competence—a point on the y-axis—can be achieved and ‘‘unachieved,’’ and there may be multiple points where competence is achieved.

또한, 이러한 곡선이 레지던트 환경에서 특정 역량의 성장에 대한 더 유효한 표현일 수 있지만, "..."... 상상할 수 있는 거의 모든 형태의 학습 곡선이 발견될 수 있고 발견되었다는 점을 강조해야 한다."

Further, although these curves may be a more valid representation of the growth in specific competencies in the residency setting, it should be emphasized that ‘‘ . . . learning curves of almost every conceivable shape can and have been found.’’16

매 4개월마다 맥마스터 학부생에게 시행되는 180개 항목, 객관식 테스트(그림 3). 이러한 테스트의 연속적인 관리로부터의 성장 곡선은 이정표에 대해 가정된 것과 유사하다(FIGURE 1).

 the 180-item, multiple-choice test administered to McMaster undergraduates every 4 months (FIGURE 3). The growth curve from the successive administration of those tests is similar to those postulated for Milestones (FIGURE 1).

이러한 사례로부터 보자면, ACGME 역량 획득의 상세한 사양은 (특정 시점에 독립적인 관찰과 일치하는 수준의 달성으로 식별할 수 있는 정도까지 하려면) 비현실적인 샘플이 요구된다는 것은 명백하다.

It is apparent from these examples that detailed specification of the acquisition of any ACGME competency, to the point that it can be identified with the attainment of a level consistent with independent practice, at a particular point in time, will require an unrealistic sample of observations.

마찬가지로 CanMEDS 역할에 기반한 글로벌 등급 평가는 요인 분석에서 5개의 요인을 산출했지만 전체 내부 일관성 0.97을 가지며 척도 간의 차이가 없음을 보여 주었다.

Similarly, an evaluation of a global rating based on the CanMEDS roles,17 although it yielded 5 factors in a factor analysis, had an overall internal consistency of 0.97, again showing a lack of discrimination between scales.

이것은, 역량이 너무 광범위해서 차별화discrimination하지 못하는 것은 단순히 평가자가 용어의 의미를 적절하게 정의하고 내재화하지 못하는 능력의 반영일 수 있다. 그것은 마치 "유럽 지리를 얼마나 잘 아는가?"와 "다음 서유럽 국가들의 수도는 어디인가?"와 같은 질문의 차이와 유사하다. 따라서 전반적인 평가 개선은 보다 상세한 수준의 관찰에서야 발생할 수 있다.

It may be that these competencies are so broad that the lack of discrimination simply reflects the inability of assessors to adequately define and internalize the meaning of the terms. It may be likened to the difference between a question like ‘‘How well do you know European geography?’’ and ‘‘What are the capitals of the following western European countries?’’ It is possible then, that improved overall assessment may result from observations at a more detailed level.

한 편으로는, 상대적으로 객관적인 문서화가 가능하도록 역량의 상세히 규격하는 것은 레지던트 당 압도적 수의 평가를 초래한다. 그러나 반대로, 여러 역량을 함께 묶는 것은 정확하고 도움이 되는 피드백을 주지 못하게 만들고, 역량을 달성하는 것이 무엇을 의미하는지에 의문을 갖게 한다. 더욱이, 평가자들은 심지어 global 수준에서도 개인의 능력을 구별할 수 없는 것으로 보이며, 최소한의 신뢰도 달성하려면 많은 관찰이 필요하다.

On the one hand, detailed specification of competencies so that relatively objective documentation can be obtained results in an overwhelming number of assessments per resident. On the other hand, lumping competencies together precludes accurate and helpful feedback and leads to questioning precisely what it means to achieve competence. Moreover, it appears that judges cannot discriminate individual competencies even at this global level of specification, and many observations are needed to achieve even minimal levels of reliability.

광범위한 수준에서 합리적인 총괄 평가는 가능하지만, 그러한 형성평가를 위해서는 반드시 보다 상세한 수준의 관찰에 기초해야 한다.

reasonable summative assessment is possible at a broad level, but that formative assessment must necessarily be based on observations at a more detailed level.

로지스틱 문제

Logistic Problems

역량 기반 교육은 모든 숙달학습이 갖는 로지스틱 문제와 그 이상의 물류 문제를 추가로 안고 있다. 일부 학습자가 다른 학습자보다 더 빨리 능력을 획득할 수 있거나, 더 정확히 말하면, 어떤 학습자는 다른 학습자보다 더 빨리 어떤 능력을 획득할 수 있다고 가정하는 것은 매력적일 수 있다. 일정 수준의 개별화는 가능할지도 모른다. 한 레지던트가 특정 절차procedure에 대해 조기에 "완수"한 후 다른 절차procedure에 시간을 투자할 수 있다. 그러나 모든 시점에서 특정 역량을 평가할 수 있는 교수진을 확보하는 것은 현실적이지 않다. 게다가, 다양한 훈련 시간을 갖는 것은 실용적이지 않다.

Competency-based education has all the logistical problems of mastery learning and many more. However attractive it may be to presume that some learners may attain competency more quickly than others or, more precisely, that some learners may achieve some competencies more quickly than others do . Some individualization may be possible; one resident may ‘‘sign off’’ on a particular procedure early and then redirect time to a different procedure. However, it is not practical to have faculty available to assess particular competencies at any point in time. Moreover, it is simply not practical to have variable training times.

레지던트의 계약은 특정 기간(일반적으로 1년)으로 이뤄지며, 레지던트가 프로그램을 조기에 또는 나중에 종료하도록 허용하는 계약을 작성하기는 어려울 것이다. 현재 교육기관들은 개인화된 훈련 기간을 가진 레지던트를 기준으로 일정과 예산을 계획할 수 없다. 현재 해당 연도 내에 역량을 획득하지 못한 소수의 레지던트에게는 교정조치를 위한 추가 시간이 x개월로 부여된다. 비록 이것이 레지던트 프로그램 계획을 방해하더라도, 그 수가 적을 때에는 감당할 수 있다. 현재로서는 각 레지던트의 수련 기간을 개인화하는 것이 불가능하기 때문에, 먼저 역량을 성취하여 레지던트가 졸업한다면 비용이나 시간을 절약할 수 있다는 주장은 의심스럽다.

Contracts are given to residents for specific periods (usually a year), and it would be difficult to create a contract to allow residents to leave a program earlier or later. Currently, institutions cannot plan schedules and budgets based on residents having individualized lengths of training. Currently, those few residents who do not achieve competencies within that year are given x number of months additional time for remediation. That disrupts residency program schedules but is manageable because the numbers are small. At present, individualizing training periods for each resident is not feasible, thus the claims that Milestones can save money or time by possibly graduating residents earlier appear specious.

이 관점의 함축은 불안하다. 역량 기반 교육은 서로 다른 개인이 다른 시점에 서로 다른 영역에서 역량을 획득할 것을 약속한다. 그것이 교육 자원의 할당과 레지던트 수련시간의 "가상적" 효율성을 가져올 수 있지만, 그것은 GME의 현재의 현실과 양립할 수 없다.

The implication of this viewpoint is unsettling. Competency-based education promises that different individuals will achieve competency in different domains at different times. Although that may lead to hypothetical efficiencies in allocation of educational resources and resident time, it is incompatible with the current realities of GME.

CBE를 위한 장점이 있습니까?

Is There Any Advantage for CBE?

지정된 역량에 대해 4가지 이상의 역할을 수행할 수 있습니다.

• 1. 학생 또는 레지던트의 학습 유도

• 2. 침상 및 진료소에서 레지던트와 학생에게 매일 피드백 제공

• 3. 로테이션 종료 또는 프로그램 종료 시 합격/불합격 결정

• 4. 라이선스 및 인증에 합격/불합격 결정

One can envision at least 4 distinct roles for specified competencies:

• 1. Guiding learning for a student or resident

• 2. Giving daily feedback to residents and students at the bedside and in clinic

• 3. Making pass/fail decisions at the end of a rotation and the end of a program

• 4. Making pass/fail decisions for licensure and certification

학습 유도

Guiding Learning

역량의 상세한 사양은 여러 수준에서 유용성을 가질 수 있다. 첫째, 각 레지던트가 최소한 모든 역량에 노출되는 것을 보장할 수 있는 프로그램 계획에 사용할 수 있다.

A detailed specification of competency may have utility on a number of levels. First, it can be used in program planning to ensure that each resident is at least minimally exposed to every competency.

둘째, 그러한 설명은 현재처럼 진단 procedure와 같은 스킬 분야에서 의무적으로 요구되는 절차 수를 계산하기 보다는, 달성한 역량 정도를 측정하는 procedure log를 도입하여 특정 기술에 대해 쉽게 조작할 수 있다.

Second, such a description could also easily be operationalized for specific skills, such as diagnostic procedures, by introducing a procedure log that measures degrees of competence rather than counts the number of procedures, as is currently mandated in procedural specialties.

평가와 피드백

Assessment and Feedback

최소한, 특정 역량의 인증 요건은 지금껏 역사적으로 늘 부족했던 "레지던트 퍼포먼스의 관찰" 증가로 이어져야 한다. 모든 역량에 대해 충분한 수의 관찰을 "sign off"하는 것이 결코 실현 가능하지 않을 수 있지만, 관찰이 증가하는 것 자체로 이점이 있을 것이다.

At minimum, the requirement for certification of specific competencies must inevitably lead to increased observation of resident performance, an area that is historically underserved. Although it may never be feasible to conduct sufficient numbers of observations to ‘‘sign off’’ on all competencies, increased observation would bring its own benefits.

합격과 탈락 결정

Determining Pass and Fail in Programs

역량 프레임워크는 테스트 샘플링을 위해 쉽게 사용할 수 있는 청사진을 제공한다. 다시, '모든' 역량을 '충분히' 관찰할 수 없다는 것은 충분히 인식하지만, 청사진은 훈련 중인 평가 및 시험 내용의 대표성에 대한 신뢰도를 높일 수 있다. 결과적으로, 그것은 프로그램이 전공의 수련의 목표의 달성을 인증할 수 있는 자신감을 증가시킬 수 있다.

the competency framework provides a readily available blueprint for test sampling. Again, the impossibility of observing all competencies sufficiently is recognized, but the blueprint can provide increased confidence on the representativeness of the content of in-training assessments and examinations. In turn, that may increase the confidence with which programs can certify achievement of residency program objectives.

인증과 증명

Accreditation and Certification

마찬가지로 역량 프레임워크는 전문과목 학회가 검사 specification에 사용할 수 있는 자연스러운 blueprint입니다. CBE가 보드 시험을 대체할 가능성이 없다는 것은 자명하다. 그러나 competency statement는 콘텐츠의 대표성(유효성)을 보장하고, 궁극적으로 레지던트의 성과에 대한 평가를 개선하기 위한 보드시험을 설계하기 위한 자연스러운 출발점이다.

Similarly, the competency framework is a natural blueprint for specialty boards to use in examination specification. It is self-evident, that CBE is unlikely to replace board examinations. However, the competency statement is a natural starting point for design of board examinations, again directed at assurance of content representativeness (validity), and ultimately, improved assessment of resident performance.

인증 위원회가 인증 절차에 기초할 보다 체계적인 증거를 확보한다는 점도 장점이다.

A further advantage is that certifying boards will have more systematic evidence on which to base accreditation procedures.

역량 기반 교육은 가장 열성적인 지지자들이 주장하는 장점들을 결코 달성하지 못할 것이다. 교육 연구 한 세기는 교육적인 "만병통치약"이 없다는 것을 분명히 보여준다. 그럼에도 불구하고, (단순 시간 투입이 아니라) 역량 성취라는 포커스를 향한 변화는, 점진적이라도 입증 가능한 이익을 가질 가능성이 높다. 문제는 administrative elephant를 만들지 않으면서 이점을 극대화하기 위해 리소스를 전략적으로 재할당해야 한다는 것입니다.

Competency-based education may never achieve the many virtues attributed to it by its most enthusiastic proponents. A century of educational research clearly demonstrates that there are no educational ‘‘wonder drugs.’’ Nevertheless, the change of focus toward achievement of competency, rather than putting in time, is likely to have demonstrable, if incremental, benefits. The challenge is to reallocate resources strategically to maximize benefit while avoiding creating an administrative elephant.

7 Morcke AM, Dornan T, Elka B. Outcome (competency) based education: an exploration of its origins, theoretical basis and empirical evidence. Adv Health Sci Educ Theory Pract. 2013;18(4):851–863.

J Grad Med Educ. 2014 Mar;6(1):1-6. doi: 10.4300/JGME-D-13-00445.1.

Competency-based education: milestones or millstones?

평가 프로그램 설계: 참여적 방법(Med Teach, 2017)

Designing programmes of assessment: A participatory approach 

Janica Jamiesona , Gemma Jenkinsa, Shelley Beattya and Claire Palermob

aSchool of Medical and Health Sciences, Edith Cowan University, Perth, Australia; bDepartment of Nutrition and Dietetics, School of Clinical Sciences at Monash Health, Faculty of Medicine, Nursing and Health Sciences, Melbourne, Australia

도입

Introduction

작업 기반 환경에서 CBA의 복잡성이 존재한다. 어려움 중 일부는 특히 형성평가에서 의미 있는 피드백을 포착하는 것(Bindal et al. 2011; Bok et al. 2017)과 역량의 전체 모습을 잡아내기 위해서 개별 평가 항목을 통합하는 것을 포함한다(Bok).

there are complexities of CBA in a work-based setting. Some of the difficulties include capturing feedback that is meaningful, particularly in formative assessment (Bindal et al. 2011; Bok et al. 2013; Barrett et al. 2017), and aggregating individual assessment items to holistically capture competence (Bok et al. 2013).

평가 프로그램은 다음에 의해서 underpin되는 평가항목의 의도적 배열이다(Van der Veen 등).

• 평가가 학습을 유도해야 한다는 것

• 고부담 평가는 반드시 강건해야 한다는 인식

• 타당도는 도구가 아니라 사용자에 달려있다는 것

A programme of assessment is a purposeful arrangement of assessment items underpinned by 

• the need for assessment to drive learning, 

• recognition that high stakes assessment must be robust, and 

• that validity lies with the users rather than the instruments (Van der Vleuten et al. 2012).

프로그램적 접근방식(Dijkstra et al. 2012; Van der Vleuten et al. 2015)에 대한 합의가 있었지만, 대부분의 문헌은 개념적이고 실제 사례는 적다(Driessen et al.

While there is agreement on a programmatic approach (Dijkstra et al. 2012; Van der Vleuten et al. 2015), much of the literature is conceptual and real-life examples limited (Driessen et al. 2012; Bok et al. 2013; Van der Vleuten et al. 2015).

본 연구의 목적은 평가 프로그램을 설계하는 참여 작용 연구(PAR) 접근방식을 적용하고 평가하는 것이었다.

The aim of this study was to apply and evaluate a participatory action research (PAR) approach to design a programme of assessment.

Methods

세팅

Setting

방법론

Methodology

PAR은 프로그램 평가 원칙에 따라 20주간의 배치 재설계를 위해 사용되었다. (Van der Vleuten et al. 2012; Dijkstra et al. 2012; Van der Vleiten et al. 2015) PAR는 연구원과 참여자 간의 파트너십을 형성하여 활동 연구 주기를 이용하여 실천을 이해하고 개선하고자 한다(Baum et al. 2006; Reason and Bradbury 2008). 이러한 접근 방식을 이용하여, 취업 기반 평가관과 대학 교수로 구성된 실무 그룹이 설립되었다. 작업 기반 평가관은 배치 중에 감독 및 평가에 참여하는 주요 이해당사자로 확인되었으며, 모든 배치 위치에 대한 이메일 초대(n1⁄421)를 통해 모집되었습니다. 이러한 부가적인 표본 추출은 최종 프로그램의 적용 가능성을 강화하기 위해 다양한 작업 설정을 나타내었다. 

PAR was used to redesign the 20 week placement in accordance with programmatic assessment principles (Van der Vleuten et al. 2012; Dijkstra et al. 2012; Van der Vleuten et al. 2015). PAR seeks to understand and improve practices using the action research cycle by forming a partnership between researchers and participants (Baum et al. 2006; Reason and Bradbury 2008). Using this approach, a working group composed of work-based assessors and university academics was established. Work-based assessors were identified as key stakeholders involved in supervision and assessment during placement and were recruited via an email invitation to all placement locations (n¼21). This purposive sampling ensured that a range of work settings were represented to strengthen the applicability of the final programme. 

다양한 표본 추출 방법을 설명하기 위해 종이 기반 조사를 사용하여 인구통계 및 직업 특성을 수집했다. 9명의 직업기반 평가관은 관심을 표명했고 (ECU) 대학 교수인 두 명의 연구원(J. J. J. J.와 G. J.)과 함께 참여했으며, 이 직책에 대해 복잡한 이해를 갖고 있다. 연구원들은 영양사 평가에서 전문 지식을 가진 독립적인 학자와 함께 했다. 본 연구는 대학 윤리 승인(ECU)을 받았고 참가자들은 서면 정보를 통한 동의를 제공했다.

Demographic and occupational characteristics were collected using a paper-based survey to describe the diverse sampling. Nine work-based assessors expressed interest and were joined by two researchers (J. J. and G. J.) who are (ECU) university staff and have an intricate understanding of the placement. The researchers were joined by an independent academic with expertise in assessment of dietitians (C. P.). The study received university ethics approval (ECU) and participants provided written informed consent.

평가 재설계

Redesigning assessment

Evaluation of the PAR process

정성적 평가가 그 연구에 포함되었다. 특히 PAR 접근 방식이 새로운 평가 프로그램을 확립하는 데 어떤 역할을 했는지와 이유를 평가하기 위해 6차 회의에서 60분 초점 그룹이 수행되었다.

A qualitative evaluation was embedded in the study. A 60min focus group was conducted in the sixth meeting to evaluate the working group process, in particular, how and why the PAR approach functioned to establish the new assessment programme.

결과 Results

Demographics and participation

Nine work-based assessors were recruited (Table 1).

평가 재설계

Redesigning assessment

• 이전 평가에서는 보다 광범위한 역량 개발보다는 격리된 기술 성과에 초점을 맞추었고, 

• 평가자와 교사가 이해관계가 중복되었으며, 

• 3가지 업무 기반 환경에서 평가 간의 연관성을 강화할 수 있는 기회가 있다

...는 데 의견이 일치했습니다(표 2)

There was consensus that 

• the previous assessment focused on isolated skill performance rather than broader competency development, 

• dual roles of assessor and teacher created a conflict of interest, and 

• there was an opportunity to strengthen the connection between assessments across the three work-based settings (Table 2).

(ECU)의 영양학 석사를 위해 설계된 평가 프로그램은 그림 1에 시각적으로 표현된다.

The programme of assessment designed for the Master of Nutrition and Dietetics at (ECU) is visually represented in Figure 1.

PAR 절차 평가

Evaluation of the PAR process

7명의 참가자가 포커스 그룹 토론에 참여하여 프로그램 평가 설계에 대한 PAR 접근 방식을 평가했습니다. 세 가지 주제가 나타났습니다.

Seven participants took part in the focus group discussion to evaluate the PAR approach to programmatic assessment design. Three themes emerged:

평가 프로그램 설계를 위한 공통의 비전

A shared vision for the design of the assessment programme

새로운 평가 프로그램에 대한 공유 비전은 공동 목표를 수립하면서 설계 우선순위에 대한 그룹의 설명과 문서화를 통해 달성되었다. 참가자들에게 현재의 비프로그램적 접근법에 대한 자신의 의견과 불만을 표현할 수 있는 기회를 제공하면 공유 목표와 그룹간 협력 관계가 촉진된다. 참가자는 물리적 위치와 청각에 관계없이 집단에 대한 일체감을 지속적으로 보고했다.

The shared vision for the new assessment programme was achieved through the groups’ articulation and documentation of priorities for the design, creating a common goal. Providing participants with opportunities to express their opinions and frustrations regarding the current non-programmatic approach facilitated shared goals and group collegiality. Participants consistently reported a sense of inclusion, regardless of physical location, and of being heard, which assisted in group unity.

참가자들은 식이요법 노동력을 구축하는 것에 관한 기존 경험과 개인적인 관심이 변화에 대한 준비 태세를 가지고 왔다고 보고했다. 이는 지속적인 참여의 주요 동기로 간주되었으며 평가 프로그램의 'buy-in'으로 이어졌다.

Participants reported bringing a readiness for change, born from previous experiences and personal interests in building the dietetic workforce. This was viewed as a key motivation for ongoing involvement and led to ‘buy-in’ of the assessment programme.

작업 환경, 평가 경험 및 지리적 위치에 걸친 작업 그룹의 다양성은 전체적인 것으로 간주되었으며 그룹을 강화시켰다. 참여자들은 평가에서 미래에 대한 공유된 비전이 평가 프로그램에 다양한 관점을 고려하고 구축하도록 보장했음을 반영했다.

The diversity of the working group across work settings, assessment experience and geography, was seen as holistic and strengthened the group. Participants reflected that the shared vision for a way forward in assessment ensured that different perspectives were considered and built into the assessment programme.

평가 프로그램을 위해 참가자의 역량을 강화하고 소유의식을 개발하는 동시에 프로젝트를 추진하는 리더십

Leadership driving the project while empowering participants and developing their sense of ownership for the programme of assessment

참가자들은 연구자들을 프로젝트를 주도한 지도자로 보았다. 이것이 없었다면, 참가자들은 그들이 해제되었을 것이라고 느꼈다.

Participants viewed the researchers as leaders who drove the project. Without this, participants felt that they would have become disengaged.

이러한 모멘텀 감각은 연구자들의 실용주의와 더불어 프로젝트 목표의 공유 비전과 제공이 프로젝트 완료에 필수적인 요소로 간주되었습니다. 참가자와 연구자의 의무와 책임의 균형을 맞추는 것이 핵심이었다. 참가자들은 그들의 업무량이 그들의 능력과 헌신에 적절했으며, 연구자들의 기대는 현실적이고 성취가능한 수준이었다. 업무량이 더 컸다면 부담스럽고 참여에 부정적인 영향을 미쳤을것이라는 합의가 있었다.

This sense of momentum, combined with the pragmatism of the researchers, the shared vision and delivery of project goals, were viewed as fundamental to project completion. Balancing duties and responsibilities of participants and researchers was key. Participants indicated their workload met their abilities and commitment, and the expectations of the researchers were realistic and achievable. Consensus was that greater workloads would have been burdensome and negatively affected involvement.

참가자들은 판단받을 우려없이 자신들의 의견과 불만을 표출할 수 있는 안전한 환경이라고 판단했다. 이것은 참가자들이 유토피아적인 평가 모델을 탐구하고, 다른 관점을 가지며, 아이디어를 도출할 수 있도록 허락한 연구자들의 수용성에서 비롯되었다.

Participants identified the working group as a safe environment where they were encouraged to express their opinions and frustrations without concern of judgment. This was derived from the receptiveness of the researchers who granted participants permission to explore a utopian assessment model, different perspectives, and generate ideas.

조직화된 포커스 그룹은 다른 관점에서 비판할 수 있게 해주었기 때문에 아이디어의 생성과 진화에 필수적이다. 참가자들은 온라인 설문 조사나 이메일이 동일한 깊이를 얻지 못할 것이며 평가 프로그램에 대한 활발한 토론을 이끌어내기보다는 연구원들이 제기한 가정에 의존할 것이라는 데 동의했다.

Structured focus groups were essential to the generation and evolution of ideas as they allowed for critique from different perspectives. Participants agreed that an online survey or email would not have gained the same depth and would have relied on assumptions made by the researchers, rather than allowing robust debates about the assessment programme.

새로운 프로그램의 설계에 대한 논의가 영향을 미칠 것이라는 기대와 자신감을 갖는 것은 참가자들에게 만족감을 주었다. 이것은 소유의식을 초래했고 참가자들은 그들 자신의 작업 환경과 그 이상의 프로그램 옹호자로 자신들을 식별했다.

Feeling heard and having confidence that discussions would inform design of the new programme was satisfying to participants. This led to a sense of ownership and participants identified themselves as advocates for the programme within their own work settings and beyond.

참여자들은 자신이 프로그램 구현에 중요한 역할을 하는 전문 사용자라고 생각했다. 이러한 소유감은 업무 기반 학습에서 그들의 역할에 대한 신뢰와 검증, 평가에 대한 향상된 이해, 습득된 지식을 통한 권한 부여empowerment의 느낌에서 비롯되었다. 참여자들은 자신의 의견을 표현할 기회가 새로웠다고 말하며, 평가 프로그램에 의해 보상을 받고, 자신의 우려를 표명하며, 소유감을 느꼈다고 생각했다.

Participants perceived themselves to be expert users, playing a key role in the programme implementation. This sense of ownership originated from confidence and validation of their role in work-based learning, an improved understanding of assessment and a feeling of empowerment through knowledge gained. Participants reflected that opportunities to express their opinions were new which rewarded by the assessment programme, addressed their concerns and for which they felt a sense of ownership.

참가자들이 평가를 보는 관점에 철학적인 변화가 일어났고, 이는 평가프로그램의 도입을 서포트하였다.

A philosophical shift occurred in the views of participants towards assessment, supporting the implementation of a programme of assessment

참가자들은 업무 기반 학습 환경에서 평가에 대한 태도와 실천에 대한 성찰 과정을 거쳤다고 보고했다. 그들이 얻은 지식은 그들의 생각에 도전했고, 그들의 평가 관행에 비판적이고 의문을 갖는 접근법을 채택하게 되었다. 참가자들은 평가에 대한 자신의 역할에 대해서 이해도가 향상되고, 깊이와 명확성을 확보했으며, 이것이 긍정적인 학습 경험을 가져올 것이라고 판단했다. 이러한 지식을 바탕으로, 일부 참여자들은 실무그룹에서의 행동을 변화함으로써 긍정적인 결과를 얻었다고 보고했다.

Participants reported undergoing a process of reflection regarding attitudes and practices towards assessment in the work-based learning setting. The knowledge they gained challenged their thinking, leading to the adoption of a critical and questioning approach to their own assessment practices. Participants reported an improved understanding for their role within assessment, gaining depth and clarity, and considered that this would result in positive learner experiences. Empowered by this knowledge, some participants reported that they modified their supervision practices during the working group with positive outcomes.

참가자들은 과정과 성취감에 대한 흥분감을 보고했다. 어떤 사람들에게는, 이것은 그들의 직무의 강화와 재창조에서 유래한 것이고, 반면에 다른 사람들은 영양학자로서 재인증을 한다고 말했다. 참가자들은 여행, 작업 부하, 개인적 요구 등으로 인해 회의에 참석하는 데 있어 어려움이 있었음을 인정했습니다. 그들은 그 모임에 참여하면 engaged함을 느끼고 흥분했다고 보고했다.

Participants reported excitement regarding the process and a sense of achievement. For some, this derived from an enrichment and reinvigoration of their work role, while others spoke of re-identifying as a dietitian. Participants acknowledged the challenges in attending meetings, such as travel, workloads and personal demands. They reported that once at the meetings they felt engaged and excited.

고찰

Discussion

세 가지 주요 발견: 

• (i) 평가 프로그램을 추진하는 데 리더십이 중요했다. 

• (ii) 참가자는 프로그램의 소유권과 지지를 초래하는 설계 프로세스에 초기에 의미 있는 참여를 통해 empowered받았다. 

• (iii) 설계 프로세스는 평가에 대한 참가자의 관점에 철학적인 변화를 가져왔다.

three key discoveries: 

• (i) leadership was important to drive the programme of assessment; 

• (ii) participants were empowered by early and meaningful involvement in the design process resulting in ownership and advocacy of the programme; and 

• (iii) the design process resulted in a philosophical shift in participants’ views towards assessment.

PAR 접근법의 사용은 평가 관행을 이해하고 개선하기 위해 연구자와 참여자 사이의 협력을 촉진하였다. 연구자와 실무자 간의 직접 연결은 증거 기반 실천 변화를 보다 효과적으로 서포트할 수 있다(Nutley et al. 2007; Shard and Sharples 2016).

The use of a PAR approach fostered a partnership between researchers and participants to understand and improve assessment practices. Direct connection between researchers and practitioners can more effectively support evidence-based changes to practice (Nutley et al. 2007; Sheard and Sharples 2016).

모든 당사자를 평등하게 보고 가치 있는 기여를 하는 것을 포함하여 이해관계자의 전문 경험과 전문 지식을 인식하는 것이 전문적 담화와 참여를 강화하는 데 핵심이다(Shard and Sharples 2016). 평가 재설계 과정에 참여자와 협력하여, 연구원들은 그들의 경험과 전문지식을 인정하고 육성했으며, 참여자들은 그들의 아이디어가 평가 재설계에 정보를 줄 것이라고 확신하고 새로운 평가 프로그램을 옹호advocate할 수 있게 empower 되었다.

Recognition of professional experience and expertise of stakeholders, including viewing all parties as equal and having a worthwhile contribution, is key in enhancing professional discourse and engagement (Sheard and Sharples 2016). By partnering with participants in the assessment redesign process, researchers acknowledged and fostered their experience and expertise, Participants felt heard and confident that their ideas would inform assessment redesign and as such became empowered to advocate for the new assessment programme.

변화할 수 있는 context를 제공하는 것은 [전문적인 대화와 이해당사자들과의 참여를 촉진]하고 [교육 변화의 성공에 기여]하는 중요한 요소이다(Deneneen and Boud 2014). 연구과정 초기에, 참가자들은 저자들에 의해 모범 사례 평가에 대한 정보를 얻었고, 현재의 비프로그래밍 접근법의 강점과 한계를 탐구하도록 장려되었다.

Providing context to a change is a critical element to promote professional dialogue and engagement with stakeholders and contribute to the success of educational change (Deneen and Boud 2014). Early in the research process, participants were informed about best-practice assessment by the authors and encouraged to explore the strengths and limitations of the current non-programmatic approach.

이 주제에 대한 연구자들의 깊은 이해와 참가자들과의 기존의 관계는 '인사이더'라는 용어를 낳았는데, 이것은 참가자들이 지도자로 진화하는 것에 기인했을 수 있다(Sike and Potts 2008. 2008). 그러한 지위가 유익할 수 있지만, 이러한 위치에 인지하지 못할 경우에는 자신의 의제, 인식, 가정을 연구에 투영하는 위험을 낳게 된다. 이는 편향을 발생시키고, PAR 접근 방식의 신뢰성과 훼손이 발생할 수 있다(Berger 2015). 연구원들이 연구 과정과 결과에 미치는 영향에 대해 의식적으로 인식하려면 정성적 연구에서의 반사적 위치가 필요하다(Berger 2015; Enosh, Ben-Ari 2016).

The researchers’ deep understanding of the topic and pre-existing relationships with participants positioned them as ‘insiders’, which may have attributed to their evolution as leaders (Sikes and Potts 2008). While such status can be beneficial, being incognizant to this position risks the projection of ones’ own agenda, perceptions, and assumptions onto the research. This can result in bias, affecting the credibility and compromising the PAR approach (Berger 2015). Reflexive positioning within qualitative research is necessary to bring a deliberate awareness to the impact of the researchers on the research process and outcomes (Berger 2015; Enosh and Ben-Ari 2016).

이것은 다음을 통해 해결될 수 있다.

• (i) 지속적인 성찰적 논의에 참여하는 연구자는 자신의 개인적인 의제에 경각심을 가지고, 자신의 생각을 작업 그룹의 생각과 분리한다. 

• (ii) 포커스 그룹을 사용하여 참가자의 관점을 중심으로 연구를 진행하고 연구원을 촉진자로 배치한다. 

• (iii) 평가 프로그램을 설계하는 동안 우선순위가 반영되었는지 확인하기 위해 작업 그룹의 피드백을 구한다. 

• (iv) 두 명의 저자에 의해 독립적으로 주제 분석을 수행한다. 이 중 한 명은 대학 외부 사람이었다.

This was addressed by 

• (i) the researchers participating in ongoing reflective discussions to remain alert to their personal agendas and separate their ideas from that of the working group; 

• (ii) using focus groups to center the research on the participants’ perspectives and position the researchers as facilitators; 

• (iii) seeking feedback from the working group during the design of the assessment programme to ensure it reflected their priorities; and 

• (iv) thematic analysis independently undertaken by two authors, one of which (C. P.) was external to the university under study.

Designing programmes of assessment: A participatory approach.

새로운 커크패트릭 모델은 평가를 위한 더 나은 망치인가? (Med Teach, 2017)

Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox?

Katherine A. Moreaua,b,c

aFaculty of Education, University of Ottawa, Ottawa, Canada; bCentre for Research on Educational and Community Services, University of

Ottawa, Ottawa, Canada; cChildren’s Hospital of Eastern Ontario Research Institute, Ottawa, Canada

도입

Introduction

프로그램 평가 문헌에는 수많은 평가 모델이 있지만(Frye & Hemmer 2012; Stufflebeam2001), 커크패트릭의 원래 4단계 평가 프로그램(반응, 학습, 행동, 결과)은 광범위하게 사용된다. 그럼에도 불구하고, 그것은 비판의 대상이다. Frye와 Hemmer(2012년)는 Kirkpatrick의 원래 모델이 왜 교육적 프로그램이 작용하는지, 그 자체로는 보여주지 못하고 있다고 지적했습니다. 마찬가지로, 파커(2013년)는 우리가 Kirkpatrick(더 나은 해머 제작)을 사용할 수 있도록 개선할 필요가 있다고 주장합니다. [또한] 우리의 사고방식과 그에 따른 우리의 '툴박스'가 얼마나 복잡한 프로그램이 동작하는지 이해하기 위해 확장된다."(p. 440). 

While there are numerous evaluation models within the program evaluation literature (Frye & Hemmer 2012; Stufflebeam2001), Kirkpatrick’s original four-level (reaction, learning,behavior, results) outcome-focused model is widely usedto evaluate medical education programs. Nevertheless, it is subject to criticism. Acknowledging its shortcomings,Frye and Hemmer (2012) note that Kirkpatrick’s original model, on its own, fails to show why educational pro-grams work. Likewise, Parker (2013) argues that we need“improve to our use of Kirkpatrick (build better hammers) … [as well as] expand our thinking, and thus our ‘toolbox’, to understand how complex programmes work …” (p. 440). 

비판 1: Kirkpatrick은 레벨 3(Behavior) 및 레벨 4(Results)를 평가하는 데 어려움을 줍니다. 

Criticism 1: Kirkpatrick makes evaluating Levels 3(Behavior) and 4 (Results) challenging 

Kirkpatrick의 원래 모델의 사용에 대한 검토 결과, 의학 분야의 대부분의 연구자들이 레벨 2(학습)에서 평가를 중단한 것으로 나타났다(Yardley & Dornan 2012).

Reviews on the use of Kirkpatrick’s original model reveal that most investigators in medical education cease evaluations at Level 2 (Learning) (Yardley & Dornan 2012).

잠재적인 해결책으로 NWKM은 비순차적으로 또는 동시에 또는 역방향으로(즉, 레벨 4~1)(Kerkpatrick & Kirkpatrick 2016) 수준을 평가할 것을 제안한다. 또한, Kirkpatrick과 Kirkpatrick(2016)은 모든 프로그램에 "전체 평가 패키지"가 필요한 것은 아니라고 지적합니다(페이지 22). 그들은 프로그램 이해당사자들과 협력하여 가장 중요하고 유용하며 가치 있는 수준을 결정한 다음 이러한 수준만 평가할 것을 권고한다. 

As a potential solution the NWKM suggests evaluating the levels non-sequentially, concurrently, or in reverse (i.e. Levels 4 to 1)(Kirkpatrick & Kirkpatrick 2016). In addition, Kirkpatrick and Kirkpatrick (2016) note that not all programs require the“full evaluation package” (p. 22). They recommend collaborating with program stakeholders to determine the levels that are most important, useful, and evaluable and then only evaluating these levels. 

Kirkpatrick의 원래 모델에 대한 비판자들은 또한 일부 조사자들이 레벨 3과 레벨 4를 평가하기에 너무 어렵다고 느낀다는 것을 지적한다.

The critics of Kirkpatrick’s original model also note that some investigators find Levels 3 and 4 too hard to evaluate(Yardley & Dornan 2012).

Kirkpatrick과 Kirkpatrick(2016)은 이러한 어려움이 종종 프로그램 계획 중에 고려되는 것이 아니라, 사후에 고려되기 때문이거나, 레벨 3과 레벨 4의 식별된 결과가 프로그램과 무관하기 때문이라고 설명한다. 이러한 곤경을 피하기 위해, Kirkpatrick과 Kirkpatrick(2016)은 프로그램 계획 중에 프로그램 이해당사자들과 협력하여 행동과 결과 지향적 결과를 파악하고, 그들을 위한 지표들을 개발하고, 프로그램 자체에 그 자료를 수집하기 위한 메커니즘을 내장하는 것이 중요하다고 강조한다. 

Kirkpatrick and Kirkpatrick (2016)imply that this difficulty is often because the evaluation is an afterthought rather than something considered during program planning, or because the identified outcomes for Levels 3 and 4 are irrelevant to the program and its stakeholders. In order to avoid this quandary, Kirkpatrick and Kirkpatrick (2016) emphasize that it is important to identify the behavior and results-oriented outcomes in collaboration with program stakeholders during program planning, develop indicators for them, and embed mechanisms for collecting the data into the program itself. 

그들은 또한 레벨 4가 교육 프로그램이 조직의 목표나 수익bottom lines에 기여하는 것을 평가하는 데 초점을 맞춰야 한다고 추론한다. 따라서 환자성과가 꼭 레벨4의 초점이 되어야 하는 것은 아니다.

They also infer that Level 4 should focus on evaluating the contribution that educational programs make to organizations’ targeted goals or bottom lines (Kirkpatrick & Kirkpatrick 2016) and thus, patient outcomes do not need to be the foci of this level.

비판 2: 커크패트릭은 교란 변수를 무시한다.

Criticism 2: Kirkpatrick neglects confounding variables

Bates(2004)는 Kirkpatrick의 원래 모델에 포함된 인과관계를 뒷받침할 수 있는 증거가 제한적이라고 강조합니다. NWKM은 이러한 연결의 문제를 인식합니다. Kirkpatrick과 Kirkpatrick(2016)은 "수준이 인과관계 또는 순차적이지 않다" (p.36)와 학습자의 지식/기술 획득이 실제로 이를 적용하는 능력을 예측하지 못하고 있다고 말합니다. 따라서, 우리는 그 수준을 어떤 순서로든 사용할 수 있다.

Bates (2004) highlights the limited evidence to support the causal chain embedded within Kirkpatrick’s original model. The NWKM recognizes the problems in these linkages. Kirkpatrick and Kirkpatrick (2016) discuss how “the levels are not causal or sequential” (p. 36) and that learners’ acquisition of knowledge/skill is not predictive of their abilities to apply it in practice. Therefore, we can use the levels in any order.

또한 NWKM은 인과관계망(2016년)보다는 근거의 사슬을 구축하고 평가하는 데 초점을 맞추고 있다. 이러한 증거사슬은 우리에게 모든 요소를 식별할 것을 요구하며, 주어진 성과에 변화를 가져왔다면, 프로그램 외부의 요인이라고 할지라도 적절한 credit을 줄 것을 요구한다. 

Additionally, the NWKM focuses on building and evaluating chains of evidence rather than causal chains (2016). These chains of evidence require us to identify and give appropriate credit to all factors, even those outside our programs, which bring about changes in the given outcomes (Mayne 2012).

전반적으로, NWKM은 Kirkpatrick의 원래 모델보다 반가운 발전이다.

Overall, the NWKM is a welcomed improvement from Kirkpatrick’s original model,

이전 모델보다 더욱 협력적이고 유연해 보입니다. 원래 모델과 비교하여, 그것은 또한 교육 프로그램의 맥락, 과정, 그리고 복잡성을 더 잘 수용하는 것처럼 보인다. 이것은 컨텍스트-입력-프로세스-제품 (CIPP) 모델 (Stufflebeam 2004)을 포함한 다른 평가 모델과의 유사성을 증가시킨다.

it appears to be more collaborative and flexible than its predecessor. In comparison with the original model, it also seems to better embrace the context, process, and complexity of educational programs, which increases its similarity with other evaluation models including the context–input–process– product (CIPP) model (Stufflebeam 2004).

Kirkpatrick JD, Kirkpatrick WK. 2016. Kirkpatrick's four levels of training evaluation. Alexandria (VA): ATD Press. 

Med Teach. 2017 Sep;39(9):999-1001. doi: 10.1080/0142159X.2017.1337874. Epub 2017 Jun 26.

Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox?

CBME에 대한 논란과 논리(Med Teach, 2017)

A call to action: The controversy of and rationale for competency-based medical education

Eric S. Holmboea, Jonathan Sherbinob, Robert Englanderc, Linda Snelld,e and Jason R. Franke,f; on behalf of

the ICBME Collaborators aAccreditation Council for Graduate Medical Education, Chicago, IL, USA; bDivision of Emergency Medicine, Department of Medicine, McMaster University, Hamilton, Canada; cSchool of Medicine, University of Minnesota, Minneapolis, MN, USA; dCentre for Medical and Department of General Internal Medicine, McGill University, Montreal, Quebec, Canada; eRoyal College of Physicians and Surgeons of Canada, Ottawa, Canada; fDepartment of Emergency Medicine, University of Ottawa, Ottawa, Canada

배경

Background

한 가지 방법만으로는 마리아의 진료과정에서 발생한 모든 결함을 파악할 수 없다. 왜냐하면 이것은 개별 의사, 의료팀, 의료 시스템의 수준에서의 여러 역량 영역을 가로지르고 있기 때문이다.

No single measure could capture all the deficiencies in Mary’s care, which cut across multiple competency domains at the level of the individual physician, the team and the system.

McGaghie 등은 1978 년에 정의 된 역량의 습득을 근간으로 하는 의학교육 접근법을 설명했습니다. "역량 기반 프로그램이 의도하는 결과는 지역의 요구에 부응하기 위해, 지역의 조건에 따라, 정의 된 수준의 숙련도로 의학을 실천할 수있는 건강 전문가입니다." 대략 10 년 후, 캐나다 온타리오 주에서 발생한 의사의 파업은 환자가 의사에게 기대해야 할 사항에 대한 공개적인 대화를 촉진 하게 되었고(Neufeld et al., 1993, 1998), 이것은 궁극적으로 왕립 및 외과 의사에 의한 CanMEDS 역할의 첫 번째 iteration으로 이어졌다 (Frank et al. 1996; Frank 2005).

In 1978, McGaghie et al. described a rationale for an approach to medical education founded on the acquisition of defined competencies. “The intended output of a competency-based program,” they wrote, “is a health professional who can practice medicine at a defined level of proficiency, in accord with local conditions, to meet local needs” (McGaghie et al. 1978, p. 18). Roughly 10 years later, a doctor’s strike in Ontario, Canada, would catalyze a public conversation about what patients should expect from their physicians (Neufeld et al. 1993, 1998). This ultimately led to the first iteration of the CanMEDS Roles by the Royal and Surgeons 1996 College of Physicians of Canada in (Frank et al. 1996; Frank 2005).

비슷한 요구와 문제를 인식한, 대학원 의학 교육 인증위원회, 미국 의학 전문위원회, 의학 연구소, 영국 종합 의학위원회, Royal Australasian 외과 전문 대학, 네덜란드 특약 대학, 다른 국가 전문 기관 등등도 역량 프레임 워크를 제작했습니다 (Batalden 외 2002, IOM 2003, Cate 2007, General Medical Council 2013, RACS 2015).

Recognizing similar needs and issues, the Accreditation Council of Graduate Medical Education, the American Board of Medical Specialties, the Institute of Medicine, the General Medical Council of the United Kingdom, the Royal Australasian College of Surgeons, the Dutch College of Medical Specialties, and other national professional entities produced competency frameworks (Batalden et al. 2002; IOM 2003; ten Cate 2007; General Medical Council 2013; RACS 2015).

단독 진료의 시대는 저물고 있었다. 대신 팀 기반 치료 시대, 빠르게 진화하는 의료행위, 질적 개혁과 환자 중심주의가 실현되었습니다. 실천과 교육 사이의 어마어마한 격차는 정책 입안자들 사이에서 학부, 대학원 및 CME의 개혁이 시급히 필요하다는 사실을 깨닫게 했다. 그러나 이러한 개혁에 대한 추진력에도 불구하고, 많은 사람들은 윌리엄 오슬러 (William Osler)가 비록 오늘날의 의료 시스템은 이해못해도 슬프게도 여전히 오늘날의 의학교육 시스템 (Sherbino & Frank 2014)을 이해할 것이라는 데에 동의합니다.

The era of solo practice was waning; the era of team-based care, rapidly evolving practices, quality reforms and patient-centeredness had arrived.  The substantial gap between practice and education resulted in the realization among policy-makers worldwide that reforms in undergraduate, graduate and continuing medical education were urgently needed. Despite this impetus for reform, many would agree that while William Osler would not recognize the health care system of today, he would, sadly, still recognize the medical education system (Sherbino & Frank 2014).

역사가들은 훗날 지난 5 년을 변혁적이라 여길 것이다. 

• 2010 년에는 캐나다의 Royal College of Physicians and Surgeons에서 소집 된 의학 교육자 및 리더 그룹 인 International CBME Collaborators가 의학교육의 연속체에 걸친 CBME 구현의 역사, 개념 및 과제에 대한 일련의 기사를 제작했습니다. (Campbell et al., 2010; Frank et al. 2010a, 2010b; Harris et al., Holmboe et al. 2010, Iobst et al. 2010).

• 같은 해에 다른 국제 그룹은 CBME의 원칙에 근거하여 의학 교육의 혁신을 가속화 할 필요성에 대한 Lancet의 입장 보고서를 발표했습니다(Frenk 외. 2010).

• 한편, Flexner 보고서 (Flexner 1910) 제정 100 주년을 맞이하여 Carnegie Foundation은 CBME의 주요 원칙과 목표를 수용 한 의학 교육 권장 사항을 발표했습니다 (Cooke 외 2010).

• 몇 년 후 Ludmerer의 Let Me Heal (2015)은 변화를 촉구했습니다.

• 2010 년 이래로 여러 의료 교육 시스템이 전국 규모의 의학 교육 연속체에 걸쳐 광범위한 CBME 기반 변경을 채택하고 구현했습니다 (Nasca et al. 2012; Frank et al. 2015).

Historians may look back at the last 5 years as transformative. 

• In 2010, the International CBME Collaborators, a group of medical educators and leaders convened by the Royal College of Physicians and Surgeons of Canada, produced a series of articles on the history, concepts, and challenges to the implementation of CBME across the continuum of medical training (Campbell et al. 2010; Frank et al. 2010a, 2010b; Harris et al. 2010; Holmboe et al. 2010; Iobst et al. 2010). 

• In the same year, another international group published a position paper in the Lancet on the need to accelerate transformation in medical education, grounded in the principles of CBME (Frenk et al. 2010); 

• meanwhile, on the 100th anniversary of the Flexner report (Flexner 1910), the Carnegie Foundation released recommendations for medical education that embraced many of the key principles and goals of CBME (Cooke et al. 2010). 

• A few years later, Ludmerer’s Let Me Heal (2015) further codified calls for change. 

• Since 2010, several medical education systems have adopted and implemented sweeping CBME based changes across the medical education continuum on a national scale (Nasca et al. 2012; Frank et al. 2015).

The core lesson from early efforts to implement CBME is the realization that it is not, and should not be, a uniform or static ideology. Rather, it is an amalgam of principles and approaches that must constantly evolve to meet a primary aim: to achieve better health and health care for all through more effective medical education.

CBME란 무엇인가?

What is meant by “CBME”?

CBME는 건강 관리 전문가가 serve하는 인구집단의 요구를 충족시키기 위해, 의료 전문가의 명시적인 발달 진행을 설계하는 철학과 접근 방식입니다. 기본 특성 (표 1 참조)은 (임상 회전과 같은 경험에 대한 노출에만 기반한 시간 기반 프로그램에서 벗어나) 니즈에 기반한 졸업성과, authenticity, 학습자 중심성에 중점을 두는 것으로 강조점이 옮겨졌습니다 (Frank et al., 2010b, Carraccio et al., 2016).

CBME is an approach to and philosophy of designing the explicit developmental progression of health care professionals to meet the needs of those they serve. Among its fundamental characteristics (see Table 1) is a shift in emphasis away from time-based programs based solely on exposure to experiences such as clinical rotations in favor of an emphasis on needs-based graduate outcomes, authenticity, and learner-centeredness (Frank et al. 2010b; Carraccio et al. 2016).

CBME에 대한 비판

Criticisms of CBME

표2

Table 2 outlines arguments for and against CBME.

• concerns about reductionism; 

• lack of evidence; 

• impact on existing systems; 

• implementation challenges; and 

• philosophical or ideological concerns.

1. 환원주의에 대한 우려

1. Concerns about reductionism

CBME에 대한 불행한 오해 중 하나는 의학의 "예술"적 측면, 의미있는 직업적 정체성 형성, 복잡하고 높은 수준의 역량 개발을 위한 여지가 거의 없다는 것이다 (Grant 1999; Huddle & Heudebert 2007). 공통된 한계는 측정 가능한 모든 것이 의미있는 것은 아니며, 의미있는 모든 것이 측정 가능한 것은 아니라는 것입니다. 다른 사람들은 CBME를 의학 교육에 대한 체크리스트 또는 "틱-박스" 접근법이라고 비판하는 반면, 동시에 어떤 사람들은 역량 간의 의미있는 차이를 측정 할 수 없다고 주장한다 (Talbot 2004, Huddle & Heudebert 2007, Lurie 외 2009, Glass 2014).

One of the more unfortunate misconceptions about CBME is that it leaves little room for the “art” of medicine, for meaningful professional identity formation, and for the development of complex, higher-level competencies (Grant 1999; Huddle & Heudebert 2007). A common refrain is that not all that is measurable is meaningful, and not all that is meaningful is measurable. Others have labeled CBME a checklist or “tick-box” approach to medical education while others have argued meaningful differences between competencies cannot be measured (Talbot 2004; Huddle & Heudebert 2007; Lurie et al. 2009; Glass 2014).

실제로 CBME는 의사 역량에 대한 전체론적 접근 방식을 유지하면서, 동시에 능력을 분석하고 평가할 수있는 요소로 분석parse합니다. 역량을 이해하기 위해 우리는 종종 역량을 명확하게 의미있는 구성 요소로 분류해야합니다. 가완데 (Gawande)는 이러한 역량의 요소화가 전문가에게도 효과적인 피드백의 필수 요소라고 지적했다. "지난 20 년 간 토론을 통해 내가 지난 5 년 동안 생각했던 것보다 더 많은 것을 고려하고 작업 할 수있었습니다."(Gawande 2011). 그가받은 수술의 결과를 향상시키는 "총체적"목표를 가지고 있었지만, 그가 받은 피드백은 매우 구체적이고 세분화되어있었습니다 (환원주의적). Ericsson, Pusic 등의 연구도 마찬가지로 모든 학습자가 매우 세분화 된 피드백을 필요로한다는 아이디어를 지지한다(Ericsson 2007; Pusic et al. 2011; Cook et al.

In reality, CBME seeks to maintain a holistic approach to physician competence at the same time as it appropriately parses competence into elements that can be taught and assessed. To make sense of a competency, we often need to explicitly break it down into meaningful components. This is an essential element of effective feedback even for experts, As Gawande noted, “one twenty-minute discussion gave me more to consider and work on than I’d had in the past five years” (Gawande 2011). The feedback he received was highly specific and granular (reductionist), although it had the “holistic” goal of improving the outcomes of his surgeries. Work by Ericsson, Pusic and others provides further support for the idea that highly granular feedback is needed by all learners (Ericsson 2007; Pusic et al. 2011; Cook et al. 2013).

동시에, CBME는 정보에 근거한 판단과 종합에 크게 의존합니다.

At the same time, CBME relies heavily on informed judgment and synthesis.

비록 사람마다 차이는 불가피하지만(즉, 모든 교수들은 특이성, 편견, 인지적 제한이 있다) 평가에서 허용되는 편차에도 일정정도의 경계는 존재해야 한다(Kogan et al., 2014; Gingerich 2015). 너무 오랫동안 의료 교육 시스템은 환자와 무제한의unfettered 변화를 좋은 것으로 보았다 (Kogan et al., 2014; Lau et al., 2015). 의학교육에는 홀리스즘과 환원주의는 자리가 모두 있다. 문제는 이러한 상호 연결된 철학을 적절하게 적용하는 시기와 방법입니다.

Although some variation is to be expected – all faculty have idiosyncrasies, biases, and cognitive limitations (Govaerts et al. 2011; Yeates et al. 2013; Gingerich 2015) – the degree of acceptable variation in assessment should be “bounded” (Kogan et al. 2014; Gingerich 2015). For too long the medical education system has seen unfettered variation as a good thing, to the detriment of patients and trainees (Kogan et al. 2014; Lau et al. 2015). Holism and reductionism both have a place in medical education; the issue is when and how to apply these interconnected philosophies appropriately.

2. CBME에 대한 근거 부족

2. Lack of evidence for CBME

일부 사람들은 CBME에 대한 증거의 부족, 특히 전통적 심리 측정법 타당성 및 신뢰성 증거가 부족하다는 점을 지적했다. (Norman et al., 2014; Dewan et al., 2015).

Some have pointed to the lack of evidence for the CBME approach, especially regarding the lack of traditional psychometric validity and reliability evidence. (Norman et al. 2014; Dewan et al. 2015).

그러나 심리 측정 도구는 이미 오랫동안 많은 한계를 겪어 왔으며, 교수는 평가 기준에 대한 criterion-referenced 대 norm-referenced 방식의 개념에 어려움을 겪어 왔다. (Kogan & Holmboe 2013; Gingerich 2015). 또한 심리측정 적 관점에서 독립적인 실습에 필요한 모든 역량을 "sign off"하는데 필요한 샘플링 양은 상당히 방대하여 현실적으로 어려울 수 있습니다 (Norman 외 2014).

However, psychometric assessment instruments have long suffered from numerous limitations, and faculty have also struggled with the concept of criterion-referenced versus norm-referenced approaches to the assessment (Kogan & Holmboe 2013; Gingerich 2015). In addition, the amount of sampling required to “sign off” on every competency needed for independent practice can be daunting from a psychometric perspective (Norman et al. 2014).

환자, 인구, 시스템의 요구에 중점을 두고 있는 CBME 시스템은 기존의 정신측정 방법을 적용함에 있어 심각한 어려움을 겪었습니다 (Schuwirth & van der Vleuten 2011; Cook 외 2015; Hodges 2015;). 이러한 경험은 작업 기반 평가에 더 초점을 맞추도록 만들었고, 평가 프로그램 또는 평가 시스템의 일부로서 서술 및 그룹 프로세스로의 복귀를 촉구했다 (Holmboeet al., Holmboe et al., 2010; van der Vleuten et al. 2012; Hodges 2015 ). 그러나 우리는 단순하게 "정신 측정 검사를 포기"한다고 주장하는 것이 아니다. 정신 측정 패러다임은 의학교육 산업에 제 역할을 해왔으며 앞으로도 그럴 것입니다. 그러나 장기적인 관점에서, 이 시스템은 불확실성과 복잡성을 포괄하는 평가 접근법이 필요합니다. 

Systems implementing CBME, with its greater focus on the needs of the patient, population and system, have encountered significant challenges when they apply conventional psychometric methods (Schuwirth & van der Vleuten 2011; Cook et al. 2015; Hodges 2015;). This experience has sharpened the focus on work-based assessment and prompted a return to narrative and group process as part of a program and system of assessment (Holmboeet al. 2006; Holmboe et al. 2010; van der Vleuten et al. 2012; Hodges 2015). However, we are not suggesting that we simply “throw out psychometrics.” The psychometric paradigm has served the medical education enterprise well and will continue to do so into the future, but in the longer term systems will need assessment approaches that account for uncertainty and complexity.

20 세기에 고부담 평가의 주 대상은 개인이었다. 그러나 21세기에 그 대상은 의료팀이 된다. 유능한 의료 서비스 제공자는 독립적으로 일하지 않으며 더 이상 필요한 지식과 기술을 모두 머리속에 넣고 다닐 수 없습니다 (Lingard 2009, Del Fiol 외 2014, Ludmerer 2015). 우리는 테크놀로지의 지원을 받는 interprofessional 시대에 들어섰다(Chesluk & Holmboe 2010; IPEC 2011). psychometric 패러다임은 interprofessional, complex care에 적합하지 않으며, interprofessional 팀 내에서의 상황 인식, 분산 인식을 다루는데 어려움을 겪습니다.

흥미로운 사실은 미국과 캐나다와 같이 고부담 표준화 테스트에 가장 많이 의존하는 두 국가가 OECD 및 세계 보건기구의 전반적 의료 품질 보고서에서 지속적으로 하위 순위에 위치해있다는 것이다; 즉 CBME가 양국에서 강력한지지를 얻은 것은 놀랄 일이 아닙니다 (Mossialos 외 2015).

It is interesting that the two countries that rely most heavily on high-stakes standardized testing (the United States and Canada) have consistently ranked at the bottom of overall medical-care quality reports by the Organization for Economic Co-operation and Development (OECD) and the World Health Organization (WHO); perhaps it is no surprise that CBME has taken a strong hold in both countries (Mossialos et al. 2015).

4. 평가와 도입의 어려움

4. Evaluation and implementation challenges

CBME 기반 프로그램을 구현하는 것의 어려움이나, 오늘날의 의학 교육 및 임상 실습 환경이 복잡하다는 점에 대해서는 논쟁의 여지가 없습니다. 복잡성을 인식하는 연구 및 평가 모델에는 맥락이 중요하며, 이것은 전통적인 생의학 연구 방법과 관련된 무작위화만으로는 효과적으로 해결 될 수 없다는 것을 받아 들여야합니다. 종단적이고 반복적인 CBME 도입의 과정에서 CBME의 평가는 필수적이며, 이것은 의학교육 개혁을 시행하는 모든 조직의 책임입니다.

Almost no one disputes that implementing CBME-based programs is challenging, or that today’s contexts of medical education and clinical practice are fraught with complexity. Research and evaluation models that recognize complexity must also embrace the notion that context matters a great deal and cannot be effectively addressed through the randomization associated with traditional biomedical research methods. To be sure, evaluation of CBME in a longitudinal, iterative process is essential and is a responsibility of all organizations implementing medical education reform.

5. 철학적, 이데올로기적 우려

5. Philosophical and ideological concerns

일부 비판자의 경우 CBME는 근본적이며 테스트되지 않았고 불필요하다고 지적한다. 다른 이들은 CBME를 도입해야한다는 정치적 압력은 더 유능한 의사 양성에 대한 것일 뿐만 아니라 더 적은 시간에 그러한 결과를 내야 하는 것이라고 지적한다(Whitehead et al., 2011).

For some critics, CBME is radical, untested, and unnecessary. Others have pointed to political pressure to use CBME not only to produce more competent physicians but also to do so in less time (Whitehead et al. 2011).

그러나 진짜 아이러니는 한 세기가 넘게 자리 잡은 전통적인 시스템을 뒷받침 할만한 증거도 별로 없다는 것입니다. 반대로 지금의 상태가 제대로 serving하지 않는다는 풍부한 증거가있다 (IOM 2003; Di Francesco et al.2005; Cooke et al., 2010; Crosson et al. 2011; Eden et al.2014; Ludmerer 2015). 일부는 CBME 개혁이 완전히 입증 될 때까지 CBME 개혁을 시행해서는 안된다는 점을 지적했다 (Dewan et al., 2015). 이러한 주장에는 몇 가지 문제점이 있습니다. 

• 첫째, 헬스케어 과학 및 전달의 신속하고 지속적인 변화는 [더 많은 유연성과 의학교육을 위한 "지속적인 품질 개선"사고 방식]을 요구합니다. 

• 둘째, 정책 입안자는 현재 건강 관리의 고르지 못한 질과 안전, 비용 압박, 인구 고령화, 신흥 질병 및 개인화 된 의학의 출현에 비추어 변혁적인 변화를 요구하고 있습니다.

The irony is that there isn’t much evidence to support the traditional systems that have been in place for over a century. There is, however, abundant evidence that the status quo isn’t serving us well (IOM 2003; Di Francesco et al.2005; Cooke et al. 2010; Crosson et al. 2011; Eden et al.2014; Ludmerer 2015). Some have noted that we shouldn’t implement CBME reforms until they have been fully proven(Dewan et al. 2015). There are several problems with this argument. 

• First, the rapid and ongoing changes in healthcare science and delivery demand more flexibility and a“continuous quality improvement” mindset for medical education. 

• Second, policy-makers are demanding transformative change in light of the uneven quality and safety of current health care, cost pressures, the aging of populations, emerging diseases, and the advent of personalized medicine. 

기존 패러다임이 새로운 발견을 더 이상 설명 할 수 없거나 변화하는 조건에 의미있는 해결책을 제공 할 수 없을 때 긴장이 발생합니다. CBME는 여러 방면에서 의학교육시스템으로 하여금 퀄리티 및 안전에 관한 어려운 진실에 직면하게함으로써, 심리 측정 기반 평가 접근법 및 시간 기반 프로그램과 같은 기존의 접근법을 재검토하도록 강요하고 있습니다.

Tensions arise when existing paradigms can no longer explain new findings or provide meaningful solutions to the changing conditions. In many ways, CBME has forced medical education systems to confront difficult truths regarding quality and safety, thereby forcing a reexamination of established approaches, such as psychometric-driven assessment approaches and time-based programs.

중요한 점은 CBME에 대한 비판의 목적이 현상 유지를 위한 변명이 되어서는 안 되며, implementation을 개선하고 실수를 줄이기 위한 유용한 피드백이 되어야 한다는 것이다.

The important point is to use criticisms of CBME as useful feedback to improve implementation and avoid pitfalls, but not as an excuse to maintain an unsatisfactory status quo.

도입의 티핑포인트?

A tipping point in implementation?

의료 교육 개혁은 경쟁 이론들 사이의 "either/or"로 이어지지 않아야한다. 오히려 교육의 질을 최적화하기 위해 다양한 이론과 접근 방식을 혼합해야합니다. CBME에 교육 프로그램이 설계, 구현, 평가에 여러 이론적 관점을 적용하면 안된다는 엄격한 "규칙"은 없습니다.

Medical education reform should not boil down to an “either/or” choice between competing theories; rather, it should blend theories and approaches to optimize the quality of training. There are no hard and fast “rules” of CBME that should prevent an educational program from applying multiple theoretical perspectives to design, implementation, and evaluation.

역설적이게도 성과중심 접근법의 강점은 새로운 이론이 등장하여 이것이 교육 프로그램을 개선시킨다면, 그것을 도입해야 한다는 사실을 내재적으로 인식하고 있다는 점이다. CBME 기반 모델을 구현하는 것은 반복적이고 역동적 인 프로세스입니다 (Pawson & Tilley1997; van der Vleuten & Schuwirth 2005, Nasca 외. 2012). CBME에서 가장 중요한 것은 성과이며, 이를 달성하기 위한 전략은 사용할 수 있는 최상의 것들 중에 선택하면 되는 것이다.

Ironically, the strength of the outcomes approach is its inherent recognition of the need to incorporate new theories as they emerge and mature to continually improve training programs. Implementing CBME-based models willalways be an iterative, dynamic process (Pawson & Tilley1997; van der Vleuten & Schuwirth 2005; Nasca et al. 2012).In CBME, outcomes are paramount, while the tactics used to achieve them are chosen from the best available. 

결론

Conclusions

CBME는 의료 및 교육 시스템 요구를 충족시키기 위해 끊임없이 발전하고 있습니다. CBME는 고정된 교리라기보다는 transformation을 가능케하는 일련의 개념, 원리, 도구 및 접근법입니다.

CBME is evolving to meet health care and educational system needs; rather than a fixed doctrine, it is a set of concepts, principles, tools, and approaches that can enable transformation.

캐나다, 싱가포르, 미국과 같은 많은 국가에서 물류 및 금융상의 제약으로 인해 하이브리드 교육 모델이 구현되어 CBME의 원칙과 도구가 고정 시간 모델에 적용되고 있습니다. CBME는 반복적 인 학습주기를 통해 지속적으로 품질을 개선함으로써 무엇이 누구에게, 어떤 상황에서, 어떤 이유로 왜 효과적인지 배우게합니다.

For many countries, such as Canada, Singapore, and the United States, hybrid models of training are being implemented because of logistical and financial constraints, so that the principles and tools of CBME are being applied within fixed-time models. CBME embraces continuous quality improvement through iterative learning cycles to better learn what works, for whom, in what circumstances, and why.

우리는 또한 CBME의 비판 중 일부가 반영한 바와 같이, 변화가 어렵다는 점을 인식해야합니다. 왜냐하면 변화는 기본적으로 상실에 대한 것이기 때문이다. 정체성의 상실과 이미 개인들이 전통적 의학교육 모델에 엄청나게 투자한 것들의 상실이다. 역설적이게도, CBME는 우리가 받아 들여야 할 많은 것들로, 더 엄격하고 체계적인 방식으로, 돌아가게 해준다. 

We must also recognize that, as some of the criticisms of CBME reflect, change is hard because it is mostly about loss: loss of identity and loss of tremendous personal investment in traditional models of medical education (Heifetz & Linsky 2002). Ironically, CBME can help to “bring back” many things that we should embrace – most notably bedside rounds, direct observation, and faculty judgment – but in a more rigorous and systematic manner.

Ludmerer K. 2015. Let me heal: the opportunity to preserve excellence in American medicine. New York: Oxford University Press.

Gingerich A. 2015. What if the 'trust' in entrustable were a social judgement? Med Educ. 49:750–752.

McGaghie WC, Miller GE, Sajid AW, Telder TV, Lipson L. 1978. Competency-based curriculum development in medical education: an introduction. Public Health Papers No. 68. Geneva: World Health Organization.

Norman G, Norcini J, Bordage G. 2014. Competency-based education: milestones or millstones? J Grad Med Educ. 6:1–6.

Holmboe ES, Batalden P. 2015. Achieving the desired transformation: thoughts on next steps for outcomes-based medical education. Acad Med. 90:1215–1223.

ten Cate O. 2015. The false dichotomy of quality and quantity in the discourse around assessment in competency-based education. Adv Health Sci Educ Theory Pract. 20:835–838.

Med Teach. 2017 Jun;39(6):574-581. doi: 10.1080/0142159X.2017.1315067.

A call to action: The controversy of and rationale for competency-based medical education.

CBME와 쿤의 유령: 변신을 위한 지저분하고 의미있는 작업에 대한 성찰(Acad Med, 2018)

Competency-Based Medical Education and the Ghost of Kuhn: Reflections on the Messy and Meaningful Work of Transformation

Eric S. Holmboe, MD

Critical thoughts about the Core Entrustable Professional Activities in undergraduate medical education. Acad Med. 2018;93:371–376.

Edward Krupat는 학부 의학 교육 (UME) 및 역량 기반 의학 교육 (CBME)에서 위탁 가능한 전문 활동 (EPA)에 대한 신중한 비판을 제시했습니다 .1 Krupat는 "아마도 지금은 잠시 멈춰서 숨을 깊이들이 마시고, 우리가 뒤로 물러나거나 옆으로 옳은 방향으로 큰 걸음을 내딛고 있는지 물어보아야 할 때일 것이다. "1

In this issue of Academic Medicine, Edward Krupat has laid out some thoughtful criticisms of entrustable professional activities (EPAs) in undergraduate medical education (UME) and of competency-based medical education (CBME) in general.1 Krupat writes, however, that “perhaps now is the right time to pause, take a deep breath, and ask ourselves whether we are taking a major step in the right direction rather than a step back or to the side.”1

결과 기반 의학 교육의 주된 동력 중 하나는 20 대 후반과 21 세기 초에 [의대 졸업생들은 레지던트가 될 준비가 불충분하고, 레지던트 프로그램 졸업생들이 독립적 의료를 할 준비가 불충분하다는] 인식의 증가였습니다. 3-5 이와 동시에, The Institute of Medicine의 보고서 인 Err is Human6 및 Quality Crossing of Quality Chamm을 통해 환자가받은 진료의 질과 안전성에있어 광범위하고 심각한 결함을 보여주었습니다. 후속 보고서는 

• 건강 관리 비용을 낮추고, 

• 인구 건강을 개선하며, 

• 돌봄의 질과 안전을 향상시키는 것

...과 같은 세 가지 목적의 격차를 해소하는 데 어려움을 느낀 점을 강조했다.

One of the primary drivers for outcomes-based medical education was the growing recognition during the late 20th and early 21st centuries that graduates of medical schools were insufficiently prepared for residency and that graduates of residency programs were insufficiently prepared for practice.3–5 Concomitantly, a growing body of research, culminating in the seminal Institute of Medicine reports To Err Is Human6 and Crossing the Quality Chasm,7 demonstrated significant and widespread deficiencies in the quality and safety of care received by patients. Subsequent reports have highlighted agonizingly slow progress in addressing many of the gaps in the triple aim: 

• lowering health care costs, 

• improving population health, and 

• improving care quality and safety.8–10

Arnold Milstein11은 2010 년 미국 내과의위원회의 의학 교육 포럼에서

Arnold Milstein11 noted in his 2010 address at the American Board of Internal Medicine Foundation’s forum on medical education that

미국의 의료 교육 기관의 의사 졸업생은 일반적으로 미국의 의료 서비스 전달을 주도하거나 크게 영향을 미치기 때문에 의학교육 산업의 효율성에 대한 간접적이며 광범위한 결과 기반의 증거 중 하나는 미국 의료 시스템의 전반적인 성과입니다. 효과 성, 안전성 및 효율성에 대한 퍼포먼스 gap은 의사가 히포크라테스의 약속을 적절히 준수하고 있음을 사회가 확신할 수 없게 만든다.

[s]ince physician graduates of American medical education organizations typically lead or heavily influence U.S. health care delivery, one source of indirect, broad, outcome-based evidence [of the effectiveness of the medical education enterprise] is the overall performance of the U.S. health care system. The width of the performance gaps on the aims of effectiveness, safety and efficiency understandably reduces society’s confidence that physicians are adequately honoring their Hippocratic promises.

이러한 시스템 문제 외에도 개별 학습자에 대한 우려가 점차 증가하고 있습니다. 너무 많은 경험을 계속합니다.

• 상당한 부채의 독성 혼합,

• 기능 장애적 임상 학습 환경,

• 중요한 업무 압박

• 번 아웃

• 실업에 대한 두려움 때문에 학생들은 놀라운 수의 수련 프로그램에 지원해야합니다. 

On top of these system concerns are a growing number of concerns about our individual learners: Too many continue to experience 

• a toxic mix of substantial debt, 

• dysfunctional clinical learning environments, 

• significant work compression, and 

• burnout, as well as 

• fears of medical unemployment that lead students to apply to an astounding number of residency programs. 

솔직해지자: 일부 교육자들 사이에서 세대 간 (예 : 천년) 용어로 학습자에 대해 불평하는 경향이 있지만, 의대생들과 레지던트들 때문에 이러한 기능 장애가 생긴 것은 아니다. 교육 지도자로 봉사하는 우리들은 정말로 이러한 조건들이 인간적 교육 과정을 지지한다고 말할 수 있습니까? 교육에 관련된 모든 사람이 우리가 만들어낸 여건을 성찰하기 위해 돌아보고 반성해야 합니까?

Let’s be honest: Medical students and residents did not create these dysfunctional conditions, despite a penchant among some educators to complain about learners in generational (e.g., millennial) terms. Can those of us who serve as educational leaders really say these conditions support a humanistic educational process? Do all of us involved in education need to spend more time looking in the mirror and reflecting on the conditions we helped create?

구조와 과정에서 결과 중심의 접근으로의 전환은 실제 시도되고있는 패러다임 전환이다. 논리적으로, 특히 공공의 관점에서, UME와 GME 프로그램은 졸업생들이 자신의 발전 단계에 적합한 업무와 활동을 실제로 수행 할 수 있다는 확신을 어느 정도 가지고 있어야합니다. 역량에 대한 충분한 증거로서 더 이상 학습 과정을 완료하고 시험을 통과하는 것에 의존하는 것이 적절하지 않습니다. 교육이 그토록 간단했다면 왜 현재 수준의 품질 및 안전 문제와 의료 오류가 발생했겠습니까?

The shift from a structure and process to an outcomes-based approach is the actual paradigm shift being attempted. Logically, and especially from a public perspective, UME and GME programs should be able to conclude with some degree of accurate confidence that graduates can actually perform the tasks and activities appropriate for their stage of development. No longer is it appropriate to simply rely on completing a course of study and passing an exam as sufficient evidence of competence. If education were that straightforward, would we be experiencing the current levels of quality and safety problems and medical errors? 

이제 도전 과제는 구조와 프로세스에 중점을두고 high-functioning 학습 환경에서 이러한 역량을 포함하는 결과에 초점을 맞추어 의학교육을 재조정하는 것입니다.

The challenge now is to rebalance medical education by decreasing the emphasis on structure and process and increasing the focus on outcomes that include these competencies in a high-functioning learning environment.

역량은 복잡한 건강 관리 시스템에서 의사가 필요로하는 필수 능력의 프레임 워크와 정신 모델을 제공하여 교육 성과로의 전환을 촉진하는 데 도움이되는 하나의 메커니즘으로 만들어졌습니다. 좋든 싫든, 6 개의 핵심 역량은 (SBP 및 PBLI과 같이 과거에는 묵시적으로 거의 평가되지 않았지만) 중요한 능력에 대한 관심을 불러일으켰다.2,12,13

Competencies were created as one mechanism to help facilitate the transformation to educational outcomes by providing frameworks and mental models of the essential abilities physicians need in a complex health care system.12 Love them or hate them, the six core competencies call attention to critical abilities that previously were either ignored or at best taught implicitly and rarely assessed, such as systems-based practice (SBP) and practice-based learning and improvement.2,12,13

역량 영역의 지속적인 결함을 강조하는 데이터에도 불구하고 "환자", "품질"및 "안전"과 같은 단어는 CBME를 비판하는 문서에서 거의 사용되지 않으며, 다른 해결책이나 제안도 거의 없다. 또한 여전히 public forum의 코멘트에는 "시스템 기반의 실천이 우리의 전문 분야에 실제로 적용되지 않는다"또는 "우리는 이 품질과 안전성에서 레지던트들을 보호해서 의학을 배울 수 있게 해야 한다" 등이 나돈다.

It pains me that, despite data highlighting ongoing deficiencies in these competency domains, words like “patient,” “quality,” and “safety” are rarely used in most of the literature critical of CBME, and different solutions or suggestions are rarely offered. It also troubles me to still see in some current public forums comments such as “Systems-based practice doesn’t really apply to our specialty,” or “We need to protect residents from this quality and safety stuff so they can learn medicine.”

EPA 및 이정표 15는 역량의 적용 및 구현을 안내하는 교육 기술로 개념화 될 수 있으며, 나는 그들이 또 하나의 "빛나는 밝은 대상"이되지 않도록 철저히 연구해야한다는 것을 충분히 인식하고있다.

변화를 위한 여정은 시간이 걸리고, 이정표와 EPA 경험은 다르지 않습니다. 첫 번째 마일스톤 작업은 2007 년에 시작되었으며 대학원 의학 교육 인정위원회는 현재 차기 마일스톤 개정을 계획하고 있습니다. 이 과정은 2018 년에 시작되어 몇 년이 걸릴 것입니다. Milestone은 경험이 축적되면서 시간이 지남에 따라 변할 수있는 역동적 인 프레임 워크로 여겨져 왔고 사용법에 대한 교훈을 얻었습니다 .18-20

The journey to change takes time, and the experiences with Milestones and EPAs are no different. The first Milestone work began in 2007, and the Accreditation Council for Graduate Medical Education is currently planning for the next round of Milestone revisions, a process that will begin in 2018 and take several years. The Milestones have always been viewed as a dynamic framework that will change over time as experience is gained and lessons are learned on how best to use them.18–20

Krupat에 따르면 UME 및 GME 연속체에 걸쳐 이러한 교육 기술을 통합하는 최선의 방법에 대한 더 많은 작업이 성과로의 패러다임 전환을 동반하는 투쟁의 일부로서 반드시 필요하다고 동의합니다.

I agree with Krupat that more work on how best to integrate these educational technologies across the UME and GME continuum is definitely needed as part of the struggle with the paradigm shift to outcomes.

정의에 따르면, 패러다임 전환은 더 오래된 패러다임을 유지하려는 사람들과 새로운 패러다임을 추진하려는 사람들 모두에게 지저분하고 위협적입니다. 1962 년 Thomas Kuhn21 (p5)은...

By definition, paradigm shifts are messy and threatening, both for those wanting to remain with the older paradigm and those pushing the newer paradigm. As Thomas Kuhn21(p5) noted in 1962,

대부분의 과학자들이 필연적으로 거의 모든 시간을 소비하는 [정상 과학]은 과학 공동체가 세상이 무엇인지를 알고 있다고 가정합니다. Enterprise에서 성공의 상당 부분은 (상당한 비용이 들더라도) 해당 가정을 지키려는 커뮤니티의 의지에서 비롯됩니다. [강조 추가]

Normal science, the activity in which most scientists inevitably spend almost all of their time, is predicated on the assumption that the scientific community knows what the world is like. Much of the success of the enterprise derives from the community’s willingness to defend that assumption, if necessary at considerable cost. [emphasis added]

의학 교육에서 평가 및 프로그램 평가 방법론은 현재이 패러다임 전환의 tense interface에 있습니다. 의학 교육은 연구 및 평가 설계에서 복잡성의 핵심 역할을 통합하는 방법론을 개발 한 보건 및 사회 서비스 연구 세계의 교훈을 포용함으로써 이익을 얻을 수있다 .22,23

Assessment and program evaluation methodologies in medical education currently sit at the tense interface of this paradigmatic transition. Medical education can benefit by embracing lessons from the health and social services research worlds, which have developed methodologies incorporating the critical role of complexity in research and evaluation design.22,23

평가 측면에서 균형은 20 세기의 객관식 질문 (MCQ) 및 객관적인 구조화 된 임상 시험 (OSCE)과 같은 고부담 "프록시"평가에 과도하게 의존하는 현재에서 벗어나, (특히 임상, GME에서는) 작업 기반 평가에로 변화해야합니다. MCQ 시험에 가치가 없다는 말은 아닙니다. 다만 어떤 시점에서 교육 공동체인 우리는 지난 수십년간 고부담 MCQ 시험 및 OSCE의 발전을 이뤄왔음에도, 여전히 우리가 가진 것은 작금의 의료 시스템 퍼포먼스라는 것을 인식해야 한다.

On the assessment side, the balance needs to shift from the 20th century’s heavy reliance on high-stakes “proxy” assessments, such as multiple-choice question (MCQ) examinations and objective structured clinical examinations (OSCEs), to work-based assessment in the clinical space, especially in GME. That is not to say that MCQ exams, for example, do not have value—they do— but at some point we in the educational community need to recognize that despite decades of advances in high- stakes MCQ exams and OSCEs, we have the health system performance we have.

너무나 자주, 다양한 평가 접근법의 역할에 관한 논쟁은 도움이되지 않는 이데올로기적 논쟁으로 엉망이되었습니다.

Too often, debates around the role of various assessment approaches get bogged down in unhelpful ideological arguments.

우리는 의학 교육에서 우리가하는 대부분이 상호작용하고 상호의존적인 여러 구성 요소를 possessing하는 개입이라고 정의되는 "복잡한 개입"을 구현해야한다는 사실을 받아 들여야합니다 .22이 렌즈를 통해 UME 및 GME의 EPA와 GME의 마일스톤을 사용하여, 가변적이고 진화하는 맥락에 포함 된 여러 상호 작용하는 구성 요소와의 진정한 복잡한 중재로 간주됩니다. EPAs와 Milestone은, 개입의 목적으로 사용하더라도, 쉽게 무작위 배정 될 수있는 치료약이 아닙니다. 무작위 통제 연구 (RCTs)는 적절한 경우 계속해서 역할을 수행해야하지만, 의학 교육 연구는 복잡성의 영향을 교육 개입의 결과 및 성과에 반영하는 방법론적 접근법을 사용해야합니다 .23

We need to embrace the reality that most of what we do in medical education involves implementing “complex interventions,” simply defined as interventions possessing multiple interacting and interdependent components.22 Through this lens, using EPAs in UME and GME, and Milestones in GME, are viewed as truly complex interventions with multiple interacting components embedded in variable and evolving contexts. EPAs and Milestones, when treated as interventions, are not therapeutic pills that can be easily randomized. While randomized controlled trials (RCTs) should continue to play a role where appropriate, research in medical education also needs to use methodological approaches that incorporate the effects of complexity on the implementation and outcomes of educational interventions.23

품질과 안전에 대한 기관의 퍼포먼스 수준은 (그 기관에서 수련받은) 개별 졸업생의 미래 수행능력과 연관되어 있다.

an institution’s level of performance in quality and safety is associated with the future practice of its individual graduates,

복잡한 개입의 구현은 오랜 성공의 여정을 가지고 있으며, 깨지기 쉽고, 길을 따라 돌연변이를 일으키며, 맥락에 크게 의존하고, 스스로를 되돌린다. 무작위화는 성공이나 실패를 가져 오는 메커니즘과 상황에 대한 통찰력을 제공하지 않으며, 통제그룹은 성공적인 실행에 기여하는 것이 무엇인지를 이해하는 데 아무런 도움이되지 않습니다 .27

Implementations of complex interventions have long success journeys, are fragile, mutate along the way, depend heavily on context, and feed back on themselves.23,27 Randomization does not provide any insights into the mechanism and contexts that produce success or failure, and control groups contribute nothing to understanding what contributes to successful implementation.27

마지막으로, 우리 모두가 연속체에서 의학 교육을 변화시키기 위해 노력할 때, 우리는 우리가 논쟁에서 양극성을 다루는 방식을 재고 할 필요가 있습니다. 현재의 교육 담론은 너무 많은 양의 "극단적 인 양극화"나 "이분법"을 중심으로 높은 이해력 테스트와 업무 기반의 평가, 정량적 대 정량적 접근법, 환원주의 대 전체주의, 프로세스 대 결과, 기타 등등. 이러한 either-or 식의 논쟁은 종종 재미있는 이념적 exercise가 되긴 하지만, 일반적으로 도움이 안되고, 환자에게 도움이 된다거나 이 분야를 궁극적으로 발전시키지 못한다. 존슨의 polarity thinking 모델은 긴장과 어려움을보다 생산적으로 활용하기위한 더 나은 접근 방법 일 수 있습니다. 이 모델은 양극성을 "both-and" 관점으로 바라보며, 그룹과 개인이 각 극의 이점과 한계를 평가하도록 유도하여 한계에 주의하면서도 동시에 양극의 강점을 활용합니다.

Finally, as we all work to change medical education across the continuum, we need to rethink how we handle polarities in our debates. At the current time, too much of the educational discourse revolves around many “either–or” polarities or dichotomies, such as high-stakes tests versus work-based assessments, quantitative versus qualitative approaches to assessment, reductionism versus holism, process versus outcome, and so forth. Such either–or arguments are typically unhelpful—engaging in them often makes for a fun ideological exercise but in the end does not move the field forward or ultimately help patients. Johnson’s28 model of polarity thinking may be a better approach to leverage tensions and challenges more productively. In this model, polarities are viewed as “both–and,” encouraging groups and individuals to assess the benefits and the limitations of each pole and thus leverage the strengths of the polarity while being attentive to the limitations.

1 Krupat E. Critical thoughts about the Core Entrustable Professional Activities in undergraduate medical education. Acad Med. 2018;93:371–376.

2 Holmboe ES, Sherbino J, Englander R, Snell L, Frank JR; ICBME Collaborators. A call to action: The controversy of and rationale for competency-based medical education. Med Teach. 2017;39:574–581.

20 Holmboe ES, Call S, Ficalora RD. Milestones and competency-based medical education in internal medicine. JAMA Intern Med. 2016;176:1601–1602.

Acad Med. 2018 Mar;93(3):350-353. doi: 10.1097/ACM.0000000000001866.

Competency-Based Medical Education and the Ghost of Kuhn: Reflections on the Messy and Meaningful Work of Transformation.

카네기재단의 의학교육 개혁 요구: 1910년과 2010년(Acad Med, 2010)

Calls for Reform of Medical Education by the Carnegie Foundation for the Advancement of Teaching: 1910 and 2010

David M. Irby, PhD, Molly Cooke, MD, and Bridget C. O’Brien, PhD

20 세기 초, 카네기 진보 재단 (Carnegie Teaching Advancement Foundation)은 의학 교육의 주요 개혁 운동을 주도했습니다. 운동은 Abraham Flexner의 비전 - 과학적 엄격함과 교육의 우수성이 의사 준비에있어 원동력- 에 의해 인도되었습니다. 이제 21 세기 초 카네기 교육 진흥 재단은 다시 의사 준비를 개선 할 개혁을 요구하고 있습니다.

At the beginning of the 20th century, the Carnegie Foundation for the Advancement of Teaching spearheaded a major reform movement in medical education. The movement was guided by Abraham Flexner’s vision—a vision in which scientific rigor and educational excellence were the driving forces in the preparation of physicians. Now, at the beginning of the 21st century, the Carnegie Foundation for the Advancement of Teaching is again calling for reforms that will improve the preparation of physicians.

두 연구에 걸쳐 네 가지 공통 주제 :

(1) 학습 결과의 표준화 및 학습 과정의 개별화,

(2) 형식적 지식과 임상 경험의 통합,

(3) 탐구와 개선 습관의 개발, 

(4) 전문직 정체성의 형성.

four common themes across the two studies: 

(1) standardization of learning outcomes and individualization of the learning process, 

(2) integration of formal knowledge and clinical experience, 

(3) development of habits of inquiry and improvement, and 

(4) formation of professional identity.

1910년 개혁의 전조

Precursors to the Call for Reform in 1910

Flexner의 의학 교육 연구의 precursor는 1904 년 AAMC의 회원 학교 중 일부에서, 1906 년과 1907 년에는 AMA의 의과 대학 교육위원회 (Council on Medical Education)에서 실시되었습니다. NP Colwell 박사의 리드하에 존스 홉킨스 대 의과 대학, 하버드 의과 대학 및 기타 대학의 가장 엄격한 대학 모델을 표준으로 사용한 AMA 전국 조사에서 많은 의과대학이 매우 unsatisfactory함이 드러났다. 그러나 AMA는 회원들을 비난하기를 원치 않는 민감한 입장에 있었기 때문에 북미 지역의 의학 교육에 대한 포괄적인 연구를 수행하는 공정한 제 3자인 Carnegie Educational Advancement Foundation의 지원을 받았다. 1908 년 재단의 창립 회장 인 Henry Pritchett 박사는 의사는 아니지만, 켄터키 주 루이스 빌에있는 사립 고등학교의 전임 교장이었던 Abraham Flexner 박사를 고용하여 연구를 수행했습니다 .1

Precursors of Flexner’s study of medical education were conducted by the Association of American Medical Colleges (AAMC) in a few of its member schools in 1904 and by the American Medical Association’s (AMA’s) Council on Medical Education in all medical schools in 1906 and 1907. Under the leadership of Dr. N.P. Colwell, the AMA national survey, which used as its standard the most rigorous university models of Johns Hopkins University School of Medicine, Harvard Medical School, and others, revealed that many medical schools were deeply unsatisfactory. However, the AMA was in a delicate position of not wanting to condemn its own members, and it therefore sought the assistance of the Carnegie Foundation for the Advancement of Teaching, an impartial third party to conduct a comprehensive study of medical education in North America. In 1908, Dr. Henry Pritchett, inaugural president of the foundation, hired AbrahamFlexner, not a physician but the former headmaster of a private high school in Louisville, Kentucky, to conduct the study.1

그의 방문을 시작하기 전에, Flexner는 존스 홉킨스 (Johns Hopkins)를 다녔고, 그의 형제 Simon은 의대에 다녔다. 그곳의 교수진과 이야기 한 후 플렉스너는 존스 홉킨스 (Johns Hopkins) 모델을 탁월성의 모범으로 채택했습니다. 그는 이렇게 말했습니다. "내 마음 속에 이런 패턴이 없으면 나는 거의 성취할 수 없었을 것이다. 그로부터 나는 미국과 캐나다에서 의과 대학을 신속히 견학하기 시작했다. "2 (p115) 1909 년 미국과 캐나다의 155 개 모든 의과 대학을 방문한 동안 Flexner 박사는 Colwell 박사와 같은 결론에 도달했습니다 : 다수의 우수한 대학 기반 프로그램과 또한 다수의 저질의 영리를 목적으로 한 의과 대학이 있다. Flexner는 "Dr. 콜웰과 나는 많은 여행을 했고, 그는 조심스럽고 재치있게 진행할 필요가 있었지만, 나는 운이 좋게도 진정한 솔직함으로 진실을 말할 수 있었다. "고 했고, 실제로 그러했다(p115)

Before embarking on his site visits, Flexner went to Johns Hopkins, where his brother Simon had studied medicine. After speaking with faculty members there, he adopted the Johns Hopkins model as his exemplar of excellence. As he stated, “Without this pattern in the back of my mind, I could have accomplished little. With it I began a swift tour of medical schools in the United States and Canada.”2(p115) During his site visits to all 155 medical schools in the United States and Canada in 1909, Flexner came to the same conclusion as Dr. Colwell: There were a number of excellent university-based programs and many poor-quality for-profit medical schools. Flexner wrote, “Dr. Colwell and I made many trips together, but, whereas he was under the necessity of proceeding cautiously and tactfully, I was fortunately in position to tell the truth with utmost frankness,” which he did indeed do.2(p115)

1910년의 플렉스너 보고서

Flexner’s 1910 Report on Medical Education

Flexner의 1910 년 보고서, 미국과 캐나다의 의료 교육 : Carnegie Foundation for Teaching의 보고서는 두 부분으로 구성되어 있습니다 : 

• 적절한 의대 학교 커리큘럼에 대한 해설과 그것을 지원하는 데 필요한 자원 

• 그가 방문한 각 의과 대학에 대한 간단한 보고서. 

Flexner’s 1910 report, Medical Education in the United States and Canada: A Report to the Carnegie Foundation for the Advancement of Teaching,3 contains two parts: a year-by-year description of the proper medical school curriculum and the resources required to support it, and brief reports on each medical school he visited. Table 

19 세기 후반 북미에서의 의학 교육은 

• 교육적으로 효과적이지 못했고, 

• 엄격한 학업 기준이 없었으며, 

• 종종 임상 수입을 보충하려는 의도로 개업의가 수행했습니다. 

• 학교는 규모가 작았고 일반적으로 의사가 소유 했으므로 의사의 이익을 위해 운영했습니다. 

• 입학 기준은 미미하며, 일반적으로 고등학교만 졸업하면 되었고, 모든 학생이 학업 성취 수준에 관계없이 졸업했습니다. 

이러한 결과로부터 Flexner는 의과대학이 최고의 대학 프로그램을 모방하고 의대에 입학하기 전에 강력하고 과학적으로 기초한 학부 교육을 강요 할 것을 권장했습니다.

Medical education in North America in the late 19th century was an ineffectual educational process, lacking rigorous academic standards and often carried out by local practitioners supplementing their clinical incomes. Schools were small and typically owned by the doctors, who operated themfor a profit. Admission standards were minimal, typically a high school education, and all graduated regardless of the level of academic achievement. These findings fueled Flexner’s recommendation to emulate the best university programs and insist on a strong, scientifically based undergraduate education prior to admittance to medical school.

Flexner의 권고 사항 중 다른 하나는 의과 대학 커리큘럼의 큰 차이와 학생들의 준비상태 및 성취수준의 이질성을 해소하였다. 학생들이 의학 교육에 대한 과학적 접근법을보다 잘 준비 할 수 있도록 그는 의과 대학 입학을 위한 전제 조건으로 일련의 과학 과정 이수와 학사 학위를 주창했습니다. Flexner는 고품질의 엘리트 대학교 의과 대학에서 제공하는 엄격한 4 년제 커리큘럼을 채택하는 대신 한 차례 반복되는 16 주간의 강의식으로 운영되는 교육은 없어져야 한다고 주장했다. 이러한 교육은 작고 품질이 낮은 proprietary 의대 학교에서 일반적이었습니다. proprietary 학교에서는 실험실이나 임상 경험을 할 기회는 거의 없었습니다. 훈련 중 학생들은 매우 드문 경우만 환자를 검사했습니다. 커리큘럼은 의사의 지혜와 연습에 기반을두고 있었으며, 과학의 실천과 진보와는 아무런 관련이 없었습니다 .1 대조적으로 Flexner는 2 년간의 기본 과학 과정에 이어 2 년간의 교육 병원에서의 임상 경험으로 구성될 것을 권고하였다.

Another of Flexner’s recommendations addressed the great variability in curriculum among medical schools and the heterogeneity in student preparation and achievement. To better prepare students for the scientific approach to medical education, he advocated a set of science courses and a baccalaureate degree as prerequisites to matriculation into medical school. Flexner further supported the adoption of a rigorous four-year curriculum offered by the high- quality elite university medical schools and the elimination of the 16 weeks of lectures that were repeated once, which were common among the small, poor- quality proprietary medical schools. In those proprietary schools, there were rarely any laboratories or clinical experiences; students only infrequently examined a patient during their training.The curriculum was based on the received wisdom and practices of physicians, and there was no connection between practice and advances in science.1 By contrast, Flexner advised widespread adoption of a medical curriculum consisting of two years of basic science followed by two years of clinical experience in a teaching hospital.

인정 된 학업 기준이나 인증 기관이 없었기 때문에 많은 의대는 매우 열악했습니다. 그리고 면허 요건이 없는 상태에서, 의대생이 졸업시에 역량을 갖췄는지를 대중이 알 수있는 거의 방법이 없었습니다.

Because there were neither accepted academic standards nor an accrediting agency, many medical schools were of very poor quality. And, without licensing requirements, there was little way for the public to know if medical students were competent on graduation.

통합의 부족

Lack of integration

Flexner가 관찰 한 것처럼 대부분의 의대에서는 의사가되기 위해 배운 정보를 전달하기 위해 한 번 반복되는 강의에 의존했습니다. 그는 이러한 수동적인 형태의 학습은 실습과 연관되지 않으면 효과가 없으며, 지식은 더 적극적인 형태의 실험실 및 임상 경험을 통해 적용되어야 한다고 말했다.

As Flexner observed, most medical schools relied on lectures, repeated once, to transmit the information that students needed to learn to become doctors. He contended that this passive form of learning was ineffective if it was not connected to practice and argued that knowledge needed to be applied through more active forms of laboratory and clinical experience.

받은 지혜received wisdom에서 실험 의학으로의 전환은 의학 교육을 근본적으로 변화 시켰습니다. 의학 연구소를 설립하고 대학의 교육병원을 설립함으로써, 능동적인 학습 과정을 임상 문제를 해결하기 위한 지식의 적용과 사용을 장려하는 의학교육에 통합 할 수있었습니다 .1

The shift to experimental medicine from a focus on received wisdom fundamentally changed medical education. The establishment of medical laboratories and the creation of university teaching hospitals made it possible to incorporate an active learning process into medical education that encouraged the application and use of knowledge to solve clinical problems.1

탐구의 부족

Lack of inquiry

Flexner는 그의 전임자들과 마찬가지로 proprietary 소규모 학교에서의 의학 교육은 과학적 조사와 엄격한 학술 문화를 잃어버린 것이며 의사가 received wisdom에 대한 암기에 의존한다는 사실을 발견했습니다. 19 세기 후반에 이미 질병의 기전이 실험적으로 확인되고 확인되고 있는 독일 대학의 연구실의 출현으로 인해 변화가 일어났습니다. 많은 미국의 의사들은 의학에 대한 실험적 접근법에 대해 흥분을 감추지 않았고 실험실 연구 방법을 배우기 위해 독일을 여행했으며, 시카고, 코넬, 하버드, 미시간, 펜실베니아, 나중에 존스홉킨스 등의 대학에서 과학 의학을 확립하게 되었다.  Flexner는 고품질의 의학 교육을 통해 학생들이 과학-지향적인 교사를 모방하고, formal knowledge를 침상 옆에서 관찰 한 것에 비추어 테스트하고, 경험을 바탕으로 이해를 정제 할 수있는 준비를 할 것으로 기대했습니다.

Flexner, like his predecessors, found that medical education within small, proprietary schools was bereft of scientific investigation and a rigorous academic culture and relied on rote memorization of the received wisdomof practicing physicians. Yet change was already occurring in the latter part of the 19th century, influenced by the rise of research laboratories in German universities, where the mechanisms of disease were being experimentally examined and confirmed. Many American physicians were excited about this experimentalist approach to medicine and traveled to Germany to learn laboratory research methods, returning with a commitment to establish scientific medicine at their universities, which included Chicago, Cornell, Harvard, Michigan, Pennsylvania, and, later, Johns Hopkins. Flexner expected that high-quality medical education would prepare students to emulate their scientifically oriented teachers, testing their formal knowledge against what they observed at the bedside and refining their understandings on the basis of their experience.

Flexner는 암기 기억에 의존하는 것과 달리 과학적 호기심과 탐구 방법에 대한 가르침을 의학 교육에 중요한 것으로 보았다. 의사는 의학 실습을 발전시키기 위해 조사와 연구를 사용하는 과학자처럼 생각하도록 가르쳐야합니다. 이러한 습관을 개발하기 위해 의대 학생들은 존 듀이 (John Dewey)와 다른 진보적 인 교육자들이 옹호 한 것처럼 탐구를 통해 문제에 접근하기 위해 교육받을 필요가있었습니다. 연구와 실천의 유사성에 대해서 플렉스너는 다음과 같이 말했다.

Flexner saw the inculcation of scientific curiosity and methods of investigation, as opposed to relying on rote memorization, as critical to medical education. Physicians should be taught to think like scientists—to use inquiry and research to advance the practice of medicine. To develop these habits of mind, medical students needed to be educated to approach problems through inquiry—as advocated by John Dewey and other progressive educators. Drawing a parallel between research and practice, Flexner4(p4,6) observed that

연구와 실습practice을 구분할 수는 없습니다. 연구자는 분명히 관찰하고, 실험하고, 판단합니다. 현대 정신에서 예술art을 실천하는 의사도 마찬가지다. 근본적으로 연구자와 의사의 지적 태도와 과정은 동일하거나 동일해야한다 .... 만약이 이 입장이 옳다면, 병동과 실험실은 논리적으로 탐구, 치료, 교육의 견지에서 뗄 수 없게 얽혀있다.

no distinction can be made between research and practice. The investigator, obviously, observes, experiments, and judges; so do the physician and surgeon who practice their art in the modern spirit. At bottom the intellectual attitude and processes of the two are—or should be—identical....If this position is sound, the ward and the laboratory are logically, from the standpoints of investigation, treatment, and education, inextricably intertwined.

결과적으로, Flexner는 의학 교육이 지식의 발견과 진보가 그 사명의 중심에있는 대학 강의실과 교육 병원 내에 위치해야한다고 권고했다.

As a result, Flexner recommended that medical education should be located within university classrooms and teaching hospitals, where discovery and the advancement of knowledge are central to its mission.

전문직 정체성 형성에 실패

Failure to focus on professional identity formation

임상 경험이 제한적이거나 아예없는 강의 중심의 커리큘럼에서 학생들은 전문적인 태도나 실무자의 행동을 관찰 할 기회가 거의 없었고, 모방할 롤 모델도 없었습니다. 나중에 더 많은 실험실과 임상 경험이 도입되었지만, 여전히 직업적 정체성의 개발에 공식적인 초점은 없었다. Flexner는 학생들이 교수와 적절한 시간을 보내고 곁에서 실천을 배운다면 교수의 가치와 행동을 흡수할 것이라고 믿었습니다. 따라서 학생들의 formation은 대학 문화에 immersion하고 과학적 근거가있는 대학 교수진 역할 모델과 지속적인 접촉을 통해 가장 잘 처리됩니다.

In a lecture-dominated curriculum with limited or no clinical experiences, students had few opportunities to observe the professional demeanor or actions of practitioners and thus had no role models to emulate. Later, as more laboratories and clinical experiences were introduced, there was still no formal focus on the development of professional identity. Flexner believed that students would absorb the values and behaviors of the faculty if they spent adequate time with them and learned the practice at their sides. Thus, student formation would best be served by immersion in university culture and sustained contact with scientifically grounded, university faculty role models.

즉, Flexner는 MDdegree로 이어지는 4 년 교육의 다음과 같은 표준적 특징을 제안했습니다.

In short, Flexner proposed the following standard features of a four-year education leading to the MDdegree:

•   강한 과학적 배경을 가진 학사 학위에 기초한 의과 대학 입학.

•   실험실과 강의실에서 2 년간의 기본 과학 교육을 제공하고 교육 병원에서 2 년간의 임상 경험을 제공하는 대학 기반의 의대.

•   교육, 연구 및 환자 간호에 종사하는 의사 - 과학자 교육을 통해 실험실의 이점을 침대 옆으로 가져옮.

•   실험실 및 대학 기반의 교육 병원에 감독된 참여supervised participation를 통한 탐구 경험.

플렉스너의 개혁 요구에 대한응답

Response to Flexner’s Call for Reform

의학교육 공동체가 매우 중요하게 생각한 Flexner의 보고서의 영향은 특정 ​​학교에 대한 Flexner의 신랄한 판단으로 현장 하루를 보냈던 기발한 언론인에 의해 증폭되었습니다. 10 년 안에 155 개 의과 대학 중 약 1/3이 다른 학교를 폐쇄하거나 합병했습니다. 불행하게도 폐쇄 된 많은 학교가 여성과 아프리카 계 미국인에게 의학 교육을 제공하는 유일한 학교였으며, 이 상황이 1970 년대까지는 교정되지 않았다.

The impact of Flexner’s report, taken very seriously by the medical education community, was amplified by muckraking journalists, who had a field day with Flexner’s caustic judgments about specific schools. Within a decade, approximately one third of the 155 medical schools had closed or merged with other schools. Unfortunately, a number of the schools that closed were the only ones that offered women and African Americans access to medical education, a situation that was not rectified until the 1970s.

1920 년까지 의학 교육의 표준화를위한 모든 기본 구조가 확고하게 확립되었습니다. AMA와 AAMC는 (1942 년까지, 그들의 노력을 결합하고 의학 교육에 대한 연락위원회를 구성 할 때까지) 각각 의과 대학을 조사하고 평가했으며, 국립 검시관 (NBME)은 미국의 의학 면허 시험을 수립하고 의학 보드는 연습중인 의사의 면허를 얻기 시작했습니다.

By 1920, all of the basic structures for standardization of medical education were firmly established. The AMA and the AAMC separately surveyed and evaluated medical schools (until 1942, when they combined their efforts and formed the Liaison Committee on Medical Education), the National Board of Medical Examiners (NBME) established the United States Medical Licensing Examinations, and state medical boards began to license practicing physicians.

Flexner 보고서는 Abraham Flexner를 국가적으로 유명하게 만들었고 John D. Rockefeller 재단의 총 교육위원회 (General Education Board)의 비서로 새로운 직책을 수행했습니다. 상당한 금액의 자선 기금을 의과 대학에 보급함으로써 그는 표준을 향상시키고 학교의 교육 프로그램을 direct 할 수 있었습니다 .5 이러한 모든 노력의 결과로, 루드머어 (Ludmerer)에 따르면, 1차 세계대전 시기에 이르면 과학 지향적인 대학 기반 의과대학 및 교육 병원이 표준이 되었으며, 이것은 미국의 의학 교육에서 최초의 주요 변형이며, 종종 "플렉스너 혁명 (Flexnerian Revolution)"이라고도 불린다.

The Flexner Report propelled Abraham Flexner to national prominence and a new position as the secretary of the General Education Board of the John D. Rockefeller Foundation. By directing substantial amounts of philanthropic funds to medical schools, he was able to upgrade standards and direct the course of the schools’ educational programs.5 As a result of all of these efforts, the scientifically oriented, university-based medical school and teaching hospital became the normby the start of World War I. According to Ludmerer,5 this was the first major transformation in American medical education and is often referred to as the “Flexnerian revolution.”

2010년의 개혁을 요구한 전조

Precursors to the Call for Reform in 2010

제 1 차 세계 대전에서 제 2 차 세계 대전에 이르기까지 교육 사명이 최우선이었고 환자 관리와 교육을 통합하는 Flexnerian 모델이 널리 보급되었습니다. 연구는 환자의 신중한 관찰과 실험실에서의 환자 지향적인 조사 작업에 크게 기인 한 것이기 때문에, 환자 간호, 연구, 교육이 모두 연결되었습니다 .6 다음 수십 년 동안 대학의학에서 두 가지 추가 혁명이 발생했습니다. 하나는 생물 의학 연구의 혁명이며, 다른 하나는 임상 실습이 megabusiness로 변모한 것이다. 이들 각각은 다른 의과 대학 미션을 요구했다.

From World War I to World War II, the education mission was paramount and the Flexnerian model of integrating patient care and teaching was widespread. Patient care, investigation, and teaching were all connected because research was based in large part on careful observations of patients as well as patient-oriented investigative work in the laboratory.6 Over the subsequent decades, two additional revolutions in academic medicine occurred: the revolution in biomedical research and the transformation of clinical practice into megabusiness. Each of these encouraged the ascendancy of a different medical school mission.

제 2 차 세계 대전 이후, 이러한 혁명의 첫 번째 사건이 생겨났고, 생의학 연구의 부상이 일어났습니다. 이것은 두 가지 힘의 결과로 발생했다 : 국립 보건원 (National Institutes of Health)의 급속한 확장과 의대가 대학에 통합된 것; 그 결과 "publish or perish"의 문화가 등장하였다. 연구가 점점 더 복잡 해짐에 따라 연구실 교수진은 환자를 계속 가르치고 관찰하는 것이 점점 더 어려워지고 있음을 발견했습니다. 유사하게, 임상 교사들은 더 이상 최첨단 wet lab연구를 수행 할 수 없었습니다. 따라서 실험실과 침상 옆을 오가는 임상의라는 Flexner의 이상은 퇴색하기 시작했습니다.

After World War II, the first of these revolutions took place, the rise of biomedical research. This occurred as a result of two forces: the rapid expansion of the National Institutes of Health and the incorporation of medical schools into universities; together, these resulted in an intensifying culture of “publish or perish.” As research became increasingly molecular in nature, laboratory-based faculty found it more and more difficult to continue teaching and seeing patients; similarly, clinical teachers were unable to conduct leading-edge wet lab research. Thus, Flexner’s ideal of the clinician– investigator who went back and forth from the laboratory to the bedside began to fade.

또 다른 혁명은 임상 혁명이 메가 비즈니스로 변모한 것으로, 1965 년 메디 케어와 메디 케이드의 통과와 함께 시작되었습니다. 의료는 엄청나게 확대되었으며, 의과 대학의 주요 수입은 교수진이 창출 한 임상 실습 수익이되었습니다. 이후 수십 년 동안 교수진의 임상 생산성 요구가 증가하고, 이는 계속해서 교육을 위한 시간을 줄여놓거나 심지어 제거했습니다 .5 오늘날 의과 대학생들은 주로 환자와 환자가있는 급성 환자의 맥락에서 레지던트가 가르치고 있습니다. 직원은 자주 바뀌고 환자 진료의 핵심 참가자들 간에는 거의 연속성이 없습니다. 결과적으로 의학 교육은 Flexner가 상상하지 못했던 새로운 과제에 직면하게됩니다.

The other revolution, the transformation of clinical practice into megabusiness, began in 1965 with the passage of Medicare and Medicaid. Medical faculties expanded dramatically, and the primary income for medical schools became clinical practice revenue generated by the faculty. Over succeeding decades, the clinical productivity demands on the faculty increased and continued to do so, compressing or even eliminating time for teaching.5 Today, medical students are being taught primarily by residents in the context of acutely ill patients on inpatient services where patients and staff change frequently and there is little continuity between the key participants in patient care. As a result, medical education faces a new set of challenges unimagined by Flexner.

현대의 카네기 연구 

The Contemporary Carnegie Study of Medical Education

오래된 모델을 기반으로 하더라도, 커리큘럼, 교육학, 평가에 대한 새로운 비전을 제시하는 새로운 모델이 필요합니다.

A new model is needed that builds on the old but offers a new vision for curriculum, pedagogy, and assessment.

우리가 21 세기 초 미국의 의학 교육에 대해 생각할 때, 우리는 플렉스너처럼 마찬가지로 그것이 부족하다는 것을 알게됩니다. 

• 의학 교육은 유연성이없고 지나치게 길며 학습자 중심이 아닙니다. 

• 학생과 레지던트 모두를 위한 임상 교육은 사실적 지식의 숙달, 입원 임상 경험, 레지던트에 의한 교육, 가르치는 시간이 줄어든 임상 교수에 의한 감독, 교육 임무를 지원 의지나 능력에 한계에 도달한 병원을 과도하게 강조합니다. 

• 우리는 공식 지식과 경험 학습과 환자 집단, 의료 전달, 환자 안전 및 품질 향상에 대한 부적절한 관심 사이의 연관성을 관찰했습니다. 

• 학습자는 환자 경험에 대한 총체적인 시각이 부족하고 의사의 광범위한 시민 및 옹호 역할을 제대로 이해하지 못합니다. 

• 마지막으로, 건강 관리의 속도와 상업적 성격은 종종 직업의 근본 가치에 대한 가르침을 방해합니다.

As we reflect on medical education in the United States at the beginning of the 21st century, we find, like our famous forbearer, that it is lacking. 

• Medical training is inflexible, overly long, and not learner-centered. 

• Clinical education for both students and residents excessively emphasizes mastery of facts, inpatient clinical experience, teaching by residents, supervision by clinical faculty who have less and less time to teach, and hospitals with marginal capacity or willingness to support the teaching mission. 

• We observed poor connections between formal knowledge and experiential learning and inadequate attention to patient populations, health care delivery, patient safety, and quality improvement.

•  Learners lack a holistic view of patient experience and poorly understand the broader civic and advocacy roles of physicians. 

• Finally, the pace and commercial nature of health care often impede the inculcation of fundamental values of the profession.

우리의 연구는 재단이 위임 한 직업을 준비하는 데 더 큰 규모의 일을하고 있습니다. 책으로 출판 된 동반자 연구는 성직자 교육, 변호사, 엔지니어, 간호사를 대상으로합니다.

Our study is part of a larger body of work on preparation for the professions commissioned by the foundation. The companion studies, published as books, address the education of clergy,7 lawyers,8 engineers,9 and nurses.10

우리는 2005 년과 2006 년에 미국에서 11 개의 의과 대학과 3 개의 비-대학 교육 병원 *을 연구했습니다. Flexner와 달리 우리의 목적은이 기관의 교육 프로그램을 평가하는 것이 아니라 혁신과 도전으로부터 배우는 것입니다.

We studied 11 medical schools and three nonuniversity teaching hospitals* in the United States in 2005 and 2006. In contrast to Flexner, our purpose was not to evaluate educational programs at these institutions but, rather, to learn from their innovations and challenges.

핵심 결과와 권고

Key Findings and Recommendations

우리는 다음과 같은 의학 교육 시스템을 그린다.

•     표준화 된 결과를 달성하는 과정에서 유연성을 극대화하고,

•     통합 및 협업 학습 기회를 창출하며,

•     질의와 개선의 습관을 가르치고

•     학생 및 레지던트 professional formation을 위한 학습 환경을 제공합니다. 

•     환자와 환자 집단의 건강을 진전시킨다.

We envision a medical education system that

•    maximizes flexibility in the process of achieving standardized outcomes,

•    creates opportunities for integrative and collaborative learning,

•    inculcates habits of inquiry and improvement, and

•    provides a supportive learning environment for the professional formation of students and residents— while at the same time it

•    advances the health of patients and patient populations.

Table 2 summarizes our key findings associated with four themes:

•    Standardize learning outcomes and individualize the learning process.

•    Integrate formal learning with clinical experience.

•    Develop habits of inquiry and improvement into medical education at all levels.

•    Focus on the progressive formation of professional identity.

표준화와 개별화

Standardization and individualization

의학 교육은 역사적으로 교과 과정의 길이와 구조에 대한 인정 기준을 표준화했습니다. 다른 많은 사람들과 마찬가지로, 우리는 의학 교육이 학습 결과와 일반 역량을 표준화해야하고, 학생과 레지던트를 위한 학습 경험을 개별화 할 수있는 더 많은 옵션을 제공해야한다고 주장합니다. 역량을 지정하고 평가함으로써 높은 표준을 달성하면서, 학습 과정에 유연성을 부여하고, 조기에 역량을 얻을 수있는 사람에게는 지나치게 긴 교육 과정을 단축 할 수 있어야 한다.

Medical education has historically standardized accreditation standards on the length and structure of the curriculum . Like many others, we argue that medical education should standardize learning outcomes and general competencies and then provide greater options for individualizing the learning experience for students and residents. By specifying and assessing competencies, high standards can be achieved while affording greater flexibility in the learning process and shortening the overly long educational process for those who can achieve competence early.

개별화는 학생과 레지던트가 다양한 배경, 경험 및 전문 지식을 가지고 도착한다는 것을 인정합니다. 그러나, 종종 학생들이 의대를 시작하면, 그들이 가지고있는 지식과 경험은 무시됩니다. 타인의 삶의 질을 향상시키고 과학을 사용하는 데 대한 관심이 중요한 동기 부여요인이 된다. 우리의 주장은 학생과 레지던트에게 의학을 배우고 자신의 특정 관심 분야를 추구하고, 풍부한 교육 경험을 만들어 내고, 결과적으로 더 광범위하게 훈련 된 의사를 양성 할 수있는 기회를 더 많이 제공 할 수 있다는 것입니다. 이 모델은 일부 학생과 레지던트가 다른 사람들보다 빨리 숙달을 달성할 수 있음을 가정하고 있으며, 이 경우 심층적인 관심 주제를 추구하거나 다음 단계로 빠르게 진행할 수 있어야합니다.

Individualization acknowledges that students and residents arrive with diverse backgrounds, experiences, and expertise. Yet, when students begin medical school, the knowledge and experience they bring with them are often disregarded. Their commitment to improving the quality of life of others and their interest in using science to do so are important sources of motivation. Our contention is that we can offer students and residents more opportunities to both learn medicine and also pursue areas of special interest, creating a richer educational experience and producing a more broadly trained physician as a result. This model assumes that some students and residents will achieve mastery sooner than others and should be allowed to pursue topics of interest in extra depth or to proceed more rapidly to the next stage of training.

표준화 및 개별화와 관련하여 다음을 권장합니다.

•   의학 교육의 궤적에 걸쳐 엄격하고 점차적으로 높은 수준의 역량을 수립하고 학생들이 각자의 속도로 진보 할 수 있도록 다양한 조치를 사용하여 여러 영역에서 여러 영역을 평가하십시오.

•   레벨 내에서 레벨에 관계없이 학습을 개별화하여 학습 방법에 유연성을 부여하고 학생들이 역량 획기적 인 목표를 달성 할 수있는 기회를 제공합니다.

•   공공 보건 및 옹호, 세계 보건, 의학 교육, 임상 및 번역 연구, 분자 의학 등의 분야에서 연구자 및 혁신가와 함께 일할 수있는 관심 분야 및 기회가있는 선택 프로그램을 학생과 거주자에게 제공하십시오.

We recommend the following related to standardization and individualization:

•   Establish rigorous and progressively higher levels of competency across the trajectory of medical education and assess multiple domains in many settings using a variety of measures so that students can progress at their own pace.

•   Individualize learning within and across levels, allowing flexibility in approaches to learning and the opportunity to progress as students achieve competency milestones.

•   Offer elective programs around areas of interest and opportunities for students and residents to work with researchers and innovators in such areas as public health and advocacy, global health, medical education, clinical and translational research, and molecular medicine.

우리는 통합이라는 단어를 기초, 임상 및 사회 과학에 대한 공식 지식을 임상 경험과 통합하는 것을 의미하며, 오늘날보다 훨씬 더 균형 잡힌 방식을 뜻한다. 

• 이는 의대생이 조기에 임상에 참여해야하며, 레지던트는 과학에 대한 더 많은 노출과 자신의 의료행위를 뒷받침하는 최선의 증거가 있어야 함을 의미합니다. 

• 통합은 또한 지식, 경험을 사용하여 환자, 환자의 경험 및 치료를보다 전체적으로 이해하는 것을 포함합니다. 

• 마지막으로, 플렉스너의 개념보다 더 넓은 의미에서, 우리는 의사가되는 것과 관련된 여러 가지 전문적인 역할과 책임을지는 학습자로 통합을 이해할 수 있습니다. 의사는 다양한 역할을 수행하기 때문에 학생과 레지던트는 전문적인 적성, 목표, 정체성 및 교육적 경험에 이러한 추가 역할을 통합해야합니다.

We use the word integration to refer to the integration of formal knowledge of the basic, clinical, and social sciences with clinical experience in a much more balanced manner than is true today. 

• This means that medical students should be provided early clinical immersion and residents should have more intense exposure to the sciences and best evidence underlying their practices. 

• Integration also includes using that knowledge and experience to understand patients, their experiences, and their care more holistically. 

• Finally, in a sense of the word that is broader than Flexner’s concept, we see integration as learners taking on the multiple professional roles and commitments associated with being a physician. Because physicians performa variety of roles, students and residents should integrate those additional roles into their professional aptitudes, goals, identities, and educational experiences.

우리는 통합과 관련하여 다음과 같은 권고안을 제시합니다.

•   조기 임상 집중과 보다 진보된 학습자가 성찰하고 연구 할 수 있는 적절한 기회를 비롯한 임상 경험과 공식적인 지식을 연결하십시오.

•   기초, 임상 및 사회 과학을 통합합니다.

•   환자와의 장기적인 연관성을 비롯하여 환자의 질병 및 치료 경험에 대한보다 포괄적 인 시각을 가지고 모든 수준의 학습자를 참여시킵니다.

•   교육자, 옹호자, 지도자 및 연구자를 포함한 의사의 광범위한 전문적 역할을 학습자가 경험할 수있는 기회를 제공하십시오. 

• IPE 및 팀워크를 커리큘럼에 통합하십시오.

We make the following recommendations related to integration:

•   Connect formal knowledge to clinical experience, including early clinical immersion and adequate opportunities for more advanced learners to reflect and study.

•   Integrate basic, clinical, and social sciences.

•   Engage learners at all levels with a more comprehensive perspective on patients’ experience of illness and care, including more longitudinal connections with patients.

•   Provide opportunities for learners to experience the broader professional roles of physicians, including educator, advocate, leader, and investigator.   Incorporate interprofessional education and teamwork in the curriculum.

탐구와 개선의 습관

Habits of inquiry and improvement

평생에 걸쳐 수월성을 촉진하기 위해서는 의사는 탐구, 발견 및 혁신에 종사해야합니다.

To promote excellence throughout a lifetime of practice, physicians-in- training should be engaged in inquiry, discovery, and innovation.

질의 및 개선을위한 교육은 일상적인 전문성을 뛰어 넘어 학습자의 능력capabilities을 확장시켜야 함을 제안합니다. 실제 "테이퍼 오프tapering off"또는 자만심을 방지하는 핵심은 어렵거나 모호한 문제를 탐구하고 해결하는 데 필요한 노력을 투자하는 것이다. 연구는 [탐구와 개선을 촉진하는 habits of mind]가 [일상적인 전문성 개발]뒤에 따로 이뤄지는 것이 아니라 함께 개발되어야 한다는 것을 제시한다.

We suggest that training for inquiry and improvement requires moving beyond routine expertise to stretch the capabilities of the learner. The key to preventing “tapering off” or complacency in practice seems to be investing the effort needed to explore and address difficult or ambiguous problems. Research suggests that the habits of mind that foster inquiry and improvement must be developed alongside the development of routine expertise rather than after it.12

교과 과정 개혁을 위한 이 함의는 적응력있는 전문성adaptive expertise과 그것의 습득에 대해 명시적으로 가르치고, 새로운 전략과 솔루션을 개발하기 위해 사전 지식과 기술을 적용하거나 재구성해야하는 새롭거나 익숙하지 않은 문제 또는 상황으로 학습자를 도전하는 것입니다. 현장 작업에서 자주 본 사례는 학생들과 레지던트가 품질 개선 프로젝트에 참여한 사례입니다.

The implications of this for curriculum reform might be to explicitly teach about adaptive expertise and its acquisition and to challenge learners with new or unfamiliar problems or circumstances that require adaptation or reconfiguration of prior knowledge and skills to develop new strategies and solutions. An example we saw frequently in our field work was the participation of students and residents in quality improvement projects.

조사 및 개선의 습관을 기르기 위해 다음을 권장합니다.

•   학습자가 일상적 전문성과 적응적 전문성을 모두 얻을 수 있도록 준비하십시오.

•   학습 문제를 해결하기 위해 학습자를 참여시키고 질문, 혁신 및 치료 개선에 진정으로 참여할 수 있도록합니다.

•    인구 건강, 품질 향상 및 환자 안전에 중점을 둔 학습 활동에 참여하십시오.

•    대학 교육 병원뿐만 아니라, 양질의 환자 치료가 제공되는 환경에서 임상 교육이 이뤄지게 한다.

To develop habits of inquiry and improvement, we recommend the following:

의학 교육은 의학을 배우는 것 이상입니다. 그것은 근본적으로 헌신적인 의사가되는 것에 관한 것입니다. 따라서 의사의 전문적 정체성 형성 - 전문적인 가치관, 행동 및 열망의 개발 -이 의학 교육의 주요 초점이되어야합니다. 의사의 전문적 정체성 형성은 다른 세 가지 주제의 통합을 포함합니다.

Medical education goes beyond learning medicine; it is fundamentally about becoming a dedicated physician. Therefore, the professional identity formation of physicians—meaning the development of their professional values, actions, and aspirations—should be a major focus of medical education. Formation of the professional identity of the physician includes the integration of our other three themes.

형성, 성직자 연구에서 동료들로부터 빌린 용어이며, 

• 지식, 이해 및 숙련 된 성과를 확장시킴으로써expanding 전문가가되는 과정을 포함한다. 

• 직업의 다른 구성원, 특히 경험 많은 다른 사람들과의 교제를 통해; 

• 직업의 가치와 성향disposition에 대한 헌신을 habit of mind로 심화시킴으로써.

Formation, a term borrowed from our colleagues in the study of clergy,7 involves the process of becoming a professional 

• through expanding one’s knowledge, understanding, and skillful performance; 

• through engagement with other members of the profession, particularly more experienced others; and 

• by deepening one’s commitment to the values and dispositions of the profession into habits of the mind and heart.

Arnold와 Stern은 의료 전문가로서의 발전에는 두 가지 요소가 있음을 제안합니다. 

• 첫 번째는 세 가지 기본 영역을 숙달하는 것이다: 의학에서의 임상지식과 역량, 의사소통 기술, 법적 윤리적 책임

• 이러한 기본 영역 외에도 열망aspiration이 있습니다. 목표란 그것을 추구할 수는 있지만 절대 도달하는 것이 아니기 때문에, 언제나 향상이 가능하다. 여기에는 우수성, 휴머니즘, 책임 성 및 애타주의가 포함됩니다.

Arnold and Stern13 suggest that one’s development as a medical professional has two elements. 

• The first is demonstrating mastery in three foundational areas—clinical knowledge and competence in medicine, communication skills, and understanding the ethical and legal responsibilities of a physician. 

• In addition to these foundational areas, there are aspirations: goals that are striven for but never achieved, as one can always improve. These include excellence, humanism, accountability, and altruism.

전문적인 정체성 형성의 발전을 위해서 필요한 것

•   공식 윤리 강령, 스토리 텔링 및 심볼(명예 암호, 서약 및 백의 의식)를 제공하십시오.

•    숨겨진 커리큘럼에 표현 된 기본 메시지를 다루고 임상 환경으로부터 espoused and enacted 가치를 맞추기 위해 노력합니다.

•    장기 멘토링 및 조언의 맥락에서 전문성에 대한 피드백, 성찰 기회 및 평가.

•    학습자를 동시에 지원하고 높은 수준으로 유지하는 교수진과의 관계를 촉진하십시오.

•    우수성과 지속적인 개선을 위해 협업 학습 환경을 조성하십시오.

the following for the advancement of professional identity formation:

•   Provide formal ethics instruction, storytelling, and symbols (honor codes, pledges, and white coat ceremonies).

•    Address the underlying messages expressed in the hidden curriculum and strive to align the espoused and enacted values of the clinical environment.

•    Offer feedback on, reflective opportunities for, and assessment of professionalism, in the context of longitudinal mentoring and advising.

•    Promote relationships with faculty members who simultaneously support learners and hold them to high standards.

•    Create collaborative learning environments committed to excellence and continuous improvement.

고찰

Discussion

우리가 바라는 변화를 달성하기 위해서는 의과 대학의 교수진, 병원, 프로그램 디렉터, 부서장 및 학장뿐만 아니라 의학 전문직 단체 및 정부의 지도자들에 대한 공동의 노력이 필요합니다. 우리의 권고 사항들 각각은 의료 교육의 재정, 규제, 인증 및 인정에있어서 국가 또는 국가 수준에서의 변화를 필요로하거나 최소한 촉진 할 것입니다. 의대 및 레지던트 프로그램이 성공적으로 혁신을하기 위해서는 의료 교육을 통제하거나 영향을 미치는 기금 제공자, 규제 기관 및 전문기구가이 개혁 노력에 적극적으로 참여해야합니다.

Achieving the changes we envision will require the concerted and combined efforts of faculty members in medical schools and teaching hospitals, program directors, department chairs, and deans as well as leaders of medical professions organizations and government. Each of our recommendations necessitates, or at a minimum would be facilitated by, changes at the state or national level in the financing, regulation, certification, and accreditation of medical education. For medical schools and residency programs to successfully innovate, the funders, regulators, and professional organizations that control or influence medical education must be actively engaged in this reform effort.

우리는 의학 교육의 핵심 인사가 미국의 의학 교육을 발전시키고 궁극적으로 대중의 건강을 위해 다음과 같은 7 가지 주요 단계를 수행 할 것을 제안합니다.

We propose that medical education’s keystakeholders take the following seven major steps to advance U.S. medical education and, ultimately, the health of the public: 

1. AAMC와 의과 대학은 예비 교육 과정 요구 사항과 입학 기준 및 과정을 수정하기 위해 함께 노력합니다.

1. The AAMC and medical schools work together to revise premedical course requirements and admission criteria and processes.

2. 인증, 인증 및 라이센스 기관은 함께 의료 교육의 연속체를위한 일관된 프레임 워크를 개발하고 표준 조정 및 관할권 분쟁 해결을위한 효과적인 메커니즘을 수립합니다.

2. Accrediting, certifying, and licensing bodies together develop a coherent framework for the continuumof medical education and establish effective mechanisms to coordinate standards and resolve jurisdictional conflicts.

3. 교육 병원 및 레지던트 프로그램의 이사는 환자 개호와 임상 교육을 조정하여 두 가지를 향상시키고 실습 요건에 부합하는 교육 프로그램을 개발합니다.

3. CEOs of teaching hospitals and directors of residency programs align patient care and clinical education to improve both and to develop educational programs that are consistent with practice requirements.

4. 의과 대학 학장과 교육 병원의 CEO는 재정 지원, 멘토링, 교수 개발, 인정 및 학업 향상을 제공하여 교수진의 교육 사명을 지원합니다.

4. Deans of medical schools and CEOs of teaching hospitals support the teaching mission of the faculty by providing financial support, mentoring, faculty development, recognition, and academic advancement.

5. 의과 대학의 학장과 교육 병원의 CEO는 협력하여 의료 교육을위한 자금을 투명하고 공정하게 조정하고 의과 대학 및 교육 병원의 임무에 맞 춥니 다.

5. Deans of medical schools and CEOs of teaching hospitals collaboratively make funding for medical education transparent, fair, and aligned with the missions of both medical schools and teaching hospitals.

6. AAMC, AMA, 대학원 의학 교육 (ACGME), 의학 전문 사회 및 의과 대학의 인증위원회는 의료 교육의 인프라, 혁신 및 연구를 지원하기위한 지속적인 개인, 연방 및 주 예산 공약을지지합니다.

6. The AAMC, AMA, Accreditation Council for Graduate Medical Education (ACGME), medical specialty societies, and medical schools be advocates for sustained private, federal, and state funding commitments to support infrastructure, innovation, and research in medical education.

7. AAMC, AMA, ACGME, 의학 전문 사회 및 의과 대학은 미국의 의료 인력 정책 개발에 협력합니다. 이러한 노력은 의료 교육 비용, 훈련 기간 및 인구의 필요를 충족시키기 위해 전문의와 전문의가 혼합 된 국가가 될 수있는 실무 생존 능력을 다루는 다양한 중재를 가져와야합니다.

7. The AAMC, AMA, ACGME, medical specialty societies, and medical schools collaborate on the development of a medical workforce policy for the United States. This effort should result in a variety of interventions addressing the cost of medical education, length of training, and practice viability that will ensure that the country has the mix of specialty and subspecialty physicians to meet the needs of the population.

Calls for reform of medical education by the Carnegie Foundation for the Advancement of Teaching: 1910 and 2010.

의과대학의 교육과정 변화: 어떻게 성공할 것인가(Acad Med, 2000)

Curricular Change in Medical Schools: How to Succeed

Carole J. Bland, PhD, Sandra Starnaman, PhD, Lisa Wersal, MA, Lenn Moorhead-Rosenberg, PhD, Susan Zonia, PhD, and Rebecca Henry, PhD

검색 과정

THE SEARCH PROCESS

이 검토를 위해 적절한 출처를 모으기 위해 미네소타 대학의 교육 정책 및 행정학 교수 인 카렌시 쇼어 루이 (Karen Seashore Louis)가 교육 과정 전문가의 지시를 먼저 받았다. 그녀는 일반적으로 조직 변화와 교육적 변화에 대한 기초를 제공하기 위해 유치원부터 12 학년 (K-12)까지 학교 및 조직 설정의 변화에 ​​대한 자료를 안내했습니다. 그 근원은 그들의 참고 목록을 통해 다른 사람에지도했다.

In gathering appropriate sources for this review, we first sought direction from an expert in the field of curricular change, Karen Seashore Louis, professor of educational policy and administration at the University of Minnesota. She guided us to literature on changes in school and organizational settings from kindergarten to the twelfth grade (K–12) to provide grounding in organizational change in general, and educational change in particular. Those sources led to others via their bibliographies.

연구 결과 프레임워크

FRAMEWORK FOR OUR FINDINGS

이 리뷰에서 우리가 적용하는 용어와 그 의미를 분명히합니다. 특정 변화 단계를 설명하기에 적합한 경우 다음 용어를 사용합니다.

we clarify the terms and their meanings that we apply in this review. When it is appropriate to explicate a particular stage of change, we use the following terms: 

계획. 이 단계에서 변화의 필요성이 수립되고 변화에 대한 비전이 수립되며 변화에 대한 조직적 맥락이 고려됩니다.

Planning. During this stage, the need for change is established, a vision for change is designed, and the organizational context for change is considered.

개시 (동원 또는 도입이라고도 함). 계획을 수립하고 일반적으로 약 1 년 동안 지속되는 입문 과정에서 오랜 조직 패턴의 '해체'와 직장이나 교육 환경에 대한 혁신 도입을 관찰하게됩니다.

Initiation (also referred to as mobilization or adoption). During initiation, which follows planning and generally lasts about a year, one would observe the ‘‘unfreezing’’ of old organizational patterns and the introduction of the innovation into the workplace or education environment.

이행. 이 단계는 일반적으로 개시 이후 제도화로 이어지는 년을 의미합니다. 이 기간 동안 혁신은 시행 착오를 통해 수정 및 조정을 받아 직장이나 교육 환경에서 지속적으로 실용화되고 있습니다.

Implementation. This stage typically refers to the years following initiation and leading up to institutionalization. During this time the innovation continues to be put into practice in the workplace or education environment, acquiring modifications and adjustments through trial and error.

제도화. 이 단계는 혁신이 조직 행동의 새로운 질서가 된 때를 의미합니다. 조직의 구성원이 혁신 목표를 더 이상 '새로운'방식으로 언급하지 않고 오히려 '우리가 일을 하는 방식'이라고 지칭 할 때입니다. 이 시기는 때로는 초기의 바람직하지 못한 행동패턴의 unfreezing과 대조하여 "freezing" 시간이라고 부릅니다. 

Institutionalization. This stage refers to the time when the innovation has become the ‘‘new order’’ of organizational behavior. It is the time when the organization’s members no longer refer to the innovation objectives as the ‘‘new’’ way of doing things, but rather refer to them as, ‘‘the way we do things.’’ It is sometimes called a time of ‘‘freezing’’ desired behaviors, in contrast to the ‘‘unfreezing’’ of undesired behavior patterns in the initiation stage.

요인들을 세 가지 그룹으로

Thus, we cluster the factors into three groups:

맥락. 여기에는 변경을 용이하게하는 조직에있는 특성이 포함됩니다. 이 클러스터에서 논의되는 요소는 사명과 목표, 조직의 변화의 역사, 정치 및 조직 구조입니다.

Context. This includes characteristics present in the organization that facilitate change. Factors discussed in this cluster are mission and goals, history of change in the organization, politics, and organizational structure.

교육과정. 여기에는 커리큘럼 자체와 관련된 특성이 포함됩니다. 여기서 논의되는 요소는 변화의 필요성과 혁신의 범위와 복잡성입니다.

Curriculum. This includes characteristics pertinent to the curriculum itself. Factors discussed here are the need for change and the scope and complexity of the innovation.

프로세스. 프로세스에는 커리큘럼 변경을 구현하는 프로세스와 관련된 특성이 포함됩니다. 논의되는 요인은 협력 적 기후, 조직 구성원의 참여, 의사 소통, 인적 자원 개발, 평가, 성과 저하 (즉, 새로운 프로그램이 시행됨에 따라 조직의 성과가 일시적으로 감소 함) 및 리더십입니다.

Process. Process includes characteristics that relate to the process of implementing curricular change. Factors discussed are cooperative climate, participation by organization members, communication, human resource development, evaluation, performance dip (i.e., the temporary decrease in an organization’s performance as a new program is implemented), and leadership.

마지막으로 성공적인 혁신 - 교과 과정 또는 다른 방식 -의 특성 중 하나는 혁신을 구현하는 데 사용 된 혁신과 전략이 조직과 환경의 맥락에 적절해야한다는 것입니다. 이러한 이유에서 특정 기업 또는 교육 환경에 기반한 조직 변화에 대한 대부분의 연구는 결과가 다른 조직으로 반드시 이전transfer 가능하다고 주장하지 않습니다. 그럼에도 불구하고 우리는 성공적인 변화 노력과 관련된 특성과 관련하여 학문 분야 및 환경 전반에서 현저한 일관성을 발견했습니다.

Finally, it is important to mention that one of the characteristics of successful innovation—curricular or otherwise —is that the innovation and strategies used to implement it must be appropriate to the context of the organization and its environment. For this reason, most studies of organizational change, be they based on corporate or educational settings, do not claim that their results are necessarily transferable to other organizations. Still, we found remarkable consistency across disciplines and settings with regard to the characteristics associated with successful change efforts.

OUR FINDINGS

13개 카테고리, 35개 특징들

The review revealed 13 categories in which 35 features of successful curricular change were consistently reported.

맥락

Context

맥락이 달라지면 유사한 조직조차도 다른 혁신의 길을 택하게 된다.

미션과 목적

Mission and goals.

조직의 기본 신념과 가치는 조직의 사명과 목표로 표현됩니다. 성공적인 혁신은 기관의 표현 된 가치, 신념 및 목적과 양립해야합니다. 교육 설정에서 학교의 사명과 목표,지지 된 교육 철학 및 교육 기관의 문화는 변화를 계획 할 때 고려해야 할 필수 요소입니다 .2,10-13

The underlying beliefs and values of an organization are expressed in its mission and goals. Successful innovations must be compatible with the institution’s expressed values, beliefs, and purposes. In educational set-tings, the mission and goals of the school, the espoused educational philosophy, and the institution’s culture are all essential components to consider when envisioning a change.2,10–13

로스와 파인 버그 (Ross and Fineberg)의 10 개 의과 대학에 대한 민족 지학 연구의 결과는 미션와 기관 문화, 혁신 사이의 밀접한 유대를 잘 보여주고있다 .14)이 연구자들은 보다 집중된 미션를 가진 소규모의 의과 대학 (예를 들어, generalist practitioners의 양성)이 보다 포괄적 인 사명을 가진 더 큰 학교보다 기관 차원의 혁신을 더 쉽게 구현할 수 있습니다. 학교가 클수록 더 좁은 범위의 혁신을 도입 할 가능성이 더 컸다. Ross와 Fineberg는 대형 학교는 전문 분야에서의 훈련, 다양한 연구 노력 및 병원 요원 배치와 같은 여러 가지 임무를 추구한다는 사실에 기인합니다. 각 부서는 기관 내에 고유 한 사명을두고 있으며, 각 기관은 사명을 수행함에있어 상당한 자치를 누리고 있습니다. (큰 대학처럼) 각 부서가 전문적인 목표를 추구하는 데있어 독립적으로 운영되는 환경에서는 교수진의 관심을 기관 차원의 혁신에 집중하는 것이 더 어렵습니다.

The results of an ethnographic study of ten medical schools by Ross and Fineberg exemplify the close ties between mission, institutional culture, and innovation.14 These investigators found that the smaller medical schools in their study, which had more focused missions (to prepare generalist practitioners, for example), could more readily implement institution-wide innovations than could larger schools with more comprehensive missions. The larger schools were more likely to introduce innovations of narrower scope. Ross and Fineberg attributed this to the fact that larger schools pursue a plurality of missions, including training in specialty practices, a variety of research efforts, and staffing of hospitals. Each department then has its own unique mission(s) within the institution, and each enjoys considerable autonomy in carrying out its mission(s). In such settings, where departments operate quite independently in pursuit of their specialized goals, it is more difficult to focus faculty attention on institution-wide innovations.

History of change in the organization.

혁신을 실행하는 조직의 이전 역사는 조직의 뒤따르는 변화 노력에 영향을 미칩니다. 효과적인 변화의 역사를 가진 교육 기관은 새로운 혁신을 구현할 가능성이 더 높았다 .15 성공적인 혁신의 역사는 변화의 제도화, 즉 변화를 조직의 지속적인 부분에 영향을 미칠 것이다 .16 변화 노력의 실패한 역사가있는 조직은 특히 혁신을 받아들이려하지 않을 것입니다.

 An organization’s prior history with implementing innovation influences that organization’s subsequent change efforts. educational institutions that had histories of effective change were more likely to implement new innovations.15 a history of successful innovation will positively influence the institutionalization of change, that is, making the change a lasting part of the organization.16 organizations that have histories of failed change efforts are particularly unlikely to incorporate innovations.

Politics.

정치적 문제는 희소한 자원의 배분에 초점을 맞춘다 - '누가 무엇을, 언제, 어떻게 얻는가'.

Political issues revolve around the allocation of scarce resources—‘‘who gets what, when and how.’’17

내적 네트워킹

Internal networking.

권력은 간단히 말해서 결정을 내리는 권한을 소유하거나 결정을 내리는 사람들에게 영향을 줌으로써 조직 성과에 영향을 줄 수있는 능력이다. 조직 내외부 그룹 내의 영향력있는 개인 또는 하위 그룹은 공식 또는 비공식 채널을 통해 권한을 행사할 수 있습니다. 의대에서 비공식 네트워크는 종종 권력 문제 협상에 선호되는 수단입니다.

Power is most simply explained as the ability to affect organizational outcomes either by possessing the authority to make decisions or by influencing those who do. influential individuals or subgroups within the organization and/or external groups may exercise their power through formal or informal channels. In medical schools, informal networks are often the preferred means for negotiation of power issues.

리피트 (Lippitt)와 동료들은 계획된 조직 변화에는 단호한 설득, 보상이나 징벌 수여, 신뢰 구축, 공통 비전에 대한 열렬한 지지를 보여주는 등 다양한 전략을 통해 개인적 영향력을 행사하는 적어도 한 명의 강력한 지지자advocate가 있어야한다고 제안했다. 변화가 지속되려면, 조직 내에서 강력한 개인이나 파벌이, 비록 그들이 프로세스 초기에 옹호자가 아니었더라도, 결국 변경 노력에 협조해야합니다.

Lippitt and colleagues suggest that planned organizational change must have at least one strong advocate who exercises personal influence through a variety of strategies, such as assertive persuasion, awarding rewards or punishments, building trust, and enthusiastically demonstrating support for the common vision.18 Furthermore, if change is to be enduring, powerful individuals or factions within the organization must eventually cooperate with the change effort, even if they are not early advocates of the process.

교수진과 행정관 외에도 학생들은 커리큘럼을 변경하는 동안 중요한 지지 베이스가 될 수 있습니다. 의대학생들의 피드백과 열의는 교수진을 앞으로 밀어 넣어 일부 설정에서 변화의 추진력을 유지하는 데 도움이되었습니다.

In addition to faculty and administrators, students can be an important base of support during curricular change. medical students’ feedback and enthusiasm have helped sustain the momentum of change in some settings by ‘‘pushing’’ the faculty forward.9,20

교과 과정 변경 노력에서 제기 된 하나의 권력문제는 교육과정을 누가 소유하고 통제하는지에 대한 문제입니다. 학교인가 또는 교수진인가? 일부 학교는 이 문제를 명확히하는 상위 지침을 작성했습니다. 다른 사람들은 여전히 ​​그것에 고심하고 있습니다.

자원 할당

Resource allocation.

의과 대학 내에서 자원을 할당하는 방법은 부서별 자율성 시스템을 촉진하는 경향이 있습니다.

The method of allocating resources within medical schools tends to promote a system of departmental autonomy.

부서 이익과 연구 및 진료 수입 요구는 교육 기관 차원의 교육 목표 달성보다 우선시되는 경향이있다.

department interests and research and clinic-revenue imperatives tend to take precedence over the achievement of institution-wide educational goals.14

재단이 지원하는 교과 과정 변경 이니셔티브가 일반적이지만 변화를 시작하고 실행하기위한 외부 기금에 의존하는 것은 변화 노력의 제도화에 부정적인 영향을 줄 수 있습니다 .2 혁신이 진행됨에 따라 다른 외부 자원으로부터 충분한 자금을 모으고, 또는 초기 지원이 끝나면 내부 세출을 통해 변경 노력에 대한 지원이 이어져야 한다.

While foundation-supported curricular change initiatives are common, reliance on external funding to initiate and implement change may have negative ramifications for the institutionalization of the change effort.2 As the innovation progresses, care must be taken to garner sufficient funds from other external sources, or through internal appropriation, so that support for the change effort continues once the initial grant support runs out.

외부 환경과의 관계

Relationship with external environment.

상호 목표를 확인하고, 비전을 공유하고, 외부 기관과 조직 간의 의사 소통 프로토콜을 수립함으로써 지속적인 지침과 지원을받을 수 있습니다 .7,11,16,22,23 Glaser와 동료는 더 큰 공동체의 '맥박'을 모니터링하기 위한 내부 구조 및 절차가 조직이 혁신 전략을 구현할 때 외부 환경에 적응하는 데 도움을줍니다.

Identifying mutual goals, committing to a shared vision, and establishing communication protocols between external bodies and the organization open the door for continued guidance and support.7,11,16,22,23 Glaser and colleagues find that having internal structures and procedures for monitoring ‘‘the pulse’’ of the larger community helps organizations adjust to external environmental imperatives as they implement innovation strategies.1

의과 대학의 경우 외부 지지자는 정부 기관,인가 기관, 학회, 보건 전문 기관 및 관리 의료 기관뿐만 아니라 학교가 위치한 지리적 커뮤니티를 포함 할 수 있습니다. Kantrowitz와 동료들은 아이디어를 교환하고 성공을 공유하고 문제를 함께 해결하기 위해 유사한 혁신에 종사하는 다른 의과 학교와 관계를 발전시킬 것을 권고합니다.

In the case of medical schools, external supporters may include government bodies, accrediting agencies, scholarly societies, health professions organizations, and managed care organizations, as well as the geographic community in which the school is located. Kantrowitz and associates recommend developing relationships with other medical schools that are engaged in similar innovations to exchange ideas, share successes, and solve problems together.22

조직 구조

Organizational structure.

의과 대학에서 찾아 볼 수있는 매우 자율적인 교실 구조는 교실 간 통합 및 협업이 요구되는 교육 기관 차원의 교육 혁신에서 큰 과제가 된다.

The highly autonomous departmental structure found in medical schools presents a challenge to institution-wide curricular innovation that requires integration and collaboration among departments.

조직 구조가 통합적 또는 밀접하게 조직 구조가 "분절적"또는 "느슨하게 결합 된"시스템보다 기관 전체의 변화에 ​​더 잘 부합한다. 예를 들어, Kanter는 부서간 통합적 fluid 경계를 가진 조직이 rigid한, "분절적" 교실 구조를 가진 조직보다 아이디어의 자유로운 흐름을 더 잘 촉진한다는 것을 발견했다. '.26 Rogers 역시 부서 간 상호 연결 및 대인 관계 네트워크의 수준이 높을 때 부서간에 더 효과적으로 혁신과 새로운 아이디어가 퍼져 나간다고 말했다.

Researchers point out that ‘‘integrative’’ or ‘‘closely linked’’ organizational structures are more amenable to institutionwide change than are ‘‘segmental’’ or ‘‘loosely coupled’’ systems. Kanter, for example, finds that organizations with ‘‘integrative,’’ fluid boundaries between departments better facilitate the free flow of ideas than do rigid, ‘‘segmental’’ departmental structures.26 Rogers, too, notes that innovations and new ideas spread more effectively across departments when there is a higher degree of interconnection and interpersonal networks among units.8

느슨하게 결합 된 작업 단위를 사용하는 조직에서는 변경이 한 영역에서 구현하기 쉽지만 확산이 어려울 수 있다. 27 그러나 조직 차원의 혁신을 구현할 때는 세그먼트가 결합 된 느슨하게 결합 된 시스템이 무조건 나쁜것total loss는 아니다. 로젠 블럼 (Rosenblum)과 루이 (Louis)는 분산된 느슨하게 결합 된 시스템이 단위 간의 충분한 긍정적 인 상호 작용이 있으면 변화를 성공적으로 수행 할 수 있음을 발견했다.

In organizations with loosely coupled work units, change may be easy to implement in one area, but then prove difficult to spread.27 Segmented, loosely coupled systems are not at a total loss, however, when it comes to implementing organization-wide innovations. Rosenblum and Louis find that decentralized, loosely coupled systems may still be successful in effecting change if there is sufficient positive interaction among units.

일반적으로, 세분화 된 모델은 높은 상호 작용, 연결 및 참여 적 팀 중심 네트워크가있는 모델과 비교할 때 광범위한 변화를 달성하기가 어렵습니다 .16,28

In general, segmentalized models are seen as less able to accomplish broad change in comparison with models with high interaction, connection, and participatory, team-focused networks.16,28

변화를 촉진하기 위해 더 많은 '통합적'구조의 필요성을 인식 한 의과 대학은 이러한 도전을 창의적인 방법으로 충족시킵니다. 예를 들어, 카프만 (Kaufman)은 교과 과정 변경을 감독하기위한 학제 ​​간 커리큘럼 태스크 포스와 새롭고 통합 된 거버넌스 구조의 수립을 기술하고있다.

Recognizing the need for more ‘‘integrative’’ structures to facilitate change, medical schools meet this challenge in creative ways. Kaufman, for example, describes the establishment of an interdisciplinary curriculum task force and a new, integrated governance structure to oversee curricular change.21

교육과정

Curriculum

변화의 필요성

Need for change.

조직이 변화에 대한 진실한 '필요성'을 먼저 밝히지 않고서는 혁신적인 경로를 시작하지 않는다는 것은 자명하다. 자주 놓치는 것은 관리자 또는 이사회만으로는 필요를 인식하고 변화를 촉구하기에 충분하지 않다는 것입니다. 변화가 일어나고 지속되기 위해서는 변화가 필수적이라는 전제가 널리 퍼져 있어야합니다 .2,27

It may seem self-evident that an organization would not embark on an innovative path without first identifying a bona fide ‘‘need’’ for change. What is not always recognized is that it is not enough for the administrators or board of directors to recognize that need and call for change. In order for change to occur and be lasting, there needs to be a widespread agreement that change is requisite.2,27

때로는 변화를위한 추진력이 기관 외부에서 시작됩니다. 다른 때에 변화의 필요성은 내부에서 비롯됩니다. 핵심은 변화가 '현실과 효용'의 기준을 충족시키는 지 여부입니다. '31, p.27 즉, 혁신은 잠재적 인 새로운 사용자가 경험하는 실제 문제를 다루는 데 관련이 있어야합니다.

Sometimes the impetus for change originates outside the institution; at other times the need for change comes from within. What is key is whether the change meets the standards of ‘‘reality and utility.’’31,p.27 That is, the innovation must appear relevant to its potential new users for dealing with real problems that they experience.

혁신의 범위와 복잡성

Scope and complexity of the innovation.

변화 전략을 계획 할 때, 다루어야 할 초기 질문 중 하나는 변화 노력의 범위와 복잡성에 관한 것입니다. 조직 전체가 참여해야하고 상당히 복잡해야합니까? 아니면 조직이 제한된 범위의 "파일럿 프로젝트"로 시작해야합니까?

In planning a change strategy, one of the initial questions to deal with concerns the scope and complexity of the change effort. Should it involve the entire organization and be fairly complex, or should the organization start with a ‘‘pilot project’’ of limited scope?

일부 연구자들은 단계적으로 점진적으로 진행되는 프로세스가 덜 파괴적이며 조직 구성원 모두에게 불안한 자극을주기 때문에 "파일럿"또는 "시험"이니셔티브의 성공적인 사용에 주목합니다. 그러나 어떤 연구자들은 "시범 사업"을 사용하기 위해 몇 가지 단서를 제공합니다. "성공적인 혁신은 조직 구성원의 적극적인 참여를 토대로 구축되었습니다. 테스트 프로젝트가 ''평범한 것으로 판단된다면 회원들의 헌신과 지원을 얻는 데 필요한 매력적인 품질을 가지지 못할 것입니다. 제한된 범위의 소규모 프로젝트는 사람들이 심오한 투자를하지 않기 때문에 논란없이 더 쉽게 묻히거나 포기될 수 있습니다 .28,31

Some researchers note the successful use of ‘‘pilot,’’ or trial, initiatives because the phased-in, incremental process is less disruptive and anxiety-provoking for the organization members involved than a sweeping, organization-wide initiative would be.9,20,32 However, other researchers offer some provisos to the use of ‘‘pilot projects.’’ Successful innovation is built on the active participation of an organization’s members. If a test project is judged ‘‘trivial,’’ it will not have the engaging quality necessary to garner members’ commitment and support. Small projects of limited scope are more easily shelved or dropped without controversy because people are not deeply invested in them.28,31

Crandall과 동료들은 조직 지도자들이 조직의 맥락에주의를 기울이고 균형 잡힌 접근 방식을 선택한다고 조언했다. . . 변화가 성공하기 위해서는 그 크기가 눈에 띄고 지속적인 노력을 필요로 할만큼 충분히 커야 하지만, 일반 사용자가 변화를 심각하게 왜곡시키는 대처 전략을 채택할 만큼 거창해서는 안 된다. "31, p. 범위가 복잡하고 광범위 한 혁신은 구현에 어려움을 낳을 수 있는 반면, 작은 단계로 나누면 잘 성공할 수 있습니다 .28

Crandall and colleagues advise that organization leaders be attentive to their organizations’ contexts and choose a balanced approach: ‘‘from an organizational perspective . . . the greatest success is likely to occur when the size of the change is large enough to require noticeable, sustained effort, but not so massive that typical users find it necessary to adopt a coping strategy that seriously distorts the change.’’31,p.26 While innovations that are complex and broad in scope may pose difficulty in implementation, they succeed best when broken into small steps.28

조직 리더는 때론 혁신의 계획 단계가 가장 '어려운 부분'이며 변화의 시작과 구현이 더 쉬울 것이라고 믿는 오류를 범하는 경우가 있습니다. 사실 변화의 각 단계마다 독특하고 예기치 않은 문제가 발생하며 변화를 구현하는 프로세스는 종종 예상보다 오래 걸립니다.

Sometimes organizational leaders err by believing that the planning stage of an innovation is the ‘‘hard part’’ and that the initiation and implementation of change will be easier. In truth, each stage of change presents unique and unanticipated challenges, and the process of implementing change often takes longer than expected.

협력적 환경

Cooperative climate.

Colwill과 동료들은 의대에서 교과 과정 혁신을 계획하고 실행하기 위해 여러 학문 분야 나 부서의 사람들을 모으는 필요성을 구체적으로보고합니다. 흥미롭게도 조직의 변화 자체가 제대로 관리된다면 협업적인 조직 환경을 창안 할 수있는 원동력이 될 수 있습니다.

Colwill and colleagues report specifically on the necessity of bringing individuals of different disciplines or departments together to plan and implement curricular innovation in medical schools. Interestingly, organizational change itself, if properly managed, can be the impetus for the creation of a collaborative organizational environment.34

변화 과정에 참여하려면 친숙한 관행을 배제하고 새로운 관행을 채택해야합니다. 따라서 변화의시기는 조직 구성원에게 불확실성과 불편 함의 도전적 시간이 될 수 있습니다. 알려지지 않은 영역으로 모험을 돕기 위해서는 참가자에게는 혁신에 대한 첫 시도가 실패 할 경우 처벌에 대한 두려움없이 새로운 행동을 시도 할 수 있다는 확신이 필요합니다. 위험을 보상하는 기관은 혁신의 분위기를 육성한다 .19,23,28,35 동료 간의 의견 불일치를 표출air하는 능력은 변화에 도움이되는 환경을 조성하는 데 도움이된다.

Engaging in the change process requires that one put aside familiar practices and adopt new ones. Thus, a period of change can be a challenging time of uncertainty and even discomfort for organizational members. To assist them in venturing into unknown territory, participants need assurance that they can try out new behaviors without fear of punishment if their first attempts at innovation fail. institutions that reward risk taking foster an innovative climate.19,23,28,35 the ability to air disagreements among colleagues helps to create an environment conducive to change.24

결론적으로 성공적인 교과 과정 변화에 대한 긍정적이고 존중받는 근무 환경의 중요성은 과장 될 수 없습니다

In sum, the importance of a positive, respectful work climate to successful curricular change cannot be overstated.

조직 구성원의 참여

Participation by the organization’s members.

조직 회원들이 광범위하게 참여하는 것은 변화 과정에서 중요한 특징입니다. 1,2,10,11,16,18,26,36,40 조직의 구성원이 참여를 통해 프로젝트에 투자 할 때, 완료까지 프로젝트를보십시오 .19,28

broad participation by an organization’s members is an important feature in the change process.1,2,10,11,16,18,26,36,40 As an organization’s members invest themselves in the project through their participation, they strengthen their commitment to see the project through to completion.19,28

또한 일반적인 구성원들은 의사 결정시 지도자에게 어떤 '신뢰의 영역'을 부여하는 경향이 있습니다. 의사 결정 과정에서 참가자들에게 지나치게 의존하는 것은 지나치게 지배적인 것과 마찬가지로 문제가 될 수 있습니다.

Furthermore, rank-and-file members tend to grant their leaders a certain ‘‘zone of trust’’ in decision making. Being overly reliant on participants in decision making can be just as problematic as being too dominant.27

의사소통

Communication.

참가자들 간의 의사 소통을 통해 공유 된 의미가 합체coalesce 될 것이며, 참가자들은 공통되고 공통된 목적을 함께 수립 할 것입니다. 의사 소통을 통해 목표가 수립되고, 명확히 밝혀지고, 선언됩니다 .2

Communication among participants ensures that a shared meaning will coalesce, and participants will formulate a common and unified purpose together. Through communication, goals are established, clarified, and then proclaimed.2

연구자들은 의사 소통이 자주 이루어질 것을 권고한다. Dannefer et al.은 의사 소통에서 "계획된 중복성"을 권장한다. 그들은 다양한 방법과 반복의 사용이 일회성 또는 단일 매체 접근법보다 훨씬 효과적이라는 것을 발견했다.

Researchers recommend that communication be frequent.2,41 Dannefer et al., for example, recommend ‘‘planned redundancy’’ in communication. They find that the use of a variety of methods and reiteration is much more effective than one-time or single-medium approaches.41

사람들은 정보를 선택적으로 수신, 통합 및 회수하기 때문에 목표와 계획에 대해 반복적으로 상기시키는 것이 중요합니다.

Repeated reminders of goals and plans are important because people receive, integrate, and recall information selectively.

어떤 종류의 의사 소통이 유용합니까? 모든 종류가 유용하다 : 서면 및 구두, 공식 및 비공식. 가장 중요한 것은 의사 소통이 간결하고, 빈번하며, 정직하고, 사실이며, 실질적이며 시기 적절해야 한다는 것입니다 .32 의사 소통은 신뢰와 명확성을 구축해야합니다 .18,41 정보가 간단하고 시의적절하게 전달되지 않으면 참가자는 (잘못된 정보, 풍자와 장난에 기초하여) 벌어지고 있는 일에 대해 자신만의 해석을 형성합니다.

What kinds of communication are useful? All kinds: written and verbal, formal and informal. Most important is that communication be succinct, frequent, honest, factual, substantive, and timely.32 Communication should build trust and clarity.18,41 If information is not delivered in a straightforward and timely manner, participants will form their own interpretations of what is happening, based on misinformation, innuendo, and hunches.

의과대학에서의 커뮤니케이션

Communication in medical schools.

두 가지 의사 소통 방식이 의대에서 특히 효과적이었습니다. 첫 번째는 대면 인터랙션이다. 우리의 하이테크 사회 에서조차, 그것을 대신 할 수는 없습니다. 일대일 상호 작용은 즉각적인 피드백과 설명을 할 수있는 기회를 허락하고 오히려 비언어적 단서의 차원을 더해줌으로써 오해의 가능성을 줄입니다.

Two forms of communication were found to be especially effective in medical schools. The first is face-to-face interaction. Even in our high-tech society, there is no substitute for it. One-on-one interaction reduces the possibility of misunderstanding by allowing the opportunity for immediate feedback and clarification and also by having the added dimension of nonverbal cues.41

의학 학교에서 특히 유용한 두 번째 유형의 의사 소통은 데모demonstration입니다. 제안 된 교수법의 시연은 교수진에 의한 새로운 교수법의 보다 신속한 이해와 성공적인 채택을 가져왔다 .19,40

The second type of communication found especially useful in medical schools is demonstration. demonstration of proposed teaching practices brought more immediate understanding and more successful adoption of new teaching methods by faculty.19,40

반대의견을 표출시키기

Airing dissent.

물론 모든 의사 소통이 긍정적이고 reaffirming하는 것은 아닙니다. 또한 이의 제기가 예상되며 포럼은 이의 제기와 우려의 방송을 위해 제공되어야합니다. 앞서 '협동적 분위기'에서 언급 한 아이디어를 유지하면서 참가자들은 반대 의견을 표명하는 것이 안전함을 느껴야 한다. 그들은 완전히 듣고, 진행중인 토론에 공헌 한 것으로 인정 받고, 피드백을 받아야합니다.

Naturally, not all communication will be positive and reaffirming. Dissent, too, is to be expected, and forums should be provided for the airing of objections and concerns.19,41 In keeping with ideas mentioned earlier under ‘‘cooperative climate,’’ participants must feel safe in taking the risk to express dissenting views. They must feel fully heard, be acknowledged for contributing to the ongoing discussion, and receive feedback.

반대 의견을 경청하는 것은 계획에 도움이 될 뿐만 아니라 계획 반대자들의 참여를 유도하고 변화 과정에 대한 그들의 commitment를 심화시킵니다. 그들의 아이디어를 경청하고 이것이 계획에 통합되면, 반대자들은 "계획자"가된다.

Listening to dissenters not only benefits the plan, but also invites the participation of plan opponents and deepens their commitment to the change process. As their ideas are heard and incorporated into the plan, dissenters become ‘‘planners.’’

반대자가 자신의 의견을 방송 할 수있게함으로써 또 다른 이점이 발전합니다. 때로는 우려를 표명할 때, 그 의견이 지지받지 못할 것을 두려워한다. 그렇게 되면 반대자는 빨리 ''증기를 잃는다. '' 또는 반대자들은 다른 참가자들이 자신의 입장을 지지하지 않을 수도 있음을 깨닫는다. 다시 말하면, 청중을 찾지 못한 사람은 조용해진다. 반대 의견을 표명하지 않는 것이 훨씬 더 위험합니다..

Another benefit evolves from allowing dissenters to air their views. Sometimes in the voicing of one’s concerns, one sees that one’s fears are ungrounded. Then the dissenter quickly ‘‘loses steam.’’ Alternatively, the dissenter may find no support for his or her position among other participants. Again, that individual, finding no audience, may quiet himself or herself. There is far greater danger in not allowing dissent to be expressed.

여기서 교훈은 심지어 의견 차이조차 개인이 변화 과정에 참여하고 헌신하는 수준을 높일 수있는 기회로 간주되어야한다는 것입니다.

The lesson here is that even dissent should be regarded as an opportunity for individuals to deepen their levels of participation in and commitment to the change process.

제도화 기간의 커뮤니케이션

Communication during institutionalization.

변화 과정의 마지막 단계 인 제도화는 특수한 종류의 의사 소통을 요구합니다. 변화는 부담스럽고, 결국에는 가장 헌신적 인 개인조차도 활력을 상실하게 만듭니다. 이를 수행하는 한 가지 방법은 교수진이 통찰력과 새로운 아이디어를 공유 할 수있는 포럼을 제공하여 혁신이 조직 환경의 일부로 계속 유지되도록하는 것입니다.

The final stage of the change process, institutionalization, calls for special kinds of communication. Change is demanding and can eventually deplete the vitality of even the most committed of individuals. One way to do this is to provide forums for faculty to share their insights and their new ideas so that innovation continues to be part of the organizational milieu.

인적자원개발

Human resource development.

Change is a difficult and lengthy process, requiring sustained energy; it often takes longer than anticipated. In addition, change involves feelings of loss as old behavior pat-terns are set aside and feelings of anxiety, inadequacy, and uncertainty arise in meeting the demands of new procedures.2,12,40 Many researchers note that during change participants are especially vulnerable to burn-out, and need a variety of support mechanisms to assist them as they develop new skills and learn new behaviors.2,7,9,10,13,18–20,31,33,44 Crandall and colleagues suggest that support comes in three areas:

• affective (emotional support and reassurance), 

• cognitive(clear understanding of the innovation and one’s part in it), and 

• skills development (training and coaching).31 

흔한 훈련 문제

Common training problems.

혁신은 교수진이 원하는 혁신의 이론적 토대를 이해하고 이를 구현하는 데 필요한 기술을 습득 할 때 채택 될 가능성이 큽니다.

An innovation is more likely to be adopted when the implementers, usually faculty, understand the theoretical underpinnings of the desired innovation and are trained in the skills required to implement it.

교육 영역에서 공통적으로 나타나는 오류 중 하나는 프로그램으로 시작시점의 초기 훈련 세션이 충분하다고 믿는 것입니다. Joyce와 Showers는 문제 해결에 참여할 기회와 함께 제공되는 후속 코칭이 필요하다고 설명합니다. 새로운 기술을 습득 한 동료와 함께 새로운 행동의 실행을 크게 향상시킬 수 있습니다.

One common error in the area of training is to believe that an initial training session, presented as a program is being launched, is ‘‘enough.’’ Joyce and Showers explain that follow-up coaching, coupled with opportunities to engage in problem solving with colleagues as new skills are practiced, can significantly enhance the implementation of new behaviors.44

훈련에 대한 또 다른 흔한 실수는 리더에게 필요한 지원과 기술을 제공하는 것입니다. 많은 사람들이 리더십 능력이 "선천적"인 것으로 믿습니다. 사실, 이들은 배울 수 있고 개발할 수있는 기술입니다.

Another common area of ‘‘lack’’ in training is in providing necessary support and skill building for leaders. Many people believe leadership abilities to be ‘‘inborn,’’ when, in fact, these are skills that can be learned and developed.

변경 과정에서 신입 회원이 조직에 가입 할 가능성이 있습니다. 이러한 신입 회원은 지속적인 혁신에 동참하도록 사회화되어야합니다. 신입 회원은 조직의 문화 나 맥락에 익숙하지 않기 때문에 허약 한 새 프로그램을 의도하지 않게 방해 할 수 있습니다.

It is likely that new members will join the organization during the change process. It is important that these new members be oriented and socialized to the ongoing innovation. New members can unintentionally disrupt a fragile new program because they are not familiar enough with the organization’s culture or context.

보상 구조

Reward structure.

혁신을 계획, 시작 및 실행하려면 시간과 에너지를 재분배해야합니다. 이 재분배를 유지하려면, 조직은 혁신에 계속 참여할 회원들을 유인하기 위해 보상 구조 (즉, 급여, 인정, 재임 기간 및 판촉)를 변경해야합니다. 몇몇 연구자들은 변화를 보상하는 인센티브 시스템의 필요성에 대해 논의합니다. Kanter는 보상 시스템을 목표 달성에 대한 보상보다는 개인의 미래 생산성에 대한 투자로 간주 되어야 한다고 제안했다.

To plan, initiate, and implement an innovation requires a redistribution of time and energy. If this redistribution is to be maintained, the organization must change its reward structure (that is, salaries, recognitions, tenure, and promotions) to entice members to continue to participate in the innovation. Several researchers discuss the need for an incentive system that rewards change.1,16,18,20,25 Kanter suggests that reward systems be viewed as an investment in the future productivity of the individual rather than as payoff for goals achieved.26

보상 체계를 변화시켜 승진, 급여 인상, 근태 결정에 영향을 미치도록 해야 한다. Kantrowitz등은 혁신 프로그램을 실험과 같이 설계하고 홍보하는 것이 좋다고 제안한다.

Along with changing reward structures so that one’s teaching does factor into promotion, salary increases, and tenure decisions, Kantrowitz et al. suggest designing and promoting an innovative program as an experiment.

평가

Evaluation.

참가자들의 시선에서 혁신을 높이는 또 다른 방법은 원하는 변경을 구현하는 조직의 진행 상황을 면밀히 모니터링 할 수있는 조형 평가 기술을 채택하는 것입니다. 이론 및 실습이 엄격하게 테스트되는 의과 대학 환경에서 평가가 잘 수행되면 교수진이 유효하고 의미있는 것으로 간주하는 분석 표준에 따라 혁신 프로세스를 정당화 할 수 있습니다. 많은 저자들은 의대 학교 환경에서의 교과 과정 변경 과정의 일부로 단기 및 장기 평가를 언급 할 때 'Critical' 이나 'Crucial'같은 같은 용어를 사용합니다.

Another way to elevate an innovation in the eyes of participants is to employ formative evaluation techniques to ensure close monitoring of the organization’s progress in implementing desired changes. In a medical school setting, where theories and practices are tested rigorously, an evaluation done well serves to legitimize the innovative process by holding it to standards of analysis that the faculty regard as valid and meaningful. Many authors use terms such as ‘‘critical’’ and ‘‘crucial’’ when referring to short- and long-term evaluation as part of the curricular change process in medical school settings.9,10,19,20,22,41,46

(Denial 이나 People-shuffling과 같은 단순한 대처 전략이 아니라) 평가에 교정적 행동이 수반되는 한, 변화 노력을 향상시키고 강화시킬 수있다 .16) 평가는 협력적 활동이기 때문에 앞서 말한 바와 같이 열린 커뮤니케이션과 조직의 협력적 분위기 형성에 기여할 수 있다.

So long as evaluation is accompanied by corrective action (and not just shallow coping strategies such as denial or people-shuffling), it can improve and reinforce the change effort.16,28 Because evaluation is a collaborative activity, it can contribute to fostering open communication and an organizational cooperative climate, as discussed earlier.35

Dannefer와 동료들은 포커스 그룹의 열린 대화가 프로젝트의 새로운 '소유권'을 육성하기 때문에 포커스 그룹이 특히 효과적인 평가 기법이라고 지적했다.

Dannefer and co-workers note that focus groups are a particularly effective evaluative technique, as the open dialogue of the focus group fosters renewed ‘‘ownership’’ in the project.41

Rebecca Henry는 프로젝트 평가가 

• 다양한 이해 관계자에게 정보를 제공하고, 

• 프로그램 요소를 개선하고 명확하게하고, 

• "변화 의제를 지속적으로 유지"

...하는 세 가지 중요한 목적을 달성했다고 설명합니다. "47, p.149

Rebecca Henry comments that project evaluation served three important purposes: 

• to provide information to various stakeholders, 

• to refine and clarify elements of the program, and 

• to ‘‘keep the change agenda alive.’’47,p.149

일시적 퍼포먼스 저하

Performance dip.

'퍼포먼스 저하 요인'은 새 프로그램을 구현할 때 자주 발생하는 조직의 퍼포먼스 감소를 나타냅니다. 다행스럽게도, 개인이 계속해서 지원을 받고 필요한 새로운 기술을 습득함에 따라, 이러한 일시적인 감소는 되돌아 갈 것이고, 성과는 새로운 '최고'에 도달 할 것입니다. '33 Eastwood와 Louis는 퍼포먼스 저하 기간동안 리더는 전문적 지원을 제공하고, 원하는 결과에 대한 조직의 진행 상황을 모니터하고, 필요한 경우 조정을 수행 할 수 있습니다. 그러나 리더는 개혁을 전복시킬 정도로 많은 구조 조정을 허용하지 않도록주의해야한다. 오히려 Eastwood와 Louis는 지도자들이 프로그램 목표를 향해 계속해서 나아갈 것을 권고합니다. 작은 승리를 인정하고 일상적인 성공을 축하하는 것은 ''경기 침체기 ''기간 동안의 사기를 도울 수 있습니다 .33

The ‘‘performance-dip factor’’ refers to the often-noted decrease in an organization’s performance that occurs as a new program is implemented. Fortunately, over time, as individuals continue to receive support and master the necessary new skills, this temporary decline will reverse, and performance will reach new ‘‘highs.’’33 Eastwood and Louis suggest that during a performance dip leaders continue to provide professional assistance, monitor the organization’s progress toward the desired outcomes, and make adjustments where needed. Leaders are cautioned, however, not to allow so much restructuring that the reform program is subverted. Rather, Eastwood and Louis advise that leaders continue to press forward toward program goals. Recognizing small victories and celebrating day-to-day successes can help bolster morale during the ‘‘performance dip’’ period.33

리더십

Leadership.

캐런 루이 (Karen Louis)는 "고의적으로 조사하려고 시도하지 않은 연구에서도 리더십 요소가 나타난다"고 주장했다. 13, p.945

It is so prevalent that Karen Louis states, ‘‘The leadership factor emerges even in studies that did not deliberately attempt to investigate it.’’13,p.945

리더십 특징과 행동

Leadership characteristics and behavior.

의과 대학에서는 학장이 주로 리더 역할을 수행합니다. 미국, 푸에르토 리코 및 캐나다의 100 개가 넘는 의과 대학에 대한 두 개의 독립적 인 연구에서 Hendricson et al. Cohen과 동료들, Colwill과 동료들, Mennin과 Krackov는 의과 대학 환경에서 가장 중요한 교육 변화의 촉진자가 학장이었다고보고했다. 29,34 , 40 다른 사람들이 지도자가 될 수 없다는 말은 아니다. 위원회 위원장, 고위직 및 준 학장도 변화를 이끌어 갈 수있는 후보자입니다. 핵심 리더는 누구나 혁신 프로세스 전반에 걸쳐 그 사람이 누구일지 식별 가능해야 한다. Bland et al. 마일스와 루이스 (Miles and Louis)는 성공적인 프로젝트 리더십이 성공적인 혁신 프로젝트와 관련이 있음을 확인합니다 .16,48

In medical schools, the dean frequently fills this role. In two separate studies of over 100 medical schools in the United States, Puerto Rico, and Canada, Hendricson et al. found that the leader in educational change was usually the dean.30 Cohen and colleagues, Colwill and associates, and Mennin and Krackov also report that the most important facilitator of educational change in the medical school settings that they studied was the dean.29,34,40 This is not to say that others cannot serve as leaders; committee chairs, senior faculty, and associate deans are also likely candidates to lead change. Whoever the primary leader is, it is important for that individual to remain as the identifiable leader throughout the innovation process. Both Bland et al. and Miles and Louis identify stable project leadership as being positively associated with successful innovative projects.16,48

Bland and colleagues (1999)는 이전에 지도자의 효과와 관련이있는 것으로 여겨지는 16 가지 행동을 추적하여이 16 가지 행동을 네 가지 범주로 분류했습니다.

• (1) 조직적 권한 (예 : 조직 권한 사용, 보상 제공 또는 자원 배분)

• (2) 명성 / 연합 세력 (예 : 다른 사람이 인식하는 전문적 / 징계 전문 기술 사용, 연합 형성을 통한 다른 사람의 권한 부여),

• (3) 적극적인 참여 적 거버넌스 (예 : 적극적으로 일관되게 다른 사람들의 의견을 청취하고, 조직 구성원이 사명을 완수하기위한 구조적 메커니즘을 제공한다.)

• (4) 문화적 / 가치 적 영향 (예 : 조직의 기본 의미 또는 목적을 나타내는 이야기 또는 기호의 명확한 표현, 파트너십의 가치를 정의, 형성 및 유지).

Bland and colleagues (1999) tracked 16 behaviors previously shown to be associated with leaders’ effectiveness, and placed these 16 behaviors into four categories: 

• (1) organizational power (e.g., uses organizational authority; provides rewards or allocates resources), 

• (2) prestige/coalition power (e.g., uses professional/discipline expertise as perceived by others; empowers others through building coalitions), 

• (3) assertive participative governance (e.g., actively and consistently seeks input from others; provides structural mechanisms for organization members to accomplish the mission), and 

• (4) cultural/value influence (e.g., articulates the stories or symbols that represent the underlying meaning or purpose of the organization; defines, shapes, and maintains the values of the partnership).

성공적인 지도자들은 조직적 권력 행동보다 참여적이고 문화적 / 가치관에 영향을 미치는 행동을 더 자주 사용했다 .48 성공적인 지도자는 덜 성공적이었던 지도자보다 조직적 권력 행동을 참여적이고 문화적 / 가치관에 영향을 미치는 행동과 더 자주 함께 사용했다 .

the more successful leaders used organizational power behaviors less often than they employed participative and cultural/value-influencing behaviors.48 the successful leaders more frequently accompanied their organizational power behaviors with use of participative and cultural/value-influencing behaviors than did the less successful leaders.

기본 지도자가 필요로하는 기술은

• 갈등을 관리하고,

• 격려와 긍정적 인 보강을 제공하고,

• 프로젝트를 집중적으로 유지하고시기 적절하게 진행되도록 하고

• 리더십에 대한 독단적 인 참여 방식을 사용하고,

• 모든 프로젝트 참여자와 이해 관계자 간의 열린 의사 소통을 원활하게 하고,

• 신뢰를 쌓고,

• 다양한 견해를 존중하고 다양한 관점에서 상황을인지하고, 아마도 가장 중요한 것은,

• 공유 비전 및 문화 / 가치를 구축하고 효과적으로 전달합니다 .1,7,25,40,48

Skills that a primary leader needs include being able 

• to manage conflict, 

• to provide encouragement and positive reinforcement, 

• to keep the project focused and moving forward in a timely manner, 

• to use an assertive participative approach to leadership, 

• to facilitate open communication among all project participants and stakeholders, 

• to build trust, 

• to honor diverse views and perceive situations from various points of view, and, perhaps most important, 

• to build and effectively communicate a shared vision and culture/values.1,7,25,40,48

리더의 조직 비전에 대한 지지와 다른 리더십 특징들

Leaders’ advocacy of organizational vision, and other leader-ship qualities of special note.

참여자 간의 광범위한 지원이 혁신의 성공을 위해 필수적이기 때문에, 리더는 광범위한 지원을 구축하고 참여자들 사이에서 혁신적인 지도력을 개발하고 지원할 수 있어야합니다. 참여자란 교수, 행정직원, 학생입니다. 변화는 공동의 책임입니다. 특히 변화 과정이 진행됨에 따라 다양한 기술과 전문 분야를 갖춘 개인이 프로젝트의 다양한 하위 목표를 완료하여 완료 될 수 있도록 모집해야합니다 .2,19,21,22,25 지도자는 다음과 같아야합니다. 

• 통제력을 상실하지 않고 전력을 공유하고, 

• 지배하지 않으면서 눈에 보이고 활동적이며, 

• 지원을 계속 제공하면서 책임을 위임 할 수 있어야합니다 .28

Because widespread support among participants is vital for an innovation’s success, the primary leader needs to be able to build broad-based support and cultivate and support innovative leadership from among participants: faculty, administrators, and even students. Change is a shared responsibility. Particularly as the change process proceeds, individuals with varied skills and areas of expertise need to be recruited to lead various sub-objectives of the project through to completion.2,19,21,22,25 The primary leader, then, needs to be able 

• to share power without losing control, 

• to be visible and active without dominating, and 

• to delegate responsibility while continuing to offer support.28

이것은 지도력의 복잡하고 역설적 인 성질을 가리킨다 .6,68 지도자가 "융통성있게"할 필요성은 몇몇 연구자들에 의해 주목된다 .2,19,23,48 Fullan과 Stiegelbauer는 이것을 간결하게 진술한다. 아이러니컬하게도, 여러면에서 개인이 특정 형태의 변화에 ​​더 헌신(집착)할수록, 다른 사람들이 그것을 이행하도록하는 데 효과적이지 못합니다. "

This points to the complex and paradoxical nature of leadership.2,6,48 the necessity for a leader to be ‘‘flexible’’ is noted by several researchers.2,19,23,48 Fullan and Stiegelbauer state this succinctly: ‘‘Ironically, in many ways, the more committed an individual is to the specific form of change, the less effective he or she will be in getting others to implement it.’’2,p.9

반면 리더는 프로젝트의 핵심이 손상될 정도로 유연해서는 안된다. 변화에 대한 조직의 비전을 유지하고 지원하는 것은 리더의 책임입니다. 수많은 연구자들은 조직의 혁신적인 비전에 대한 지도자의 명확하고 반복적 인 의사 소통의 중요성에 주목합니다.

On the other hand, a leader must not be so flexible that the integrity of the project is compromised. It is the leader’s responsibility to maintain and support the organization’s vision for change. Numerous researchers note the importance of the leader’s clear and repeated communication of the organization’s innovative vision.1,6,9–11,16,19,21,25,27,29,30,42

우리는 이전에 지도자가 변화 과정에 대한 참가자들의 서로 다른 견해를 존중함에있어서 융통성을 갖도록하는 중요성에 대해 언급했다. 지각 틀 이론가 Bolman과 Deal은 하나의 조직을 인식 할 수 있는 4 가지 일반적 프레임을 가정한다.

• (1) 구조적: 공식적인 역할과 관계를 강조

• (2) 인적 자원-지향적: 사람들의 필요에 초점을 맞추고,

• (3) 정치적: 희소 한 자원에 대한 갈등을 중심에 둠

• (4) 상징적 / 가치 - 기반: 공유하는 가치를 지닌 문화로서의 조직

볼만과 딜 (Bolman and Deal)은 지도자가 여러 가지 지각 프레임 즉 렌즈를 통해 주어진 상황을 바라 볼 때 직면하는 다양한 도전을 가장 잘 처리 할 수 ​​있다고 제안합니다.

We mentioned earlier the importance for the leader to be flexible in respecting participants’ differing views toward the change process. perceptual frame theorists Bolman and Deal, posit four ‘‘frames’’ through which one commonly perceives one’s organization: ‘‘

• (1) structural—emphasizing formal roles and relationships, 

• (2) human resource– oriented—focusing on the needs of people, 

• (3) political —centering on conflict arising over scarce resources, and 

• (4) symbolic/value-based—viewing organizations as cultures with shared values.’’43,48 

Bolman and Deal suggest that leaders are best able to handle the variety of challenges that they encounter if they view any given situation through several perceptual frames, or ‘‘lenses.’’

Bland et al. 연구에서 의과 대학에서 가장 성공적인 지도자들은 프로젝트의 상황을 볼 때 적어도 두 가지 지각 틀을 사용했다.

Bland et al. found that in the medical schools in their study, the most successful leaders employed at least two perceptual frames when viewing the circumstances of their projects.48

리더쉽에 대한 마지막 한 가지 점 : 연구자들은 광범위한 참여의 중요성을 강조하지만, 참여가 지나치게 무거워서 변화 과정을 질질 끌게 만들면 안된다는 점을 기억하십시오. 루이와 마일즈는 예를 들어 계획하는데 1 년 이상을 소비하지 말 것을 제안합니다. 그들은 참가자들의 지원과 헌신이 개발 프로젝트와 함께 성장할 것이라고 조언합니다. 그러나 혁신 프로세스가 지연되면 참가자들의 관심과 지원이 급감 할 수 있습니다. 다시 한 번, 변화의 기세에 지속적으로 연료를 공급하는 것은 리더의 책임입니다 .22,25,28,31

One final point on leadership: Recall that while researchers emphasize the importance of broad-based participation, that participation must not become so ponderous that it drags down the change process. Louis and Miles suggest, for example, that no more than one year be spent in planning. They advise that participants’ support and commitment will grow along with the developing project. If the innovation process stalls, however, participants’ interest and support may plummet. Again, it is the leader’s responsibility to continually fuel the momentum of change.22,25,28,31

고찰

DISCUSSION

문헌의 현재

State of the Literature

우선, 일반적으로 고등 교육의 성공적인 교과 과정 변화와 특히 의사의 전문 교육에 대한 특징을 다루는 문헌이 비교적 적다는 것에 놀랐습니다. 이것이 우리가 조직 변화 문학과 K-12 교과 과정 변경 문헌을 찾은 이유이기도합니다.

First of all, we were surprised by the relatively small number of sources available that addressed the characteristics of successful curricular change in higher education in general, and in the professional education of physicians in particular. This is why we also sought out organizational change literature and K–12 curricularchange literature.

연구 결과

Our Findings

While we note the strengths of these categories and subcategories by their frequencies in the literature, we acknowledge that our precision in this effort was hampered by the high variability of the literature.

리더십과 협력적 분위기

Leadership and cooperative climate.

학술적 문화와 긍정적 인 분위기의 유지는 의과 대학의 커리큘럼 변화뿐만 아니라 최적의 연구 생산성, 창의력과 혁신, 교직원 사기 등에 대한 의과 대학에서 중요합니다.

The maintenance of an academic culture and a positive climate are important to a medical school, not just for curricular change but also for optimal research productivity, creativity and innovation, faculty morale, and more.

리더십과 조직 구성원의 참여

Leadership and participation by organization members.

또한 지도자는 조직에 실제로 참여적 거버넌스가 있음을 보장해야합니다. 이것은 다른 사람들의 말을 듣고 자하는 것 이상의 의지가 필요합니다. 이를 위해서는 교수진이 참여할 수있는 공식 메커니즘을 설정 한 다음 그 교수진이 참여하도록 "nudge"해야 한다.

Leaders must also assure that there is real participative governance in the organization. This requires more than a willingness to listen to others and have an open door; it requires that one set up formal mechanisms for faculty to participate and then that one ‘‘nudge’’ faculty to do so.

리더십과 평가

Leadership and evaluation.

평가의 주요 목적 중 하나는 의사 결정을 위한 정보를 수집하는 것입니다. 지도자는 다가오는 결정에 중요한 정보가 평가를 통해 수집되는 정보를 확인해야합니다. 따라서 리더는 유용하고 시기 적절한 데이터를 수집 할 수 있도록 평가자와 긴밀히 협력합니다. 평가의 또 다른 목적은 프로젝트의 프로세스와 결과에 대한 설명을 제공하는 것입니다. 변화의 과정에 대한 명확한 그림을 식별하는 작업이 복잡한 이유는 변화 과정에 대한 각 개인의 인식이 독특하기 때문이다. 변경 전의 교과 과정 및 교과 과정 결과에 대한 객관적인 설명 (예 : 학생들의 만족도, 습득 한 역량, 교수진 노력)은 변경 및 주기적으로 토론 및 결정에 대한 공통된 이해를 제공합니다.

One of the primary purposes of evaluation is to collect information for decision making. The leader must identify what information, important for upcoming decisions, is to be gathered through an evaluation. Thus, the leader works closely with the evaluator to assure that useful and timely data are collected. Another purpose of evaluation is to provide a description of the project’s process and outcomes. As each individual’s perception of the change process is unique, the variety of realities at play serve to complicate the task of discerning a clear picture of the change process. Having an objective description of the curriculum and curricular outcomes before the change (e.g., students’ satisfaction, competencies acquired, faculty effort), as well as periodically during the change, provides a common understanding for discussions and decisions.

우리의 검토에서 언급했듯이, 평가란 의과 대학에서 유용한 도구일 뿐만 아니라, 프로젝트를 응용 교육 연구로 프레이밍하고, 평가 결과를 연구 성과로서 제시함으로써 커리큘럼 작업의 가치를 높이는 수단이 되기도 한다. 그러므로 연구의 integrity와 의사 결정의 유틸리티를 모두 다루는 평가 설계의 개발은 계획 단계에서 결정되어야하는 문제 중 하나입니다. [일반화 할 수있는 데이터]와 [보다 즉각적인 의사 결정을 위한 데이터] 사이의 긴장감을 인식하는 것이 중요합니다. 커리큘럼 프로젝트의 프로세스와 결과에 대한 '실제'데이터를 확보하면 지속 가능성을 유지하고 자원을 할당하는 데 리더가 될 것이므로 중요합니다. 결과적으로 프로젝트 초기에 명확하고 객관적인 설명이 필요하며 측정 대상이 되는 성과에 대해서 대해 너무 지나치게 rigid하지 않아야합니다. Hembroff와 동료 연구원은 "(대부분의 사람들이 그렇게 생각하듯) 실제 프로그램이 구현되기 전에 평가자가 참여할 때 , 프로그램 목표가 많은데 아직 실제 구현의 현실에서 벗어나지 않은 경우 평가의 유연성은 최종 평가 전략이 실행 된 프로그램의 필연적 인 목표 명확성을 고려하기 위해 필요하다. "49, p.338

As noted in our review, medical schools find evaluation not only a useful tool but also a means to raise the value of curriculum work by framing the project as applied education research and presenting the evaluation data as research outcomes. The development of an evaluation design that addresses both research integrity and decision-making utility is, therefore, one of the issues that needs to be determined in the planning stage. Recognition of this tension between the need for generalizable data and data for more immediate decision making is important. It is important because having ‘‘real’’ data about the process and outcomes of the curriculum project will serve the leader in maintaining momentum and allocating resources for sustainability. As a consequence, it is necessary to have a clear, objective description at the beginning of a project and yet not to be too rigid early on about the outcomes to be measured. As Hembroff and colleagues point out, ‘‘When evaluators are brought in (as most of us think they should be) prior to actual program implementation, and where the goals for the program are many and are as yet untempered by the realities of actual implementation, evaluation flexibility is necessary so that the final evaluation strategy takes into account the inevitable goals clarification of the program as carried out.’’49,p.338

교과 과정 변화를 실행하는 기관은 지역 사회의 맥박pulse을 모니터링하기위한 내부 구조와 절차를 가져야합니다 .1 외부 사건은 교육 기관 또는 교육 기관이 존재하는 환경에 대한 영향으로 인해 커리큘럼 이니셔티브에 대한 적응을 필요로 할 수 있습니다.

an institution implementing curricular change needs to have internal structures and procedures for monitoring the pulse of the community.1 External events, due to their impacts on an institution or on the environment in which the institution exists, may necessitate adaptations to the curriculum initiative.

교육과정혁신은 본질적으로 다른 유형의 변화보다 길며, 결과 성공의 측정은 수 년에 걸쳐 이루어질 수 있습니다.

Curricular innovations are by nature more lengthy than are other types of change, and the measurement of outcome success may span years.

리더십과 인적자원개발

Leadership and human resource development.

거의 모든 교육과정 변화에서 일부 또는 모든 교수진을 대상으로하는 교육이 필요합니다.

Nearly all curriculum changes also require training for some or all of the faculty.

자주 언급되는 인적 자원 개발의 두 번째 측면은 보상을 제공하고 보상 개발을 교과 과정 개발 및 새로운 교과 과정과 연계시키는 것이 중요하다는 것입니다.

The second aspect of human resource development that is frequently mentioned is the importance of providing rewards and aligning rewards with curricular development and with implementing the new curriculum.

내부 자금 조달 할당을 재조정하는 방법에는 

• 새로운 커리큘럼에 필요한 노력에 맞추기 위해 핵심적 자원이 할당되는 방법을 점진적으로 바꾸는 것,

• 커리큘럼 변경 참여에 더 높은 가치를 부여하기 위해 승진 구조 조정

• 교수직 계급 내에서 새로운 역할을 통합하도록 임명appointment 시스템 변경.

Methods of realigning internal funding allocations may include 

• gradually shifting how central allocations are distributed to departments to match the effort needed for the new curriculum, 

• adjusting the promotion structure to place a higher value on curricular-change involvement, or 

• changing the appointment system to incorporate new roles within the ranks of the faculty.

이러한 재배치와 보상의 재배치가 없다면 새로운 커리큘럼은 생존하지 못할 것이며 종종 이름만 변한 구식 커리큘럼이 다시 나타날 것입니다.

Without this realignment of resources and rewards, the new curriculum will not survive, and often the old curriculum will reemerge, perhaps under the guise of the new name.

리더십과 정치

Leadership and politics.

'커리큘럼을 바꾸는 것보다 묘지를 옮기는 것이 더 쉽다'는 오래된 말은 그럴 만 한 이유가 있습니다. 커리큘럼을 바꾸는 것은 매우 정치적인 과정이기 때문입니다. 다른 사람들이 교과 과정 변화의 실체를 연구하는 동안 내적 및 외적 정치적 지형을 성공적으로 통과해야하는 것은 리더 (들)입니다. 리더는 내부적으로 새로운 접근 방식을 성공적으로 "팔고", 공식 및 비공식적 인 권력 구조에 대한 지식을 사용하여 새로운 커리큘럼의 공유 된 소유권을 구축해야 한다. 또한 주요 교육과정 요소의 통제가 새로운 이니셔티브에 맞도록 영역 다툼을 막아야 한다.

There is a good reason for the old saying, ‘‘It is easier to move a graveyard than change a curriculum,’’ for changing a curriculum is a highly political process. It is the leader(s) who must successfully traverse the internal and external political terrain while others are working on the substance of the curricular change. Internally, the leader(s) must successfully ‘‘sell’’ the new approach and use his or her knowledge of both the formal and the informal power structures to build shared ownership of the new curriculum and head off turf battles as the control of major curriculum pieces shifts to match the new initiative.

외부 정치학은 학교에 관심이 있고 교과 과정에 영향을 줄 수있는 외부 선거구와 협력하는 것을 포함합니다.

External politics involves working with outside constituencies who have an interest in the school and can have an effect on the curriculum.

일부 교과 과정 혁신은 국가 지도자들과의 상호 작용을 필요로합니다. 특히 혁신의 범위 나 규모가 주요 정부 기금을 요구하는 경우.

Some curricular innovations require interactions with state leaders, especially if the scope or magnitude of the innovation calls for significant state funding.

리더십에 대한 마지막 말

Concluding remarks about leadership.

거의 모든 기사는 변화에 관한 시각적 리더십의 중요성을 인식하고 있습니다. 독자는 유창하게 유혹을 퍼붓고 자기 자신에게 이렇게 말합니다. "그래, 나는 이것을 안다, 나는 이것을 안다". 그러나 아는 것과 그것을 하는 것은 서로 다르다.

Nearly every article about change identifies the importance of visionary leadership, such that a reader is tempted to glaze over and skip such sections, saying to one’s self, ‘‘Yeah, I know this, I know this.’’ But knowing one should do this and knowing how to do it are two different things.

FINAL THOUGHTS

Acad Med. 2000 Jun;75(6):575-94.

Curricular change in medical schools: how to succeed.

역량, 호기심, 창의성(Adv in Health Sci Educ, 2012)

On competence, curiosity and creativity 

Geoff Norman

의학의 실천은 어떤 전문직과 마찬가지로 독창성에 대해 보상해주지 않으며, 실용주의적 관점에서 보더라도 그렇지 않는 것이 합당하다. 전문가는 (다름 사람들이 만든) 방대하고 전문화 지식체를 마스터함으로써 그 지위를 획득합니다. 전문가의 역할은 이 지식체계에 무언가를 더하는 것이 아니라, 그의 고객이 가진 문제에 대한 판단을 내릴 때 이 지식을 사용하는 것이다.

The practice of medicine, like any profession, does not really reward creativity, nor, from a utilitarian perspective, should it. A professional acquires the status by mastering a large and specialized body of knowledge—knowledge that other people created. His role is not to add to this knowledge, but to use his judgment in applying this knowledge to his client’s problem.

물론 몇몇 의과대학 졸업생들은 연구자로서 새로운 지식을 창출하지만, 이것을 하기 위해서 어떤 전문직 자격이 필요한 것은 아니다. 고객이 없기 때문이다. 따라서 우리가 호기심이나 창의력과 같은 일반적 특성이 중요하다고 립서비스를 제공하는 반면, 우리는 분명히 과정이나 단위에서 이것들을 operationalize 하지 않습니다. 우리는 호기심에 대해 보상을 하지 않습니다. 우리는 역량에 대해 보상을합니다. 역량 중심의 커리큘럼을 향한 현재의 움직임, 즉, 전적으로 정의된 기술의 숙달을 토대로 판단되는 역량을 지향하는 역량바탕교육과정보다 이것을 더 명확하게 보여주는 것은 없다..

Of course a few medical graduates DO generate new knowledge as researchers, but this does not require any professional qualification, as my own career attests, since they do not have clients. So, while we may pay lip service to general traits like curiosity and creativity, we certainly do not operationalize these in courses or units. We don’t reward curiosity; we reward competence. Nothing demonstrates this more clearly that the current movement toward a competency-based curriculum, where competence is judged entirely on the basis of mastery of defined skills.

역설적이게도, 대학원에서는 '역량을 갖춘competent'이라는 용어는 거의 경멸적인 용어라는 점이다. "그는 competent하긴 한데, 충분히 창의적이지 않다."라는 뜻이다.  역량은 능력은 사다리의 맨 아래에있다. 집의 기초와 같다. 완전히 막장failure가 아니라면, 적어도 competent하다고 가정합니다.

Paradoxically, in graduate school, ‘‘competent’’ is almost a pejorative term, as in, ‘‘Well, he’s competent enough but he’s not very creative.’’ Competence is the bottom rung of the ladder; the foundation of the house. And it’s assumed that anyone who is not an abject failure is at least competent.

"정의된 지식과 기술의 숙달"로 표현되는 "역량"이 항상 ''표준''은 아니 었습니다. McMaster PBL이 개발되었을 때, 5 년마다 모든 지식이 변하기 때문에 학생들은 새로운 지식을 습득 할 수있는 기술을 습득해야했습니다. 학생들에게 현재의 지식을 습득하기 위해 너무 많은 걱정을 할 필요가 없다고 말했습니다. 그래서 지식에 대한 시험을 경멸하듯 보았고, "문제 해결 능력"은 PBL 왕관의 보석이었습니다. 이 mantra는 완전히 틀렸지만, 한편으로 해방군이었습니다. 커리큘럼위원회는 행동적 목표의 폭압으로부터 해방되어, 학생들이 무엇을 배우냐보다 어떻게 배우냐가 더 중요했기 때문에, 학생들에게 스스로의 관심사를 따르도록 격려 할 수있었습니다.

Competence, as expressed as mastery of a defined body of knowledge and skills was not always the ‘‘gold standard’’. Back when McMaster PBL was developed, the dominant mantra was that all knowledge would change every 5 years, so students had to acquire the skills to acquire new knowledge. And it then followed that they need not worry too much about acquiring today’s knowledge. So examinations of knowledge were viewed with disdain, and ‘‘problem-solving skills’’ were the jewel in the PBL crown. Although the mantra was completely wrong, it was a liberating force. Curriculum committees were liberated from the tyranny of behavioural objectives and could encourage students to follow their interests, since it mattered less what you learned than how you learned.

한편으로, 학생은 학부생으로서 생각한 종류의 지적 보상의 종류를 재발견해야했습니다. 다른 한편으로 그는 자율과 수입면에서 가장 큰 전문 보상은 안과, 비뇨기과, 중재적 심장학과 같은 시술중심procedure-driven 전문 분야에 있다고 인정했습니다. 그는 가능한 전공과의 목록을 더 많이 늘어놓을수록, 내재적 보상과 외부 보상 사이에서 Faustian choice에 직면했다는 것이 분명해졌다. 그러나 그와 함께 이 탐색에 참여하면서, 나는 그가 "doctoring이 무엇인가"에 대해 거의 이해하지 못한다는 것에 놀라게 되었다. 그의 인생 전체는 어떻게 의과 대학에 "들어오는가"에 집중되어 있었고, 의대에서 "나와서" 의사가 되는 것이 무엇인지 생각하는 데는 거의 시간을 할애하지 않았습니다.

On the one hand, the student was desperate to rediscover the kind of intellectual rewards he found as an undergraduate; on the other, he recognized that the greatest professional rewards in terms of autonomy and income were in procedure-driven specialties like ophthalmology, urology, and interventional cardiology. The more he went down the list of possibilities, the more it became evident that he was faced with a Faustian choice between intrinsic and external rewards. But as I engaged in this search with him, I was struck by how little he understood about what doctoring was all about. To this point,his entire life was focused on getting INTO medical school, and very little time was devoted to thinking what it would be like to get OUT OF medical school and become a doctor. 

나는 현재의 통계에서 학부생의 약 30 %가 의과 대학에 입학하기를 원하지만, 어쨌든 3 %만이 그렇게 된다는 것을 읽었습니다.

I read somewhere that current statistics are that about 30 % of undergraduates want to get into medical school, but only 3 % will.

학생들은 더 이상 자신의 관심에 기반해 과목을 수강하지 않습니다. 그들은 사탕처럼 높은 점수가 전달되는 '새bird'코스를 택합니다. 학점의 인플레이션은 만연합니다. 교수들이 성적을 충분히 잘 주지 않으면 학장에게 지적을 받는다 (이름도 말할 수 있다!). 학생이 기대치보다 낮은 점수를 받으면 학생과 교수 쌍방의 문제(그리고 종종 가족까지의)로 간주됩니다.

Students no longer take courses based on interest; they take ‘‘bird’’ courses where high marks are handed out like candies. Mark inflation is rampant; professors are challenged by deans because their grades aren’t high enough (yes, I can name names!). When a student receives a mark lower then her expectation, it is viewed as a mutual problem of the student and the professor (and often, her family).

이것들은 모두 현재 학생과 교수진 모두에게 학부과정의 경험을 지속적인 악화시키는 것이다. 그리고 성적이 점점 더 인플레이션되고 학생이 이 시스템과 '게임'을 하는데 능숙해질수록 입학위원회의 일도 점점 더 어려워진다.

All of these are now constant aggravations that degrade the undergraduate experience for students and faculty alike. And it makes the job of the admissions committee that much harder as grades inflate and students become better and better at gaming the system.

그러나 진짜 비극은 이것이 아닙니다. 우리가 정말 잃어버린 것은, 학생들이 흥미를 유발하고 그들을 매혹시키는 대안적인 직업을 추구 할 수있는 기회입니다. 학생이 창의성과 호기심을 발휘할 수 있는 그 기회 말이다.

But this is not the real tragedy. What has really been lost is the opportunity for students to pursue an alternative career that interests and enchants them; that permits them to exercise creativity and curiosity.

McMaster의 첫 번째 교육 학장 인 Bill Walsh는 PBL에 대해 "우리가 정말로 원했던 것은 그들이 의사가 되어 무언가 재미있는 일을하는 것"이라고 말했습니다.

The first education dean at McMaster, Bill Walsh, once said about PBL that ‘‘All we really want is for them to become doctors and have some fun doing it’’.

Adv Health Sci Educ Theory Pract. 2012 Dec;17(5):611-3. doi: 10.1007/s10459-012-9416-6.

On competence, curiosity and creativity.

역량바탕교육, EPA, 언어의 힘(J Grad Med Educ. 2013)

Competency-Based Education, Entrustable Professional Activities, and the Power of Language 

Olle ten Cate, PhD

저널을 편집하는 것은 언어에 관한 것입니다.

Editing a journal is all about language.

CanMEDS 역량 프레임 워크의 7 가지 역할은 현재 전 세계적으로 널리 보급되어 있으며 강력한 언어입니다. 이와 비교하여 (ACGME) 핵심 역량은 이론적으로 덜 강력하지만 또한 레지던트 교육에 대한 새로운 시각을 구조화하는 역할을합니다.

The 7 roles of the CanMEDS competency framework , now prevalent around the world, representpowerful language. By comparison, (ACGME) core competencies seemlinguistically less powerful but also serve to structure new perspectives about residency training.

역량 (competency)은 신속하게 파악되어 이제는 어디에서나 사용되고 있습니다. 그러나 우리 모두가 역량에 같은 의미를 부여합니까? 역량이 지식 - 기술 태도 (KSA)와 어떻게 다른지 묻는다면, 많은 사람들은 KSA보다 역량이 더 통합적이라고 생각한다 .2) 동시에 ACGME는 의학 지식(K), 대인 관계 및 의사 소통 기술(S), 프로페셔널리즘(A)를 각각의 "핵심 역량"으로 제시한다. "Lurie3는 최근에 역량에 관한 흐릿한 언어가 의학 교육에서의 평가 방법 개선에 어떻게 기여하지 않았는지를 설명하면서, "assessment of competencies"라는 생각을 버려야 한다고 말했다.

The word competency has caught on quickly and is now being used ubiquitously. Do all of us, however, give it the same meaning? If asked how the competencies are different from knowledge-skills-attitudes (KSA), many consider the competencies to be ‘‘more integrated’’ than the KSAs are.1,2 At the same time, ACGME has called the terms medical knowledge, interpersonal and communication skills, and professionalism each ‘‘core competencies.’’ Lurie3 has recently elaborated on how the blurred language around competencies has not contributed to improved assessment practices in medical education and suggests that the idea of ‘‘assessment of competencies’’ should be abandoned.

의사의 중요한 자질을 언어로 포착해야 할 필요성 때문에, 너무 길거나 너무 이론적이어서 실용적이지 못한 자세한 설명만 만들어졌다.

The need to capture important qualities of physicians in language has led to detailed descriptions that can be too long or too theoretical to be practical.

1950 년대까지 Miller5는 인간의 작업 메모리가 제한되어 있으며 한 번에 7 개 (62 개) 이상의 독립적 인 요소를 포함 할 수 없다고 주장했습니다. 연수생을 관찰하는 동안 정교한 역량, 하위 competencies,이정표 프레임 워크를 사용하려면인지 과부하가 발생할 수 있습니다. 임상 교육자가 역량 개념 및 모든 새로운 언어를 이해할 수없는 경우 연수생 역량을 효과적으로 평가할 수 없습니다.

As far back as the 1950s, Miller5 argued that human working memory is limited and cannot contain more than 7(62) independent elements at a time. To use an elaborate framework of competencies, subcompetencies, and milestones while observing trainees may cause cognitive overload. If clinical educators cannot comprehend the competency concept and all of its new language, they may not be able to effectively assess trainee competencies.

여기서, EPA 개념이 등장한다. EPA는 역량을 임상 실습과 연계하여 실현 가능하도록 만들어졌습니다 .6 EPA는 의사가 일상적으로하는 일을 나타내므로 새로운 언어는 더 간결하고 덜 복잡 할 수 있습니다.

Here, is where the entrustable professional activity (EPA) concept emerges. The EPAs were designed to link competencies to clinical practice and make them feasible.6 Because EPAs represent what physicians do in daily practice, the new language can be briefer and less complicated.

EPA의 기술과 적용에 대한 정확한 표현 방식은 하나도 없지만, "전문적 활동"을 파악하고 인증하는 목적을 충족하는 한, EPA의 성격에 대한 다양한 견해가 적용될 수있다.

Although there is no single correct mode of description and application of EPAs, as long as it serves the purpose of identifying the ‘‘professional activity’’ to be mastered and certified, different views of the nature of EPAs may be applicable.

능력, 이정표 및 EPA가 GME 커리큘럼의 언어가되어야한다면, 공통된 정의를 사용하고 해당 용어가 의미하는 바를 공통적으로 이해하는 것이 가장 중요합니다. 이러한 투명성만으로도 해당 지역이 현지 해석을 초월하고 국가 간, 국가 간, 국제 간 협업 및 교류를 촉진 할 수 있습니다.

If competencies, milestones, and EPAs are to become the language in postgraduate curricula, it will be of utmost importance to use common definitions and have a common understanding of what the terminology means. Only that transparency will enable the field to transcend local interpretations and stimulate interinstitutional, national, and international collaboration and exchange.

Competency-based education, entrustable professional activities, and the power of language.

역량바탕의학교육을 실현하기 위해서(Acad Med, 2015)

Realizing the Promise of Competency-Based Medical Education

Eric S. Holmboe, MD

첫째, 윌리엄스와 동료 1은 교수진의 충분한 직접적인 관찰 없이는 이정표의 모든 잠재력을 실현할 수 없다고 주장합니다. 둘째, 그들은 인증 요구 사항을 충족시키기 위해 단순히 "체크 박스를 체크"하는 표준적인 로테이션 종료 평가로 이정표를 사용하면 이정표의 목표와 목적을 훼손 할 것이라고 가정합니다.

First, Williams and colleagues1 argue that without sufficient direct observation by faculty, the full potential of the Milestones cannot be realized. Second, they posit that using the reporting Milestones as typical end-of-rotation evaluations to simply “check the box” to meet accreditation requirements also will undermine the goals and purpose of the Milestones.

직접적인 관측과 피드백의 필요성

The Need for Direct Observation and Feedback

조지 엥겔 (George Engel)은 전문성 개발에 필수적인 직접적인 관찰과 피드백이 없거나 부족하여 결과가 불충분하다고 강조했다. 또한, 관찰 및 피드백이 없는 자기평가는 효과가 없다 .4,5 Anders Ericsson의 6,7은 여러 영역에서 고의적 인 연습 및 코칭의 중요성에 대해 의학 교육, 특히 역량 기반 모델에 적용 할 수있다.

George Engel emphasized that the absence, or insufficiency, of direct observation and feedback, which is essential to professional development, leads to deficient outcomes. Furthermore, self-assessment without observation and feedback is ineffective.4,5 In addition, Anders Ericsson’s6,7 work on the importance of deliberate practice and coaching in multiple fields is applicable to medical education, especially in a competency- based model.

고의적인 연습은 학습자가 자신의 역량을 지속적으로 향상시키고 개선시키는 데 도움이되는 유익한 피드백을 제공하는 코치의 조심스러운 눈 아래에서, 잘 정의 된 작업을 반복적으로 수행하는 것을 포함합니다. 최근 Boud와 Molloy는 효과적인 피드백은 실제로 피드백의 수신자가 실제로 행동을 시도했을 때만 발생한다고 주장했다.

Deliberate practice involves repetitively working on well-defined tasks under the watchful eyes of a coach who provides informative feedback to help the learners continuously improve and refine their competence. Recently, Boud and Molloy8 argued that effective feedback only truly occurs when the recipient of the feedback has actually attempted the action.

직접관찰과 피드백의 현실

The Reality of Direct Observation and Feedback in Practice

직접 관찰의 질과 양은 의학 교육 연속체 전체에서 지속적으로 부족했다.

the quality and quantity of direct observation has been persistently insufficient across the medical education continuum.9

모든 대학원 2 학년과 3 학년의 거의 3 분의 1이 한 학년 동안 공식적으로 관찰되지 않았습니다. 수술과 마취와 같은 훈련은 수술실을 이용하여 계속적인 직접 관찰을 할 수는 있지만, 수술을받지 않은 환경에서 다른 사람들과의 중요한 의사 소통 (예 : 진찰 및 의사 소통)을 관찰하지 못할 수도 있습니다.

almost a third of all postgraduate year 2 and 3 residents were never formally observed over an entire academic year. Disciplines such as surgery and anesthesia can take advantage of the operating room to perform ongoing direct observation,10 but they may not observe other important competencies, such as history taking and communication, in nonoperative settings.

윌리엄스와 동료들은 교수진 시간 및 기술 평가의 공통적이고 겉으로보기에는 다루기 힘든 문제를 인용하는 것을 중요하게 강조합니다. 어떤 사람들은 Milestone과 같은 노력이 unfunded mandates라고 주장했다 .11 그러나 대학원 의학 교육 (GME)에 대한 공공 투자를 고려할 때, unfunded mandates라는 주장의 근거는 정당화하거나 지지하기가 매우 어렵다.

Williams and colleagues importantly highlight citing the common and seemingly intractable problems of faculty time and skills in assessment. Others have argued that efforts such as the Milestones are unfunded mandates.11 The unfunded mandate rationale, however, is exceedingly difficult to justify and support when you consider the public investment in graduate medical education (GME)

이정표는 또한 일반적으로 환자 경험 조사 (즉, 환자가 학습자를 관찰)를 통해 수집 된 평가 프로세스에 환자 입력의 중요성을 통합합니다. 보다 중요한 것은 환자가 학습 환경에서 고품질의 진료와 안전을 보장 할 수 있도록 훈련중인 의사를 적절한 수준으로 감독 할 권리가 있다는 것입니다. 우리는 종종 환자들이 의학 교육 시스템의 한가운데에 정면으로 앉아 있다는 사실을 무시합니다.

The Milestones also incorporate the importance of patient input into the assessment process, usually captured through patient experience surveys (i.e., their observation of the learner). More important, patients are entitled to appropriate levels of supervision of physicians-in-training to ensure high- quality care and safety in the learning environment. We too often ignore the fact that patients sit squarely in the middle of the medical education system

최근 코간 (Kogan)과 동료 연구원은 지적했듯이, 우리는 평가지 인식 (기술)을 교육 및 임상 치료 문제로 간주해야합니다. 환자는 평가의 객체가 아니라 평가의 주체가 되어야 한다.

As Kogan and colleagues14 recently pointed out, we must view rater cognition (skill) as both an educational and clinical care issue. Patients must be the subject, not the object, of assessment.

교수진이 직접 관찰을 수행 할 수있는 시간이 있는지는 대부분 각 기관이 정면으로 대응해야 하는 시스템 문제이며, 21세기 의료요구를 충족시키기 위한 의사 양성에 대해서 전문직과 공공 사이의 사회적 계약의 한 부분이다.

The availability of time for faculty to conduct direct observation is mostly a system issue that rests squarely with the institution, which must assume responsibility for the portion of the social contract between the profession and the public related to training physicians and other health care professionals to meet 21st-century health care needs.

Acad Med. 2015 Apr;90(4):411-3. doi: 10.1097/ACM.0000000000000515.

Realizing the promise of competency-based medical education.

역량바탕교육과정 개발: 고통과 환호(Adv in Health Sci Educ, 2010)

Building a competency-based curriculum: the agony and the ecstasy

Mark A. Albanese Æ George Mejicano Æ W. Marshall Anderson Æ

Larry Gruppen

도입

Introduction

의사 역량은 모든 수준에서 의학 교육의 초점이되어 왔습니다.

Physician competencies have increasingly been a focus of medical education at all levels.

학부 의학 교육 (UME)에 역량을 도입하려는 움직임은 실제로 ACGME / ABMS 역량보다 앞서있었습니다.

The move to introduce competencies into undergraduate medical education (UME) actually preceded the ACGME/ABMS competencies.

전체 학부 역량에 대한 ACGME / ABMS의 보급 외에도, 그들은 전문 사회의 여러 직책 감독자를위한 기초 자료로 사용되었습니다. 내과의 Clerkship Director (CDIM)는 최근 Core Medicine Clerkship Curriculum Guide 버전 3을 발표했습니다 : 모든 목표가 ACGME 핵심 역량으로 코딩 된 교사 및 학습자를위한 리소스입니다 (http://im.org/CDIM/ 참조). ). 가정 의학 교사회 (Society of Teachers of Family Medicine)는 2004 년에 이러한 역량에 기반한 가정 의학 교과 과정 자료를 발표했습니다 (http://www.stfm.org/curricular/index.htm 참조). 또한 산부인과 및 산부인과 학부모 협의회 (ACGME / ABMS Competency)에 코딩 된 목표가 산술 및 산부인과 학부모 목표에 대한 산부인과 및 산부인과 학회 (APGO) 제 8 판에 포함되어 있습니다.

In addition to penetration of the ACGME/ABMS to overall undergraduate competencies, they have been used as a basis for several of the specialty society’s preparatory materials for clerkship directors. 

• The Clerkship Directors in Internal Medicine (CDIM) recently released version 3 of the Core Medicine Clerkship Curriculum Guide: a resource for teachers and learners in which all objectives are coded to the ACGME core competencies (see http://im.org/CDIM/). 

• The Society of Teachers of Family Medicine released the Family Medicine Clerkship Curriculum Resource in 2004 that is heavily based on these competencies (see http://www.stfm.org/curricular/index.htm). 

• Also, objectives contained in the Association of Professors of Gynecology and Obstetrics (APGO) 8th Edition of Objectives for Obstetrics and Gynecology Clerkships have been coded to the ACGME/ ABMS Competencies.

UME수준에서 역량이란 무엇인가?

What does competency mean at the UME level?

의학 교육의 주요 과제 중 하나는 어떻게 새로 입학 한 의대생이 ACGME / ABMS 역량을 충족 할 수 있도록 학습자를 이동move시킬 것인가이다.

One of the major challenges in medical education is how to move a learner from being a newly entering medical student to being capable of meeting the ACGME/ABMS competencies.

의대생 졸업생이 competent physician이 아니라면, 그들은 무엇인가? 개념을 희석하지 않도록 역량이라고 부르면 안된다는 주장이 제기 될 수 있습니다 (즉, progress competencies, pre-competencies, sub-competencies, or proto-competencies 같이 다른 표현으로 부르는 것이 낫습니다) ).

If graduating medical students cannot be competent physicians, what then can they be? It could be argued that they should not be called competencies so as to not dilute the concept (i.e., it would be better to call them something different like ‘‘progress competencies, pre-competencies, sub-competencies, or proto-competencies’’).

특정 역량에 대해 이러한 용어를 사용하도록 유혹을 받았지만 결국에는 이미 복잡한 개념 인 것에 혼란을 야기 할 것이라고 생각합니다. 대신, 예상되는 결과의 유형에 대한 기대치를 조정함으로써 역량이 진보progression의 단계에 적응할 수있는 위치를 취하여 의사가되는 방향으로 나아갈 것입니다. 이러한 맥락에서 의대 졸업생은 competent physician이 아니더라도 전공의 수련과정으로 나아갈 만큼 competent할 수 있다.

While we were sorely tempted to adopt such terminology for the specific competencies, in the end we think it would add confusion to what is already a complex concept. Instead, we will take the position that competencies are adaptable to stage of progression toward becoming a physician by adjusting the expectations for the type of outcomes that are expected. In this context, although the graduating medical student would not be becoming a competent physician, they would, however, be competent for proceeding to residency.

이전 연구에서 (Albanese et al., 2008) 우리는 역량과 그들의 UME단계에서의 derivative는 다음 다섯 가지 특성을 가져야한다고 제안했다.

In previous work (Albanese et al. 2008), we proposed that competencies and their UME derivatives should have the following five qualities:

1. 최종 성과물 또는 목표 상태의 수행에 중점을 둡니다.

2. 교육 프로그램에서 배운 것을 즉각 적용하려는 기대를 반영하십시오.

3. 측정 가능한 행동 (들)로 표현할 수 있어야합니다.

4. 다른 학습자의 수행 수준에 의존하지 않도록 역량 판단의 standard를 사용하십시오.

5. 학생들에게 기대되는 바를 학습자뿐만 아니라 다른 이해 관계자들에게도 알린다.

1. Focus on the performance of the end-product or goal-state of instruction.

2. Reflect expectations that are an application of what is learned in the immediate instructional program.

3. Be expressible in terms of measurable behavior(s).

4. Use a standard for judging competence that is not dependent upon the performance of other learners.

5. Inform learners, as well as other stake-holders, about what is expected of them.

역량은 ABMS / ACGME의 역량과 같은 포괄적 역량을 다루는지 아니면 의과 대학의 첫 학기에 적합한보다 구체적인 역량을 다루는 지에 따라 다양한 '세분성'을 가질 수 있습니다.

Competencies can also have a wide variety of ‘‘granularity’’ depending upon whether one is dealing with overarching competencies such as those of the ABMS/ACGME, or the more specific ones that would be appropriate for the first semester of medical school.

목적과 목표는 코스별로 다르지만, 역량은 주어진 시간에 발생하는 전체 학습 경험에 걸쳐 수평 적 및 수직적으로 통합된다. 

• 수평 통합 (Horizontal Integration)은 의학 (정상적인 해부학, 생리학, 면역 체계 기능)을 근간으로하는 다양한 개념의 전문 지식 축적

• 수직적 통합을 위해서는 여러 개념을 동시에 환자 치료에 적용하는 방식으로 적용 할 수 있어야합니다.

Whereas goals and objectives are course specific, competencies horizontally and vertically integrate across the entire set of learning experiences occurring at a given time. 

• Horizontal integration refers to the accumulation of expertise in the various concepts that underlay medicine (normal anatomy, physiology, immune system functioning) while 

• vertical integration requires the ability to simultaneously apply multiple concepts in a way that facilitates application to patient care.

목적과 목표의 평가는 구체적인 학습 경험에 중점을 두는 반면, 역량 평가는 과정 전반에 걸쳐 통합적이며 해당 시점까지 취해진 모든 과정에서 누적 될 수 있습니다.

An assessment of goals and objectives would focus on specific learning experiences whereas an assessment of competencies would be integrative across courses and be cumulative across all courses taken to that point.

기존의 교육과정 모델에서, 커리큘럼이 끝나면 기적이 일어나고, 학생들은 레지던트로 갈 준비가되었습니다.

By the conclusion of the curriculum, a miracle has occurred and students are ready for residency.

그림 2는 역량 기반 커리큘럼을 보여줍니다.

Figure 2 depicts a competency-based curriculum.

역량 기반 커리큘럼에서는 학생 평가가 과정에 기반 할 수 있지만 반드시 그런 것은 아니므로 모델에서 학생의 개별 과정 평가를 제거했습니다.

Note also that we have removed the individual course assessment of students from the model because in a competency-based curriculum, student assessment can be course-based, but not necessarily so. 

역량 기반 커리큘럼은 유능한 졸업생의 자질로 시작하여, 조각을 소화 할 수있는 부분들로 잘라냅니다.

A competency-based curriculum starts with the qualities of the competent graduate and then slices and dices them into digestible parts

역량 평가는 커리큘럼 전체에 역량이 축적됨에 따라 점차 복잡해집니다. 역량은 축적accumulate되는 이유는 역량들이 누적되면서 평가해야 할 skill이 '복잡'해지지, 점차적으로 '길어'지는 것이 아니기 때문이다.

The assessments of competencies become progressively more complex as the number of competencies accumulates across the curriculum. The competencies accumulate because the skills assessed become increasingly complex, not because the assessments become incrementally longer as the separate competencies pile up. 

CBME는 무엇인가?

What is a competency-based medical curriculum?

McGaghie와 동료 (1978)는 다음과 같은 세 가지 기능을 통해 역량 기반 커리큘럼을 다른 사람들과 구별했습니다.

• (1) 특정 환경에서 의료에 필요한 기능 (또는 역량)을 중심으로 구성;

• (2) 의대에 입학 한 학생들의 지적 능력을 고려할 때, 적절한 준비, 명확한 학습 목표, 충분한 학습 자원, 유연한 시간 계획이 주어지면 (드문 경우를 제외하고는) 높은 수준의 정의 된 역량을 달성 할 수 있다는 결론;

• (3) 교육은 학생 학습의 과정과 학습을 만드는 데 사용 된 기술이 모두 시험 대상 가설로 간주되는 실험이다(18 쪽).

McGaghie and colleagues (1978) distinguished a competency-based curriculum from others by three features: 

(1) Organization around functions (or competencies) that are required for the practice of medicine in a specified setting; 

(2) Grounding in the principle that students of the intellectual ability of those admitted to medical schools, when given adequate preparation, unambiguous learning goals, sufficient learning resources, and a flexible time schedule, can with rare exceptions achieve the defined competence at high levels of proficiency; and 

(3) It views education as an experiment where both the processes of student learning and the techniques used to produce learning are regarded as hypotheses subject to testing (p. 18).

이들은 역량 기반 교과 과정을위해 mastery learning framework을 채택하고 세 가지 요소로 특성화합니다 :

• (1) (단순히 학습 과제에서 배우는 것이 아니라) 학생이 학습 과제로 어떤 지식을 bring하는지, 

• (2) 광범위하게 정의 된 의학 역량을 소규모의 누적 단계로 분해하여 학생들이 자신의 필요와 진도에 따라 많은 학습 자료 (서적, 실험실 경험, 교사 및 기타 사항)를 사용하여 개별 요율로 작업 할 수있게하는 것 ; 

• (3) 역량의 성장을 문서화하고 교육 질에 대한 귀중한 피드백을 제공하기 위해, 각 학습 단계에서 학생 성취도를 철저히 평가해야 함 "(19 쪽).

They proceed to adopt a mastery learning framework for competency-based curricula and characterize it by three elements: ‘‘

• (1) knowledge of what a student brings to a learning task, not merely what is to be taken from it; 

• (2) that broadly defined competencies of medicine be dismantled into smaller, cumulative steps, through which students may work at individual rates using many learning resources (books, laboratory experience, teachers, and other things) according to their own needs and rates of progress; and 

• (3) that student achievement be thoroughly assessed at each learning stage in order to document the growth of competence and to provide valuable feedback on the quality of instruction.’’ (p. 19).

Merenstein et al. (1990)은 다음 두 가지 속성을 갖기 위해 역량 기반 커리큘럼을 정의했습니다.

(1) 학습 목표는 정확하고 행동 적이며 측정 가능한 용어로 정의되며, 학습자와 교사 모두에게 알려져 있습니다. 

(2) 학습자는 동의 한 조건 하에서 특정한 역량을 입증 할 것으로 기대된다. "(Howsam and Houston 1972).

Merenstein et al. (1990) defined a competency-based curriculum to have the following two attributes: ‘‘

• (1) Learning objectives are defined in precise, behavioral, and measurable terms, and are known to learner and teacher alike; and 

• (2) the learner is expected to demonstrate specific competencies under the conditions agreed upon’’ (Howsam and Houston 1972). 

이 두 가지 특성을 통해 역량을 목표와 분리하는 것에 대해 혼란이있는 이유를 알 수 있습니다.

From these two attributes, it can be seen why there is some confusion about what separates a competency from an objective.

UME역량과 ACGME 역량?

UME competencies and the ACGME/ABMS competencies?

ACGME의 여섯 가지 역량

The following are the six central competencies of the ACGME/ABMS:

• 1. Patient care provide patient care that is compassionate, appropriate, and effective for the treatment of health problems and the promotion of health.

• 2. Medical knowledge demonstrate knowledge about established and evolving biomedical, clinical, and cognate (e.g., epidemiological and social-behavioral) sciences and the application of this knowledge to patient care.

• 3. Practice-based learning and improvement investigate and evaluate their patient care practices, appraise and assimilate scientific evidence, and improve their patient care practices.

• 4. Interpersonal and communication skills demonstrate interpersonal and communication skills that result in effective information exchange and learning with patients, their patients’ families and professional associates.

• 5. Professionalism demonstrate commitment to carrying out professional responsibilities, adherence to ethical principles, and sensitivity to a diverse patient population.

• 6. Systems-based practice demonstrate an awareness of and responsiveness to the larger context and systemof health care and the ability to effectively call on systemresources to provide care that is of optimal value.

UME에서 가장 유용하기 위해서는 목표 상태의 역량 목표가 어느 정도 UME의 종점을 반영해야합니다. 레지던트의 수행수준을 넘어서는 목표 상태를 채택하면 의대생을 더 나은 의사를 만들 수 있을지 몰라도, 학생 및 교수진에 대한 많은 재교육과 스트레스를 유발할 수 있습니다. 교수진은 역량과 역량을 측정하기 위해 사용한 성과가 "학생의 요구에 적합함"을 정당화 할 수 있어야합니다. 너무 멀고 달성하기 어려운 목표 상태를 설정하는 것은 자멸을 낳고, 사기일 수 있습니다.

To be most useful in UME, the goal-state target of competencies must at, some level, reflect the terminal point of UME. Adopting a goal-state beyond readiness for the graduated patient care responsibilities of residency may make students better physicians eventually, but will probably lead to much remedial work and/or stress for students and faculty. The faculty must be able to justify the competencies and the outcomes used to measure them as being relevant for the needs of students. Setting them to a too remote and unachievable goal-state can be self-defeating and demoralizing.

역량바탕 교육 만들기

Creating a competency-based curriculum

커리큘럼 디자인에 필요한 특수성을 달성하기 위해 가장 중요한 역량을 어떻게 slice and dice 할 수 있습니까?

How do you slice and dice the overarching competencies to achieve the specificity needed for curriculum design?

커리큘럼 역량을 씹을 수있는 bites으로 잘라내어 다이싱하는 것은 역량 기반 커리큘럼을 구현하는 주요 과제 중 하나입니다.

Slicing and dicing curriculum competencies into chewable bites is one of the major challenges of implementing a competency based curriculum.

Brown et al. (1973)은 하위 역량을 기술, 개념 및 인간의 세 범주로 분류하는 특정 역량을 클러스터링했습니다.

Brown et al. (1973) clustered the specific competencies that they called subcompetencies into three categories: technical, conceptual, and human.

Quinlan (1975)은 장기 시스템 커리큘럼으로 시작했습니다. 이 큰 틀 안에서, 기관 체계는 주요 영역으로 나뉘어져 주제로 나뉘었다. 주제는 학습 목표, 최종 목표, 관련 조건 및 학습 자료의 논리적 순서로 구분됩니다.

Quinlan (1975) started with an organ system curriculum. Within this larger framework, organ systems were divided into major areas that were then broken down into topics. Topics were divided into a logical sequence of learning objectives, terminal objectives, associated conditions and learning resources.

Burg et al. (1976)는 소아과 의사가 어린이를 올바르게 돌보기 위해 필요한 행동의 종합 목록으로 소아과 역량을 정의했습니다. 작업 차원은 (1) 데이터 수집, 구성 및 기록, (2) 데이터 평가, (3) 문제 관리 및 건강 유지의 세 단계로 이루어집니다. 능력 차원은 5 가지 수준으로 나타났습니다 : (1) 민감성, 공감, 환자와 그 가족에 대한 포괄적 인 보살핌에 대한 헌신, (2) 사실적 지식, (3) 대인 관계 기술, (4) 기술적 기술, (5) 임상 적 판단 (Burg et al., 1976).

Burg et al. (1976) defined competency in Pediatrics as a comprehensive list of behaviors needed by a pediatrician to care for children properly. The task dimension had three levels: (1) Gathering, organizing and recording data, (2) Assessing data, and (3) Managing problems and maintaining health. The abilities dimension had five levels: (1) Attitudes as represented by maintaining work habits and reaction patterns that reflect sensitivity, empathy, and devotion to continuing comprehensive care of patients and their families, (2) Factual knowledge, (3) Interpersonal skills, (4) Technical skills, and (5) Clinical judgment (Burg et al. 1976).

분명히, 교육 프로그램을 창출하기 위해보다 구체적이고 발달 적으로 적절한 방법으로 포괄적 인 역량이 정의되는 많은 방법이있었습니다. 아마 유일한 최선의 방법은 없습니다. "옳다고 생각하는 것"을 결정하기 전에 두 가지 또는 세 가지 방법을 시도해야 할 수도 있습니다.

Clearly, there have been many ways in which overarching competencies have been defined in more specific and developmentally appropriate ways for creating instructional programs. There probably is no single best way. It may be necessary to try out two or three different methods before deciding on the one that ‘‘feels right.’’

학생들은 어떻게 자신의 능력을 시연할 수 있습니까?

How will students be able to demonstrate their competence?

각 역량에 대한 성과의 증거로 간주되는 것은 무엇입니까?

What will be considered evidence of competent performance for each competency?

45 년 동안 흔히 제기 된 공통적 인 불만은 교수가 학생들의 임상 교육 과정에서 병력청취와 신체진찰을 관찰하는 횟수가 제한된 것이다 (Engel 1976, Seegel and Wertheim, 1962). 이 문제를 줄이기 위해서 학생들이 자신의 병력청취와 신체진찰 능력을 평가받는 역량을  설정한다면, 평가를 어떻게 할지 결정해야합니다. 교수진은 학생을 관찰해야합니까, 아니면 나중에 교수 검토를 위해 비디오 테이프로 녹화 할 수 있습니까?

A common complaint voiced for over 45 years is the limited number of times that faculty observe students doing a history and physical during their clinical education (Engel 1976; Seegel and Wertheim 1962). If competencies are created to alleviate this problem so that students are evaluated on their history and physical exam skills, it needs to be determined how this will happen. Will faculty have to observe students live, or can it be videotaped for later faculty review?

학생들은 모든 역량과 모든 성과에 대해 역량을 보여 주어야합니까?

Must students demonstrate competence for every competency and all outcomes?

역량의 세분성 및 관련 결과에 따라 전체 커리큘럼에 걸쳐 수 백 또는 수천 개의 결과가있을 수 있습니다. 학생들이 각각의 모든 결과에 역량을 발휘하도록 요구하는 것은 비현실적입니다. 시스템을 합리적인 방법으로 해결해야합니다. 하나의 접근법은 세 가지 유형으로 역량을 분류 할 수 있습니다.

• 매우 구체적인 방식으로 평가받는 것이 중요한 것

• 보다 일반적인 방법으로 평가할 수 있는 것

• 샘플링 할 수있는 것

Depending upon the granularity of competencies and their associated outcomes, there may be hundreds or even thousands of outcomes across an entire curriculum. It would be impractical to require students to demonstrate competency in each and every outcome. A system must be developed to address this in a reasonable manner. One approach could be to classify competencies into three types: 

• those that are critical to be assessed in a very specific manner, 

• those that can be assessed in a more general manner and 

• those that can be sampled.

학생이 최소 수 (예 : 3/10)의 능력을 입증 할 것으로 예상되는 고유 한 역량이있을 수 있습니다. 이 유형의 샘플링은 자체 장치에 맡기기 때문에주의를 기울여야합니다. 바람, 물, 학생들은 모두 저항이 최소화되는 경로를 선택하며, 이 경로가 반드시 균형 잡힌 역량을 입증하는 길은 아닐 수 있다. 다양한 역경, 사례, 평가 방법 등에서 역량을 입증하는 것이 중요한 경우; 이러한 제약 조건은 최소 역량 수와 함께 지정해야합니다.

there may be distinct competencies from which students will be expected to demonstrate competence in a minimum number (say 3 of 10). Care must be exercised in this type of sampling because left to their own devices; wind, water and students will all take the path of least resistance, not necessarily the path to a balanced demonstration of competence. If it is important that competency be demonstrated in a range of contexts, cases, assessment methods, etc.; these constraints need to be specified along with the minimum number of competencies.

커리큘럼에서 역량을 어떻게 파싱해야합니까?

How should competencies be parsed across the curriculum?

학생들이 의대 졸업을 앞두고 마지막 3개월 사이에 역량을 입증하기게 만들어두며, 역량을 기반으로 구축 된 다른 시스템뿐만 아니라 교수진도 overwhelm된다. 따라서 학생들이 커리큘럼의 정의 된 부분에 도달 할 때까지 어떤 역량이 완료되어야하는지에 대한 기대치를 설정하는 것이 중요합니다. 커리큘럼 전반에 걸쳐 벤치 마크를 분석하면 교수진이 역량을 습득하고 성취도를 친숙한 방식으로 문서화하는 데 도움이되는 긴급 성과 권한을 학생들에게 부여하게됩니다.

If students wait to demonstrate their competence until their last 3 months in medical school, it will overwhelm faculty as well as the other systems built around the competencies. Thus, it will be important to set out expectations for what competencies should be complete by the time students reach defined parts of the curriculum. Having benchmarks parsed throughout the curriculum will give students the sense of urgency and authority to push faculty to help them learn the competencies and document their achievement in a developmentally friendly way.

학생들은 언제 역량을 demonstrate할 수 있습니까?

When will students be able to demonstrate their competence?

이 문제를 해결하기위한 두 가지 극단은 다음과 같습니다. 학생들이 준비만 되면 언제든 vs 사전에 계획된 대규모 그룹에서만.

The two extremes for addressing this issue are: whenever students feel ready and only in large group pre-scheduled assessments (e.g., exams).

중요한 관련 쟁점은 여러 역량을 여러 번 (즉, 연속 방식으로) 평가해야하는지 아니면 한 번 평가가 충분한 지 여부입니다. 이것이 쟁점이 되는 이유는, 지식과 기술 모두 사용되지 않는 경우 decay하기 때문이며, 이는 기술이 특히 내용특수성이 높은 것으로 입증 된 경우에 더욱 그러하다(예 : 학생이 울혈 성 심부전 증상을 나타내는 환자에게는 신체 검사를 수행 할 능력이있을 수 있지만 당뇨병 성 망막증의 증상을 나타내는 환자를 대상으로 신체 검사를 수행 할 능력이 없을 수 있음).

An important related issue is whether some competencies should be assessed at multiple times (i.e., in a serial fashion) or whether a ‘‘one time’’ assessment will suffice. This is a complex issue because both knowledge and skills tend to decay if they are not used (reinforced) and skills, especially, have been demonstrated to have a high degree of content specificity (e.g., a student may be competent to perform a physical examination for a patient presenting with symptoms for congestive heart failure, but not competent in performing a physical examination for a patient presenting with symptoms for diabetic retinopathy). 

지식 기반 평가는 아마도 내용의 특수성에 영향을 받기 쉽지만, 대부분의 시험은 지식의 일반화 추정치를 산출하기에 충분한 항목을 포함합니다. 그러나 임상 기술의 수행 능력 평가는 일반적으로 원하는 다양한 종류의 문제를 가진 환자의 가용성에 의해서 제약을 받으며, 시간이 많이 걸린다. 따라서, 일반화 능력을 입증하기위한 임상 기술의 학생 성과에 대한 적절한 표본을 얻는 것은 매우 어렵습니다. 신체 검사를 수행하는 등 능력에 필수적인 것으로 간주되는 기술의 경우 최소한 두 가지 상황에서 평가해야합니다.

Knowledge-based assessments are probably just as susceptible to content specificity, but most examinations contain enough items on them to yield generalizable estimates of knowledge. Assessments of performance of clinical skills, however, are generally time consuming and constrained by the availability of patients with the desired variety of presenting problems. Thus, obtaining an adequate sample of student performance of clinical skills to demonstrate generalizable competence is very challenging. For skills that are considered to be essential for competence, such as performing a physical examination, they should be assessed in at least two different contexts.

학생들이 역량에 관한 성과를 어떻게 기록하고 문서화합니까?

How will student achievement of competencies be documented and filed away?

역량 달성을 쉽게 접근 가능한 형태로 문서화하고 정리하는 것은 중요한 단계입니다. 이 메커니즘은 사용하기 쉽고 결과는 추적을 위해 중앙 데이터베이스로 이동해야합니다.

Documenting and filing away competency achievement in a readily accessible form is a critical step. The mechanism needs to be easy to use and the result needs to go into a central data-base for tracking.

역량 달성에 대한 모니터링 및 통보는 어떻게 이루어 집니까?

How will monitoring and notification of competency attainment be accomplished?

역량 달성 모니터링은 필요악이다. 이와 관련된 문제는, 학생들이 '플러그를 뽑기'전에 몇 차례나 능력을 시연해볼 시도 기회를 가질 수 있는지, 그리고 학생들이 모든 역량에 대해서 아니면 일정 비율의 역량에 대해서만 충족하면 되는지에 대한 결정이다.

Monitoring competency attainment is a necessary evil. Related issues are how many times should a student be allowed to attempt to demonstrate competence before ‘‘pulling the plug’’ and whether students must achieve competence on all competencies or only a fixed percentage of them (e.g., 80%)?

왜 학생 진도를 모니터링하는지 결정하는 것이 중요한 초기 결정입니다. 부담 수준, 지침을 제공하고 학생들이 자신의 진도를 모니터링 할 수 있습니다. 이것은 학생들이 책임있는 성인이라고 assume하는 것이며, 그들이 만족스러운 발전을 보이지 못한다면 action이 뒤따를 것입니다. 이것은 대다수의 학생들에게 사실 일 수 있지만, 희망을 잃지 않게하는 외부의 자극이 필요한 사람들이있을 것입니다.

Deciding why you are monitoring student progress is an important early decision. Atone level, one can provide guidelines and let students monitor their own progress. This assumes that students are responsible adults and they will take action if they are not making satisfactory progress. While this may be true for the large majority of students, there will be those who need some external prompting to keep them from getting hopelessly behind.

역량을 어떻게 측정할 것인가?

How will competence be measured?

UME 인증 및 유지 관리를 위해 설계된 역량이 UME에 사용되는 경우, 어느 정도의 적합성을 고려한 다음 각 표준을 보유 할 것인지에 대한 신중한 고려가 이루어져야합니다. 역량을 평가하는 데 사용 된 접근 방식이 간단할수록 구현 및 유지가 더 쉬워집니다. 그렇다고해서 역량을 평가하는 복잡한 방법이 필요하지 않다고 말하는 것은 아닙니다. 역량 및 그로부터 파생 된 측정 가능한 결과를 판단하는 기준 중 하나는 복잡한 기술 집합을 반영한다는 것입니다. 복잡한 기술을 측정하려면 복잡한 측정 기술이 필요합니다.

If competencies designed for certification and maintenance of certification are to be used for UME, careful consideration needs to be given to which are more and less appropriate and then to what standard each shall be held. The simpler the approach used to assess competence, the easier it will be to implement and sustain. This is not to say that complex methods of assessing competencies will not be needed. One criterion for judging competencies and the measurable outcomes derived from them is that they reflect a complex set of skills. Measuring complex skills is likely to require complex measurement techniques.

역량 기반 교육의 핵심 쟁점은 역량이 binary 결정인지 아니면 여러 단계인지 여부입니다. 무능력자incompetence조차도 모두 같은 무능력자가 아니며, 극단적으로나 또는 심대한 무능력자라고 볼 수 있으며, 이 때 무능력이 다단계 일 수 있다고 주장 할 수있다.

A key issue in competency-based education is whether competency is a binary decision, or multi-level. One could argue that even incompetence may be multi-level with some unfortunate individuals being not just incompetent, but EXTREMELY or PROFOUNDLY incompetent.

탈 밸트 (Talbot, 2004)는 이원화 된 역량 체계에서의 위험은 역량이 '최소치'가 되는게 아니라, 역량이 최대치(목표)가 되는 것이라고 주장한다.

Talbot (2004) argues that the danger in a binary graded competency systemis that rather than the floor, competence becomes the goal.

이 주장을 UME 수준으로 확대하는 것은 역량이 예 / 아니오 결정인지 여부 또는 양쪽 끝에 물건이 있는지 여부를 결정해야합니다. 역량을 여러 단계를 갖는다고 해석한다면 역량기반교육과정에서 [최소역량]이 [수월성]을 대신하여 목표의 자리를 차지하는 것을 피할 수 있다.

Extending this argument to the UME level would require deciding if competence is a yes/no decision or whether there is something in between and things on either end. A multi-level interpretation of competence would be better able to avoid having minimum competence overtaking excellence as the goal in a competency-based curriculum.

Southern Illinois University (SIU)는 불만족스럽고 한계가 있으며 기대 수준을 만족시키는 훌륭한 5 단계 평점 척도를 채택했습니다.

Southern Illinois University (SIU) has adopted a 5-option rating scale consisting of: unsatisfactory, marginal, meets expectations, commendable, excellent.

두 번째 핵심 쟁점은 UME에서 사용할 표준을 설정하는 방법입니다. SIU에서 사용되는 것과 같은 5 단계 연속체를 사용한다면, 우리는 연속체에 어디에 학습자가 놓여 있는지를 결정해야합니다.

A second key issue is how to set standards to use in UME. If we use a 5-level continuum like that used at SIU, we need to determine where learners lie in that continuum.

그러나 이러한 유형의 평가조차도 어려움을 겪고 있습니다. 개념으로서의 최소 능력은 측정 영역에서의 최소 통과와 공통점이 많고 최소 통과 기준 설정은 최소한 1954 년 이후 측정 문헌에서 문제가되었습니다. 많은 수의 수험생이 시험에 합격하지 못한다면, 그것은 교수가 비현실적인 기대를 가지고 있기 때문일 수 있습니다.

However, even this type of assessment is fraught with difficulty. Minimum competence as a concept has much in common with minimum passing in the measurement realm and establishing minimum passing standards has been a challenge in the measurement literature since at least 1954 . If a large number of examinees fail an exam, it can be due to faculty having unrealistic expectations. 

세 번째 핵심 쟁점은 능력, 특히 지식과 태도와 같이 덜 관찰 가능한 영역에서의 역량을 측정하는 방법입니다. Merenstein et al. 역량 평가의 위험으로 주목하십시오. " '배워야 할 것이 아니라 측정 할 수있는 것을 측정하는 경향이 있습니다.'(469 쪽) (Merenstein 외. 1990).

A third key issue is how to measure competency, especially in the less observable domains such as knowledge and attitudes. As Merenstein et al. note as a danger in competency evaluation, ‘‘There can be a tendency to measure what is measurable rather than what needs to be learned’’ (p. 469) (Merenstein et al. 1990).

시험은 지식을 평가하는 전통적인 방법이었습니다. UME의 문제는 개별 학교가 일반적으로 USMLE exams 수준의 심리 측정 품질을 갖는 최저 통과 수준을 도출할 만큼의 충분한 데이터가 없다는 것입니다. 이것은 합/불합 결정에 오류를 유발할 수 있다.

Examinations have been the traditional means of assessing knowledge. The problemfor UME is that individual schools generally do not have enough data to draw upon to setminimum passing levels that have the psychometric quality of those set on the USMLE exams. This leaves the determination of passes or fails to be relatively error prone. 

마지막은 역량 중심의 커리큘럼에서 어떻게 grade할 것인가이다. SIU 및 UI에서 사용되는 5 가지 옵션 척도는 고려할 수있는 대안을 제공합니다. 또한 합격 / 불합점 채점 시스템이 역량 기반 커리큘럼과 가장 잘 호환되는 것으로 보입니다.

The final key issue that we will deal with is how to grade in a competency-based curriculum. The 5-option scales used by SIU and UI offer alternatives that can be considered. It would also seem that a pass-fail grading system would be the most compatible with a competency-based curriculum.

메이는 C의 최하위 경계를 75 % 또는 80 %의 최소 역량으로 설정 한 다음 고정 된 비율에 따라 더 높은 등급을 할당하여 대학 정책에 위임 된 A-F 채점 시스템을 수용하는 방법을 설명합니다. 아마도 우리가 직면 한 가장 대담한 권고는 "목표는 90%의 학생이 90%의 역량을 90%의 경우에 달성하는 것"(28 페이지) (1976 년 5 월) . 역설적이게도 유연한 스케줄링 기능을 제공 할 수있는 제한적인 제약에 직면했을 때 표준은 75-80 %로 완화되었습니다. 이는 보편적 인 표준으로서 높은 수준의 성능을 설정했을 때 빠질 수 있는 함정을 지적합니다.

May describes accommodating an A–F grading system mandated by university policy by setting the lowest boundary of a C to be minimum competency at either 75% or 80% and then allocating higher grades according to fixed percentages. Perhaps the most audacious recommendation we encountered also came from May who stated that ‘‘The goal is to have at least 90% of the students achieve 90% of the competencies 90% of the time’’ (p. 28) (May 1976). Ironically, when faced with the constraint of having limited ability to provide flexible scheduling, the standards were relaxed to 75–80%. This points to the pitfalls of setting high levels of performance as a universal standard.

교수의 buy-in

Faculty buy-in and faculty development

역량 기반 커리큘럼의 기회가 매우 적다면, 교수진 buy-in과 엄청난 규모의 교수 개발이 필요할 것입니다.

If a competency-based curriculum is to have a ghost of a chance, it will require faculty buy-in and massive amounts of faculty development.

개별 교수진이 역량 평가 문서화를 더 많이 해야 할수록, 그들이 역할을 수행할 수 있도록 더 많은 헌신과 교수 개발이 필요합니다.

The more assessment of competence falls on individual faculty to document, the more commitment and faculty development will be necessary for them to fulfill their role.

Discussion/summary and educational implications

Adv Health Sci Educ Theory Pract. 2010 Aug;15(3):439-54. doi: 10.1007/s10459-008-9118-2. Epub 2008 May 15.

Building a competency-based curriculum: the agony and the ecstasy.

역량중심 의학교육 : 이론에서 실제까지

Competency-based medical education: theory to practice

JASON R. FRANK1, LINDA S. SNELL2, OLLE TEN CATE3, ERIC S. HOLMBOE4, CAROL CARRACCIO5,

SUSAN R. SWING6, PETER HARRIS7, NICHOLAS J. GLASGOW8, CRAIG CAMPBELL9, DEEPAK DATH10,

RONALD M. HARDEN11, WILLIAM IOBST12, DONLIN M. LONG13, RANI MUNGROO14, DENYSE

L. RICHARDSON15, JONATHAN SHERBINO16, IVAN SILVER17, SARAH TABER18, MARTIN TALBOT19 &

KENNETH A. HARRIS20

최근 몇 년간 역량중심 의학교육(CBME)은 교육자들과 정책입안자들의 관심을 끌었지만, 이 패러다임에 대해서 합의된 부분은 많지 않다. 우리는 International CBME Collaborator와의 파트너십을 통해 현재 이슈가 되고 있는 것들을 살펴보았다.

다중 단계 그룹 프로세스(multi-stage group process)를 이용해서 consensus conference를 열어 CBME에 대한 문헌을 살펴보고, 명확히 해야 할 쟁점을 밝히고, 여러 분야의 교육자들이 활용할 수 있는 정의와 개념을 세우고, 미래에 나아갈 방향을 살펴보았다. 

이 논문에서는 20세기의 outcome movement를 중심으로 CBME의 진화를 설명하고자 한다. (outcome movement는 accountability and curricular outcomes and organized around competencies, promotes greater learner-centredness and de-emphasizes time-based curricular design에 초점을 둔다.) 이 패러다임에서는 역량 및 그와 관련된 용어들의 다각도적, 역동적, 발전적, 맥락적 특성을 강조한다. 

여기서는 CBME 접근법과 이와 관련된 개념을 설명하는 동시에 많은 의학교육자들이 이 논의에 참여하고 21세기 CBME의 잠재력과 위험요인을 모두 살펴볼 수 있는 기회가 되었으면 한다.

도입

Introduction

우리는 미래에 경험보다는 전문성이 역량 기반 실천 및 인증의 기초가 될 것이라고 믿습니다 (Aggarwal & Darzi 2006)

We believe that in the future, expertise rather than experience will underlie competency-based practice and...certification (Aggarwal & Darzi 2006)

CBME라는 용어가 이 전문직에 도입되었으며, 상위 일반 의학 저널 (Leung 2002, Aggarwal & Darzi 2006)에서 토론되고있다. "역량"은 많은 영역에서 의학 교육 계획의 단위가되었다 (Leung 2002; Albanese et al.2008).

CBME has entered the lexicon of the profession and is now debated in the top general medical journals (Leung 2002; Aggarwal & Darzi 2006).‘‘Competencies’’ have become the unit of medical educational planning in many jurisdictions (Leung 2002; Albanese et al.2008). 

방법

Methods: The ICMBE Collaborators

역량바탕교육의 기원

Origins of competency-based education

전문가 육성에 대한 역량 기반 접근법에 대한 요구는 60 년 이상으로 거슬러 올라간다 (Grant 1975, Spady 1977, Carraccio 외 2002) Tyler (1949)와 Mager (1997)의 연구에서 언급된 프로그램 목표와 목표에 중점을 두는 방식이 20 세기 초반에 널리 채택되었지만, 다른 이들은 프로그램 최종 제품을 희생하여 프로세스에 대한 집중을 거부했습니다. 성과기반교육 (OBE)은 이것에 대한 대응으로 발생했다 (Block 1974, Rubin & Spady 1984, Levine 1985, Spady 1994, Harden 1999). OBE는 학습자와 프로그램 결과물을 강조했으나 이를 달성하기위한 경로 및 과정을 강조하지 않았습니다. 지식 목표를 중심으로 구성된 전통적인 기준은 프로그램의 제품에 관계없이 교육 과정을 강조하는 경향이 있지만, OBE는 반대 입장을 취합니다. 성과에 따라 모든 커리큘럼 결정이 guide되고, 커리큘럼 프로세스는 부차적이다 (Harden 1999). 이러한 맥락에서 역량 기반 접근법은 OBE의 한 유형으로 볼 수 있습니다.

Calls for competency-based approaches to preparing professionals go back 60 years or more (Grant 1975; Spady 1977; Carraccio et al. 2002) Although an emphasis on program goals and objectives articulated in the work of Tyler (1949) and Mager (1997) was widely adopted in the early 20th century, others rejected the ensuing focus on process at the expense of program end-products. Outcome-based education (OBE) arose in response (Block 1974; Rubin & Spady 1984; Levine 1985; Spady 1994; Harden 1999). OBE emphasized learner and program outcomes, not the pathways and processes to attain them. Whereas traditional criteria organized around knowledge objectives tend to emphasize the instructional process, regardless of the product of the program, OBE takes the opposite position: outcomes guide all curriculum decisions, and curriculum processes are secondary (Harden 1999). In this context, competency-based approaches to curricula can be seen as a type of OBE.

CBME의 rationale

The rationale for CBME

CBME가 새로운 것이 아니라면 지금 왜 그런 관심을 끌고 있습니까? 최근 몇 년 동안 세력 및 추세가 CBME에 특별한 관심을 불러 일으켰습니다.

If CBME is not new, why it is attracting such interest now? In recent years, number of forces and trends have given rise to a particular interest in CBME.

1. 교육과정 성과에 초점

1. A focus on curricular outcomes

CBME의 지지자들은 전문직에 대한 책임과 감시의 시대에, 의학 교육자들은 모든 졸업생들이 실무에 대비할 수 있도록해야한다고 주장했다. 많은 commentators들이 여러 커리큘럼이 졸업생에게 필요한 성과를 명시적으로 정의내리지 않을 뿐만아니라, 성과의 배움, 평가, 습득을 확인하고 있지도 않다고 지적했다. 그들은 교육과정 개발에 있어서 serve할 인구의 요구에 명시적으로 연계된 접근 방식을 옹호하며, 이들은 본질적으로 실용주의자이다. 각 커리큘럼 요소는 학습자 결과에 기여해야하며, 그렇지 않으면 제거되어야 한다. 또한, 하나의 핵심 영역의 능력(예 : 절차 적 기술)이 다른 능력(예 : 의사 소통)의 부족을 보완하는 현상은, 전문직과 대중에게 해를 끼친다고 주장한다.

Advocates of CBME argue that, in an era of greater accountability and scrutiny of the professions, medical educators must ensure that every graduate is prepared for practice. Commentators in many countries have noted that many curricula do not even explicitly define the outcome abilities needed of graduates, let alone ensure they are learned, assessed, and acquired. They advocate an approach to curriculum planning that, explicitly tied to the needs of those served, is inherently utilitarian: each curricular element must contribute to learner outcomes or be cut. In addition, they argue that the phenomenon of allowing ability in one essential domain (e.g., procedural skills) to compensate for lack of ability in another (e.g., communication) does a disservice to both the profession and the public served.

2. 능력을 강조

2. An emphasis on abilities (competencies as the organizing principle of curricula)

목표 기반 접근법의 환원주의는 기술, 태도, 진료의 고차원적인 측면을 희생하여 지식에 지나치게 강조하게되었다 (Talbot 2004). 또한 독립적 지식 목표 목록은 학습learning이 커리큘럼 전체에 통합되어 있지 않은 프로그램을 만들고는 한다. CBME 패러다임에서, 교육과정 요소는 구성주의적 방식으로 서로 구성되도록 조정됩니다. 역량을 organizing framework로 사용함으로써 교육자는 앞선 학습 요소를 지속적으로 통합하고, 관찰 가능한 능력을 강조하는 학습 경험을 설계함으로써 이러한 문제를 해결할 수있는 기회를 갖게됩니다 (McGaghie 1978, Voorhees 2001a, Carraccio 외 2002).

the reductionism of objectives-based approaches has led to an over-emphasis on knowledge at the expense of skills, attitudes, and higher order aspects of practice (Talbot 2004). In addition, independent lists of knowledge objectives can create a program in which learning is not integrated across the curriculum. In the CBME paradigm, curricular elements are tailored to build on one another in a constructivist manner. by using competencies as an organizing framework, educators have an opportunity to address these issues by designing learning experiences that continuously incorporate prior learning elements and emphasize observable abilities (McGaghie 1978; Voorhees 2001a; Carraccio et al. 2002).

3. 시간 기반 훈련을 강조하지 않음

3. A de-emphasis of time-based training

현대 의학 교육은 실제로 취득한 능력 (오랜 2000)보다는 훈련 (예 : 회전)에서 소비 된 시간의 양을 중시한다. 자격증 시험 자격과 같은 의사 자격 증명의 측면은 특정 경험에 소비되는 시간에 초점을 두는 경향이 있습니다.

contemporary medical education oriented toward the amount of time spent in an aspect of training (e.g., a rotation) rather than the abilities actually acquired (Long 2000). Aspects of physician credentialing, such as eligibility for certification exams, tend to focus on time spent on specific experiences.

융통성있는 시간주기를 가진 커리큘럼은 엄격하게 시간 중심으로 구성된 커리큘럼보다 효율적이고 매력적일 수 있습니다 (Bell et al. 1997; Long 2000; Carraccio 외. 2002).

a curriculum with flexible time periods may be more efficient and engaging than a strictly time-based curriculum (Bell et al. 1997; Long 2000; Carraccio et al. 2002).

4. 학습자 중심 촉진

4. The promotion of learner-centredness

CBME는 trainee가 자신의 진도와 발전에 책임을 지도록 장려합니다.

CBME, encourages trainees to take responsibility for their progress and development by mapping out a transparent pathway frommilestone to milestone on their way toward competence.

CBME란 무엇인가? 핵심 개념 정의

What is CBME? Defining the key concepts