역량바탕교육의 정책적 함의(Med Teach, 2010)

Identifying the policy implications of competency-based education

SARAH TABER1, JASON R. FRANK2, KENNETH A. HARRIS3, NICHOLAS J. GLASGOW4, WILLIAM IOBST5 &

MARTIN TALBOT6, FOR THE INTERNATIONAL CBME COLLABORATORS

1Royal College of Physicians and Surgeons of Canada, 2Royal College of Physicians and Surgeons of Canada and University of Ottawa, Canada, 3Royal College of Physicians and Surgeons of Canada, University of Ottawa, and University of Western Ontario, Canada, 4Australian National University, Australia, 5American Board of Internal Medicine, and Pennsylvania State University College of Medicine, USA, 6University of Sheffield, England







도입

Introduction 


역량 기반 의학 교육 (CBME)이 건강 전문 교육의 매력적인 틀로서 받아 들여짐에 따라, 교육자와 학습자는이 접근법의 잠재력을 최대한 실현하는 데 어려움을 겪을 것입니다. CBME의 진보를 위해서는 핵심 교리에 대한 공통된 이해가 필요하다는 것을 인식하고, International CBME Collaborators group의 구성원은 핵심 원칙을 명확히하고 공통된 용어 이해에 도달하기 위해 노력했습니다. 이 과정에서 제안 된 패러다임의 시행은 기관, 의학 교육 지도자 및 의료 정책 입안자에게 중요한 정책적 함의를 가질 것임이 분명 해졌다. 따라서 이 논문에서는 발생하는 문제에 대한 더 많은 논쟁을 촉진하기 위해 CBME의 정책적 차원들을 간략하게 검토합니다.

As competency-based medical education (CBME) gains acceptance as an attractive framework for health professions education, educators and learners will face a range of challenges in realizing the full potential of this approach. Recognizing that the advancement of CBME requires a shared understanding of its central tenets, the members of the International CBME Collaborators group have worked to articulate core principles and to arrive at a common understanding of terms. During this process, it became apparent that the implementation of this proposed paradigm will have important policy implications for institutions, medical education leaders, and health care policy-makers. In this paper, therefore, we briefly examine the policy dimensions of CBME in order to stimulate further debate on the issues arising. 




원칙, 희망, 과제

Principles, promise, and challenges 


ICBME 공동 작업자는 보건 전문 교육에 대한 역량 기반 접근 방식을 구별하는 세 가지 중요한 원칙을 설명합니다.

The ICBME Collaborators describe three overarching principles that distinguish a competency-based approach to health professions education: 


. 의사의 역량다차원적이고 역동적이며 문맥 적이며 발달 적입니다. . 이것은 여러 영역의 능력을 포함합니다. . . 능력의 각 영역마다 초보자에서 마스터에 이르는 다양한 능력의 범위가 있습니다. . 역량의 개념은 끊임없이 변화하는 맥락 적 구조이다. . 각 의사는 어느 한 상황에서 언제든지 독특한 능력의 constellation 를 가지고있다. "

. physician competence is ‘‘multidimensional, dynamic, contextual, and developmental. . .[I]t involves multiple domains of ability . . . For each domain of competence, there is a corresponding spectrum of ability from novice to master. . .[T]he concept of competence [is] an ever-changing, contextual construct. . .[such that] each physician has a unique constellation of abilities at any time in any one context.’’ 


. 역량 학습의 작은 요소들로부터 조합될 수 있는 ingredients of competence로 볼 수 있습니다. . Competencies란 abilities 또는 capabilities로서 CBME의 조직 단위입니다. "

. competencies can be viewed as ‘‘ingredients of competence, which can be assembled from smaller elements of learning. . .[C]ompetencies are. . .abilities or capabilities and are the organizing units of CBME.’’ 


. CBME는 졸업시에 필요한 능력을 염두에두고 교육 과정을 조직하는 교육 패러다임입니다. 보다 구체적으로 말하자면 ICBME Collaborators는 "역량 구성 프레임 워크를 사용하여 의료 교육 프로그램의 설계, 구현, 평가 및 평가에 대한 결과 기반 접근 방식"으로 정의될 수 있다. 의도한 성과로부터 후향적으로backward 작업함에 따라 교육자들은 연수생이 필요한 역량을 획득 할 때 도달해야 할 마일스톤을 도출할 수 있다. 이러한 능력을 위한 학습 방법과 평가 도구는 학습자의 발전을 촉진하기 위해 선택 될 수있다. "(Frank et al. 2010).

. CBME, therefore, is an educational paradigm whereby curricula are organized with the end – the abilities needed of graduates – in mind. More specifically, it is defined by the ICBME Collaborators as ‘‘an outcomes-based approach to the design, implementation, assessment, and evaluation of medical education programs using an organizing framework of competencies.’’ Further, by ‘‘working backward [from the desired outcomes], educators can . . . identify milestones that trainees will need to reach as they acquire the required competencies. Instructional methods and assessment tools for these abilities can then be selected to facilitate the development of learners’’ (Frank et al. 2010). 


현대 의학 교육의 일반적인 접근 방식과 비교할 때, CBME의 개념화는 outcomes abilities 에 중점을두고 훈련 전반에 걸친 발달 단계에서 이러한 능력을 평가할 것을 약속합니다. 또한 학습자 중심의 커리큘럼을 촉진할 수있는 메커니즘을 제공하며, 시간 기반 교육 및 자격 인증에서 벗어날 가능성도 있습니다.

In comparison with prevailing approaches in contemporary medical education, this conceptualization of CBME promises greater emphasis on outcomes abilities and on the assessment of those abilities at developmental milestones throughout training. It also provides a mechanism for the promotion of learner-centred curricula, along with the potential to move away from time-based training and credentialing in medicine. 


그러나, 동일한 이유로, CBME는 몇 가지 중요한 도전을 제시합니다. 임상 의사에게 중요한 모든 영역에서 역량을 확인, 정의 및 평가하는 데 필요한 작업 외에도 Frank와 coauthors (2010)는 현재의 의학 교육 및 보건 시스템에서이 접근법의 채택 및 구현에 대한 장벽을 설명합니다. 시간 기반 시스템에서 벗어나기 위해 요구되는 노력, 교육, 인프라 및 평가에 대한 요구 사항을 충족시키는 데 필요한 자원, 그리고 아마도 인력 요구 사항을 증대시키는 데 필요한 자원 (이 호의 638-645 페이지 참조).

However, by the same token, CBME presents several significant challenges. Beyond the work needed to identify, define, and assess competencies in all of the domains important for a practising physician, Frank and coauthors (2010) describe barriers to the adoption and implementation of this approach in the current medical education and health care systems, including the effort that will be required to move away from a time-based system, the resources necessary to meet the demands of teaching, infrastructure, and assessment, and perhaps even augmented workforce requirements (see pp. 638–645 in this issue). 





주요 정책함의

Major policy implications 


'정책'이라는 용어는 다양한 방식으로 정의 할 수 있습니다. 이 토론의 목적을 위해, 우리는 정책을 다양한 옵션과 그 잠재적 효과를 고려하여 조직 또는 시스템 결정을 내리는 과정으로 광범위하게 적용합니다 (Torjman 2005). 정책적 함의는 정치적, 경영 적, 재무 적, 행정 적 관점을 포함한 다수의 유리한 점에서 조사 될 수있다. 따라서 본 절에서는 메소 (프로그램, 제도) 및 매크로 (건강 관리) 분야에서 의학 교육 지도자, 의료기관 및 정책 입안자를위한 주요 고려 사항에 대해 광범위한 교육 정책 렌즈를 통해 CBME의 개념을 검토합니다 시스템, 사법권 및 국제 수준) (표 1 참조).

The term ‘‘policy’’ can be defined in various ways. For the purposes of this discussion, we apply it broadly to refer to the process of making organizational or system decisions by considering a number of options and their potential effects (Torjman 2005). Policy implications can be examined from a number of vantage points, including political, management, financial, and administrative perspectives. In this section, therefore, we examine the concepts of CBME through a wide educational policy lens, noting key considerations for medical education leaders, health care institutions, and policy-makers, at both the meso (program, institutional) and macro (health care system, inter-jurisdictional and international) levels (see Table 1). 



프로그램과 기관 정책함의

Program and institutional policy implications 


프로그램 및 기관 수준에서 CBME의 구현은 의학 교육 프로그램의 설계 및 구성뿐만 아니라 의료 서비스 제공과 이러한 프로그램의 연계성에 영향을 미칩니다. 이러한 함의는 다음과 같이 설명 할 수 있습니다.

At the program and institutional levels, the implementation of CBME will have implications for the design and organization of medical education programs, as well as for the alignment of these programs with the delivery of health services. These implications can be described as follows. 


1. 수련 로테이션과 의료서비스의 로지스틱스

1. Logistics of training rotations and health service delivery 


의학 교육의 일반적인 모델에서 교과 과정과 자격 인증은 훈련에 소요 된 고정 시간을 강조하는 경향이 있다 (Long 2000; Carraccio 외 2002; Frank et al. 2010). 이러한 고정된 교육 기간은 교육 서비스의 제공에 대한 연수생의 참여뿐만 아니라 교육 로테이션에 대한 계획되고 예측 가능한 일정으로 쉽게 전환됩니다. 현상을 유지하고자 하는 사람들은 시간 기반 시스템의 연수생은 로테이션이 끝나기 전에 획득한 능력을 폭이나 깊이 면에서 여전히 로테이션 후에도 풍부하게 유지할 수 있다고 주장 할 것이다. 그러나 이러한 진전을위한 최선의 방법임을 나타내는 증거는 없습니다.

In the prevailing model of medical education, both curricula and credentialing tend to emphasize fixed times spent in training (Long 2000; Carraccio et al. 2002; Frank et al. 2010). These fixed training periods easily translate into planned and predictable scheduling for educational rotations, as well as for trainees’ participation in the delivery of health services. Defenders of the status quo will argue that trainees in a timebased system who have achieved competence before the end of a rotation can still continue to enrich their abilities, in terms of either breadth or depth; however, no evidence is available to indicate that this is the best way to make such progress. 


CBME는 학습자가 특정 영역을 통해 다른 속도로 진행하고 평균보다 빠르거나 느린 역량을 달성 할 수 있도록 시간 기반 교육을 덜 강조 할 수 있습니다. 그러나 융통성있는 학습자 중심의 접근법은 불가피하게 의학 교육 및 보건 서비스 제공 일정 수립에 영향을 미칩니다. 연수생이 필요한 역량을 획득하고 로테이션을 일찍 떠날 수있는 가능성이있을 때 어떻게 단위 일정을 계획 할 수 있습니까? 충분한 연수생이 평균보다 느리게 끝날 것이라고 가정하여 일정을 조정할 수 있습니까? CBME 패러다임을 완전히 포용하기 위해서는 보건 서비스 제공에있어 연수생에 대한 의존도를 철저히 조사해야 할 수도 있습니다. 스케줄링과 관련된 추가 과제로는 교육 필요성을 충족시키기 위해 직원, 시간 또는 자원 부족으로 병목 현상이 발생할 가능성이 있습니다.

CBME has the potential to de-emphasize time-based training, meaning that learners may progress at different rates through certain areas, and achieve ‘‘threshold’’ competencies faster or slower than the average. This inherently flexible and learner-centred approach has implications, however, for the scheduling of both medical education and health service provision. How can a unit plan its call schedule when the potential exists for trainees to acquire the competencies needed and leave a rotation early? Can one assume that enough trainees will finish slower than the average, thus balancing out the schedule? The reliance on trainees in the provision of health services may need to be thoroughly examined in order to fully embrace the CBME paradigm. Additional challenges associated with scheduling include the potential for rotations to become bottlenecked by a lack of staff, time, or resources to meet educational needs. 


2. 환원주의 vs 수월성 논쟁

2. The reductionism versus excellence debate 


CBME의 비판자들은 더 작고 작은 구성 요소로 역량을 줄이는 것을 비판했다 (Talbot 2004). 가장 초기의 목소리 논평자 중 한 명인 그랜트 (Grant, 1999)는 행동주의자의 힘을 빌어 프로페셔널리즘을 공격하는 것이라고 주장하며, 역량 기반 접근법은 지나치게 단순화되었고 전문적인 임상 실습의 결정 불가능한 복잡성을 해결하기에는 완전히 부적절하다고 주장하였다. CBME의 환원주의적 특성은 전체가 항상 그 부분의 합과 같지 않다는 비판을 받아왔으며, 모든 역량의 통합을 의미하는 능력에 필요한 헤아릴 수 없을만큼 중요한 요소가 있이 지적된다. 그러나 훈련중인 의사의 성숙 과정은 자기 주도적이거나 경험적 학습보다 시간-기반 훈련 프로그램에서 가장 잘 수행된다는 증거도 부족하다.

Critics of CBME have highlighted its focus on reducing competence into smaller and smaller component parts (Talbot 2004). Grant (1999), one of the earliest and most vocal commentators, argued that CBME represents an attack on professionalism by virtue of a behaviourist, competencebased approach to clinical training that is overly simplistic and totally inadequate to address the often unquantifiable complexities of expert clinical practice. The reductionist potential of CBME has left it open to criticism on the grounds that the whole is not always equal to the sum of its parts, and that there is an immeasurable je ne sais quoi needed for competence that implies the integration of all competencies. That being said, however, there is a lack of evidence that the maturation process of physicians-in-training is best undertaken in a timebased training program rather than through self-directed or experiential learning. 


CBME 모델을 채택 할 때 의학 교육자는 교육과정과 평가를 개인 역량에 기반하면서 동시에 통합된 역량의 덜 가시적 인less tangible 측면을 무시하지 않을 수 있을지 고려해야 합니다. 또한 교육자는 CBME 모델이 자기주도적 평생 학습을 통해 수월성을 추구 할 수 있도록 졸업생을 준비하는 데있어 역할을 고려해야합니다.

In adopting a CBME model, medical educators must consider how to base curricula and assessment on individual competencies while not neglecting the less tangible aspects of an overall, integrated competence such as described by Grant (1999). In addition, educators must consider the role CBME models can play in preparing graduates for the pursuit of excellence over a lifetime of self-directed learning in practice. 


3. 교수의 참여 증대와 교수개발 강조

3. Greater involvement from faculty and greater emphasis on faculty development 



CBME는 개별 관찰 학습 경로의 감독뿐만 아니라 직접적인 관찰과 평가 측면에서 더 많은 교수 참여를 요구할 것입니다 (Holmboe 2004; Frank et al. 2010). 그 의미는 추가 교수진이 필요하거나 개별 임상 교사가 더 많은 시간을 교육에 쏟아야 하며, 따라서 진료 시간을 줄이는 것이 필요할 수 있습니다. 그럼에도 불구하고 더 많은 교수진 의견에 대한 필요성은 의학 교육 프로그램 및 학술 센터의 지도자에게 다양한 질문을 제기합니다. 교수진의 추가 참여 필요성은 어떻게 구성 될 수 있습니까? 환자 치료에 대한 잠재적 영향은 무엇입니까? 보상에 대한 의미는 무엇입니까? 추가 직원이 필요합니까? 

CBME will require greater faculty involvement in terms of direct observation and assessment, as well as in the supervision of individualized learning pathways (Holmboe 2004; Frank et al. 2010). The implication may be a need for additional faculty, or for individual clinical teachers to spend more time teaching, thus taking clinical practice time away from an already underserviced enterprise. Regardless, the need for greater faculty input raises various questions for leaders of medical education programs and academic centres. 

  • How can the need for additional involvement from faculty be organized? 

  • What is the potential impact on patient care? 

  • What are the implications for remuneration? 

  • Will additional personnel be required? 

복잡성을 추가하는 것은 익숙한 현실이며, 추가 리소스에 대한 필요성과 관련된 문제가 종종 정부, 학술 센터, 병원 및 기타 의료 기관과 같은 여러 이해 관계자 그룹의 공동 책임임을 잘 알고 있습니다.

Adding to the complexity is the familiar reality that issues concerning the need for additional resources are often the shared responsibility of a number of stakeholder groups, such as governments, academic centres, hospitals, and other health care organizations. 


또한, 변화 관리에 중점을 둔다면, 새로운 능력과 기존의 교수진 모두 역량 기반 접근법을 먼저 이해하고 실행하기위한 지식과 도구를 갖추기 위해서는 교수개발에 대한 상당한 투자가 필요합니다.

In addition, significant investments in faculty development, including an emphasis on change management, will be needed to equip both new and existing faculty with the knowledge and tools to first understand, and then implement, a competency-based approach. 



4. 평가의 중요성

4. The importance of assessment 


이 테마 문제에 대한 다른 공헌자로서, 현대 의학 교육은 결과 (예 : 대학원 역량, 의사 실적, 학습자 만족도 또는 환자 간호 품질)보다 프로세스(교육 방법)를 강조하는 경향이 있습니다. CBME 접근법은 바람직한 결과, 즉 실습을 위해 연수생을 준비하는 데 필요한 역량을 중심으로 교육을 정의하고 설계하는쪽으로 이동합니다.

As other contributors to this theme issue note, contemporary medical education tends to emphasize process issues (instructional methods) over outcomes (e.g., graduate competence, physician performance, learner satisfaction, or patient care quality). A CBME approach moves toward defining and then designing education around desired outcomes – that is, the competencies needed to prepare trainees for practice. 


교육 커리큘럼의 디자인이 성과에 초점을 맞추기 위해 변화한다면, 역시 평가도 그러해야 한다. 원하는 결과를 측정하기 위해서는 그에 맞는 평가 도구와 전략이 필요합니다. CBME의 경우 연수생의 명시된 역량을 측정하는 능력이 필수적이다 (Holmboe 외. 2010).

If the design of educational curricula changes to focus on outcomes, so too must assessment. Assessment tools and strategies are needed to measure the desired outcomes; in the case of CBME, the ability to measure trainees’ achievement of stated competencies is essential (Holmboe et al. 2010). 


따라서 CBME는 형성평가와 총괄평가에 대한 함의를 지닌다. 실용적이고 전체론적 인 방식으로 역량 획득과 연수생이 훈련을 통해 이정표로 나아가는 과정을 명시 적으로 측정해야합니다. 의학 교육자와 지도자는 역량을 측정하고 역량에 대한 건설적인 피드백을 연수생에게 제공하는 새롭고 견고한 평가 도구가 어떻게 실현되고 개발 될 수 있는지 고려해야합니다. 또한 CBME 접근 방식에서 의학 교육자는 교육이 특정 개인에 대한 치료의 끝없는 반복이 되지 않도록 '최종적 실패'와 같은 개념을 정의하는 방법을 고려해야합니다.

Thus, CBME has implications for the design of formative and summative assessment tools; both will be needed to explicitly measure, in a manner that is both pragmatic and holistic, the acquisition of competencies and trainees’ progress toward milestones throughout their training. Medical educators and leaders must consider how new, robust, assessment tools that measure competencies and provide trainees with constructive feedback about competency milestones can feasibly be developed and implemented. In addition, in a CBME approach, medical educators must consider how to define concepts such as ‘‘terminal failure,’’ such that training does not become an endless loop of remediation for certain individuals. 


5. 프로그램 평가와 인증의 성과-기반 접근법

5. Outcomes-based approaches to program evaluation and accreditation 


CBME가 결과에 더 중점을 두겠다고 약속하면 인증 표준 및 시스템도 훈련 프로그램이 이러한 성과를 달성 할 수있는 능력을 평가하는 방향으로 진화해야합니다. 결과에 기반한 프로그램 평가로의 전환은 (달성 된 결과에 대한 더 큰 책임 성을 포함하여 많은 이익과 기회와 관련되어 있지만) 어려움을 겪고 있습니다. 결과 측정 및 정의의 선택과 데이터 수집 및 해석은 모두 주의하여 수행해야합니다.

If CBME promises a greater emphasis on outcomes, standards and systems of accreditation must also evolve to evaluate the ability of training programs to deliver those outcomes – that is, to prepare graduates adequately for practice. Although a shift toward outcomes-based program evaluation is associated with many benefits and opportunities, including greater accountability for outcomes achieved, it is also fraught with challenges. The selection of outcome measures and definitions, as well as data collection and interpretation, must all be carried out with caution. 


로얄 칼리지 의사와 캐나다 외과 의사 및 미국 대학원 의학 교육 대학의 역량 기반 프레임 워크 구현에 대한 경험에 따르면, 결과를 중시하는 방향으로 인증을 변화시키는 과정은 느렸다.  캐나다에서는 2002 년부터 CanMEDS 역량을 가르치고 평가하는 방법을 보여주기 위해 교육 프로그램이 필요하지만, 프로그램 및 대학은 졸업생의 성공 또는 실무에 필요한 역량 획득 실패에 대해 책임지지 않습니다 (Royal College 2009)

Experience at both the Royal College of Physicians and Surgeons of Canada and the American College of Graduate Medical Education with the implementation of competency-based frameworks (CanMEDS, and the Outcomes Project, respectively) have shown that the shift toward greater emphasis on outcomes through accreditation has been slow. In Canada, although training programs have been required since 2002 to demonstrate how they are teaching and assessing the CanMEDS competencies, programs and universities are not held accountable for their graduates’ success or failure in attaining the competencies needed for practice (Royal College 2009). 


시스템 수준의 정책함의

System-level policy implications 


CBME는 또한 자금 지원, 보건 인적 자원, 면허 및 일반인에 대한 책임과 관련하여 거시 시스템 차원에서 의학 교육 지도자 및 정책 입안자에게 영향을 미칩니다.

CBME also has implications for medical education leaders and policy-makers at the macro system level with respect to funding, health human resources, licensure, and accountability to the public. 


1. 의학교육 펀딩

1. Funding of medical education 


의료 교육의 시간 기반 모델에서 벗어나면 정부와 다른 지불 자의 의료 교육 프로그램에 대한 자금 지원에 영향을 미칠 것입니다. 전통적인 시스템에서 레지던트 포지션은 고정 된 시간 단위를 기준으로 자금을 조달하므로 비용을 예측하고 연간 예산을 계획 할 수 있습니다. 또한 많은 관할 지역에서 레지던트들은 순위에 따라 등급별 급여 등급을 사용하여 의료 서비스 제공에있어 그들의 역할에 대해 지불됩니다. 

  • 유연하고 학습 중심적인 의학 교육에 자금을 지원하기 위해 대학, 정부 및 기타 이해 관계자가 변경해야 할 사항은 무엇입니까? 

  • 복잡한 이슈를 조사하기 위해 다양한 지불 자와 이해 관계자 간의 대화가 어떻게 촉진 될 수 있습니까? 

  • 훈련 기간과 관련이없는 블록 자금 지원과 같은 역량 기반의 의학 교육 자금 조달을 용이하게하는 옵션은 무엇입니까? 

  • 연수생이 조기에 끝날 수 있도록하는 재정적 인센티브와 같은 특정 자금 조달 모델에서 어떤 의도하지 않은 결과가 발생할 수 있으며, 그것들은 견제와 균형(졸업생의 능력에 대한 책임을 포함)에 의해 어떻게 완화 될 수 있습니까?

Moving away from a time-based model of medical education will have implications for the funding of medical education programs by governments and other payers. In traditional systems, residency positions are funded on the basis of fixed blocks of time, making it possible to predict costs and to plan annual budgets. Moreover, in many jurisdictions residents are paid for their role in health service provision using a graded pay scale based on rank. 

  • What changes will be needed by universities, governments, and other stakeholders to enable funding of medical education that is as flexible and learnercentred as the curriculum? 

  • How can a dialogue between the various payers and stakeholders be facilitated to examine this complex issue? 

  • What options exist to facilitate the funding of competency-based medical education, such as block funding per graduate that is not tied to length of training? 

  • What unintended consequences might arise from certain funding models (such as a financial incentive to ensure that trainees finish early), and how can they be mitigated by checks and balances, including accountability for the competence of graduates? 


2. 인적자원 함의

2. Health human resource implications 


일부 관할권에서는 CBME가 전통적인 모델보다 짧은 시간에 연습을 위해 졸업생을 준비 할 수있는 기회로 높이 평가되었습니다. 특히 호주 정부는 졸업생이 필요로하는 기술과 역량을 강조함으로써 역량 기반 모델이 실제로 노동력 부족 문제를 해결할 수 있다고 말했습니다 (생산성위원회 2005, 국민 건강 인력 태스크 포스 2008, 2009, 국민 건강 및 병원 개혁 Commission 2009). 다른 사람들은 역량 기반 프로그램이 커리큘럼에서 필수적이지 않은 부분을 제거하고 신속하게 마스터하는 커리큘럼 영역을 통해 신속하게 진행할 수 있도록하여 교육 기간을 단축 할 수 있다고 믿습니다 (Grantcharov & Reznick 2009).

In some jurisdictions CBME has been praised as an opportunity to prepare graduates for practice in less time than traditional models. In particular, the Australian government has said that, by emphasizing the skills and competencies needed by graduates, a competency-based model can actually help to address workforce shortages (Productivity Commission 2005; National Health Workforce Taskforce 2008, 2009; National Health and Hospitals Reform Commission 2009). Others believe that competency-based programs can shorten length of training by eliminating non-essential areas from the curriculum and allowing trainees to progress swiftly through areas of the curriculum that they quickly master (Grantcharov & Reznick 2009). 


그러나 CBME가 훈련을 단축하고 실무 진입을 가속화함으로써 노동력 부족을 완화하는 데 도움이 될 것이라는 증거가 부족합니다. 이러한 희망은 근시안적일 수 있다. 개별 학습자 간의 차이점, 보건 서비스 제공에서의 연수생의 필수적인 역할, 훈련생이 성숙하고 그들이 습득 한 역량을 전반적인 역량 및 실습에 통합하는 데 필요한 시간 등의 문제를 고려하지 않았기 때문이다. 실제로, CBME의 적절한 실행의 효과는 경우에 따라 훈련을 길게 할 수도 있습니다. 훈련이 평균적으로 단축되거나 길어 지거나 동일하게 유지되는지 여부에 대한 구체적인 데이터가 필요하지만 CBME는 인력 계획에 영향을 미쳐 이미 어려운 문제에 또 다른 복잡성을 더하고 있음이 분명합니다. 이러한 요구의 정의definition가 관점에 따라 다르다면, 학습자의 역량이 졸업생이 제공하는 요구(즉, 사회적 건강 요구)에서 파생되어야한다는 관념이 있다. 실제로 보편적 정의definition가 없다는 사실은 의료 교육 및 인력 계획을 알리기 위해 이러한 요구를 더 잘 조사하고 정의하는 것이 필수적임을 의미합니다.

However, there remains a lack of evidence that CBME will shorten training and thus help to relieve workforce shortages by accelerating entry into practice. It may be argued that this hope is short-sighted, for it fails to consider issues such as differences among individual learners, trainees’ essential role in health service delivery, and the time needed for trainees to mature and to integrate the competencies they acquire into overall competence and fitness for practice. Indeed, the effect of the proper implementation of CBME may be, in some cases, to lengthen training. Although concrete data are needed on whether training will, on average, be shortened, lengthened, or remain the same, it is clear that CBME will have implications for workforce planning, adding another layer of complexity to an already challenging issue. The very notion that the competencies of learners should be derived from the needs of those served by graduates (i.e., societal health needs) is challenging, given that the definition of those needs varies by perspective; indeed, the fact that no universal definition exists implies the imperative to better explore and define those needs in order to inform medical education and workforce planning. 


3. 더 큰 책무성과 역량 vs 수월성 논쟁

3. The need for greater accountability, and the competence vs excellence debate 


21 세기의 의학 교육을 향상시키는 주요 동력 중 하나는 프로그램 및 시스템 수준에서 생산 된 졸업생의 질에 대한 더 큰 책임에 대한 요구였습니다 (Curry 외, 1993; Donaldson 2001, 운영위원회 2001, Kwasnik 2004). CBME는 이러한 요구에 부응 할 수있는 고유 한 위치에 있습니다. 그러나 무엇을 어떻게 보고report할 것인가를 선택하는 것은 의학 교육 지도자와 정책 입안자 모두가 신중하게 고려할 가치가있다. 현재의 인증 및 면허 시스템, 사회 건강 요구에 대한 명확한 이해, 의료 법적 영향을 고려해야 할 수도 있습니다. 마지막으로, 더 큰 책임에 대한 요구는 '전문성'의 전통적인 패러다임과 자기 규제 직업으로서의 의학 개념에 영향을 줄 수있다 (Murray et al 2000; Donaldson 2001; Irvine 2001; Lanier et al 2003).

One of the major drivers for improving medical education in the 21st century has been a call for greater accountability, at both the program and system level, for the quality of graduates produced (Curry et al. 1993; Donaldson 2001; Steering Committee 2001; Kwasnik 2004). Given its focus on outcomes tied to preparedness for practice, CBME is uniquely positioned to meet this demand; however, the selection of what and how to report merits careful consideration by medical education leaders and policy-makers alike. It may require an examination of current systems of certification and licensure, a clearer understanding of societal health needs, as well as the consideration of medico-legal implications. Lastly, demands for greater accountability may have implications for traditional paradigms of ‘‘professionalism’’ and the notion of medicine as a self-regulated profession (Murray et al. 2000; Donaldson 2001; Irvine 2001; Lanier et al. 2003). 


"졸업생의 능력에 대해 보고"하기 위해서는 대중, 정부 및 기타 이해 관계자의 교육이 필요하다. 아마 졸업생에게 기대되는 것, 역량 자체에 대한 개념, 더 중요한 것은 전문성이 평생 학습이라는 개념을 가르쳐야 할 것이다. 장기 추적 (Campbell 외. 2010). Dreyfus와 Dreyfus (1986)가 말했듯이, 탐구는 유능한 전문가를위한 것이 아니라 전문가를위한 것이 었으며 공식 대학원 교육이 끝날 때까지 성취되지 않을 수 있습니다. 공공, 정부 및 기타 이해 관계자들에게 레지던트 프로그램을 수료한다고해서 전문성이 보장되지는 않는다는 사실을 알릴 필요가 있습니다. 대중에게 졸업생이 독립적인 진료행위를 할 수 있을 만큼 유능하다는 것을 보증 할 책임이 있지만 (즉 특정 상황에 필요한 모든 영역에서 최소한의 역량 수준을 달성음을 보여줌) 의학 교육 공동체는 역량의 정의가 지정된 관행 영역 내에서 정기적으로 바뀔 수 있음을 인식하여, 수련을 마친 사람들이 평생 전문성을 발전시킬 수 있도록 준비해야합니다.

The ability to ‘‘report’’ on graduates’ competence also requires the education of the public, governments, and other stakeholders about what is expected of graduates, the notion of competence itself and, more importantly, the concept that expertise is a life-long pursuit (Campbell et al. 2010). As stated by Dreyfus and Dreyfus (1986), the quest is not for a competent specialist, but for an expert, and this might not be accomplished by the end of formal postgraduate training. There is a need to educate the public, governments, and other stakeholders that one’s exit from residency programs does not guarantee expertise. Although there is a responsibility to the public to assure that graduates to independent practice are competent – i.e., they have attained minimum standards of competence in all domains needed for a certain context – the medical education community must also ensure that those exiting are prepared for life-long progression toward expertise, recognizing that the definition of competence may change regularly within designated areas of practice. 


4. 진료와 면허에 대한 "맥락적" 역량의 함의

4. Implications of ‘‘contextual’’ competence for practice and licensure 


맥락적 역량의 개념은 평생 학습, 실습 및 면허에 영향을 미친다. 

  • 역량을 갖추었다는 것이 "의학 교육이나 실습의 정의 된 단계에서 일정한 맥락에서 모든 영역에서 필요한 능력을 소유하고 있음"을 의미한다면, ICBME 공동 작업자는 

  • '역량이 부족하다incompetent'는 것이 의미하는 바를 정의하는 것도 필수적이라고 생각합니다. 즉 역량이 부족하다는 것은 의학 교육이나 실천의 정의 된 단계에서 특정 맥락에서 모든 영역에서 요구되는 능력이 결여되어있는 것이다. 또한 

  • dyscompetence가 의미하는 것은 '특정 맥락 또는 의학 교육의 어떤 단계에서 하나 이상의 영역에서 상대적으로 능력이 떨어진다'"이다. 

이 세 가지 정의 모두 역량은 실천 맥락에서 분리되어 고려되거나 측정 될 수 없다는 개념을 명시 적으로 제시한다.

The concept of contextual competence has implications for lifelong learning, practice, and licensure. If being 

  • competent means ‘‘possessing the required abilities in all domains in a certain context at a defined stage of medical education or practice’’ (Frank et al. 2010), the ICBME Collaborators also feel it is essential to define what it means to be 

  • incompetent, i.e., ‘‘lacking the required abilities in all domains in a certain context at a defined stage of medical education or practice,’’ and what is meant by 

  • dyscompetence, i.e., ‘‘possessing relatively less ability in one or more domains of physician competence in a certain context and at a defined stage of medical education or practice.’’ 

All three definitions make explicit the notion that competence cannot be considered or measured in isolation from the practice context under consideration. 


  • 이러한 정의가 인증, 면허, 지속적인 전문 개발 및 역량 프로그램 유지에 어떤 영향을 미칩니 까? 

  • 이러한 정의가 승인되고 채택된다면, 실습 기반 평가는 면허 및 잠재적으로 재 인증 / 검증을위한 요구 사항이 될 것인가? 

  • 관할 지역에 걸쳐 '능력'의 정의에 대한 문맥의 의미는 무엇이며, 궁극적으로 자격 증명의 이식성에 대한 의미는 무엇입니까?

  • What implications do these definitions have for certification, licensure, continuous professional development, and the maintenance of competence programs? 

  • If these definitions are endorsed and adopted, will practice-based assessment become a requirement for licensure and, potentially, re-certification/ validation? 

  • What are the implications of context for the definitions of ‘‘competence’’ across jurisdictions and, ultimately, for the portability of credentials? 


  • 마지막으로, 누가 '맥락'을 결정 하는가? 

  • 상황이 점차 집중되고 필요한 역량의 폭이보다 좁아짐에도 불구하고, 점점 더 전문화 된 분야의 의학을 선호 할 위험이 있습니까? 

  • 만약 그렇다면 이것이 일반 전문 분야와 사회에 미치는 영향은 무엇인가?

  • Lastly, who decides on the ‘‘context’’? 

  • Is there a risk of favouring increasingly specialized areas of medicine, such that the context becomes increasingly focused and the breadth of necessary competencies more narrow? 

  • If so, what are the implications for generalist specialties and society? 




고찰

Conclusions 



이 백서는 역량 기반 의료 교육 접근법과 관련된 중간 및 매크로 수준 정책 및 시스템 문제에 대한 초기 탐구입니다. CBME는 그것이 기능 할 복잡한 시스템과 분리되어 고려 될 수 없다는 것이 분명합니다. 마찬가지로 비록 CBME의 이론적 교훈을 받아 들일지라도, CBME는 복잡한 도전 과제 및 질문과 함께 여러 잠재적 인 이점과 기회를 제공하므로 시간 중심의 의료 훈련을 역량 기반 시스템으로 전환하는 것은 매우 어려운 일임을 의미합니다.

This paper is an initial exploration of meso- and macro-level policy and systems issues associated with a competency-based approach to medical education. It is clear that CBME cannot be considered in isolation from the complex systems in which it is meant to function. Similarly, it is clear that CBME presents a number of potential advantages and opportunities, coupled with complex challenges and questions, which implies that transforming time-based medical training to a competency-based system will be a daunting task, even if there is acceptance of the theoretical precepts of CBME. 


이해 관계자 참여를 위해 훨씬 더 많은 작업이 필요합니다. 의학 교육 지도자, 연수생, 학술 센터, 건강 관리 기관 및 제공자,  의료 규제 기관 및 라이센스 기관, 인정 기관, 정부 기관, 사회, 기회, 문제점 및 가능한 해결 방법에 대해 논의합니다.

Much more work is needed to engage stakeholders, including medical education leaders, trainees, academic centres, health care institutions and providers, medical regulatory authorities and licensing bodies, accreditation bodies, governmental agencies, and society, to discuss the advantages, opportunities, issues and possible solutions. 






 2010;32(8):687-91. doi: 10.3109/0142159X.2010.500706.

Identifying the policy implications of competency-based education.

Author information

1
Royal College of Physicians and Surgeons of Canada. STaber@rcpsc.edu

Abstract

At their 2009 consensus conference, the International CBME Collaborators proposed a number of central tenets of CBME in order to advance the field of medical education. Although the proposed conceptualization of CBME offers several advantages and opportunities, including a greater emphasis on outcomes, a mechanism for the promotion of learner-centred curricula, and the potential to move away from time-basedtraining and credentialing in medicine, it is also associated with several significant barriers to adoption. This paper examines the concepts of CBME through a broad educational policy lens, identifying considerations for medical education leaders, health care institutions, and policy-makers at both the meso (program, institutional) and macro (health care system, inter-jurisdictional, and international) levels. Through this analysis, it is clear that CBME is associated with a number of complex challenges and questions, and cannot be considered in isolation from the complex systems in which it functions. Much more work is needed to engage stakeholders in dialogue, to debate the issues, and to identify possible solutions.

PMID:
 
20662582
 
DOI:
 
10.3109/0142159X.2010.500706

[Indexed for MEDLINE]

CPD와 KT: 시너지를 위한 기회(J Contin Educ Health Prof. 2011)

CPD and KT: Models Used and Opportunities for Synergy

JOAN SARGEANT, PHD; FRANCINE BORDUAS, MD; ANNE SALES, PHD, RN; DOUG KLEIN, MD MSC; BRENNA LYNN, PHD;

HEATHER STENERSON, MED





스테이지 소개, 정의 및 설정

Introduction, Definitions, and Setting the Stage 



지속적인 전문 개발 (CPD)지식 번역 (KT)은 공통 목표 (즉, 의료 및 보건 전문 실무의 향상, 따라서 환자 치료 및 인구 건강 결과)를 공유하는 의료 분야 내의 분야입니다. 여러면에서 유사하고 대표적인 CPD 문헌에 링크되어 있지만, 1 개의 두 필드는 서로 다르고 분리되어 발전해왔다. 이 article에서는 이러한 유사점과 차이점에 대한 이유와 향상된 시너지 효과에 대한 기회를 살펴 봅니다.

Continuing professional development (CPD) and knowledge translation (KT) are fields within health care that share common goals (ie, the improvement of medical and health professional practice and hence patient care and population health outcomes). While similar in many ways and linked in seminal CPD publications,1 the two fields also differ and have developed somewhat separately. This article explores reasons for these similarities and differences, as well as opportunities for enhanced synergy. 


CPD 란 건강 전문가가 환자, 일반 대중 및 전문직을 돌보는 데 사용하는 지식, 기술, 전문적 성과 및 관계를 유지, 개발 및 향상시키기 위해 수행하는 일련의 교육 활동을 가리 킵니다. 1-3 CPD는 더 좁은 초점을 맞춘 전통적인 교훈적인 의학 교육 (CME)의 개념에서 유래하지만; 

  • 임상 도메인뿐 아니라 추가 전문 실무 역량 (예 : 의사 소통, 협업, 전문직)을 다룹니다. 과

  • 자기 주도적 평생 학습과 실습을 강조한다.

그러나 CPD는 CME와 마찬가지로 개인에 초점을 맞추기를 계속하지만, 환자의 보육을 향상시키고 건강 결과를 향상시키는 것이 궁극적인 목표입니다.

CPD refers to an array of educational activities that health professionals undertake to maintain, develop, and enhance the knowledge, skills, professional performance, and relationships they use to provide care for patients, the public, and the profession.1−3 CPD evolves from the more narrowly focused and traditional concept of didactic continuing medical education (CME); 

  • addresses not only the clinical domain, but also additional professional practice competencies (eg, communication, collaboration, professional); and 

  • emphasizes self-directed lifelong learning and learning from practice.4 

CPD continues, however, like CME, to generally focus on the individual, yet the overarching goal is to enhance patient care and improve health outcomes. 


많은 부분에서 implementation science과 유사한 지식 번역 (knowledge translation, KT)지식이 실제 적용되는 방식을 광범위하게 지칭하는 상대적으로 새로운 분야이며,보다 구체적으로는 환자 결과를 개선하고, 더 효과적인 의료서비스를 제공하고, 헬스케어 시스템을 강화하기 위하여 근거기반의료를 적용한다 .5,6 캐나다 보건 연구원 (CIHR)은 KT 이니셔티브에 많은 관심과 기금을 지원하고 지식 번역을 "합성, 보급, 교환 및 지식의 윤리적 응용을 통해 캐나다인의 건강을 향상시키는 역동적이고 반복적 인 프로세스"로 정의합니다. 또한 KT가 보다 효과적인 건강 서비스 및 제품을 제공하고 보건 의료 시스템을 강화할 것 "이라고 강조했다.

Knowledge translation (KT), similar in many aspects to implementation science, is a relatively new field that refers broadly to the ways that knowledge is applied in practice, and more specifically to application of evidence-based practice to 

  • improve patient outcomes, 

  • provide more effective health services, and 

  • strengthen health care systems.5,6 

The Canadian Institute for Health Research (CIHR) devotes extensive attention and funding to KT initiatives, and defines knowledge translation as “a dynamic and iterative process that includes synthesis, dissemination, exchange, and ethically sound application of knowledge to improve the health of Canadians; provide more effective health services and products; and strengthen the health care system.”6 


그러나 KT 활동의 초점은 개인 건강 전문가가 최선의 근거를 적용하여 실천을 바꾸고 환자 결과를 개선 할 수있게하는 데있다. 의료 시스템과 정책이 목표 일지라도 CPD와 마찬가지로 일반적으로 개인에 초점을 맞추고 있습니다 .7

However, much of the focus of KT activities is also upon enabling individual health professionals to change their practice and improve patient outcomes by applying best evidence. Although health systems and policies may also be the target, the focus has generally been on the individual, similar to CPD.7 



KT와 CPD의 궁극적 인 목표는 환자 치료와 결과를 향상시키는 것이지만, 이러한 목표를 향한 길은 다릅니다. 

  • CPD의 경우, 전통적으로 교육 및 학습을 활용한다 

  • KT는 행동 변화를보다 직접적으로 유도하는 개입을 통한다. 

이러한 상이한 방향은 일반적으로 2 개의 필드와 관련 연구를 제한된 교차로가 있는 평행 스트림으로 작동하게했습니다.

While the ultimate goals of both KT and CPD are to improve patient care and outcomes, the paths towards these goals differ. 

  • For CPD, the path has been traditionally through education and learning; 

  • for KT, through interventions which more directly promote behavior change. 

These different orientations have generally led to the two fields and their related research operating as parallel streams with limited intersection. 


CPD와 KT의 두 분야를 더 자세히 살펴 보는 것이 시급한 이유는 무엇입니까? 

  • 한 가지 대답은 광범위하며 환자 치료와 건강 결과를 향상시키는 공통 목표에 관한 것입니다. 현재 30 ~ 40 %의 환자가 최선의 근거로 정보를 제공받지 못했으며, 20 %에서 50 % 이상이 부적절한 치료를받는 것으로 추정됩니다 .8-10 교육을 통한 증거의 적용을 강화하기위한 전략 (CPD) 또는 다른 중재 (KT)는 새로운 임상 증거가 개선으로 이끄는 데 필수적입니다. 

  • 두 번째 이유는 CPD 분야에 주로 관련된 것인데, 최근 의학 전문가 또는 인정 기관의 요구조건이 학습 또는 지식 변화뿐만 아니라, CPD의 결과로 개선 된 의사 성과 및 건강 결과를 보여줄 것을 요구하기 때문이다. 의사가 이러한 결과를 얻을 수 있도록 최선을 다하는 데 집중하십시오. 우리는 CPD와 KT 접근법을 더 잘 이해하고 조정함으로써 이러한 목표를 달성 할 수 있다고 제안합니다.

Why is it now timely to take a closer look at the two fields of CPD and KT? 

  • One answer is broad and concerns the shared goal of improving patient care and health outcomes. It is now estimated that 30% to 40% of patients do not receive care informed by best evidence and that 20% to over 50% receive care that is inappropriate.8−10 Strategies to enhance application of evidence in practice, whether through education (CPD) or other interventions (KT) is essential if new clinical evidence is to lead to improvement. 

  • The second reason, more specific to the field of CPD, is reflected by the recent requirements of medical professional and accrediting bodies to demonstrate improved physician performance and health outcomes as a result of CPD, not just learning or knowledge change,11 forcing CPD professionals to focus on how best to help physicians achieve these outcomes. We propose that closer understanding and alignment of CPD and KT approaches will lead to this end. 


따라서 이 논문의 목적은 두 분야의 유사점과 차이점에 대한 이해와 인식을 높이고 현재와 잠재적 인 교차점을 파악하기 위해 연구의 각 분야에 대한 지배적 인 개념 모델을 기술하고 비교하는 것이다 . 다음 섹션에서는 CPD와 KT의 실행을 알려주는 개념 모델을 제시합니다. 둘째, 각각의 목표 결과와 세 번째는 복잡한 시스템 내에서 두 필드 사이에 중첩됩니다. 토론에서 전달 된 우리의 믿음은 CPD와 KT가 중복되어 교차해야만 실제, 전문 성과 및 건강 결과에서 증거의 개선 된 적용을 촉진하는 데 효과적이라는 것입니다. 결합 된 분야는 사용 된 특정 전략과 보건 전문가의 영향뿐만 아니라 보건 전문가와 개입에 대한 문맥과 문화의 영향을 고려할 필요가있다.

The purpose of this paper, therefore, is to describe and compare the dominant conceptual models informing each field of research, with the view of increasing understanding and appreciation of the similarities and differences of the two fields and to identify the current and potential points of intersection. In the following sections, we present the conceptual models informing, first, the practice of CPD and KT; second, the target outcomes of each, and third, overlap between the two fields within complex systems. Our belief, forwarded in the discussion, is that CPD and KT do and must overlap and intersect in order to become more effective in promoting improved application of evidence in practice, professional performance, and health outcomes. The combined fields need not only to consider the impact of the specific strategy used and the health professionals targeted, but also the influence of the context and culture upon both the health professionals and the intervention. 







개념적 모델

Conceptual Models 



CPD와 KT의 실천

The Practice of CPD and KT 


CPD와 KT 둘 다에 대한 개념 모델은 활동을 묘사하기 위해 유사한 순환 반복 표현을 사용합니다 (그림 1a 및 1b). 아래 표 1과 표 1에서 유사점과 차이점을 설명합니다.

Conceptual models for both CPD and KT draw on similar circular, iterative representations to depict activities (FIGURES 1a and 1b).12,13 We describe these below and map similarities and differences in TABLE 1. 





CPD 모델은 일반 교육 이론 및 실습에서 파생 된 Kern's13 커리큘럼 디자인 모델을 기반으로합니다. 이 모델에는 다음과 같은 6 단계가 있습니다.

  • 문제를 확인한다.

  • 대상 청중에 대한 문제의 구체적인 특징을 결정하기 위해 요구 사항 평가를 수행

  • 확인 된 요구 사항에 따라 목표와 목표를 설정

  • 목표를 달성하기위한 교육 전략을 선택

  • 도입(시행);

  • 평가; 

  • 피드백을 통해 프로그램에 반영

The CPD model is based on Kern’s13 curriculum design model, derived from general education theory and practice. This model has 6 steps, which include: 

  • identify a problem; 

  • conduct a needs assessment to determine the specific features of the problem for the target audience; 

  • set goals and objectives based on identified needs; 

  • select educational strategies to meet the goals; 

  • implement; 

  • evaluate; and 

  • feedback to inform the program. 


마찬가지로 Moore는 개인이 어떻게 배우는 지에 대한 이론과 증거를 요약하고 5 단계를 확인했습니다.

  • 학습의 기회를 인식

  • 자원 검색;

  • 학습

  • 배운 것을 시험

  • 배운 것을 실천에 통합

Similarly, Moore14 summarized theories and evidence on how individuals learn, and identified 5 steps: 

  • recognize an opportunity for learning; 

  • search for resources; 

  • engage in learning; 

  • try out what was learned; and 

  • incorporate what was learned into practice. 



Graham 등은 개별 행동에 대한 계획된 행동 이론을 검토하고 이러한 이론 전반의 공통 요소를 파악하여 지식을 행동으로 전환시키는 7 단계 KT주기를 확인했습니다. 계획된 행동 이론은 개인이 특정한 변화를 줄 가능성에 영향을 미치는 변수를 탐구합니다. 지식 - 행동 (KTA)주기의 단계는 다음과 같습니다.

  • 문제를 확인

  • 지식을 지역 맥락에 적응

  • 지식 사용에 대한 장벽을 평가

  • 개입을 선택, 조정 및 구현

  • 지식 사용을 감시

  • 결과를 평가

  • 지식 사용을 유지

Graham et al12 identified a 7-step KT cycle for translating knowledge into action, derived from a review of planned action theories for individual behavior and identifying common elements across these theories. Planned-action theories explore variables that influence the likelihood of an individual’s making a specific change. The steps in the knowledge to action (KTA) cycle are: 

  • identify a problem; 

  • adapt knowledge to local context; 

  • assess barriers to knowledge use; 

  • select, tailor, and implement interventions; 

  • monitor knowledge use; 

  • evaluate outcomes; and 

  • sustain knowledge use. 


흥미롭게도이 세 모델은 PDSA (Plan-Do-Study-Act) 품질 개선 (QI) 사이클과 유사합니다 .15 모두 공통점이 무엇입니까?

  • 문제 식별,

  • 문제를 탐구하고 집중

  • 적절한 개입 계획,

  • 개입을 실시

  • 변경 프로세스의 결과를 평가

Interestingly, these three models are also similar to the Plan-Do-Study-Act (PDSA) cycle of quality improvement (QI).15 What they all have in common are 

  • problem identification, 

  • exploring and focusing the problem, 

  • planning for appropriate intervention, 

  • implementing the intervention, and 

  • evaluating the outcomes of the change process. 



그러나 CPD와 KT, QI의 중요한 차이점은 QI가 활동이 발생하는 팀, 컨텍스트 및 시스템을 명시 적으로 연구하고 고려하는 반면 CPD와 KT는 개별 실무자에게 집중하는 경향이 있다는 것입니다.

However, an important difference between CPD and KT, and QI, is that QI explicitly studies and considers the team, context, and system within which activities occur, while CPD and KT tend to focus on the individual practitioner. 


중요한 것은, 20 년 이상 제안 된 KT 중재 (예 : 리마인더, 감사)의 추가 채택은 덜 체계적인 방식으로 CPD에서 사용되지만, 프로세스 차이는 CPD 학습 활동에 대한 기존의 초점을 포함한다는 점입니다 .16 KT 중재는 학습 이외에 변화를 발생시키는 다른 방식을 통해 작용합니다. 이러한 다른 모드는 다음과 같습니다.

  • (1) 강제 기능 (즉, 전문가들이 약물 형식을 제한하는 것과 같이 다른 관행을 강요하기 위해 노력하는 환경 변화);

  • (2) 사회적 영향력을 이용하는 방법 (예 : 의견 교환 중재, 사회 구성 요소를 통한 변화에 영향을 미치는 방법) 과

  • (3) 전문가가 이미 가지고있는 지식의 더 큰 인식과 적절한 적용을 촉진시키는 방법 (예: 리마인더).

Importantly, process differences include a traditional focus on learning activities in CPD, although the additional adoption of KT interventions (eg, reminders, audit) while proposed for over 20 years4 are used in a less systematic manner in CPD.16 KT interventions work through other modes of generating change in addition to learning. These other modes include: 

  • (1) force functions (ie, changing the environment in which professionals work to force different practices, such as restricting drug formularies); 

  • (2) methods using social influence (eg, such as opinion leader interventions, where the primary component is to effect change through social relations); and 

  • (3) methods that promote greater awareness and appropriate application of knowledge the professional already has (eg, reminders).17 


우리의 견해로 볼 때, CPD와 KT 결과의 차이점은 프로세스 접근 방식의 차이에 크게 달려있다

  • CPD는 근본적으로 실천에 영향을 주기 위한 지식 습득과 관련되어 있다. 

  • KT에서는 지식 습득을 포함한 여러 접근법이 사용되며, 전문가가 필요한 지식을 가지고 있음에도 그 지식을 적절히 사용하지 못하게 하는 장애요인이 있다고 가정하는 접근법도 있다.

KT 활동의 초점은 종종 장벽의 식별과 완화이며, 지식의 부족은 단지 그 중 하나일 수 있습니다.

In our view, the differences between CPD and KT outcomes lie largely in the differences in process approaches. 

  • CPD is fundamentally concerned with knowledge acquisition in order to influence practice change. 

  • In KT, multiple approaches, including knowledge acquisition, are used, some of which assume that professionals have the knowledge they need, but are constrained by barriers from using that knowledge appropriately. 

The focus of KT activities, then, is often the identification and mitigation of barriers, only one of which may be lack of knowledge. 




KT와 CPD의 성과

Outcomes of KT and CPD 


CPD 및 KT의 예상 결과에는 큰 차이가 있습니다. 

  • KTA주기의 명백한 목표는 새로운 지식의 채택의 결과로서 행동 및 / 또는 시스템 변화입니다. 계획된 행동 이론에 근거하여 KTA주기의 단계는 변화를 가능케하는 것으로 알려진 명확한 활동에 더 중점을 둡니다. 

  • 교육 관점에서 볼 때 CPD 중재의 목표는 반드시 변화가 아닐 수도 있으며, 그보다는 다양한 수준에서의 학습이다. 교육 결과의 수준은 일반적으로 Kirkpatrick의 교육 결과 평가를위한 프레임 워크 (1967.18,19)에서 처음으로 제시됩니다.이 프레임 워크는 교육 개입 (즉, 반응, 학습, 행동 및 사회에 미치는 영향)에 대한 네 가지 수준의 결과를 제시합니다 (그림 2 참조).

There is a major difference in anticipated outcomes of CPD and KT. 

  • The explicit goal of the KTA cycle is behavior and/or systems change, as the result of adoption of new knowledge. Based on planned action theories, the steps of the KTA cycle are hence more focused on explicit activities known to enable change. 

  • The goal of CPD interventions, coming from an education perspective, may not necessarily be change, but learning at various levels. Levels of educational outcomes are commonly demonstrated by Kirkpatrick’s framework for evaluating educational outcomes, originally presented in 1967.18,19 The framework proposes four levels of outcome for educational interventions—reaction, learning, behavior, and impact on society (see FIGURE 2). 




이 모델은 보건 전문 교육의 성과 평가를 이끌 기 위해 광범위하게 사용되어 왔으며 이론적 인 관점에서 교육이 효과적 일 수있는 방법에 대해보다 종합적으로 통찰력을 갖기 때문에 수정되었습니다. 주목할만한 추가 사항은 전문 직업 교육의 결과를 종합 한 연구 팀이 만들었습니다 .21 그들은 2단계 학습에 하위 수준을 추가했습니다 : "태도와 인식의 수정". 또한 4단계 결과를 두 하위 수준으로 나누었습니다 : "조직 실천의 변화"및 "환자 / 고객에게 이익"(표 2 참조).

The model has been used extensively to guide outcomes assessment in health professional education20 and has also been modified as theoretical perspectives have more comprehensively informed thinking regarding the ways in which education can be effective. Notable additions were made by a research team synthesizing outcomes of interprofessional education.21 They added a sublevel to Level 2, Learning: “Modification of attitudes and perceptions” and divided level 4, Results, into two sublevels: “Change in organizational practice” and “Benefits to patients/clients” (see TABLE 2). 




마찬가지로 Moore는 CPD 활동의 교육 성과를 계획하고 평가하기위한 6 단계 모델을 만들기 위해 4 단계 Kirkpatrick 프레임 워크를 확장했습니다. 그는 새로운 레벨 1, 참여를 추가했으며, 가장 중요한 것은 역량의 발달에 대한 Miller의 피라미드를 포함시켜 Learning 레벨을 확장했습니다. 이 수준은 지식 습득의 결과에 대한 우리의 생각을 집중하는 데 도움이 되는 차별을 아는 것, 즉 “knows,” “knows how,” and “shows how,” 의 방식을 차별화합니다. Moore는 또한 "행동"을 "성과" 또는 Miller의 “does” 수준으로 대체하고 Miller의 프레임 워크를 확장하여 환자 및 지역 사회 결과를 모두 포함합니다 .14,22 원래 Kirkpatrick 모델과 이러한 수정 사항은 표 2에 나와 있습니다.

Similarly, Moore14,22 expanded upon the 4-level Kirkpatrick framework to create a 6-level model for planning and assessing educational outcomes of CPD activities. He added a new Level 1, Participation, and most significantly, expanded upon the Learning level by including Miller’s pyramid23 of progressive levels of competence. These levels differentiate the ways of knowing, that is, “knows,” “knows how,” and “shows how,” discriminations that are helpful in focusing our thinking about the outcomes of acquiring knowledge. Moore also replaces “Behavior” with “Performance,” or Miller’s “does” level, and expands Miller’s framework to include both patient and community outcomes.14,22 The original Kirkpatrick model and these revisions are noted in TABLE 2. 



이러한 각 CPD 결과 모델의 계층 구조에서 각각의 오름차순 수준에 따라 결과의 복잡성이 증가합니다. 학습 관점에서 CPD로부터 행동 및 시스템 변화에 대한 KT의 관점으로 변하는 것이다. 결과에 영향을 미치는 내부 및 환경 요인, 결과를 실현하는 데 걸리는 시간 및 데이터 수집 및 분석의 과제도 증가합니다. 다시 말하지만 유사성은 여러 모델에 걸쳐 존재합니다. Barr et al이 "태도와 인식"을 추가한 것은 우리가 "행동 변화"를 볼 때 인식과 태도의 영향을 고려해야 함을 상기시킵니다. 마찬가지로 무어는 다양한 지식에 대한 고려를 용이하게합니다. 두 접근법 모두 교육 성과의 다양한 뉘앙스를보다 명확하게 제시하고보다 정교하고 따라서 유용한 개요를 제공합니다.

With each ascending level in the hierarchy of each of these CPD outcomes models, the complexity of the outcome increases—removing CPD from a learning perspective to the KT perspective of behavior and/or systems change. The internal and environmental factors influencing the outcome, the length of time for the outcome to be realized, and challenges of data collection and analysis also increase. Again, similarities exist across models. The addition of “attitudes and perceptions” by Barr et al21 reminds us to consider the influences of one’s perceptions and attitudes on “behavior change.” Similarly, Moore’s incorporation of Miller’s work facilitates consideration of the different kinds of knowledge. Both approaches make more explicit the multiple nuances of educational outcomes and provide a more sophisticated and hence useful overview. 


그러나 교육 성과의 그러한 모델은 본질적으로 단순하고 직선적으로 나타나는 경향이 있으며 그러한 결과가 달성되는지 여부에 영향을 미치는 요소의 다양성을 반영하지 않습니다. 각 레벨은 그 아래의 레벨에 기반을 두었다고 개념적으로 느끼게 만든다 (예 : 행동 변화에 대한 지식과 기술의 향상, 개인의 행동 변화가 더 큰 사회 또는 조직 영향에 기여 함). 그러나 이러한 선형적인 conceptual sense는 각 수준에서 결과에 영향을 미치는 개인적 및 맥락 적 요인의 다양성에 대해 설명해주지 못한다. 24) 이는 저자의 반대에도 불구하고 발생한다.

However, such models of educational outcomes tend to appear simplistic and linear in nature, and do not reflect the multiplicity of factors that influence whether those outcomes are achieved. There is a conceptual sense that each level builds on the one below it (eg, increased knowledge and skill are required for behavior change, individual behavior change contributes to a larger societal or organizational impact), yet the conceptual sense remains linear, without an appreciation of the multiplicity of personal and contextual factors that influence outcomes at each level.24 This occurs in spite of explanations of the authors to the contrary. 




CPD와 KT의 중첩부: 성과 평가의 복잡성 잡아내기

Overlap Between CPD and KT: Attempts to Capture the Complexity of Assessing Outcomes 


지난 몇 년 동안 CPD와 KT를 연결하려는 공식적인 노력이 제기되었으며 두 분야가 행동 변화를 다루고 있음을 인식하고 있습니다 .16 이러한 노력은 또한 행동 변화에 영향을 줄 수있는 외부 요소에 대한 이해를 통합하려고 시도합니다. 이 사업의 리더 인 Davis는 CPD와 KT를 비교하여 KT가 목표 변경 활동과 증거의 변경 및 채택을 가능하게하는 이론 기반 접근 방식을 통해 변화하는 관행에서, 전통적인 교육 이니셔티브보다 훨씬 큰 영향을 미칠 수 있다고 제안했습니다. KT는 변화 기반 모델을 사용하여 개인뿐만 아니라 의료 시스템을 가능하게합니다. Davis 등은 단일 프레임 워크에서 두 개의 모델을 사용하도록 제안한다.

Formal efforts to link CPD and KT have been put forward over the past years and recognize that the two fields are addressing behavior change.16 Such efforts also attempt to incorporate understanding of external factors which may influence behavior change, a move we support. Davis,25 a leader in this initiative, compared CPD and KT and proposed that KT, through its targeted change activities and theory-based approach to enabling change and uptake of evidence, could have far greater impact than traditional education initiatives alone in changing practice. KT enables the health care system as well as the individual, using change-based models. Davis et al25 propose using two such models in a single framework. 


  • Pathman26 모델은 표적으로 한 개인 또는 인구에 초점을 맞추고 동의, 채택, 마침내 순응을 통해 인식의 변화 진행을 제안합니다.

  • Green's27 건강 증진 모델은 변화를 일으키거나, 가능하게하거나, 강화함으로써 시스템 개입이 세 가지 방식으로 변화를 지원하는 방법을 보여줍니다.

  • 2003 년 이래로 여러 모델이 시스템과 행동을 변화시키는 구체적인 접근법을 제시하고 중재 및 구현 노력의 발전을 이끌 기 위해 사용됩니다.

  • The Pathman26 model focuses on the targeted individual or population and suggests progress of change from awareness, through agreement, adoption, and finally adherence. 

  • Green’s27 health promotion model demonstrates how system interventions can work in three ways to support change, by predisposing, enabling, or reinforcing the change. 

  • Since 2003, a number of models have proposed specific approaches to changing both systems and behavior and are used to guide development of interventions and implementation efforts. 


CPD 모델로 돌아가보면, Moore12는 변화에 초점을 둔 CPD에 대한 복잡한 개념적 프레임 워크를 제안합니다. 이것은 4 가지 섹터 또는 이론 기반 접근 방식으로 구성됩니다. 그들은:

  • 의사 학습 단계 (5 단계);

  • 앞서 설명한 Green의 model27을 사용한 교수 설계 전략 (3 전략);

  • 앞에서 설명한 Moore의 교육 성과의 확장된 프레임 워크(결과 7 단계). 과

  • 진도를 측정하고 프로세스에 정보를 주는 평가 (3 가지 평가 방법).

To return to a CPD model, Moore12 proposes a complex conceptual framework for CPD that is focused on changing It is comprised of four sectors or theory-based approaches. They are: 

  • stages of physician learning (5 stages); 

  • instructional design strategies using Green’s model27 described earlier (3 strategies); 

  • Moore’s expanded framework of educational outcomes as described earlier (7 levels of outcome); and 

  • assessment to measure progress and inform the process (3 assessment approaches). 


부문과 그 구성 요소는 상호 작용, 반복 및 주기적으로 이루어지기 때문에 관계의 복잡성과 교육 성과, 특히 진료 변경, 환자 상태 및 인구 건강에 미치는 영향을 보여줍니다.

The sectors and their components are interactive, iterative, and cyclical, demonstrating the complexity of the relationships and the influences on educational outcomes, especially practice change, patient status, and population health. 


변화의 복잡성을 더욱 강조하기 위해, 해리슨 (Harrison)은 환자의 안전과 비용 상승에 대한 우려에 이끌려, CPD와 새로운 증거를 의사의 practice로 번역하는 시스템 기반의 프레임 워크를 제안했다. 시스템 이론은 시스템과 그 구성 요소가 어떻게

  • 환경으로부터 정보를 수신하고,

  • 처리하고,

  • 환경으로 산출물을 생산하는지에 초점을 둔다

To further emphasize the complexity of change, Harrison28 proposed a systems-based framework for enhancing CPD and translation of new evidence into physician practice, activities driven by concerns for patient safety and rising costs. Systems theory focuses on how a system and its components 

  • receive information from the environment, 

  • process it, and 

  • produce outputs into the environment. 


관계가 중요합니다 (즉, 개인간 및 개인과 조직 간의 관계). 그는 새로운 정보를 의사 관행으로 번역 할 때 6 가지 유형의 시스템의 상호 작용을 제안하고 연습을 변경하는 것이 얼마나 어려운 작업인지 강조합니다. 마찬가지로 KT 분야에서 새로운 증거 및 행동 변화의 채택에 따른 시스템 및 문맥 적 영향을 체계적으로 탐구하는 것은 개인, 맥락, CPD 또는 KT 중재 간의 상호 작용을 이해하는 새로운 모델로 이어지고 있습니다. .29,30 시스템과 맥락을 다루는 그러한 연구는 결합 된 KT-CPD 영역을 풍부하게 할 것이다.

Relationships are important (ie, relationships among individuals and between individuals and the organization). He proposes the interaction of six types of systems in translating new information into physician practice, emphasizing just how difficult a task it is to change practice. Similarly, in the KT field, methodical exploration of system and contextual influences upon adoption of new evidence and behavior change are leading to new models for understanding the interactions between the individual, context, and the CPD or KT intervention.29,30 We believe that such studies addressing systems and context will enrich the combined KT-CPD field. 



고찰

Discussion 


그럼 우리 모두 어디있는거야?  의학 교육 분야와 마찬가지로 KT와 CPD 중재가 왜 효과가 있고 왜 실패 하는지를 결정하는 연구는 거의 없습니다. 개념 모델에 대한 우리의 검토는이 조사 흐름이 필요함을 나타냅니다. 다양한 요인 또는 조건이 결과에 영향을 미치고; CPD 및 KT는 진공 상태에서 발생하지 않습니다. 메타 분석은 교육이나 변화를 유도하는 다른 방법에 중점을 두어 중재의 결과를 결정하고 비교하는 데 도움이되지만, 실제로 어떤 것이 왜 효과적인지 또는 그렇지 않은지를 이해하는 데 도움이되지 않으며 상황의 영향을 고려하지도 않습니다.

So where are we with all this? Similar to the field of medical education,31 there are few studies to determine why KT and CPD interventions work and why they fail. Our review of conceptual models indicates that this stream of inquiry is needed; various factors or conditions influence outcomes12,14,25,28; CPD and KT don’t take place in a vacuum. While metaanalyses are helpful in determining and comparing outcomes of interventions, whether focused on education or other methods of inducing change, they don’t really help us understand why something works or doesn’t, and don’t consider the influence of the context. 


예를 들어, 메타분석에서 모든 대규모 강의 세션 32 또는 모든 감사 및 피드백 개입 33은 무작위 통제 연구에서 연구 된 교육 "알약"과 같은 unimodal 개입으로 간주됩니다. 메타 분석은 환자 치료의 과정과 결과와 관련하여 그 영향을 종합하는 데 필요하지만 일반적으로 결과가 실현 된 이유에 대한 내용과 설명이 없습니다. 앞에서 언급했듯이, 우리는 "과연" 개입이 작동하는지와 더불어 "왜"특정한 개입이 작동하는지에 대한 이해를 가능하게하는 접근법을 시도 할 것을 제안한다.

For example, all large group didactic sessions32 or all audit and feedback interventions33 in meta analyses appear to be considered as unimodal interventions, like an educational “pill” studied in randomized-control studies. While necessary for synthesizing their impact as related to processes and outcomes of patient care, meta-analyses are generally bereft of context and explanation of why the outcomes were realized. As previously noted, we propose that approaches enabling understanding of “why” specific interventions work, as well as “if” they work, be undertaken. 


독립적으로 또는 혼합 방법 연구의 구성 요소로서 수행 된 질적 연구는 이러한 목적을위한 하나의 접근법이다. 그들은 개입과 그 결과에 영향을 미치는 요인을 개별적 또는 맥락적으로 탐구하기 시작할 수 있습니다. 예를 들어, Kennedy 등 34)은 새로운 지식이 실천으로 번역되는 것을 탐색하기위한 CPD 개입에 대한 우아한 연구를 설명합니다. 그들은 표준화 된 환자 조우를 통해 객관식 질문과 행동을 통해 지식을 테스트 한 후 인터뷰를 통해 지식의 불일치를 탐구했습니다. 그들은 지식을 실천함에 있어서 차이를 설명하는 두 가지 요소(확실성과 긴박감)가 있음을 알게되었고, CPD 중재에서 이들에 초점을 맞추면 실제로 새로운 지식의 적용을 향상시킬 수 있음을 제안했다.

Qualitative studies conducted either alone or as components of mixed-method studies are one approach to this end. They can begin to explore the factors, both individual and contextual, that influence an intervention and its outcomes. For example, Kennedy et al34 describe an elegant study following a CPD intervention to explore translation of the new knowledge into practice. They tested knowledge through multiple-choice questions and behavior through standardized patient encounters, followed by exploration of knowledgebehavior discrepancies through interviews. They learned that two factors explained the gap in applying knowledge to practice—level of certainty and sense of urgency—and suggest that focusing on these inCPD interventions may enhance application of new knowledge in practice. 


BEME35가 실시한 체계적인 검토와 같은 다른 접근법은 상황에 맞는 정보를 제공 할 수 있습니다. 예를 들어, Hammick36은 환자 치료에 영향을 미치는 것들 뿐만 아니라 Kirkpatrick의 교육 결과에 대한 Barr'21 adapted 모델을 사용하여 모든 수준에서 교육 성과를 결정했습니다.

  • 반응;

  • 기술, 지식, 인식 및 태도의 변화;

  • 학습자 행동의 변화.

이렇게 교육 성과를 배열함으로써 중재가 어떻게 작동하는지, 그리고 그것이 달성 할 수있는 결과에 대한 포괄적 인 관점을 보여준다.

Other approaches such as systematic reviews conducted by BEME35 can provide contextual information. For example, Hammick36 determined educational outcomes at all levels using Barr’s21 adapted model of Kirkpatrick’s19 educational outcomes, not just those impacting patient care: 

  • reactions; 

  • changes in skills, knowledge, perceptions and attitudes; 

  • changes in learners’ behavior. 

An array of educational outcomes like this allows for a comprehensive view of how an intervention works, and the outcomes it can achieve. 


Kirkpatrick의 결과 피라미드, 인식 및 태도의 변화, 지식과 기술의 향상은 종종 행동 변화의 선구자입니다. Hammick 등은 교육 개입의 결과에 대한 개인적 및 환경 적 요인의 영향을 이해하기 위해 교육 결과 및 기타 행동 변화 개입에 영향을 미치는 세 가지 그룹화 요인에 근거한 "3-p"체제를 도출했다.

  • 전조 요인 (문맥 적, 사회적, 정치적 요소와 교육 기획자, 교사, 학습자의 개인적 특성);

  • 프로세스 요인 (교수 및 학습 접근법);

  • 제품 요인 또는 결과.

As implied by Kirkpatrick’s pyramid of outcomes, changing perceptions and attitudes, and enhancing knowledge and skills, are often precursors of behavior change. To understand the influence of personal and environmental factors upon the outcomes of education interventions, Hammick et al36 also drew on the “3-p”framework  predicated on three groupings of factors that influence the outcomes of education and other behavior change interventions: 

  • presage factors (contextual, social, and political factors and individual characteristics of education planners, teachers, learners); 

  • process factors (approaches to teaching and learning); and 

  • product factors or outcomes. 


특정 주제 또는 결과를 다루는 질적 연구를 검토하고 종합하는 접근 방식 인 메타 합성은 양적 접근 방식을 독점적으로 사용하는 메타 분석처럼 명확하게 정의되지는 않지만 또 다른 유망한 접근법입니다. 메타 합성에 대한 몇몇 접근법은 정량적 연구의보다 질적 측면에 대한 검토를 포함하고 있으며, 최근 논문은 두 가지 접근의 강점을 바탕으로 메타 분석과 메타 합성을 모두 포함하고있다.

Meta-synthesis, an approach to reviewing and synthesizing primarily qualitative studies that address a specific topic or outcome, is another promising approach, although the methods are not so clearly defined as in meta-analysis, which uses quantitative approaches exclusively. Some approaches to meta-synthesis have included review of more qualitative aspects of quantitative studies, and recent papers have included both meta-analysis and meta-synthesis, drawing on the strengths of the two approaches.38 


이러한 접근 방식은 CPD 및 KT를보다 포괄적으로 볼 수있는 창을 제공합니다 39.

  • 그들이 가질 수있는 영향; 과

  • 그 영향에 영향을 미치는 활동, 인구 및 맥락 간의 상호 작용.

These approaches present a window into more holistic ways39 of viewing CPD and KT; 

  • the impact they may have; and 

  • the interactions among the activity, the population, and the context that influence that impact. 


Realist evaluation은 복잡한 사회 환경 (예 : 바쁜 의료 환경)에서 복잡한 사회 개입 (예 : 교육 또는 행동 변화)을 연구하는 포괄적 인 접근 방식입니다. 현실주의적 평가는 "프로그램이 왜, 누구를 위해, 그리고 어떤 상황에서 작동합니까?"결과에 덧붙여, 특히 중재가 효과적인지 아닌지에 대한 설명 구성 요소에 참여합니다. 구성 요소는 일반적으로 비교 결과 연구에서 간과됩니다. 보다 구체적으로 현실주의적 평가는 "메커니즘 (개입) + 맥락 = 결과"라는 공식이 보여주는 인과 관계에 근거한다.

Another, realist evaluation40 is a comprehensive approach to studying complex social interventions (eg, education or behavior change), in complex social environments (eg, busy health care settings). Realist evaluation asks the questions, “Why does a program work, for whom, and under what circumstance?” In addition to outcomes, it attends particularly to the explanatory components of whether an intervention works or not, components generally overlooked in comparative outcome studies. More specifically, realist evaluation is based upon a view of causation as captured in the formula: “mechanism (intervention) + context = outcome”; 


즉, 개입 자체와 그 결과에 이르게하는 것은 개입과 상황 사이의 상호 작용이다. 우리는 이것이 CPD와 KT 연구자와 평가자에게 유용한 관점이라고 생각한다. 현실주의적 평가는 또한 이론에 근거한다. 즉, 개입, 맥락 및 결과 간의 관계를 명확하게하기 위해 노력한다. 그러나 조심해야 할 것은 이러한 평가를 적절하게 수행하는 것은 복잡하며, 많은 자원과 시간을 필요로합니다. 그러나 실제 평가의 목표는 CPD 및 KT 조사의 목표와 일치하는 것으로 나타났습니다. 또한 CPD 연구가 이론적, 과학적으로 이루어질 것, 맥락에 대한 연구와 영향을 주는 조건들을 연구해야 한다는 최근의 요청과도 일치합니다.

that is, it is the interaction between the intervention and the context that leads to the outcome, not just the intervention itself. We believe this is a helpful perspective for CPD and KT researchers and evaluators.41 Realist evaluation is also theory-based; that is, it strives to make explicit the relationships among the intervention, context, and outcomes. Yet, as a caution, it is complex to undertake appropriately, and requires extensive commitment of resources and time. Yet the goals of realist evaluation appear consistent with those of CPD and KT research, to understand not just what works but under what conditions it works. They are also consistent with recent calls for CPD research to be more theoretically and scientifically based, and to include study of context and influencing conditions.3 



고찰

Conclusions 



CPD와 KT 모델 및 접근법 간의 공통점과 차이점에 대한 탐구는 공통점, 특히 환자 및 시스템 관리를위한 결과 향상에 중점을 두는 점이 주목할 만하다는 것을 인식하게합니다. 이러한 모델을 통해 권장되는 프로세스는 평가, 계획, 조치 및 취해진 조치의 결과 평가 등을 강조한다는 점에서 매우 유사합니다. 모델과 접근법은 아마도 실제 성능의 차이에 대한 근본적인 이론에서 다를 수 있습니다. CPD 모델은 성능 격차의 주요 원인으로 지식 부족을 고려하며, KT 모델은보다 광범위한 장벽과 전략을 강조합니다.

Our exploration of the commonalities and differences between CPD and KT models and approaches leads us to recognize that the commonalities, particularly the focus on improving outcomes for patients and systems of care, are notable. Processes encouraged through these models are also very similar, with an emphasis on the need for assessment, planning, taking action, and evaluating the results of actions taken. The models and approaches differ, perhaps, in their underlying theories of the reasons for gaps in practice performance. The CPD model has focused on lack of knowledge as the principal reason for performance gaps. KTmodels emphasize a wider range of possible barriers and strategies. 


또한 중요한 것은 행동 변화의 근본적인 메커니즘을 강조하는 것이나, 의료인이 가지고 있는 지식을 적용하는 맥락과 문화에 대한 이해를 강조하는 것이 점점 수렴한다는 사실입니다. 특정 집단에 대한 지식 사용 및 실천 변화에 대한 맥락의 영향을 이해하려면 메타 합성 및 현실주의적 평가를 포함한 새로운 방법을 사용해야 할 수도 있습니다. 마지막으로, 맥락의 영향과 전문 직업적 상호 작용 및 팀 관리의 역할에 관한 QI 분야에서 얻은 교훈은 CPD 및 KT 세계에서 인정 받기 시작했습니다.

Importantly, we also find convergence of these parallel streams in the growing emphasis on understanding underlying mechanisms of behavior change, as well as on understanding the context and culture in which providers practice and in which they apply the knowledge they have and acquire. Understanding of the influence of context on knowledge use and practice change for a particular population is complex, and may require use of newer methods of synthesizing evidence, including meta-synthesis and realist evaluation. Finally, the lessons being learned from the QI field regarding both the influence of context and the role of interprofessional interaction and team care are only beginning to be appreciated in the CPD and KT worlds. 


요약하면, 우리는 CPD와 KT의 병행 흐름의 차이점보다 더 많은 유사점이 있으며 더 큰 협력이 가능하고 필요하다는 것이 분명해진다. 개선 된 환자 및 건강 결과와 관련된 목표를 달성하기 위해 KT 및 CPD 연구자와 의사 결정권자는 이러한 복잡한 문제를 해결하기 위해 연구 및 KT의 개선에 노력을 기울이고 전문 지식을 공유하고 공동 작업하고 공동 작업 할 수있는 기회를 가져야 한다.

In summary, we propose that there are more similarities than differences in the parallel streams of CPD and KT, and it becomes apparent that greater collaboration is possible and needed. In the attempt to achieve goals relating to improved patient and health outcomes, KT and CPD researchers and decision makers have the opportunity to join their efforts, share expertise, synergize, and collaborate in improving research and knowledge translation to address these complex issues.











 2011 Summer;31(3):167-73. doi: 10.1002/chp.20123.

CPD and KT: models used and opportunities for synergy.

Author information

1
Division of Medical Education, Faculty of Medicine, Dalhousie University, Halifax, Nova Scotia, Canada. Joan.sargeant@dal.ca

Abstract

The two fields of continuing professional development (CPD) and knowledge translation (KT) within the health care sector, and their related research have developed as somewhat parallel paths with limited points of overlap or intersection. This is slowly beginning to change. The purpose of this paper is to describe and compare the dominant conceptual models informing each field with the view of increasing understanding and appreciation of the two fields, how they are similar and where they differ, and the current and potential points of intersection. The models include the "knowledge-to-action'' (KTA) cycle informing KT, models informing CPD curriculum design and individual self-directed learning, and the Kirkpatrick model for evaluating educational outcomes. When compared through the perspectives of conceptual designs, processes, and outcomes, the models overlap. We also identify shared gaps in both fields (eg, the need to explore the influence of the context in which CPD and KT interventions take place) and suggest opportunities for synergies and for moving forward.

PMID:
 
21953657
 
DOI:
 
10.1002/chp.20123


복잡한 의학교육의 세계에서 자기조직, 통합, 그리고 교육과정(Med Educ, 2010)

Self-organisation, integration and curriculum in the complex world of medical education

Stewart Mennin






'물리학 자 리차드 피인 먼 (Richard Feynman)은 지구를 바라 보는 우주 공간의 외계인들은 24시간마다 수백만 명의 사람들이 이빨을 닦아서 생기는 가느다란 세로줄을 놀라면서 볼 것이라고 말했다. 낮과 밤을 구분하는 새벽 선의 밝은면에 있는 양치질의 선은 "적절한 시기에 치아를 닦을 것을 명령하는" 단 한 명의 폭군에 의해 만들어지지 않습니다. 오히려 그것은 아침에 독립적으로 이빨을 닦기로 결정한 수백만 명의 사람들의 개별 행동에 의해 형성됩니다. 아무도 선을 형성하도록 명령하지 않았지만, 각각 독립적으로 행동한 결과, 공간과 시간에 독특한 패턴을 만들어 냈습니다. 이 선과 지구 주위의 움직임은 'self-organization'의 예입니다. 즉, 많은 패턴의 개별 단위를 관리하는 규칙에서 글로벌한 패턴이 발생하는 것이다...개체의 유형은 여러가지 일 수 있으며, 각 개체를 지배하는 규칙은 수학적 규칙, 물리적 법칙 또는 생물학적 행동 일 수 있습니다 .'1

‘The physicist Richard Feynman once described how aliens from outer space looking at the Earth would, to their astonishment, see a thin vertical line of millions of people brushing their teeth that rotated around the Earth every 24 hours. This line of tooth brushers, just on the bright side of the line of dawn that separates day and night, is not created by a single tyrant that orders each of those people to brush their teeth at just the right moment. Rather it is formed by the individual actions of millions of people who had independently decided to brush their teeth in the morning. Nobody has ordered them to form a line, yet, each acting independently has generated a distinctive pattern in space and time. This line and its motions around the Earth is an example of ‘‘self-organisation’’, that is, when a global pattern emerges from the rules that govern a large number of individual units … there can be many different types of individual units. The rules that control them can be mathematical rules, physical laws, or biological behaviours.’1



도입

INTRODUCTION


위의 새벽의 밝은면에서 생성되는 "global line of toothbrushers" 이 알려주는 교훈은 의학교육과도 관련이 있습니다. 의학교육은 전체를 개별 구성 요소로 축소하여 전체를 이해할 수 없고, 간단한 선형 방정식으로 설명 할 수 없기 때문에 복잡합니다. 그것은 외부 세계에 열려 있고 그 환경과 지속적으로 에너지를 교환하고있는 시스템입니다. 환경으로부터 영향을 받으며 환경에 영향을줍니다.

What can we learn from a global line of toothbrushers, just on the bright side of the dawn, that is relevant to medical education? It is complex because the whole cannot be understood by reducing it to its component parts, nor can it be described by simple linear equations. It is a system that is open to the outside world and is continuously exchanging energy with its surroundings. It is affected by and, in turn, affects its environment.


학교 내외에서 이루어지는 상호 작용, 교환 및 학습을 통한 의과 대학 전체의 커리큘럼 표현은 복잡한 시스템입니다 .2 자연 과학의 파생물 인 복잡성 과학(Complexity science)복잡한 시스템에서의 상호 작용의 역동성, 조건, 결과를 연구하는 분야이다. 복잡성 과학은 특정 조건 하에서 변화와 변형을 가져 오는 본질과 조건에 초점을 맞추고있다.

A medical school as a whole, and the expression of its curriculum through the interactions, exchanges and learning that take place within and outside of the school, is a complex system.2 Complexity science, a derivative of the natural sciences, is the study of the dynamics, conditions and consequences of interactions in complex systems.3–7 It focuses on the nature of and conditions that lead to change and transformation under particular conditions.5



최근 미국의 의학 교육은 '의학 교육은 끊임없는 불안의 상태에있는 것으로 보인다.'라고 묘사된다8). 현재, 미국의 의학교육은 전통적인 교사 중심의 교육학으로 후퇴하려는 경향과 개선된 상호 작용, 진정성, 통합, 변형적인 교수-학습 접근법을 향한 강력한 권고 사이에 위치해있다. 건강과 질병의 사회적 결정 요인 사이의 상호 작용의 역동적 인 본질을 받아들이고 인식하는 접근법이 필요하다는 사실이 현실화되고 있습니다. 이것은 진화하는 사회적 건강요구의 우선순위를 다루어야하는 미래의 보건 전문가 양성의 목표이기도 하다.

A recent description of American medical education included the statement: ‘Medical education appears to be in a state of perpetual unrest.’8 Currently, it exists in a state of tension between the tendency to fall back into traditional teacher-centred pedagogies and the urge to reach forward to newer, more interactive, authentic, integrative and transformative approaches to learning and teaching. A realisation is emerging that what is needed are approaches that embrace and recognise the dynamic nature of the interaction between health and the social determinants of disease in order to promote capability11–14 as a goal for the preparation of future health professionals who must address the evolving priority health needs of society.8,15–18



우리가 학습과 이해의 문제에 어떻게 반응하고 틀을 잡을 것인가는 내일의 건강전문가의 양성과 그들이 사회에 미치는 영향에 중대한 영향을 미칠 것입니다.

How we respond to and frame the issues of learning and understanding will have profound effects on the preparedness of tomorrow’shealth professionals and their impact on society. 


다양한 사람들이 내년도 교육과정 위원회에 포함되어, 협력하여 의과 대학 커리큘럼 개정을 검토하고 권고하도록 요청했다고 상상해보십시오.

Imagine that a diverse group of people, have been asked to work together as a committee during the coming year to review and recommend revisions to the curriculum at a medical school.


당신은 이 위원회의 의장입니다. 최종적으로 어떤 일이 일어날 지 정확히 예측할 수는 없다. 많은 회의 과정에서 정보가 교환되고, 관점 및 가치가 제시되며, 위원회의 구성원들과의 상호 작용이 진화할 것이며, 자료를 검토하고, 위원회가 직면한 과제에 적용됩니다. 위원회는 복잡한 적응 시스템 (adaptive system)으로서 기능합니다. Complex adaptive system이란 '항상 예측할 수없는 방식으로 행동 할 수있는 자유로운 개인 (에이전트)의 모음으로서, 한 에이전트의 행동이 다른 에이전트의 컨텍스트를 변경하도록 상호작용하는 행동을 주고받는다. '26

You are the chair of this committee. It is clear to you that it is not possible to predict accurately what will finally happen and that over the course of many meetings your interactions with members of the committee will evolve as information is exchanged, points of view and values are put forward, and data are reviewed and applied to the challenges faced by the committee. The committee functions as a complex adaptive  system: ‘…a collection of individuals (agents) with freedom to act in ways that are not always totally predictable, and whose actions are interconnected so that one agent’s actions change the context for other agents.’26 


커리큘럼 위원회는 다른 복잡한 적응 시스템과 마찬가지로 경험을 통해 배우며 시간이 지남에 따라 업무를 수행함에 따라 변화하는 상황에 적응합니다. 위원회의 각 구성원은 다른 상호 작용 수준에서 중첩 된 다른 complex adaptive systems의 구성원이기도합니다. 27 학교 내에서 중첩 된 부서, 지역 사회에 중첩 된 학교 및 외부의 사회 집단에 중첩 된 개인 학교 등 가정과 같은 것들이 있다.

The curriculum committee, like other complex adaptive systems, will learn from its experience and adapt to changing circumstances as it pursues its task over time. Each person on the committee is also a member of other complex adaptive systems that are nested one within the other at different levels of interaction,27 such as departments nested within the school, the school nested in the community and individuals nested in social groups outside the school, such as families, etc.


위원회는 정적이지 않습니다. 사람들과 정보가 끊임없이 드나든다. 그것은 다양한 형태의 정보와 활동을 교류하여 평형상태와는 거리가 먼, 유동적인 상태를 유지한다. 10,26,28위원회의 경계, 신념 및 규칙은 정의되었지만, 여전히 부정확하고 모호하다.

The committee is not static. There is a constant flow of people and information into and out of it. It is open to the exchange of different forms of information and activity that keep it in a state of flux, energetically far from equilibrium.10,26,28 The committee’s boundaries, beliefs and rules are defined, yet are imprecise and fuzzy.6


질문, 의견 불일치 또는 그룹 구성이 다양하고 토론에 새로운 정보가 추가 될 때마다 그룹의 역동성에 혼란disturb가 발생한다. 집단은 이전의 패턴이나 이해의 구성 (안정성), 새로운 이해 상태 (새로운 패턴)에 도달하기 위해 자신을 변화시키고 재구성(자발적 자기조직화)하는 경향이있다 .7,20, 최종적으로 위원회가 제안한 새로운 커리큘럼은 통합 된 집단 사고, 경험 및 상호 작용을 시간 경과를 반영하여 emerge한 것이다.

Each time there is a question, a disagreement, or the composition of the group varies and new information is added to the discussion, the dynamics of the group are disturbed. The group tends either to return to its previous pattern or configuration of understanding (stability) or to change and reconfigure itself (to undergo spontaneous self-organisation) to arrive at some new state of understanding (i.e. a new pattern).7,20,28 The final pattern, the committee’s proposed new curriculum, will emerge from and reflect its integrated collective thinking, experience and interaction over time.



Capra는 다음과 같이 말합니다. "조직의 패턴은 특정 시스템의 특징인 configuration of relationships이다' .4 Configurations of pattern은 일반적으로 통합과 학습이 개인 또는 그룹 수준에서 어떻게 발생 하는지를 이해하는데 필수적이다. 학생과 교사가 사전에 설정된 결과, 목표, 기한에 의해 자신에게 부여된 경계에 응답 할 때, 그들은 동시에 자기 조직화 프로세스를 겪는다. 세부 사항은 각 환경에 따라 다르지만 조직의 각 수준에서 유사한 프로세스가 발생합니다 (scale-free self-similarity) .29

Capra says: ‘A pattern of organisation is a configuration of relationships characteristic of a particular system.’4 Configurations of patterns are fundamental to understanding, in general, and to understanding how integration and learning occur individually and in groups. When students and teachers respond to the boundaries placed on them by sets of outcomes, objectives and deadlines, they too will respond with a process of self-organisation. The details will vary in each setting, yet a similar process occurs at each level of organisation (scale-free self-similarity).29



각 그룹은 잦은 단일루프 피드백을 통해 구성원 (에이전트)간에 여러 상호 작용을 경험합니다. 복잡한 적응 시스템이 스스로 구성하고, 변화하는 환경에 적응하며, 통합, 학습, 이해를 달성하는 기본 과정을 자기 조직화라고 부른다.

Each group experiences multiple interactions among its members (agents) with frequent short-loop feedback. The underlying process by which complex adaptive systems organise themselves, adapt to changing circumstances, and achieve integration, learning and understanding, is called self-organisation.4,7,10




자기조직화

SELF-ORGANISATION


자기 조직화는 새로운 구조, 패턴 또는 속성이 자연스럽게 발생하는 과정을 말하며, 비선형 동역학을 포함하는 다중 피드백 고리를 특징으로한다. 자기 조직을 설명하기 위해 자주 사용되는 고전적인 예는 Benard cell이다 (도 1).

Self-organisation refers to the process by which new structures, patterns or properties arise spontaneously and are characterised by multiple feedback loops involving non-linear dynamics.4,30 A classic example often used to illustrate self-organisation refers to the formation of Be´nard cells31 (Fig. 1).




단지 어떤것들을 서로 가까이 놓는 것만으로는 새로운 패턴과 자기 조직의 출현으로 이어지지는 않습니다. Benard cell의 경우 열의 외부 구배가 필요합니다. 새로운 패턴의 출현은 분자(에이전트) 자체의 특성의 함수이다.

Merely putting things in proximity, by itself, does not necessarily lead to the emergence of new patterns and self-organisation. An external gradient, in this case, of heat, is necessary. The emergence of the new pattern is a function of the characteristics of the molecules (agents) themselves.



자기 조직에는 'self'가 없으며 목적론적 의미에서 보자면, 목적을 가지고 미리 결정된 종말점도 존재하지 않는다 .7 그것은 과거와 현재가 제한과 통제없이 미래를위한 기초를 제공하는 자유로운 과정이다 .7 자기 조직화에서 나온 것은 완전히 통합되고 전체적인 것입니다. 그것은 (새로은 패턴을 이끌어낸) 부분의 합과 다르다. 의과대학, 교과과정, 학습의 현실을 구성하는 요인들과 변수들 사이에서도 자기조직의 원칙과 과정이 작용합니다.

There is no ‘self ’ in self-organisation, nor is there a predetermined endpoint that is purposeful in a teleological sense.7 It is an open-ended process in which the past and present provide a basis for the future without limiting and controlling it.7 What emerges from self-organisation is fully integrated and whole. It is different from and not the sum of the parts that led to the new pattern. The same principles and process of self-organisation operate among the agents and variables that constitute the reality of medical schools, curricula and learning.


발적 패턴 (위의 사례에서 제안된 새로운 커리큘럼)은 바로 직전에 어떤 상황이었는지에 달려있다. 듀이 (Dewey)는 과정 자체에서 끝이 나왔다고 믿었다 .32 브루너 (Bruner)는 학습이 사물 간의 관계로서 존재함을 강조했다. 흐릿한(모호한) 경계는 변화가 발생할 수 있는 안정적인 구조를 제공한다는 점에서 제약을 해방시키는 기능을 합니다. 상황의 변화를 ​​즐기는 것은 deliberate practice and reflection의 일부이며, 피드백을 통합하면 자기 조직화 과정으로서의 전문성 개발이 촉진된다 .35,36 학습은 자기 조직화에 지속적으로 나타나는 속성이다 .29,37 자기 조직을 촉진하는 것은 표 1에 열거되어있다.

The emergent pattern (the proposed new curriculum in the example given) depends on what came just before and at the same time influences what will come next.29 Dewey believed that the ends emerged from within the process itself.32 Bruner33 emphasised learning as being about the relationships between things. Fuzzy (ill-defined) boundaries, function as liberating constraints in that they provide a stable structure within which change can occur. Being playful with variations of a situation is part of deliberate practice and reflection, and incorporating feedback promotes the development of expertise as a selforganising process.35,36 Learning is a continuously emergent property of self-organisation.29,37 A summary of conditions that promote self-organisation are listed in Table 1.



교사, 학습자 및 커리큘럼 플래너는 대화, 이야기, 문제 등을 통해 자기 조직화 (통합)를위한 조건을 촉진합니다. 이 모든 것이 현상 유지 (예 : Be'nard 세포 예)를 방해하고 호기심, 상호 작용 및 교환을 자극합니다. 피드백과 성찰은 자기 조직에 유리한 조건을 촉진시키는 비선형적 순환 루프로서 기능한다 .7,13,26,29

Teachers, learners and curriculum planners promote conditions for self-organisation (integration) through dialogue, stories, problems, all of which serve to disturb the status quo (like heat in the Be´nard cell example) and stimulate curiosity, interaction and exchange. Feedback and reflection function as non-linear recursive loops that promote conditions favourable to self-organisation.7,13,26,29



함께 일하기 시작하는 사람들은 자기자신들을 reorganize하여 [학습 목표 또는 합의된 행동이나 설명에 관한 결정]의 형태로 shared understanding에 도달할 때까지 여러 가지 가능한 패턴이나 상태를 거쳐나간다. 이것은 비선형적으로, 되풀이되는 상호 작용으로서, 이 과정의 초반에 그룹은 불안정해지기도 한다. 자기 조직의 과정을 통한 변화를 포함하는 의학교육의 예로는 개인 및 집단 성찰, 형성 및 총재 평가, 다양한 형태의 사례 토론 및 지역 사회 기반 교육이 포함됩니다.

A group of people beginning to work together experience multiple non-linear, recursive interactions that initially serve to destabilise the group and move it though a variety of possible patterns or states until its members reorganise themselves and a shared understanding emerges in the form of a group decision about learning objectives or an agreed-upon action or explanation.9,25 Other medical education examples that involve change through the process of self-organisation include individual and group reflection, formative and summative assessment, various forms of case discussions and community based education, to name a few.




가르침, 통합, 그리고 자기조직화

TEACHING, INTEGRATION AND SELF-ORGANISATION


통합이란 여러 단계의 재귀적 상호 작용에서 나타나는 동적인 상호 연결을 의미합니다. 통합을 위해 순서와 근접성을 갖추는 것은 필수조건이지만 충분조건은 아니다. 통합은 시간에 따라 변하는 상호 작용의 nature와 quality에 대한 것이며, 그것이 어떻게 유동적이고 전체적인 새로운 패턴의 형성으로 이어지는 지에 대한 것입니다.

Integration refers to the dynamic interconnectedness that emerges from recursive interactions at multiple levels. Putting things in sequence and proximity is necessary, but not sufficient for integration. Integration is more about the nature and quality of interactions over time and how they lead to the formation of new patterns that are fluid and whole.


커리큘럼 디자인, 통합, 학습은 새로운 패턴이 상호 작용에서 나오는 조건에 관한 것입니다. 학생은 transition (dynamic system에서는 상전이phase shift라고 함)을 경험하고, 새로운 이해 패턴이 등장합니다(학습). 성찰은 자기 조직화를 촉진하는 재귀적 과정이다.

Curriculum design, integration and learning are about the conditions under which new patterns emerge from interactions.9 The student experiences transitions (phase shifts, in the language of dynamic systems6) and new patterns of understanding emerge (learning).37–39 Reflection is a recursive process that facilitates self-organisation.6,35


교사는 맥락적으로 풍부하고, 반복이며(성찰과 함께 반복적으로 변화하는), 관계적인 교육과정과 학습 경험을 설계함으로써 학생들이 학습(자기 조직)을 하도록 도와줍니다. 복잡한 적응 시스템의 현 상태를 disturb하는 모든 것을 제어 매개 변수control parameter라고 하며, 시스템은 제어 매개변수에 민감하게 반응하여 다른 상태(자기 조직화 방향)로 이동하게 된다.

Teachers help students learn (self-organise) by designing curricula and learning experiences that are contextually rich, recursive (iterative variations with reflection) and relational.9,20 Anything that serves to disturb the status quo of a complex adaptive system (i.e. a variable outside or inside the system), to which the system is sensitive and which helps move it through different states (towards self-organisation), is called a control parameter.6 


  • 커리큘럼 성과 및 가이드는 학습자를 orient하는 제어 매개변수이지만, 학습자의 구체적인 경로를 결정하지는 않습니다 .40,41 

  • 문제 기반 학습 (PBL)의 문제, 사무실의 환자, 특정 접근법 교사 주어진 순간에 받아 들여지고 잘 짜여진 질문은 모두 통제 매개 변수가 될 수있다 .6,29

  • Curriculum outcomes and guides function as control parameters that orient learners, yet do not decree the specific path taken by the learner.40,41 

  • The problem in problem-based learning (PBL),25 the patient in your office, the particular approach a teacher takes in a given moment, and a well-framed question can all be control parameters.6,29


교육 방법마다 richness에 차이가 있으며, 각 교육방법이 상호 작용(즉, 현상 유지를 방해하고 자기 조직화 또는 학습을 자극 할 수있는 잠재력)을 증진시키는 정도도 다르다. 커리큘럼과 교육-학습 경험이 상호 작용할수록 disturbance가 커지고 자기 조직이 발생할 가능성이 커진다.

teaching methods differ in their richness and in the extent to which they promote interactivity (i.e. their potential to disturb the status quo and stimulate self-organisation, or learning). The more interactive the curriculum and the teaching and learning experiences, the greater the degree of disturbance and the greater the likelihood that self-organisation will occur.20


교사와 학생, 그리고 의사와 환자의 관계의 본질은 일어나는 일과 발생하는 것에 영향을 미칩니다. 교과 과정에 관한 포스트 모더니즘의 관점에서 볼 때, Doll은 다음과 같이 썼다 : 

"선생님과 학생 사이의 반성적 관계에서, 선생님은 선생님의 권위를 받아 들일 것을 학생에게 요청하지 않는다. 오히려 교사는 

학생에게 그 권위에 대한 불신을 중지시키고, 

교사와 함께 탐구에 참여하도록 요청합니다. 

교사는 주어진 조언의 의미를 학생들이 이해하도록 돕고, 

학생들이 쉽게 대립 할 수 있도록 하고, 

개별 학생이 지난 암묵적 이해에 대해서 함께 성찰한다.'9

The nature of the relationship between teacher and student, and doctor and patient, influences what happens and what emerges. In A Post-Modern Perspective on Curriculum, Doll, writes: 

‘In a reflective relationship between teacher and student, the teacher does not ask the student to accept the teacher’s authority; rather, the teacher asks the student to suspend their disbelief in that authority,to join with the teacher in inquiry, into that which the student is experiencing. The teacher agrees to help the student understand the meaning of the advice given, to be readily confrontable by the student, and to work with the student in reflecting on the tacit understanding each has.’9


교사와 학생은 권력 차이를 일시 중지하고, 상호 관계 중심적 접근법을 사용하여 학습을 향상시킵니다 .37,44

The teacher and student suspend power differences and enter into a reciprocal relationship-centred approach that enriches learning for both.37,44


의사와 환자 간의 관계 위주의 치료는 제스처와 언어의 상호 재귀 적 교환을 통해 어떤 의미 패턴이 출현하는지에 대한 복잡한 반응 적 대응 과정입니다. Knowing이란 두 사람, 학생과 교사, 그리고 의사와 환자 사이의 공간에서 이루어지는 거래에서 Knower와 Known이 계속해서 상호 작용하는 과정에서 나옵니다.

Relationship-centred care between the doctor and patient is a complex responsive process45 of relating in which patterns of meaning emerge through the reciprocal recursive exchange of gesture and language.46 Knowing is understood to emerge from the continual flow of interaction between knower and known, from transactions in the space between two people, a student and teacher, and a doctor and patient.9 


자기조직화하는 커리큘럼을 통해 학습하면 교사와 학생들이 공동 진화 할 수 있으므로, local exchange를 경험하는 각 참가자는 상호 작용의 결과로 변화한다.

Learning in a self-organising curriculum allows teachers and students to co-evolve, so that each participant in the local exchange is changed as a result of his or her interactions.



학생 A는 '우리 그룹은 세션이 끝날 때 학습 목표를 세웁니다. 그게 최선의 방법인지 모르겠습니다. 당신 그룹에서 어떻게됩니까? '

학생 B는 다음과 같이 대답합니다. '우리 그룹에서는 필요가있을 때 토론 전체에서 학습 목표를 세우고 마지막에는 학습을 위해 가장 중요한 것을 선택합니다.'

학생 A는 말한다, 나는 본다. 내 그룹에 제안 할 것 같아. '

학생 B는 '그것이 효과가 있는지 궁금합니다.'라고 묻습니다. 학생 A는 대답합니다. 노력할 필요가 있습니다. '



Student A says, ‘Our group makes learning objectives at the end of the session. I’m not sure that’s the best way to do it. What happens in your group?’ 

Student B replies, ‘In my group, we make learning objectives throughout the discussion as the need arises and then at the end we select the most important ones for study.’ 

Student A says, ‘I see. I think I’ll suggest that to my group.’ 

Student B asks, ‘I wonder if it will make a difference?’ Student A replies, ‘It might. It’s worth trying.’




두 학생은 동시에 결과이자 과정다. 이해는 그들 사이에 놓여지며, 둘 중 하나에 속박되는 것이 아니다. 그것은 현재의 공간을 탐색함으로써 새로운 가능성의 공간을 열어내는 것으로부터 나타난다 .9) 둘 모두가 co-determinates이기 때문에 주체와 객체의 구분은 사라진다. 학습은 참가자들 간의 교류로서 존재하며, 그 행동이 곧 앎knowing이다. 

  • 지식은 knower의 마음 속에 분리되어지지 않는다. 

  • 오히려 그것은 knowing으로 나타납니다. 

  • 지식은 authentic, recursive, transactive process를 거쳐 공동으로 만들어지며, 끊임없이 진화하는 상황에 대한 적응적 반응이다.

Both students are simultaneously product and process. Understanding is placed between them, not contained in one or the other. It emerges from the opening up of new spaces of possibility from the exploration of current spaces.9 The distinction between object and subject evaporates because both are co-determinates of one and the other. Learning exists as the exchange between participants, an action that becomes knowing. 

  • Knowledge is not constructed separately in the mind of the knower; 

  • rather, it emerges as knowing; 

  • co-created during an exchange in an authentic, recursive, transactive process, an adaptive response to continuously evolving circumstances.



통합과 자기조직화

INTEGRATION AND SELF-ORGANISATION



역량 및 성과는 전반적인 교수, 학습 및 평가 전략을 조직하고 구성하기 위한 광범위한 statement이며, 그 안에서 자기조직적 학습이 발생할 수 있도록 모호한 경계로 기능 할 수 있습니다. 역량 기반 교육 과정은 교사와 학생들의 학습의 자유를 제약하기에는 너무 하향식이고 위험 할 수 있다고 비판 받았다. 57-59 전통적으로 통합의 부담은 개별 학습자에게 떨어진다. 커리큘럼에서 통합이란 주로 교육 내용, 순서, 학습 공간, 프로세스를 근접하게 두는 것이 었습니다

Competencies and outcomes are broad statements meant to organise and frame overall teaching, learning and assessment strategies and can function as fuzzy boundaries within which self-organising learning occurs. Competency-based curricula have been criticised as being too ‘top-down’ and at risk for constraining teachers’ and students’ freedom to learn.57–59 Traditionally, the burden of integration has fallen locally upon the shoulders of the individual learner.60 Integration, as applied in curricula, has been primarily about the proximity and sequence of content,41 and the learning venues and processes


자기 조직화 학습은 학습자-학습자, 학습자-학습자원이 풍부한 맥락 속에서 반복적으로 상호 작용할 때 이루어지는 '상향식 (bottom-up)'과정이다 .61 하향식 교육과정 계획과 상향식 학습은 상호보완적이며, 이상적으로는 둘 다 HPE의 기획, 실행, 학습 및 평가에서 역동적이고 지속 가능한 통합을 달성하기 위해 동시에 작용한다.

Self-organised learning is a ‘bottom-up’ process that takes place through local recursive interactions among learners and between learners and learning resources in a rich context.61 Top-down curriculum planning and bottom-up learning are complementary and, ideally, should both come into play at the same time to achieve dynamic and sustainable integration in the planning, implementation, learning and evaluation of health professions education.



교육과정과 자기조직화

CURRICULUM AND SELF-ORGANISATION



커리큘럼이 어떻게 자기조직 할 수 있습니까?

How can a curriculum be self-organising?


개별 양치 잎은 전체 고사리의 모양과 동일한 모양을하고 각 고사리 잎의 각 부분의 모양은 전체 잎의 모형입니다. 이것은 규모가없는 자기 유사성 (self-similarity)이라 불리우며, 이러한 조직은 여러 네트워크가 공통적인 guiding principles를 준수하는 것으로 특징 지어진다.

An individual fern leaf has the same shape as that of the whole fern and the shape of each part of each fern leaf is a miniature of the whole leaf. This is referred to as scale-free self-similarity in which organisation is characterised across networks by adherence to a common set of guiding principles.62


자기 유사성 (self-similarity)은 정의 된 결과와 건강 및 질병, 사회 건강과 같은 생성적인 주제가 서로 비슷한 시간대 (예 : 6 년 또는 4 년)로 발생할 수있는 통합 커리큘럼을 설계하는 방법을 제공합니다. 1 년, 1 개월, 1 주, 1 주 미만으로 계획하면 학습 경험에서 단편화 및 일관성 손실의 위험이 증가합니다. 그림 2

Self-similarity provides a way to think about designing an integrated curriculum in which defined outcomes and generative themes such as health and illness and the health of society can occur over different time-scales in a self-similar way (6 years or 4 years, 1 year, 1 month, 1 week; planning for less than 1 week increases the risk of fragmentation and loss of coherence in the learning experience). Figure 2




커리큘럼의 각 연도마다 동일한 overall outcome이 결정된다. 오히려 학습자마다 특정 시간에서 이해 수준을 표현할 수 있는 능력이 다양할 것이다.

The same overall outcomes are described in each year of the curriculum. What varies is the capacity to express the competence at the level of understanding the learner has at a given time.



자기 조직화에 기반한 커리큘럼 디자인은 "풍부하고 재귀적이며 관계형이며 엄격한 것"으로 특징 지어졌으며 커리큘럼이 어떻게 복잡한 적응 시스템으로 이해 될 수 있는지를 조명합니다.

Curriculum design based on self-organisation has been characterised by Doll as rich, recursive, relational and rigorous9 and it illuminates how a curriculum can be understood as a complex adaptive system.



풍부함커리큘럼의 깊이, 의미의 층 및 가능한 다양한 해석을 의미합니다. 커리큘럼은 ... 형태나 모양을 잃지 않고 도발적으로 생성 될 필요가 있습니다. 그것은 교묘 한 성질, 섭동, 풍요 로움을 필요로합니다 .9 예를 들어, 25PY 흡연자의 숨가쁨의 기초가 되는 원리에 대한 연구가 있습니다. 신생아 및 85 세의 여성이 매년 교과 과정에서 발생할 수 있습니다.

Richness refers to the depth of the curriculum, its layers of meaning and its different possible interpretations. Curriculum needs to be ‘…provocatively generative without losing form or shape…it needs disturbing qualities, perturbations, to provide richness’.9 An example is the study of the principles that underlie shortness of breath in different contexts, such as in a 25-pack per year smoker, a newborn baby and an 85-year-old woman, which can occur in every year of the curriculum.


재귀 (Recursion)환경과의 상호 작용과 문화의 중요성을 반영하는 사상에 대한 생각을 반복하는 것이다. 재귀에서는" ...... 안정과 변화가 있습니다. 질서 정연하지만 예측할 수없는 방식으로 진행됩니다" .9 따라서, 학습자가 변화하더라도 교육 구조는 안정적입니다. 복잡성 과학은 나선형 교과 과정을지지한다. 학습 과정의 다음 단계의 시작이되는 시험, 실용, 포트폴리오 및 기타 완결과 더불어 재귀적이고 발달 적이며 포괄적이다.

Recursion is about looping thoughts on thoughts in reflective interaction with the environment and with culture as an essential part of transformation. In recursion ‘…there is both stability and change …in an orderly but often unpredictable manner’.9 Thus, the educational structure is stable as the learner changes. Complexity science advocates for spiral curricula40 that are recursive, developmental and comprehensive with tests, practicals, portfolios and other completions that become the beginning of the next part of the learning process.9


재귀의 관점에서 성찰은 역량을 개발하고 탐구를 촉진하는 데 도움이됩니다. Doll은 교과 과정에 관한 포스트 모더니즘의 관점에서 다음과 같이 썼다 : "... 대화에 의해 발생 된 성찰이 없다면, 재귀는 얕아지고, transformative하지 않다. 그것은 reflective recursion이 아니라 단지 repetition 일뿐입니다. '9

Reflection conceived as recursion is helpful in developing competence and promoting inquiry. In A Post-Modern Perspective on Curriculum, Doll writes: ‘…without reflection engendered by dialogue, recursion becomes shallow not transformative; it is not reflective recursion, it is only repetition.’9


관계끊임없이 변하는 것으므로, 서로 다른 것들 사이의 연관성을 찾는 것이 중요해진다. 통합 학습 경험은 인간 관계를 상호 작용에 대한 설명의 필수적인 측면으로 평가합니다. '중요한 것은 환경과 문화와 사람과의 연결입니다. 우리 local한 관점은 점점 더 큰 문화적, 생태적, 우주적 매트릭스로 통합됩니다.'9

Relations are constantly changing and it becomes important to seek the connections between different things. An integrated learning experience values human relationships as an essential aspect of explanations about interactions: ‘What becomes important are the connections with people, with the environment and the culture …our local perspectives integrate into a larger cultural, ecological, cosmic matrix…’9


강건성은 변형적 커리큘럼에서 중요합니다. 그것은 '의도적으로 다른 대안, 관계, 연관성을 찾는 것'을 의미하거나, 우리의 이해를 뒷받침하는 가정을 찾고 찾아내는 것을 의미합니다 .9 보건 전문가의 급변하는 세계에서, 그것은 새로운 질문을 구성하는 학습자의 능력 11을 말합니다 새로운 상황에서 문제를 정의하고 이해를 추구하십시오.

Rigour is important in a transformational curriculum. It means ‘purposely looking for different alternatives, relations, connections...’ or looking for and uncovering the assumptions that underlie our understanding.9 In the rapidly changing world of the health professions, it refers to the capability11 of learners to frame new questions, define problems and seek understanding in new situations.





복잡성과 의학교육연구

COMPLEXITY AND RESEARCH IN MEDICAL EDUCATION




Radford에 따르면 : 

According to Radford: 



'학교가 complicated하다는 것을 부정 할 수는 없지만, 복잡성의 개념은 우리가 그 학교가 기능하는 것을 보는 방식에 더 많은 차원을 제공합니다 ... complicated system은 상대적으로 상호 작용하는 변수가 제한되어 있으나, complex system은 잠재적으로 무한한 변수가있을 수 있습니다.

‘Nobody would deny that schools are complicated but the concept of complexity brings a further dimension to the ways in which we see them functioning…whereas complicated systems are understood to be relatively contained and limited in terms of their interacting variables, complex systems are open and subject to potentially unlimited variables. 


Complicated system은 강도와 ​​상호 작용 패턴면에서 상대적으로 안정적인 측정 가능한 변수의 관점에서 이해되는 경향이 있습니다. 

Complex system에서 특정 요소의 영향은 특정 시간에 다른 변수와의 관계에 따라 다양해질 수 있다... 요소 간 상호 작용의 맥락에서 새로운 변수 또는 특성이 나타날 수 있습니다. 이러한 변수 또는 특성은 상호 작용하는 구성 요소의 맥락이 아니라, 상호 작용하는 프로세스 자체에 의해서 설명가능하다. '13

Complicated systems tend to be understood in terms of measurable variables that remain relatively stable in terms of strength and patterns of interaction. I

n complex systems, the influence of the particular factors is variable according to the relationships that they enjoy with others at any moment in time…Within the context of interaction between the elements new variables or characteristics may emerge that cannot be accounted for within the context of the interacting components but only in that of the interactive process itself.’13


의학 교육에 대한 연구는 복잡한 시스템을 구성 요소로 환원하는 경우가 있으며, 이는 규칙적이고 예측 가능한 상호 작용 패턴을 찾는 데 실패합니다. 학교와 같은 복잡한 시스템은 예측과 통제의 환원 방법에 저항력이있다 .13 복잡성 과학이 의학 교육의 어휘에 들어가기 때문에, 여러 변수가 동시에 상호 작용하는 시스템을 연구하는 새로운 방법을 찾아야 할 것이다 .69 유망한 접근법 , 구조 방정식 모델링은 의학 교육에서 이미 나타났습니다 .70,71

Research in medical education often seeks unsuccessfully to reduce complex systems to their component parts, searching for regular and predictable patterns of interaction. Complex systems, such as schools, are resistant to reductive methods of prediction and control.13 As complexity science enters the lexicon of medical education, we will need to find new ways to study systems in which multiple variables are interacting simultaneously.69 One promising approach, structural equations modelling, has already appeared in medical education.70,71




의과 대학을 복합 적응 시스템으로 생각하면 새로운 의문이 제기됩니다. 

  • 자기 구성에 기여하는 의대의 핵심 요소, 구조 및 학습 이벤트는 무엇입니까?

  • 학교에서 자기 조직화와 학습의 출현에 중요한 기존 및 새로운 응급 구조를 어떻게 식별 할 수 있습니까?

  • 복잡한 적응 시스템으로서 접근하는 학교는 어떻게 지도력과 관리 실천을 변화 시키나요?

  • 변화, 융통성 및 적응력에 어떻게 대처할 학교의 적합성을 연구 할 수 있습니까?

  • 의과 대학에서의 출현 조건은 무엇이며 어떻게 식별, 개발, 지원 및 유지 될 수 있습니까?

  • 의과 대학에서의 학습은 어떻게 인본주의적이고 인성 중심이 될 수 있습니까?

Thinking of medical schools as complex adaptive systems raises new questions. 

  • What are the key elements, structures and learning events in medical schools that contribute to their self-organisation? 

  • How can existing and new emergent structures that are important for self-organisation and emergence in learning be identified in schools? 

  • How does approaching schools as complex adaptive systems alter leadership and management practices? 

  • How can the fitness of the schools to cope with change, flexibility and adaptability be studied? 

  • What are the conditions for emergence in a medical school and how can they be identified, developed, supported and sustained? 

  • How can learning in medical schools become more humanistic and person-centred?




CONCLUSIONS




복잡성과 자기 조직의 관점을 수용하는 것은 연구 질문을 공식화하고 커리큘럼을 계획 및 수행하는 방식에 영향을 미칩니다. 그것은 우리가 학습을 자기 조직에서 나오는 변형으로 이해하는 방법에 영향을 미칩니다. 모든 수준의 학습의 질에 영향을 미치는 인간 관계와 교류의 질에 더 집중하게됩니다. 관계 중심의 교수법은 복잡한 커리큘럼에서 학습의 초점이다.

Embracing the perspective of complexity and self-organisation affects how we formulate research questions, and plan and conduct curricula. It affects how we understand learning as transformation that emerges from self-organisation. It focuses us more intently on the quality of human relationships and exchanges that affect the quality of learning at all levels. Relationship-centred teaching becomes the focus of learning in a complex curriculum.


의학 교육은 자기 조직화로서 학습을 받아 들일 필요가 있으며 복잡한 교과 과정에서는 ... '아무도 진리를 소유하지 않고 모든 사람이 이해받을 수 있는 권리가 있습니다.'

It is time for medical education to embrace learning as self-organising and emergent in a complex curriculum ‘...where no one owns the truth and everyone has the right to be understood’.9






 2010 Jan;44(1):20-30. doi: 10.1111/j.1365-2923.2009.03548.x.

Self-organisationintegration and curriculum in the complex world of medical education.

Author information

1
Department of Cell Biology and Physiology, University of New Mexico School of Medicine, Albuquerque, New Mexico, USA. smennin@gmail.com

Abstract

CONTEXT:

The world of medical education is more complex than ever and there seems to be no end in sight. Complexity science is particularly relevant as medical education embraces a movement towards more authentic curricula focusing on integration, interactive small-group learning, and early and sustained clinical and community experiences.

DISCUSSION:

medical school as a whole, and the expression of its curriculum through the interactions, exchanges and learning that take place within and outside of it, is a complex system. Complexity science, a derivative of the natural sciences, is the study of the dynamics, conditions and consequences of interactions. It addresses the nature of the conditions favourable to change and transformation (learning).

CONCLUSIONS:

The core process of complexity, self-organisation, requires a system that is open and far from equilibrium, with ill-defined boundaries and a large number of non-linear interactions involving short-loop feedback. In such a system, knowledge does not exist objectively 'out there'; rather, it exists as a result of the exchange between participants, an action that becomes knowing. Understanding is placed between participants rather than being contained in one or the other. Knowledge is not constructed separately in the mind of the knower, but, rather, it emerges; it is co-created during the exchange in an authentic recursive transactive process. Learning and knowing become adaptive responses to continuously evolving circumstances. An approach to curriculum based on self-organisation is characterised as rich, recursive, relational and rigorous and it illuminates how a curriculum can be understood as a complex adaptive system. The perspective of complexity applied to medical education broadens and enriches research questions relevant to health professions education. It focuses our attention onto how we are together as human beings. How we respond to and frame the issues of learning and understanding that challenge contemporary medicine and, by extension, medical education, in a complex and rapidly changing world can have profound effects on the preparedness of tomorrow's health professionals and their impact on society.

Comment in

PMID:
 
20078753
 
DOI:
 
10.1111/j.1365-2923.2009.03548.x


교육과정 개편과 의사결정 프로세스 변화시키기 (Med Educ, 2011)

Making a difference in curriculum reform and decision-making processes

Georges Bordage & Ilene Harris





 

도입

INTRODUCTION

 


Flexner는 의학 교육의 커리큘럼 콘텐츠 및 커리큘럼 구조의 발전에 있어 결정적인 성과를 거두었습니다. Flexner는 의대생을 능동적인 학습자이자 사상가로 보았습니다. 즉 학생들을 스스로 어떻게 평가하고 탐구하는지를 아는 사람이라 보았다. Flexner Report1에 요약 된 아이디어의 유산은 오늘날의 커리큘럼에서 여전히 잘 구현되어 있지만 지난 세기 동안 많은 성장이있었습니다.

 Flexner’s legacy to the advancement of curriculum content and curriculum structure in medical education has been decisive and enduring. Flexner also viewed the medical student as an active learner and thinker; one who does, knows how to, evaluates and investigates. Although the legacy of the ideas outlined in the Flexner Report1 is still well embodied in today’s curriculum, there has been much growth over the past century.



1 개별 교과 과정의 변화가 점차 복잡 해지는 전체의 다른 요소들에 어떻게 영향을 미치는지;

1 how individual curriculum changes affect other elements of an increasingly complex whole;


2 다양한 분야와 개념 틀이 커리큘럼 개발과 개혁을 어떻게 안내 할 수 있는가?

2 how various disciplines and conceptual frameworks can guide curriculum development and reform, and


3 심의적, 리더십 프로세스가 커리큘럼의 여러 이해 관계자에게 창의적 입력, 구매 및 정치적 지원 및 교육을 제공 할 수있는 방법.

3 how deliberative and leadership processes can provide creative input, buy-in, and political support and education for the multiple stakeholders of a curriculum.



부분이 아니라, 전체를 고려하라

CONSIDER THE WHOLE, NOT SIMPLY THE PARTS

 

어떤 유형의 커리큘럼을 사용하는지를 묻는 질문에 대답하는 경우 흔히 내용 구성이나 교육 방법을 언급합니다. 그러나 커리큘럼은 단일 요소 이상이며 훨씬 복잡하다. 교육과정은 entity이자 process이다. 이 에세이의 목적을 위해 실체로서의 커리큘럼은 다섯 가지 핵심 요소로 구성 될 것입니다. 학습자; 평가; 학습을위한 조건; 학습이 이루어지는 사회 정치 문화적 맥락 (그림 1).

 When someone is asked what type of curriculum he or she uses, the answer most often refers either to the organization of the content or to an instructional method. How-ever, the curriculum is a much more complex enterprise that extends beyond single elements. It is both an entity and a process. For the purpose of this essay, the curriculum as an entity will be comprised of five key elements: the competencies to be acquired; the learners; assessment; the conditions for learning; and the socio-politico-cultural contexts in which the learning occurs (Fig. 1).



전통적으로 의대에서 획득해야 할 역량은 지식, 태도 및 기술 측면에서 정의되었습니다. 최근 수십 년 동안 핵심 역량이나 역할면에서 바람직한 결과가 정의되었습니다.

Traditionally, the competencies to be acquired during medical school have been defined in terms of knowledge, attitudes and techniques. In recent decades, the desired outcomes have come to be defined in terms of core competencies or roles.


학습자는 커리큘럼의 중심에 있습니다. 교육과정은 학생을 위해 존재하는 것이며, 직업과 사회가 유능하고 효과적인 의사로부터 기대하는 역할을 수행하는 데 필요한 역량을 획득 할 수 있도록 돕는다. 입학시에는 표준과 최소 학력을 강조하지만, 오늘날의 의대생 집단은 학문적 배경뿐만 아니라 과거 생활 경험 및 사회-인종-성별 측면에서 상당히 이질적이다. 이 다양성은 모든 학생들에게 표준화된 교육과정을 적용하는 것을 어렵게 만든다.

Learners are at the heart of the curriculum. It exists for them, so that they may acquire the necessary competencies to assume the roles that the profession and society expect from a competent and effective doctor. Although we emphasize a standard and expected academic background at admission, todays medical student population is quite heterogeneous, not only in academic background, but also in terms of prior life experiences and socio-racial-gender mix. This diversity challenges the application of any prescribed, standardized curriculum for all students.


평가는 형성적이고 총괄적이다. 전통적인 시스템 접근법에서 학습을위한 조건은 다음을 포함합니다 : 

  • 콘텐츠 선택 및 구성; 

  • 수업 방법 및 전략의 선택, 구성 및 구현; 

  • 학습자의 지식과 역량에 대한 평가. 


추가 조건에는 학습에 필요한 자원이 포함된다. 

  • 교수;

  • 시간; 

  • 환자; 

  • 건강 관리 팀 및 시스템; 

  • 시설 및 학습 장소 (예 : 강의실, 임상 수행 센터, 도서관, 진료소); 

  • 학습 자료 (예 : 교과서, 유인물, 전자 자료 및 레퍼런싱 시스템).

Assessment plays both formative and summative roles. In a traditional systems approach, the conditions for learning include: 

  • selection and organization of content; 

  • selection, organization and implementation of instructional methods and strategies; and 

  • assessment of learners’ knowledge and competencies.6,7 

Additional conditions include the resources needed for learning, including: 

  • faculty staff; 

  • time; 

  • patients; 

  • health care teams and systems; 

  • facilities and learning sites (e.g. classrooms, clinical performance centers, libraries, clinics); and 

  • materials (e.g. textbooks, handouts, electronic resources and referencing systems).


마지막으로 커리큘럼은 다음과 같은 다양한 사회 정치 문화적 맥락에서 발생합니

  • 교수 롤모델

  • 기관의 가치, 문화 및 정치; 

  • 연구 및 진료 환경; 

  • 사회 전반의 문화적, 사회적, 정치적, 경제적 힘. 

Finally, the curriculum occurs in a multifaceted sociopolitico-cultural context that includes: 

  • faculty rolemodelling; 

  • institutional values, culture and politics; 

  • the research and practice milieus; and 

  • the cultural, social, political and economic forces at play in society at large. 


맥락의 일부는 종종 '숨겨진'또는 '암묵적'교과 과정이라고 불리는 것에 포함됩니다.

Part of the context is often embedded in what is at times referred to as the ‘hidden’ or ‘tacit’ curriculum.




Flexner Report 이후 수십 년 동안 커리큘럼 디자인과 혁신은 복잡한 시스템의 어떤 "부분"에 집중하는 경향이 있었으며, 그 결과 다른 부분이 변경에 어떻게 영향을 미치는지, 그리고 변경이 다른 부분에 어떻게 영향을 줄 수 있는지 간과 해 왔습니다. 이러한 경향은 커리큘럼을 언급하는 데 사용 된 여러가지 명칭들에 생생하게 반영되어 있다. 

  • 예를 들어, 콘텐츠 구성에 중점을 둔 '장기 시스템 기반'교과 과정이 있습니다. 

  • 역량 기반 커리큘럼은 커리큘럼 결과에 중점을 둡니다. 

  • '팀 기반 학습'커리큘럼은 교수법에 중점을 둡니다.

Over the decades since the Flexner Report,1 curriculum design and innovations have tended to focus on parts of the complex system, but have overlooked how other parts may influence the change and how the change may influence other parts. This tendency is vividly reflected in the overall labels used to refer to the curriculum. 

  • For example, there is the ‘organ systems-based’ curriculum, which focuses on organization of the content. 

  • A ‘competency-based’ curriculum focuses on curriculum outcomes. 

  • A ‘team-based learning’ curriculum focuses on a method of instruction.

 

 

교육과정 설계자나 혁신가가 교육 프로그램에서 중요한 점에 대한 tunnel view를 갖게 될 때 문제가 될 수 있습니다.

it can become problematic when the designers or innovators develop a tunnel view of what is important in their education programmes.

 

  • 장기 시스템 기반 커리큘럼을 개발할 때 학생들이 내용을 구성하고 배우는 과정에 신경을 쓰기보다는, 내용을 가르치기 위해 교수진이 조직되는 방식에 더 몰두할 수 있습니다.

  • '통합' 커리큘럼을 개발할 때 교수들이 가르치는 다양한 기본 및 임상 과학 분야의 내용을 프레젠테이션에 통합 할 수 있지만, 임상 문제 해결과 관련하여 학생들이 콘텐츠를 통합 할 수있는 능력에 미치는 영향을 고려하지 않습니다.


  • As they develop an organ systems-based curriculum, they may become more preoccupied with the way faculty members are organized to teach content than they are with the processes through which students organize content and learn, 

  • In developing the ubiquitous ‘integrated’ curriculum, faculty staff may integrate content from various basic and clinical sciences disciplines in their presentations, but fail to consider the impact on students’ ability to integrate content in relation to solving clinical problems.

 

역량을 정의하는 데 사용되는 프레임 워크가 무엇이든간에 practice of medicine의 역량은 모든 의대의 핵심 임무임이 분명합니다.

Whatever framework is used for defining competencies, it is clear that competence in the practice of medicine is a central mission of every medical school.

 

제도적 사명이 무엇이든간에 전문 역량은 복잡하고 독특하고 불확실한 상황에서 현명하게 행동 할 수있는 판단력과 능력을 포함하도록 지식과 기술을 넘어서야합니다 .8

Whatever the institutional missions, professional competencies must extend beyond knowledge and skills to include the exercise of judgement and the ability to act wisely in complex, unique and uncertain situations.8

 

커리큘럼은 복잡한 일이 되었습니다. 

  • 노력을 집중하기 위해 일부 영역을 선택했다면, 그렇게 변화된 사항이 전체 구성 요소에 미치는 영향을 평가하는 것이 필수적입니다. 

  • 또한 디자인 단계에서보다 큰 그림을 고려하거나 커리큘럼 개발자 및 교수진이 어느 한 부분에서 너무 많은 시간과 노력을 투자하여, 결과적으로 다른 곳에서 필요한 다른 조정을 위해 거의 또는 전혀 에너지를 갖지 못할 위험이 생길 수 있음을 알아야 한다. 

조지 밀러 (George Miller)는 assessment drives the curriculum이라고 주장하였으며, 실제로 그 증거가 있습니다.

The curriculum has become a complex enterprise. Once some areas have been chosen for focused effort, it becomes essential to evaluate the impact of selected changes on each component of the whole; Furthermore, it is important to consider the bigger picture right from the design phase or run the risk that curriculum developers and faculty members may invest so much time and effort in one area that they have little or no energy left for other necessary adjustments elsewhere in the curriculum. George Miller would argue that assessment drives the curriculum, and there is indeed evidence to that effect.9–12




교육과정을 이론이나 근거를 기반으로 구성하라

GROUNDING THE CURRICULUM IN THEORY OR EVIDENCE

 

단지 개혁이 다른 곳에서 행해지거나 유행하기 때문에 교과 과정 개혁이 수행되는 경우가 많다. 예를 들어, PBL 또는 역량 기반 커리큘럼이 널리 받아 들여지기 때문에 지역 커리큘럼 리더는 혁신의 중요성이나 중요성을 고려하지 않고 'doing it here'만을 제안합니다. 근거가 없다면, 이론적 또는 개념적 근거가 확실해야 하며, 지역적으로나 현장에서나 혁신의 결과를 평가할 계획이 필요합니다.

Too often curriculum reforms are undertaken simply because reform is being carried out elsewhere or because it is fashionable. For example, PBL or competency-based curricula are widely accepted, with the result that local curriculum leaders propose ‘doing it here’, without much or any critical appraisal of the innovation being considered. In the absence of evidence, some sound theoretical or conceptual basis is needed, as well as a plan to evaluate the outcomes of the innovation, both locally and for the field.


Ericsson에 따르면 전문성은 '피드백이 제공되는 Deliberate mixed practice'를 통해 개발된다. 예를 들어 협업 학습을 구현하려는 경우 

  • 에릭슨의 전문성 원칙이 혁신에 어떻게 통합 될 수 있습니까? 

  • 일정에 얼마나 많은 연습이 통합되어 있습니까? 

  • 어떻게 혼합 되었습니까? 

  • 학생들에게 학습 및 성과에 대한 어떤 피드백이 제공됩니까? 

이러한 고려 사항은 일반적으로 커리큘럼 디자인에 포함되지 않습니다.

 According to Ericsson,14,15 expertise develops through ‘deliberate mixed practice with feedback’. If, for example, collaborative learning is to be implemented, 

  • how could Ericsson’s principles of expertise be incorporated in the innovation? 

  • How much practice is being incorporated in the schedule? 

  • How mixed is it? 

  • What kind of feedback is offered to the students on their learning and performance? 

These considerations are not typically included in curriculum designs.



또한 커리큘럼 혁신자들은 현재의 최첨단 증거와 개념적 틀을 넘어 한 걸음 더 나아갈 수있는 기회를 포착 할 수 있습니다. 교육 지도자들의 도전은 새로운 지평을 열어서 새로운 커리큘럼에 환상적인 아이디어와 관행을 통합하는 것입니다.

 In addition, curriculum innovators can look beyond current state-of-the-art evidence and conceptual frameworks and seize the opportunity to go one step further. The challenge for education leaders is to reach for new horizons and incorporate visionary ideas and practices into the new curriculum.


 

또한, 새로운 교과 과정의 효과를 단순히 사후에서 평가하거나 제한된 지역 차원에서 평가하는 대신, 혁신은 학술활동scholarship을 위한 보다 생산적인 '실험실'을 제공할 수 있다. 여기에는 통합, 발견, 적용으로서의 학술활동, 그리고 이것들이 혼합된 것이 포함된다. 이 유형의 학술활동을 위해서는 커리큘럼 개발자와 연구자가 긴밀히 협력하여 혁신의 효과를 더 잘 이해하기 위해 연구 의제를 처음부터 설정해야 한다.

Moreover, instead of simply evaluating the effects of the new curriculum in hindsight, or from a limited local perspective, the innovation can provide a ‘laboratory’ for productive scholarship, as the scholarship of integration, discovery or application, or a combination of these.21,22 This type of scholarship calls for a close collaboration between curriculum developers and researchers in setting a research agenda from the very beginning to better understand the effects of the innovation. 


그 목적은 그저 혁신이 효과가 있었는지 여부를 결정하는 것이 아니라, Bereiter가 '디자인 연구'(의사 결정 또는 결론 중심 연구와 구별 됨)라고 부르는 반복적 개선을위한 연구 프로그램을 운영하는 것입니다 .23 디자인 연구는 연구 프로그램의 목적이 '지속적인 혁신 개발'인 혁신적인 디자인의 새로운 사이클에 다시 반영되는 결과를 생산합니다.

The purpose is not so much to determine once and for all whether the innovation worked, but to set in motion a programme of research for iterative improvement, which Bereiter calls ‘design research’ (as distinguished from decision or conclusion-oriented research).23 Design research ‘produces findings that are fed back into further cycles of innovative design’, where the purpose of the research programme is ‘sustained innovative development’.23


커리큘럼 개발자에게는 다음의 두 가지 과제가 있다.

  • 첫째, 혁신에 대한 생각에 프레임 워크와 근거를 포함시키는 것, 

  • 둘째, 지역 학생과 이해 관계자뿐만 아니라 의학교육의 한 분야로서 교과 과정 연구 아젠다를 개발할 수있는 기회를 포착하는 것

The challenges for curriculum developers are two-fold: 

firstly, to include these frameworks and evidence in their thinking about the innovations, and, 

secondly, to seize the opportunity to develop a curriculum research agenda that will benefit not only the local students and stakeholders, but also the field of medical education in general.



투입, 협조, 정치적 지지와 교육을 위해서 교육과정 설계 프로세스에서 숙고하고 리더십을 활용하라

USE DELIBERATIVE AND LEADERSHIP CURRICULUM DESIGN PROCESSES TO ACHIEVE INPUT, BUY-IN, POLITICAL SUPPORT AND EDUCATION

 

1910 년 Flexner1은 자신의 보고서와 권고를 '현재와 가까운 미래를 위한 출발점'으로 삼을 것을 의도했습니다. 그 이후로 계속 된 커리큘럼 개혁에 대한 권고가 반복되어 왔습니다. 일정 주기로 반복되는 이러한 권장 사항은 

  • 그 의미가 제대로 이해되지 않았거나, 

  • 경제적, 정치적 및 문화적 고려 사항을 반영하여 만들어지지 않았거나, 

  • 중요한 교육의 이해관계자들이 여기에 헌신하지 않았기 때문에 

종종 시행되지 않았습니다. 

In 1910, Flexner1 intended his report and recommendations to be a starting point ‘for the present and the near future’. Since then, there have been repeated recommendations for further curriculum reform. These repeated recommendations, which appear to recur in regular cycles, have often not been implemented because 

  • they have not been well understood, 

  • they have not been adequately forged in terms of economic, political and cultural considerations, and 

  • they have not received commitment from important education stakeholders in local education settings.


1970 년대 초 시카고 대학에서 Schwab이 수행 한 중대한 연구에 뿌리를 둔, group deliberation의 기본 과정은 그룹이 다음의 목적을 위하여 공식화하고 고려하는 체계적인 방법입니다 

  • 첫째, 특정 교육 상황에서의 문제에 대하여 다양한 대안적 인식을 갖는다.

  • 둘째, 가치와 신념 체계가 중심 역할을 하는, 독특하고 복잡한 상황에서 문제와 결정이 일어날 것이라는 점을 인식하고, 그러한 문제에 대한 적절한 해결책을 다양하게 제시한다 .28,29


Rooted in seminal work carried out by Schwab at the University of Chicago in the early 1970s, the fundamental process for group deliberation is a systematic method by which groups formulate and consider, 

  • firstly, an adequate variety of alternative perceptions about the problems in a specific education situation, and, 

  • secondly, an adequate variety of solutions to those problems, recognizing that the problems and decisions will occur in unique and complex situations in which values and belief systems play central roles.28,29


Schwab은 커리큘럼 문제는 '새로운 공항 건설의 문제'와 같은 실용적인 문제와 유사하여서, 기술적인 문제뿐만 아니라 지역 사회의 혼란과 관련된 문제와도 관련된다고 주장했다. 그러므로 커리큘럼 문제는 choice와 action의 이슈를 적절히 다루어야 한다. 즉, 이해관계자들 사이의 숙고를 통해서 어떻게 특정 상황에서 교육 문제를 해결할지에 대한 합의에 도달해야 하며, 여기에는 무엇을, 왜, 어떻게 가르칠지에 대한 것들이 포함된다.

Schwab argued that curriculum problems are akin to practical problems, such as the problem of ‘where to build a new airport’, which involves both technical engineering issues as well as issues concerning the disruption of communities. Therefore, curriculum problems should be addressed by a method appropriate to issues of choice and action: namely, by deliberation among stakeholders who, because they bring to the discussion diverse perspectives and values about what to teach, and why and how to teach it, will reach a consensus on how to solve education problems in a particular situation.


 

적절하게 구성된 그룹들 사이의 deliberation은 효과적인 커리큘럼 의사 결정의 목적을 달성하는데 필수적이다. 

  • 즉 다양한 근거와 전문 지식을 모은다

  • 이러한 이해 관계자들의 의견을 통해 정당화 된 의사 결정에 도달한다. 

  • 다양한 관점의 탐구를 통해 모든 참가자를 교육한다. 

  • 결정에 대한 개인적 및 정치적 공약을 성취한다.

Deliberation among properly constituted groups is essential to achieving the purposes of effective curriculum decision making, namely: 

  • to bring together diverse values and sources of evidence and expertise; 

  • to reach justified decisions through the input of these stakeholders; 

  • to educate all participants through the exploration of diverse perspectives; and 

  • to achieve personal and political commitment to decisions.


deliberation을 용이하게하기위한 전략이 개발되었습니다. 여기에는 예를 들어 

  • 사전 계획 (preplanning) 평가: 이해 관계자들에게 어떤 데이터를 수집해야할지를 알려주는, 

  • 명목상의 그룹 기법: 문제 해결 및 문제 해결의 해결책 단계를 신속하게 수행하기위한 경영 과학에서 개발 된 구조화 된 그룹 프로세스

Strategies have been developed to facilitate the deliberations. These include, for example, 

  • preplanning evaluation to gather data with which to inform stakeholders,30,31 and 

  • the nominal group technique, a structured group process developed in management sciences for expeditiously conducting the problem identification and solution phases of deliberations.30


몇 가지 유형의 관점이 커리큘럼 심의 과정을 알릴 수 있습니다. 5 개가 여기에 표시됩니다.

Several types of perspective can inform the process of curriculum deliberation; five are presented here. 


먼저 그룹은 기존 교과 과정과 지역 상황을 고려해야합니다. 여기에는 다음이 포함됩니다 : 이들 요소는도 1에 도시되어있다.

  • 기관의 임무, 목표 및 목적;

  • 교육 프로그램의 종점으로 계획된 역량 및 역할;

  • 학생의 특성;

  • 교직원의 방향;

  • 학습을위한 조건;

  • 이용 가능한 자원;

  • 사회적, 경제적 및 정치적 맥락;

  • 교육 프로그램의 강점과 압박 요소.

First and foremost, the group needs to consider the existing curriculum and the local circumstances. These include: 

  • the missions, goals and objectives of the institution; 

  • the competencies and roles that are envisioned as endpoints of the education programme; 

  • the characteristics of the students; 

  • the orientations of faculty staff; 

  • the conditions for learning; 

  • the resources available; 

  • the social, economic and political contexts; and 

  • the strengths of and pressing problems associated with their education programmes. 

These elements are depicted in Fig. 1.

 

두 번째로, Deliberation 그룹은 커리큘럼 심의 및 의사 결정을위한 접근법을 비롯하여 커리큘럼 디자인의 효과적인 프로세스에 대한 지식을 가져야한다. 

  • 커리큘럼 심의 및 의사 결정을위한 접근;

  • 교육 목표의 정렬에 관한 체계적인 사고,

  • 학생의 수업 방법 및 평가 (예 : Kern et al.7),

  • 커리큘럼 구현, 평가, 갱신.

  • 교육 목표는 반드시 행동 목표로 표현할 필요는 없다.

  • 교육 방법은 기존의 강의를 훨씬 능가하여 적극적이고 매력적인 방법을 포함한다.

  • 평가는 ACGME 능력 2 및 CanMEDS 역할에서 공식화 된 것과 같은 의학 교육의 가장 광범위한 목적을 포함해야 한다.

Secondly, the group should have knowledge of effective processes of curriculum design, including: 

  • approaches for curriculum deliberation and decision making; 

  • systematic thinking about the alignment of education goals, 

  • instructional methods and assessment of students (e.g. Kern et al.7), and 

  • curriculum implementation, evaluation and renewal. 

  • Education goals need not necessarily be expressed in terms of behavioural objectives; 

  • the methods of instruction extend far beyond traditional lectures to include active and engaging methods, and 

  • assessment encompasses the very broadest purposes of medical education, such as those formulated in the ACGME competencies2 and CanMEDS roles.3


셋째, Professional practice의 본질에 대한 현대적 지식이 있어야합니다. 

  • 예를 들어 Scho¨n의 reflective practice32, 최근 에바와 Regehr의 situation-specific self monitoring (33-35)은 전문 전문 지식이 의학 관련 전문 지식뿐만 아니라 성찰적 역량과 실질적 역량을 필요로한다는 것을 나타냅니다. 

Mylopoulos와 Regehr가 이전에 지적했듯이, 이것들은 단순히 있으면 좋은 기술이 아니라, 반드시 가르치고 평가되어야 할 핵심 역량이다.

Thirdly, the group should be knowledgeable about current thinking about the nature of professional practice. For example, Scho¨n’s work on reflective practice32 and, more recently, the work of Eva and Regehr on multiple situation-specific selfmonitoring,33–35 indicate that professional expertise requires not only specialised knowledge pertinent to medicine, but also finely honed reflective and practical competencies. As indicated earlier by Mylopoulos and Regehr,17 these are not simply optional skills, but core competencies to be taught and assessed.

 

 

 

넷째, 국내 무대에서의 시각 뿐만 아니라 국제, 국내, 지역 학술회의 및 학회지에서 다뤄지는 것들을 고려해야한다. 예를 들어, 환자 안전 및 품질 향상 운동과 같은 건강 관리 전달의 현재 추세 및 압박 문제는 의학 교육의 목적을 고려하는 데 중요한 맥락을 제공합니다. Hirsh와 동료 40)는 콘텐츠 연속성, 환자 간호 및 감독의 다양한 모델을 통해 통합에 대한 혁신적인 사고 방식을 제시합니다.

Fourthly, the group should consider perspectives from the national arena, addressed in leading journals as well as at international, national, and regional professional meetings. For example, current trends and pressing problems in health care delivery, such as the patient safety and quality improvement movement,36–39 provide an important context for considering the purposes of medical education. Hirsh and colleagues40 offer innovative ways of thinking about integration through various models of continuity of content, patient care and supervision.

 

마지막으로, 기관의 문화, 경제 및 정치적 맥락에 편입되어있는 비공식적이고 숨겨진 교과 과정을 고려해야합니다. 예를 들어, 

  • 학생들이 직면하게 될 롤 모델의 종류는 커리큘럼 전체의 목표와 목표를 촉진하고 강화하는 방식으로 전문 사회화에 영향을 미칩니 까?

  • 학생들의 의사 발달에 영향을 줄 수있는 교직원 및 보건 의료 기관 및 모델의 임무는 무엇입니까?

Finally, the group needs to consider the informal and hidden curriculum in its institution, embedded in the institution’s cultural, economic and political context. For example, 

  • what sort of role models will students encounter that influence their professional socialisation in a way that promotes and reinforces the goals and objectives of the curriculum as a whole? 

  • What are the missions of the institution and models of faculty practice and health care that will affect students’ development as doctors?

 

커리큘럼 심의 과정 외에도 리더십 연구의 개념적 틀은 커리큘럼 디자인 및 구현 프로세스에 크게 기여할 수 있습니다.

예 : Kotter : 42

  • 긴박감을 형성한다.

  • 인도 연합을 창설한다.

  • 비전과 전략을 개발한다.

  • 변화를위한 비전을 전한다.

  • 광범위한 행동에 권한 부여;

  • 단기간의 승리를 이끌어 낸다.

  • 이익을 통합하고 더 많은 변화를 일으킨다. 과

  • 기관에 새로운 접근법을 제시하십시오.

공식화 된 조직적 리더십 프레임 45 :

  • 인적 자원 프레임 (개인과 그들의 필요, 기술, 가치 및 한계);

  • 정치적 프레임 (권력과 제한된 자원을위한 경쟁);

  • 상징적 프레임 (독특한 제도적 가치); 그리고 
  • 구조적 프레임 (제도적 목표와 목적을 달성하기위한 조직).

In addition to processes of curriculum deliberation, conceptual frameworks from leadership studies can contribute significantly to the process of curriculum design and implementation. 

  • For example, Kotter:42 

    • establish a sense of urgency; 

    • create a guiding coalition; 

    • develop a vision and strategy; 

    • communicate the vision for change; 

    • empower broad-based action; 

    • generate short-term wins; 

    • consolidate gains and produce more change; and 

    • anchor new approaches in the institution. 

  • organisational leadership frames formulated by Bolman and Deal,45 : 

    • the human resource frame (individuals and their needs, skills, values and limitations); 

    • the political frame (competition for power and limited resources);

    • the symbolic frame (unique institutional values); and 

    • the structural frame (organisation to achieve institutional goals and objectives). 

 



 


차이를 만들기

MAKING A DIFFERENCE

 

3 개의 가정집 메시지

 

• 커리큘럼의 특정 요소에 개혁과 혁신을 집중시키는 동안 다른 구성 요소에 대한 영향을 고려해야 한다. 그 반대의 경우도 마찬가지이다

• 굳건한 개념 체계와 증거로 개혁이나 혁신을 착수하는 동안, 교육 혁신에 대한 이해를 증진시킬 수있는 연구 의제를 마련 할 기회를 포착한다.

• 교과 과정을 entity로 간주하는 것 외에, 지속적인 교과 과정 개혁으로 이어질 수 있는 deliberative 및 leadership 프로세스를 사용하십시오.

Three take-home messages

 

while focusing reform and innovation on specific elements of the curriculum, consider their effect(s) on other components and vice versa;

 

while grounding the reform or innovation in sound conceptual frameworks and evidence, seize any opportunities to draw up a research agenda that can advance our understanding of education innovations

 

beyond considering the curriculum as an entity, use the deliberative and leadership processes that can lead to enduring curriculum reform.

 






 2011 Jan;45(1):87-94. doi: 10.1111/j.1365-2923.2010.03727.x.

Making a difference in curriculum reform and decision-making processes.

Author information

1
Department of Medical Education, College of Medicine, University of Illinois at Chicago, Illinois 60612-7309, USA. bordage@uic.edu

Abstract

CONTEXT:

Although firmly grounded in Flexner's legacy of ideas, today's medical curriculum, as both an entity and a process, has become more and more complex. The curriculum as an entity is portrayed according to five key elements: the expected competencies and roles; the learners at the centre of the enterprise; assessment linking competencies and learners; the conditions and resources for learning; and a multifaceted socio-politico-cultural context in which the learning occurs. Significant developments have also occurred in the disciplines of curriculum studies, cognitive psychology and organisational change over the past century, as well as in institutional best practices, that help us to better understand and plan curricular innovations.

DISCUSSION:

Practical advice is offered to help curriculum developers in designing or reforming the medical curriculum. The key points of this are: (i) while focusing reform and innovation on specific elements of the curriculum, consider how those elements affect other elements and vice versa, in positive and negative ways; (ii) while grounding the reform or innovation in sound conceptual frameworks, seize any opportunities to formulate a research agenda that can build upon and advance our understanding of curricular innovations, and, (iii) moving beyond considering the curriculum as an entity, use deliberative and leadership processes that can lead to enduring curriculum reform.

PMID:
 
21155872
 
DOI:
 
10.1111/j.1365-2923.2010.03727.x


학습성과의 개념과 작성에 대한 탐구 (KMER, 2016)

이동엽1ㆍ양은배2

1경상대학교 사범대학 교육학과, 2연세대학교 의과대학 의학교육학과


A Critical Evaluation of the Concept and Writing of Learning Outcomes

Dong Yub Lee1ㆍEunbae B. Yang2

1Department of Education, Gyeongsang National University College of Education, Jinju; 2Department of Medical Education, Yonsei University College of Medicine, Seoul, Korea






서 론


의학교육 분야는 다른 학문분야보다 학습목표의 중요성이 강조되어 왔다. 학습목표는 수업의 기본 방향을 제시할 뿐만 아니라교수자와 학습자들이 무엇을 가르치고, 무엇을 배워야 하는지에 대한 이해의 공통분모가 된다. 예를 들어 의학교육은 성취해야 하는지식, 술기 및 태도가 분명하게 제시되고, 교육과정을 통해 이러한것들이 교육되고 평가되어야 한다는 점을 강조해 왔다. 

  • 이러한 이유로 1949년 Ralph Tyler가 수업설계의 원리를 제시하면서 강조하였던 학습목표 설정은 의학교육 분야에서 합리적인 교육모델로 받아들여졌다. 

  • 학습목표 기술은 1950년대 후반에 블룸(Bloom)의 학습목표 분류학(taxonomy)의 태동과 함께 발달되기 시작하였으며, 

  • 1960년대 이후에는 행동적 학습목표(behavioral learning objectives) 기술방식이 유행하였다. 행동적 학습목표 기술의 대표적인 방법은 메이거(Mager)가 제안한 ‘audience, behavior, condition, degree’(ABCD)의 원칙에 따른 기술방법이 지금까지 사용되고 있다. 학습목표는 구체적이며, 측정 가능한 행위동사를 사용하여 기술하고, 행위가 일어나는 조건과 수준이 구체적으로 기술되어야 한다는것이다. 이러한 기술방식은 의학교육을 포함한 많은 교육기관의 학습목표 설정의 표준이 되었다.

  • 성과중심교육의 확산과 더불어 학습목표 기술방식을 학습성과개념으로 변경하려는 움직임은 1980년대 후반부터 시작되었다. 학습성과는 어떤 과정이 종결되는 시점에 학습자가 할 수 있어야 하는것으로 의도된 계획을 통해 사전에 설정한 것이다(Davis, 2003;Rhee & Park, 2012). 그러나 학습성과의 취지와 의미에 대해서는공감하면서도 교수・학습과정에 직접적으로 도움이 되는 측면이크지 않다는 이유로 교육계에 큰 변화를 일으키지 못하였다. 


학습성과 기술의 중요성은 교육의 실용성이 강조되면서 크게 부각되었다(Harden, 2002). 즉 교육의 궁극적인 결과 또는 성과를 강조하는교육의 패러다임 변화와 함께 의학교육을 포함한 전 학문분야에확산되기 시작하였으며, 미국의과대학협의회, 유럽의학교육학회,아시아의학교육학회 등에서 학습성과 개발과 적용에 대한 학술적논의와 사례들이 공유되었다(Association of American MedicalColleges, 1998; Rhee & Park, 2012; Smith, 1999). 우리나라 의학교육에서 학습성과에 대한 관심은 재단법인 한국의학교육평가원이2012년 2월에 ‘Post 2주기 의과대학 평가인증기준’을 발표하면서부터라고 할 수 있다(Korean Institute of Medical Education andEvaluation, 2012). 한국의학교육평가원은 의학교육기관이 졸업성과, 시기별 성과, 과정성과 및 수업성과를 구체적으로 설정하고 교육과정에 반영해야 한다고 하였다. 이에 따라 성과중심교육을 위한학습성과의 개발은 모든 의학교육기관의 일차적 관심사가 되었다.


Yang et al. (2014)은 전국 41개 의학교육기관 대부분이 졸업성과와 시기별 학습성과를 개발하였으며, 과목별 학습성과와 수업별 학습성과를 개발하였다고 보고하였다. 그럼에도 불구하고 학습성과의개념에 대한 불명확한 이해, 학습성과 체계 개발에 대한 구성원상호 간의 공통된 인식의 부재로 학습목표학습성과의 개념이 혼용되어 사용되고 있다. 의학교육기관에 따라 차이가 있기는 하겠지만 대학에서 개발한 학습성과가 실제 수업이나 평가와 연계되지않았다고 분석하였는데, 이러한 현상은 적어도 세 가지 원인에서기인한 것으로 보인다. 

  • 첫째는 성과중심교육에 대한 이해가 부족했다는 점이다. 성과중심교육은 교육의 과정(process)보다는 결과(product)를 강조하고(Harden, 1999), 무엇을 알고 있는가(what to know)보다는 무엇을 할 수 있느냐(what to do)와 어떻게 하느냐(how to do)를 강조한다. 그러므로 성과중심교육에서는 학생들이일정한 과정을 마칠 때 할 수 있어야 하는 결과의 관점에서 교육과정을 개발하고 과목별 수업을 설계해야 한다(Spady, 1988). 가장 먼저교육과정이 끝나면 달성해야 하는 졸업성과들이 구체적으로 개발되어야 하고, 그 성과는 학년별, 개별 과목의 학습목표와 연결되어야한다. 또한 교육과정을 이수한 학생들이 이 성과에 잘 도달했는지를평가하기 위한 구체적인 행동지표로도 제시되어야 한다(Yang,2015). 

  • 둘째는 학습성과의 개념에 대한 이해가 부족했다는 점이다.예를 들어 의학교육기관들은 학습성과를 기존의 행동적 학습목표와유사하게 생각하여 기존의 학습목표를 변형하여 학습성과로 기술하였다. 어떤 대학은 성과중심교육에 부합하는 학습성과를 개발하지않고 기존의 학습목표를 졸업성과나 시기별 성과와 연계한 경우도있다. 

  • 셋째는 학습성과 설정과 기술이 의과대학 인증평가와 연계되면서 평가에서 좋은 결과를 얻기 위한 하나의 방편으로 개발되었다는 점이다. 특히 중장기적인 관점에서 성과중심교육 체계를 수립하여 학습성과를 개발할 수 있는 충분한 기간이 허용되지 않음에 따라학습성과의 설정과 기술에 내실을 기하지 못한 측면이 있다.


교육과정 개발은 많은 시간과 노력이 요구되며, 학문공동체 공동의 협력이 필요한 일이다. 특히 합리적인 교육과정모형에 기초한교육과정을 성과중심교육과정으로 전환하는 것은 교육에 대한 구성원의 인식 전환을 요구하는 일이다. 이러한 인식 전환의 기초가되는 것은 학습성과의 개념과 학습성과의 기술방식에 대한 이해이다. 이러한 배경에서 본 연구에서는 학습목표 설정과 기술, 학습성과에 관한 선행연구를 분석하여 학습성과 설정과 기술방식을 제안하고자 하였다. 이를 위해서 목적, 목표, 성과 및 역량의 개념에 대한이해, 학습목표 분류와 행동적 학습목표 설정, 학습성과의 개념과작성방법에 대해서 분석하였다.


목적, 목표, 성과 및 역량 개념에 대한 이해


학습성과의 개념과 작성에 대해 논의하기 전에 몇 가지 혼란스러운 용어에 대해 생각해 볼 필요가 있다. 의학교육에서 교육의 결과로학생들이 무엇을 성취해야 하는지를 기술하기 위하여 목적(aim),목표(objective), 성과(outcome), 역량(competency) 등의 용어가 폭넓게 사용되고 있다. 의학교육 담당자들이 이러한 용어를 상호교차사용할 수 있는 단어로 이해하거나 때로는 정확한 의미를 알지 못하는 경우도 있다. 학습성과 개발을 위해서는 용어의 의미에 대한정확한 이해가 필수적이다. 

  • 일반적으로 ‘목적’은 교육과정 또는 교수자가 전체적으로 성취하고자 하는 의도로서 교육과정과 수업의 일반적인 내용과 방향을 기술하는 것으로 정의된다(Kennedy et al.,2006; McKimm & Swanwick, 2009). 

  • 목표’는 교수자의 수업의도를 구체적으로 진술한 것으로 관찰 가능하고 측정 가능한 행동으로 규정된다. 

    • 목표는 교사의 수업의도 관점에서 기술되거나(교수자 중심 학습목표)

    • 어떤 경우에는 학습자의 행동 관점에서 정의된다(학습자 중심 학습목표) (Kennedy et al., 2006). 

  • 성과’는 실제 과제를해결하기 위해 요구되는 지식, 술기 및 태도의 통합적인 학습결과로 무엇을 할 수 있어야 하는지에 대한 기술이다. 일반적으로 성과는 실제 업무수행을 위해 요구되는 과제를 단위로 포괄적으로 기술되고, 교과목, 수업 및 모듈단위에서는 구체적인 목표로 개발된다.

  • 한편, ‘역량’이라는 용어가 성과와 동일한 의미로 사용되는 경우도있는데, 맥클랜드는 역량을 성과 창출을 위해서 일괄되게 관찰되는 행동특성이라고 정의하였다(McClelland, 1973). Table 1은 목적,목표, 성과 및 역량의 용어 정의와 기술 사례를 나타낸 것이다.



수업을 설계하는 전통적인 방법은 무엇을 가르칠 것인지에 대한내용으로부터 출발하는 것이다. 교수자들은 그들이 가르치고자 하는 내용을 결정하고, 그것을 어떻게 가르칠 것인지 계획하고, 어떻게평가할지를 계획한다. 이러한 접근은 교수자의 투입에 초점이 있고,학습자들이 학습내용을 얼마나 잘 흡수하였는가의 관점에서 평가를한다. 학습목표의 기술은 대부분 수업에서 다루어지는 내용들이다. 이런 접근을 교사 중심 접근이라고 한다. 


Gosling & Moon (2001)은이러한 접근은 학생들이 무엇을 할 수 있는지를 정확하게 정의하기어렵다고 비판하였다. 교육의 국제적 흐름은 교사 중심에서 학생중심으로 전환되고, 과정이 종료된 다음 학습자들이 무엇을 할 수있는가를 강조한다. 이러한 접근을 ‘성과 중심 접근’이라고 한다.다음에서는 학습성과 개념의 토대가 된 학습목표 분류와 행동적학습목표에 대해서 살펴보았다.



학습목표 분류와 행동적 학습목표 설정


학습성과행동적 학습목표 설정을 토대로 발전되어온 개념이다. 따라서 학습성과에 대한 개념을 이해하고 기술방식에 대해 탐색하기 위해서는 학습목표 분류학을 제안한 블룸과 행동적 학습목표 진술방법을 고안한 메이거의 연구를 살펴볼 필요가 있다. 

  • 블룸은 지적 능력을 기준으로 가장 단순한 것부터 복잡한 능력의 순서대로 학습목표를 분류한 대표적 학자이며, 

  • 메이거학습목표를 교수자와 학습자 간의 의사소통으로 규정하고, 효과적인 학습목표 기술방법에 대하여 제안하였다.


1. 블룸의 학습목표 분류


일반적으로 학습목표는 인지적 영역, 정의적 영역, 심리・운동영역으로 구분된다. 블룸은 지적 영역의 목표를 지식 그 자체와 지식에대한 기능으로 구분될 수 있다고 보고, 지식기능을 지식(knowledge),이해(comprehension), 적용(application), 분석(analysis), 종합(synthesis) 및 평가(evaluation)의 6단계로 분류하였다(Bloom,1956). 

  • ‘지식’은 어떤 현상이나 사실에 대한 그 자체를 의미하는것으로 개개의 고립된 정보를 기억하고 재생하는 수준의 지식을의미하며, 

  • ‘이해’는 전달된 지식을 받아들이는 것으로 정보를 식별하거나 단순히 기억을 재생하는 수준 이상의 지적 행위를 말한다.

  • ‘적용’은 습득한 정보를 어떤 상황에 응용하는 지적 기능으로 그전에는 하지 못했던 일을 할 수 있게 되는 능력이며, 

  • ‘분석’은 어떤종류의 현상을 작은 구성요소로 분해하고 요소 간의 관계와 조직되어 있는 방법을 발견하는 능력을 말한다. 

  • ‘종합’은 새로운 전체를창조하기 위하여 내용의 개별적 요소를 함께 통합할 수 있는 능력이며, 

  • ‘평가’는 어떤 분명한 기준에 따라 가치를 판단하고, 자신의 결론을 입증할 수 있는 증거를 세우는 능력을 의미한다.


블룸의 학습목표 분류는 지적 활동이 낮은 수준에서부터 높은수준으로 분류하여 체계화한 것인데, 각각 앞선 단계의 능력을선행조건으로 하며 앞 단계가 충족되지 않을 경우 다음 단계로의진행이 어렵다고 보았다. 나중에 블룸의 이러한 주장은 비판의대상이 되었다.


Table 2는 블룸의 초기 학습목표 분류와 이후 개정된 학습목표분류를 보여주고 있는데, 초기에는 사고의 수준을 명사를 사용하여표시한 반면, 개정에서는 동사를 사용하여 기술하였다. 개정 분류체계에서는 종합(synthesis)영역이 창조(creating)영역으로 수정되어가장 높은 수준의 지적 능력으로 정의되었다. 

  • 블룸이 학습목표를분류했을 때는 교육학자나 심리학자들의 사용을 염두에 두고 개발된반면, 

  • 개정된 지식분류체계는 교육과정 계획, 교육과 평가의 상황에서 사용되는 것을 염두에 두고 개발되었다. 

의학교육 분야를 포함한대부분의 교육에서 사용되고 있는 학습목표는 블룸의 지적 영역분류를 따르고 있다.



2. 메이거의 행동적 학습목표 기술


블룸의 학습목표 분류가 목표설정의 중요성을 강조하고, 교육과평가의 토대를 마련한 것이라면, 메이거는 학습목표 기술방법에 대해 탐구하였다. 메이거는 학습목표를 교수와 학생이 학습에 관한정보를 공유하는 소통의 수단이라고 보았다. 따라서 학습목표는 교수와 학생이 서로 무엇을 가르치고 할 수 있어야 하는지를 분명하게인식할 수 있도록 기대되는 행동의 변화를 명확하게 기술하는 것이중요하다. 이러한 분명한 학습목표 기술을 위해 등장한 것이 바로 행동적 학습목표(behavioral learning objective) 설정이다. 메이거는 행동적 학습목표 진술에 있어 중요한 행동(behavior), 종착행동(terminal behavior), 준거(criteria)의 세 가지 개념을 다음과 같이제시하였다(Mager, 1984). 

  • 첫째, ‘행동’이란 학습자에 의해 표현되는 모든 관찰할 수 있는 행동으로 정의한다. 

  • 둘째, ‘종착행동’이란학습이 종결될 때 가르치는 사람이 학습자가 시범 보일 수 있기를바라는 행동을 의미한다. 

  • 셋째, ‘준거’는 종착행동이 평가되는 수준또는 검사를 의미한다. 


그는 학생에게 제시되는 학습목표는 이러한세 가지 기본개념에 기초하여 기술되어야 한다고 주장하면서 학습목표 기술의 ABCD원칙을 제시하였다. 이 원칙은 학습자의 관점(audience)에서 과제의 조건(condition)과 수준(degree)을 분명하게하여 학습자가 보여주어야 하는 행위(behavior)를 명확하게 하는 것을 강조한다. 다음은 학습목표 작성원칙에 따른 학습목표 기술의예이다.


∙신경과학 수업이 종료된 후 학생들은(audience) 치매 환자의초기 평가와 관리를 위한(condition) 비용-효과적인 접근방법 세 가지를(degree) 작성할(behavior) 수 있어야 한다.





학습성과의 개념과 작성방법


1. 학습성과의 개념


학습목표의 설정과 작성방식은 1980년대 성과중심교육의 확산과 더불어 변화가 생기기 시작하였다. 행동적 학습목표 설정은 학습자들의 실제 수행능력을 강조하기보다는 교실 상황에서 지식, 술기및 태도 각각에 대한 학습과 평가를 지나치게 강조한다는 비판이있다. 

  • 의과대학에서 학습목표는 수업을 통해 달성되어야 하는 지식,술기, 태도영역의 목표를 행위동사를 사용하여 나타낸 진술로서 학습자의 행위와 교실 상황에서의 학습을 강조한다. 

  • 그러나 교육의 결과로 학습자가 할 수 있어야 하는 것실제 상황에서 이루어지며,지식, 술기 및 태도가 구분되는 것이 아니라 이러한 것들이 통합돼서과제를 해결해야 하는 것들이다. 우리는 이것을 학습성과라는 개념으로 정의할 수 있다. 

학습성과는 학생들이 수업을 마친 후 달성하고또 평가를 받게 되는 내용에 대한 폭넓은 진술로서(Harden, 2002;Kennedy et al., 2006), 학습성과는 수행을 중심으로 지식, 술기및 태도의 통합적 목표를 진술하며, 학습자의 수행과 실제 상황과의 연관성을 강조한다. Harden (2002)은 학습목표와 학습성과와의 차이점에 대하여 Table 3과 같이 설명하였다.


학습성과는 학습목표와 비교하여 몇 가지 구분되는 특징이 있다.

  • 첫째는 기술의 구체성이다

    • 일반적으로 학습목표는 지식, 술기 및태도 각각에 대하여 측정 가능한 구체적인 행동단위로 구분함으로써다루는 정보가 많고, 세부적이어서 교육현장에 활용하기 어려운 면이 있다. 

    • 반면에 학습성과는 학생들이 교육과정을 이수한 후에 직면하게 되는 실제 환경에서 수행해야 하는 과제를 중심으로 기술되기때문에 개개의 지식, 술기 및 태도가 통합돼 있고 매우 직관적이다. 따라서 학습성과는 교육과정을 계획하고, 교육하며 평가하는 데 있어서 교수자나 학습자 모두에게 사용자 친화적이다. 

  • 둘째는 설명의정도이다. 

    • 학습목표는 비록 행동을 나타내는 행위동사를 사용하고있음에도 가르치고자 하는 의도를 매우 구체적으로 나열하고 있다.이러한 나열식 학습목표는 학습내용을 세부적으로 분절하게 되어해당 내용이 중요하지 않아 보이거나 해당 내용의 교육 필요성에동의하기 어렵게 한다. 

    • 반면에 학습성과는 사실적 지식이나 개념보다는 실제 수행의 단위에서 무엇을 해야 하는지를 기술하는데, 이를통하여 학습의 중요한 부분이 무엇인지 강조하고, 학습의 방향을제시하는 데 도움을 준다. 

  • 세 번째는 분류체제와 상호연관성이다.

    • 학습목표는 지식, 술기 및 태도와 같은 분절된 영역으로 분류되는데,이로 인하여 과제의 복잡성과 연관성이 무시될 수 있다. 

    • 반면에 학습성과에는 지식, 술기, 태도 및 가치관 등이 통합된 하나의 역량체계로 연결되어 있다. 이러한 접근은 의사에게 기대되는 행위를반영할 수 있고, 이론의 실제 적용 및 환자 돌봄에 전체적이고 통합적으로 접근을 가능하게 한다. 

  • 네 번째는 의도 및 관찰 가능성 측면이다. 

    • 학습목표에서는 목표가 교수자의 의도로 인식되어 실제 진료행위에서는 현실적이지 않아 무시될 수 있다. 

    • 반면에 학습성과에서는 실제진료 상황에서 발생하거나 의료인이 처리해야 하는 직무를 중심으로 개발되므로 관찰 및 평가가 가능하다. 

  • 다섯 번째는 내용에 대한주도권이다

    • 학습목표는 목표에 대하여 교육과정 개발자에게 주도권이 있어 교육내용에 교수자 중심적으로 접근한다. 따라서 내용이 지시적이며 교사와 학생에게 강요하는 것으로 인식될 수 있고, 학생들은 더욱 낯설게 느끼게 된다. 

    • 반면에 학습성과는 성과의 개발및 활용에 학습자 중심적 접근을 하는데, 이를 통하여 교수자는가르칠 내용을 더욱 잘 인지하게 되고, 학습자들은 자신의 학습에더욱 높은 책임감을 갖게 된다.


2. 학습성과 작성 방법


학습성과 설정은 어떤 목적과 수준에서 논의하는가에 따라서 강조점이 달라질 수 있다

  • 예를 들어 한국의과대학의학전문대학원협회는 모든 의학교육기관이 공통적으로 활용할 수 있는 학습성과의체계를 개발하는 데 관심이 있다. 

  • 개별 의학교육기관 차원에서는교육과정을 이수한 학생들이 무엇을 할 수 있어야 하는지를 규정한졸업성과와 시기별 학습성과 개발에 더 많은 관심을 가진다. 

  • 반면,개별 교과목 단위에서는 졸업성과와 과정별 성과의 연계에 관심을갖고, 수업 상황에 적용할 수 있는 학습성과의 개발, 교육 및 평가에더 많은 관심을 가질 것이다. 

그러나 어느 수준에서 학습성과에대한 논의가 이루어진다고 하더라도 다음 몇 가지 사항은 학습성과작성 시 공통적으로 고려되어야 하는 사항이다.


1) 학습성과는 실제 맥락과의 관련성과 통합성을 강조한다.


학습성과의 기술이 학습목표 진술과 구별되는 것은 관련성(relevance)과 통합성(integration)을 추구한다는 점이다. 학습성과는 교실 상황에서 학생들의 행동적 학습을 강조하는 학습목표와는달리 학생들이 실제 상황에서 수행해야 하는 과제와의 관련성을강조한다는 것이다. 따라서 관련성은 지식, 술기 및 태도영역의 학습목표를 개별적으로 성취하는 것이 아니라 어떤 과제의 수행을 중심으로 지식, 술기 및 태도가 통합된 기술이 되어야 한다는 것을 의미한다. 예를 들어 학습목표와 학습성과의 기술사례는 다음과 같다.


      • 학습성과: 의학총론 II를 마친 1학년 학생은 육아조직이 들어있는 조직 슬라이드를 광학현미경(배율, ×40)으로 검사하여5분 내에 주요 소견 5가지 이상 알아내어 병리학적 진단을할 수 있다(이병두 교수가 기본의학교육 학습성과 개발 TF(Task Force) 워크숍에서 2013년 8월 31일에 발표한 내용에서 발췌하였다).

      • 학습목표: 바이러스와 다른 미생물의 차이점을 설명한다(기초의학협의회 교육위원회가 2010년 발간한 학습목표집에서발췌하였다).

      • 학습목표: 면역글로블린과 T세포 항원 수용체의 구조와 반응양식을 설명한다(한국의과대학장협의회가 2006년 발간한학습목표집에서 발췌하였다).



2) 학습성과는 학습목표와의 위계를 고려하여 작성한다.


Stone (1999)은 학습해야 할 목표를 어떤 과정의 마지막에 성취되는 최종학습목표(terminal learning objective)와 최종학습목표에 도달하기 위한 수업의 한 과정에서 다루어지는 실행학습목표(enabling learning objective)로 구분하였다. 학습해야 할 목표는 낮은 단계의지식을 요구하는 것에서부터 높은 단계의 수행을 요구하는 것까지다양하다. 예를 들어 어떤 과제를 수행하기 위해서는 사실적 지식을암기하고 개념을 이해하고 원리를 파악해야 한다. 그리고 어떤 상황이 주어졌을 때 이러한 지식, 개념 및 원리를 적용하여 문제를 해결한다. 학습해야 할 목표는 최종학습목표 또는 실행학습목표의 관점에서 기술될 수 있다. 일반적으로 문제해결 단계의 학습목표 설정을 최종학습성과(terminal learning outcome)로 정의하여 기술하는 것이 개념적 구분에 도움이 된다. 실행학습목표는 최종학습성과에 도달하기 위해서 사전에 학습이 요구되는 일련의 목표이다. Figure1은 이러한 관계를 그림으로 나타낸 것이다.




3) 학습성과는 맥락, 과제, 수행 및 수행수준의 형태로 기술한다.


행동적 학습목표 기술은 메이거의 학습목표 기술원칙(ABCD원칙)에 따라 행동을 시범 보일 수 있어야 하는 청중, 구체적인 행동,행동이 일어나는 조건과 수준을 분명하게 해야 한다는 점을 강조하였다. 이러한 원칙에 따라 대부분의 학습목표는 행위동사를 사용하여 기술되었다. 그러나 학습성과와 학습목표의 위계를 고려한다면 사실적 지식이나 개념에 대한 학습목표 진술이 반드시 ABCD원칙에따라 기술될 필요는 없다. 지나치게 이 원칙을 따를 경우 대부분의학습목표는 ‘설명할 수 있다,’ ‘구분할 수 있다’ 등의 행위동사가의미 없이 반복적으로 사용되는 경우를 볼 수 있다. 따라서 학습성과와 학습목표의 기술방식을 구분하는 것은 학습해야 할 목표를 작성하는 교수자에게 실제적인 도움을 줄 수 있다. 


      • 예를 들어 학습성과는 학습이 일어나는 교실 상황보다는 환자 진료가 일어나는 실제 맥락(context)에서 요구되는 과제(task)를 어떠한 수준(criterion)으로수행(performance)되어야 하는가를 기술한다. 

      • 반면, 학습목표최종학습성과의 수행을 위해 요구되는 내용(content)과 관련된 행동(behavior)으로 기술하는 것이다. 다음은 최종학습성과와 실행학습목표의 작성 예이다.


      • ∙최종학습성과: 이 과정을 이수한 학생은 응급 환자 협진 의뢰시(context) 동료 의사에게 구두 및 문서로(criterion) 환자의상태정보를 정확하게 전달(task)할 수 있어야 한다(performance).

      • ∙실행학습목표: 협진 의뢰서에 포함될 내용을(content) 말할수 있다(behavior).

      • ∙실행학습목표: 의사소통의 기본원칙을(content) 설명할 수있다(behavior).


4) 학습성과의 성취수준을 어떻게 평가하고 피드백할 것인지 계획한다


학습자의 실질적인 수행과 그 결과물을 바탕으로 하는 학습성과의 성취 여부를 확인하는 평가방법이 개발되어야 한다. ‘성과’는단순히 ‘아는 것’이 아니라 ‘할 수 있는 것’을 의미하기 때문에 기존의선다형 평가방식으로는 이를 평가할 수 없다. 따라서 학생들의 역량수행수준을 평가할 수 있는 새로운 평가방법에 대한 합의와 적용이이루어져야 한다. Toohey (1999)는 학생들이 학습성과를 어떻게성취해야 하는지를 이해하도록 하는 가장 좋은 방법은 평가도구와 평가기준을 분명하게 설정하는 것이라고 주장하였다. 따라서 학습성과를 개발할 때 그것이 평가 가능하도록 기술해야 하며, 학습성과가 어느 정도 성취됐는지를 평가하기 위한 도구를 명확하게 하는것이 필요하다. 평가는 학습성과의 거울이다. 학생들이 평가에 관심을 갖고 있는 한 평가는 일종의 교육과정이다(Ramsden, 2003).


결 론


학습성과 관점에서 교육을 재정의 하려는 것은 특정 국가만의현상은 아니다. Gosling & Moon (2001)은 성과 중심 접근이 국제적수준으로 확산되었다고 지적하였다. 

  • 유럽은 1999년 볼로냐선언(Bologna Declaration) 이후 성과 중심의 고등교육의 프레임을 만들기 위해 노력하였다. 2003년 베를린에서 열린 세미나에서 학사와석사 학위과정을 제공하는 고등교육기관은 수업시수나 학점의 관점보다 학습성과의 관점에서 학위를 재정의하도록 하였다. 이후 유럽의 고등교육은 학습성과의 개념에 기초해서 교육과정을 재설계하고있다. 

  • 미국은 졸업후교육신임위원회(Accreditation Council ofGraduate Medical Education)의 여섯 가지 핵심 역량, 캐나다는CanMed 2005, 2015를 통해 역량 중심의 의학교육 프레임을 만들었다. 

  • 우리나라도 2012년 의과대학 평가기준의 개정을 통해 성과중심교육이 도입되어 확산되고 있으며, 한국의과대학의학전문대학원협회는 ‘기본의학교육학습성과: 과학적 개념과 원리, 진료역량 중심,사람과 사회 중심의 학습성과, 기본진료수행지침 및 기본임상술기지침’을 개발하였다.


Harden (2002)은 학습성과 개발이 의학교육 변화에 중요한 의미를 갖는데, 의학교육 프로그램의 종료 전에 성취되어야 하는 학습성과를 분명하게 정의하고 공개하는 것, 이러한 학습성과를 성취하도록 교육과정 설계, 수업전략, 학습기회를 보장하는 것, 학습성과에매칭하는 평가과정을 설계하고, 학생들의 성과 성취를 보장하도록개개 학생을 평가하는 것이 중요하다고 하였다. 학습성과는 학생들의 학습 위치를 알게 하고, 교육과정은 학생들에게 더욱 개방적인자세를 취한다. 이러한 장점에도 불구하고 학습성과에 기반을 둔교육과정 설계와 교육에 대한 비판도 있다. 이는 학습성과 중심의교육이 가시적인 성과에 집중하게 한다는 것인데, 성과중심교육이측정 가능하고 평가 가능한 성과에만 초점이 맞춰지는 경우 폭넓고심도 있는 의학 공부가 어려울 수 있다는 우려이다. 교육의 결과로나타나는 성과는 단기간에 발현되기보다는 여러 가지 학습의 결과로중장기적으로 발현될 수 있다. 이를 위해서는 학문의 기초를 탄탄하게 하는 것이 중요한데, 성과중심교육은 이러한 부분을 경시할 수있다는 것이다. 학습성과를 너무 낮게 설정하거나 협의의 의미로설정할 경우 이러한 비판이 타당할 수 있다. 따라서 학습성과 설정의포괄성을 고려하고, 단기적인 학습성과뿐만 아니라 중장기적 학습성과를 고려하는 것이 필요하다.






Recent changes in educational paradigms that emphasize the performance or outcomes of education are

redefining how learning objectives are being described as ‘learning outcomes’ in various academic disciplines.

Medical education is not an exception to this trend. However, it has come to our attention that the key

concepts and appropriate descriptions of learning outcomes have not been well understood among educators

and that this lack of understanding has hindered our efforts to implement the practice in the field. This

study aims to provide a direction to establish and describe learning outcomes by examining previous studies

that have focused on setting learning objectives as well as learning outcomes. Setting and describing learning

outcomes starts from reflection on the approach of behavioral learning objectives, which overemphasizes

learner’s acquired knowledge, skills, and attitude in each classroom rather than actual performance. On

the other hand, the learning outcome approach focuses on what the learner is able to do as a result

of a learning experience. This approach is more learner-friendly and encourages students to lead and be

responsible for their learning process. Learning outcomes can best be described when the relevance of

actual contexts and the hierarchy of learning objectives are considered. In addition, they should be in the

form of context, task, performance, and level, as well as be planned with proper assessment and feedback

procedures. When these conditions are met, the learning outcome approach is beneficial to students as

it presents a curriculum that is more open to learners. Despite these advantages of the learning outcome

approach, there is a possible concern that setting the learning outcomes and describing them can restrict

evaluation to lower cognitive skills if the concept of learning outcome is narrowly interpreted or is set

too low. To avoid such narrow applications, it is important for educators to understand the comprehensiveness

of the learning outcome setting and to consider long-term outcomes embedded in an organizational vision

rather than only short-term behavioral outcomes.


Keywords: Behavior, Learning, Medical education, Outcomes


Corresponding author

Eunbae B. Yang

Department of Medical Education,

Yonsei University College of Medicine,

50-1 Yonsei-ro, Seodaemun-gu, Seoul

03722, Korea

Tel: +82-2-2228-2511

Fax: +82-2-364-5450

E-mail: nara@yuhs.ac

http://orcid.org/0000-0002-6771-1929


Received: October 2, 2016

1st revised: October 16, 2016

Accepted: October 17, 2016


학습성과의 개념과 작성에 대한 탐구
A Critical Evaluation of the Concept and Writing of Learning Outcomes
Dong Yub Lee1 Eunbae B. Yang2 
Department of Education, Gyeongsang National University College of Education, Jinju(1) Department of Medical Education, Yonsei University College of Medicine, Seoul, Korea(2)
의학교육논단 2016 ;18(3):125-131
Keyword : Behavior, Learning, Medical education, Outcomes
 


韓國型(한국형醫師養成(의사양성敎育設計(교육설계)와 卒業後(졸업후硏修敎育(연수교육)의 改善(개선方案(방안)

((()*

Building a Bridge to the Future Medical Education in Korea

Yong Il Kim*

 



초 록

 

이조 말엽인 1899(고종 재임시이후 우리나라는 150년의 경험을 바탕으로 다양한 의사 양성과정을 운영하여왔으나(한의학 중심비공인 의사 양성), 2005년 이후 현재의 3가지 의사양성제도로 정착하였다즉 우리나라의 현 의사 양성제도는 2가지 교육제도를 바탕으로 세 가지 종류의 의사양성 교육과정으로 구분할 수 있게 되었다환언해서 3년제 정규 고등학교를 졸업한 후 의사가 되고자 하는 자는

(1) 6년제 의과대학(의예과 2년 의학과 4소위 2+4)을 졸업하거나,

(2) 정규 일반대학을 졸업한 후, 4년제 의학전문대학원(일반대학 4+의학전문 대학원 4소위 4+4)을 마쳐야 하며,

(3) 이상 두 가지를 동시에 운영하는 대학에서는 그 중 하나를 선택하는 쪽으로 유도하고소정의 정규 교육과정을 보다 효과적으로 이수할 수 있도록 단일화 할 필요가 제기되었다(이는 조만간 자율화 될 전망이다).

(4) ‘의료석사라는 애매한 제도에 대해 학위의 의미를 분명히 하고 학위논문제도를 명문화하여 재조정하여야 한다는 분위기가 조성되어 가고 있다(김용일 등, 2004).


현재 이들 의과대학 또는 의학전문대학원 과정을 이수하고 국가가 요구하는 의사면허시험에 합격한 자에게 의료행위를 할 수 있는 의사자격을 부여하게 되어 있으나이들 간에 특별한 차이가 없다다만 대학이 수여하는 학위에 차이가 있을 뿐이다.


상기 의사양성과정을 필하고 의사면허를 취득한 자는 다시 1년의 인턴과정과 4년의 전공의 수련의과정(가정의학을 전공하고자 하는 자는 1년의 인턴을 포함하여 총 3년의 수련과정)을 거친 후 특별한 면허 차이 없이 별도의 세부 전공 분야(전임의, fellow) 수련을 받도록 되었다즉 24년간의 전공의-전임의 과정을 필한 후 전문의로서의 세부전공 환자 진료에 참여할 자격을 갖게 된다.


아울러 모든 의사는 일반의이든 전문의이든 자격과는 무관하게 환자진료에 참여하는 한 연수교육(CME)을 받도록 의무화되어 있다즉 매우 복잡한 교육과정을 거치면서도 별도의 체계적인 연수 교육과정을 받지 않는다.


이상의 여러 단계의 의사 양성과정(養成課程(양성과정)) 수련자는 醫師(의사또는 세부 專門醫(전문의)로서의 기초 자질을 연마하여야 하며후자는 각 수련기관(대학이나 수련병원)이 제공하는 교육계획을 별도로 이수하여야 한다그러나 이 과정 역시 현행 41개 의과대학 및 의학전문대학원의 교육을 바탕으로 하지만각각의 교육/수련과정마다 지난 문제점을 도출하고 발견된 문제점에 대한 개선방안이 다방면으로 제시된 바 있다.


우리나라가 현대적이고 과학적인 근거중심 의학교육(evidence-based medical practice, EBM)또는 임상역학(clinical Epidemiology) 개념을 담은 서구식 의학교육을 시작한 지 100년을 넘기는 동안전통적인 한의학(韓醫學(한의학)) 영역에서도 서양식 의학을 참조하여 의학교육제도를 자체적으로 마련하려는 노력이 엿보였으나學習者(학습자中心(중심)이라기보다는 敎授(교수中心(중심敎育課程(교육과정)에서 벗어나지 못하는 비효율적 韓醫師(한의사養成課程(양성과정)을 고질적으로 고수하고 있으며또 소위 洋醫師(양의사養成(양성制度(제도)간에 타협점을 찾지 못하는 부끄러움을 남겼다.


이 논문은 20세기 이후 100년이 넘는 移行期(이행기)를 거치면서 배출된 이 나라 의사들이 남은 21세기 또는 그 이후의 의료 환경의 변화 속에서 지역사회의 의료요구에 적절히 대응해 갈 수 있을 것인지에 초점을 맞추어우리나라 현 41개 의과대학 또는 의학전문대학원제의 학생교육과정을 총체적으로 재검토하고관련 기관이 수여하는 학위에 합당하게 교육과정을 개발하며또 수집한 자료를 토대로 현 의사 양성체계를 재정비하기 위해서는 그간의 기본 교육계획이 지닌 문제점을 再抽出(재추출)하고향후 우리나라 의료요원 양성을 위한 대응방안과 기성 의료인의 지속적 자질 개발방안을 적용제시하고 지원하는 일이다.


한마디로 200년이 채 넘지 않은 짧은 기간에우리나라 의사양성제도는 다양한 정치사회적 영향(미국독일일본을 주로 함)을 받으면서 교육계획이나 교육과정의 修正(수정)을 거듭해왔으며숫한 시대적 아픔을 견디면서 발전하였으나 그 副作用(부작용역시 적지 않게 발견되었으면서도 이를 傍助(방조)해 온 것은 부정할 수 없다.


또한 이 연구는 이 나라 의료계가 현재까지 운영해온 韓國型(한국형醫師養成課程(의사양성과정)을 재검토할 것을 요구하고또 지금까지 집행해온 과정에서 발견된 爭點(쟁점)을 중심으로 개선안을 마련함으로써 기본 의학교육 이후의 硏修敎育(연수교육活性化方案(활성화방안)을 제의할 필요성에 동의하기를 제안한다아울러 이를 위하여 정기적인 역장분석법(force field analysis) 등을 이용하여 체계적인 의료담당자의 자질 향상을 위한 자체 집단 진단을 거쳐야 할 것이며지난 반세기 사이에 시도하였던 개선 사항과 잔존한 사항을 재강조할 필요성을 제기하였다이상의 쟁점을 개선하기 위해서는 한국의학교육학회 및 한국의과대학장협의회/학전문대학원장회가 중심이 되어 상기 문제점 해결 사항을 분야별로 묶어서 해결사항을 정부에 요구 또는 건의하되이를 國是(국시)에 맞추어 도시하면 아래와 같을 것이다.


교육과정의 시대적 변천과 향후 개발 계획:우리나라의 國是(국시)를 표현한 태극기의 숨은 정신에서 의예과-기초과학-임상의학 간의 통합과 중심교육강화와 균형 발전을 찾을 수 있다.

(참고:글자 1,3,6은 의과대학의 학년을 표시하고 있으며 오른쪽 그림에서 백색 부분은 기초의학과 임상의학과 더불어 인성교육교양교육을 강조하고 있다이 개념은 가천의대가 교육과정 개편을 위하여 도입한 초기 개념이었다.)










머리말

1. 전제질문그리고 반성

졸탁동시(啐啄同時(쵀탁동시))란 말이 있다. 어미 닭이 알을 품은 지 스무하루가 되면 알 속의 새끼는 껍질을 톡톡 쪼는데이를 졸(())이라고 한다이 소리 나기에 귀를 세우고 기다려 온 어미 닭은 밖에서 그 부위를 탁탁졸 쪼아주는 데이를 탁(())이라 한다이렇게 과 이 동시에 이루어질 때 비로소 새로운 생명이 탄생한다고 한다즉 ()과 ()에서 함께 해야 뜻이 이루어진다는 말이다(벽암록에 나오는 四字成語(사자성어))바로 교수와 학생이 가르침과 배움을 향하여 함께 나갈 때 뛰어난 인재들이 탄생한다는 뜻이기도 하며 <교수의 가르침과 학생의 배움>이 함께 일어난다는 의미를 시사하고 있다.

 

1) 전제(연구 목적의 요약)

이 논문은 지난 2세기에 걸쳐 이 나라 의료 발전을 담당해온 의사 양성계획이 남은 21세기 또는 그 이후의 변화될 의료 환경 속에서 지역사회의 의료요구에 적절히 대응해 갈 수 있을 것인지에 초점을 맞추어우리나라 41개 의학계 교육기관(의과대학 및 의학전문대학원제)의 학생용 교육과정을 재검토하고관련 기관의 교육과정 개발에 대한 수집 자료를 토대로 현행 의사양성계획이 지닌 교육적인 문제점을 추출한 후향후 우리나라 의료요원 양성을 위한 대응방안과 향후 기성 의료인의 지속적 자질 개발(연수교육)방안을 제시하는데 있다.


2) 질문 본 연구를 추진하게 된 배경과 이를 뒷받침할 질문

역사적으로 살펴 볼 때이 나라 전문직 양성을 위한 기본 교육계획이 양성한 전문인의 역할이 시대적 상황이나 사회적 요구에 합당하게 대응하였는가?라는 질문에서 해답의 실마리를 구하고자 하였으며또 그 결과를 바탕으로 새로운 발전방안을 모색해온 先人(선인)들의 슬기로움을 찾을 수 있다그러나 어떤 특정 사회적 의견수렴 과정을 거쳤다고 할지라도그리고 연역법적이거나 귀납법적인 방법으로 얻은 분석 결과를 바탕으로 향후 추진방향을 제안한다고 할지라도지역사회의 지속적인 지원을 예측하기는 어려웠다그동안 <의사 양성교육>을 포함한 특수 전문직 교육상황 역시 정치적 상황의 변화를 포함한 다각적인 규제가 의료인력 양성을 가로 막아 왔으며따라서 이들이 사회요구를 제대로 수용할 수 있을 것인지 조차 분명히 밝힐 수 없었다.


시대적 요구에 합당한 최선의 의료가 성립되기 위해서는 학문 외적인 여건(해당 국가의 정치사회적 상황 등)의 안정된 지원을 전제로 하나이를 제대로 수용하지 못할 경우 의료의 발전은 늘 시대적 요구를 외면하여 왔음을 어느 나라의 문명 속에서도 찾을 수 있으며우리나라에서 시행되어온 의사 양성계획의 실패도 그 예외는 아니었다.


이 연구에서는 여러 의료외적 상황의 거센 변화에도 불구하고 향후 의료요구를 제대로 수렴할 수 있을 것이라는 것을 전제로그리고 향후 의사양성 계획이 이 나라 의료발전에 도움을 줄 가능성을 예상하여아래와 같은 질문 내지 비판 주제(主題(주제))를 만들고 이에서 답을 얻고자 지난날 각 의학계 교육기관(의과대학 및 의학전문대학원)이 이루어놓은 시도를 더듬으면서 현황을 살폈으며이를 바로 잡기 위한 문제점과 그 해결방안을 제의하고자 하였다.

 

(1) 교육에 대한 시대적 요구(시각)는 불변(不變(불변))한가지난날의 의학교육 활동에 대한 비판

① 의학사적으로 살펴본 우리나라 의학 발달 배경의 재검토와 질문 개발의 재생 배경

전국의 41개 의과대학(의학전문대학원 포함)이 양성한 졸업생들의 취업현황을 바탕으로 분석한 바에 의하면극히 일부 예외를 제외하고 대부분의 졸업생이 임상의학계 진료 분야를 지망하고 있으며이 현상은 지난 반세기동안 거의 변동이 없었다(김용일, 1990). 그리고 의료분야의 연구 및 진료기자재의 개발 속도나 지역주민의 시대적 요구 등 관련분야 기술의 개발 여하에 따라 특정 학문의 부침(浮沈(부침))이 있기는 했으나최근에 이르러 일부 세부 영역(특히 성형외과학 등 특과계열지망자의 숫적 증가가 두드러진 것은 이를 반증하는 좋은 실례로 꼽히고 있다.


또한 의과대학 졸업생들의 취업 성향이 개인의원보다는 종합병원을 선호하는 최근의 두드러진 상황 변동은 직업으로서의 안정성(stability) 및 지역사회 요구도가 영향을 주고 있다고는 하지만졸업생 개개인의 가치관(價値觀(가치관))의 변화나 안정적인 생활수단을 의식하며 대형병원 단위 취업을 희망하는 성향을 지적하고 있다졸업 후 바로 지역사회 의료로 뛰어들기 보다는 종합병원을 선택하여 <배움과 연구>를 동시에 수행할 수 있다는 장점 역시 지역사회 환자의 전문의 선호현상과 결코 무관하지 않다는 사회적 현상을 시사(示唆(시사))하기도 한다(김용일 외. 1990).


반면의학계 교수에게는 임용과 더불어 교육연구진료(대학을 위한 봉사활동 포함)라는 3대 임무가 동시에 수행 가능하다는 매력이 임상의학을 선호하는 요인이 되기도 한다물론 이 세 가지의 상호간 비중은 의대 졸업자의 자율적인 선택이기도 하지만국가적인 입장에서 보면 <지역사회의 보건 향상>을 담당할 의사 양성이라는 큰 틀에서 벗어날 수 없음을 강조하여 온 국가적 배려 부재가 빚어낸 결과이기도 하다.


특히 병리학을 포함한 여러 기초의학 분야 교육 등에서 이미 구조 및 기능적 이해를 바탕으로 질병 원인이나 발생기전 연구로의 연계를 강화하기 시작하였고임상의학의 요청을 적극적으로 받아드리면서 진료의 연구기능 振作(진작및 세계화에 참여하게 되었으며각 기초 학문 영역마다 연구결과를 진단업무의 實用的適用(실용적적용)이 강화되면서 기초-임상 간 의학교육의 연계가 강화되는 조짐이 눈에 띄게 늘게 되었다그 결과 基礎醫科學(기초의과학분야의 교육활동이나 연구가 대학상황에서조차 진료 영역에까지 적용하기 시작한 것은 어제 오늘의 일이 아니다환언해서 기초의학 교육만 하더라도 선임 기초의학자가 이룩한 업적이 진단기법이나 관련 진료기구의 개발을 유도하였음은 물론이고이제 모든 의학교육 상황마다 지역사회의 변화 요구를 무시할 수 없게 된 것이다의학교육은 이제 진료개념이나 치료방법의 변화에 이르기까지 지역사회 및 연구영역의 요구를 적극적으로 받아드리면서 나날이 발전 속도를 더하고 국제화에 앞장서가며심지어 서구에서는 기성의사에 대한 생애학습(life-long study)에까지 그 변화를 연장시키기에 이르렀다.]


이러한 현상은 특히 임상의학과 기초의학간의 연계가 지속적으로 상호 보완하는 성과를 이르기에 이르렀고또 이러한 긍정적 성과는 인문학적 자질 개발에까지 이어감으로써 종전의 학습 순서 즉 기초의학을 학습한 후 환자진료를 익힌다는 요구에 제동을 걸면서오히려 학생들의 현장교육 강화와 장래를 준비케 하는 기회를 만들어주는 상황에까지 이르렀다. 그러나 가르침을 주도해온 교수들에게는 또 다른 형태의 학습즉 연계학습이나 지역사회의 경험을 학습이나 연구에 잇는 상항에까지 연계하는 소위<의학은 하나이다>정신(권이혁 등, 1998)을 조성하여 연구=진료 분위기를 깅화하는 계기를 만들고 있다한 걸음 더 나아가서 기존의 학문 간의 벽을 헐고 해당 학과목 간의 협동예컨대 의학-간호학 간의 공동 발전 계기를 요구하기에도 일부 대학(가천의대)에서 시도하고 있다.


한걸음 더 나아가 20세기에 들어서면서 인접 학문분야의 급속한 발전에 힘입어 의료행위 역시 역할 분담을 강화하거나 조정하기 시작하였고특히 의료에 대한 사회적 요구가 이동하고 있는 것과 마찬가지로 의학교육 분야의 교육계획이나 교수법 자체에 대한 개선 요구도 지속적으로 그 수위(水位(수위))를 높이고 있다예컨대 20세기 초 Flexner 보고서(Flexner, 1910)가 출간되면서 임상진료 중심 의학교육에서 탈피하여 기초의학을 존중하는 의학교육이 강조되기 시작하였으며미국에서만 해도 이 보고서가 발표된 이후 400개가 넘던 의과대학 수가 반으로 줄어들었다이런 현상의 이면(裏面(이면))에는(미국의 경우이지만기초의학에 대한 배려 없이 진료 중심으로 이루어졌던 지난날의 의학교육에 대한 반성의 결과라고 해석하였으며이 현상으로 절반가량의 의과대학이 자발적으로 폐쇄되기에 이르렀던 것이다.


그런가 하면 1950-1960년대까지만 해도 연구 강화가 곧 의학의 질적 수준 상향을 유도할 것이다라고 예견한 미국의 NIH 연구비 지원정책이 빗나가기 시작하였다는 비판에 부딪치기 시작하였다즉 의학연구 강화가 의학교육의 향상을 유도하리라던 예측이 잘못 판단된 것이라는 결론이 1968년 WHO 본부에서 개최된 의학교육 전문가회의에서 지적되기에 이르렀고(Abrahamson S, 1979 녹취자료), 1970년대부터는 세계보건기구(World Health Organization, WHO)를 중심으로 일기 시작한 일차의료(primary care medicine) 개념 즉 <health for all by the year 2000> 정책이 20세기 후반의 각각 의료 발전방안을 주도하기도 하였지만(한국 의과대학협회, 1971)우리나라의 대학교육은 오히려 세부 전공이나 연구의 세분화를 강화할 뿐이었고의과대학 학생교육 역시 상대적으로 위축되는 시대적 아픔을 남겼다.


이것이 계기가 되어 세계보건기구가 중심이 되어지역의학교육센터(Regional Teacher Training Center for Health, Personnel RTTC)와 국가의학교육센터(National Teacher Training Center for Health Personnel, NTTC)설립으로 이어졌으며(의학교육연수원 안내, 1975)우리나라의 경우 정부와 미국 차이나 메디컬 보드(CMB 재단미국 뉴욕에 소재한 Rockefeller 재단의 子財團(자재단))의 재정적 후원으로 연계되어 1975년에는 정부주도형 의학교육연수원이 서태평양 지역은 물론 세계 각국의 교수개발(faculty development)에 앞장섰고이 나라 의학교육의 제도 개선과 교수개발을 유도하는 凱歌(개가)를 올렸으며동남아 지역 의학교육 개선의 단계를 넘어 전 세계 의학교육 발전 모델이 되기도 하였다또한 이 연수원 활동은 전국의 의과대학 교수개발(faculty development) 및 개원의 연수교육(硏修敎育(연수교육)) 강화를 유도하였다.


아울러 임상의학의 경우 자조적(自助的(자조적)) 운영을 이유로 내세워 의학교육에 대한 정부 투자가 거의 사라지다시피 하였고전공의 교육 강화라는 상황에 이르기까지 연이어졌다.


이런 불리한 상황 속에서도 연구 분야에서는 학문분야의 세분화그리고 응용연구의 활성화가 병원 단위에까지 가속화되었으며각 학문분야마다 연구기법이나 전공의 교육제도의 개선 등으로 시대적 요구에 엄청나게 빨리 적응해갔다. 가장 대표적인 예로遺傳体學(유전체학)(genomics), 면역학바이러스학(유행성 출혈열 바이러스 발견등을 위시하여 情報科學(정보과학주변의 많은 학문분야마다 이룩한 업적은 20세기 후반 이후 진료의학에 접목되면서 빠른 의과학-임상의학 간 유대에 변화를 유도함으로써 의학 발전에 큰 영향을 미쳤지만진작 의학교육 그 자체의 근대화는 오히려 투자의 상대적 감소를 자초하고 말았다.


비록 기초의학 교육을 위한 정성이 임상의학에 비하여 상대적으로 줄어들기는 했지만교육내용 선택에 있어서는 필수적인 내용을 중심으로 한 기본의료 강화에 앞장서면서중요하고 공통된 것(cores)을 중심으로 핵심내용을 필수부분과 선택(electives) 부문으로 구분할 필요성이 강조되기에 이르렀고또 핵심 영역에 더 많은 정상을 드리게 되는 정책이 점점 확산되긴 했으나한편 많은 의과대학 교수들의 임상의학 일변도에 기원한 저항을 충분히 막지 못하였다.


요약하면모든 것을 표면적으로 조금씩 골고루 알아야 하는지에 대한 회의(懷疑(회의))와 더불어중점적인 것을 효과적으로 그리고 확실하게 배울 수 있도록 의학교육의 목표를 분명히 재정립하고 내용과 방법을 다시 다듬는 일이 초미의 상황으로 닥치는 계기를 마련하기 시작하였다(World Federation for Medical Education, 1988).


특히 연구지원 상황이 변하면서 전공의과정과 대학원과정의 동시 운영의 功過(공과)를 검토할 때가 왔다는데 많은 의과대학이 인식을 같이 하는 반작용도 일기 시작하였다.

 

② 가르치면 배우는가?

지금까지 의학교육의 중심에는 늘 교수자(敎授者(교수자), professor)가 있어야 한다는 분위기가 확산되면서 교수 중심의 교육이 이루어졌었다학생이 공부하여야 할 것은 교수가 정해주고학생들은 교수가 시키는 대로 하면 재학 중에는 A학점을 받고 훌륭한 의사로 성장한다는 것을 전제로 수업이 이루어져 왔던 것이다그러나 이러한 접근방법의 뒤에는 늘 교수의 편의성 즉 교수 중심의 효율성(efficiency)이 숨어 있었다는 것도 부정할 근거가 희박해지기 시작하였다(김용일, 2000, 2001, 2002).

한편교수들에게는 교육만 담당하는 것이 아니고 연구와 진료내지 학회나 대학 내 위원회 참여라는 또 다른 역할이 추가로 부여되기 때문에 이들은 시간적 제한을 극복하기 위해서특히 교수자신의 발전을 위한 시간 할애즉 교수의 연구나 중심의 효율성(效率性(효율성))이 학생교육의 효용성(效用性(효용성), efficacy)보다 앞선 상황까지 발생하는 상황이 일어났다.




2. 모든 졸업생의 장래는 같은가?

졸업생들이 똑같은 장래와 취향을 가지고 있다는 전제를 만들지 않고는 지금처럼 한 학급당 백여 명의 학생들을 모아놓고 robot형 의사 양성 교육(특히 강의식 전달교육)을 편성할 수밖에 없다는 명분을 만들었다(김용일, 2000). 이러한 사고는 현재 거의 전국의 의과대학으로 확산되기 시작하였고오늘에 이르기까지 이런 생각이 지속되어우리나라뿐 아니라 전 개발도상국으로 풍미하였다비록 일부일망정 의학 분야에 따라서는 이러한 대형 강의 중심 교육으로는 개인의 자질 개발을 예기(豫期(예기))할 수 없는이른바 비효율적이고 위험한 방법이라는 의견에 힘이 실리는가 하면낙관하는 교수의견도 동시에 늘어갔다개개 졸업생들의 학습방법이나 장래가 서로 다르고또 졸업 후 진로(進路(진로))가 제 마끔 일진대 천편일율(千篇一律(천편일율))적이고 일방적인 교육방법으로는 개인의 다양한 요구(diversity)를 수용할 수 없다는 의료계의 강력한 의견 제시가 있었음에도 불구하고많은 의과대학 교수들이 아직도 임무 중심 교육과정(task-oriented curriculum) 개발에 저항하고 있는 것도 사실이다.(김용일, 1999, 2001)


(1) 교수(敎授(교수))의 고정된 사고(思考(사고))에 변함이 없다.

이상 기술한 여러 부정적인 의견에도 불구하고 지금의 교육 현황은 아직도 아래의 네 가지 생각을 전제로 이루어지고 있다는 생각이 계속되고 있다

① 교수가 가르쳐야 학생들이 제대로 배운다.

② 교수가 가르쳐야 제대로 된(박식하고 능력이 있는진료의사가 될 수 있다.

③ 강의는 실제적인 실습에 앞설 때 제대로 그리고 확실하게 배울 수 있다.

④ 기초의학을 배워야 임상을 이해한다는 이상 네 가지 생각에는 변함이 없다.

위와 같은 의견이 지배적이라면그리고 실제 학습 운영상황을 보더라도 이런 생각이 많은 교수들의 사고 저변에 깔려 있다.


이에 더하여 교과목의 수업 편성과정을 자세히 들여다 보면설사 유사 내용을 학습케 하는데 동의한다고 하더라도 타 교실 또는 교수 간에 긴밀한 협의 없이 교수계획이 편성되고 있다(김용일 등, 1988). 교과목의 논리적 배열을 고려하기는커녕 내용의 반복을 피하려 하지 않거나오히려 반복 학습을 권장함으로써 배움을 확실히 할 수 있는 교수가 늘게 되었으며결과적으로 연계(連繫(연계))하려는 노력 없이 개개 교수의 자의(自意(자의))에 맡겨 가르침에 임하도록 유도하고 있다는 사실이 지적되거나 비판의 대상이 되었다한마디로 통합보다는 연합식(聯合式(연합식)) 교육을 하고 있는 셈이어서 대학 자체의 교육의지를 읽을 수 없는 상황으로 퍼졌다한마디로 대학 당국이 교실 단위 교육에 관한 모든 계획이나 실행을 해당 교실에 일임하거나 교실 간 조정과정을 피하고 있어서일부 교육계 교수들의 저항을 받고 있다.


(2) 교수들은 학생들 간의 자질 차이를 받아드리려 하지 않는다.


수업의 수준은 대학이 표방하고 있는 교육목표와 무관하다는 사실이 적지 않은 의과대학에서 밝혀졌다이러한 생각은 일부 과목에 국한되기를 바라는 바이지만실제로 교수들은 일반적으로 대학이 정해놓은 것과는 관계없이또는 전국의과대학장협의회가 의논하여 작성한 최소한의 교육목표(전국 의과대학장 협의희, 2007)를 의식하지 않고자기류 교육목표를 바탕으로 수업 내용이나 그 수준을 정하여 온 셈이다따라서 학생들이 재학 중에 익혀야 할 수준이 어디까지이고또 어느 수준까지 가르칠 것인가에 개의하지 않고 담당 교수가 자의적으로 수업을 편성하는 실정이 되었으며대부분의 경우 전공의 또는 대학원 교육과의 차이를 그을 수 없을 만큼 혼선의 골이 깊은 결과를 낳기도 했다또한 이러한 현상이 최근에 생긴 의학전문대학원 제도에까지 반복되고 있어서 중복교육의 심각성은 교육량이 증가하는 상황을 유발하면서 많은 우려를 자아내고 있다또 제한된 특정 교육을 심층 분석해 보더라도 최소한의 필수적인 자질 개발(Schwartz , 2002) 누락현상까지 가속화될 전망이다.


이상의 여러 문제점은 기왕에 임용된 교수들의 생각을 더욱 굳히고 있어서 아래와 같은 질문에 당당히 대응하지 않을 경우 수업 목적 따로결과 따로의 종전 폐습을 반복하게 될 것으로 예상된다.

① 왜 이 과목 또는 이 내용을 가르치는가? (명분이 무엇인가?)

② 어떤 의사를 만들 것인지에 초점을 맞춘 교실(교과목)별 목표가 기록된 것이 마련되어 있거나 학생들에게 전달되고 있는가?

③ 배운 내용이 졸업 후에 어떻게 활용되는지 생각하면서 수업목표나 강의록을 마련하는가?

 

환언해서 대학이나 교수 자신이 담당할 역할이 무엇인지를 같은 분야의 교수들끼리도 서로 모르고독자적으로 가상(假想(가상))하면서 가르침을 주거나 평가하고 있는 것이 현실로 나타나고 있으며이미 의학전문대학원까지 이 현상이 이식되고 있다.(권이혁, 2009)


(3) 반 성


그간 의학교육 관련 교육기관이나 정책 입안자 및 소비자격인 학생 및 졸업자들의 대응결과로 보아 아래와 같은 문제점즉 활용성을 무시한 교육(일방적인 교육상황)이 진행되고 있다는 믿음이 확산되면서 각 대학마다 <표 1>과 같은 우려를 자아내고 있다.(김용일, 2003, 김용일 등, 2002)

 

<표 1> 교수들의 잘못된 생각이나 행위로 지적된 사항

1) 다른 교실에서 무엇을 가르치고 있는지 잘 모르며또 알려고도 하지 않는다.

2) 전체적인 흐름에 발맞추려 하지 않고 교과목마다 교육내용을 따로 설계하고 있다.

3) 구조를 알아야 기능을 알게 되고정상을 알아야 비정상을 알며이론을 알아야 사례에 적용할 줄 안다는 생각에 집착해 있다.

4) 암기중심의 지식 전수(傳受(전수))에 전념해 있거나알고 있기는 하나교수자신의 학생시절에 배운 전통에 따라 무심결에 문제점을 간과하는 현상이 남아 있다.

5) 의학전문대학원과 의과대학교육은 같은지 또는 달라야 하는지에 대한 회답을 갖지 못하는 상황에서는 이상의 문제점이 더욱 확대될 위험을 안고 있다(기대하는 최종목표는 똑같다는 사실을 굳이 외면하려는 가능성도 있다).


상술한 현상은 대학-교수 간 의견차를 조정시키려는 노력의 결핍라고 믿어지며따라서 그 해결책은 각 의학계 대학마다 관련 교수들의 적극적인 개선방안 제시 기회를 마련하는데 있다제아무리 교육과정을 개편하더라도 교수들의 정성이 앞서지 않는 한 교육의 혼선은 불가피하다는 것을 알게 된 것이다.


여기서 필자는 아래와 같은 도쿄여자의과대학 고(()) 요시오가(吉岡守正(길강수정)) 학장의 표현을 인용하고자 한다(吉岡(길강), 1990; 그는 전립선 확산에 의한 사망을 예견하고 사망 이틀 전에 일본의학교육학회 대회장 강연 의학의 本質(본질)’ 녹화자료를 작성하여 학회장에서 Video-tape 자료로 그의 강연을 대신하였으며많은 참석자들에게 감화를 주었다(吉岡守正(길강수정), 1990).

 

교육이란 말의 영어단어는 education이다이 말의 동사인 educe는 라틴어인 educere에서 유래된 말이며, ‘끄집어내다라는 뜻이다여기서 새겨들어야 할 것은 교수들이 학생들의 숨은 자질을 밖으로 끄집어내어 닦아주고 나중에 쓰일 수 있게 하는 활동’ 라는 것이 곧 교육이라는 사실을 잊고 있는 것이다그 대신 우리는 정 반대로 교수가 일방적으로 교수 자신의 의견을 학생들에게 강제로 쑤셔 넣고(pour in) 있는 것이다.’ 



3. 의학교육에 대한 세계적인 대응 추세어떤 의사를 만들려 하고 있는가?

1) 시대적 및 사회적 요구도의 변화와 기대치의 변천

지역사회 주민의 수명 연장과 더불어 삶의 질 향상을 위한 요구가 해가 다르게 변하면서 의료에 대한 요구 역시 질병 치료 차원에서 건강증진(health promotion), 질병예방(disease prevention)을 향하여 치닫고 있다(AAMC, 1984, 1998). 그리고 사회 전체를 위한 공중보건(公衆保健(공중보건))보다 개인의 건강관리에 더 많은 관심이 쏠리게 된 결과국민들은 건강 증진에 과민하리만치 예민하게 반응하고 있다(Edinbarough 선언, World Federatopm of Medical education, 1988, 1998). 아울러 환자들의 권리장정(權利章程(권리장정))이 나올 정도로 의사-환자관계의 개선이 가일층 강화되고 있는 데에도교수들은 아직 의과학적 발전이나 지식 전수에 골몰해왔던 현실(의학과 의료간의 괴리)에 무감각하여 왔던 것이다.


지금까지 기초의학계열 교수들이 해당 교과목을 가르쳐온 밑바탕에는 <표 2>와 같은 전제가 있음을 자인하지 않고는 오늘의 현실적 교육상황을 해석할 수 없다.

 


<표 2> 변화를 거부하는 교수들의 생각과 사회적 요구 간의 갈등

1) 현재 대학이 학생들에게 가르치는 것은 사회의 요구도나 기대와 부합되며교육을 통하여 의료의 수준향상에 적극 기여하고 있다는 것을 전제로 오늘의 교육과정이 편성되었다고 사료되나현실적으로 대학은 다음 세대에 밀려올 사회적 기대와 대학 자체간의 갈등을 충분히 내다보지 못하고 있다.

2) 설사 교육개념이 제대로 설정되어 있다고 할지라도 의과대학은 교수들을 오도(誤導(오도))하고 있다학습목적은 한 국가의 발전을 내다보고 이에 근거한 장래 지향적인 발전책을 제시하여야 하며시대의 흐름을 유도할 뿐 아니라교실단위로도 이에 적극적으로 대응하여 하여야 한다즉 교육은 체계적으로 이루어져야 하나 산재형 수업(散在型授業(산재형수업))으로는 개념조차 학생들에게 제대로 심어주기조차 어렵다즉 교수 수업의 뱐함 없는 단순 이동만으로 교육 자체의 목적을 이룰 수 없다다만 대학은 교육과정의 의미를 잘못 파악하고그 결과 학생들은 잘못 배우는 고리쇠 속에서 전통적인 교육계획이 있을 뿐이다.


2) 교육개념의 점진적인 이동(개선)

그러나 <표 2>과 같은 생각은 지난 50년 사이에 조금씩 변화하고 있으며이런 현상은 최근 5년 이내에 더욱 두드러지고 있다.

① 의료에 대한 시대적 기대가 점차 치료(cure)에서 돌봄(care) 쪽으로 이동하면서 의료인의 양성도 종전의 지식 중심 교육전체주의적 사고에서 균형된 전문 직업성(professionalism)을 받아드리기 시작하고 있다.

② 전체를 위하여 개인이 희생되던 전체주의적 교육사상이 쇠퇴하면서 개개 학습자의 자질 개발(맞춤형 교육)에 대한 사회적 요구가 더욱 거세졌으며실제 교육도 개개 학습자를 위한 능력 개발형으로 바뀌고 있다(김용일, 2001, 2005). 이를 요약하면 <표 3>과 같다.

 

<표 3> 교육개념의 변화

1) 교수 중심에서 학생중심으로 (학습방법)

2) 결과보다 절차 중심으로 (학습내용 1)

3) 균형 있는 교육목표 성취로 필수와 선택을 구별한다.(학습내용 2)

 

(1) 교수 중심에서 학생 중심으로

최근 시장원리(市場原理(시장원뢰))에서조차도 생산자 중심에서 소비자 중심으로 바뀌는 소비자 위주의 사회풍습이 확대되고 있다즉 생산자와 소비자 간에도 <소비자는 왕이다>식 개념이 자리를 굳히고 있듯이의료에서도 이와 마찬가지 현상즉 의사 중심에서 환자 중심(환자 권리 장정의 인정 등)으로 바뀌어가고 있으며교육 상황에서도 교육의 축(())이 교수 중심에서 학생 중심으로 이동하기 시작하고 있다미래학자인 Alvin Tofler는 그동안 주장해온 바와 같이 공리주의적 사고(功利主義的思考(공리주의적사고))가 교육상황에서는 조금씩이나마 이미 쇠퇴하기 시작하고 있는 것이다(Tofler A, 1980).

 

(2) 결과보다 절차를 소중히 여기는 교육으로 변하고 있다.

의학교육과정의 궁극적인 개발 취지는 학생들이 졸업 후 부딪칠 상황에 맞도록 지난날의 교육과정을 재편성하여 졸업후 재학시절에 익힌 내용을 시회에 바로 적절히 활용할 수 있도록 돕는데 있다이른바 맞춤형 교육(tailer-matched education)을 지향하는 사회 요구에 보조를 맞추어 발전해가고 있는 것이다환언해서 대학은 학생들마다 제각기 다른 자질을 가지고 있음을 인정하고이들이 졸업한 후 자신의 진로에 알맞게 교육 프로그램을 개발하도록 교육과정을 설계할 의무가 있는 것이다그러니 사실적 지식 암기를 유도하여 그 결과(outcome)를 평가하기 보다는 눈앞에 전개된 사항을 논리적으로 해석하고 사회적 요구에 접근해가되 타당성 있게 풀어가는 절차(process)를 도와주어야 한다고 강조하는 명분에 힘이 실리고 있는 것이다. <결과만 좋으면 절차야 어떠하든 좋다>는 생각 대신 <학습하는 절차를 하나씩 챙겨줌으로써 졸업 후 역할에 맞추어 학습시킬 교육과정의 개발방침을 정리하고 효과를 극대화 할 필요가 있음>을 암시해주고 있다(김선 등, 2004).

 

(3) 졸업후 임무에 맞춘 학습자주도형 학습방안 개발

의사로서의 임무를 수행하는 자에게 필요한 것은 생의학적 지식(biomedical knowledge)에 국한하지 않아야 한다는 것에 모든 교수들이 인식하고 있으나 口頭禪(구두선)에 그치는 경우가 적지 않다의사로서의 전문 기술(遂行度(수항도))의 향상에 더하여 가치관이나 윤리관인간성의료면접 등의료를 전담할 전문인으로서의 사명감을 수행하는 자에게는 전문직 직업관을 고르게 계발(啓發(계발))할 수 있게끔그리고 과학적 사고를 장려하도록 새로운 교과목이 추가되는 추세를 보이고 있다의학총론(Introduction to Clinical Medicine, 일명 ICM 또는 doctoring)이나 의사소통의료윤리학근거중심학습(Evidence-based Medicine, EBM 또는 임상역학글쓰기 과정 등이 추가되는 계기를 만들어주었으며이들을 학습하도록 돕는 자기주도형 학습(self-directed learning)의 개발 목적도 여기에 있다(福井(복정), 2001).



4. 의학교육변화에 대한 세계적인 대응 추세어떤 의사를 만들려 하고 있는가?

세계 각국의 의과대학/의학전문대학원은 1968년 이후 교육목표를 분명히 설정하여 학습자의 자질(지식전문 수기태도)이 학습과정에서 누락되지 않도록 그리고 균형 있게 개발하도록 세심한 배려를 하고 있다(Edinbarough 선언, 1988). 再言(재언)해서 의료인은 모름지기 전문직이 갖출 직업적 가치관(윤리성이타성(利他性(리타성)), professionalism 등으로 표기하고 있음)을 입학 조기(早期(조기))부터 개발하도록 그리고 이것들이 교육목표에 반드시 포함되도록 하는 훈련계획을 마련하여 현행 의과학 중심 교육계획에 추가 또는 보완되어가는 추세이다(AAMC, 1984). 

  • 예컨대우리나라만 해도 의학개론 또는 임상의학 입문(臨床醫學入門(림상의학입문), Introduction to clinical medicine, 일명 doctoring 또는 환자의사사회)과 같은 교과목을 의학 교육과정 개발 목표에 맞추어 개발 또는 명시하기 시작하였고(가천의대 서울의대 등), 20세기 후반기부터 대학평가 기준의 중요한 항목이 되면서 전국의 의대마다 <의사로서 마땅히 이들 인문학적 자질의 개발을 강화하는 일, 2000>이 급류(急流(급류))를 타고 있다(전우택김상현오승민, 2010:의료인문학, 2010). 

  • 비록 우리나라 일부 대학에 그치기는 하지만 의학과 예술이라든지 의학과 문학’ 과 같은 교과목이 별도로 개설된 대학도 있으나(가천의대제주의대 등), 이제 대학마다 학생들의 학습 성취 목적에 맞추는 교육이 의예과(특히 의학전문대학원 초반기)부터 강조되고 있다

  • 또 이들 의학계열 대학마다비록 완급의 차이는 있을지언정대학의 목적과 관련되고 있거나 졸업생들이 장차 의사로서의 역할을 효과적으로 수행할 수 있도록 교육목적을 지속적으로 다듬고 있는 일은 여간 다행스럽지 않다.


1) 專門(전문資質(자질)의 均衡化(균형화)(지식수기태도)의 강화 또는 재개발

지난 50년 동안 우리나라 의과대학의 교육을 주도(主導(주도))한 것은 추론적(推論的(추논적))인 내용을 바탕으로 한 신교육과정의 확대에서 강조되고 있다(김용일, 2000). 이른바 醫科學的(의과학적知識傳達(지식전달)에 지나치게 치우쳐 왔다는 비판이다또한 막상 졸업생들이 지역사회의 의료를 담당할 때 이들이 필요로 하는 것은 의과학적 지식만이 아니고자신의 전문영역에 합당한 수기영역이나 태도영역에 포함되는 자질을 망라하여야 한다는 사실이 각 대학교육 목표에 기록되어 있음에도 불구하고 實際(실제)는 그렇지 못하다특히 현행 의학교육과정에서 다루고 있는 지식영역만 하더라도 지적 수준이 낮은 暗記型(암기형)(또는 想起型(상기형)) 知識(지식)이 대부분을 차지하고 있어서 현실적으로 요구되는 고급자질 즉 判斷能力(판단능력)이나 問題解決能力(문제해결능력啓發(계발)을 포함하지 않고 있다더욱이 학생성적의 기본이 되는 紙筆(지필시험문항만 하더라도 判斷(판단), 解析(해석), 鑑別(감별), 分析(분석), 綜合(종합등 여러 단계의 지식을 요구하면서도 상당수의 일선 의학교육과정에서는 이를 간과(看過(간과))하고 있다(김용일, 1985, 1991).

이에 더하여 의사가 되는데 필요한 자질은 전문인으로서의 술기(skills) 개발 이외에 환자를 다룸에 있어서 필수적이라 할 정의적 자질(情意的(정의적資質(자질)), 즉 대인관계에티켓의사소통 등이 포함되어야 한다그러나 이러한 것은 언제나 구두선(口頭禪(구두선))에 그치고 있거나 매우 형식적이어서 관련 교육목표가 없었으며결과적으로 의대 졸업생의 역할을 제대로 계발해주지 못하고 있다(김용일, 1985).


2) 실사구시형 학습(實事求是型(실사구시형學習(학습))을 향한 연계형 교육과정의 편성과정

실사구시형 학습이란 조선조(朝鮮朝(조선조)) 후반기에 두각을 나타낸 실학사상(實學思想(실학사상))의 소산이며의학교육 분야에 있어서는 졸업 후의 세분화된 교육과정에서 기대하는 그런 교육철학만이 아니다(김용일, 2000). 물론 지금까지 우리가 철칙처럼 지켜 온 교육 내용의 범위나 수준은 대학이나 교과목마다 相違(상위)하겠지만 우리나라에서조차 활용할 수 없는 이론 중심의 비현실적인 내용이어서 <모든 것을 가르칠 수는 없다>는 한계성을 받아들이지 못하고 있다예컨대 병리학은 병리학교수만이 가르치듯이 다른 학문분야에서도 해당분야 전문교수가 별도로 가르쳐야 하는 것이 교육의 왕도(王度(왕도))라고 믿어왔던 것이다그러나 이들을 실제 상황에 적용하는 단계에서는 경계가 명확치 않은 것이 적지 않다환자에게는 교과목이란 것이 없을뿐더러 또 지금처럼 흩어진 것을 제각기 따로 배울 때 이런 현상은 더욱 심각하게 나타난다특히 이들 교과목 단위로 배우는 과정은 의학교육이 끝나는 46년 동안 제각기 흩어져 있어서 교육내용의 중복은 물론 적지 않은 틈새나 의미 없는 교육과정 개발을 초래하고 있으며교수들이 서로 모르고 있을 뿐이라는 사실에 주목할 필요가 있다.


<환자에게는 병이 있으나 교과목이란 것이 없으며의학은 오직 하나이다>라는 생각을 의학교육기관에서 받아들일 필요가 있다. 이런 정신을 의학교육 담당 교수에게 심어주거나 구체적인 교육계획을 담당하는 대학 교육기획위원회는 해당 교실(department)과의 상호 협동적인 절차를 거쳐 개개 교과목이 조금씩 관련분야에 기여하면서 자체의 교육목적을 살리려는 지혜가 필요하다모든 교수들이 교육행위에 보다 적극적으로 참여하지 않고는 대학의 기능이 소멸(消滅(소멸))한다는 우려에서 벗어나기 위해서라도포함시켜서는 안 될 고 수준의 내용을 상급학년으로 이관되지 못하고생각나는 대로 가르침을 주고 있는 것이 오늘의 의학교육 개발의 흠이라는 것을 모른척 하고 있는 것이다

  • 예컨대 우리나라에도 없는 원인(Schistoma hematobium)을 너무 자세하게 그리고 많이 강조한다든지병리학교수가 감염(infection)을 가르치고자 할 때 특정 미생물에 의한 병변(病變(병변), lesion)의 성상(nature)에 대해서는 어느 누구보다도 잘 알지만개개 미생물 자체의 특성에 대해서는 다른 참고서에서 베껴서 일러줄 뿐이거나 수준에 넘치는 것을 강조하고 있는 것이다자신도 분명히 잘 모르는 것을 가르치고미생물 감염으로 생긴 병변의 형태학적 성상을 병리학교수처럼 제대로 가르칠 수 없다는 인식이 필요하다

상술한 현상은 인체의 모든 병마다 있을 것이며협동을 전제로 하지 않을 때 낮은 지식수준은 물론 내용의 중복으로 인한 시간 소실아니면 역으로 서로 미룸으로 나타난 틈새가 4~6년 내내 일어나고 있는 것이다(김용일, 1983, 2002, 2003).

 


(1) 단일 교과목으로부터 연계 지향형으로

상술한 문제점을 줄이기 위하여 우리나라에서는 1971년부터 서울의대의 각 교실이 협동하는 연계교육(integrated curriculum)이 처음으로 시작되었다이 교육과정은 미국의 Western Reserve 의대에서 개발된 후 전 미국 의과대학으로 확산되었으며이를 기점으로 숫한 교육과정의 변혁이 각 대학의 학생교육에 반영되기 시작하였다(김용일 등, 1983). 이 개념은 어린이에게 사람의 얼굴을 그리도록 할 때 배운 것은 크게 그리고분명치 않거나 잘 모르는 것은 작게 그리며 이들의 위치도 제 멋대로 라는 실험이 이를 증명하고 있음을 늦게나마 알게 된 것이다.

 

(2) 졸업 후 교육과 졸업 전 교육 간의 혼돈 예방

반면대학원 교육은 고급 세부 학문분야이니만치 대학원이 정한 최소한의 가이드라인 하에서 교육기획부터 실행에 이르기까지 모든 것을 종전처럼 자율적으로 운영하는 제도로 이동하고 있다다만코스워크를 소중히 여기며 이를 바탕으로 논문작성과정이 뒤따르도록 하여 대학원의 발전을 저해해서는 안될 것 같다지금처럼 교수요원의 충원 여하에 따라 편성되고 있는 학부교육-대학원교육 간의 혼선을 막아 다능력 의사(multipotential physician) 양성에서 시작하여 세부전공으로 전환해가는 시도가 21세기의 의학교육 방향임을 강력히 제시하고 있다(김용일, 2002, 2005). 환언해서 현행과 같은 연구중심으로 엮어진 교실개념을 타파하지 않고는 계획된 전문교육 목표를 추구할 수 없다(김용일, 1985).

 

(3) 교실 개념(역할)의 변화와 이동(중앙화를 향한 교육계획)

전국의 의과대학은 지금까지 학부 학생교육을 교실(또는 Institute)에 일임하여 왔으나최근 의과대학의 교육목적이 각 소속교실의 학생교육에 반영되지 않은 점에 대한 거센 비판을 받으면서 일부 대학(성균관의대가천의대을지의대 등)에서는 아래와 같은 방향으로 가닥을 잡아가고 있다즉 학생교육을 위한 총체적인 계획은 교육개발연구센터나 대학 교육기획소위원회에서 담당하고교육과정위원회의 합의를 거쳐 교수회를 통과하도록 중앙화에 역점을 두되각 교실의 교수들은 이 원칙에 따라 일선 현장 교육을 담당하도록 바뀌고 있다(김용일 등, 1983; 권이혁, 2009).

돌이켜 보면 지난 날 학생들을 위한 의학교육은 완전히 교실 중심으로 이루어져 왔으며대학은 단순히 교육행정적인 뒷받침만을 담당해왔다고 해도 과언이 아니다예컨대 교육계획위원회(교육과정위원회)를 두긴 했지만시간표 편성이나 학점 배정졸업(진학 사정등 피동적/사무행정적인 활동을 해왔을 뿐이었다명목상 각 교실은 대학의 교육목표에 맞추어 분야별로 해당 교육역할을 담당한다고 되어 있으나막상 일어난 교육은 대학의 교육목표와는 무관하게 편성되어왔던 점을 우리는 기억하고 있다즉 대학 당국은 의과대학 교육목적에 맞도록 각 교실단위별로 학생교육을 편성하도록 위탁하였으나막상 각 교실이 개발한 프로그램을 살펴보면 지식정보의 증가에 민감하게 대처하였을 뿐이며대학 교육목적과는 별개로 수업계획이 이루어졌으며 대부분의 교실단위 교육도 그 예외는 아니었다심지어는 대학교육과 대학원 또는 전공의 교육 간에 혼선을 유도하기까지 한 경우도 있다.


이상의 쟁점을 비교적 용이하게 해결할 방책은 대학의 전체적인 조화를 이루면서도 교실단위의 기능을 존중하는 방향이 될 것이며그 구체적인 방안은 대학에 교육개발연구센터를 설치하고여기에서 종합 교육계획을 중앙화 하되각 교실이나 관련 의료/보건학과의 도움을 받거나 지원방안을 확대 계획하고 조정하며현장 교육은 각 교실 소속의 교수들이 교육을 담당하도록 하는 일이다여기에다가 일부 교실의 주임교수가 중심이 되어 심의/조정에 참여하면서 학장의 교육계획을 감독 또는 견제하는 시스템으로 가닥이 잡혀가고 있으며 국내에서는 물론 국외의 많은 대학에서조차 이 제도가 성공하고 있다(김용일 외, 1990, 2001).

再言(재언)할 것도 없이 의과대학 또는 의학전문대학원 교육의 기본 역할은 제도에 관계없이 지역의료를 담당한 의료요원을 양성한다는 기본 원칙에는 변함이 없다그러나 과거 의학교육의 기획은 교실단위로 이루어졌으며 대학이 제시한 교육목표와는 무관하거나 상반되기도 하며또 이를 무시하고 있다고 해도 과언이 아니다(한국의과대학장협의회, 2004). 즉 각 교실은 대학의 의견에 개의치 않고 일방적으로 교육의 내용과 수준을 정한데 비하여개정 교육과정에서는 교육계육계획 지원은 범 교실단위로그리고 일선 교육은 공동으로 시행하는 방향으로 가닥이 잡혀가고 있다(김용일(A), 1999; 김용일(B) 1999).

 

(4) 의료 수준 향상을 위한 교육환경/단위조직의 마련

(1) 교육개발센터(의학교육실의학교육학과)의 설치대학 단위의 교육기획은 교육학 전공 학자들이나 관심을 가진 학장들과 교육학 개발에 익숙한 의학계 교수들이 중심이 된 단위조직이 만들어지는 경향이다이들은 전문분야 교수인 교육자료 제공자 content supplier(전문분야 교수)로부터 의견을 받아 기획과 지원을 담당하는 제도를 도입하는 일이었으며우리나라에서도 1975년 이후 체계화되었다이 조직은 의학교육 개발 참여는 물론 신임교수 개발이나 학생들이 익혀야 할 내용마련 등 효과적인 수업을 위하여 대학교육을 조감하는 일을 담당하였다이에 더하여 각 학과목 간의 조정전문화된 교무행정적인 업무 특히 PBL이나 임상수기훈련, OSCE.CPX와 같은 객관적 임상능력시험 준비시험문항분석학년별 교육계획 마련그리고 새로운 교육계획의 도입 등을 위해서는 기존의 교실 단위로는 해결할 수 없으며교육학적 배경을 가진 연구원을 두고실제적인 역할에 도움을 주는 각 교실 소속 교수들을 위한 각종 지원을 담당하여야 한다그리고 여기에는 교육에 관심이 높은 교수 약간 명으로 구성된 兼職敎授制(겸직교수제)를 둘 때 그 유용성은 매우 높다(김용일 외, 2002, 2005, 2006, 2009).

다만 조심하아여 할 일은 이들이 기존의 교실과 같은 단위(의학교육학교실의학교육학과)로 설립하는 것은 독자적 발전이 대학발전에 앞선다는 우려를 낳고 있어서 일부 대학에서는 이를 받아들이지 않고 있다이는 어디까지나 지원기관(supporting unit)이지 독자적인 연구가 앞서는 것은 결코 바람직하지 않다.

 

(2) 교육과정 심의기구(학장 업무에 대한 지원 또는 견제)의 구성

교육개발센터의 지원을 받아 편성이 확정된 기본 교육계획을 교수회가 받아들이고 추진하고자 할 때 학장단의 강력한 결심과 실천을 요구한다그러나 교수들을 대신하여 중앙화된 교육계획을 심의하고 필요에 따라서는 지원 또는 견제하기 위하여 약간 명의 교수(주로 56명의 주임교수)로 된 심의회를 구성하여 학장이나 교육개발실의 역할을 견제하거나 지원하는 제도를 두어 기능적 효율성을 기하기도 한다(김용일, 1999). 경우에 따라서는 교육기획위원회에 학생대표를 observer 자격으로 참가시켜 학생들의 의견을 반영하는 방법을 취한 대학도 있다.


연구방법

1. 역장분석법(Force-Field Analysis)

바람직한 의료인을 양성함에 있어서는 각 대학마다 설정한 교육목표 성취를 촉진시키는 방법(facilitating factors)과 이를 저해시키는 요인(impeding factors)을 찾는 방법을 찾는 일즉 전자를 강화시키고후자를 억제시키고자 할 때 성취하고자 하는 시도가 효력을 거둘 수 있을 것이라는 기법을 사용하고자 하였다따라서 관련 인자를 조사할 때 지역사회가 바라는 의사양성 방안의 장점을 드높이고 단점을 저해하는 방법에 노력을 가함으로써 효율적인 접근방법의 모색이 가능할 것이라는 가정하에서 역장분석법으로 조사하였으며이는 아래와 같이 요약할 수 있다(권이혁김용일, 1999).


[그림 1] 바람직한 의사양성 목적 달성도를 모색하기 위하여 도입한 교육과정의 촉진

또는 저해인자 탐색방법의 모식도(Lewis의 장이론을 개량 확장한 것임).



2. 각 대학의 의사 양성 교육과정(curriculum) 방문 및 문헌 수집

연구자는 41개 의사양성기관(대학의학전문대학원)을 방문하거나 통신으로 <표 4>에 기술한 자료를 수집하고 이를 분석하였으며미국이나 유럽 및 일본 등에서 시도하고 있는 교육계획과 비교하는 자료로 사용하였다(김용일, 1985). 구체적인 자료는 자료의 분량 때문에 본 논문에서는 조만간 출간되는 단행본에 게재하기로 한다.


3. 연수교육에 대한 현황 및 한계성 분석

보건사회부는 의사의 연수교육(보수교육이라고도 함)을 대한의사협회에 위임하고 또 대한의사협회는 일체의 구체적인 교육 시행계획을 시(단위로 이루어진 시행기관을 보고받고 총괄 검정보고하는 형식을 취하였다즉 각 단위가 중앙회에 연수교육계획을 신청하고 승인받아 집행하며 각 단위조직에서 작성한 평가결과에 따라 이를 중앙회에 제출하는 형식을 취하고 있다이를 시행하는 방법은 아래 <표 4>와 같다(대한의사협회, 1984;김충식, 1985).

 

<표 4> 연구자가 제안한 연수교육 방법(김용일, 1980, 1984, 1985)

1. 의사협회가 지정하는 시도 산하 의사회 지부 또는 연수교육지망 교육기관이 운영하는 시도 각 지회 연수강좌나 임상 실습

2. 의료 단체나 의료 교육기관의 지상 의사연수 강좌로서 의사협회의 승인을 획득한 프로그램

(대한의사협회지나 녹십자의보의 지상 연수강좌)

3. 의사협회가 승인한 임상진료 수련

4. 기타 의사협회장이 승인한 교육 프로그램

 

따라서 본 연구자는 일부 연수교육현장과 중앙회 자료를 분석하되 현장 경험에서 얻은 자료로 교육현황과 문제점을 조사하였다(김용일, 1985).


아울러 지역사회의 의료 변화는 인류의 생활양식과 직접 연결되며연구의 진척에 따라 의료요구 역시 매우 다양화되고 있다특히 기성(旣成(기성)) 의사에 대한 성인 교육계획이 지속적으로 이루어져야 하지만대한의사협회를 중심으로 한 단위 의사회 중심의 연수교육(평점제도)은 매우 형식적이거나 수요분석이나 교육방법선평가과정이 매우 미숙하여결과적으로 교육효과 역시 근시안적인데다가 별도의 계획마저 제대로 세우지 못하고 있다.


1) 41개 의학계 대학에서 매년 배출되는 의사 중 대부분(>90%)은 인턴 및 전공의과정을 거쳐 전문의 과정을 지향하고 있는데 반하여정부가 지향하는 방향(일반의 전문의 = 30% : 70%)에 역행하고 있다더욱이

2) 사회의 의료 요구는 전문의 지향성이 전국적으로 강하다.

3) 다행스럽게 가정의학과가 일반의와 전문의 간의 틈새를 메워 주고 있기는 하지만 일차의료 담당자의 수적 감소는 현 상황으로서는 불가피하다.


4. 의료인에 대한 지역사회의 지속적인 요구 변화에 대한 문헌분석 및 현지 방문

1) 국내 현존 의사 양성 체계

현재대로라면 일단 의과대학이나 의학전문대학원 교육과정을 마친 후 국가가 요구하는 자질 검정과정(의사국가시험)에 합격하면 자동적으로 의사면허를 부여받아 의사 자격이 생기며특별한 차이를 두지 않는다(김용일, 1985).


2) 각 의사양성기관이 배출한 의사인력 양성 현황

2009년 현재 3300여명의 신규 의사가 양성되고 있으나종전의 의과대학과 의학전문대학원 출신 교육방법에 따라 수준 차에 대한 검토는 시행된 바 없으며조만간 의학전문대학원 제도를 지망한 대학의 변동으로 졸업생의 수준 검사가 단순 합격률 조사로는 어렵다.


3) 각 교육기간과 취업조건

지역사회의 의료문제를 효과적으로 부담하기 위하여 13차 진료기관으로 나누고 있으나연수교육에 대한 특별한 요구는 없다(김용일, 1985).


4) 졸업 후 교육(Continuing Medical Education)의 현황

의료법에 따라 환자 진료에 임하는 의사는 교육기관의 교육담당자나 군의관 등 일부 의료인을 제외하고는 법에 따라 소정의 평점을 받도록 되어 있으며이 검정은 대한의사협회에 위임되어 있고미달자에 대한 제재는 따로 정하고 있다불행히도 이러한 요구는 형식에 그치는 경우가 많아서지역의료의 쟁점이나 의료의 직업성 등에 관한 교육 실패를 방치하고 있다대리 출석합리적인 요구분석 없는 프로그램이 진행되고 있으며중앙 감독 기능도 매우 부실하거나 아예 없다(대한의사협회 실무자의 비공식 의견, 1984).

 

 

연구 결과 및 토의

1. 의학교육 개선을 요하는 교육과정 편성방향 내용

전국 대부분의 의과대학 또는 의학전문대학원은 아래와 같은 문제점에 노출되어 있다(대한의사협회, 1984; 이지혜 등, 2009).


1) 현행 의사 양성제도의 이중성

(1) 의과대학제와 의학전문대학원제의 병용 운영

2009년 현재 전국에 설립되어 있는 41개 의사 양성기관을 3개 군으로 나눌 수 있다이들을 다시 국사립 교육기관으로 나누어 보면 <표 5>와 같다국립에서는 6년제 의과대학 단독제(의예과 2년 및 4년의 본과의 병합형)를 운영하는 미전환 대학 수는 하나도 없었고의학전문대학원으로 전향한(일부또는 전부)는 사립의대이고 이들 대학()에 입학학생 수는 800명이었다병행대학은 12개의 의학전문대학원(2004년 개설)이고 이들의 국/사립 배분 인원은 3/9개이며대학 수는 각 14개개 및 17개이다.

후자인 17개 의학전문대학원이 모집하는 학생 수는 총 1,147명이었으며, 13개는 단독으로 의학전문학원제를 운영하고 있으며, 4개 대학만이 병합제즉 의학전문대학원(기존 6년제 일반대학 교육과정 프로그램과 8년제 의학전문대학원제(4년제 일반 대학을 졸업한 후 다시 의학전문대학원에 입학하여 4년의 추가 의학교육과정을 거치는 과정)를 혼합하고 있다이들의 특징을 요약하면 아래 <표 5>와 같다사립대학에서는 3개 분야로 흩어져 있으나, 국립 대학의 경우 10개 대학 중 의과대학 단독으로 남은 대학은 하나도 없었으며적어도 의학전문대학원이나 병행형을 택하고 있으며이런 현상은 모두 정부 주도형 대학이라는 데서 정부의 영향력이 컸다는 의미를 짚을 수 있다(지지혜 등, 2009).

 

<표 5> 우리나라의 의사양성 제도별 각종 지수(2009)

구분

의과대학제

의학전문대학원제

병행형

의사 양성 대학(의과대학

의료석사 양성 학생 수

의학계 대학 수(/사립 구분)

입학 요건

의사국가시험

인턴 및 전문의 수련

14

890

0/14

정규 고교졸업자

시험 있음

90% 이상 수련

15

1,147

7/8

4년제 대학 및 고교 졸업자

좌와 동일

결과 없음

12

976(494+482)

3/9

고교 졸업자+대학 졸업자

좌와 동일

동일

 

(2) 졸업 후 의사 자격과 수여학위 간의 상위성과 문제점

위의 의과대학 또는 전문대학원 수료자에게 대학이 수여하는 학위는 각각 학사 또는 전문석사(학문석사와는 다른 학위)로 되어 있으나지금까지 이들 간의 자질 차이를 제시할 가이드라인이나 근거조차 제시하지 못하고 있다이는 부분적으로 개설 당시 기준이 충분히 검토되지 않은 듯하며법학전문대학원 신청자격이나 교수들의 연구비 지원 자격제한과 결코 무관하지 않다는 의견이 지배적이다(김용일 외, 2004).


아울러 우리나라는 서양 각국의 8년제 의사양성 교육계획과는 달리 대부분 의대 졸업 또는 전문의과정 수료 후 3년간의 군 근무를 필해야 한다는 제약조건이 있으며결과적으로 여자 입학생의 상대적 증가와 <의료석사-의학석사 간의 차이>에 대한 해석이 이를 주관한 전 교육인적자원부의 부연 설명이지만대학 내부의 의견이 상반하여 향후 이 문제가 자율에 맡겨질 조짐마저 있다.

 

(3) 정부가 지향하는 수련의/일반 의사의 숫적 균형에 대한 상이한 해석

당초 의학전문대학원이 정부 주도형으로 시작되었으나 동일 의사면허 요구조건이 동일하며 특히 의료석사 졸업자격이 분명히 규정화 되지 않아 대학마다 연구논문을 필요로 하는지에 대한 상이한 해석이 상이함으로써 오늘날 의과대학에 비하여 지망자가 증가하지 않은 이유로 지적되어 있으나 대학마다 상이한 조건이 요구되어 문제화되고 있다.

 

(4) 교육이라는 개념을 무시하는 교수 임용

① 교수들의 고정된(잘못된교육관

의과대학이든 의학전문대학원이든 교수로 임명된 자의 의사양성 교육관에는 전혀 차이 가 없으며또 별도의 내부적 또는 외적 제한에 법적 차이도 없다.

② 교육과정 개발의 문제점

교수의 일방적인 교수법 즉 교수가 가르쳐야 학생이 배운다는 생각은 양 교육제도에 전혀 차이가 없으며(김용일, 2005), 이런 현상은 임상의학계 특히 지방 의학계 대학일수록 더욱 심하였다.

③ 교실개념의 잔존이 학위의 종류에 던진 문제점(김용일, 2002)

의과대학이든 의학전문대학원이든 기본 조직은 교실제도운영에 있으며학생들에게 수여된 학위의 종류와도 무관하다.

④ 대학행정 지도자의 영향력 부재(김용일 외, 1999박영숙 등미발표)

의과대학의 임상의학 교과목에 대한 강의나 실습장소의 위치는 대개 병원 중심으로 되어 있고또 교수의 정위치 역시 진료담당 교수의 편의를 때문에 많은 대학에서는 병원 중심으로 배치하고 있어서임상의학계 교수는 자연히 교육 현장과는 지리적으로 떨어져 있어야 한다는 제한이 따르고 있다즉 연계교육제를 유도하기 어려운 상황에 놓여 있어서 기초의학계 교수와 임상의학계 교수 간의 의사소통이나 교육에 대한 협의도 결코 용이하지 않은 상황에 놓여있어서 통합교육이나 PBL 등의 지도에 불가항력적인 한계성을 안고 있다.



2) 교육과정 운영의 생소함에 기인한 혼선(맹광호, 2000;박귀화 외, 2003)

전통적인 교육을 받은 교수는 시대적 요구에 아랑곳 하지 말고 전통적인 교과목 중심 교육에 연연하며다른 분야 교수들의 영향을 받지 않고 독자적으로 교육 프로그램을 편성하는데 익숙하다즉 의과대학 교육과정(의예과 2기초의학 2임상의학 2년 총 6년의 교육과정)에서 공부한 교수들이 학생교육을 전담하는 이 과정에서 교실 간 협동을 전제로 하는 통합교육이나 합동 컨퍼런스형 교육이 거의 불가능하며이런 현상은 거의 모든 의과대학에서 적어도 일부이나마 볼 수 있다.


3) 전통적인 교육계획과 추가로 도입된 교육과정 간의 마찰

학생은 물론 임상계 교수에 이르기까지 의학은 하나이다(Medicine is one)’라는 교과목 학습개발 원칙에 익숙하지 않다즉 임상계 교수들은 학생들이 기초의학을 학습한 후에야 임상의학을 배울 수 있다고 생각하고 있다(박영숙 등미발표). 반면의학교육의 세계적인 주류가 되어온 기초의학-임상의학 간의 연계형 교육개발인 통합교육(integrated curriculum)이라는 새로운 개념을 적용하기가 물리적으로 어렵다는 이유로 임상계 교수들은 종전의 교과목 중심 교육에 대한 미련을 버리지 못하고 있다(김용일, 2004; 박영숙 등미발표).


4) 학제 간 교육과정에 따른 교육개발센터/의학교육실과의 2중 운영

각 대학마다 1971년 이후 학장 산하에 별도의 의학교육실(Office of Medical Education) 또는 교육개발연구센터(Center for Educational Development)와 같은 조직체를 두기보다는 기종의 교실 또는 학과단위를 운영하면서 교육계획을 시도하기를 선호하며학장실 또는 교육기획위원회 중심제도나 교육따로 임상진료 따로의 제도를 원하고 있다그러나 실제 운영현황을 보면기존의 교과목 책임자가 곧 주임교수인지라 연구자나 診療醫(진료의)로서의 역할을 겸하고 있는 동료교수에 대한 영향력이 미약하며특히 학장 선출방식이 전 교수의 투표에 의하는 상황에서는 교육이 뒤로 밀리는 현상을 피할 수 없다(서울 을지의대 교육기획위원회, 2006).


5) 전통적인 의학박사 학위제도의 병용(倂用(병용)) 운영으로 인한 혼선

의과대학 졸업생에게는 의학사의학전문대학원 졸업생에게는 일정한 교육계획 없이 논문을 요구하거나 또는 이를 무시하고 석사학위를 수여하고 있는 등학위 수여의 난맥상을 보이고 있어서대학의 기강을 흔들고 있다일부 대학(예 가천의대)는 의학전문대학원을 운영하면서 철저히 연구논문을 요구하는 한편또 다른 일부 대학에서는 과정 이수로 끝나는 대학도 있어서 석사학위를 제공하는 난맥상을 보이고 있다(이지혜 등, 2009). 


2. 학생교육에 대한 대학-교실 간의 역할분담

1) 교실의 역할 학부/의학전문대학원 교육에의 참여와 대학원 교육

(1) 교실/교수중심 교육과정 시행의 배경(김용일, 1999)

각 의과대학마다 고유의 교육목표를 가지고 있으며 이를 성취하기 위하여 대학의 특성과 제약 등을 감안하여 고유의 교육계획을 추진하고 있다그러나 실상 의과대학 단위의 교육목표와 실행하고 있는 교육과정과는 완전히 별개이어서, 대학은 구체적인 교육계획을 알지 못하고 각 교실에 위임하고 있거나 방관하고 있다. 그 결과 목표와는 무관한 졸업생들이 배출되고 있어서, 이른바 임상교육의 목적은 졸업후 교육 특히 전공의 교육이 이루어진 후에 성취할 수 있어서 의과대학을 졸업한 후에 의사가 되고 전공의과정이 끝난 후 전문의가 되는 것이 아니라, 전공의 교육이 이루어진 후에 <동시에 의사도 되고 전문의도 된다>는 비양그림이 상식화 되다시피 하고 있다(김용일, 2004). 이에 더하여 대학은 의과대학 인정평가를 계기로 대학 교육목표를 급조하였고명분은 학생교육을 각 교실에 위임한 것으로 되어 있으나 실제는 교실과 대학 간에는 특별한 연계체제를 만들지 못하고 방치한 것과 차이가 없었던 것이다. 또한 각 교실에서도 강의가 실습 시간만 정할 뿐 무엇을 어떻게 가르치고 평가하는 것 까지 통일된 시스템을 갖지 못하고 있다. 이는 임상교육 분야에 있어서도 기초의학과 마찬가지로 대학의 목표와는 무관하게 학생교육이 마련되어 있을 뿐이어서 교육과정만으로는 특정 대학의 교육기획을 짐작할 수 없다.

 

(2) 교수중심 교육과정으로부터의 탈피와 기타 개선방안

이러한 어려움을 극복하기 위하여 일부 의과대학은 총괄적인 기본교육계획 즉 대학교육목표를 개발하고 이에 근거한 기본 교육과정을 마련하지만각 교실 및 소속 교수는 교실의 자체 교육계획에 따라 실질적인 교육을 담당하고 있으며서서히 이런 계획이 전 대학으로 파급되고 있다.

의학전문대학원제로 전환한 의과대학인 경우에도 이 계획의 추진원칙에는 차이가 없을 것으로 본다다만 새로 출범한 의학전문대학원은 의예과교육을 담당하면서도 실제로 이를 이루지 못한 채 방치하고 있다.


2) 대학/의학전문대학원의 임무 학부 교육의 총괄기획과 교육환경의 마련

(1) 의예과 교육의 의미와 일반대학 졸업의 대응

지금까지 의예과 2년간의 교육목적은 홍익인간 양성교양교육 등의 막연한 의미인 용어로 요약되어 왔으며뒤이어 계속되는 4년간의 의학교육과는 관련성이 떨어진 프로그램을 운영하여 왔다는 비판을 받았다의예과가 따로 떨어져 있지 않고 단순히 진입개념이 남아 있는 한 의사양성목적을 달성하는데에는 문제가 있다는 사실에 근거하고 있다(May, 2004).

아래 [그림 2]는 위의 문제점을 해결하기 위한 을지의대의 교육목적의 시기별 구분이고, 그 근원은 미국 소재 China Medical Board of New York가 주축이 되어 중국의 8개 의과대학에서 실험적으로 적용하고 있는 개념을 원용한 것이다(Schwartz & Woltczak, 2002).

장차 의료를 전담하는 자가 갖출 자질은 크게 7개 영역에 속하는 것들이지만따지고 보면 전문교육에 입문하기 전에 즉 의예과 과정(또는 이에 가늠하는 시기)에서 필요한 자질은 3가지 즉 

  • 비판적인 사고능력을 함양하고, 

  • 환자 또는 주변으로부터 얻게 될 숫한 정보를 수집하고 관리하는 능력을 기르며, 

  • 환자를 위시하여 동료와의 협동에 필수적인 의사소통능력(communication skills)을 가진 후 

후 비로소 전문영역 자질의 획득즉 과학적인 근거(추론 대기), 지역사회로부터 오는 기대 분석 또는 전문으로서의 가치관이나 도덕관(윤리성)을 학습하게 되는 것이다(Schwartz & Woltczak, 2002김용일, 2005김용일 등미발표).

 


[그림 2] 의예과 및 의학과 교육 목적의 구분




(2) 졸업전 전문분야 교육

필수와 선택선택과목제의 유도 그리고 자주적 교육


 재학 중에 모든 것을 가르칠 수 없다이 어려움을 해결하는 방법은 교육기간을 늘이거나 수업내용(교육목표)을 줄이는 방법이다(김용일, 1986). 의과대학 제도이든 의학전문대학원 제도이든 이미 의학교육 자체를 위해서는 전 세계적으로 4년이라는 기간으로 못 박혀 있는 상황에서는 이 방법도 불가능하다그리고 경제성(cost-benefit advantages)을 생각해보더라도 실현 가능성이 적다여기서 생각해낸 것이 아래와 같은 바로 핵심(core)과 선택(elective)의 개념 <표 6>를 도입하는 일이다.

 

<표 6> 핵심과 필수의 개념

과정

학습내용

교육과정

핵 심

반드시 알아야 할 필수적인 내용

필수 교과목

선택과정 1

선택과정 2

자신의 관심과 흥미에 맞추어 선택하는 내용을 알면 모든 학생에게 매우 도움이 되는 권장사항(알면 좋은 내용)

선택 교과목

선택 교과목

 

② 익혀야 할 학습내용 중에는 필수적인 것(essential to know)과 필수는 아니라 할지라도 공부하도록 권장할 내용(useful to know)이 있을 것이며안다면 도움이 될 수 있는 것(nice to know)이 있어서(Guilbert, 1979), 필수적인 것은 누구나 공부할 수 있도록 핵심과정(core course)으로 만들고자신의 희망이나 주변으로부터의 권장(요구)에 따라 공부할 것은 선택하도록 하는 선택과목(elective course)로 한다면 이상의 어려움을 피하면서 효과적으로 공부시킬 수 있다(Domonowski, 2002이지혜 등, 2009).




3. 향후 교육개선을 위한 구체적인 의학교육과정 편성계획의 변천

1) 통합교육(integrated curriculum)

통합교육의 개념은 1956Western Reserve 의대에서 개발한 새로운 교육과정으로서 교실 당시까지 의학교육의 대명사처럼 되어있던 교과목 중심 교육과정에 새바람을 넣은 프로그램이다. 이 교육과정은 연합(simple cumulation)과는 달라서 <7>과 같은 5가지 특성을 가지고 있다(김용일, 2006).

 

<7> 통합교육의 원리

항 목

방 법

영 문

1) 내용

집합

summation

2) 배열

연계

synchronization

3) 시기

집중

concentration

4) 논리성

배열

sequencing

5) 교수

집단지도

team teaching

이 통학교육이 가지는 속성은 의학은 하나라는 점에서 출발하며 숲을 알아야 나무를 제대로 안다는 개념이 바닥에 깔려 있어서, 한마디로 의학을 종합적으로 학습하도록 돕는 교육과정이기도 하다. 즉 통합은 인간의 자연적인 사고방식이며, 다시 말해서 연계는 어려서부터 인간이 가진 속성에 맞도록 편성된 교육과정이어서, 아무리 교수가 낱개로 가르쳐도 학생들은 스스로 머릿속에서 엮어야 하는 어려움을 도와주는데 큰 역할을 한 교육프로그램이다. 한편 이 통합교육과정은 의료절차나 연구과정과도 같아서 논리적 해석이 매우 이론적어서 20세기의 총아로 불리었다.


그러나 이 교육과정을 편성하는 과정에서 대학에 따라서는 적지 않은 오해 또는 착오를 유발시켰다. 즉 통합(일명 연계)과 연합과 엄연히 구분되어야 한다는 사실을 잊고 있음을 우리나라의 많은 의과대학에서 발견할 수 있다. 견해서 통학교육과정이란 기존의 제도를 유지하면서 서로 이질적인 내용을 단순히 합쳐놓은 것(연합)에 불과하게 보이지만, 통합은 유사한 교육내용을 반드시 유사 분야 교수들 간의 긴밀한 협의 하에 합동으로, 일시에, 그리고 전문가 중심으로 이루어진 후 가르치는 교육과정이다. 이 과정은 1971년 서울의대를 중심으로 시작하여 현재 우리나라 대부분의 의과대학에서 임상전 교육과정(preclinical curriculum) 전부 또는 일부 교육과정에서 시행하고 있으나, 아직도 연합식 교육의 테두리에서 벗어나지 못하고 있다(김용일, 1984). 즉 오늘날 적잖은 대학이 받아들인 통합교육과정은 개개 교실(교수)ego를 유지하면서 대학이 요구하는 통합교육의 원칙을 지키려 한다는 데에서 파생된 부작용을 안고 있다고 할 수 있다. 다만 우리나라의 많은 의과대학에서 시행되고 있는 이 교육과정은 교육학적으로 교수 중심이라는 약점에서 벗어나지 못하고 있으며, 기존의 교실 개념을 쉽게 넘어서기 어려워서, 수업후 결과적으로 중복을 면치 못하는 결과를 많은 대학에서 볼 수 있다. 그러나 합동 conference와 같은 정신을 포함한 실사구시적인 事例硏究型(사렬연구형)으로 개선할 때, 보다 종합적이고 학생중심으로 운영할 수 있으며, 나아가서는 후술하는 PBL형 교육으로 교체가 가능하다는 사실을 2개 대학(기천의대 및 을지의대)에서 경험한 바 있다(김용일, 2000; 김용일, 2005).


2) 문제중심학습(Problem-Based Learning; PBL)의 도입

의과대학 재학 중에 익힌 지식이나 전문기술의 반감기(half life)5년이라고 한다(Guilbert, 1984). 이 메시지는 곧 학생들이 재학 중에 공부한 상당량의 자질은 졸업과 동시에 이미 낡은 것이 되어 새로운 재충전을 필요로 함을 의미한다. 그러나 재학 중에 가르침을 주던 교수와는 졸업과 동시에 재회하게 되는 상황이 아니다. 따라서 새로운 지식이나 기술로 낡은 것을 교체하고자 할 때 다가오는 모든 문제점은 스스로 해결하지 않으면 안 된다. 이러한 상황에 대비하여 학생들을 재학 시부터 독자적 학습자(self-directed learner)가 되도록 훈련되어야 한다. 이것이 바로 문제중심학습 필요성의 기본이 된다(Abrahamson, 1969; 김선 등, 2004).


대부분의 대학에서는 본과 1학년이나 2학년 때부터 PBL을 경험하게 되는데, 사례는 교수가 만들고, 학생들은 소단위로 편성하여 학생들끼리 주어진 상황을 제대로 파악한 후, 모르는 것이 무엇인지를 협의하면서 토의과정을 좁혀나간다. 그리고 학생들은 각자 분담한 분야를 독자적으로 공부해 와서 분과단위로 발표하고 토의를 거치면서 정답에 이르는 과정을 거친다. 이런 과정에서 교수는 지금처럼 정보 제공자(information provider)가 아니라 학습을 촉진시켜주는 tutor가 되어 학생들의 분임토의를 도울 뿐이다. 한마디로 학생들의 자주적 학습을 돕되 학생 스스로 주재할 능력을 길러주어 생애학습자(life-long learner)가 되도록 돕는 과정이 된다. 이 교육과정에서 교수의 역할은 지식은 물론, 전문 술기, 태도(가치관, 윤리적) 문제에 이르기까지 의료와 관련된 내용을 균형 있게 그리고 스스로 유도해내도록 도와주는 이른바 튜토리얼형 학습과정이 되는 셈이다(김선 외, 2004; 김용일, 2004).

 

<8> 의과대학의학전문대학원 교육과정 간의 비교

속성

교과목중심학습

사례/통합교육

문제중심학습

학습중심자

교수

교수/학생

소집단 학생

학습내용의 현실성

인위적

인위적

실제적

수업방법

강의/실습

강의/소단위

소단위학습

학습내용의 구분

이론

이론/사례

사례

재원(자료)

단위 교과서

강의록/사례

의무기록

 

3) 진료참여형 임상실습(subinternship)의 강화


종전의 임상실습을 관광실습(觀光實習(관광실습))이라고 혹평하는 교수들이 늘고 있다. 배움보다는 형식적인 임상실습(교수나 전공의가 하는 것을 곁에서/어깨너머로 구경만 하는 실습)을 꼬집은 표현이다. 이에 대응하여 진료 참여형 임상실습(일명 subinternship)은 학생 신분이면서도 의료법이나 의료법시행령이 정하는 범위 내에서 인턴처럼 임상진료에 적극 참여토록 하는 실습방법이다. 즉 학생들은 진료팀의 일원이 되어 교수나 전공의와 함께 진료에 직접 참여하는 학생 인턴형 프로그램이다(박귀화 등, 2003). 물론 의료법상 학생들의 임상실습은 법적으로 보호를 받고 있으나(김용일, 1992) 형사 문제가 발생할 가능성이 없는 것도 아니어서 아래와 같이 3단계로 나누는 방법이 시행되고 있다

  • 즉 독자적으로 수행할 수 있는 실습(level 1), 

  • 교수나 지도의사의 지도 감독 하에 수행하는 환자 진료(level 2), 

  • 교수나 전공의들의 진료를 돕거나 관찰하는 실습 내용(level 3)

...으로 구분하여 실습의 참여정도에 따라 역할을 정하는 방법을 사용하고 있다. 후자인 level 3인 경우에는 독자적으로 해당 의료행위를 수행하지 못하고 관찰만 한다든지, 보조 역할만을 담당케 하도록 유도하고 있다. 그리고 전 과정을 통하여 학생들에게는 일체의 처방권을 주지 않는다. 그러나 학생들은 이 과정에서 실전(實戰(실전))을 통하여 정보수집, 인간관계, 판단능력 함양, 임상적 결심과정에 참여 하게 됨으로 졸업후의 진료행위에 바로 연결시키는 동시에 졸업후 추가되는 전공의 교육기간을 단축시키는 실습방법이다(박귀화 등, 2003).

 


<9> 임상실습 유형의 시대적 변천

항 목

전통적인 임상실습형

진료참여 임상실습형(subinternship)

실 습 분 야

전 분야

핵심분야(내과학, 일반외과학, 소아과학

산부인과학, 정신과학, 응급의학)

학 습 방 법

(적극성)

관찰형

(피동적)

참여(경험)

(적극적)

실 습 내 용

입원중인 사례

입원 및 외래환자

(정보수집, 판단, 결심과정 포함)

역 할

지식 흡수형 학습

진료팀의 일원으로서의 균형된 내용 학습

참여의 수준

정하지 않음

Level 1, 2, (3)

현재 이 방법은 국내 의과대학 중 10% 내외에 머물고 있으나 구미 및 일본, 홍콩 등지에서는 거의 전 대학이 이 제도를 채택하고 있으며, 우리나라에서도 이 방법에 참여하는 대학 수가 점차 늘어가는 추세이다.

 

4) 선택과목제도의 유도

모든 것이 필수교과목으로 편성되어 있는 오늘날의 의과대학 교육과정 하에서는 졸업후 진로와 거리를 둔 분야가 많다. 모든 것을 공부할 수 없다면 핵심영역을 제외한 분야 모든 분야 중, 즉 학습자의 희망, 장래, 또는 개인적인 욕구에 따라 학습 분야(과목)를 선택할 때 더 깊고 폭넓게 공부할 수 있다. 이는 아래와 같은 특성을 반영하고 있기 때문이다.

스스로 택한 것에 대해서는 스스로 책임을 진다.

자신의 장래와 직결될 때 동기유발이 더 잘 된다.

독자적 학습이 가능하다는 장점을 이용할 수 있다는 의미를 활용한 것이다.


5) 의학전문대학원제와 의과대학제도 : 공통점과 차이점

(1) 의학교육 수학능력 검사(MEET)

정부는 20021월 공청회를 거처 인문계이든 자연과학계열이든 4년제 정규 대학을 졸업한 자이면 누구나 의학교육입문검사(Medical Education Eligibility Test, 일명 MEET)를 치른 후 의학전문대학원에 입학할 수 있는 제도(일명 4+4)를 발표하고 2005학년부터 시작한다는 안을 발표하였다. 시행은 치과대학 DEET 팀과의 협의과정을 거쳐 한국교육과정평가원이 주관하도록 하되 MEET 시험 출제에 협의회 대표를 파견하여 추론, 자연과학 1(생믈학), (화학, 물리학, 통계학)를 치르도록 하였다. 그러나 결과적으로 제1회 시험에서는 응시자가 예상보다 높지 않았으며, 그 이유는 시험문항이 너무 자연과학에 치우친 결과라는 해석을 받게 되었고, 채점의 신뢰성 때문에 논술고사는 이에서 제외되었다. 그러나 생물학 영역이 가조됨으로써 인문계 대학 졸업생들의 자망을 억제하는 결과, 현재 재학생의 대부분에서는 인문계 출신 졸업생이 제외된 것이나 마찬가지가 되었으며, 당초의 기대(인간성 존중 정신)를 얻는데 실패하였다(의학전문대학원 추진단, 2003; 이지혜 등, 2009).

 

(2) 등록금 차이에 대한 초기의 쟁점

전국의 의과대학 중 극소수만이 이 제도를 지원하는 형식을 취하였다. 이는 의사가 되는 길이 현재와 같은 고등학교 졸업 후 2년간의 의예과 과정과 4년간의 본과 4년 과정을 거친 자 뿐 아니라 일반대학 졸업 후 추가되는 4년간의 의학전문대학원 졸업자에게 의사시험 응시 자격을 부여하는 2가지 제도를 제안한 것이다. 명분은 의사의 자질을 높인다는데 취지를 두고 있으나, 의사자격의 획득에는 차이가 없다. 하물며 졸업 후의 세부 전공의과정에 들어가는 길도 양자 간에 전혀 변동이 없다(한국의과대학장협의회, 미발표).


오직 차이가 있다면 인문/사회계역 졸업생에게 지원 문호를 균등하게 터줌으로써 이들의 지원을 가능하게 하였고, 그 간 예과 2년 수료를 인정치 않고 의학사 학위를 주던 것과는 달리 전문학위인 의료석사를 부여하기로 하였다(10 참조). 이에 더하여 인문계 졸업생을 받아드림으로써 미국식 의학교육을 본뜬 교육계획이라는 비판을 받았다. 20077월 현재 41개 의과대학 중 27개 대학(국립 10/10, 사립 17/31)이 이를 지망하였고 그 중 7개 대학이 2tracks를 채택하였다. 폭넓은 교양교육을 받은 의사를 양성한다는 바탕을 제공함으로써 졸업생들의 자질을 지역사회의 요구에 맞추고자 한 셈이다(Miller et al, 1961).


2003년 한국의학전문대학원협의회가 주최한 제1camp에서 필자가 제안한 내용과 그 후 일부 대학(가천대, 경희대, 충북대, 건국대, 경상대, 전북대, 부산대, 아주대 등)에서 발표된 의학전문대학원 교육과정안을 서로 비교해보면 필자가 개발.발표하고 가천의대에서 시작한 안과 근본적으로 어떠한 차이도 볼 수 없다. 다만 교육과정 이외의 문제들이 쟁점으로 떠올라 있어서 학내 문제로 비화한 적이 있었으나 일부 대학에서는 이미 병합제에서 단일제(4+4)로 전환하고 있다. 즉 병합형 프로그램을 운영하는 대학(예 경희대, 충북대)은 의과대학제와 의학전문대학원제를 운영하면서 등록금의 차이에 대한 별도의 프로그램을 개발할 수 없는 상황이 생겼던 것이며, 전국적인 변동 추이는 두고 보아야 할 것 같다.


의학전문대학원제에 추가하여 의학연구의 활성화를 위한 <MD+PhD> 추진을 정부에 연구보고서를 건의한 적이 있으나(김용일 등, 2004), 재원 조달이 여의치 않아 현재로서는 BK 21을 통하여 재원을 마련하는 안이 검토되고 있으며, 총 교육기간에 걸친 재정지원 전망은 분명치 않다. 의료석사이든 의학사이든 졸업 학위의 차이는 현실적으로 큰 의미를 가질 수 없을 것이다. 나머지 교육과정 운영에 있어서도 별도의 수준이나 질을 가진 교육이 이루어지지는 않을 것으로 예상된다.


다만 의학전문대학원에 대한 큰 기대 중의 하나는 의학 또는 주변의 관련 정보의 팽창에 부응하여 수준 높은 교육을 시행하는 일이어서 학생들에게는 강력한 독자적 학습이 요구되고 있으며, 성숙한 사람일수록 이런 독자적 학습 자질이 높다고 할 때 PBL과 같은 자율적 학습방안이 훨씬 잘 촉진되리라고 믿었다(김용일, 2004, 2005; 김선 등, 2004, 2006).


그러나 지난 수년 동안 의학전문대학원이 겪었던 것은 비록 외형적이기는 하지만 낮은 지원율, 상대적으로 입학생들의 수준(수능 성적 등)이 예상보다 낮다든지, 아니면 높은 등록금에 대한 비판 등이 사회적 쟁점으로 거론되고 있다. 이러한 이유가 교육 기간의 연장 때문인지는 알 수 없으며 졸업생이 배출될 때까지 두고 볼 일이다. 또한 문제점으로 거론되는 것은 한국적인 특수성 즉 군복무기간 등으로 졸업후 지역사회 의료에 참여하는 봉사기간이 짧다는 비판이 없는 것은 아니다.

 

(3) 학생 선발

<2+4>에서는 수능 성적과 고등학교 재학성적과 수능 성적을 중점으로 학생을 선발하는 이른 바 정부 주도형 입학시험제도를 운영하는 데는 변함이 없다. 일시 정부가 의과대학 단위의 별도 시험을 승인하도록 요청하였으나 묵살된 바 있다. 또한 면접 기법도 매우 서툴러 의학전문대학원제 전환을 준비하는 과정에서 미국 Hawaii 대학교 의과대학 부학장을 초빙하여 이른바 미국식 면접방법을 검토한 바 있으나 사회적 여론을 의식한 채 권고로 끝났으며, 각 대학마다 고유의 차별화된 프로그램을 준비하는데 실패하였다(의학전문대학원 추진연구단, 2003).

 

<10> 현행 두 의사양성제도의 특성과 차이점

특징

의과대학 제도

의학전문대학원제도

수 학 연 한(고교 졸업 후)

2+ 4

4+ 4

입학요건

의예과 수료자 , 편입생

4년제 대학 졸업자

입학연령

고교 졸업생, 대학졸업생

일반대학 졸업생

의학교육입문검사(MEET)

(-)

자연계 또는 인문계 동일

입학 연령

고교 졸업생

대학졸업생

지원배경 지식

자연계(또는 인문계)

자연계 또는 인문계

졸업후 학위

의학사

의료 석사*

병역

군의관, 사병

사병, 군의관

* 일반 대학원 의학과는 달리 의료석사(학문석사가 아님)를 제공하고 있다.


그리고 대학간 우열을 조장할 가능성을 피하기 위하여 면접일을 동일자로 하는 등 사회적 압력을 의식하고 대학 간 차별화를 통하여 질적 향상을 기할 계획조자 내걸지 못하였 다. 특히 지방 대학에서는 자체 대학교 내 졸업생을 일정 비율 모집하기를 주장하고는 있으나 표면적으로 공시하는데 어려움을 겪고 있다.


41개 의과대학 중 의학전문대학원으로의 지망율이 생각보다 높지 않자 정부는 기존 대학에 여러 가지 암시적인 조치를 취한 바 있으며, 초기에는 법학전문대학원 지망을 제한하는 조치를 취하는 등으로 의학전문대학원제 탈회를 막는데 음성적인 압력을 가한 바 있었다. 이런 결과 의학전문대학원제의 도입이 10개 대학에서 27개 대학으로 증가한 것은 상술한 압력의 결과라는 의미를 내포하고 있으며, 그 중에21세기 연구 지원이나 누리사업 등 정부주도 대형 사업에 대한 지원 자격 불가를 제시한 바 있었고, 특히 국립대학인 경우에는 교수 정원수를 작게는 15명에서 30명까지 지원하는 등의 유인책을 폈다. 그 결과 이유야 어디에 있던 국립대학인 경우 100%, 사립대학인 경우 약 60%가 지원하는 현상까지 발생하였다.


그럼에도 불구하고 지원율이 예상만큼 높지 않은 것에 대하여 정부나 대학 자체가 다소 당황하는 기색을 보여 급기야 자율화로 급선회 하였다.



 

<11> 교육측면에서 본 의과대학 및 의학전문대학원제 간의 비교

특징

의과대학

의학전문대학원

의사양성의 기본 목표

기본의료를 수행하는 의사

좌와 동일

의사국가시험

치름

치름(차이 없음)

지식수준(사실적 지식)

정보수집/독자적 판단능력

전문직으로서의 적성

(+)

낮음

낮음

(+)

높음

높을 것으로 예상

자율학습능력

미숙

자의적 해결능력 있음

주된 학습방법

효율성/효용성

교수 의존형

전체를 위한 개인의 희생

독자적 학습형

자기계발형 학습

재학 중의 학습의지

피동적

피동적이거나 적극적임

생애학습자 양성계획

소극적 참여

적극적 참여를 기대함

자율학습의지동기유발

미숙

자의적 해결 지향



6) 인문학(humanities)과 직업성(professionalism) 강화

지난날 의과대학 교육의 교과목 대상은 이 나라에서 서양식 의학교육이 시작된 이후 큰 변함없이 지식영역을 중심으로 한 의과학 분야에 국한하였다. 의과대학이나 의학전문대학원에 상관없이 직업성이 강조된 데에는(국내 의료윤리가 강조되면서 다소의 변동이 일어난 것은) 의료단체의 자성론(自省論(자생논))이 한 몫 한 바 있다. 이에 더하여 최근 56년 사이에 자발적으로 인문학계열 학습, 그중에서도 의사의 직업성(professionalism), 가치관, 윤리관, 의사소통 능력 항상 등에 대한 신규 교육목표의 추가 및 교과목 신설이 있었으며, 이 현상은 사회적 의료윤리 보강에 대한 기대가 컸다. 특히 근자에 들어 의사의 직업성이 강조되기 시작하면서 전 세계적으로 가치관이나 임상윤리관이 분명한 자를 선발하여 풍부한 인간성을 가진 의사 양성에 초점을 맞추고 있다(Association of American Medical Colleges, 1984; 한국의과대학장협의회, 2000; 맹광호, 2000; 전우택 등, 2009).


7. 졸업후 연수교육의 부실

의과학 분야의 지식과 연구방법이 하루가 다르게 변모해가는 상황에 맞추어, 교육학이 다루는 영역과 접근방법도 지속적으로 바뀌어 가고 있다. 특히 과거의 교수 중심 교육이 학습자를 향한 프로그램으로 조속히 바뀌어가지 못하는 이유 중의 하나는 졸업 후 역할에 알맞은 교육으로 연계되지 못한데 있기 때문이라는 판단이 고개를 들고 있다. 의학은 하나인데도 해방 후 60년이 지났지만 우리나라 의과대학에서 시행되었던 교육 결과는 한마디로 가르침은 있었으나 배움은 생각만큼 일어나지 않았다는 비효율성이었고, 최근 들어 의학교육에 대한 자성(自省(자생))을 촉구하는 원인이 되기도 하였다(김용일, 1980; 김충식, 1985).


대학이 제아무리 이상적이고 멋진 교육목표를 세워놓고서도 양성된 의과대학 졸업생의 자질은 생각만큼 일어나지 않았다. 이는 교육자의 효율성을 의식하면서도 학습자 중심의 효용성이 무시되었기 때문이라는 판단이다. 1950년대 이후 연구에 대한 투자가 곧 <교육의 질>을 향상시킬 수 있으리라는 가정으로 세계 각국은 의과대학을 중심으로 연구기관에 엄청난 연구비를 투자한 바 있다. 그러나 이 결과 연구의 세분화를 유도하였고 괄목할만한 연구결과를 얻는 데는 성공하였지만, 바람직한 의사 즉 국민보건에 전력투 하는 의사 양성으로 연결되지 못하였다는 비판이 나온 것은 어제 오늘의 이야기가 아니다. 국민의 편의와 복지를 향하여 세계 각국의 의학교육도 수요자인 학생들을 의식하지 않고는 교육효과를 거둘 수 없다는 지론(持論(지논))이 한국에 정착(定着(정착))되면서 의학교육 계획 역시 학습자 중심으로 바뀌어 가는 추세가 조금씩이나마 늘고 있다. 그런대도 우리나라 의학교육계가 아직껏 집착하고 있는 것은 교실 간 협동 없는 <가르침의 중복과 틈새>를 감수하면서 과거의 관습이나 영광에 매달리고 있는 것이라는 판단에 힘이 실리고 있다.


배움의 효용성(efficacy)이 가르침의 효율성(efficiency)을 앞지르는 오늘날의 요구를 맞아 졸업후 교육이나 활용 과정에서 배움의 의미를 충분히 찾을 수 있도록 하기 위해서는 모든 교육단위가 같은 목표를 향하여 협동하는 정신을 필요로 하며, 이는 자신을 희생하지 않고는 협동이 일어날 수 없음을 시사하고 있다. 환언해서 대학이 설정한 공동목표를 향하여 모든 교육단위 또는 교수가 학생들의 학습과정을 이끌고 가려는 노력 없이는 지금과 같이 낮은 수준의 의학으로 환자를 진료할 수밖에 없다는 비관론이 고개를 들기 마련이다. 따라서 인류 건강 증진을 향한 연구를 촉진할 졸업생을 만들 수 없다면, 이에 대응하는 긴급처방이 필요하다. 교과목 단위 교육에 대한 재검토 특히 교수자 간의 과감한 상호 협동 교육이니 공동연구가 시급히 요청된다. 왜냐하면 지역사회가 기대하는 의학은 하나이기 때문이다.


의학의 발전은 머물지 않는다. 교육내용과 교육방법의 변동에 있을지언정 상황에 알맞은 학습효과를 의식하면서 이인삼각(二人三脚(이인삼각))의 정신으로 보조를 맞추려는 노력 없이는 의학교육의 목표를 제 때에 성취할 수 없다.


8. 졸업후교육(recertification, relicensing 포함)에 대한 무관심 또는 저항


일단 의과대학을 졸업하고 의사국가시험에 합격하여 의사면허를 취득하면 추후 전문자질의 향상 여부에 관계없이 평생 진료활동을 허락하는 나라는 OECD 국가 중에는 우리 밖에 없다는 사실(WHO-Association, 1996)에도 불구하고 한국의학교육학회나 대한의사협회는 이를 방관(傍觀(방관))하고 있으며, 의사들의 자율적인 단체인 대한의사협회나 관련단체도 정곡(正鵠(정곡))을 찌르는 접근방법이나 정책을 제시하지 못하고 있다. 한마디로 의사로서의 자질을 지속적으로 유지하여야하는 이유를 묵과해서는 졸업후 교육에 대한 연구는 커녕 현황조차 파악하려는 의지도 없고, 대신 비상식적인 부작용이 성행하는 현실을 묵인하고 있는 셈이다. 이는 1996WHO-서태평양지역 의학교육학회에서도 주요 토의주제로 거론된 바 있으나 한국의학교육학계는 이를 방치해 두었고, 대한의사협회를 포함한 의사단체들은 기존의 임무에만 골몰하고 있을 뿐이며, 범 의학기관들도 단합된 의지를 보지 못하고 있다. 이러한 현상에 대해 학장협의회 등은 산하 각 연구회를 통한 적극적인 대안개발로 대응할 필요성이 늘고 있다.


1) 대학원 교육제도의 잘못된 운영


특히 학문학위제도와 임상전문의제도가 동일인에게 그리고 동시에 가능하도록 한 것을 각 의과대학이 악용함으로써 학위과정은 단순한 논문박사 양성으로 전락시킨 지난날의 악습을 유발하였고, 이들의 병존으로 대학원교육이 황폐화 되다시피 되었으며, 심지어 학위과정 중의 학습은 사라지고 있다. 이런 사항 역시 의학교육기관의 고유 업무가 아니라는 이유로 거론조차 되지 않았다(김용일, 1987). 예컨대 전일제 의학박사 학위과정생의 대부분은 전공의들로 구성되어 있고, 전문의 과정 중 또는 전임의 중에 학위논문을 작성하는 것이 고작인 점을 한국의학교육학회는 묵과하고 있는 것이다(김용일 등, 1987).


2) 적극적인 참여 없이 의사국가시험위원회 의견에 끌려가는 의료면허 발급 현상


의과대학 교육에 가장 많은 영향을 주는 것은 의사국가시험 정책이다. 의사국가시험 중 필답시험의 수준 높이기, 양질(良質(랑질))의 수준 높은 문항 개발, 출제의 객관화, 문제은행의 확대, 실기시험방법의 개선 등에 대한 自省論(자생논)에 귀를 기울여야 하며, 이를 위한 제도적 장치를 마련함으로써 교정을 위한 시도는 높이 평가되어야 하지만, 향후 발전을 위한 청사진을 제출하지 않는 집행진의 안이성, 의학계열 대학의 교육계획 개선보다는 의사국가시험 합격 중심 운영 교육과정 편성은 대학교육 자체를 파행으로 몰고 갈 위험이 있다는 사실을 묵과해서는 안 된다. 한국의학교육학회가 10년이 넘도록 의사 또는 관련 의료직의 임상능력 평가방안을 체계적으로 제시하지 못하고, 미래지향적인 구체안을 대학 단위로 제시한 흔적이 보이지 않는다.


정부의 바른 판단을 유도하기 위해서도 한국의학교육학회나 의사협회는 꾸준히 대학 및 각종 협의회의 발전안을 제시하고, 전국의 의학계 대학으로 하여금 이를 수용하도록 격려하고, 이웃 나라(일본)의 지혜를 살펴볼 필요가 있다(日本醫學(일본의학).齒醫學敎育(치의학교육)의 바람직한 方向(방향)에 관한 調査硏究協力者會議(조사연구협력자회의), 2003). 그나마 의학관련조직이 보람으로 생각하는 것은 한국의과대학장협의회의 꾸준한 교육목표집 발간사업과 그 개선이다(한국의과대학장협의회, 2004) 그리고 한국의과대학 인정평가위원회가 주관한 의과대학 인정평가이다(한국의과대학인정평가위원회, 2000, 한국의학교육평가원 2005; 2006). 그러나 지금과 같은 지식 중심의, 임상능력이나 실기 측정 없는 의사자격시험에 대하여 공식적인 개선 추진방향을 분명히 밝히고, 그 정착을 위하여 조속히 대학을 지원하고 단계적 발전방안을 마련하는 것만이 이 나라 의사양성의 질적 향상을 기할 수 있을 것이다.


3) 다양성을 인정하려 하지 않는 국민성과 편의성 위주 교육기관의 태도


최근 얼마동안 한국의학교육학회의 주된 관심영역은 외국에서 유행하는 프로그램에 대한 소개나 현실적 당면과제에 대한 그때그때의 임시방편용 대안 제시 뿐이었고, 특히 기성 의사들의 자질 역시 결코 높지 않다는 사실을 묵과하고 있다. 그 결과 학습자의 수준이나 의과대 내용에서조차 다양성을 발견하기 보다는 학부교육 일변도라는 비판에서 벗어나지 못하는 우려마저 낳고 있다. 한마디로 일선 진료의사의 잘 향상을 위한 프로그램 개발에 정성을 덜 드리고 있는 것이다. 보직교수들의 행정적인 사항이 대학의 토의 사항이 되어가는 아쉬움, 그리고 일선 교수들의 관심에서 벗어난 초청 발표, 의료정책 입안 팀의 적극적인 참여 실패 등이 그 실례이다. 말초적인 의학교육 기술 연마에 치우친 결과로 밖에 해석하기 힘들다.


학술대회의 각종 신설 프로그램 개발이나 운영만 해도 남의 나라 흉내나 소개에 그친다든지, 독창성 없는 발표, 짧은 토의시간 운영에 의한 형식적인 질의 답변, 낮은 수준의 발표 등도 개정하여야 할 과제이고 초청강사의 선택이나 철저한 준비 부족도 그 예이다.


4) 발전 청사진의 불명확성


의과대학에 재직중인 4,000 여명의 교수가 무엇을 어떻게 가르치고 있는가 등을 포함하여 교수 전반의 의식구조 조사 등을 포함해서 기초 수요조사(need analysis) 없이 일부 교수들의 의견만으로 각종 교육 내용이 결정되는 것은 교육문제를 다루는 대학답지 않은 접근방법이라고 아니할 수 없다. 데이터 없는 순간적인 발상에 기반을 둔 결정은 늘 착오를 유발하기 마련이고 활동을 지연시킨다는 선인들의 지혜를 읽을 필요가 있다. 이런 것은 학술대회 행사의 특색 찾기와 조기 홍보유도 등으로 교정이 가능한 활동이라는 점들이 아닌가 생각해 볼만한다.


설립역사가 짧은 조직일수록 설립철학에서 일관성을 찾지 못하고, 활동 기조 다듬기 과정에서 강도가 달라진다든지 급격한 편집 스타일의 변화를 초래하지 않도록 하는 것은 학술교재 편집 뿐 아니라 모든 기획의 기본이다. 많은 저명 교재의 편집위원장이 판을 바꾸면서 교체하지 않는 이유도 이와 관련된다는 점에 유념해야 한다.


5) 각 대학의 교육 분야별 특성화에 대한 미적거림


모든 것을 골고루 잘 할 때는 지났다. 또 실제적으로 인적 재원의 한계가 이를 어렵게 하고 있다는 것을 감안하여, 특정 분야별로 아니면 대학별로 특성화시키거나 순서를 정하여 프로젝트를 일정기간 지원하는 시스템 개발도 가능할 것인데도 이에 대한 검토조차 이루어지지 않고 있다. 한마디로 정책 부재의 교육단체라는 비판 위험에서 벗어나야 한다.



. 맺음말 및 제의

1. 제도 개선 분야

 ① 각 교육기관이 가진 추상적이거나 실행가능성이 낮은 교육목적의 재수정(특히 의학전문대학원의 목표 제정방향)

비한국적이거나 구체성이 없는 교육목표를 개선함으로써 교육목적 설정의 필요성에 대한 이해를 달리하는 목적(서술 예: 홍익인간 양성, 학식이 높은 의사 양성 등)을 보다 구체적이고 현실 가능한 모형으로 개정

타 학과목간의 중복이 무시되거나 방치해둔 교육목적을 손질하는 일

협의체 없이 의예과-본과, 학년/학과목 간의 비협동적인 운영의 정상화 노력

의예과 교육과 의학영역 전문 학습 간에 연계성이 결여된 교육 방법의 개정

교육 목적(및 구체적인 교육목표)의 허구성 및 기술의 난해성 손질

교육개발센터(Center for Educational Development)의 구성과 정규적인 신임교수를 위한 프로그램개발과 각 교육 단위별 연계 결여를 고치도록 지원하는 일

학년 담임(year-coordinator) 신설에 대한 대학의 이해 부족 해소책 마련

의료석사와 학문 석사 간의 애매한 인식이나 석사논문 자격 부여에 대한 이견으로 초래된 학위의 무의미성 해소방안 개발

전통적인 한의학(한의학)을 포함한 통합 의료교육 시스템 개발을 위한 연구 활성화

MD + PhD 제도에 대한 분명한 태도 밝히기와 장학제도의 강화

의료석사(의학전문대학원) 부여에 대한 강력한 학위조건 조사 및 건의


2. 교육과정 편성과 개발과정의 윈칙 개발

교실 중심 교과목 제공 지양을 위한 교실간 공동 전략 모색

통합교육과정 운영에 대한 모델 제공

) 교실 단위 협동 교육계획 방안 개발

) 교육기획위원회의 강화와 학생위원 참여에 대한 저항 감소책 개발

) 조직위원회의 독립적 활동 지원 방안 장려

사례 중심 교육과정의 강화와 대학간 교육정보의 상호 교류

문제중심 학습(PBL) 사례의 증가(사례의 증가를 지향한다)를 위한 상호교환

국외 임상실습 기회 제공을 위한 지침서 개발

지역사회 의사의 학생지도 참여 격려

봉사 활동 참여 기회 제공 연구

조기 체험의학(體驗醫學(체험의학))의 영역 결정과 학습전략의 공동 개발

의예과 단위에서의 Portfolio 경험 공유

PBL 사례 개발을 위한 대학 책임자 간 협동 방안 개발

학생 인턴제(subinternship)의 확대


3. 교수 역할 강화방안 분야

강의 중심 교육 지양 및 대안 마련

학생 참여 유도 지도와 sociogram 훈련

착오를 통한 원인/질병발생기전 찾기와 이에 대한 전국적인 정부 지원

각 교육기관 별로 교수자의 역할 정립을 위한 재훈련과정의 마련


4. 학습평가 분야

학과목 단위 유급의 지양과 대안 제시

I(아이) 학점(미확정 학점)제의 도입과 유급제의 폐기 검토

교육목표에 따른 3단계(필수, 유익, 도움)별 채점 기준의 설정

최소합격선제도(Minimum Passing Level)의 조기 도입

장학금 지급방안의 개선(:일정 학과목 성적 취득후 지급 방안 개발)


5. 학생지도(tutoring)의 강화 분야

Mentoring 강화(졸업후 진로 방안 연구 및 학습 조언)

지역의료 담당 의사를 활용한 mentor 개발 범위의 확대


6. 개원의를 위한 연수교육(계속교육)

개원의를 위한 연수교육 개발용 <요구 분석방안> 개발 지도

교육현장 감독 및 운영을 위한 평가기구(評價機構(평가기구))의 독립적 운영 모색

각종 의학연수 교육과정 모델 개발을 위한 학술활동 강화




학술원논문집

(자연과학편)

491

(2010) 143-189


ABSTRACT

 

The purpose of this study is (1) to describe the potential risks and debates with regard to the current undergraduate medical education vs graduate school programs in Korean medical community together with the subsequent results of inappropriate continuing medical education (CME) outcomes which have arisen during a rather short peiod of experiences at the national level by an abrupt shifting of cultural or curricular changes in terms of a traditional-to-modern medical education systems in Korea, and (2) to propose strategies directing toward the balanced, namely integrated approaches of combined medical sciences and humanity, so as to develop an conjoined understanding of undergraduate and continuing medical education(CME) systems after adoption of the national policy provoked by two medical school graduates (so-called a traditional 2+4 and new 4+4 graduates) educational tracks.

Educational evolution of medical school in Korea seemed rather complex and included a limited wisdom and know-how on transitional evolution from traditional oriental medicine to current western medical practices, a limited educational studies and resources on dual systems of current movement of medical educational systems. Futhermore, and resistance against the CME in both planning and innovation phases is discussed.

Furthermore, availability of both 6 years-based traditional MD-producing educational track and graduate school program or running of both systems have required an unique effort in the current medical educational community in two aspects; One is to meet a more clearly defined effort to develop an educational objectives together with shifting of teacher-based learning to student-oriented approaches (i.g., replacing teacher-centered didactive approaches to self-directed ones) which have arisen from the department-based school system which has adopted a learning strategy directing by philosophical renovation, namely (1) the student centered approaches by applying two basic strategies which include two strategies, namely 'learning from mistakes policies' followed by faculty's intimate assistance with advice and correction and (2) the experienced learning strategy with a strong indirect guide derived from their tutors.

This article also emphasized, in particular, a systematic and objective oriented designing process of individual programs to meet the results from community-based need analysis as well as an application of the adult learning strategy for those program development authorities or personnel already experienced in terms of improving the continuing medical education for physicians. 

"갑옷"이 아닌 "내재적 역할": CanMEDS 프레임워크의 '비-의전문가 역할' 재명명하기 (Adv in Health Sci Educ, 2011)

‘‘Intrinsic Roles’’ rather than ‘‘armour’’: renaming the ‘‘non-medical expert roles’’ of the CanMEDS framework to match their intent

Jonathan Sherbino • Jason R. Frank • Leslie Flynn • Linda Snell




우리는 화이트 헤드 (Whitehead)에 의한 e- 출판물에 관심을 가지고 읽었다. (Communicator, Collaborator, Manager, Health Advocate, Scholar, and Professional)에 의해 핵심적 의료 전문가 역할이 "방어"된 상태에서 CanMEDS 프레임 워크가 방어적인 방식으로 구성되어 있다고 주장한 (2011). 우리는 이것이 세계에서 가장 널리 사용되는 역량 프레임 워크 중 하나 인 특히 BH가 개발에 기여한 (Frank et al. 1996) 기본 구조의 중대한 오해라고 생각합니다. CanMEDS는 많은 높은 역량 적 역량 프레임 워크와 마찬가지로 정치적인 방식이 아니라 의사가 필요로하는 것에 대한 대중의 시각을 포함하는 체계적인 요구 사정으로부터 도출되었습니다(Frank 등, 1996).

We read with interest the e-publication by Whitehead et al. (2011) that argues that the CanMEDS framework is organized in a defensive fashion with the central Medical Expert Role ‘‘armoured’’ by the other Roles (Communicator, Collaborator, Manager, Health Advocate, Scholar, and Professional). We believe this is a significant misinterpretation of the constructs underlying one of the world’s most widely used competency frameworks, particularly as one of the authors (BH) contributed to its development (Frank et al. 1996). CanMEDS, like many high-utility competency frameworks, was derived not from political machinations, but from a systematic needs assessment that included the perspectives of the public on what they needed from physicians (Frank et al. 1996).


저자들은 의사의 역량을 일련의 하위 영역으로 간단하게 "해부하는"것이 글로벌 역량의 충실도를 손상시킬 수 있다고 우려하지만(즉, 전체는 단순히 부분의 합이 아니다) 학습과학의 증거는 이를 반박하는데, 역량을 세부 요소로 나누는 것은 교육적 가치가 있기 때문이다. (Frank et al., 2010, Swing and International CBME Collaborators 2010).

While the authors share our concern that simply ‘‘anatomizing’’ physician competence into a series of sub-domains may impair the fidelity of global competence (i.e. the sum is more than the parts), evidence from the learning sciences suggests that dividing com- petence into its component parts has educational value, thus refuting such concerns (Frank et al. 2010; Swing and International CBME Collaborators 2010).


저자가 사용하는 비판적이고 상황에 맞는 담론 분석은 유익하고 신선한 관점을 제공한다.

The critical, context-focused discourse analysis used by the authors provides an informative and fresh perspective, we question the assertion that,


비-의학전문가 역할은 종종 중심에 있는 의학전문가에 대한 '부가 기능'으로 논의되곤 한다. 혹은, 이러한 역할이 전문성에 대한 부속물이 아니라, 폭 넓은 전문 지식을 보호하고 방어하는 방어구라고 주장하기도 한다. 

non-medical expert roles are frequently discussed as add-ons to the centrality of medical expert teaching. Or, perhaps, these roles are not simply appendages to expertise, but rather armour that protects and defends battered expertise, while claiming medical ownership of a broad arena of medical practice.


CanMEDS 프레임 워크는 의사 역량을 총체적으로 정의하기 위하여, 다른 역할들을 통합하는 역할로서 의료 전문가 역할을 중앙에 위치시켰다. 이러한 역할은 의사와의 협의를 통해 반복되고 강화 된 의사의 능력에 대한 전통적인 암묵적 이해의 명백한 재조정에서 시작되었다 (Frank et al. 1996; Frank 2005).

The CanMEDS framework situates the Medical Expert Role centrally as the Role that integrates the other Roles to provide a collective definition of physician competence. These Roles originated from an explicit re-framing of traditional implicit understandings of phy- sician competence, which was reiterated and reinforced via public consultations (Frank et al. 1996; Frank 2005).


우리는 '내재적 역할'이라는 용어가 '비-의학전문가 역할'이라는 부적절한 용어를 대신 할 수 있다고 제안한다. 흥미롭게도 "비-의학전문가 역할"이라는 용어는 CanMEDS 프레임 워크를 개발하고 구현 한 많은 실무 그룹에서 전혀 사용된 바 없는 단어이다 (Frank et al., 1996; Frank 2005). 오히려이 구는 교육자와 임상가에 의해 개발되고 채택되었습니다. 불행하게도,이 문구의 영구화는 이러한 역할의 해체와 의사 역량의 정의에 대한 혼동에 기여합니다.

Recognizing the relation between power and language we suggest that the term ‘‘Intrinsic Roles’’ replace the pejorative ‘‘non-medical expert roles.’’ Interestingly, the term ‘‘non-medical expert roles’’ was never identified or used in the numerous working groups that developed and implemented the CanMEDS framework (Frank et al. 1996; Frank 2005). Rather, the phrase developed and was adopted by educators and clinicians outside of this initiative. Unfortunately, the perpetuation of this phrase contributes to the deval- uation of these Roles and to confusion over the definition of physician competence.


'내재적 역할'이라는 명명은, 이것을 의사 역량의 부속품이나 부가기능이나, 정치적 방어구가 아니라, 의학전문가 역할과 통합 된 본질적 (즉, 내재적, 근본적, 본질적) 인 것으로 간주합니다.

The proposed change in nomenclature will situate the Intrinsic Roles not as appendages, add-ons or politically-defensive armour, but as intrinsic (i.e. inherent, fundamental, essential) to the practice of medicine, integrated with each other and the Medical Expert Role.




Whitehead, C.R., Austin, Z., Hodges, B.D (2011) Flower power: the armoured expert in the CanMEDS competency framework? Advances in Health Sciences Education : Theory and Practice. Feb 1 [Epub ahead of print].



 2011 Dec;16(5):695-7. doi: 10.1007/s10459-011-9318-z. Epub 2011 Aug 18.

"Intrinsic Roles" rather than "armour": renaming the "non-medical expert roles" of the CanMEDSframework to match their intent.

Author information

1
The Royal College of Physicians and Surgeons, Ottawa, Canada. sherbino@mcmaster.ca

Comment on

PMID:
 
21850502
 
DOI:
 
10.1007/s10459-011-9318-z
[Indexed for MEDLINE]


의학교육과 '무역량'의 유지 (Med Teach, 2006)

Medical education and the maintenance of incompetence

BRIAN HODGES

Wilson Centre for Research in Education, University of Toronto, Canada




도입

Introduction


환자 치료의 질을 저하시키고, 전문직에게 특권을 부여한 사회에 대한 공헌을 해하는 무능력이 끊임없이 지속되고 있으며, 이제는 너무 일상화되어있다. 이러한 형태의 무능력은 특징을 밝히기가 어렵고, 숨겨져 있으며, 가장 중요한 것은 끊임없이 flux한다는 점이다.

I am focusing on the more grinding and mundane incompetence that harms the quality of patient care and diminishes the contribution of the profession as a whole to societies that have conferred on it so much privilege. These forms of incompetence are harder to characterize, are often hidden, and most importantly are in constant flux.


이 논문에서, 나는 이러한 유형의 무능력이 의학 교육의 '부작용'이며, 보다 구체적으로는 특정 교육 모델을 지나치게 강조한 결과라고 주장한다. 우리는 모두 이 모델을 고수하고 있으며, 사회학자들은 이를 '담론'이라 부르는데, 왜냐하면 담론은 세계의 질서를 유지하고 우리가 다른사람과 의소소통할 수 있도록 의미를 부여해주기 때문이다. 담론은 세상을 보는 방법입니다.

In this paper, I argue that this type of incompetence is largely a ‘side-effect’ of medical education and more specifically is the result of overemphasizing particular models of education. We all adhere to these models, which sociologists call ‘discourses’ because we believe in them, because they help order our world and because they give meaning to our work in such a way that we can communicate it to others. Discourses are ways of seeing the world.


미셸 푸코 (Michel Foucault)는 지난 4 세기에 걸친 광기의 담론에 관해 썼습니다. 이 서로 다른 담론의 가장 중요한 의미는 사람들과 기관을위한 매우 다른 가능성을 창조한다는 것입니다. 

  • 따라서 'spiritual possession으로서의 광기'에 대한 담론은 가시적 인 'possessed individual'을 만들고 영적 치료자와 종교 기관을위한 역할을 창출합니다. 

  • 다른 한편으로, 'deviancy로서의 광기'에 대한 담론은 눈에 띄는 'deviant individuals'을 만들어 법원과 교도소에서 일하는 재판관과 간수들을위한 역할을한다. 

  • 마침내 '의학적 질병으로서의 광기'에 대한 담론은 '정신질환자자'를 가시적으로 보이게하고 클리닉과 병원에서 일하는 정신과 의사와 심리학자에게 역할을 창출한다.

Michel Foucault wrote about the discourses of madness over the last four centuries. The most important implication of these different discourses is that they create very different possibilities for people and for institutions. Thus, a discourse of ‘madness as spiritual possession’ makes visible ‘possessed individuals’ and creates a role for spiritual healers and religious institutions. On the other hand, a discourse of ‘madness as deviancy’ makes visible ‘deviant individuals’ and creates a role for judges and jailors working in courts and prisons. Finally, a discourse of ‘madness as medical illness’ makes visible ‘mentally ill individuals’ and creates a role for psychiatrists and psychologists who work in clinics and hospitals.


푸코 (Foucault, 1969)는 "우리는 미친 사람들을 모두 똑같게 다루지 않는다"고 말했다. 분명히 '소유'는 '정신병'과도, '비정상'과도 같지 않다.

As Foucault said, ‘...we are not dealing with the same madmen’ (Foucault, 1969). Clearly, ‘possessed’ is not the same as ‘deviant’ which is not the same as ‘mentally ill’.



'무능한 의사'에 대해서도 비슷한 분석이 수행 될 수 있습니다. 왜냐하면 무능함은 광기와 같이 다른 시간에 다른 방식으로 정의되기 때문입니다. 먼저 이전에 '무능함'이 어떻게 다양했는지를 살펴보겠습니다. 

  • 1700 년대에 유능한 의사는 몸의 유액을 균형 잡기위한 목적으로 피를 뽑고 날카로운 물건을 날리는 길드의 일원이었습니다 (Shorter, 1985). 

  • 대조적으로 1850 년에 유능한 의사는 환자가 혀를보고 냄새를 맡을 수있는 걷는 막대기로 신사였습니다 (Cathell, 1890; Shorter, 1985). 

  • 1950 년에는 여전히 남자가 될 가능성이있는 의사가 남편과의 건강에 대해 이야기하고, 걱정거리를 유발하지 않도록 죽어가는 환자의 진실 된 진단을 보류했다. 

  • 2006 년에 피를 흘리고, 냄새가 나는 소변과 원천 징수 진단은 모두 무능한 것으로 간주됩니다. 

따라서 푸코의 말을 빌리자면, 유능한 (또는 무능한) 의사는 늘 동일하지 않다. 광기의 담화와 마찬가지로 의학에서 '유능함'을 구성하는 담론도 바뀌었기 때문이다.

A similar analysis can be undertaken with regard to incompetent doctors, because incompetence, like madness, has also been defined in different ways at different times. I will examine some of the older variations first. In the 1700s a competent doctor was a member of a guild who carried a blade for blood letting and emetics for purging with the goal of balancing the humours of the body (Shorter, 1985). In 1850 by contrast, a competent doctor was a gentleman (there were almost no women doctors) with a walking stick who diagnosed patients by looking at their tongue, and smelling their urine (Cathell, 1890; Shorter, 1985). By 1950 a competent doctor, still most likely to be a man, wore not a suit but a white coat, discussed a woman’s health with her husband, and withheld the true diagnosis from a dying patient so as not to provoke worry. In 2006 blood letting, smelling urine and withholding diagnoses are all considered incompetent. Thus, to paraphrase Foucault, we are not dealing with the same competent (or incompetent) doctors. Just as with discourses of madness, these changes occurred because the discourses constructing what is competent practice of medicine also changed.


나는 현재 사용중인 능력-무능력에 관한 담론을 4 가지로 나누었다.

I have characterized four discourses of competence/incompetence that are in current use. I have called these:


(1) 해리슨의 교과서와 지식으로서의 능력;

(1) Harrison’s Textbook and competence-as-knowledge;


(2) 밀러의 피라미드와 수행능력으로서의 능력;

(2) Miller’s Pyramid and competence-as-performance;


(3) Cronbach 's Alpha와 신뢰성있는 시험점수로서의 능력;

(3) Cronbach’s Alpha and competence-as-reliable test score;


(4) Scho'n 's Reflective Practitioner와 성찰로서의 능력.

(4) Scho¨ n’s Reflective Practitioner and competence-as-reflection.





(1) 해리슨의 교과서와 지식으로서의 능력;

(1) Harrison’s Textbook and competence-as-knowledge


'지식으로서의 능력' 담론은 다음 단어들로 특징지어진다: '사실, 기초 지식, 기초 과학, 첫 번째 원칙, 지식 기금, 고전 교과서, 고전이 기사 및 객관식 테스트'. 여기서 교사의 역할은 지혜의 원천이며, 학생들에게 지식을 전수하고, 통합 할 수 있도록 돕는 것이 역할이다. 핵심 교육 활동은 지식을 전달하고 통합하는 것을 목적으로 한 교훈적인 강의 및 세미나입니다. '지식으로서의 역량'을 측정하는 가장 일반적인 척도는 필기 시험이며 대개 선다형 문제로 구성됩니다.

The discourse of ‘competence-as-knowledge’ is characterized by use of words such as: ‘facts, foundational knowledge, basic science, first principles, fund of knowledge, classic text books, classic this articles and multiple-choice tests’. In discourse, the role of teacher is to be the source of wisdom, and the main activity revolves around helping students to receive or integrate knowledge. Core teaching activities are didactic lectures and seminars that aim to transmit and integrate knowledge. The most common measure of compe- tence-as-knowledge is a written test, usually consisting of multiple-choice questions.


'지식으로서의 역량'에 관한 담론은 많은 양의 사실적인 데이터를 암기하거나 암기하거나 재생산하거나 통합 할 수없는 사람을 '무능력하다'고 본다.

a discourse of competence-as-knowledge construct an incom-petent individual as one who does not or cannot memorize,reproduce and integrate large amounts of factual data.


1960 년대 이후 조지 밀러 (George Miller) 등은 지식을 너무 강조하면 대인 관계 및 임상기술은 떨어지는데 지식만 많은 의사를 만들 위험이 있다고 주장했다. (Miller, 1990).

After the 1960s George Miller and others argued that too much emphasis on knowledge risked creating knowledge- smart doctors who had poor interpersonal and technical skills (Miller, 1990).


Jacques Barzun은 1988 년 New York Times에서 지식 암기 시험에 대한 집착이 미국 젊은이들의 사고 방식이 "패턴을 만들거나 생각하는 것보다 무작위의 사실을 암기하는 능력"의 발달 쪽으로 유도되었다고 주장했다. 체계적으로 '(Barzun, 1988, p.A31).

Jacques Barzun argued in the New York Times in 1988 that a preoccupation with doing well on recall tests has ‘conditioned the way young people in America think’ and that they have ‘better-developed cognitive abilities to recognized random facts than to construct patterns or think systematically’ (Barzun, 1988, p. A31).


'지식으로서의 능력'에 대한 과도한 강조는 지식과 수행능력의 부적절한 통합, 적절한 개인간 행동의 부족 및 열악한 기술 능력과 같은 '숨겨진 무능력'을 초래할 수 있습니다.

An overemphasis on competence-as-knowledge may lead to ‘hidden incompetence’ such as poor integration of knowledge with performance, a lack of appropriate inter- personal behaviours and poor technical abilities.




(2) 밀러의 피라미드와 수행능력으로서의 능력;

(2) Miller’s Pyramid and competence-as-performance


지식에 대한 과도한 강조에 대한 반응으로 1960 년대에 역량에 대한 새로운 담론이 나타났습니다. 이 담론의 본질은 Ronald Harden의 말에 요약되어 있습니다. 

'학생들은 신발 끈이라는 단어의 기원에 관한 에세이를 작성하거나 신발 끈 디자인에 대한 객관식 질문을하거나, 아니면 신발 끈 매는 단계를 설명할 것을 요구받습니다. 그러나 신발끈을 맬 줄 안다는 것을 보여주는 유일한 방법은 신발 끈을 묶는 것을 보여주는 것입니다'(Harden, 2005).

As a reaction to a perceived over-emphasis on knowledge, a new discourse of competence-as-performance emerged in the 1960s. The essence of this discourse is summarized by a quote from Ronald Harden, ‘In many places they would ask students to write an essay on the origin of the word shoelace, or give them a multiple choice question on the design of shoelaces or even ask them to describe the steps in tying a shoelace. Whereas really the only way of doing it is showing you know how to tie a shoelace’ (Harden, 2005).



'수행능력으로서의 능력'의 담론은 '시뮬레이트 된 환자, 프로그램 된 환자, 환자 강사, 피드백, 수행 능력, 기술, OSCE, 다중 관찰 및 방송국'과 같은 매우 다양한 단어들과 관련되어 있습니다. 이 담론에서 교사의 역할은 기술의 시범보이고 학생의 스킬을 관찰하는 것입니다. 능력은 성과 기반 평가로 측정하며, 여기서 학생들은 자신의 기술을 보여줘야 합니다.

The discourse of ‘competence-as-performance’ is associated with a very different set of words including: ‘simulated patient, programmed patient, patient instructors, feedback, performance, skills, OSCE, multiple observations and stations’. In this discourse, the role of the teacher shifts to the demonstration and observation of skills. Competence is measured with performance-based assessments that require students to demonstrate their skills.



Miller 's Pyramid는 피라미드의 1층에 지식을 배치하는 개념 분류법이며, 그 뒤로 knows how, shows, how, does가 따라온다. 이 담론에서는 구조화된 환경에서 의사소통능력, 대인관계, 신체검진을 보여주지 못하는 사람이  '무능력'한 사람이다.

Miller’s Pyramid is a conceptual taxonomy that places knowledge at the bottom of a pyramid, and a sequence of performance verbs ‘knows how, shows and does’ at increas- ingly higher levels on the pyramid. This set of ideas, roles and activities constructs incompetence as an individual who is unable to demonstrate communication, interpersonal,physical examination, or other skills for observers in structured, often simulated environments. 


1990 년대부터인지 심리학자들과 사회학자들은 수행능력에 지나치게 중점을 둔 것에 대해 걱정하기 시작했다. Norman은 '지식이 그렇게 하찮은 것이 아니며, 스킬이 그렇게 대단한 것도 아니다'(Norman, 2005, 2면)라며 '피라미드에 균열이 생기기 시작했다고 주장했다. Schuwirth and van der Vleuten (2006)과 Eva (2003)는 '실생활의 문제를 풀기 위해서는 관련 지식이 필수적이며, 이 지식은 영역-특이적이다'라고 주장했다 (Schuwirth & van der Vleuten, 2006) . 기술과 지식의 강력한 상호의존성, 즉 지식의 내용-특이성은, 모든 내용에 해당될 수 있는 일반화가능한 기술을 가르치는 것은 비현실적이라는 것을 의미합니다.

beginning in the 1990s cognitive psychologists and sociologists began to have worries about too much emphasis on performance. Norman for example argued that ‘cracks started to appear in the pyramid’ as research emerged illustrating that ‘knowledge wasn’t quite so low down and skills quite so high up as one might have thought’ (Norman, 2005, p. 2). Schuwirth and van der Vleuten (2006) and Eva (2003) argued that ‘relevant solving...knowledge is essential for real-life problem knowledge is highly domain-specific, so is problem solving’(Schuwirth & van der Vleuten, 2006). The strong inter-dependence of skills and knowledge – so-called ‘contents pecificity’ of knowledge – means that teaching of content-free, generalizable performance skills is probably an unrealistic undertaking. 


다른 각도에서이 문제에 접근하면서 사회학자들은 시뮬레이션 교육에 대한 교육적 접근에만 의존함으로써 학생들이 환자와 좋은 관계를 형성하지만, 진정한 관계는 결여된 '시뮬레이션 의사'가 될 수 있다고 주장하기 시작했다 (Hanna & Fins, 2006).

Approaching the issue from a different angle, sociologists have begun to argue that exclusive reliance on a pedagogical approach of simulation training might encourage students to become ‘simulation doctors’ who act out a good relationship with their patients but have no authentic connection with them (Hanna & Fins, 2006). 


따라서 수행능력을 과도하게 강조하는 것은 잘 통합되지 않은 지식 또는 가짜 연기와 같은 '숨겨진 무능력자'들을 유발할 수 있습니다. 의사 소통 프로그램에서 수 주 동안 훈련을 받은 한 학생은 병동의 실제 환자에게 이렇게 말했습니다. '아 정말 힘들겠군요. 와, 정말 힘들거에요. 네, 당신에게는 정말 힘들겠군요' 라는 말을 환자가 지칠때까지 반복하였다.

Thus an over-emphasis on competence-as-performance may lead to ‘hidden incompetence’ such as poorly integrated knowledge or fake performances. This phenomena became clear to me during a teaching session when I observed a student, who had trained for many weeks in a communication programme say to a real patient on the ward, ‘Oh that must be hard for you...wow that must be hard for you...oh,yes that must be really hard for you’, until the patient,frustrated by the shower of ‘empathic comments’ that were obscuring a discussion of her symptoms 



(3) Cronbach 's Alpha와 신뢰성있는 시험점수로서의 능력;

(3) Cronbach’s Alpha and competence-as-reliable test score


1980 년대에는 심리측정의 신뢰성에 초점을 맞춘 새로운 담론의 등장으로 이어졌습니다. 이 담론의 본질은 표준화 된 성과 기반 테스트를 주창하고, 'Simulated patient'를 발명했다는 신경학자 하워드 배로우 (Howard Barrows)의 견해로 설명됩니다 (Wallace, 1997). 그는 


"표준화 환자를 사용한 평가의 장점은, 이것이 객관식 질문과 동일한 장점을 가진 성과를 평가할 수있는 유효한 임상 테스트 항목이라는 점이다. 그것은 표준화되었고, 다수의 케이스를 평가할 수 있고, 신뢰할 수 있고 타당한 방식으로 채점할 수 있다. '(Barrows, 1993).

During the 1980s a series of shifts, led to the rise of a new discourse that focused on the psychometric reliability of tests. The essence of this discourse is illustrated by a quote from Howard Barrows, a neurologist who is credited with inventing ‘simulated patients’ as well as propelling standardized performance-based testing (Wallace, 1997). He said 


‘The significance of the standardized-patient technique in assessment is that it can produce a valid clinical test item to assess performance that has many of the same advantages of the multiple-choice question. It is a standardized item, can be given in multiples, and can be scored in reliable and valid ways’ (Barrows, 1993).


'신뢰성있는 점수로서의 능력' 의 담론은 '신뢰성, 타당성, 일반화 가능성, 데이터, 심리 측정법, 후보자, 체크리스트, 항목 뱅킹, 컷 포인트, 표준화'와 같은 단어로 특징 지어집니다. 이 담론에서 테스트의 '엄격함rigour'에 중점을 둡니다.

The discourse of competence-as-reliable test score is characterized by words such as: ‘reliability, validity, generalizability, data, psychometrician, candidate, checklist, item-banking, cut-point, standardization’. In this discourse, there is a major emphasis on the ‘rigour’ of testing. 



이러한 담론이 모든 서구 국가에서 동일하게 강조되었던 것은 아니며, 미국과 캐나다에서는 유럽 국가보다 고부담 총괄평가의 역할이 더 컸다 (Segouin & Hodges, 2005)

This is not evenly experienced in all western countries, and there has been a much greater role for summative, high stakes examinations in the United States and Canada than in European countries(Segouin & Hodges, 2005)



심리측정학적으로 신뢰할 수 있는 총괄평가가 교육적 효과를 가진다는 것은 교사의 역할이 시험을 준비하는 것과 동일해 짐을 의미합니다.

The powerful driving effect of psychometrically reliable, summative examinations means the role of teachers often falls in line with examination preparation


심리측정적 신뢰도를 지향하게 되면서, 신뢰도에 기여하지 않는 테스트 항목을 제거하게 되었다. 즉 변별도가 낮은 객관식 질문을 제거하거나, 시험관이나 환자의 성과 및 인구 통계 학적 특성을 표준화하여 성과 기반 평가의 '편차'를 줄이는 것을 의미합니다.

A drive toward psychometric reliability has also meant removing test items that do not contribute to the overall reliability of a test. This means removing multiple choice questions that ‘do not discriminate between test takers’ or reducing the ‘variance’ of performance-based assessments by standardizing the examiners or the performances and demographic characteristics of patients. 



이 담론에서 학생들은 자신의 점수를 최대화하기 위한 활동을 하도록 유도된다. 흥미롭게도, 이 담론에서 고부담 시험의 '보안'을 우려한다는 것은, 피드백이 제한적이거나 불가능하다는 것을 의미합니다.

For students, the discourse of competence-as-reliable test score drives them to activities that they perceive will maximize their scores. Interestingly, concerns about‘security’ of high stakes testing has meant that where this discourse is dominant, feedback is often very ideas, limited or impossible.


이 담론은 현재 매우 강조되고 있지만, 비판도 있다. Schuwirth와 van der Vleuten은 최근에 다음과 같이 썼다. "우리는 우주가 균질하다는 가정에서 출발했기 때문에 관측자들 간의 차이를 오류로 무시하였다. 그러나 사실 우주가 heterogeneous하다는 것이 더 논리적이었다."(Schuwirth & van der Vleuten, 2006). 표준화된 체크리스트를 지나치게 강조할 때, 패턴 인식을 사용하여 정보를 수집하고 문제를 해결하는 높은 수준의 전문 지식을 가진 개인에게 오히려 역차별을 가한다는 것입니다. 이들은 세부적인 디테일을 다루는 체크리스트에서 점수가 낮아집니다.

While this discourse is currently very prominent, critiques are emerging. Schuwirth and van der Vleuten have recently written, ‘We dismiss variance between observers as error because we start from the assumption that the universe is homogeneous, where in fact the more logical conclusion would have been that the universe is more variant’(Schuwirth & van der Vleuten, 2006). One of the side-effects of stringent adherence to standardized checklists is an apparent discriminatory effect on individuals at higher levels of expertise, who use pattern recognition and synthesis and who simultaneously gather information and manage problems. This results in low scores on inclusive, detail-oriented checklists.


또한, 체크리스트에서 모든 칸에 '체크'를 받을 수 있는 환자면담 스킬을 익히는 것은 부적절하다. Norman은 최근에 '나는 이 전략의 옹호자들에게 증거의 부담을 전가시키기 위해 산탄총 방식으로 행동하는 학생에 대한 일화를 충분히 들었다'(Norman, 2005)라고 썼다.

Further, the effect of learning to interview patients in away that will maximize ‘hits’ on checklists may be inappropriate. Norman recently wrote, ‘I have heard enough anecdotes about the shotgun behaviour induced by checklists to shift the burden of proof onto the advocates of this strategy’ (Norman, 2005). 


따라서 신뢰성있는 테스트 능력에 대한 과도한 강조는 '산탄총 인터뷰'를 포함한 '숨겨진 무능력'을 초래할 수 있으며 패턴 인식, 통합 및 합성의 사용을 저해 할 수 있습니다. 이 현상은 OSCE를 준비중인 학생이 '교수들은 오랜 시간을 들여, 친절하고, 환자의 말에 귀를 기울이고, 문제를 종합하라고 말하지만, 우리는 가능한 한 많은 질문을 던지지 않으면 불합격할 것입니다. '

Thus an over-emphasis on competence-as-reliable test score may result in ‘hidden incompetence’ including ‘shot-gun interviews’ and discourages the use of pattern recogni-tion, integration and synthesis. This phenomenon was made clear to me when a student preparing for an OSCE said, ‘You keep saying to take time, to be nice, to listen to the patient and to make a synthesis of the problem, but if we don’t ask as many questions as possible we will not pass this examination’.






(4) Scho'n 's Reflective Practitioner와 성찰로서의 능력.

(4) Scho¨n’s Reflective Practitioner and the discourse ofcompetence-as-reflection 


1990 년대 중반 이래로 Donald Schon (1987)의 연구는 표준화 된 테스트에 대한 과도한 강조에 대한 인기있는 해독제가되었으며 '자기성찰'과 '자기주도'로 초점을 옮겼습니다.

Since the mid 1990s, the work of Donald Schon (1987) has become a popular antidote to a perceived over-emphasis on standardized testing, and has shifted the focus to internal reflection and self-direction.


'성찰로서의 능력' 담론은 '성찰, 자기 주도적 학습, 통찰력, 학습 계약, 포트폴리오 및 성인 학습자'와 같은 단어로 대표될 수 있다. 이 담론에서 선생님은 가이드나 멘토의 역할을 하거나 "confessor"라고 불릴 수도 있습니다. 일반적인 평가 측정은 포트폴리오와 일기, 성찰에세이 및 학습 계약과 같은 성찰적 방법을 사용한다. 국가 차원에서 캐나다와 같은 일부 국가에서는 역량 유지의 증거로 자기 주도적 학습 포트폴리오를 제출해야합니다 (RCPSC, 2006). 이러한 일련의 아이디어를 종함하면, "자기 성찰, 자기 평가, 자기 규제의 세 가지를 잘 못하는 개인은 '무능력'하다고 볼 수 있다 (Hodges, 2004)

The discourse of ‘competence-as-reflection’ is character-ized by words such as: ‘reflection, self-directed learning,insight, learning contracts, portfolios and adult learner’. In this discourse, the teacher takes on a role of guide or mentor,or what might even be called ‘confessor’. Common measures of assessment are portfolios and the use of reflective exercises such as diaries, reflective essays and learning contracts. At a national level, some countries such as Canada now require the submission of a self-directed learning portfolio as evidence of maintenance of competence (RCPSC, 2006).Taken together this set of ideas, roles and measures constructs an incompetent individual as one who cannot engage in what I have called elsewhere the ‘trinity’ of this discourse: self-reflection, self-assessment, self-regulation(Hodges, 2004). 


다른 담화와 마찬가지로, 역량에 대한 비판이 제기되고있다. 한 가지 추론은 제레미 테일러 (17 세기 성직자)의 말로 요약 할 수있다. '사람들이 자신의 무지를 이해하는 것은 불가능하다. 무지를 이해하려면, 그것을 인지할 지식이 필요한데, 따라서 그것을 인지한다는 것은 이미 무지하지 않다는 것을 뜻하기 때문이다'

As with other discourses, there are emerging critiques of competence-as-reflection. One thrust can be summarized by the words of Jeremy Taylor, the seventeenth-century cleric who is said to have commented, ‘It is impossible to make people understand their ignorance, for it requires knowledge to perceive it; and therefore, he that can perceive it, hath it not’.


크루거 (Kruger)와 더닝 (Dunning)의 연구는 대부분의 역량 영역(문제 해결, 논리적 추론, 유머)에서 상당수의 사람들이 자신평가와 다른사람의 평가 사이에 차이가 크다는 것을 보여주었습니다. 이러한 차이는 다른 사람의 수행능력을 본 이후에 스스로를 재평가를 할 기회가 주어 지더라도 마찬가지였다.

the studies of Kruger and Dunning  showed that in a whole host of areas of competence (problem solving, logical reasoning, humour) a significant proportion of individuals demonstrated a wide gap between their own assessments and those of others. This gap persists even when they are given the opportunity to observe other performances and to reassess their own


다양한 다른 사람들이 똑같은 상황을 본 이후에, 자신의 수행능력을 다시 평가하더라도 자기평가의 인플레이션이 지속되었다 (Hodgeset al., 2001).

When given an opportunity to watch a variety of others handle the same situation and then rescore their own performances, the inflation of self-ratings persisted (Hodgeset al., 2001). 


따라서 역량에 대한 지나친 강조는 다음과 같은 '숨겨진 무능력'을 야기한다.

Thus an overemphasis on competence-as-reflection may result in ‘hidden incompetence’ such as 

  • 자신이 무엇이 부족한지 모르는 
    those who can produce portfolios but nevertheless cannot identify signifi-cant deficits; 

  • 부족함을 알면서도 학습하지 않는
    those who despite identifying deficits cannot or will not direct own learning; and 

  • 지식과 술기의 습득이 아니라 성찰 자체만을 목표로 삼는
    those for whom the goal becomes reflection itself at the expense of attaining actual knowledge and skills. 


이러한 현상은 퍼포먼스 리뷰 및 인터뷰와 같은 다른 성찰적인 과정을 괴롭히고, 내가 어떤 일을해야 하는가를 물어 본 레지던트가 잘 설명해준다. 그는 '때때로 나는 너무 헌신적이다'고 말했다.

These phenomena bedevil other reflective processes such as performance reviews and inter-views and are illustrated by the resident whom I asked to identify an area in which he needed to do some work.He said, ‘Sometimes I am too dedicated’.  






결론

Conclusions


네 가지 모두 고려할 가치가있는 강점과 약점을 가지고 있습니다. 이 백서에서 검토 된 문헌에서 얻을 수있는 결론은 다음과 같습니다.

All have strengths and weaknesses worth considering carefully. Conclusions that can be drawn from the literature reviewed in this paper include:  


(1) '순수히' 지식만을 가르치고 시험하는 것을 피하십시오. 지식과 기술은 조기에 통합되어야하며, 임상적, 사회적, 문화적 및 기타 맥락에 따라 달라진다

(1) Avoid teaching and testing ‘pure’ knowledge.Knowledge and skills should be integrated early and often, and both should be anchored to clinical, social,cultural and other contexts.  


(2) '일반적인 기술'을 가르치고 테스트하지 마십시오. 기술은 영역별 지식에 따라 달라지며, 학습은 기술 개발과 통합되어야합니다.

 (2) Avoid teaching and testing ‘general skills’. Skills arebound to domain-specific knowledge, the learning ofwhich should be integrated with skills development. 


(3) 고도로 표준화 된 시나리오와 방법은 제한적으로만 사용하라. 전문가가 사용하는 사고 방식을 장려하고, 상황과 사례의 variance를 포용합니다.

(3) Limit use of highly standardized scenarios and measures. Foster expert forms of thinking and embrace variance in the presentation of situations and cases. 


(4) 성찰은 신중하게 도입하라. 자기평가를 위한 능력이 부족한 사람에게 자기 주도적 학습 방법을 사용하지 마십시오. 역량은 자기평가만 평가하지 말고, 지식과 기술 습득의 발달 및 시험과 연결되어야 합니다.

(4) Implement reflection carefully. Don’t use self-directed learning methods without establishing the capacity for self-assessment. Further, don’t let competence assessment rest on reflection alone, it should remain tied to the development and demonstration of the acquisition of knowledge and skills. 





 







 2006 Dec;28(8):690-6.

Medical education and the maintenance of incompetence.

Author information

1
Wilson Centre for Research in Education, University of Toronto, Canada. brian.hodges@utoronto.ca

Abstract

We think of medical education as a process that moves novices from a state of incompetence to one of competence. This paper explores the idea that education may, at times, actually lead to incompetence as a result of over-emphasizing particular discourses that construct what competence is. This paper explores four discourses each with its own terminology and core conceptualizations of competence; each of which creates different roles for students and teachers. No one discourse is ideal and all drive teaching and assessment in particular ways. Sometimes these forms of teaching or assessment may inadvertently foster incompetence. In this paper I argue that, as with medical treatments, medical educators must pay more attention to the side-effects of the discourses that shape medical education.

PMID:
 
17594579
 
DOI:
 
10.1080/01421590601102964


플렉스너에서 역량으로: CBME를 향한 여정의 성찰(Acad Med, 2013)

From Flexner to Competencies: Reflections on a Decade and the Journey Ahead

Carol L. Carraccio, MD, and Robert Englander, MD




2002 년 우리와 다른 사람들은 능력 기반의 의학 교육 (CBME)의 역사와 구현에 필요한 단계를 검토 한 "적응 패러다임 : 역량에서 역량으로"라는 제목의 학술 의학 저널을 발표했습니다. 우리는 광범위하게 채택 될 수있는 전환점에 도달하지 못한 과거의 이유에 대해 추측했다.

In 2002, we and others1 published a manuscript in Academic Medicine entitled “Shifting paradigms: From Flexner to competencies” that reviewed the history of competency-based medical education (CBME) and the steps needed for implementation. We speculated on the reasons for past failures to reach the tipping point that would allow widespread adoption.


지난 10 년간의 고찰 : 진보가 항상 쉬운 것은 아닙니다 ...

Reflections on the Past Decade: Progress Is Not Always Easy …


중요한 변화와 마찬가지로 대학원 의학 교육 (ACGME) 및 미국 의학 전문위원회 (ABMS)가 1999 년에 채택한 "ACGME 역량"에 대한 채택에도 큰 저항이 있었다.

As with any important change, great resistance emerged when the Accreditation Council for Graduate Medical Education (ACGME) and the American Board of Medical Specialties (ABMS) adopted in 1999 what have become known as “the ACGME competencies.”


... 그러나 우리는 천천히 그리고 꾸준한 진보를 보았습니다.

… But We Have Seen Slow and Steady Progress


반대자들에도 불구하고, 우리는 CBME 운동에서 느리고 꾸준한 진전을 보아왔다. CBME의 가혹한 행진에 기여한 많은 사람들을이 있다.

(1) 도입을 요구하는 규제 기관의 힘  

(2) 국제적인 역량 프레임워크의 확장도입

(3) 의사의 책임 성과 진료의 질에 대한 대중의 격렬한 항의

Despite the dissenters, we have seen slow and steady progress in the CBME movement.2 We hypothesize a number of contributors to the relentless march of CBME: (1) the power of regulatory bodies in requiring its implementation, (2) the expanding adoption of the competency framework worldwide, and (3) the outcry from the public about physician accountability and quality of care.


미국에서 CBME를 채택한 배경은 ACGME가 공인 된 모든 레지던트 및 펠로우 교육 프로그램의 역량을 가르치고 평가하기위한 요구 사항을 개발하고 집행 한 것이 었습니다. ACGME의 메시지는 ABMS에 의해 강화되었으며, 각 학회는 역량 프레임 워크를 기반으로하는 구축 된 인증 유지 관리 (MOC) 프로그램에 diplomates를 참여시켜야 했을 뿐만 아니라, 초기 인증을 위해 6 개 영역에서 역량을 문서화해야했습니다.

The sentinel events behind the adoption of CBME in the United States have been the ACGME’s development and enforcement of their requirements for teaching and assessing the competencies for all accredited residency and fellowship training programs. Their message was reinforced by the ABMS, which led to member boards requiring documentation of competence in the six domains for initial certification as well as requiring diplomates to engage in maintenance of certification (MOC) programs built on the competency framework.3


학부 의학 교육 (UME) 수준에서 LCME는 다음을 진술 한 표준 ED-1-A를 채택했습니다.

At the undergraduate medical education (UME) level, the Liaison Committee on Medical Education adopted standard ED-1-A that states:


의학 교육 프로그램의 목표는 전문직과 일반 대중이 의사에게 기대하는 역량의 개발에 대한 학생의 발달상황을 평가할 수있는 결과 중심 용어로 명시되어야합니다 .4

The objectives of a medical education program must be stated in outcome-based terms that allow assessment of student progress in developing the competencies that the profession and the public expect of a physician.4


그러나 UME의 CBME 로의 전환은 적어도 부분적으로는 느렸는데, 의과 대학 졸업자에게 요구되는 특정 교육 결과 또는 역량의 표준화가 부재했기 때문이다.

However, the shift to CBME in UME has been slow, at least in part because of the absence of standardization of the specific educational outcomes, or competencies, required of the medical school graduate.


CBME를 중심으로 한 국제적인 노력 또한 확산되어 미국의 의학 교육 시스템의 "전환점"이 되었다. 스코틀랜드 의사의 학습 결과 5와 CanMEDS 역할 6 (의료 전문가, 커뮤니케이터, 공동 작업자, 관리자, 보건 옹호자, 학자 및 전문가)와 같은 게시 된 프레임 워크가 계속 발전했습니다. 2009 년 캐나다 메사추세츠 주립대 학교의 제이슨 프랭크 (Jason Frank)가 이끄는 캐나다 왕립 의학 전문 대학 (Royal College of Physicians and Surgeons of College)은 전 세계의 사상가들을 모아 함께 정의와 기본 원칙에 관한 합의를 도출하는 "이론 - 실천 합의 회의"를 소집했습니다. CBME.7

International efforts around CBME have also proliferated, helping drive us toward the “tipping point” in the U.S. medical education system. Published frameworks such as the Scottish doctor learning outcomes5 and the CanMEDS roles6 (medical expert, communicator, collaborator, manager, health advocate, scholar, and professional) took hold and continue to evolve. In 2009, the Royal College of Physicians and Surgeons of Canada, led by Jason Frank, MD, convened an international “theory- to-practice consensus conference” to bring thought leaders from around the world together to build consensus regarding definitions and foundational principles of CBME.7


아마도 CBME의 채택을위한 가장 강력한 촉매제는 현재의 건강 관리 시스템과 그 종사자들의 public indictment였다. IOM의 간행물인 Err Is Human에는 환자 안전에 대한 취약성과 대중의 신뢰에 대한 우려가 나타났습니다. 결과적으로 치료의 질을 강조하면서, IOM은 안전성, 효과 성, 효율성, 적시성, 환자 중심, 평등성을 요구하는 품질 지표를 발표하였다. 이 지표들은 개별 의사 뿐만 아니라 보건 의료 시스템의 성과의 gap을 강조했습니다.

Perhaps the most compelling catalyst for adoption of CBME has been the public indictment of the current health care system and its practitioners. The seminal Institute of Medicine (IOM) publication To Err Is Human—Building a Safer Health Care System9 exposed a vulnerability in patient safety and concern about a breach of the public trust. The resultant focus on the quality of care led the IOM to publish its quality indicators,10 which demand that care be safe, effective, efficient, timely, patient-centered, and equitable. These indicators underscored the gaps in the performance of both individual practitioners and the heath care system.


자율성을 가지는 전문직에게 부여 된 특권은 대중의 필요와 공공의 신뢰를 다루는 책임과 일치합니다. CBME의 특징은 인구와 의료 시스템의 건강 요구에 의해 주도된다는 것입니다 .11

As a self-regulating profession, the privilege bestowed is matched by the responsibility to address the public needs and the public trust. A hallmark of CBME is that it is driven by the health needs of populations and the health systems that serve those populations.11



현재 의학교육의 상황

Setting the Stage for the Current State of Medical Education



1970 년대와 1980 년대에 CBME로 전환하려는 시도에 대한 우리의 사전 검토는 다음의 네 단계를 제시하였다 (1) 역량 확인, (2) 역량 구성 요소와 성과 수준의 결정, (3) 역량 평가, (4) 프로세스의 전반적인 평가. 이 검토를 토대로, 우리는 지금까지 성공하지 못한 이유가 3 단계 인 역량 평가를 적절하게 다루지 못하는 것이라고 생각했습니다. 이것이 운동의 회복을 멈추지는 않았지만 여전히 중요한 도전 과제입니다.

Our prior review of the literature1 on attempts to shift to CBME in the 1970s and 1980s suggested a four-step implementation process: (1) competency identification, (2) determination of competency components and performance levels, (3) competency assessment, and (4) overall evaluation of the process. On the basis of this review, we speculated that the reason for the lack of previous success was the inability to adequately address step 3, competency assessment. Although this has not stopped the rejuvenation of the movement, it remains the major challenge.



역량을 의미있게 평가하는 도구를 개발하려는 노력은 행동 체크리스트를 사용하여 환원주의적 접근 방식을 취했다. 체크리스트는 과제 중심 활동에서 단계를 성취하는 능력을 결정하는 중요한 역할을하지만, 연수생이 환자에게 안전하고 효과적인 치료를 제공하기 위해 필요한 행동을 통합적으로 평가하기에는 부족하다. 이러한 걸림돌은 CBME가 그저 유행이라고 믿는 사람들의 입장을 재확인했다. 왜냐하면 평가로부터 CBME가 더 나은 의사를 만들어낸다는 대규모 근거가 나오지 않았기 때문이다.

The struggle to develop tools to meaningfully assess competencies resulted in a reductionist approach, using behavioral checklists.12 Although checklists serve an important role in determining one’s ability to accomplish steps in task-oriented activities, they fall short of assessing whether a trainee is capable of integrating the requisite behaviors to deliver safe and effective care to patients. This stumbling block has reaffirmed the position of those who believe that CBME is a fad, because assessment has not yielded the large-scale proof that they are demanding—namely, that CBME produces better doctors.



Lessons Learned


10 년 동안 몇 가지 근본적인 교훈이 나타났습니다.

Over the course of the decade, some fundamental lessons have emerged.


(1) 언어 표준화는 중요하지만 아직 완료되지는 않았다.

(2) 학습자에 대한 guided 직접 관찰은 능력을보다 정확하게 평가할 수있는 큰 잠재력을 가지고 있다.

(3) 의미있는 평가를 위해서는 의미있는 척도에 초점을 맞춘 연수생 성과에 대한 panoramic 전망이 필요하다.

(4) 결과는 실제로 교과 과정을 drive한다.

(5) CBME는 학습자의 전문 지식과 숙달에 대한 궤적에 관한 것이며, 성찰은 전문성 개발의 중요한 구성 요소이다.

(6) 우리는 학습에서 학습자의 역할을 표면적으로만 다루었다.

(7) Competent한 개인을 개발하려면 Competent한 시스템에서 훈련해야합니다.


(1) Standardizing language is critical but not yet complete, 

(2) guided direct observation of learners has great potential for more accurately assessing competence, 

(3) meaningful assessment requires a panoramic view of trainee performance that focuses on meaningful measures, 

(4) outcomes really do drive curriculum, 

(5) CBME is about learners on a trajectory to expertise and mastery, and reflection is a critical component of the development of expertise, 

(6) we have only scratched the surface of exploiting the role of the learner in learning, and 

(7) developing competent individuals requires that they train in competent care delivery systems.



언어의 표준화

Standardizing language


언어의 표준화는 적응적인 변화에 결정적 요소이다.

Standardization of language is critical to adaptive change.


ACGME가 능력의 여섯 가지 영역을 개발하는 것과 동시에 미국 의과 대학 협회 (Association of American Medical Colleges, AAMC)는 의학 학교 목표 프로젝트에서 지식, 숙련, 이타적인, 의무 등 네 가지 영역의 능력을 개발했습니다 .13 둘은 수렴적이 될 수 있었지만, 발산적 언어는 공유된 정신 모델의 형성을 가로막았으며, UME와 GME 고립을 더 심화시키하는 역할을 했을 수도 있습니다. 각각의 영역에 고립된 교사들은 가르치고 평가 한 내용에 대한 서로 다른 이미지를 가지고있었습니다.

At the same time that the ACGME was developing the six domains of competence, the Association of American Medical Colleges (AAMC) developed four domains of competence in the Medical School Objectives Project: knowledgeable, skillful, altruistic, and dutiful.13 Although the essences of the two may have been convergent, the divergent language prohibited formation of a shared mental model and may have served to further separate the UME and GME silos, as teachers within those two silos had different images of what they were teaching and assessing.


교육 대상 지역의 목표 도메인 주변에서 언어가 다른 것 외에도 역량 및 CBME의 특정 용어에 대한 공통된 정의로 인해 어려움을 겪고 있습니다. 페르난데스와 동료 연구원은 문헌조사를 통해 역량이 "지식, 기술 및 기타 구성 요소"로 구성되어 있지만 구성 요소에 대한 합의를 도출 할 수 없다는 합의를 이루었다.

In addition to the divergence of language around the targeted domains of compe- tence, the education community has struggled with the common definitions of the specific terminology of competence and CBME. Fernandez and colleagues17 found agreement through a search of the literature that competence is composed of “knowledge, skills and other components,” but they were unable to uncover consensus on the components.


Frank et al 18은 광범위한 문헌 검색과 주제 추출을 기반으로 다음을 추천했습니다. 

We are perhaps closer to a definition of CBME, as Frank et al18 have recommended the following on the basis of an extensive literature search and extraction of themes:


역량 기반 교육 (Competency-Based Education, CBE)은 의사가 사회와 환자 요구 분석을 통해 얻은 역량을 기반으로 졸업역량을 기르기 위해 근본적으로 지향하는 실습을 준비하는 접근법입니다. 시간 중심 교육을 덜 강조하고 책임감, 유연성 및 학습자 중심성을 약속합니다.

Competency-based education (CBE) is an approach to preparing physicians for practice that is fundamentally oriented to graduate outcome abilities and organized around competencies derived from an analysis of societal and patient needs. It de-emphasizes time-based training and promises greater accountability, flexibility, and learner-centredness.





직접 관찰

Direct observation


우리가 직접 관찰을 통해 학습자를 평가하려고 시도했을 때 두 가지 중요한 점이 나타납니다. 
There are two crucial points that have emerged as we have attempted to assess learners through direct observation. 

첫 번째는 학습자가 할 수있는 것에 대한 우리의 선입견이 기대와 성과 사이에 상당한 격차를 가져올 수 있다는 것입니다. Joorabchi and Devries (19)는 객관적으로 구조화 된 임상 시험을 개발하고 교수진과 협력하여 매 학년도에 최소 레지던트 역량을 개발했습니다. 그 결과, 첫 해의 59 %, 2 학년의 45 %, 3 년차 레지던트의 4 %만이 미리 정해진 기준을 충족한다는 결과가 나타났습니다.

The first is that our preconceived notion of what learners are capable of doing may result in a significant gap between expectations and performance. Joorabchi and Devries,19 for example, developed an objective structured clinical examination and worked with faculty members to develop minimum pass levels for residents in each year of training. Their results showed that only 59% of first-year, 45% of second-year, and 4% of third-year residents met the predetermined standard.


두 번째 요점은 "역량 평가에서 가장 큰 문제는 적절한 평가 도구의 부족이 아니라 오히려 비 숙련 교수가 사용할 수있는 일관성없는 사용 및 해석"이라고 Green and Holmboe (20)가 잘 표현한 것입니다. Kogan et al, 21은 학습자의 교수 평가에 영향을 미치는 요소에 대한 질적 연구에서 기대와 비교 표준의 폭 넓은 변동성을 보여줍니다. Holmboe22의 연구는 교수진이 학습자 성과에 대한 공통된 정신 모델을 개발할 수 있도록 3 단계 과정을 개설합니다 : 
    • (1) 일반적인 과정 (관찰을 돕기위한 준비, 연습 및 도구)을 개괄하는 행동 관찰 교육, 
    • (2) 교수진이 평가할 구체적인 행동과 평가 기준을 이해할 수 있도록 성과 차원 교육 
    • (3) 교수 그룹이 주어진 수준을 구성하는 행동에 대해 의견 일치를 이끄는 기준 프레임 워크 의 성능.

The second point is well articulated by Green and Holmboe,20 who say that “the biggest problem in evaluating competencies is … not the lack of adequate assessment instruments but, rather, the inconsistent use and interpretation of those available by unskilled faculty.” Kogan et al,21 in their qualitative study of the elements that influence faculty ratings of learners, demonstrate the wide variability in expectations and comparison standards. The work of Holmboe22 in direct observation outlines a three-step process to enable faculty to develop a shared mental model of learner performance: 

    • (1) behavioral observation training that outlines the general process (preparation, practice, and tools to aid observation), 

    • (2) performance dimension training to ensure that faculty understand the specific behaviors they are to assess and the criteria for assessing them, and 

    • (3) frame-of-reference training in which a group of faculty come to consensus about what behaviors constitute a given level of performance.



퍼포먼스에 대한 의미있는 척도

Meaningful measures of performance


그러나 의미있는 척도를 향한 진전은 여전히 ​​CBME의 아킬레스 건으로 남아 있습니다. 역량 평가의 복잡성은 앞서 언급한 환원주의적 접근 방식으로 이끌었다. 교육자들은 직접 관찰 할 수있는 작고 작은 조각으로 나누어 체크리스트를 사용하여 평가했습니다. 본질적으로 복잡한 무언가를 간단하게 만들려고 할 때 우리의 도구는 학습자가 간단한 작업을 수행 할 수 있는지 여부를 판단 할 수는 있었지만 환자를 돌보는 작업을 통합 할 수 있는지 여부는 판단 할 수 없었습니다. Van der Vleuten과 Schuwirth는 이러한 접근의 주된 함정을 강조하면서 "원자화는 단순화로 이어질 수 있고 타당성을 위협 할 수 있으므로 피해야한다"고 말했습니다.

However, progress toward those meaningful measures remains the Achilles heel of CBME. The complexity of assessing the competencies initially led to the reductionist approach noted above. Educators broke them down into smaller and smaller fragments of behaviors that could be directly observed, and assessed them using a checklist. In trying to make something simple that is inherently complex, our tools allowed us to judge whether learners could perform simple tasks but not whether they were capable of integrating those tasks to care for patients. Van der Vleuten and Schuwirth12 highlight the major pitfall of this approach, saying that “[a] tomisation may lead to trivialization and may threaten validity and, therefore, should be avoided.”


이를 위해서는 우리는 정량적평가뿐만 아니라 정성적평가도 받아 들여야하는데, 이 때 우리가 받아들일 수 있는 수준의 정신측정학적 특성을 가진 견고한 도구를 개발할 수 있는지에 대한 우려가 복합적으로 나타난다.

This will require us to accept qualitative as well as quantitative assessments, which compounds concerns about our ability to develop robust tools with acceptable psychometric properties.


Van der Vleuten24는 기존의 정신측정학적 특성을 뛰어 넘는 평가 도구의 가치를 판단하기위한 "실용 모형"을 제안했습니다. 그는 도구의 유용성은 신뢰성, 유효성, 비용, 수용성 및 교육적 영향의 산물이라고 제안합니다. 

Van der Vleuten24 has proposed a “utility model” for judging the value of assessment tools that reaches beyond the traditional psychometric properties. He suggests that the utility of a tool is the product of its reliability, validity, cost, acceptability, and educational impact. 


예를 들어, 신뢰성은 도구에 고유한 특성이 아니며, 객관성과 동일하지 않습니다. 실제로 subjective tool도 신뢰성이 높을 수 있습니다 .12 번거롭고 값 비싼 도구가 사용되지 않아 불충분 한 샘플링을 통해 신뢰성에 부정적인 영향을 미칩니다.

For example, reliability is not inherent to a tool, nor does it equate with objectivity; in fact, subjective tools can be reliable.12 Cumbersome and costly tools will not be used and thus negatively influence reliability through insufficient sampling.


그러나 도구의 수용가능성은 특히 CBME 로의 전환으로 인해 평가할 기술 영역이 확장되면서 WBA에 교수진이 동의하는지에 중요한 영향을 미칩니다. 실제 환경에서 평가 도구의 구현을 연구하면 (도구를 사용할 교수자들이 받아들일 것은 무엇이고 그렇지 않은 것은 무엇인가) 따라서 신뢰성과 타당성을 입증하는 것만 큼 중요합니다.

Importantly, however, acceptability of a tool has a critical impact on faculty buy-in of workplace-based assessment, particularly as the shift to CBME has expanded the domains of skills to be assessed. Studying the implementation of assessment tools in real-world settings— what works and what doesn’t for the faculty using the tool—thus becomes as critical as demonstrating its reliability and validity.


마지막으로, 우리는 평가 도구의 가치에 대한 교육적 영향의 중요성을 강조하고자합니다. 신뢰성이나 타당성이 약간 희생 될 수 있지만, impact가 큰 도구는 학습에 더 많은 영향을 줄 수 있습니다. 포트폴리오는 신뢰할 수있는 평가가 어렵 기 때문에 많은 비판을 받았습니다. 그러나 이러한 우려를 해소 할 수있는 방법이 있으며, 신뢰성이 낮아지더라도, 오히려 학습자가 학습과 평가에 적극적으로 참여하는 교육적 영향이 높아질 수 있다고 주장 할 수 있습니다 .26,27 Friedman Ben-David, 28 " 평가 운동 [자체]은 가르 칠 수있는 순간이됩니다. "

Finally, we want to underscore the importance of the educational impact to the value of an assessment tool. Tools that may sacrifice a bit on reliability or validity but score high on impact may do more to advance learning. Portfolios have received much criticism because of the difficulty of reliably assessing them. There are ways to address the concerns, however, and one could argue that what is lost in reliability is gained in the educational impact of actively engaging learners in their learning and assessment.26,27 In the words of Friedman Ben-David,28 “The assessment exercise [itself] becomes the teachable moment.”


요약하면, CBME에서의 평가에 대한 도전은 현실이지만, 우리는

(1) 자주 샘플링하여 신뢰성 향상,

(2) 일상 업무에 대한 평가를 구축하고 구현의 문제를 연구함으로써 비용을 줄이고 수용 가능성을 높이는 것,

(3) 평가를 실제 임상 환경으로 가져 와서 측정 한 것을 실제로 하는 것과 일치시킴으로써 타당성을 높인다.

(4) 평가를 학습자와 평가자를 위한 "팀 스포츠"로 만들어 impact를 높인다.

In summary, the challenges to assessment in CBME are real, but we can address them by 

(1) improving reliability through frequent sampling, 

(2) reducing cost and increasing acceptability by building assessment into our daily work and studying the issues in implementation, 

(3) providing validity by bringing those assessments to the authentic clinical environment and aligning what we measure with what we do, and 

(4) adding impact by making assessment a “team sport” for learners and their evaluators. 



예를 들어 스마트 폰 응용 프로그램을 사용하는 호스피탈리스트가 학습자의 평가를 담당하는 교수팀은 물론 학습자 성과를 실시간으로 직접 평가할 수 있다고 상상해보십시오.

Imagine, for example, a hospitalist with a smartphone application that allows direct and real-time assessment of learner performance that is electronically delivered to that learner as well as to the team of faculty responsible for that learner’s assessment in real time.


성과가 교육과정을 유도한다.

Outcomes drive curriculum


지난 10 년 동안 커리큘럼을 주도할 성과를 정의하는 것이 중요하다는 사실이 강조되었습니다. 한 예로 UME 및 GME 수준에서의 품질 및 안전 교육 과정에서의 역량의 결과로서의 PBLI의 묘사와 MCC에 제 2 부 및 제 4 부의 추가가있다.

The past decade has underscored the importance of defining the outcomes that should drive curriculum. One example is the delineation of PBLI as a domain of competence and the resultant explosion in quality and safety curricula at the UME and GME levels and the addition of Parts 2 and 4 to MOC.3



전문성의 궁극의 목표이며, 성찰적 실천이 필요하다.

Expertise is the ultimate goal of CBME and requires reflective practice


역설적으로 CBME의 목표는 반드시 "역량"그 자체가 아니라 전문 지식이나 숙달에 대한 궤적에 대한 지속적인 추구이며, 역량은 일정 수준의 경험에 대한 기대되는 성과로 정의됩니다.

Paradoxically, the goal of CBME is not necessarily “competence” per se but, rather, the continual pursuit on a trajectory toward expertise or mastery, with competence defined as demonstrating the expected performance for a given level of experience.


개선을 위한 학습에 대한 지속적인 투자는 Epstein31에서 "주의 깊은 연습"으로, Ericsson32는 "고의적 인 연습"으로 설명되었습니다. Reflect in action과 Reflect on action이 없으면 "경험만 갖춘 비 전문가"가 될 것이다. 사람은 자신이 하는 일의 결과에 대한 지속적인 분석을 통해서만 진정한 전문가가 될 수 있습니다.

The continual investment in learning for the sake of improvement has been described by Epstein31 as “mindful practice” and Ericsson32 as “deliberate practice.” If one does not engage in reflection for, in, and on practice, one will become what Bereiter and Scardemalia33 describe as an “experienced non-expert.” Only through continuous analysis of what one does and what happens as a result of the doing can one become a true expert.


학습에서 학습자의 역할을 강조

Exploiting the role of learners in learning


(학습자가) 학습에 능동적으로 참여하는 것은 CBME의 기본 원칙입니다.

Active engagement in learning is a foundational principle of CBME.1


자기 주도 학습의 구성은 교육의 패러다임으로 많은 관심과 논쟁을 불러 일으켰다. 학생이 자기주도적이 될 수 있는지에 대한 많은 논쟁은 (자기주도성의) 기본 요소인 외부 입력에 대한 Knowles의 요구를 무시하고 원래 정의를 좁게 해석한 결과입니다. 외부 입력이 없다면 자신의 학습을 지도 할 수 있는 능력은, 사람이 정확하게 자기 평가를 할 수 있는 능력에 결함이 있는 것과 마찬가지로, 형편 없다.

The construct of self-directed learning has received much attention and debate as the paradigm of education shifts. Much of the debate about whether one can be self-directed results from a narrow interpretation of Knowles’38 original definition, ignoring his call for external input as a fundamental element. Without external input, our capability to direct our own learning is poor as a result of our flawed ability to accurately self-assess.39


학습 이론 자체를 검토하는 것이 우리의 범위를 넘어서는 것이지만, 자기결정이론은 CBME와의 관련성 때문에 간략한 언급을해야합니다. 이 이론은 능력, 자율성, 관련성에 대한 타고난 필요가 학습 욕구를 몰고 간다는 것을 말해줍니다 .35,41이 소망은 교수진과 학습 환경에 의해 점화되거나 좌절 될 수 있습니다. 우리는 배움의 욕구를 불어 넣어 능력, 자율성 및 관련성에 대한 타고난 필요성을 각각

(1) 능력: 학습 역량을 장려하고 역량을 향상시키는 형성적인 피드백을 제공하기 위하여 (간단한 것에서 복잡한 것으로) 학습 활동을 배열하는 것 

(2) 자율성: 학습자의 능력의 정도에 따라 감독의 정도를 조정하고, 안전한 치료 보장과 학습자의 전문성 개발 장려라는 이중 역할을 수행하며,

(3) 관련성: 학습자와 환자, 교수 및 전문 직업인 간의 관계 구축.


Although it is beyond our scope to review learning theories per se, self- determination theory warrants brief mention because of its relevance to CBME. This theory speaks to the innate need for competence, autonomy, and relatedness as driving the desire to learn.35,41 This desire can be kindled or thwarted by faculty and the learning environment. We kindle the desire to learn, addressing the innate need for competence, autonomy, and relatedness, respectively, by 

(1) sequencing learning activities (simple to complex) to encourage learning capacity and then providing formative feedback that enhances competence, 

(2) adjusting the degree of supervision to align with the degree of learner competence, serving the dual role of ensuring safe care and encouraging learners’ professional development, and 

(3) building relationships between learners and their patients, faculty, and interprofessional team members.



사람이 가진 관련성에 대한 내재적 요구는 두 번 강조해도 지나치지 않다. 최근의 증거는 전문직 정체성 형성시에 피드백을 받아들이고 통합하는 것이 giver에 대한 receiver의 인식에 달려 있음을 시사한다. 42,43 이는 의대생의 임상실습과 레지던트 교육 프로그램의 전형적인 블록 구조로 인한 관계 분열에 의문을 제기한다. 장기간의 경험을 제공하는 훈련 모델은 학생들이 교수진과 환자들과 1 년의 의미있는 관계를 가질 때 의과 대학 3 학년 동안 발생하는 전형적인 전문직업성의 침식erosion of professionalism이 현저히 감소됨을 보여줍니다.

The innate need for relatedness cannot be overemphasized. Recent evidence suggests that acceptance and incorporation of feedback are dependent on the receiver’s perceptions of the giver’s investment in their professional formation,42,43 calling into question the fragmentation of relationships resulting from the typical block structure of medical school clerkships and residency training programs.44 Training models that provide longitudinal experiences have demonstrated that the typical erosion in professionalism that occurs during the third year of medical school is significantly reduced when students have yearlong meaningful relationships with faculty and patients.45


유능한 시스템이 유능한 의사의 전제조건이다.

Competent systems are a prerequisite for training competent practitioners


ACGME 역량은 context-independent하지만, 역량 기반 교육의 프레임 워크는 교육을받는 임상 마이크로 시스템의 중요성을 포함하여 context의 역할을 강조합니다. Asch 등은 1992 년과 2007 년 사이에 New York과 Florida에서 4,906,169 건의 배달을 후 향적으로 분석했다. 107 건의 미국 교육 프로그램을 대표하는 총 4,124 명의 산과 전문의가 배달을 수행했다. 모성 합병증에 대한 9 가지 측정법을 사용하여, 주요 모성 합병증에 있어서, 하위 20% 프로그램에서 수련을 받은 산과 전문의의 합병증 비율이 상위 20% 프로그램에서 수련을 받은 전문의보다 높다는 것을 발견했습니다.

Although the ACGME competencies are context-independent, the framework of competency-based education underscores the critical role that context plays, including the importance of the clinical microsystem in which one trains. In a seminal study, Asch et al46 retrospectively analyzed the 4,906,169 deliveries in New York and Florida between the years 1992 and 2007. A total of 4,124 obstetricians, representing 107 U.S. training programs, performed the deliveries. Using nine measures of maternal complications, they found that obstetricians from training programs that were in the bottom quintile for risk-standardized major maternal complications had an adjusted complication rate that was one-third higher than those from programs in the top quintile.


이 연구의 결과는 수련을 받는 임상 환경의 "능력"이 연수생의 능력에 영향을 미치고 전문직 형성의 중요한 단계에서 각인에 비유 될 수 있음을 분명히 보여줍니다. Asch와 동료들의 연구는 부적절한 임상 환경이 가장 유능한 역량 기반 교육 시스템에서도 연수생의 전문성 개발을 저해 할 수 있음을 시사합니다.

The outcome of this work clearly demonstrates that the “competence” of the clinical environment in which one trains affects the competence of the trainee and can be likened to imprinting during a critical phase of professional formation. Asch and colleagues’ work suggests that an inadequate clinical environment can thwart the professional development of its trainees even in the most well-fashioned competency-based education systems.



최근의 발전: 마일스톤과 EPA

Recent Advances: The Milestone Project and Entrustable Professional Activities


2009 년 ACGME는 마일스톤 프로젝트를 시작하기 위해 ABMS 회원위원회와 다시 협조했습니다 .47 모든 전문 분야는 2013 년 7 월부터 단계적으로 시작된 "차기 인증 시스템"의 출현으로 연수생의 마일스톤 평가를 시작해야합니다 .48

In 2009, the ACGME again partnered with member boards of the ABMS in initiating the Milestone Project47 All specialties will be required to begin assessing milestones of trainees with the advent of “the next accreditation system,” which began its phase-in effective July 2013.48



우리는 ACGME 도메인 내의 각 역량에 대한 일련의 이정표를 만들었습니다. 최종 제품은 특정 역량을 위해 의학 실습생을 통해 의대생 진입 발달 연속체 전반에 걸친 각 성과 수준 또는 중요 시점에서의 행동을 설명하는 일련의 간략한 서술입니다. 이정표의 가치는

(1) 교수 및 학습자에게 이해할 수 있는 관찰 가능한 행동 측면에서 역량에 대한 설명,

(2) 그들이 훈련생에게 제공하는 학습 로드맵

(3) 형성 피드백과 평가를위한 토대를 만드는 구체적인 내용.

We created a series of milestones for each competency within the ACGME domains, The end product is a series of brief narratives describing behaviors at each performance level or milestone, across the developmental continuum from entering medical student through expert practitioner, for a given competency.49 The value of milestones is related to 

(1) the descriptions of the competencies in terms of observable behaviors that make sense to faculty and learners, 

(2) the learning road map they provide to trainees, and 

(3) the specific content that creates a foundation for formative feedback and assessment.



그러나 마일스톤은 도메인 간 역량의 통합을 다루지 않는다. 아마도 Regehr가 가장 잘 묘사했다.

What the milestones do not address is the integration of competencies across domains, which is requisite for unsupervised care delivery, Perhaps Regehr et al50 state the challenge best:



... 평가 개선에 대한 해결책은 교수진이 관찰하고 문서화하거나 기존 도구 및 척도를 사소하게 수정하는 것이 아닙니다. 오히려 ... 임상 수행능력 측정법을 개선하려면 우리가 사용하고 있는 도구의 구조를 근본적으로 다시 생각해야 하며, 교수가 일상적으로 레지던트의 임상적 능력을 기능적으로 개념화하는 방식을 확실하게 나타낼 수 있도록하는 데 더 많은 이익을 줄 수 있습니다 기초. 현재 필요한 것은 교수진의 주관적 표현이 레지던트의 성과에 대해 어떤 형태의 문서로 원활하게 변환 될 수있게하는 방법의 개발입니다.


… the solution to improving evaluations may not lie in training faculty to observe and document better or to make minor modifications to existing tools and scales. Rather … efforts at improving clinical performance measures might more profitably focus on fundamentally rethinking the structure of the tools we are using, to ensure that the instruments authentically represent the way in which faculty functionally conceptualize their residents’ clinical competence on a day-to-day basis. What is needed now is the development of methods that will allow faculty members’ subjective representations of their residents’ performance to be smoothly translated into some form of documentation.


마일스톤의 사용은 전문가의 판단을 알리기 위해 성능의 공유 정신 모델에 대한 scaffolding을 제공합니다. 마찬가지로, 마일스톤을 의미있는 클러스터에 넣고 임상 적 맥락에 포함시킬 때만, 신뢰할 수있는 전문 활동 (EPA)에서 가능한 것처럼, 53 학습자 평가에 대한 holistic한 관점을 제공 할 수 있다.

the use of milestones provides the scaffolding for a shared mental model of performance to inform expert judgment. Similarly, only when the milestones are put into meaningful clusters and embedded in a clinical context, as is possible with entrustable professional activities (EPAs),53 can they provide a holistic perspective on learner assessment.


Cate와 Scheele에 의해 소개 된 EPAs는 학습자의 holistic 평가에서 임상적 맥락의 중요성을 다루는 하나의 잠재적 인 해결책을 제공한다. EPA는 직업을 정의하고 임상 적 맥락에서 상황에 독립적 인 역량과 이정표를 삽입하는 일상적인 작업 단위이다. 소아과에서의 EPA의 예는 "신생아를 돌보는"일 것이다. 이 경우 위임은 감독없이 효과적인 관행으로 정의됩니다. 표 1에 제시된 바와 같이 일단 매핑이 완료되면 역량 (행으로 표시)과 EPA (열로 표시)를 나란히 배치하여 매트릭스를 작성하면 학습자에 대한 의미있는 평가에 대한 우리의 생각을 향상시키는 데 도움이됩니다.

EPAs, introduced by ten Cate and Scheele,53 provide one potential solution to addressing the importance of clinical context to a holistic assessment of learners. EPAs are the routine units of work that define a profession and thus embed the context-independent competencies and their milestones in a clinical context.53,54 An example EPA in pediatrics would be “care for the well newborn,” which would require an integration of competencies across the ACGME domains.54,55 In this case, entrustment is defined as effective practice without supervision. As presented in Table 1, once mapping is completed, creating a matrix by juxtaposing the competencies (represented by the rows) and the EPAs (represented by the columns) helps to advance our thinking about meaningful assessment of learners.


EPA는 도메인 간 역량을 통합하여 치료를 제공함으로써 학습 목표를 정교하게 평가할 수 있도록 학습자에 대한 전체적인 시각을 제공합니다. 역량 기반 평가에는 두 가지 관점에서 학습자를 보는 것이 중요합니다. 우리는 학습자가 지속적으로 향상 될 수 있도록 통합 된 성과 (EPA)와 성과 곤란의 근본 원인 (역량 및 해당 이정표)을 진단 할 수 있어야합니다.

The EPAs provide a holistic view of learners as they integrate competencies across domains to deliver care and thus complement the granular lens of milestones assessment. Seeing a learner from both vantage points is critical to competency-based assessment. We must be able to both see integrated performance (the EPA) and diagnose the underlying root cause of performance difficulties (the competencies and their respective milestones) to help our learners continually improve.



지평

The Horizon


CBME가 널리 퍼져서 보급되면 무엇이 다를 것인가?

What is and will be different this time in the widespread adoption of CBME?


CBME가 널리 보급 될 가능성을 높이기 위해 여러 가지 요인들이 작용합니다. 

  • 첫째, 인정 기관과 인증 기관, 혁신가와 얼리 어답터 인 지도자, 건강 관리의 개선 된 품질에 대한 대중의 요구가 이미 CBME의 20 세기 진보를 넘어 우리를 회귀 시켰습니다. 

  • 둘째, 우리는 역량 및 CBME가 GME를 넘어 UME 및 MOC 분야로 확산되고 있음을 널리 알 수 있습니다.

a number of factors serve to improve the likelihood that CBME is on the verge of widespread adoption. First, regulators from accrediting and certifying bodies, leaders that are innovators and early adopters, and public demand for improved quality in health care have already led us far beyond the 20th-century advances in CBME and will not allow us to regress. Second, we are seeing the widespread support of the competencies and CBME spreading beyond GME to the UME and MOC arenas. 



우리는 전통적인 사일로를 무너 뜨리기 시작하여 커리큘럼을 전달할 때 효능과 효율성을 모두 해결할 수있었습니다. 


  • 셋째, 의사의 바람직한 성과에 대한 더 나은 합의를 통해 GME, UME 및 대학 수준에서 학습자가 원하는 역량을보다 잘 묘사 할 수있는 역방향 비전 프로세스를 시작했습니다.

We have begun to break down the traditional silos, allowing us to address both efficacy and efficiency in delivering curricula. Third, through better agreement on the desired outcomes of the practicing physician, we have begun a process of backwards visioning to better delineate the desired competencies of the learner at the GME, UME, and even college levels.


성공적인 CBME는 어떤 모습일까?

What will successful adoption of CBME look like?


First, we will have standardized the language and the desired outcomes so that we share a clear mental model of the trajectory to becoming the “expert” physician. Training will occur in competent institutions that have high-quality outcomes and the capacity to train competent learners who will continually work to improve the care they deliver to patients. Focused on the desired outcomes of the practicing physician, we will backwards-vision the most effective and efficient path for curriculum and equip ourselves with the evidence-based learning strategies that are emerging to take us where we need to go, each step along the educational trajectory building on the previous one. We will travel with our learners as part of an interprofessional team, with all team members being responsible and accountable for their learning. We will have built in “rest stops” along the way for assessment and guided reflection that will take us all toward expertise and mastery. The assessment tools that we use will embrace the complexity of care delivery and focus on what is meaningful and not just what is easily measurable. These tools will be useful by van der Vleuten’s24 standards, some qualitative and some quantitative, most targeted for formative assessment. The journey will be long so that we will have ample time to directly observe learners. From early in the process, learners will develop relationships with patients, mentors, and health care team members. These relationships will help to thwart the typical erosion of professionalism and personal accountability that occurs when there is no sense of belonging. Everyone will walk this journey at their own pace, some arriving sooner than others. We have to be prepared for and take advantage of this variation among learners, and model how to help them help their colleagues along the way who may be struggling.



이 여정의 mantra는 "환자에게 더 나은 치료를 제공하기 위해 의학 교육을 어떻게 개선 할 것인가?"입니다. 이것이 우리가 묻고 답하는 책임이있는 근본적인 질문이다.

The mantra for the journey will be “How do we improve medical education to provide better care to patients?” This is the fundamental question that we are responsible for asking and answering.







 2013 Aug;88(8):1067-73. doi: 10.1097/ACM.0b013e318299396f.

From Flexner to competenciesreflections on a decade and the journey ahead.

Author information

1
American Board of Pediatrics, Chapel Hill, North Carolina 27514, USA. ccarraccio@abpeds.org

Abstract

This article is a sequel to one published in 2002 only a few years after the initiation of the shift to competency-based medical education (CBME). The authors reflect on the major forces that have influenced the movement and tipped the balance toward widespread adoption of CBME in the United States, primarily in graduate medical education. These forces include regulatory bodies, international counterparts, and the general public. The authors highlight the most important lessons learned over the decade. These include (1) the need for standardization of language to develop a shared vision of the path ahead, (2) the power of direct observation in assessment, (3) the challenge of developing meaningful measures of performance, (4) desired outcomes as the starting point for curriculum development, (5) dependence on reflection in the development of expertise, (6) the need for exploiting the role of learners in their learning, and (7) competent clinical systems as the required learning environment for producing competent physicians.The authors speculate on why this most recent attempt to shift to CBME differs from previous aborted attempts. They conclude by explaining how the recent lessons learned inform the vision of what successful implementation of CBME would look like, and discussing the importance of milestones, entrustable professional activities, and an integrated, rather than a reductionist, approach to assessment of competence. The fundamental question at each step along the way in implementing CBME should be "How do we improve medical education to provide better care for patients?"

PMID:
 
23807096
 
DOI:
 
10.1097/ACM.0b013e318299396f


패러다임의 전환: 플렉스너에서 역량으로 (Acad Med, 2002)

Shifting Paradigms: From Flexner to Competencies

Carol Carraccio, MD, Susan D. Wolfsthal, MD, Robert Englander, MD, MPH,

Kevin Ferentz, MD, and Christine Martin, PhD





20 세기로 접어 들면서 의학 교육에 대한 도전은 플렉스너 혁명의 형태를 취했습니다 .1 1900 년대 초에 저질의 교육 내용과 프로세스에 노출되면 대중의 관심과 관심이 점차 커져서 막대한 개혁을 낳았습니다.
The challenge to medical education at the turn of the 20th century took the form of the Flexnerian revolution.1 Exposure of poor educational content and processes in the early 1900s captured public attention and concern, precipitating a chain of events that led to drastic reform.

현재의 구조 및 프로세스 기반 커리큘럼에서 역량 기반 커리큘럼 및 결과 평가에 이르는 패러다임 전환은 21 세기의 플렉스너 (Flexnerian) 혁명입니다.
The paradigm shift from the current structure- and process-based curriculum to a competency-based curriculum and evaluation of outcomes is the Flexnerian revolution of the 21st century.


검색 전략
SEARCH STRATEGIES

역량을 갖추었다는 것은 무엇을 의미하는가?
What Does It Mean to Be Competent?

그러나 1970 년대부터 의료계에서 역량에 대한 많은 정의가 나왔다 .2-8 그러나 본질적으로 이러한 정의의 합성과 단순화는 우리가 '역량'을 지식, 기술, 태도의 구성 요소 및 개인의 능력으로서의 '역량'을 포함하는 복잡한 일련의 행동으로 설명하게 만들었다 (이 정의는 교육 환경에서 일반적으로 사용되는 언어를 반영하도록 수정되었습니다.)
Many definitions of competency emerged in the medical lit- erature beginning in the 1970s.2–8 Essentially, however, syn- thesis and simplification of these definitions led us to de- scribe ‘‘competency’’ as a complex set of behaviors built on the components of knowledge, skills, attitudes, and ‘‘com- petence’’ as personal ability. (These definitions are adapted to reflect language commonly used in educational settings.)


1970년대와 1980년대에 역량구조의 등장
THE EMERGENCE OF THE COMPETENCY CONSTRUCT IN THE 1970SAND1980S

역량 기반 교육을 정의하는 것 외에도 초기 출판물은 패러다임 전환 및 커리큘럼 개발 과정의 핵심 요소에 중점을 둡니다. 1960 년대와 1970 년대 초반의 문화 환경은 커리큘럼을 심각하게 파 괴하고 기본 성취도를 낮추어 학생 성취도 테스트 및 교실 시험과 같은 교육적 효과에 대한 지표 점수가 하락했습니다. 이러한 점수 하락은 모든 교육 수준에서 최소한의 표준과 성과 역량에 중점을 두어 '기본으로 회귀(back-to-basics)'운동을 촉발시켰다 .9) 동시에 대중은 '직업' '이전에는 소비주의가 없었다. 공중 보건 지도자들은 또한 역량 기반 훈련을 요구하고, 실무 환경의 맥락에서 역량을 강조함으로써 인구의 요구를 처리 할 수있는 인력을 모색했다 .10 미국 영양사 협회 (DDA) 11 및 주 교육위원회 일리노이 주립 대학 고등 교육 기관 (University of Illinois of Highest Education of Illinois)은이 운동에 일찌감치 동참하여 가이드 라인을 수립하고 그들이 운영하는 교육 기관에서의 패러다임 전환에 대한 명령을 내 렸습니다.
In addition to defining competency-based education, early publications focused on the forces behind the paradigm shift and the process of curriculum development. The cultural cli- mate of the 1960s and early 1970s caused a significant frag- mentation of curricula and a de-emphasis on basic skills, with a concomitant decline in scores of indicators of edu- cational effectiveness such as Student Achievement Tests and classroom examinations. This deterioration in scores prompted a ‘‘back-to-basics’’ movement with emphasis on minimum standards and performance competencies at all ed- ucational levels.9 At the same time, the public demanded increased competence, even in the ‘‘professions’’ previously immune to consumerism. Public health leaders also called for competency-based training, and sought a workforce equipped to handle the population’s needs by emphasizing competence in the context of the practice setting.10 Profes- sional organizations, such as the American Dietetic Associ- ation11 and the State Board of Higher Education of the Uni- versity of Illinois, joined this movement early, establishing guidelines and even edicts for the paradigm shift in the ed- ucational institutions over which they presided.12

역량 기반 교육이 발전할 맥락에서 무대를 마련한 교육 과정 설계에 대한 단계적 접근 방식은 문헌 전체에서 일관된 주제로 떠올랐다. 네 단계는 
(1) 역량 확인, 
(2) 역량 구성 요소 및 성능 수준 결정, 
(3) 역량 평가, 
(4) 프로세스의 전반적인 평가입니다. 

Having set the stage for the context in which compe- tency-based education developed, the stepwise approach to curricular design emerged as a consistent theme throughout the literature. The four steps are 
(1) competency identifi- cation, 
(2) determination of competency components and performance levels, 
(3) competency evaluation, and 
(4) overall assessment of the process. 

역량을 식별 할 수있는 가능한 방법 (1 단계)은 개별 전문가의 합의를 사용하는 델파이 기법 18)과 그룹의 의견에 의존하는 명목상 그룹 기법 19)을 포함한다. 업무 분석 : 연구원이 일정 기간 동안 모든 활동을 문서화하기 위해 의사와 동행합니다. 자격을 갖춘 종사자가 좋은 또는 나쁜 사안을 반영하는 관찰 된 사건을 묘사하는 중요 인시던트 조사 10,19; 스타 퍼포먼스가 훌륭한 의사의 중요한 임상 상황과 특성을 묘사하는 행동 - 이벤트 인터뷰 10; 그리고 가장 간단한 방법 - 종사자 설문 조사 6 역량의 확인은 그 과정의 다른 단계보다 더 많은 관심을 받았다.
Possible methods for iden- tifying competencies (step one) include 
  • the Delphi technique, which uses a consensus of individual experts,18 and the nominal group technique, which relies on group consen- sus19; 
  • task analysis, in which a researcher accompanies a phy- sician to document all activities over a period of time18; 
  • the critical-incident survey, in which qualified practitioners de- scribe observed incidents that reflect good or bad prac- tice10,19; 
  • the behavioral-event interview, in which star per- formers describe critical clinical situations and characteristics of a good doctor10; and 
  • the simplest method—practitioner surveys.6 The identification of competencies received more attention than the other steps in the process.

두 번째 단계는 역량 구성 요소와 성과 수준을 결정하는 것입니다. 전자는 순차적으로 또는 합계로 역량을 구성하는 'tasks'을 포함합니다. 이러한 'tasks'은 흔히 벤치 마크 또는 성과 지표라고합니다. 그것들은 측정 가능해야하고, 그것들을 합하여서 특정 역량의 성취도를 결정할 수 있어야 한다. 성과 기준은 역량을 입증하기위한 기준점을 설정합니다 .2 각 벤치 마크의 예상 성과 수준은 역량이 달성되었는지 여부를 판단하기 위해 명확하게 정의되어야합니다. 교육자는 교훈 학습, 소그룹 토론, 현장 경험 또는 정보 기술을 통해 역량을 획득 할 수있는 방법을 결정해야합니다.
The second step involves determining competency com- ponents and performance levels. The former includes ‘‘tasks’’ that, either sequentially or in sum, make up the competency. These ‘‘tasks’’ are often referred to as benchmarks or perfor- mance indicators. They must be measurable and in the ag- gregate determine achievement of the specific competency. Performance criteria set the threshold for demonstrating competence.2 The expected performance level for each benchmark must be clearly defined to determine whether competence has been achieved. The educator must then de- termine the methods by which the competency might be attained, such as through didactic learning, small-group dis- cussions, or on-site experiences, or via information technol- ogy.14


세 번째 단계는 적합성 평가 방법을 결정합니다. 표준과 임계치를 비교하여 기준과 비교하는 기준 참조 측정이 선호되는 방법입니다 .2 구조 및 프로세스 기반 커리큘럼의 전형 인 규범 기반 평가는 학생의 성과와 동료 집단의 성과를 비교합니다. 그러나 이 평가는 학생이 할 수있는 일과 할 수없는 일에 대한 명확한 이해를 제공하지 못하며 벤치 마크 또는 성과 지표가있는 경우 어떤 기준이 충족되는지를 결정할 수 없습니다 .20 

마지막 단계로서, attainment 절차 및 평가 시스템의 유효성이 입증됩니다 .2
The third step determines how the attainment of com- petence will be assessed. Criterion-referenced measures that compare performance against a set standard or threshold are the preferred methods.2 The normative-based assessment, typical of the structure- and process-based curriculum, com- pares the student’s performance with that of a peer group. However, this assessment fails to provide a clear understand- ing of what a student can or cannot do, and cannot deter- mine which, if any, benchmarks or performance indicators have been met.20 As the final step, the competencies, at- tainment procedures, and assessment system are validated.2

1970 년대의 의학 교육 과정에는 일반적으로 정의 된 역량이 포함되었지만 역량을 설명하는 해당 목표 또는 벤치 마크는 부적절했습니다. 레지던트 프로그램은 기대되는 역량에 대한 명확한 정의없이 표면적 인 커리큘럼 가이드 라인을 전통적으로 포함했다. Dunn et al의 예측에도 불구하고, 역량 기반 교육의 시간은 지나간 것 같았다. "이 시대의 역량 운동은 점차 줄어 들었습니다 .18 원하는 역량과 커리큘럼 목표 사이의 직접적인 연관성 부족, 역량을 평가할 부적절한 평가 도구 등이 그 죽음에 기여했을지도 모른다
Although the medical education process during the 1970s included generally defined competencies, corresponding cur- ricular objectives or benchmarks to describe the competen- cies were inadequate. Residency programs classically con- tained superficial curriculum guidelines without clear definitions of expected competencies.24 Despite the predic- tion of Dunn et al. that competency-based education was an ‘‘idea whose time seems to have come,’’ the competency movement of this era dwindled.18 The lack of a direct link between the desired competencies and curricular objectives, as well as inadequate assessment tools to evaluate compe- tence, may have contributed to its demise.


최근 10년
THE LAST DECADE

약 10년 전 수련 후기 검토위원회 (RRC)의 가정 의학 교육의 필수 요건에 대한 개정과 동시에 가정 의학 교사회 (Society of Teachers of Family Medicine)는 새로운 교과 과정을 발표했으며, 여기에는 역량 중심의 커리큘럼을 개발하고 각 로테이션을위한 역량의 객관적인 척도를 제공한다는 비전 제시가 포함되어있다.
At the beginning of the decade, and coincidentally with revisions in the Essential Requirements for Residency Train- ing in Family Medicine by its residency review committee (RRC), the Society of Teachers of Family Medicine promul- gated a new curriculum, entitled ‘‘Essentials for Family Practice.’’25 It contained a visionary proposal to develop competency-based curricula and provide objective measure- ments of competence for each rotation.


Brown University School of Medicine은 최근 MD2000 프로젝트를 통해 역량 기반 교육에 패러다임 이동을 채택한 기관의 모델로 제공됩니다 .29 학부는 졸업반 이전에 모든 학생들이 달성해야하는 9 가지 능력을 정의하는 과정에 깊이 관여했습니다. 각 역량을 3 단계의 역량 (시작, 중급, 고급)으로 평가 된 관찰 가능한 행동으로 번역했습니다.
Brown University School of Medicine serves as a model of an institution that has recently adopted the paradigmshift to competency-based education through the MD2000 proj- ect.29 Faculty were intimately involved in the process of defining nine abilities all students must attain prior to grad- uation and translated each ability into observable behaviors rated at three levels of competence: beginning, intermediate, and advanced.

Baylor College of Dentistry는 MD2000 프로젝트와 유사한 커리큘럼 개혁 과정을 거쳤습니다. 저자는 학교의 전략 계획의 필수적인 부분으로 경쟁력 기반 커리큘럼을 개발하고 변경을 용이하게하기 위해 새로운 인증 요구 사항을 활용하는 것이 중요하다는 점을 지적했습니다.
The Baylor College of Dentistry undertook an extensive process of curriculum reform similar to the MD2000 project. The authors noted the importance of developing a compe- tency-based curriculum as an integral part of the school’s strategic plan, as well as capitalizing on new accreditation requirements to facilitate change.

규모가 더 작 으면 추가의 연구가 일부 의과 대학 로테이션 및 레지던트 프로그램에 대한 역량 기반 프로그램의 효과를 탐구했습니다.
On a smaller scale, additional studies have explored the effect of a competency-based program for selected medical school rotations and residency programs.

의학 전문 분야 중 일부는 역량 기반 모델로 커리큘럼을 완전히 재구성했습니다. Brown MD2000의 일환으로 교수진은 예방 의학에 커리큘럼 기반 커리큘럼을 개발했습니다 .37
Few specialties in medicine have undertaken total restruc- turing of their curricula into a competency-based model. As part of the Brown MD2000, the faculty developed a com- petency-based curriculum in preventive medicine.37



1990 년대를 통해 많은 문헌들이 역량 평가를 둘러싼 논쟁에 집중했다. 자격 미달을 정의할 수 있는 최소 한계점이 존재합니까? Chambers와 Glassman은 초보자부터 시작하여 5 단계를 제안했습니다. 유능하고 능숙한 초급자를 통해 진보. 초심자들에게 초점은 시험이 평가할 수있는 고립 된 사실에 관한 것이다. 초보자에게는 세미나, 실험실 및 숙제를 통해 습득 한 정보의 통합 및 통합이 시뮬레이션을 통해 평가됩니다. 유능한 개인은 독립적 인 학습자로서의 기능을 수행하며 실제 작업 환경에서 실행합니다. 평가는 실제적이고 감독자, 예외 제품 및 테스트 케이스의 등급이 포함 된 포트폴리오를 포함합니다. 직업적 정체성과 규범은 사회화와 전문 교육에 의해 성취되고 업무 관련 마커에 의해 평가되는 숙련도를 특징 짓는다. 전문가는 최고 수준의 보상을받으며 환자 중심의 내면화 된 초점을 가지며 자기 방향을 통해 학습하고 자체 평가 및 내부 평가 표준에 의존합니다.
Through the 1990s much of the literature focused on the debate surrounding the evaluation of competence. Does a minimum threshold exist that defines one as competent ver- sus incompetent? Chambers and Glassman suggested five stages, beginning with novice; progressing through beginner, competent, and proficient; and culminating in expert.41 
  • For the novice, the focus concerns isolated facts that tests can evaluate. 
  • For the beginner, synthesis and integration of in- formation learned in seminars, in labs, and through super- vised work are evaluated via simulations. 
  • The competent individual functions as an independent learner and practices in a realistic work setting. Evaluation is authentic and com- prises portfolios that contain ratings of supervisors, exem- plary products, and test cases. 
  • Professional identity and norms characterize proficiency, which is achieved by social- ization and specialized training and evaluated by work-related markers. 
  • The expert—at the highest level of compe- tence—has an internalized, patient-centered focus, learns through self-direction, and relies on self-assessment and in- ternalized standards of evaluation.


간호학 문헌은 노련한 간호사 평가에서 실제적인 관찰의 필요성을 언급하면서 현재 방법이 일반적으로 초보자에게 맞춰져 있음을 지적했다 .26 감독자가 간호 기술을 적절하게 평가하고 치료가 필요한 영역을 확인하는 데 필요한 역량이 필요하다 역량 기반 교육은 학습자가 자기주도적이고, 학습 과정에서 책임을 지고자 하는 성인 학습자에게 선호된다 .44,45
The nursing literature also addressed the need for real- world observation in the evaluation of seasoned nurses, pointing out that current methods are typically geared to beginners.26 Defined competencies are needed for supervisors to assess staff nursing skills adequately and identify areas re- quiring remediation.42,43 Competency-based instruction is preferred for adult learners, who tend to be self-directed and willing to assume responsibility in the learning process.44,45


국제적 노력
INTERNATIONAL EFFORTS


역량 운동은 또한 국제 무대에서 일부 주목을 받았다. 예를 들어, 
  • 캐나다에서의 의학 교육에 대한 진화하는 교과 과정 개혁의 10 년은 역량 기반 교육의 경우 학부 프로그램에서 인증 유지까지의 전례를 설정했습니다. 50,51 
  • Royal College of Physicians and Surgeons 대학원 의학 교육에 뿐만 아니라 인증 프로그램의 유지 관리에도 역량에 중점을 둡니다 .52 
  • 외국의 의학 졸업생을위한 교육위원회는 교육을 찾고자하는 국제 의학 생에 대해 임상 기술 평가를 요구합니다 표준화 된 환자의 사용을 통한 역량 평가에 최근 초점을 맞춘 미국도 마찬가지이다.
The competency movement has also received some atten- tion in the international arena. For example, 
  • a decade of evolving curricular reform of medical education in Canada has set the precedent for competency-based education from undergraduate programs through the maintenance of certi- fication.50,51 
  • The Web site of the Royal College of Physicians and Surgeons not only focuses on competency-based gradu- ate medical education but places a major emphasis on com- petence in practice through the maintenance of certification programs.52 
  • The Educational Commission for Foreign Med- ical Graduates requires the Clinical Skills Assessment for international medical students seeking training in the United States, which likewise demonstrates the recent focus on evaluation of competence through the use of standardized patients.53

여러 다른 국가에서는 의대생, 54-57 레지던트, 58,59 및 실무 의사에게 역량 기반 훈련 및 평가를 통합하는 데 다양한 노력을보고했다. 호주의 간호 전문직은 역량 기반 학습을 1982 년에 시작했다. 불행히도 이러한 보고서는 표준화 된 용어가 부족하여 방해를 받았다. 이러한 '각 역량'의 평가와 향상이 각 간행물의 목표로 언급되었지만 진정한 역량 기반 학습 목표가 제정 된 범위는 매우 다양합니다.
Several other countries have reported various efforts at incorporating competency-based training and evaluation for medical students,54–57 residents,58,59 and practicing physi- cians.7,60,61 The nursing profession in Australia undertook a review of the literature on competency-based learning as early as 1982.62 Unfortunately, these reports were hampered by a lack of standardized terminology. While assessing and enhancing ‘‘competence’’ is mentioned as the goal in each of these publications, wide variation exists in the extents to which true competency-based learning objectives were in- stituted.


새로운 천년
THE NEW MILLENNIUM

지난 30 년 동안의 문헌 검토는 역량 기반 커리큘럼 및 성과 평가에 대한 defined movement를 반영합니다. 의료 전문가들 사이의 문서화 된 능력에 대한 사회적 세력에도 불구하고, 광범위한 보급은 아직 현실이 아닙니다. 또한, 우리의 검토는 역량 기반 교육의 결과를 평가하는 약간의 과학적 증거를 보여주었습니다. 현재 존재하는 증거는 현재의 구조 및 프로세스 기반 모델에 대한 역량 기반 교육에 분명히 유리합니다. 그럼에도 불구하고 이용 가능한 증거로부터 몇 가지 교훈을 얻을 수 있습니다. 
  • 특히 중요한 것은 전문적인 실무에 필요한 역량을 확인하고 정의하는 전략적 계획 단계입니다. 
  • 각 역량마다 기대성과를 설명하는 일련의 벤치 마크 또는 성과 지표가 요약되어야합니다 .65 
  • 각 역량을 뒷받침하는 지식, 기술 및 태도는 명확하고, 측정가능해야하며, 그것을 합하면 역량의 달성을 반영해야 한다. 
  • 역량 달성의 기준은 미리 결정되어야합니다. 
  • 결과를 효과적으로 평가하기 위해서는 평가 도구와 역량이 구체적으로 일치시켜야합니다. 
  • 평가는 실제 관찰을 반영하고 평가 도구의 포트폴리오 ''로 구성되어야합니다. 
  • 공감대 형성과 강력한 행정 지원을 통한 교수와 학습자의 buy-in는 모든 단계에서 중요합니다. 
  • 성공적인 실행을 달성하기위한 마지막 단계는 이 과정에 긴밀히 연루된 사람들이 우리 연수생을 가르치는 임상의 편집자를 위한 교수 개발 프로그램 작성에 대한 책임을 지도록 보장하는 것입니다.

Review of the literature over the last three decades reflects a defined movement toward competency-based curricula and outcomes evaluation. Despite societal forces for documented competence among medical professionals, widespread adop- tion is not yet a reality. In addition, our review revealed little scientific evidence evaluating the outcomes of competency- based education. What evidence does exist clearly favors competency-based education over the current structure- and process-based model. Nonetheless, several lessons may be learned from the available evidence. 
  • Of critical importance is the strategic planning phase of identifying and defining competencies needed for professional practice. 
  • A series of benchmarks or performance indicators describing the out- come expectancy of each competency must be outlined.66 
  • The knowledge, skills, and attitudes underpinning each com- petency need to be clearly written, measurable, and in sum- mation reflect the achievement of that competency. 
  • The threshold for achieving competence must be predetermined. 
  • Assessment tools must be specifically matched to the com- petency to effectively evaluate outcomes. 
  • Evaluation should reflect real-world observation and consist of a ‘‘portfolio’’ of assessment tools. 
  • Faculty and learner buy-in with consensus building and coupling with strong administrative support are crucial every step of the way. 
  • The final step in achieving successful implementation is to ensure that those intimately involved with this process assume responsibility for the cre- ation of faculty development programs for the clinician ed- ucators who teach our trainees.

CHALLENGES

Federalated Internal Medicine Council of Residency Editing의 결론에서 확인 된 어려움은 의과대학생 및 레지던트 교육 과정 조정, 교수진 개발 프로그램 확대, 더 나은 평가 시스템 구축 및 개발 자원 확보, 학습자 중심의 레지던트 프로그램 등의 과제를 포함합니다

The challenges identified in the conclusion of The Federated Council of Internal Medicine’s Resource Guide for Residency Ed- ucation include coordinating medical student and residency curricula, expanding programs for faculty development, cre- ating better systems of evaluation, and garnering the re- sources to develop learner-centered residency programs.67

PRESCRIPTION FOR THE FUTURE HEALTH AND WELL-BEING OF MEDICAL EDUCATION






 2002 May;77(5):361-7.

Shifting paradigms: from Flexner to competencies.

Author information

1
Department of Pediatrics, University of Maryland, Baltimore, 21201, USA. ccarraccio@peds.umaryland.edu

Abstract

Realizing medical education is on the brink of a major paradigm shift from structure- and process-based to competency-based education and measurement of outcomes, the authors reviewed the existing medical literature to provide practical insight into how to accomplish full implementation and evaluation of this new paradigm. They searched Medline and the Educational Resource Information Clearinghouse from the 1960s until the present, reviewed the titles and abstracts of the 469 articles the search produced, and chose 68 relevant articles for full review. The authors found that in the 1970s and 1980s much attention was given to the need for and the development of professional competencies for many medical disciplines. Little attention, however, was devoted to defining the benchmarks of specific competencies, how to attain them, or the evaluation of competence. Lack of evaluation strategies was likely one of the forces responsible for the three-decade lag between initiation of the movement and wide-spread adoption. Lessons learned from past experiences include the importance of strategic planning and faculty and learner buy-in for defining competencies. In addition, the benchmarks for defining competency and the thresholds for attaining competence must be clearly delineated. The development of appropriate assessment tools to measure competence remains the challenge of this decade, and educators must be responsible for studying the impact of this paradigm shift to determine whether its ultimate effect is the production of more competent physicians.

PMID:
 
12010689



영속성을 위해 만들기: 교육프로그램의 장기적 지속가능성 (Med Teach 2006)

‘Built to last?’: the long-term sustainability of educational programmes

TREVOR GIBBS

Bute Medical School, St Andrews, Scotland





의학 교육은 현재 뜨거운 주제입니다. 점점 더 많은 사람들이 새로운 교육 및 평가 방법 개발 및 연구 수행에 참여하기를 원합니다. (Schuwirth & van der Vleuten, 2006)

Medical education is currently a hot topic. More and more people want to be involved in developing new educational and assessment methods and in conducting research. (Schuwirth & van der Vleuten, 2006)



그러나 그들이 덜 중요하게 생각하는 것은 프로그램이 교육 패러다임을 유지할 수있는 능력, 즉 장기적인 효과와 지속 가능성을 보여주는 능력입니다.

What they give less importance to, however, is the ability of programmes to maintain their educational paradigm; to demonstrate long-term effectiveness and sustainability.


그러나 이러한 새 프로그램을 설계, 개발 및 평가 한 AMEE 참가자 모두가 프로그램을 다시 발표 할 수있는 시간으로 5 년을 되돌려 줄 것을 요청하면 동일한 프로그램을 몇 명이나 발표 할 수 있는지, 그들의 프로그램은 여전히 ​​효과적이고 효과적 이었습니까? 아니면 그들의 프로그램이 장기적인 변화를 가져 왔습니까?

However, if all of the participants in AMEE who had designed, developed and evaluated these new programmes were asked to return in five years time to re-present their programmes, how many would be able to present either the same programme, or could demonstrate that their programme was still operative and effective or that their programme had led to long-term change?



 그들은 인력 충원 변화를 암시합니다. 사용 된 원래 36 개 에이전시 중 5 개 업체 만 동일한 담당자를 보유하고있었습니다. 서비스 부하 증가 및 사용 가능한 리소스 감소를 통한 서비스 약속 증가는 모두 해당 프로그램의 장기적인 지속 가능성을 부정적으로 위협했습니다. 그들의 작업은 Taylor et al.의 이전 문헌을 뒷받침하는 어떤 방향으로 간다. (2001)와 Swerissen & Crisp (2004)는 장기적인 지속 가능성이 재정적 생존력, 의료 요원의 유지 및 예상 결과의 현실과 적합성에 근거한다고 제안했다.

 They allude to staffing changes; only five of the original 36 agencies used had the same contact person.Increased service commitments through increased service loads and decreasing available resources all negatively threatened the long-term sustainability of their programme. Their work goes some way to support the previous literature of Taylor et al. (2001) and Swerissen &Crisp (2004) who also suggest that long-term sustainability is based on financial viability, retention of healthcare personnel and the reality and appropriateness of the expected outcomes. 

 

 


 

O'Keefe & White (2006)는 5 년 전에 발표 한 공동체 아동 보건 프로그램을 되돌아보고,
O’Keefe & White (2006) have looked back over a community child health programme they introduced five years ago,


부과 된 사회적, 문화적, 종교적 상호 작용과 역할 정의의 불확실성이 전체 론적 건강 관리의 명확한 그림을 제공하지 못하는 변화하는 건강 관리 요구의 역동적 인 환경에서 지속 가능성을 유지할 수 있습니까?

Can sustainability be maintained in a dynamic environment of changing healthcare needs, where imposed societal, cultural and religious inter- action, and an uncertainty of role definition fail to provide a clear picture of holistic healthcare?



오키프 앤 화이트 (O'Keefe & White (2006))가 지적한 바와 같이, 건전한 이론과 실천에 기반하여 교육 프로그램이 개발되었더라도, 교육 프로그램은 지속된 효과만큼만 우수합니다. 우리는 안정성stability에 의존하지 않으며, 변화에 적응함으로써 지속 가능한 프로그램을 설계 할 필요가 있습니다.

As O’Keefe & White (2006) demonstrate, despite the development of educational programmes based on sound theory and practice, the programme is only as good as its sustained effectiveness. We need to design programmes that are not dependent on stability, but are sustainable by adapting to change. 





 2006 Dec;28(8):673-4.

'Built to last?': the long-term sustainability of educational programmes.

Author information

  • 1Bute Medical School, St Andrews, Fife KY16 9TS, Scotland. tjgl@st-andrews.ac.uk
PMID:
 
17594575
 
DOI:
 
10.1080/01421590601181471
[PubMed - indexed for MEDLINE]


역량바탕교육(CBME, CBE): 프로그램 설계와 시행의 과제(Med Educ, 2016)

Competency-based education: programme design and challenges to implementation

Larry D Gruppen,1 John C Burkhardt,1,2 James T Fitzgerald,1,3 Martha Funnell,1 Hilary M Haftel,1,4

Monica L Lypson,1,5 Patricia B Mullan,1 Sally A Santen,1,2 Kent J Sheets,1,6 Caren M Stalburg1,7 &

John A Vasquez







INTRODUCTION


보건전문직 교육이 CBE / CBME 로 옮겨가고 있다. GME는 CBME 도입의 주요 동력이며, CBME는 학생과 practising professionals 까지 퍼져나가고 있다. 고등교육에서도 CB(M)E를 하고 있지만 보건전문직과는 목표가 다르다. HPE가 졸업생의 역량을 ensuring하는데 목적이 있다면, 고등교육은 학습성과의 달성 외에도 accessibility, affordability and transparency에 목적이 있다.

There has been a recent shift to competency-based education (CBE) for health professionals. Grad- uate medical education was a major driver in adopt- ing CBE,2–4 and CBE is rapidly expanding to practising professionals as well as to undergraduate health profession students. Higher education is also exploring CBE8 but with different goals from those in the health professions. Whereas health professions education has focused on ensuring competence in its graduates, higher education has examined CBE to promote accessibil- ity, affordability and transparency, in addition to improved learning outcomes.9


학습자 성과를 평가하고 대중의 신뢰와 진료전문성 얻기 위해서 혁신의 기회는 HPE교육자들로 하여금 CBME교육과정을 만들게 하였다.

The opportunity for innovation has encouraged health professions educators to develop compe- tency-based curricula in order to both assess learner outcomes and ensure public trust and practice proficiency.1,10


Frank 등은 네 개의 특징을 언급했다. 

Frank et al.11 identified four features that distin- guish CBE from more traditional approaches. These are:

  • (i) 성과를 강조 a focus on outcomes,

  • (ii) 능력을 강조 an emphasis on abilities,

  • (iii) 시간-기반 훈련에에 대한 강조 감소 a reduced emphasis on time-based training, and

  • (iv) 학습자-중심 강조 the promotion of learner centred- ness.

 

이 네 가지 각각이 CBME 설계와 도입에 과제가 된다.

Each poses challenges and implications for designing and implementing CBE,


 

성과를 강조

FOCUS ON OUTCOMES


 

 

전통적인 교육은 교육 성과를 검증하지 못하고 너무 자주 빈번하게 specific intended outcome를 명백히하지 못하는 것에 대한 비판을 받아왔다 .10) 많은 전통적인 프로그램은 "교수진이 중요하다고 정의한 내용"을 폭넓게 다루도록 고안되었지만 다른 outcome를 무시했다.

Traditional education has been criticised for failing to verify educational outcomes and, too frequently, failing even to make the specific intended outcomes explicit.1,10 Many traditional programmes were designed to provide a broad coverage of the content that faculty experts define as important, but neglected other outcomes.



대조적으로, CBE는 학습 내용이 cover되었다는 것 만으로 학습이 이루어진 것으로 가정하기보다는, 학습 성과를 측정하는 데 초점을 맞춘다. (그림 1) CBE는 이해 관계자의 요구를 반영하는 역량을 정의한 다음, 해당 역량을 사용하여 커리큘럼과 평가를 guide합니다. 따라서 CBE 커리큘럼은 발달과 학습의 근거를 support하며, 그 support에 도움이 되지 않는 것은 불필요하다 .11,16,17

By contrast, CBE focuses on measuring the out- comes of learning12–15 rather than merely assuming that learning has taken place because content was ‘covered’. (Fig. 1), CBE defines competencies that reflect stakeholder needs and then uses those competencies to guide the curriculum and assessment. Thus, CBE curric- ula, support the devel- opment and evidence of learning, and anything that does not add to that support is dispensable.11,16,17


CBME는 성과에 중점을두고 있기 때문에 이러한 결과를 평가하는 데 더 많은 관심와 투자가 필요합니다. CBME는 시간이 역량의 '대리자'로 충분하다고 가정하지 않기 때문에 평가에 더 중대한 의미를 갖는다.

Because of this emphasis on outcomes, CBE requires greater attention to and investment in assessing those outcomes. CBE has a greater empha- sis on assessment because it does not assume that time is sufficient as a surrogate for competence.

 


 


기술과 능력의 강조

EMPHASIS ON SKILLS AND ABILITIES


 

CBME는 단순한 지식 그 이상에 초점을 맞추며, 경쟁력이란 '특정 맥락에서 여러 영역에 걸친 능력의 array 또는 의사가 수행해야 하는 측면들'라고 정의합니다. 역량을 기술하기 위해서는 relevant abilities, context, and stage of training등을 정의하기 위한 descriptive qualifier가 필요하다. 역량은 다차원적이고 역동적입니다. 그것은 시간, 경험, 세팅에 따라 변합니다 . 기술과 능력에 초점을 맞추는 것이 CBE만 그런 것은 아니다. 많은 세련된 전통적인 커리큘럼도 점을 강조하는 점은 공통이지만, CBME를 정의하는 특징 중 하나입니다.

 

CBE focuses on more than just knowledge and defines compe- tence as ‘the array of abilities across multiple domains or aspects of physician performance in a certain context. Statements about competence require descriptive qualifiers to define the relevant abilities, context, and stage of training. Competence is multi-dimensional and dynamic. It changes with time, experience, and setting’.11 The focus on skills and abilities is not unique to CBE. Many sophisti- cated traditional curricula share this emphasis, but it is a defining feature of CBE.


시간-기반 훈련 최소화

REDUCED EMPHASIS ON TIME-BASED TRAINING


CBE와 전통적인 교육적 관점을 명확하게 구별하는 한 가지 측면은 시간의 역할입니다. 시간 기반 교육에서 시간이 고정되어 있고 결과 (졸업 능력)가 가변적 인 반면 CBE에서는 산출물이 고정되어 있고 시간이 가변적이라는 것입니다. 

One dimension that clearly distinguishes CBE from traditional educational perspectives is the role of time. A common aphorism is that in time-based education, time is fixed and outcomes (graduating competence) are variable, whereas in CBE, out- comes are fixed and time is variable.


프로그램을 끝내려면 최소 수의 과목 또는 학점이 필요하며 이는 프로그램 전체의 최소 시간으로 해석됩니다. CBME에서는 학기 나 과목에 제약받지 않고 능력을 획득하고 demonstrated 할 수 있습니다. 프로그램 참여과정에서 역량의 습득은 학습자의 사전 역량 수준, 이전의 전문 활동, 동기 부여 및 학습 기회에 따라 신속하거나 느리게 발생할 수 있습니다. 따라서 CBE는 프로그램 완료에 필요한 시간에 대해서 훨씬 더 유연한 관점을 가지고 있으며, 학습자의 고유한 requirement에 따라 프로그램 기간 및 활동이 달라진다.
A minimum number of courses or credits is required to finish the programme, which translates into a minimum amount of time for the programme as a whole. In CBE, competence can be attained and demonstrated without being con- strained by semesters or courses. Competence that is acquired through participation in the programme may take place quickly or more slowly, depending on the learner’s prior competence level, prior pro- fessional activities, motivation and learning opportu- nities. Thus, CBE takes a much more flexible view of the time needed for programme completion, adapting the programme duration and activities to a learner’s unique requirements.



학습자 중심

PROMOTION OF LEARNER CENTREDNESS


 

역량 기반 교육은 학습자의 사전 학습, 현재 진행 상황, 학습 기회 및 평가 피드백을 포함하는 개별 학습 계획에 중점을 둡니다. 학습자 중심으로의 전환은 '가르침'이 아니라 '학습'에 초점을 맞추는 것으로 보완됩니다. 교수진의 역할은 전문 지식의 원천에서 촉진자 및 학습 코치로 변화합니다

Competency-based education focuses on individu- alised learning plans that encompass the learner’s prior learning, current progress, learning opportuni- ties and assessment feedback. The shift to learner centredness is comple- mented by a shift from focus on ‘teaching’ to a focus on ‘learning’. The role of the faculty member changes from being a source of expert knowledge to being a facilitator and learning coach.



이러한 변화는 learner practice지식을 더 lasting and meaningful하게 통합할 수 있게 촉진하려는 원칙에 따른 것이다. 학습자 중심성은 시간과 공간 모두에서 융통성이 필요하며, 시간과 장소에 제약을 받는 topic-focused course에 의해 방해받는다. 이 접근법의 이점은 학습자가 자신의 속도와 일정으로 다양한 활동을 통해 학습 할 수 있다는 것입니다.

This shift is in keeping with the principle of promoting more lasting and meaningful incorpora- tion of knowledge into learner practice.20 Learner centredness requires flexibility in both time and space and may be hindered by topic-focused courses held at a set time and place. The benefit of this approach is that learners can learn through a wide range of activi- ties at their own speed and schedule.21


학습자 중심성의 또 다른 구성 요소는 피드백의 중요성이다 .22-24 CBME에서는 형성적인 피드백을 위하여 학습자의 목표와 필요 따른 평가를보다 빈번하게 시행해야 한다.

Another component of learner centredness is the importance of feedback.22–24 This formative feedback demands more frequent, if lower stakes, assessments in CBE that are aligned with the lear- ner’s goals and needs.




ENTRUSTABLE PROFESSIONAL ACTIVITIES


CBME의 맥락에서 EPA가 개발되었으며, 여러 CBME프로그램의 공통요소가 되었다. EPA는 지식과 술기를 요구하는 professional work이며, 사회가 qualified personnel을 신뢰할 수 있도록 recognizable output을 낼 수 있어야 한다. EPA는 '역량의 집합'을 반영하며, 주어진 영역에서 canonical mapping 된다.

Although not a defining attribute of CBE, entrusta- ble professional activities (EPAs) have been devel- oped in the context of CBE and have become a common component of many CBE programmes. Originally developed by Olle ten Cate,25 an EPA is a part of professional work that requires knowledge and skills and leads to recognisable outputs, which are entrusted by society to qualified personnel. Any given EPA reflects a set of competencies and, in aggregate, they are proposed as a canonical map- ping of a given domain.5–7



CBME를 현실로

PUTTING CBE INTO PRACTICE


 

여러가지 과제가 있다. CBME도입을 위한 대부분의 노력은 '역량을 정의'하는 것에 집중되는데, 이는 고작 '기존의 목적과 목표를 '역량'에 맞게 재기술recast하는 수준에서 이뤄진다. 이는 특히 ACGME의 여섯 역량이나 CanMEDS의 일곱 역할을 기반으로 한 역량 프레임워크를 도입한 학부교육과정에서 그러하다.

 the implementation that various challenges emerge. Most efforts to implement CBE have focused on defining competencies and often pro- ceed only as far as recasting previous curriculum goals and objectives in the new language of compe-tencies. This is particularly true for many under- graduate curricula that adopt a competency framework based on the ACGME six-competency model or the CANMED seven roles.


CBME의 핵심 원칙 중 가장 도입이 안 되고 있는 것은 시간에 관한 것인데, 교육프로그램에 따라 variable duration의 형태여야 한다는 것이다. 극히 일부를 제외하면, CBME를 도입했다고 하는 프로그램은 그 기간이 여전히 time-based definition을 가지고 있으며, 이들 프로그램에서 역량과 평가는 quality assurance의 목적이지, 프로그램에 걸친 progression의 guide목적이 아니다.

The key principle of competency-based medical edu- cation (CBME) that has been the slowest to be adopted is that of time in the form of variable dura- tion of educational programmes. With very few exceptions,28 the programmes that have adopted CBME still maintain a time-based definition of the programme length. In these programmes, compe- tencies and their assessment are more often quality assurance concerns (verifying that graduates are competent) than they are guides to progression through the programme.


 


 

도입의 과제: 사례 묘사

CHALLENGES IN IMPLEMENTING CBE: AN ILLUSTRATIVE CASE STUDY


As a case study of the expected and unexpected challenges and lessons in implementing CBE, we examine the University of Michigan Master of Health Professions Education (UM-MHPE) pro- gramme.29 However, a detailed examination of the programme descriptions con- tained in the Foundation for Advancement of Inter- national Medical Education and Research (FAIMER) list of Masters degree programmes around the world33 suggests that the UM-MHPE programme is unique in applying CBE to health professions education.


The UM-MHPE breaks with traditional time-based pro- grammes, focusing instead on ensuring competence in its graduates. Although competence as a goal does not distinguish CBE from traditional educational frameworks, key differences between CBE and traditional educational frameworks lie in the structure and process of education.


 

일반 특징

Briefly, the key features of the UM-MHPE are as fol- lows.

  • 역량 The degree is centred around demonstrating competence in 12 educational competencies (e.g. understand and apply principles of assessment, develop a programme of educational scholarship, and understand the background of medical educa- tion so as to provide a context for current educa- tional issues and problems [see the UM-MHPE web page29 for a full description]).

  • EPA Evidence of compe- tence is provided by completion of entrustable pro- fessional activities (EPAs)5–7 in education that are mapped to identified educational competencies. Our programme identifies 20 EPAs (e.g. select a learning outcome and design, select and develop an appropriate assessment method; design and imple- ment a research study; design and implement a cur- ricular intervention) that map onto the 12 competencies (Fig. 2).

  • 멘토 Learners work closely with programme mentors to create an individualised learning plan that selects and sequences these EPAs. EPAs are designed to be completed in conjunction with the educational responsibilities and activities of the learners in their professional roles as health pro- fessions educators. This embeds learning in an applied context and highlights existing opportuni- ties for these educational activities. The EPAs pro- vide both evidence for assessing competence and the vehicle for learning.

  • 과목이 없음 The UM-MHPE has no courses; all learning is done in the context of EPAs and utilises any viable instructional resource or format.


시간에 관련된 특징. EPA근거를 제출해서 인정받으면 추가적인 평가를 받을 필요가 없다.

In keeping with the CBE principle of disregarding ‘time in training’ as a key component of a pro- gramme, the UM-MHPE can be completed within variable time intervals, depending on learner initia- tive, prior competence and rate of demonstrated acquisition of competence. Learners who can demonstrate competence that is derived from prior experience and learning can receive credit for it once they submit the required EPA evidence; they do not need to spend time in areas in which they are already assessed to be competent. Conversely, learners cannot graduate until they demonstrate the requisite level of performance in all competencies, regardless of how long that requires them to stay in the programme.


 

평가에 관련된 특징. 평가에 투자를 많이 하였음.

The focus on competence rather than time taken for progression through the programme highlights the importance of rigorous and trustworthy assess- ment of competence.34 The UM-MHPE invests heav- ily in a competency assessment process in which learner-generated evidence of performance is evalu- ated by a designated assessment committee of pro- gramme faculty members. The assessment process explicitly recuses (배제하다) any faculty member who worked with a given learner on the EPA being assessed. This is intended as a means of minimising bias as a result of the relationship between the learner and teacher35–39 and promotes a more objective, unbi- ased judgement of the evidence provided. In addi- tion to the summative judgements of competence in a given EPA, the assessment committee also pro- vides formative feedback on how the EPA can be improved and where performance does not meet the standards.



교수의 역할

Rather than teach courses, faculty members serve as subject-matter experts for each EPA in order to guide learners towards specific resources to address identified gaps. They also advise on the selection and presentation of evidence within the EPA sub- mission to the assessment committee. Finally, pro- gramme faculty members also serve as mentors and as members of the assessment committees.


'과목'은 역량과 EPA로 대체될 수 있다.

COMPETENCIES AND EPAS CAN REPLACE COURSES


학생의 적응

Abandoning traditional courses in favour of EPAs as a curricular structure was one of the more radi- cal innovations in the UM-MHPE, so there was con- cern about how well this would be accepted by students and function as a vehicle for learning. Although there were a few puzzled inquiries about a course list, learners have quickly understood the nature and value of the EPAs as reflections of the work of a health professions educator and as opportunities to learn by doing. The fact that most learners make use of EPAs that build on their existing responsibilities is seen as an added advan- tage that makes learning relevant. Although learn- ers were open to the EPA framework, building the case within universities and higher education that competencies and EPAs could rigorously replace traditional courses required considerable time and effort.



EPA의 두 가지 용도: 학습과 평가

The use of EPAs for both learning and for assess- ment has worked well, providing authentic evi- dence of performance and relevant learning opportunities. This dual use of the EPAs has made providing feedback more complex, however. When an EPA is submitted to the assessment committee, learners frequently have to revise their EPAs to respond to assessment committee feedback and resubmit them before the evidence is considered of sufficient quality to be judged competent. Most often, a single revision is adequate but there have been instances of multiple resubmissions before the evidence is judged to meet the standards. These resubmissions provide opportunities for fur- ther and deeper learning in the context of the EPA, but learners seem to be more familiar with assessment as an evaluation process rather than as a guide to learning. The individualised nature of the EPAs, each of which reflects the particular opportunities and unique context of the individual learner, and the individualised scheduling of EPAs has required considerable flexibility on the part of the assessment committee.



Time-bound world에서 Timeless되기

BEING TIMELESS IN A TIME-BOUND WORLD


기대했던 것보다 상당한 도전과제가 있었다.

The contrast between CBE and traditional, time- based education has been one of the greatest com- plexities of the UM-MHPE. Although we anticipated that the decision to not base progress on time would be challenging, the extent of the challenges has been somewhat surprising.

 

학습자는 빠르게 적응하였다.

The learners have adapted to the framework quite readily and relish(즐기다) the idea of being able to finish the programme more or less quickly.

 

학생 간 학습속도의 차이

We have found considerable variation among learners in the rate at which they achieve and provide evidence of competence.

  • Some enter the programme with considerable levels of competence and only need to demonstrate these to the assessment commit- tee.

  • Others have little experience and require more time and work to acquire the necessary knowledge, skills and values to then establish their competence.

학생 간 학습강도의 차이

There is also considerable variation in how intensively learners can work on the programme; a few have some protected time for the programme but many are very much part-time learners.


 

행정구조상의 과제. 등록/등록금계산/재정지원/과목설명시스템 등등.

A competency-based programme is a challenge to traditional university administrative structures that are designed around credit hours and semester-long courses. The UM-MHPE does not fit well into the University of Michigan’s registration, tuition compu- tation, financial aid or course transcript systems, so we have adapted and ‘translated’ our CBE structures into elements that the university can accommodate. This translation is not always ideal and has created additional administrative overheads that would not be necessary in a system designed with CBE in mind.


정부 재정지원 관련 

Specifically related to accepting financial aid (e.g. student loans, etc.), the UM-MHPE is classified as a ‘direct-assessment’ programme, which requires review and approval by the United States Depart- ment of Education in order for financial aid to be awarded to learners. The Department of Education determines whether the programme meets the mini- mum requirements for an academic year and is the basis for payment periods and award calculations.40




개별화의 댓가는 비싸다

INDIVIDUALISATION WORKS BUT IS NOT CHEAP


UM-MHPE는 학습 계획, EPA 구현, 순서 및 일정, 그리고 학습 맥락에서 매우 높은 수준의 개별성을 가지고 있습니다. 학습자는 이러한 개인 성을 높이 평가하며 프로그램은 이러한 개별화를 효과적으로 지원합니다. 그러나 이런 것을 우선적으로 하기 위해 들어가는 실제 비용이 있습니다.

The UM-MHPE has a very high level of individuali- sation in its learning plan, EPA implementation, sequencing and schedule, and its professional con- text for learning. Learners value this individualisa- tion highly and the programme has operated effectively to support this individualisation. There are, however, real costs that stem from this priority.


 

전통적인 코스 기반 프로그램은 특정 시간에 학습자에 대한 그룹 수업 및 상당히 균일 한 경험을 강조하는 경향이있어 학습자가 프로그램과 교수의 일정을 수용하도록 요구합니다. 전통적인 교육에서 한 명의 교수진이 여러 명의 학습자를 가르 칠 수있는 "규모의 경제"를 제공합니다. 개별 교육은 종종 규모의 경제를 상당히 줄입니다.

Traditional, course-based programmes tend to emphasise group instruction and fairly uniform experiences for learners at specific times, requiring learners to accommodate the schedule of the pro- gramme and faculty. This provides economies of scale that enable one faculty member to teach mul- tiple learners. Individualised education reduces the economies of scale, sometimes significantly.


 

UM-MHPE 프로그램의 개별화는 학습자가 각각 다른 주제 전문가 (SME)와 상호 작용하고, 다른 EPA에서 작업하며, 다양한 순서와 활동 일정을 조정하고, 다른 목표를 추구합니다. 전통적 프로그램에서도 학습의 학생마다 다양한 양상을 보이지만, 코스 제목, 강의 계획서, 목표, 평가 방법 및 프로그램 일정 등 "겉으로 드러나는 일관성"으로 위장하고 있다. 개별화는 교수자가 학습 프로그램을 공동으로 설계하고, 학습자에게 자원에 대해 조언하고, 학습자의 질문, 발견 및 평가와 상호 작용하는 데 더 많은 관심을 기울여야 할 것을 요구합니다.
Individualisation also highlights the fact that learn- ers in the UM-MHPE programme each have very different experiences as they interact with differ- ent subject-matter experts (SMEs), work on differ- ent EPAs, arrange different sequences and schedules of activities, and pursue different goals.

Such individual variability in learning is also true in traditional programmes as students bring differ- ent backgrounds, interests and experiences to the same course and draw their own conclusions, work on their own projects and write their own papers. However, this diversity is often camouflaged in tra- ditional programmes by the apparent uniformity of course titles, syllabi, objectives, assessment methods and programme schedules. Individualisa- tion requires faculty members to give considerably more attention to

  • collaboratively designing a learning programme,

  • advising the learner on resources, and

  • interacting with learners’ questions, discoveries and assessments.



의도적인 커뮤니티 빌딩이 필요하다

COMMUNITY BUILDING MUST BE INTENTIONAL


학습자공동체를 만들어주는 것이 과제이다. 학생들이 동일한 물리적 위치에 있지 않기에 고립된 상태에 놓일 위험이 있다.

The individualised character of the UM-MHPE is a key feature but it carries with it new challenges in building a community of learners. When learners are pursuing their own learning programmes, activities and mentored instruction instead of common course- work, they are seldom in the same physical location. The typical casual interactions that occur naturally in face-to-face settings are often missing and the learn- ers are at greater risk of being isolated.


학습자 상호작용에 의한 교육적 장점이 명시적으로 장려될 필요가 있다

Community building is also challenged by the asyn- chronous and dispersed nature of the learner cohort. It has become clear that the educational benefits of learner interactions need to be explicitly fostered and promoted. The learners have taken the lead on this in several ways and the programme con- tinues to evolve to promote a community of learn- ers, alumni and faculty members.



결론

CONCLUSIONS


Competency-based education is a broad framework for education that has utility for many fields. The UM-MHPE reflects the trend towards CBE in the health professions as well as in higher education more generally. We believe the UM-MHPE represents a bold new direction for the education of health professional educators. It is appealing to learners, exciting for faculty members, but often challenging for administrators. It demonstrates that CBE ‘works’ in this setting and fits the needs and goals of learners. The programme’s CBE format allows learners to fully integrate their learning into their own interests and career goals. It assesses competence in authentic, workplace-based activities and certifies that graduates have demonstrated competence.


5 ten Cate O, Billett S. Competency-based medical education: origins, perspectives and potentialities. Med (3):325–32. Educ 2014;


8 Johnstone SM, Soares L. Principles for developing competency-based education programs. Chang Mag (November):12–9. High Learn 2014;


11 Frank JR, Snell LS, ten Cate O et al. Competency- based medical education: theory to practice. Med (8):638–45. Teach 2010;


37 Kogan JR, Conforti LN, Iobst WF, Holmboe ES. Reconceptualizing variable rater assessments as both an educational and clinical care problem. Acad Med (5):721–7. 2014; 89


 

 





 2016 May;50(5):532-9. doi: 10.1111/medu.12977.

Competency-based educationprogramme design and challenges to implementation.

Author information

  • 1Department of Learning Health Sciences, University of Michigan Medical School, Ann Arbor, Michigan, USA.
  • 2Department of Emergency Medicine, University of Michigan Medical School, Ann Arbor, Michigan, USA.
  • 3Ann Arbor VA Geriatrics Research, Education and Clinical Center, University of Michigan Medical School, Ann Arbor, Michigan, USA.
  • 4Department of Pediatrics and Communicable Diseases, University of Michigan Medical School, Ann Arbor, Michigan, USA.
  • 5Department of Internal Medicine, University of Michigan Medical School, Ann Arbor, Michigan, USA.
  • 6Department of Family Medicine, University of Michigan Medical School, Ann Arbor, Michigan, USA.
  • 7Department of Obstetrics and Gynecology, University of Michigan Medical School, Ann Arbor, Michigan, USA.

Abstract

CONTEXT:

Competency-based education (CBE) has been widely cited as an educational framework for medical students and residents, and provides a framework for designing educational programmes that reflect four critical features: a focus on outcomes, an emphasis on abilities, a reduction of emphasis on time-based training, and promotion of learner centredness. Each of these features has implications and potential challenges for implementing CBE.

METHODS:

As an experiment in CBE programme design and implementation, the University of Michigan Master of Health Professions Education (UM-MHPE) degree programme was examined for lessons to be learned when putting CBE into practice. The UM-MHPE identifies 12 educational competencies and 20 educational entrustable professional activities (EPAs) that serve as the vehicle for both learning and assessment. The programme also defines distinct roles of faculty members as assessors, mentors and subject-matter experts focused on highly individualised learning plans adapted to each learner.

CONCLUSIONS:

Early experience with implementing the UM-MHPE indicates that EPAs and competencies can provide a viable alternative to traditional courses and a vehicle for rigorous assessment. A high level of individualisation is feasible but carries with it significant costs and makes intentional community building essential. Most significantly, abandoning a time-based framework is a difficult innovation to implement in a university structure that is predicated on time-based education.

PMID:
 
27072442
 
DOI:
 
10.1111/medu.12977


Competencies, Milestones, EPAs - 과거를 잊은 자는 반복하게 될 것이다 (Med Teach, 2016)

Competencies, milestones, and EPAs – Are those who ignore the past condemned to repeat it?

DEBRA L. KLAMEN, REED G. WILLIAMS, NICOLE ROBERTS & ANNA T. CIANCIOLO

Southern Illinois University School of Medicine, USA






Introduction


competencies, milestones, CoreEPA라는 용어가 많이 쓰인다. 그러나 CBME는 새로운 것이 아니다.

The terms competencies, milestones, and core entrustable professional activities (COREEPAs) are currently on the lips and minds of many medical educators around the world (Nasca et al. 2012). However, the idea of competency-based medical education is not new.

  • In 1976, SIUSOM published Curricular Objectives 1976, a book containing 801 pages of the complete set of goals and objectives for the medical degree, the first medical school to do so (Southern Illinois University School of Medicine 1976).

  • Several years later, Silber et al. (1978) provided a description of the system along with available outcome data.

  • In 1999, the United States, through the Accreditation Council for Graduate Medical Education (ACGME), developed six broad core competencies (Patient Care, Medical Knowledge, Practice-Based Learning and Improvement, Interpersonal and Communication Skills, Professionalism, and Systems-Based Practice) (ACGME 1999).

  • Ten years later, as part of the Next Accreditation System(NAS), the ACGME began restructuring its accreditation system to base it on educational outcomes in these competencies (Nasca et al. 2012).

  • Olle ten Cate’s work (ten Cate & Scheele 2007) contributed the idea of bridging the gap between the theory of competency-based education and clinical practice using the notion of entrustable professional activities(EPA). The push toward outcomes-based medical education (OBME) has been extre- mely active ever since.


NAS는 6개의 core competencies를 sub-competencies로 나누었는데, 이는 발달과정의 'progressive, significant points'이며, milestone이라고 불렀다. Milestone는 레지던트 과정을 지속적으로 모니터링하고보다 명확하고 투명한 기대를 제공하는 프로그램을 돕기 위해 개발되었습니다 (ACGME 2015). 각 전공과목에서 추상적인 것을 구체화하기 위한 작업이 이뤄지고 있다.

The NAS breaks down the six core competencies into sub- competencies, each of which features progressive, significant points of development, called milestones. Milestones were developed to help programs continuously monitor resident progress, as well as to provide more explicit and transparent expectations to them (ACGME 2015). Sub-competencies and milestones are currently being taken from the abstract to concrete specifics by specialty groups in the United States


예를들면 Pediatrics Milestones Report Worksheet 에는...

For example, the Pediatrics Milestones Report Worksheet includes such sub-competencies as:

  • PC1 – Gather essential and accurate information about the patient;

  • SBP3 – Work in inter-professional teams to enhance patient safety and improve patient care quality; and

  • ICS2 – Demonstrate the insight and understanding into emotion and human response to emotion that allows one to appropriately develop and manage human interactions (ACGME Pediatrics Milestone 2015).

 

각각의 sub-competency 는 1~5점으로 평가된다.

Each sub-competency is rated on a scale of 1–5, with a score of

  • 1 denoting a learner who needs comprehensive supervision for a task, and

  • 5 denoting a learner possessing the ability to performthe task unsupervised.


AAMC는 레지던트 과정에 들어오는 의사를 위한 13개의 CoreEPA를 정의하였다(레지던트 첫날 supervision없이 수행할 수 있어야 하는 것의 목록). 139개의 ‘‘expected behaviors for an entrustable learner.’’ 가 있다.(AAMC 2014)

The AAMC defined 13 COREEPAs for entering residency that residents should be able to perform without supervision on the first day of training. The AAMC has since published two documents, a 114-page curriculum development guide and a 69-page faculty and learners’ guide. These guides outline 139 discrete ‘‘expected behaviors for an entrustable learner.’’ (AAMC 2014). Ten schools are currently involved in a five- year pilot to test their implementation.


 

이러한 아이디어는 이론적으로는 훌륭하게 들립니다. 졸업생 및 졸업생의 역량을 보장하기 위해 표준화 된 성과 중심 평가를 주장하지 않는 사람은 누구입니까? 그러나 일부는이 새로운 시스템에 대한 우려를 나타 냈는데, 대부분 이론적 인 관점에서였다 (Grant 1999; Huddle & Wear al. Heudebert 2007; Brooks 2009; Regehr et 2011). 예를 들어

  • Huddle & Heudebert는 "능력 평가에서 객관성과 측정에 대한 ACGME의 요구는 절대적으로 단편적인 방식으로 성과 조각을 평가하게됩니다. 이것들이 다 합해져서 우리가 실제로 관심을 갖고있는 능력을 이룬다고 볼 수 없다"라고 언급했다.

  • Regehr et al. "가장 큰 차원에서, 지역 사회는 '역량들목록이 올바르다고'the right'해서, 이것이 의사가 되는 것의 충분한 조작적 정의가 될 것이라고 생각하지 말아야 한다.'

현재까지 이러한 우려가 잘못되었다는 증거는 없다.

 

These ideas sound great on paper. Who wouldn’t argue for a standardized set of performance-based assessments to assure competency in graduating students and residents? However, some have expressed concern about this new system, mostly from theoretical perspectives (Grant 1999; Huddle & Wear al. Heudebert 2007; Brooks 2009; 2009; Regehr et 2011). For example,

  • Huddle & Heudebert argue that ‘‘the ACGME’s demand for objectivity and measurement in assess- ment of competence ineluctably leads to the assessment of pieces of performance in the fragmentary fashion that ...can’t be presumed to add up to the kind of competence we actually are interested in.’’

  • Regehr et al. note that, ‘‘At the largest level, the community would do well to be cautious in assuming that ‘the right’ list of separate competencies will be a sufficient operational definition of what it is to be a physician.’’ To date, there is no evidence to indicate that these concerns are wrong.


이러한 우려가 CBME의 결정적 약점을 나타 내기 때문에 심각하게 받아 들여져야 한다는 점을 강력히 시사하는 증거가있다. 우리는 과거를 잊어 버린 (또는 의학 교육 영역 밖에서 그것을 인식하지 못하는) 사람들이 그것을 반복 할 운명에 처해 있다고 믿기 때문에이 증거를 제시합니다.
 

There is evidence to strongly suggest that these concerns be taken seriously because they represent critical weaknesses in the compe- tency-based approach. We present this evidence, as we believe that those who forget the past (or who are not aware of it outside the sphere of medical education), are doomed to repeat it.





미국의 초중등 교육

Elementary and secondary education (K-12 in the United States)


의학교육에서의 오늘날과 같은 접근은 mastery learning, competency-based, and outcomes- based education 에 근원을 두며, 미국(그리고 남아공, 호주) 초중등 교육에서 오랜 역사를 보여준다. 한 가지 혁신은 OBE였는데, 이것은 교육시스템의 각 파트를 목표를 중심으로 base하려는 이론이며, 60년대 초반에 소련의 스푸트니크호 발사에 대응하여 등장하였다. 교육의 이론적 측면에서 두 가지 변화가 있었다.

The current approach to medical education has roots in mastery learning, competency-based, and outcomes- based education and a long history of practice in elementary and secondary education in the United States, as well as in South Africa and Australia. One such innovation, outcomes-based education (OBE), an educational theory that bases each part of an educational system around goals, came about in the early 60s in response to the Sputnik launch by the Soviet Union (Alderson 2007). Two shifts in the theoretical side of education came of this. Hodge refers to the significance of

  • (1) 행동주의
    behav- iorism, which led to the identification of clearly defined learning, which behavioral objectives, and

  • (2) 숙달
    mastery emphasized the need and capacity for learners to master a subject, given enough time, support, and opportunity (Hodge 2007).



 

OBE의 두 번째 교육 개혁은 1980 년대 말에 전국 우수 교육위원회 (Commission on Excellence on Education 1983)가 "미국의 교육 표준이 침식되고 K-12 교육의 학생들이 충분히 배우지 못했다는 사실"을 지적한 이후에 발생했습니다. 1989 년에 부시 대통령은 2000 년까지 달성 할 국가 목표를 법률로 제정했다 (Manno 1994). 이것은 2001 년 아동 낙오 방지법 (No Child Left Behind Act)으로 바뀌 었습니다.이 법안은 학교에서 학생이 연방 교육 기금을 수령하는 학교의 조건으로 특정 수준까지 도달하도록 의무화 한 것입니다 (Bill Summary & Status 107th Congress 2002).

A second wave of educational reform in OBE occurred in the late 1980s after a National Commission on Excellence in Education 1983 report noted that American educational standards were eroding and that students in K-12 education were not learning enough. In 1989 a set of national goals to be achieved by the year 2000 was signed into law by President Bush (Manno 1994). This was replaced by the much-criticized 2001 No Child Left Behind Act, which mandated students in school perform to certain levels as a condition of schools to receive federal education funds (Bill Summary & Status 107th Congress 2002).


숙달 학습, 역량 기반 교육 및 산출 기반 교육은 모두 다음과 같은 가정에 적용됩니다.

  • (1) 학습할 내용은 사전에 식별되고 충분히 설명 될 수 있습니다.

  • (2) 교육은 학생 결과outcome를 산출하기 위해 조직되어야하며, 교육 과정은 학생들이 그 결과를 산출하도록 안내해야한다.

  • (3) 결과를 달성하기 위해 학생이 필요로하는 시간은 학생마다 다를 수 있으며 이러한 변동성은 학습 환경 (Austin 1995)에 의해 수용되어야합니다.

  • (4) 그리고 최종적으로 결과를 달성 할 수 있도록 의도 된 결과를 신중히 기술함으로써 (교육 요약서 & 제 107 차 총회, 2002), 또는 이정표 (Kearney 1994)를 통해 교육자는 학생의 성공과 책임있는 교육 시스템을 확보 할 수 있습니다.

 

Mastery learning, competency-based education and out- comes-based education all hold to assumptions that:

  • (1) what is learned can be identified in advance and sufficiently described.

  • (2) Education should be organized to produce student outcomes and the processes of education should be deliberately developed to guide students to produce those outcomes.

  • (3) The amount of time a student needs to achieve the outcomes may vary per student and this variability must be accommodated by the learning environment (Austin 1995).

  • (4) And finally, through careful delineation of intended outcomes along with enabling outcomes (Bill Summary & Status 107th Congress, 2002), or milestones (Kearney 1994), educators can ensure student success and a more accountable educational system.



불행히도 성과 기반 교육 (OBE)은 국제적인 실패의 역사를 가지고 있습니다 (Spady 1997, Donnelly 2007, Rice 2015).
Unfortunately, outcomes based education (OBE) has an international history of failure (Spady 1997; Donnelly 2007; Rice 2015).


관찰 가능한 행동Observable behavior은 교육자가 학습자가 배웠는지 여부를 알 수있는 유일한 방법이라고 주장 할 수 있지만, 관찰 가능한 행동은 학습자가 배운 모든 것을 설명 할 수 없습니다. 학습의 일부 측면은 상당히 개별적이며 특이성idiosyncratic이있을 수 있으며 이는 부정적이지 않습니다. 예를 들어 학교 어린이 전체를 박물관으로 데려가도 똑같은 것을 배울 것이라고 보장 할 수는 없지만 각자가 뭔가를 배울 것임은 거의 확실하게 보장합니다.
While it can be argued that observable behaviors are the only way educators can know whether or not their learners have learned, observable behavior can never account for all that a learner has learned. Some aspects of learning can be quite individual and idiosyncratic, and this is not a negative. For example, taking an entire class of school children to the museum does not guarantee that any will learn the same thing, but does almost certainly guarantee that each will learn something.


 

학습은 선형적이거나 진보적이이거나 비 반복적이지 않으며 학습의 전체 범위를 설명하거나 설명 할 수 없으며 '관찰 된 학습 된 행동'이 학습자의 실제 지식 상태를 나타낸다는 보장은 없다 (Rice 2015). 따라서 accountability의 intended level을 성취하기가 어렵습니다. 다시 말하면, 초등학교 환경에서의 이러한 논쟁은 의학 교육 문헌에서 이전에 인용 된 이론적 기사들과 매우 유사하다 (Grant 1999; Huddle & Heudebert 2007; Brooks 2009; Regehr et al. 2011; Brightwell & Grant 2013).
Learning is NOT linear, progressive and non-recursive, and the full range of learning cannot be described or accounted for, nor can the observed learned behavior be guaranteed to represent the learner’s actual state of knowledge (Rice 2015). Thus the intended level of accountability is difficult to achieve. Again, these arguments in an elementary school setting are quite similar to those theoretical articles previously cited in medical education literature (Grant 1999; Huddle & Heudebert 2007; Brooks 2009; Regehr et al. 2011; Brightwell & Grant 2013).


 

K-12 환경에서의 운영상의 어려움은 교육적 접근의 바탕이 되는 가정에 따라 행동해야 했기에 나타난 결과였다. 예를 들어, 모든 학생들은 적절한 시간과 자원을 제공함으로써 명시된 결과를 얻을 수 있으므로 학생의 책임은 학교와 교사에게 옮겨갔고, 그 결과 학습자의 개성과 책임감의 역할이 부정되었다. 이러한 교육 원칙에 깔린 이념을 반박하는 것은 불가능합니다. 그러나 여러 연구자가 관찰한 prior capacity를 감안하면, 철학을 기존의 교육(적 변후)에 수용하는 것은 비현실적이다.
Operational difficulties in the K-12 setting were a direct result of the practices needed to act on the assumptions underlying these approaches to education. For instance, it is a hallmark of these educational approaches that all students can achieve the stated outcomes given the proper time and resources, thus shifting the responsibility from the student to the school and teacher, therefore denying the role of learner individuality and accountability. The ideals behind this senti- ment are impossible to dispute. However, as observed in a prior capacity by an author (NKR) and described by Schwarz & Cavener (1994), accommodating this philosophy within existing educational parameters is impractical.


 

 

OBE 지지자들은 학생들이 다양한 방법으로 결과를 얻을 수 있다고 믿습니다. 교사와 부모에게는 발달 과정의 '체크포인트'가 중요하게됩니다 (Schwarz & Cavener 1994, Morcke et al. 2013). 교수진은 시간이 가변적이라는 가정 하에서 교사는 개별 학생을 조율하는데, 경우에 따라서는 수업 당 35 명씩 되는 것을 7반까지도 조율해야 하는 위치에 놓였습니다. 학생들은 시험을 치르기 전에 결과의 각 단계를 마스터해야하고 시간이 가변적이라는 것을 공지받으며, 모든 작업은 다시 할 수 있으며, 모든 테스트는 재시험이 있으며, 이것을 위해 사용하는 시간이 그들의 삶에서 가장 중요한 것이라고 안내받는다. 이로 인해 교사는 숙제를 채점하고 re-grade하거나 학기말에 한 학기의 과제에 직면하게되었습니다. 교육에 들어가는 시간을 빼더라도 이 모든 평가 작업을 수행하는 데 충분한 시간이 없었다. 결국 교사들은 이에 대처하기 위해 rubber-stamp mentality를 갖게 된다. 이것은 또한 교사가 성취 스펙트럼의 모든 끝에서 학생들과 함께 수업을 가르치면서 교실에서 혼란을 일으키는 것을 의미했습니다 (Schwarz & Cavener 1994).

Supporters of OBE believe that students can achieve outcomes in a variety of ways. For faculty charged with ensuring that the outcomes are met, and for parents ensuring their children are progressing, checkpoints along the way become important (Schwarz& Cavener 1994; Morcke et al. 2013). With the assumption that time is variable, faculty were put in the position of orchestrat- ing and facilitating individual students, as many as 35 per class, for as many as seven classes. Students told they must master each step of an outcome before being tested, knowing that time is variable, and that all work could be reworked and all tests retaken, procrastinated and used school time for the things of primary importance to their lives (i.e. socializing). This led to teachers either grading and re-grading assignments ad nauseam, or being confronted with a semester’s worth of work at the end of the semester. There were simply not enough hours in the day to do all this assessment work, which didn’t even begin to count the time spent teaching. To cope, a rubber-stamp mentality was adopted. This also meant that teachers were teaching classes with students on all ends of the accomplishment spectrum, creating chaos in the classroom (Schwarz & Cavener 1994).



OBE 프로그램은 결과를 결정하기 위해 묘사 된 프로세스를 따르려는 시도에 의해 더 방해 받았다. 이상적으로 모든 이해 관계자는 학생들이 교육받을 의미있는 결과를 파악하는 데 관여 할 것입니다 (Spady 1994). 그러나 현실적으로 모든 이해관계자들로부터 meaningful and appropriate outcome이 무엇인지에 대한 동의하는 것을 얻는 것은 엄청나게 어려웠습니다 (Schwarz & Cavener 1994).
The OBE program was further hampered by attempts to follow the process delineated for determining outcomes. Ideally, all stakeholders would be involved in identifying the meaningful outcomes toward which students were to be educated (Spady 1994). In practice, getting all of these stakeholders to agree on the meaningful and appropriate outcomes proved to be enormously difficult (Schwarz & Cavener 1994).


이상형의 구현은 극도로 문제가되어 궁극적으로 그것을 수정하거나 폐기하라는 여러 차례의 요구, 의학 교육 역량에 대한주의 사항, 이정표 및 COREEPA 의제로 귀결됩니다. 운영상의 어려움은 미국의 K-12 교육에서 일어난 것과 유사한 방식으로 의학 교육에서의 노력을 방해 할 것입니다. 이것의 한 예가 이미 있습니다. 앞서 언급 한 SIUSOM Curricular Objectives 1976 커리큘럼은 필요한 모든 평가 작업을 수행 할 수있는 충분한 시간이 없었기 때문에 결과적으로 프로그램이 자체 무게에 의해 무너지기 때문에 결국 포기되었습니다 (Dorsey 2015).
The implementation of the ideal proved to be extremely problematic, ultimately resulting in multiple calls to revise or remove it, a cautionary tale for the medical education competency, milestone and COREEPA agenda. Operational difficulties will hamper the effort in medical education in ways that are similar to those that occurred in K-12 education in the United States. One example of this already exists. The SIUSOM Curricular Objectives 1976 curriculum, previously mentioned, was eventually abandoned because there was not enough time to do all the assessment work needed and the program eventually collapsed under its own weight (Dorsey 2015.)



 

미군

Department of Defense (U.S. Army)



미 육군에서 개인 및 부대의 훈련 상태는 국방부 장관에게 '준비 상태보고'의 핵심 구성 요소이며, 부대 배치에 관해 대통령에게 자문하고 권고안에 대한 연방위원회에 책임이있다. 육군 2010).
In the U.S. Army, training status of individuals and units is a central component of ‘‘readiness reporting’’ to the Secretary of Defense, who advises the President on troop deployment and is accountable to con- gressional committees for his recommendations (US Department of the Army 2010).


교육 상태는 특정 기준에 따라 특정 조건에서의 업무 성과에 대한 go/no go등급으로 구성됩니다. 부록 1 (보충 자료 온라인)은 군대 소대 (대략 30 명의 병력)를위한 샘플 작업 / 조건 / 표준 설명을 보여줍니다. "공격 수행"작업은 ACGME 하위 역량 중 "침습적 행동 수행"의 핵심 역량에 해당하는 역량과 유사합니다. ACGME의 5단계 마일스톤과 달리 육군은 2 가지 ( go / no go)이지만, 점점 어려워지는 상황에서 'go'상태를 달성 할 수있는 사람 또는 유닛의 능력을 'graduated capability'에 반영한다. 부록 1에 나와있는 성과 측정은 본질적으로 업무 기준이 충족되었는지 여부를 평가하는 데 사용되는 절차 검사 목록입니다. 전체 업무 성과가 이 기준을 충족한다는 것을 문서화하기 위해 각 개별 지표에 대해 'go'상태를 달성해야합니다.
Training status consists of go/no go ratings of task performance under particular conditions, relative to specific standards. Appendix 1 (available as Supplementary Material Online) shows a sample task/conditions/standards statement for an Army platoon (approximately 30 troops). The task ‘‘Conduct an Attack’’ is analogous to an ACGME sub- competency, a capability falling under the core competency of ‘‘Conduct Offensive Operations.’’ Rather than five compe- tency milestones for each task, the Army has two (go/no go), but graduated capability is reflected in a person or unit’s ability to achieve ‘‘go’’ status under increasingly difficult conditions. Performance measures, also shown in Appendix 1, are essentially procedural checklists used to evaluate whether task standards have been met. ‘‘Go’’ status must be achieved on each individual measure to document that whole task performance meets these standards.


 

작업 / 조건 / 표준의 목적은 "할당 된 임무를 성공적으로 수행하기 위해 병사가 수행 할 수 있어야하는 작업"을 명시 적으로 정의하는 것입니다. 세부적인 성과 측정은 교육 준비 태세의 인증이 군대 차원에서 표준화되고 이러한 평가 기준이 단위 교육 일정의 설계 및 자원 확보를 안내하는 결과로 사용되도록하기위한 것입니다. 이 노력의 일반적인 목적은 군대 고용에 관한 증거 기반의 의사 결정을 가능하게하고 실제 필요에 보다 적합한 목표로 훈련을 수행하는 것입니다. 책임 성, 표준화, 구체적인 결과 및 증거에 중점을 둔 육군의 훈련 준비 태도는 의학의 역량 기반 평가와 유사하다 (Nasca et al., 2012; Brightwell & Grant 2013).

The purpose of tasks/conditions/standards is to provide an explicit definition of what soldiers and units should be able to do in order to successfully execute their assigned missions. Detailed performance measures are intended to ensure that certification of training readiness is standardized Army-wide, and these assessment criteria are used as outcomes to guide the design and resourcing of units’ training calendars. The general objective of this endeavor is to enable evidence-based decision making about troop employment and to conduct training that is better targeted to actual need. In its emphasis on accountability, standardization, specific outcomes, and evi- dence, the Army’s concept of training readiness is similar to that of medicine’s competency-based assessment (Nasca et al. 2012; Brightwell & Grant 2013).


 

 육군에서의 훈련 준비 상태를 달성하는 것은

  • 조직 차원의 우려 사항 (즉, 선교 능력있는 인력보고),

  • 훈련 정책 (즉, 훈련 행위에 대한 교리 적 접근)과

  • 훈련 구현 (예 : 실제적인 힘 개발 실습 제한된 시간과 자원으로 이루어져야 함).

의 복잡한 상호작용이다.

 

Achieving training readiness in the Army reflects a complex interplay between

  • organizational-level concerns (i.e. reporting a mission-capable force),

  • training policy (i.e. the doctrinal approach to training conduct), and

  • training implementation (i.e. actual force development practices, given the reality of limited time and resources) at all levels of the hierarchy.

 

군대에서 훈련 결과, 정책 및 프로세스를 align하는 것은 성과를 훈련하고 평가할 수 있는 시간과 자원에 비해 "압도적으로 많은 수의 작업과 훈련 규정"에 의해 어려움을 겪습니다 (Crowley 외. 2013). 예를 들어, 언제 어디서나 배포 가능한 개인과 단위가 실행할 준비가되어 있어야하는 업무 / 조건 / 표준을 명시하는 수천 페이지의 교리가 있습니다. 또 다른 수천 페이지가 자원 효율적인 교육 및 성과 평가 연습 방법 등을 지정합니다. 일반적으로, 실제 달력에 나와있는 것보다 더 많은 교육 시간이 필요하며, 대규모 훈련에서 모든 수행 기준을 평가하기 위해서는 상당한 자원이 필요합니다 (Crowley 외. 2013).

Aligning training outcomes, policy, and process in the Army is challenged by an overwhelmingly large number of tasks and training regulations relative to the time and resources available to train and assess performance (Crowley et al. 2013). For instance, there are thousands of pages of doctrine specifying the tasks/conditions/standards that ‘‘anytime, anywhere’’ deployable individuals and units must be prepared to execute. Thousands more pages specify how tasks should be nested in order to hold resource-efficient training and performance assessment exercises. There commonly is more required training time than exists in the calendar to conduct it, and large-scale training exercises require substantial resources to ensure that all performance criteria are assessed (Crowley et al. 2013).


 

이 접근법이 잘못 가정하는 것들..

  • 근본적으로 잘못 가정하는 것은 "군인과 유닛 성과의 모든 주요 측면을 식별, 관찰 및 평가할 수 있다는 것"이다. "전체 미션성공의 는 그 부분들의 합이다."라고 보는 가정은 틀렸다. 

  • 두 번째 잘못된 가정은 모든 임무가 임무 성공에 똑같이 중요하며 모든 병사 / 부대는 언제든지 모든 임무를 수행 할 준비가되어 있어야한다는 것입니다. 

  • 세 번째 잘못된 가정은 지휘관/의 전문성이 훈련의 요구를 파악하거나, 그 요구를 달성하는데 가장 시간-효율적, 자원-효율적인 방법이 되게 훈련을 수정하는데 기여하지 못한다는 것이다.

We believe a faulty assumption underlying this approach is that all key aspects of soldier and unit performance can be identified, observed, and evaluated; the whole of mission success is the sum of its parts. A second faulty assumption is that all tasks are equally critical to mission success and that every soldier/unit must be ready to do all of them at any time. Yet a third faulty assumption is that the expertise of commanders and unit trainers does not add value to identify- ing their unit’s training needs and to devising the most time- and resource-efficient ways of meeting them

 

비슷한 가정이 CBME에서도 있었다.(Grant 1999; Huddle & Heudebert 2007; Brooks 2009; Regehr 외 2011; Brightwell & Grant 2013). 최근 육군 훈련을 분석한 결과, 우선순위 설정과 외부 타당도 근거에 의해서 더 유연한 훈련전략을 개발해야 하다는 점이 드러났으며, 이 때 시간과 자원의 제약이라는 현실적 한계를 고려해야 한다. (Crowley et al., 2013). 이것은 바로 의학 교육에서도 필요한 것이다.
Analogous assumptions underlying competency-based assessment in medicine have been raised as concerns by others as well (Grant 1999; Huddle & Heudebert 2007; Brooks 2009; Regehr et al. 2011; Brightwell & Grant 2013). Recent analysis of Army training has indicated the need to develop a more flexible training strategy, enabled by prioritization and external validity evidence, which takes the realities of time and resource limitations into account (Crowley et al. 2013). This is what needs to occur in medical education too.



의학교육에서 관측-기반 평가의 현재

What is the state of observation based assessment in medical education?



의료 교육에서 우리는 현재 레지던트와 학생의 점검해야 한다. 기존의 사전 실행 / 마일스톤 / COREEPA 시스템에서 workplace 평가에 대한 제약이 이미 있기 때문입니다. 이러한 제약은 OBME가 교수진의 관찰과 판단에 크게 의존하기 때문에 더욱 문제가 될 것이다 (Holmboe & Batalden 2015). 고려해야 할 두 가지 주요 제약 조건은 다음과 같습니다 :

(a) 교수와 레지던트 또는 학생간에 발생하는 제한된 관찰,

(b) 인간 심사 위원의 특성. 왜냐하면 교수는 체크리스트 및 평점 척도가 아니며, 교수는 임상 수행능력 측정을 위한 실제 수단이기 때문이다. 교수가 관찰하는 양은 매우 제한되어있다.

In medical training it behooves us to look at the assessment of residents and students currently, because there are already constraints on workplace assessment in existing pre-compe- tency/milestone/COREEPA systems. These constraints will become more problematic since OBME is ‘‘highly depend- ent on the observations and judgment of faculty’’ (Holmboe & Batalden 2015). The two major constraints to be considered are: (a) the limited observation which occurs between faculty and residents or students, and (b) characteristics of human judges since faculty is the real instruments for measuring clinical performance, not checklists and rating scales. Amount of observation is very limited




Williams & Dunnington (2006)의 연구는 ACGME 역량 (그 당시 28 개의 구성 요소와 6 개의 원래 역량)을 수행하는 동안 교수진의 observation을 조사했습니다. 그들은 단지 28개 중 6개만이 교수진 (21 %)에 의해 관찰된다는 것을 발견했다. 이 결과를 마일스톤 사용을 고려하여 확장해보면 다음과 같다. 현재 내과학에는 General surgery (일반 외과)에서 약 110 개의 하위 역량과 주요 성과가 있으며, COREEPAs clekship에서도 clerkship당 100 가지 이상의 목표가 있습니다 (Green et al. 2009; ACGME and The American 2014 년 외과위원회, Kramen 2015). 실제 관측치의 동일한 비율이 유지되면 (그리고 그 숫자가 확실히 올라갈 것이라고 기대하지 않을 경우) 각각 23, 17 및 21 구성 요소를 관찰 할 수 있으며, 나머지는 관찰 대상에서 배제될 것이다. Chisholm 외의 연구 (2004)는 교수들은 비 응급 진료 영역에서 9시간당 2분, 비상 진료 환경에서 9시간당 11분을 EM 레지턴트 관찰에 사용한다는 사실을 발견했습니다. 이 수준의 관찰이 오늘날의 레지던시 프로그램에 대한 '표준'이라면, 필요한 모든 데이터 포인트에 대해 거주자를 관찰하는 데 필요한 수준으로 관찰이 현실적으로 일어날 것으로 기대할 수 있을까?

Work by Williams & Dunnington (2006) examined the observation by faculty of residents during performance of the ACGME Competencies (Six original competencies with 28 components at that time). They found that only six were routinely observed by faculty (21%). Now expand that constraint as one considers the use of milestones. Currently in Internal Medicine there are about 110 sub-competencies and milestones, in General Surgery, 80, and even in COREEPAs clerkships (where are rapidly approaching) there are more than 100 objectives per clerkship (Green et al. 2009; ACGME and The American Board of Surgery 2014; Klamen 2015). If the same percentage of actual observation holds (and one would certainly not expect that number to rise), this leaves 23, 17, and 21þcomponents observed respectively, with the rest left unseen. A study by Chisholm et al. (2004) discovered that faculty members observe emergency medicine residents 2 minutes/9 hour shift in non-critical care areas and only 11 minutes/9 hour shift in a critical-care setting. If this level of observation is ‘‘the norm’’ for today’s residency programs, how can we expect observation to realistically rise to the level needed to observe residents for all the needed data points?



임상 관찰의 상태는 의대생 clerkships에서는 상황이 더 좋지 않습니다. Han & Roberts (Han et al., 2015)의 연구에 따르면 학생은 실제 임상현장에서보다 shelf 시험을 위해 더 많은 시간을 보냈다. 교수진이 임상 연구를 관찰하는 데 소비한 시간은 이미 줄어들어버린 student day보다 훨씬 짧을 것으로 추정됩니다. Osman et al. (2015)는

The state of clinical observation is no better in medical student clerkships. A study by Han & Roberts (Han et al. 2015) discovered that students spent much more time studying for shelf exams than they did in actual clinical work. The amount of time faculty members spent observing clinical work is presumably much lower than the already shortened student day. Osman et al. (2015) noted in a recent study that students have a

 

‘‘disrupted apprenticeship model with fragmentation of supervision and concomitant effects on assessment, feedback, role modeling and clerkship education.’’

 

 

entrustable behavior에 대한 관측이 늘어날 것을 기대하는 것은 현실적이지 않다.

We think it unrealistic that observation of expected entrustable behavior will rise to a needed level either.



인간의 판단

Human judges


관측 시간 자체의 제약외에도 중요한 것은 인간이 성과를 판단한다는 점이다. 문헌에서 반복적으로, 본질적으로 수행능력의 평가는 임상적 성과와 전문적 행동의 두 가지 요인에 의해 평가된다는 것을 발견했다clinical performance and professional behavior (Verhulst et al., 1986; Ramsey et al., 1993). 철저한 평가 척도는 실제로 후광 오류에 시달리는 것처럼 보입니다. 실제로 심사 위원이 의식적으로 또는 관찰하지 않고 두 요소로 관찰을 접을 때가 있습니다. 유사하게, 사회적 판단은 다른 사람들을 평가할 때, "그들의 능력"과 "친구냐 적이냐"의 두 가지 요인으로 축소시키는 것처럼 보인다 (Gingerich et al., 2011). Ginsburg 외 연구 (2010)은 "표준화되고 객관적이며 경쟁력있는 평가를 하기 위한 공동의 노력에도 불구하고 레지던트의 임상 성과 평가에서 여전히 주관성의 영향력은 강력하다"고 경고했다. 그러나 주관적이라는 것이 레지던트에 대해 교수가 가지는 전체적인 인상holistic impression을 무효한 것으로 간주해야한다는 것을 의미하지는 않습니다.

On top of the constraint of observation time itself, humans are also judging performance. Repeatedly in the literature, it is found that performance is essentially rated on two factors – that of clinical performance and professional behavior (Verhulst et al. 1986; Ramsey et al. 1993). Exhaustive rating scales often seem to be plagued by halo error, when in fact judges are simply collapsing their observations (consciously or not) into those two factors. Likewise, social judgment more broadly appears to collapse ratings of others into two factors – that of competence and friend/foe (Gingerich et al. 2011). A study by Ginsburg et al. (2010) warns that ‘‘Despite concerted efforts to create standardized, objective, compe- tency-based evaluations, the assessment of residents’ clinical performance still has a strong subjective influence.’’ They note, however, that just because they are subjective does not mean that holistic impressions by faculty members of residents should be considered invalid.


이것은 의료 교육 분야의 사람들에게만 국한되지 않습니다. Weber et al. (2014)는 연수생에 대한 전문 항공사 조종사의 등급을 비교 한 연구에서 심사 위원의 평가 척도와 검사 목록 범주 사용을 조사했습니다. 그들은 심사 위원이 평가 도구에 대한 descriptive anchor를 무시한다는 것을 발견했습니다. 오히려 이들은 피평가자에 대한 제한된 인상을 형성하고 등급 양식 항목 및 descriptor에 관계없이 이러한 노출을 지속적으로 사용합니다. 따라서 항목에 대한 숫자 등급의 의미는 descriptor와 거의 유사하지 않습니다.

This suggestion is not limited to those within the field of medical training. Weber et al. (2014) in a study comparing expert airline pilots’ ratings of trainees examined the judges’ use of rating scales and checklist categories. They found that the judges ignored the descriptive anchors on the rating instruments. Rather they form a limited set of impressions about the performers and use these impressions constantly regardless of the rating form items and descriptors. Thus the meaning of the numeric ratings for the items bears little resemblance to the descriptors.



 

문제를 더 복잡하게 만드는 것은, 실제 상황에서 평점을 주는 시점과 성과를 관찰하는 시점 사이에 delay가 있다는 것이다. 그 결과 rating resolution, 망각, 선택적 recall과 관련된 추가 문제가 발생합니다. 관측과 평가 완료 사이의 지연이 심해질수록 등급이 less nuanced 되고, 작성된 의견의 수가 줄어들고 구체적이고 실행 가능한 의견이 줄어 듭니다 (Williams RG 외 2014). 그림 1은이 연구의 결과에 대한 자세한 내용을 제공합니다.

To complicate this problem, most ratings in real life occur with a delay between observing performance and completing the evaluation form, which introduces additional problems regarding rating resolution, forgetting and selective recall. As delay between observation and completing the evaluation increases, ratings become less nuanced (e.g. more straight line 4s), the number of written comments decreases, and the number of specific, actionable comments decreases (Williams RG et al. 2014). Figure 1 provides more details regarding the results of this study.


 

평가자는 의도한 대로 등급을 사용하지 않고, 평가의 delay가 있기 때문에(바쁜 임상 환경에서는 자연스럽지만) 유용성과 정확성이 떨어진다. 그렇다면 어떻게 해야할까?

Since raters do not use the rating scales as intended, and any delay in rating (as will be natural in a busy clinical setting) decreases their usefulness and accuracy, how do we intend to use this flawed system in an even more rating scale-intensive environment, such as the ones posed by competencies, milestones, and COREEPAs?

 

아마도 기존의 global rating form에 새로운 item을 추가하여 요건을 충족시킬 수 있겠지만, 그 많은 행동들은 교수가 루틴하게 observe하지 못할 것이다. 결국 이는 그저 '모든 역량을 평가하고 있다'는 환상만 심어줄 뿐이다.

It is likely that the law of least immediate effort will lead programs to meet new requirements by adding new items to global rating forms, even though many behaviors on the form will not be routinely observed by faculty members. This will simply create the illusion of addressing all competencies without a gain in meaningful information about resident performance.




교훈

Lessons learned



교훈은...

What should we take away from our exploration



(1) 모든 학습은 local이며 특이한 것이므로 학습자는 측정하지 않는 많은 것들을 배우게됩니다. 따라서 능력은 우리의 교육 환경에서 발생하는 실제 학습의 작은 부분에 불과하다.

(1) All learning is local and idiosyncratic, and learners will learn many lessons that we will not measure. Competencies are thus just a small part of the actual learning which is occurring in our educational settings.


(2) 모든 평가자는 자신의 고유한 constructs of performance를 사용하고 있으며 이는 바람직합니다. 평가자가 전반적인 성과를 판단 하게끔 하고, 의심 할 여지없이 무시할 수 있는 일련의 지침, 점검표 및 행동 기준으로 제한하지 마십시오. 능력에 대한 원자론적 견해는 integrated performance capability를 포착하지 못하지만 전문임상가의 global rating은 포착할 수 있다.

(2) All raters are using their own unique constructs of performance, and this is desirable. Give raters credit for their ability to judge overall performance and do not limit them to a set of guidelines, checklists, and behavioral anchors which they will undoubtedly ignore anyway. The atomistic view of competence fails to capture integrated performance capabilities, but global ratings by expert clinicians may.


(3) Go / No Go 모델이라는 두 가지 질문을 사용하는 지혜를 고려하십시오. 결국 궁극적 인 질문은 "이 레지던트가 감독되지 않은 환경에서 안전하고 효과적이며 유능한 보살핌을 제공 할 수 있습니까?"이다. 다른 모든 것들(예 : 수년 간의 훈련)은 최족 목적에 대한 질문일 뿐이다. 최종 목표의 궤적을 따라 '이 학생의 궤도가 동료들과 궤도에 오르고 있습니까? 이 학생은 역량으로 나아질 것입니까?' 중요한 것은 이것이며, 왜냐하면 학습은 선형, 점진적 또는 비 재귀 적이 아니기 때문이다.

(3) Consider the wisdom of using a two question, Go/No Go model for graduation from residency. The ultimate question after all, is ‘‘Can this resident provide safe, effective, and competent care in an unsupervised setting (or not)?’’ All other movements (between years of training, for example) become more of a question of movement along a trajectory to that final goal. ‘‘Is this student’s trajectory on track with his/her peers? Is this student improving toward competency?’’ These are important questions, since learning is not linear, progressive, or non- recursive.


 

(4) 의학 교육의 성공을 위해서는 학습에 대한 공동 책임이 필요하므로, 앞으로 진행되는 모든 progress가 교사에게 뿐만 아니라 학습자에게도 명백한 중요성을 갖는지 확인하십시오. 이것은 평가되는 요소를 학습하는 동기를 향상시킵니다.

(4) Since a shared responsibility for learning is necessary for success in medical education, make sure that whatever forward progress is measured is of obvious importance to learners as well as their teachers. This improves motiv- ation to learn those elements being assessed.


 

(5) 직접 관찰의 증가 빈도를 달성하는 것은 달성하기가 매우 어려우며 엄청난 비용이 소요될 것입니다. 근접 관찰은 소수의 특정 중요한 행동에 대한 전제 조건이지만 NAS / COREEPA 기준이 예상대로 작동하는 데 필요한 수준으로까지 발생하지 않습니다.

(5) Achieving increased frequency of direct observation will be very difficult to achieve and will come at great cost. Close observation is a prerequisite for a small number of specific important behaviors, but it will never occur at the level needed for the proposed NAS/COREEPA criteria to function as expected.


제언

Suggestions


specific important behaviors and global ratings of performance을 명확하게 구분할 필요가 있음을 제안합니다. 교수진은 현재와 마찬가지로 레지던트과 학생들의 행동을 관찰하고 즉각적이고 상세한 형성 피드백을 제공해야합니다. 교수들은 성과에 대한 자체적인 construct 을 사용하기 때문에 summative assessment global rating 척도는 매우 단순하게 유지되어야 합니다. 예를 들어, '임상 기술'과 ''전문 행동 ''을 두 가지 등급으로 사용하십시오. 의견을 남길 수있는 여지를 남겨 두십시오. 그러면 평가자의 construct 에 대한 단서가 제공 될 수 있습니다. 전반적인 성과를 평가할 때 평가위원회 (Williams et al. 2005)를 사용하여 다양한 평가자의 전반적인 성과에 대한 많은 관찰을 얻고 삼각 측량을 수행합니다.

We suggest the need to make a clear distinction between specific important behaviors and global ratings of performance. We suggest faculty should observe residents and students in action as they do now, and give immediate and detailed formative feedback. Since faculties are using their own internal constructs of perform- ance, summative assessment global ratings scales should be kept very simple. For example, use ‘‘Clinical Skills’’ and ‘‘Professional Behavior’’ as the only two ratings to mark. Leave room for comments as well, since this may give clues as to the raters’ constructs. When assessing overall performance, acquire many observations of overall performance by many different raters and triangulate by using an assessment committee (Williams et al. 2005).


 

아주 중요한 소수의 행동specific important behaviors 만 평가하십시오. 이 작업을 위해서는 직접 관찰이 필요하며 관찰이 발생한 직후에 기록해야합니다. OSCE, 표준화 된 환자 및 시뮬레이션 설정을 사용하면이 작업에 도움이 될 수 있습니다. 자원이 많이 필요하기 때문에 특정 분야와 가장 관련이 있거나 필수적인 작업에 대해서는 training event를 확보해야합니다. 예를 들어, 한 의료 학교에서 12 학년 핵심 임상 역량을 교육하기위한 도구를 개발하여 1 학년에서 3 학년까지의 의학 학생의 임상 적 추론을 강의합니다 (Kramen 2015).

Assess only a very small number of specific important behaviors. When this is done, direct observation is required, and it must be recorded immediately after the observation takes place. The use of OSCEs, standardized patients, and simulation settings may aid in this work. As they are so resource-intensive, training events should be saved for those tasks thought to be most relevant/essential to a particular specialty. For example, tools for training 12 Critical Clinical Competencies are being developed at one medical school, to teach first through third year medical students’ clinical reasoning (Klamen 2015).




역량, 이정표 및 COREEPA라는 이름으로 이미 소비 된 모든 노력은 어떻게 해야할까? 이러한 프레임 워크를 프로그램 계획 및 blueprinting작성에 사용하는 것이 좋습니다. 이러한 점에서이 점은 매우 유용 할 수 있습니다 (Williams 외 2015).

What of all the time and effort that has already been expended in the name of competencies, milestones, and COREEPAs? We suggest that these frameworks be used for program planning and blueprinting. They may be very useful in this regard (Williams et al. 2015).


(비록 불가능하지만) 모든 것을 측정하기 위해 미친 듯이 서두르지만 아주 적은 수의 특정 행동 만 측정하는 것으로는 충분하지 않을 수도 있지만 어둠을 저주하는 것보다 촛불을 켜는 것이 좋습니다 (The Phrase Finder 2015) . 현재 우리는 기반 시설, 시간, 자원 또는 faculty observation이 없음에도, 우리는 monolithic의 이상적이고 완전히 도달 할 수없는 시스템을 구축하려고합니다. 사실 우리는 촛불이 아닌 투광 조명 시스템을 설계하고 있지만, 시스템에 전원을 공급하기에는 전기가 불충분한 것과 같습니다. 이 기사는 의학 교육의 중요한 경향에 대해 다루고 있습니다. 지금의 의학 교육은 약점이 내재되어 있는 교육적 접근 방식을 마술처럼 극복 할 수 있는 것처럼 말하면서, 외부의 학문 분야를 무시하고 있다. 우리는 단순히 그렇게 할 수 없습니다. Holmboe & Batalden (2015)이 지적했듯이, 때로는 '공감대가 이데올로기에 접근 할 수 있기 때문에 사회적 신념을 반영하는 것보다 믿음을 더 많이 노래 할 수 있습니다.' 제목에서 알 수 있듯이, 우리가 역사를 무시하면 우리는 그것을 반복할 것입니다.

It may not seem sufficient to measure only a very small number of specific behaviors, given the mad rush to measure them all (even though that is impossible), but it is better to light a candle than curse the darkness (The Phrase Finder 2015). As it currently stands, we do not have infrastructure, time, resources, or faculty observation available, but we are trying to build a monolithic, ideal and totally unreachable system. We are, in effect, designing a system of floodlights rather than a candle, but we have insufficient electricity to power the system. This article addresses an important tendency in medical education, which is to ignore disciplines outside it as if we can magically overcome educational approaches with inherent weaknesses. We will simply be unable to do so. As Holmboe & Batalden (2015) point out, sometimes ‘consensus can approach ideology and thus become more a chant of faith...than a reflection of social reality’. As the title suggests, if we ignore history we may be condemned to repeat it.





AAMC. 2014. Core entrustable professional activities for entering residency. [Accessed 25 November 2015] Available from https://members.aam- c.org/eweb/DynamicPage.aspx?Action¼Add&ObjectKeyFrom¼ 1A83491A-9853-4C87-86A4-F7D95601C2E2&WebCode¼PubDetailAdd &DoNotSave¼yes&ParentObject¼CentralizedOrderEntry&ParentData Object¼Invoice%20Detail&ivd_formkey¼69202792-63d7-4ba2-bf4e- a0da41270555&ivd_prc_prd_key¼E3229B10-BFE7-4B35-89E7- 512BBB01AE3B).



ACGME. 2015. Milestones. [Accessed 22 May 2015] Available from https://www.acgme.org/acgmeweb/tabid/430/ProgramandInstitutional Accreditation/NextAccreditationSystem/Milestones.aspx.



Rice A. 2015. Analysis: RIP outcomes-based education and don’t come back. Daily Maverick 7-7-2010. [Accessed 20 May 2015] Available from http://www.dailymaverick.co.za/article/2010-07-07-analysis-rip-outcomes- based-education-and-dont-come-back/#.VVyWhUZWKap5.


ten Cate O, Scheele F. 2007. Competency-based postgraduate training: Can we bridge the gap between theory and clinical practice? Acad Med 82: 542–547.


Klamen DL. 2015. Getting real: Embracing the conditions of the third-year clerkship and reimagining the curriculum to enable deliberate practice. Acad Med 90(10):1314–1317.


Williams RG, Dunnington GL, Mellinger JD, Klamen DL. 2015. Placing constraints on the use of the acgme milestones: A commentary on the limitations of global performance ratings. Acad Med 90(4):404–407.






 2016 Sep;38(9):904-10. doi: 10.3109/0142159X.2015.1132831. Epub 2016 Jan 25.

Competenciesmilestones, and EPAs - Are those who ignore the past condemned to repeat it?

Author information

  • 1a Southern Illinois University School of Medicine , USA.

Abstract

BACKGROUND:

The idea of competency-based education sounds great on paper. Who wouldn't argue for a standardized set of performance-based assessments to assure competency in graduating students and residents? Even so, conceptual concerns have already been raised about this new system and there is yet no evidence to refute their veracity.

AIMS:

We argue that practical concerns deserve equal consideration, and present evidence strongly suggesting these concerns should be taken seriously.

METHOD:

Specifically, we share two historical examples that illustrate what happened in two disparate contexts (K-12 education and the Department of Defense [DOD]) when competency (or outcomes-based) assessment frameworks were implemented. We then examine how observation and assessment of clinical performance stands currently in medical schools and residencies, since these methodologies will be challenged to a greater degree by expansive lists of competencies and milestones.

RESULTS/CONCLUSIONS:

We conclude with suggestions as to a way forward, because clearly the assessment of competency and the ability to guarantee that graduates are ready for medical careers is of utmost importance. Hopefully the headlong rush to competenciesmilestones, and core entrustable professional activities can be tempered before even more time, effort, frustration and resources are invested in an endeavor which history suggests will collapse under its own weight.

PMID:
 
26805785
 
DOI:
 
10.3109/0142159X.2015.1132831
[PubMed - in process]


임상과학자프로그램 평가 - 커크패트릭을 넘어서. "효과가 있었나"와 "어떻게 효과가 생겼나" (Acad Med, 2011)

Going Beyond Kirkpatrick in Evaluating a Clinician Scientist Program: It’s Not “If It Works” but “How It Works”

Kathryn Parker, PhD, Gwen Burrows, MA, Heather Nash, and Norman D. Rosenblum, MD






의학교육계에서 (프로그램평가는) 흔히 프로세스보다는 Outcome을 강조한다.

In medical education, commonly used models and approaches emphasize the outcomes rather than the processes that lead to outcomes.1


여러 근거를 보면, well-constructed한 프로그램이라도 고등 수준의 행동변화를 얻어내는데 실패하는 경우가 많으며 이는 심지어 sophisticated learner에 대해서도 마찬가지다.

Evidence suggests that programs—including well-constructed ones—fail to demonstrate outcomes at the higher levels of behavioral change, even in sophisticated learners.7–11


Outcome-focused 모델은 프로그램의 이해관계자들에게 프로그램의 rationale, goal, 의도한 목표에 대한 정보 뿐만 아니라 그러한 성과를 내기 위한 input와 process에 대한 정보도 제공한다. 그러나 이러한 모델은 "프로그램 이론"에 대한 통찰은 거의 주지 못한다. 또한 의도하지 않은 성과를 잡아내지도 못한다. 따라서 성과-지향적 모델은 high-level의 프로그램 성과를 가능하게 했거나 불가능하게 만들어준 기저에 깔린 메커니즘을 이해하는데 거의 통찰을 주지 못한다.

Outcomes-focused models may provide program stakeholders with a common knowledge of the program’s rationale, goal, and intended outcomes—as well as the inputs and processes required to arrive at those outcomes. Yet, these models provide little insight into a program’s “theory”—that is, the processes by which it yields desired outputs and outcomes—and they do not capture unintended outcomes.12–14 Accordingly, outcome-focused models provide little insight into the underlying mechanisms that hinder or enable the achievement of higher-level program outcomes.


우리는 emergent and unintended outcome을 평가하는 것이 어떻게 교육프로그램을 usual, outcome-based method를 넘어서는 성과를 주는지를 평가해보고자 했다.

We investigated how evaluating emergent and unintended outcomes can informan educational program in ways that extend beyond the results of usual, outcome- based methods.



프로그램

The Program


CCHCSP : 의사과학자 양성 프로그램

The overarching objective of the CCHCSP is to educate a new generation of clinician scientists in child and youth health within an interdisciplinary model.


17개의 AHC

The CCHCSP is a partnership among 17 Canadian child-and-youth-health- focused academic health centers (AHCs).


주요 커리큘럼

CCHCSP trainees engage in a curriculum which consists of four major components:

  • Web- based learning modules,

  • interdisciplinary mini-symposia,

  • an annual national symposium, and

  • international meetings.


 

온라인 학습모듈(5개)

The five online learning modules focus on the following subject areas or content:

  • (1) research ethics and conflicts of interest,

  • (2) research design and clinical research practice,

  • (3) managing one’s career as a clinician scientist,

  • (4) oral and written communication, and

  • (5) knowledge translation.


미니심포지엄

The CCHCSP uses research exercises at mini-symposia as key elements for learning. A typical symposium focuses on a specific theme (e.g., “collaborating in research groups”) and consists of a series of keynote lectures, working seminars that address the theme, and small-group sessions that focus on pivotal questions, which again relate to the theme.


연례 심포지움

The annual national symposium, which takes place in a different Canadian city each year, also features workshops, but these focus on specific skill sets relevant to the emerging clinician scientist.





방법

Method


로직-모델 기반 평가

Logic-model-based evaluation of the CCHCSP


Soon after its creation, the CCHCSP developed an evaluation framework using a program logic model. This logic model (Chart 1) was created to serve as a communication tool for the program, to inform program development, and to serve the evaluation needs of program developers and funders.

 

 

 



정량적 평가

Quantitative assessment


Tools developed through the program’s logic model track whether graduates were sufficiently exposed to and engaged in the programto learn and develop transdisciplinary research skills. We examined participation rates in all program components.



정성적 평가

Qualitative assessment


평가위원회의 위원장

To further explore the achievement of goals, one of us, the evaluation committee chair of the CCHCSP (G.B.), conducted confidential, one-on-one, face-to-face exit interviews, each lasting about 30 minutes, with all program graduates, as well as with trainees who did not complete the program(see Appendix 1 for the exit interview questions). The interviewer (G.B.) summarized the resulting data using grounded theory methodology,16 and then we grouped and analyzed recurring themes.



결과

Results


샘플, 참여, 만족도

The sample, participation, and satisfaction


From 2003 to 2009, the program graduated 21 trainees, each of whom received training in one of seven different clinical disciplines: medicine (11 graduates), nursing (2), physical therapy (1), psychology (1), occupational therapy (2), speech language pathology (3), and dentistry (1).


다수가 네 개의 프로그램 요소에 참여

A large number of graduates engaged in each of the four program components (Table 1).


만족도는 높음.

Graduate satisfaction with the mini- symposia, as well as with the seven national symposia held between 2003 and 2009, was high. The average overall rating by all participants (including graduates) was 4.33 out of 5; the range was from a low of 4.2 in 2004 to a high of 4.5 in 2006.

 

 


 

프로그램 성과

Program outputs and outcomes


생산성

Productivity.


연구논문 출판, 초청발표, 펀딩

The number of peer-reviewed publications they produced, the number of invited presentations they gave, and the amount of funding they garnered (Table 2)


 

학제간 연구와 커리어

Interdisciplinary research and careers.


학제간 연구에 참여하였음.

Graduates’ research projects indicated that they engaged in interdisciplinary research as established investigators (a program outcome articulated in the logic model); the mean number of disciplines their research represented was 3.2, and the rangewas 2 to 8.


 

 


질적 탐구

Qualitative inquiry

 

학제간 연구에 대해 노출된 것이 중요한 프로그램 성과 중 하나였다. 더 나아가서 졸업생들은 CCHCSP가 연구 프로세스와 시스템에 대한 시야를 넓혀주었으며, 전문직 네트워크과 서포트 시스템을 늘려주었다고 하였음.

Table 3 provides a summary of the themes that emerged from the interviews regarding progra mgraduates’ experiences with and perceptions of the CCHCSP. We found that the ability of the CCHCSP to expose graduates to interdisciplinary research was a critical program outcome. Furthermore, graduates indicated that the CCHCSP broadened their perspectives about research processes and systems and increased their professional networks and support systems.

 

 

 


 

의도하지 않은 성과와 추가 탐구

Unintended program outcome and further inquiry


21명의 졸업생 중 14명이 프로그램이 자신들의 커리어를 준비할 수 있게 도와주는데 도움이 되었던 것으로 의사과학자의 역할을 이해하고 명확하게 해준 것을 꼽았다. 이는 의사과학자로서 자신을 이해하는데 기여하였다. 일부 졸업생들은 이러한 성과를 전문직 정체성 변화로 연결시켰다Professional identity alteration.

Fourteen of the 21 graduates (67%) said that one of the most important ways the program prepared them for their careers was to provide understanding and clarity about the clinician scientist role, which in turn contributed to their understanding of themselves as clinician scientists. Some graduates linked this outcome explicitly to professional identity alteration (Table 3, bottom row).



그러나, 면담에서의 정보는 값어치있는 것이긴 했지만 어떻게 프로그램이 의사과학자로서 self-identification을 향상시켰는지에 대해선 충분히 설명해주지 못한다. 

However, information from the interviews, although invaluable, was insufficient to explain how the program worked to effect enhanced self- identification as a clinician scientist.


앞서 언급한 것처럼, 우리는 문헌조사를 함.

As mentioned above, we conducted a search of the literature to find further information about professional identity.


그러나 우리는 기존 문헌에서 정립된 정체성이 있는 전문직이 새로운 정체성을 얻는지에 대한 이론을 찾지 못했다. 

However, we could not find any theory in the published health care literature on how professionals with an established identity acquire a new one—that is, how practicing clinicians may come to see themselves as clinician scientists.



Ibarra의 임시적-자기 이론

Ibarra’s theory on provisional selves


Herminia Ibarra의 임시적-자기 이론은 전문직은 "(아직 완전히 형성되지 않은 전문적 정체성인)임시적 자기"를 가지고 pseudo-trial- and-error process (유사 시도-실패 과정)을 거치며 새로운 정체성을 얻게 된다. 임시적 자기는 전문직이 새로운 역할을 가지게 되면서 constructed, rehearsed, and refined 되는 전문직 정체성이다. 임시적-자기는 다음의 시기에서 '임시적-자기'가 형성constructed 된다고 말했다.

Herminia Ibarra’s28 theory on provisional selves proposes that professionals adopt new identities through a pseudo-trial- and-error process of experimenting with “provisional selves” that are possible, yet not fully formed, professional identities. Provisional selves are new professional identities that are constructed, rehearsed, and refined as a professional takes on a new role. This provisional self is constructed during

“times of career change or transition, as people identify role models, experiment with unfamiliar behaviors, and evaluate their progress.”28

 

Ibarra는 전문직은 새로운 역할을 받아들이는 경우 세 개의 단순한 task에 참여하게 된다고 주장했다.

Ibarra asserts that professionals will engage in three simple tasks in the adaptation of new roles:

  • (1) 새로운 정체성을 찾기 위한 모델 관찰 observing role models to identify possible identities,

  • (2) 임시적-자기를 가지고 실험함 experimenting with provisional selves, and

  • (3) 이러한 실험을 내적 기준과 외적 피드백에 대해 평가함 evaluating these experiments against internal standards and external feedback.




CCHCSP를 위한 새로운 프로그램 이론.

A new program theory for CCHCSP


우리는 로직모델 데이터를 통합하고 문헌 결과를 합하여 전문직-정체성-변화에 대한 새로운 프로그램 이론을 도출하였다.

We merged logic model data (including qualitative information from exit interviews) and findings from the literature on professional identity change to articulate a new program theory or model for the CCHCSP (Figure 1).


 

우선 세 가지 critical components 를 통합하여 trainee는 의사과학자로서 자신을 찾아간다.

We hypothesize that the process by which this program works to enable a trainee to identify as a clinician scientist is first a synthesis of three critical components (Figure 1, Boxes 1–3).

  • 커리큘럼에 engage함. 다양한 전공과 연구분야의 동료들을 포함함.
    First, the trainee needs to engage in the curriculum(Figure 1, Box 1), which includes interacting with a group of peers from diverse clinical and research disciplines.

  • 이는 연구 성과로 이어짐
    Engagement in the curriculum, in turn, contributes to an increased productivity in research (Figure 1, Box 2).

  • 미니 심포지엄, 연례 심포지엄, 국제 미팅 등에서 정기적으로 결과물을 발표하고, 연구 프로세스에 참여함으로써 롤모델(멘토)를 관찰하고 함께 일할 기회를 얻게 됨. 이는 Ibarra의 이론에 따르면 임시적-자기로 실험을 하는 것과 같다.
    Engagement in the mini- symposia, the annual national symposium, and the international meetings where trainees regularly present their research, as well as engagement in the research process, provides the opportunity for trainees to work with and observe role models (mentors) which, according to Ibarra’s theory, enable the trainee to experiment with provisional selves (Figure 1, Box 3).


그 다음, trainee들이 이 '실험'을 할 때 (이 모델에서는 명확하게 밝혀지지 않은) 세 가지 source가 각 임시적-자기를 평가하는데 필요한 정보를 준다.

Next, as the trainee engages in this experimentation, three sources (not identified explicitly in the model) provide information to the trainee that informs the evaluation of each provisional self.


  • 외부 피드백: 다양한 교수와 연구자들로부터의 피드백
    The trainee evaluates his or her experiences against external feedback provided by various faculty or researchers. This external feedback (formal or informal in nature) may come from the trainee’s mentor, a peer, another faculty member, or from the program leaders.

  • 자기 스스로의 기준(내적 기준)
    The trainee also evaluates each provisional self against his or her own internal standards. If the provisional self is in accordance with these internal standards, full or partial adoption of the provisional self is more likely to occur.

  • 외적 기준. 프로그램이 정해준 기준, 시스템이 정한 기준, 여러 활동(투고, 연구비 수주 등)에서 얻은 기준. 이 시도-실패 과정은 반복적이고 역동적이다. 이 과정을 거치며 내적 기준이 변화하거나 강화된다.
    Finally, the trainee evaluates each provisional self against external standards. External standards may be those set by the program—but they may also be those that are set by the system in which a clinician scientist works and/or those that are learned through activities such as applying for grants, submitting manuscripts for publication, and seeking jobs. This trial-and-error process is an iterative and dynamic one. As each provisional self is evaluated against external feedback and internal standards, the trainee’s internal standards may be altered or reinforced. 


 

4. 이 평가 프로세스는 trainee의 연구에 대한 자신감과 흥미에 직접적으로 영향을 준다.

This process of evaluation directly influences the trainee’s confidence and interest in pursuing research (Figure 1, Box 4) and

5. 그 다음 의사과학자의 역할과 시스템의 역할에 대해 명확하게 이해하게 된다.

generates clarity of the role of the clinician scientist and of the system in which a clinician scientist works (Figure 1, Box 5).

 

6. 이 자신감/흥미는 trainee가 의사과학자가 될 것인지에 대한 결정에 중요하다.

This confidence/interest and this clarity are components necessary for the trainee to determine if he or she will identify as a clinician scientist (Figure 1, Box 6). (Notably, these two constructs— confidence/interest and role clarity— were also identified by the program’s logic model and exit interview data.)


7. 적극적으로 employment를 찾고

The trainee who identifies as a clinician scientist will actively seek employment in the role (Figure 1, Box 7), thus

 

8. 차세대 의사과학자로서 기여한다.

contributing to the next generation of clinician scientists (Figure 1, Box 8).


 


 

Table 3 Experiences, by Theme, of the 21 Program Graduates of the Canadian Child Health Clinician Scientist Program as Identified in Exit Interviews, 2003–2009



고찰과 결론

Discussion and Conclusions


인터뷰에서 수집된 정보는 Ibarra의 임시적-자기 이론과 부합한다. 두가지에서 공통적이었던 것은 전문직으로서의 정체성을 형성하거나 변화시키는데 중요한 것은 "네트워크와 멘토"라는 점이다. Ibarra는 "멘토"는 그 자체로 possible provisional self라고 했다. 즉, trainee가 멘토의 다양한 특징을 받아들이기 전에 시도(tries on)해 본다는 것이다. 비슷하게, 인터뷰에서도 멘토링과 네트워킹이 의사과학자로서 무엇이 필요한가를 이해하는데 핵심이었다. 비록 프로그램이 명시적으로 강력한 멘토링 요소를 포함시키기는 했지만, 보다 비공식적으로 이루어진 멘토링의 중요성이 확인되었다. Ibarra의 주장과 우리의 자료에서는 이 멘토-멘티 관계가 commonly held understandings를 전달하는데 중요하며, 의사과학자 커뮤니티의 문화적 규범은 졸업생이 자신을 의사과학자로서 정체성을 갖게 되는 과정에서 중요하다. 이러한 "잠재 교육과정"을 이해하는 것은 어떻게 이 프로그램이 "관측된 성과"를 가져오는지 이해하는데 중요하다.

Information that we collected from the interview data is consistent with assumptions in Ibarra’s theory on professional identity. Common to both is the importance of the network and mentor in establishing or changing a professional identity. Ibarra asserts that the mentor is a possible provisional self: that the trainee “tries on” various characteristics of the mentor prior to the adoption of any of these characteristics. Similarly, exit interview data indicate that the mentoring and networking provided by the programare key to achieving a greater understanding of what is required as a clinician scientist. Although the programexplicitly built in a strong mentoring component, the importance of more informal mentoring was also clearly evident. Ibarra asserts, and these data support, that this mentor–mentee relationship is critical for conveying commonly held understandings about, and the cultural norms of, the clinician scientist community, which are in turn vital to the process of graduates identifying themselves as clinician scientists, members of the community. Understanding this “hidden curriculum” (implicit in many programcomponents) provides insight into how this program works to bring about the observed outcomes.


우리의 결과와 Ibarra의 이론의 또 다른 공통점은 role clarity의 중요성이다. Ibarra는 trainee들은 임시적-자기를 시도해봄으로써 그 직업의 현실을 보다 잘 이해하고, 그 안에서 자신의 위치를 이해하게 된다. Role clarity는 면접에서 두드러지게 나타났다. 이 clarity를 얻는 과정을 거치며 trainee는 의사과학자가 되는 것이 바람직하지 않은 것이라고 판단내렸을 수도 있다. 이 성과는 프로그램의 로직 모델에서는 거의 다뤄지지 않지만, 프로그램의 실패를 errorneously view하는 것일 수 있다. 교육자들은 종종 그들의 교육적 노력이 의도한 성과를 내지 않으면 실패했다고 말한다. 사실 학습자가 성장과 발달의 과정에서 교육받기 이전에는 깨닫지 못했던 것을 깨닫게 해주는 능력(학습자는 자신이 환자를 보는 것을 더 좋아한다는 것을 깨달음)도 프로그램 성공의 지표가 될 수 있다.

Another commonality between our results and Ibarra’s theory is the importance of role clarity. Ibarra asserts that trainees try on provisional selves to gain a better understanding of the reality of the profession and their place in it. Role clarity was a dominant theme in the exit interviews. Through this process of obtaining clarity, a trainee might come to the conclusion that being a clinician scientist is not a role that is desirable. This outcome, rarely articulated in a program’s logic model, might be erroneously viewed as an indicator of the program’s failure. Educators often view their educational efforts as failures if predetermined outcomes (e.g., a participant does not pursue work as a clinician scientist) are not achieved. In fact, their ability to influence learners in their process of growth and improvement in ways that are not known a priori (e.g., a learner comes to realize she prefers to spend the majority of her time with direct patient care) should be viewed as an indicator of program success.




프로그램 개발자와 평가자로서 우리는 세 가지 핵심 교훈을 얻었다.

As program developers and evaluators, we learned three key lessons through this process.

  • 로직모델을 개발하는 것은 Sound 프로그램 기획과 평가의 부분이다.
    First, the development of a program’s logic model is part of sound program planning and evaluation. A small but worthwhile investment, it brings knowledge of the program to its key stakeholders and should be created at the outset.

  • 프로그램이론을 설명하는 것은 프로그램의 의도한 성과와 의도하지 않은 성과에 대한 이해를 준다
    Second, the articulation of a program’s theory provides a greater understanding of how the program brings about not only predetermined and intended outcomes but also unintended or emergent outcomes. Articulating the underlying theory is vital to program improvement and knowledge generation.

  • 프로그램 개발자의 open-ended level of inquiry와 a readiness to integrate the right people and perspectives 가 중요하다.
    Finally, the ability of program developers to bring both an open-ended level of inquiry and a readiness to integrate the right people and perspectives (e.g., theories, including those from the literature of other fields) leads to new hypotheses and research in educational programming.



 

Appendix 1

Exit Interview Questions Asked of Participants, Including Graduates, of the Canadian Child Health Clinician Scientist Program (CCHCSP), 2003–2009


Preamble

The purpose of this exit interview is to get a sense of your experience as a trainee within the CCHCSP, and your views on the strengths and weaknesses of program. Your answers will be kept confidential unless you give me permission to share specific feedback with [other investigators].

Over time I will be aggregating the information from the interviews and seeing if certain themes emerge.


1. What is your experience of the program? Please consider the following:

a. Your specific center and the activities at that center

b. The curriculum (Was it useful? What are some ways it can be improved?)

c. The interdisciplinary experience (Was that valuable? In what ways can it be improved?)

d. The national and mini symposia (Were they valuable? In what ways could they be improved?)

e. The mentorship you received (How was it different from other mentorship you have experienced? Were there any specific qualities to that relationship because it was part of the program?)

f. Salary (Was it important factor in your applying to CCHCSP? Why/why not?)


2. Are there any issues which you think the program needs to address and resolve? Are there any major problems with the program from your perspective?

3. What are the greatest strengths of the CCHCSP from your perspective?

4. How do you think having trained through CCHCSP has prepared you for your career as a clinician scientist?

5. [When relevant] Why did you choose to leave the program before completing it?



 2011 Nov;86(11):1389-96. doi: 10.1097/ACM.0b013e31823053f3.

Going beyond Kirkpatrick in evaluating a clinician scientist programit's not "if it works" but "how it works".

Author information

  • 1Holland Bloorview Kids Rehabilitation Hospital, and Department of Paediatrics, Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada. kparker@hollandbloorview.ca

Abstract

PURPOSE:

To explore how the Canadian Child Health Clinician Scientist Program (CCHCSP) works to achieve prearticulated and emergent outcomes.

METHOD:

In 2009, after gaining ethical approval from the Hospital for Sick Children, the authors examined quantitative data (e.g., participation in curriculum elements) to ensure sufficient exposure by trainees to the program and quantitative outputs (e.g., publications) to measure achievement of CCHCSP goals. They identified emergent outcomes through grouping and analyzing qualitative data generated through interviews with program graduates. Then, to explore possible theoretical explanations for the emergent findings, the authors conducted a literature review.

RESULTS:

Graduates participated in high rates in each component of the CCHCSP and produced publications, presented research, and received funding. Interview data revealed an unexpected outcome: that the CCHCSP helped graduates to form new professional identities. These data, along with theoretical assumptions from Ibarra's theory on professional identity change, informed a new theory or model for the CCHCSP.

CONCLUSIONS:

Early investment in building a program's logic model is invaluable for understanding program goals and for guiding program planning and development. Both employing a strategy that captures emergent program outcomes and investigating (e.g., through a literature search) why and how the program actually works to arrive at these outcomes informs the development and evaluation of future program offerings and may, as in the case of the CCHCSP, offer a new program model or theory.

PMID:
 
21952054
 
DOI:
 
10.1097/ACM.0b013e31823053f3
[PubMed - indexed for MEDLINE]


교육프로그램 평가(AMEE Guide no.29) (Med Teach, 2006)

AMEE Education Guide no. 29: Evaluating educational programmes


JOHN GOLDIE

Department of General Practice, University of Glasgow, UK




도입

Introduction


평가는 교육활동의 implementation and develop-ment 에 필수적이다. 영국에서 주류일반교육에서 평가의 관점이 최근 development에서 교사의 책무성과 교사평가로 옮겨갔다.

Evaluation is integral to the implementation and develop-ment of educational activities, whether national programmes,an individual school’s curriculum or a piece of work undertaken by a teacher with his/her students. In the UK the focus of evaluation in mainstream general education has seen a recent shift from development towards teacher accountability and appraisal (Kelly, 1989).



평가란?

What is evaluation?


Collins 영어사전에는 이렇게 되어있다. ‘‘the act of judgement of the worth of ...’’. 이처럼 평가는 본질적으로 가치를 수반하는 활동value-laden이다. 그러나 초기의 평가자들은 'value'에 관심을 두지 않았는데, 아마도 그들은 평가활동이 value-free할 수 있고, 그래야 한다고 생각했기 때문일 것이다. 모든 평가는 평가(평가자)의 목적/관점/신념에 따라 달라진다. social programming의 정치적 세계에서 value 없이 선택을 한다는 것은 불가능하며, 평가준거/수행능력기준/가중치판단 등에 있어서 중요해지고 있다.

Evaluation is defined in the Collins English Dictionary (1994)as ‘‘the act of judgement of the worth of ...’’. As such it is an inherently value-laden activity. However, early evaluators paid little attention to values, perhaps because they naively believed their activities could, and should, be value free(Scriven, 1983). The purpose(s) of any scheme of evaluation often vary according to the aims, views and beliefs of the person or persons making the evaluation. Experience has shown it is impossible to make choices in the political world of social programming without values becoming important in choices regarding evaluative criteria, perfor-mance standards, or criteria weightings (Shadish et al., 1991).


평가자의 가치는 종종 평가의 정의에서 드러나기도 한다. 

The values of the evaluator are often reflected in some of the definitions of evaluation which have emerged


  • Gronlund (1976), influenced by Tyler’s goal-based conception of evaluation, described it as ‘‘the systematic process of determining the extent to which instructional objectives are achieved’’.

  • Cronbach (Cronbachal., 1980), through reflection on the wider field of a set evaluation and influenced by his view of evaluators educators, defined evaluation as ‘‘an examination conducted to assist in improving a programme and other programmes having the same general purpose’’


종종 assessment와 상호교환적으로 사용되곤 한다.

In education the term evaluation is often used interchangeably with assessment, particularly in North America. While

  • assessment is primarily concerned with the measurement of student performance,

  • evaluation is generally understood to refer to the process of obtaining information about a course or programme of teaching for subsequent judgement and decision-making (Newble & Cannon, 1994).

 

Mehrens 은 assessment의 두 가지 목적을 아래와 같이 설명함.

Mehrens (1991) identified two of the purposes of assessment as:


  • 1. to evaluate the teaching methods used;

  • 2. to evaluate the effectiveness of the course.


따라서 assessment는 evaluation의 한 부분집합이라고 볼 수도 있으며, 프로그램에 관한 정보수집의 source로서 사용될 수 있다.

Assessment can, therefore, be looked upon as a subset of evaluation, its results potentially being used as a source of information about the programme.




평가의 역사

History of evaluation


Planned social evaluation 은 기원전 2200년 중국의 관료선발에부터 있어왔다.

Planned social evaluation has been noted as early as 2200 BC,with personnel selection in China (Guba & Lincoln, 1981).Evaluations chronicled during the last al., 200 1980; years have also al., been1983;(Cronbach Madaus et et Rossi & Freeman, 1985).

 

Modern evaluation은...아래의 것에 근간을 두고 있다.

Modern evaluation theories and practices, however, have their intellectual roots in the work of

  • Tyler (1935) in education,

  • Lewin (1948) in social psychology, and

  • Lazarfield (Lazarsfeld & Rosenberg, 1955)in sociology. 


이차대전 이후, 미국. 많은 자금의 투입

The main stimulus to the development of modern evaluation theories and practices, however, was the post-Second World War rapid economic growth in the Western world, particularly the United States, and the interventionist role taken by governments in social policy during the 1960s. With the increasing amounts of money being spent on social programmes there was the growing recognition that these programmes required proper evaluation, and mandatory evaluation was introduced.


초반에는 방법론에 집중

The earliest evaluation theorists, with little experience to reflect on, concentrated on methodology.


다양해짐. 프로세스에도 관심갖기 시작. 질적방법 활용 

Reflection on increasing experience led to the diversification and change of evaluation theories and practice. There was no longer an exclusive reliance on comparative, outcome studies. The quality of programme implementation and the causal processes mediating programme impact were also considered (Sechrest et al., 1979). This resulted in the greater use of qualitative methods in evaluation (Guba & Lincoln, 1981).

오랜 기간 평가는 학생들이 시험 보는 것과 같은 의미였음. 타일러, 블룸등은 선형적/위계적/객관적 모델을 주도함. 이러한 '산업화적' 접근으로부텉 다양한 시도가 이루졌고 formal evaluation strategies가 발달함.

In education, evaluation for centuries had been mainly equated with student testing (Popham, 1988). Tyler, argued that a programme should be judged on the extent to which students obtained mastery of the programme’s pre-stated objectives. Tyler’s work, (1962) together with the that of Bloom(1956) and Taba led to development of the linear, hierarchical, objectives model of curriculum planning, with its structure of aims-learning experiences–content–organization of learning-evaluation. This ‘indus-trial’ approach to curriculum planning influenced many of the attempts at curriculum evaluation in the 1960s, and also influenced the development of formal evaluation strategies (Holt, 1981). 


Cronbach의 주장: 개발과정에 필요한 판단에 초점을 두고, 개발자들에게 가치가 있어야 함.

Cronbach, in his 1963 article ‘Course improvement through evaluation’, argued that if evaluation was to be on of the value to curriculum developers it should focus decisions they faced during the development phase of their curricula. He also argued that evaluation should deal less with comparisons between programmes, and more with the degree to which the programme promoted its desired purpose(s).



더 많은 비용이 투입되면서 평가가 의무화되었고, 모든 커리큘럼 프로젝트에 대해서 formal evaluation은 필수적인 요건이 되었다.

As with social programming in general, with the increasing sums being spent on educational programmes in the United States mandatory evaluation was introduced. The requirement for mandatory evaluation of curriculum innovation crossed the Atlantic and formal evaluation was made an essential requirement of all curriculum projects by such funding bodies as the Schools Council (Kelly, 1989).


1970년대 초반, 평가가 교육프로그램을 더 효과적으로 만들줄 것이라는 믿음이 자라나고 있었으나, 이 optimism은 오래가지 못했다. 대부분의 중요한 교육적 결정에서 '근거'의 역할은 minor한 것에 지나지 않았고 그보다 주로 political, interpersonal milieu가 영향을 주었다.

By the early 1970s the field had grown rapidly, There was growing belief in the power of evaluation to transform poor educational programmes into highly effective programmes, and of the importance of evaluation results to decision-makers. However, this optimism of the early 1970s did not last. Experience showed that most educational decisions of importance, continued to be taken in political, interpersonal milieu, where evidence plays a minor role (Popham, 1988).



의사결정 프로세스의 political nature를 깨달은 뒤, 교육평가자들은 '교육자로서 평가자'라는 Cronbach의 관점을 인정하기 시작했다. 한 명의 의사결정자를 만족시키는 것이 아니라, "관련된 political community에 정보를 제공한다informing'는 것에 초점을 두어야 한다는 것이다. 그들은 또한 많은 평가 시도들이 잘 작동하지 않았지만, 소수는 작동했고, 퀄리티가 varying degree로 향상되었다는 것을 알게 되었다. Improvement는, 비록 조금일지라도, 가치있는 것이라고 인식하였다.

With the realization of the political nature of the decision-making process, educational evaluators began to embrace Cronbach’s view of the evaluator as an educator, in that he/she should rarely attempt to focus his/her efforts on satisfying a single decision-maker, but should focus those efforts on ‘‘informing the relevant political community’’(Cronbach, 1982b). They also realized that, while many of their attempts at evaluation did not work, some did and when they worked programme quality improved to varying degrees. Improvement, even when modest, was recognized to be valuable (Popham, 1988). 



프로그램 평가

Effecting programme evaluation



시작하기

Initiation/commissioning


평가하기로 결정하는 것이 첫 단계. 목적을 정해야 한다.

The initial stage of evaluation is where the institutions or individuals responsible for a programme take the decision to evaluate it. They must decide on the purpose(s) of the evaluation, and who will be responsible for undertaking it.



Table 1. Common reasons for understanding evaluation and common areas of evaluation activity (after Muraskin 1998). 

 


Chelimsky & Shadish 는 평가의 목적으로 세 가지를 말했다.

Chelimsky & Shadish (1997) suggest that the purposes of evaluation, along with the questions evaluators seek to answer, fall into three general categories: 


  • 1. 책무성을 위한 평가 evaluation for accountability;

  • 2. 지식을 위한 평가 evaluation for knowledge; 

  • 3. 개발을 위한 평가 evaluation for development. 

 


 

Coles & Grant 는 다양한 분야의 스킬이 필요함을 주장했다.

In order to produce an effective educational evaluation, Coles & Grant (1985) point out that skills from many disciplines, for example psychology,sociology, philosophy, statistics, politics and economics, may be required.




평가자의 역할 정의

Defining the evaluator’s role


 

This is important to establish a sit will influence the decision-making process on the goals of the evaluation, and on the methodology to be used.



평가의 윤리

The ethics of evaluation



평가의 윤리는 평가자만의 책임이 아니다. 평가를 지원sponsor하는 사람과 청중 모두 그 책임을 공유한다.

The ethics of an evaluation, however, are not the sole responsibility of the evaluator(s). Evaluation sponsors,participants and audiences share ethical responsibilities.

 

 

House는 다섯 가지 윤리적 실수를 언급했다.

House (1995) lists five ethical fallacies of evaluation: 


  • 1. Clientism—the fallacy that doing whatever the client requests or whatever will benefit the client is ethically correct.

  • 2. Contractualism—the fallacy that the evaluator is obliged to follow the written contract slavishly, even if doing so is detrimental to the public good.

  • 3. Methodologicalism—the belief that following acceptable inquiry methods assures that the evaluator’s behaviour will be ethical, even when some methodologies may actually compound the evaluator’s ethical dilemmas.

  • 4. Relativism—the fallacy that opinion data the evaluator collects from various participants must be given equal weight, as if there is no bias for appropriately giving the opinions of peripheral groups less priority than that given to more pivotal groups.

  • 5. Pluralism/Elitism—the fallacy of allowing powerful voices to be given higher priority, not because they merit such priority, but merely because they hold more prestige and potency than the powerless or voiceless.


이를 바탕으로 Worthen 등은 아래의 기준을 제안했다.

Drawing on these, Worthen et al. (1997) have suggested the following standards could be applied: 


  • 1. Service orientation—evaluators should serve not only the interests of the individuals or groups sponsoring the evaluation, but also the learning needs of the programme participants, community and wider society.

  • 2. Formal agreements—these should go beyond producing technically adequate evaluation procedures to include such issues as following protocol, having access to data, clearly warning clients about the evaluation’s limitations and not promising too much.

  • 3. Rights of human subjects—these include obtaining informed consent, maintaining rights to privacy and assuring confidentiality. They also extend into respecting human dignity and worth in all interactions so that no participants are humiliated or harmed.

  • 4. Complete and fair assessment—this aims at assuring that both the strengths and weaknesses of a programme are accurately portrayed. 

  • 5. Disclosure of findings—this reflects the evaluator’s responsibility to serve not only his/her client or sponsor, but also the broader public(s) who supposedly benefit from both the programme and its accurate evaluation.

  • 6. Conflict of interest—this cannot always be resolved. However, if the evaluator makes his/her values and biases explicit in an open and honest way clients can be aware of potential biases.

  • 7. Fiscal responsibility—this includes not only the responsibility of the evaluator to ensure all expenditures are appropriate, prudent and well documented, but also the hidden costs for personnel involved in the evaluation.


그러나 평가자들의 다양한 교육적 배경과 소속이 다양하고 종종 상충하는 ethical code를 따라야만 하게끔 만든다. 이러한 다양성pluralistic으로 인해서 아직 consensus ethical code는 없다.

However, the various educational backgrounds and professional affiliations of evaluators can result in them practising under several different and potentially conflicting ethical codes (Love, 1994). Given the pluralistic nature of those involved in evaluation, and the wider society, it is little wonder a consensus ethical code has not yet emerged.



질문 고르기

Choosing the questions to be asked


Shadish 이 다양한 질문세트를 제안함

Shadish et al. (1991) supply a useful set of questions for evaluators to ask when starting an evaluation. These cover the five components of evaluation theory and provide a sound practical basis for evaluation planning (boxes 1–5). 

 

 

Box 1: Questions to ask about Social programming


Box 2: Questions to ask about use


Box 3: Questions to ask about knowledge construction


Box 4: Questions to ask about valuing


Box 5: Questions to ask about evaluation practice



 

 


 

평가 설계

Designing the evaluation


평가의 차원: Stake는 여덟개의 차원을 제안함

Dimensions of evaluation.


Stake (1976) suggested eight dimensions along which evaluation methods may vary:


  • (1) Formative–summative: This distinction was first made by Scriven (1967). Formative evaluation is undertaken during the course of a programme with a view to adjusting the materials or activities. Summative evaluation is carried out at the end of a programme. In the case of an innovative programme it may be difficult to determine when the end has been reached, and often the length of time allowed before evaluation takes place will depend on the nature of the change. 

  • (2) Formal–informal: Informal evaluation is undertaken naturally and spontaneously and is often subjective. Formal evaluation is structured and more objective. 

  • (3) Case particular–generalization: Case-particular evaluation studies only one programme and relates the results only to that programme. Generalization may study one or more programmes, but allow results to be related to other programmes of the same type. In practice results may lend themselves to generalization, and the attempt to formulate rules for case study recognizes that generalizing requires greater control, and more regard to setting and context (Holt, 1981).

  • (4) Product–process: This distinction mirrors that of the formative–summative dimension. In recent years evaluators have been increasingly seeking information in the additional area of programme impact.

    • (a) Process information: In this dimension information is sought on the effectiveness of the programme’s materials and activities. Often the materials are examined during both programme development and implementation. Examination of the implementation of programme activities documents what actually happens, and how closely it resembles the programme’s goals. This information can also be of use in studying programme outcomes.

    • (b) Outcome information: In this dimension information is sought on the short-term or direct effects of the programme on participants. In medical education the effects on participants’ learning can be categorized as instructional or nurturant. The method of obtaining information on the effects of learning will depend on which category of learning outcome one attempts to measure.

    • (c) Impact information: This dimension looks beyond the immediate results of programmes to identify longer-term programme effects. 

  • (5) Descriptive–-judgmental: Descriptive studies are carried out purely to secure information. Judgmental studies test results against stated value systems to establish the programme’s effectiveness.

  • (6) Pre-ordinate–responsive: This dimension distinguishes between the situation where evaluators know in advance what they are looking for, and one where the evaluator is prepared to look at unexpected events that might come to light as he/she goes along.

  • (7) Holistic–analytic: This dimension marks the boundary between evaluations, which looks at the totality of a programme, from one that looks only at a selection of key characteristics.

  • (8) Internal–external: This separates evaluations using an institution’s own staff from those that are designed by, or which require to satisfy, outside agencies. Choosing the appropriate design


 


 


 

적절한 설계 고르기

Choosing the appropriate design


Shadish 는 평가이론이 도움이 된다고 했음

Shadish et al. (1991) advocate that evaluation theory can help tell us when, where and why some methods should be applied and others not. 

 

Cronbach 는 평가자들이 방법을 고를 때 다방면에 걸쳐야한다eclectic해야 하며, 특정 방법에 과도하게 집착하면 안된다고 했다.

Cronbach (1982a) advises evaluators to be eclectic in their choice of methods, avoiding slavish adherence to any particular methods.

 

Rossi & Freeman 는 'good enough' 법칙을 주장했다. "평가자는 가능한 가장 좋은 디자인을 골라야 하며, 실용성과 실행가능성, 가용자원, 평가자의 전문성을 고려해야 한다."

Rossi & Freeman (1985) advocate the ‘good enough’ rule for choosing evaluation designs: ‘‘The evaluator should choose the best possible design, taking into account practicality and feasibility . . . the resources available and the expertise of the evaluator’’, a view echoed by Popham (1988).


 


Table 3. Common quantitative and qualitative methods and instruments for evaluation. 



 

 

평가 계획과 수행 시 일곱 개의 가이드라인

He proposes seven technical guidelines for the evaluator in planning and conducting his/her evaluation:


  • (1) Identify the tasks to be done.

  • (2) Identify different options for doing each task.

  • (3) Identify strengths, biases and assumptions associated with each option.

  • (4) When it is not clear which of the several defensible options is least biased, select more than one to reflect different biases, avoid constant biases and overlook only the least plausible biases.

  • (5) Note convergence of results over options with different biases.

  • (6) Explain differences of results yielded by options with different biases.

  • (7) Publicly defend any decision to leave a task homogenous.


평가 접근법

Approaches to evaluation


 

Worthen 은 여섯 개 카테고리를 주장함

One of the most useful was developed by Worthen et al. (1997), influenced by the work of House (1976, 1983). They classify evaluation approaches into the following six categories:


  • (1) Objectives-oriented approaches—where the focus is on specifying goals and objectives and determining the extent to which they have been attained.

  • (2) Management-oriented approaches—where the central concern is on identifying and meeting the informational needs of managerial decision-makers.

  • (3) Consumer-oriented approaches—where the central issue is developing evaluative information on ‘products’, broadly defined, for use by consumers in choosing among competing products, services etc.

  • (4) Expertise-oriented approaches—these depend primarily on the direct application of professional expertise to judge the quality of whatever endeavour is evaluated.

  • (5) Adversary-oriented approaches—where planned opposition in points of view of different evaluators (for and against) is the central focus of the evaluation.

  • (6) Participant-oriented approaches—where involvement of participants (stakeholders in the evaluation) is central in determining the values, criteria, needs and data for the evaluation.


 

House의 utilitarian to intuitionist-pluralist 차원에 배치할 수 있다.

These categories can be placed along House’s (1983) dimension of utilitarian to intuitionist-pluralist evaluation (Figure 1).

 


Figure 1. Distribution of the six evaluation approaches on the utilitarian to intuitionist–pluralist evaluation dimension.


 

Fig1의 배치는 약간 arbitrary하다.

Placement along the dimension is to some degree arbitrary. As at evaluation is conducted multifaceted can be different phases of a programme’s deve-lopment, the same evaluation approach can be classified in diverse ways according to emphasis. 









Table 4. Examples of approaches that predominantly fit into Worthen et al.’s categories (1997). 


 

 

 

 

 

 


Table 5. These are considered under the following headings after Worthen et al. (1997):




 

결과의 해석

Interpreting the findings


 

자료를 모았으면 그 다음은 해석이다. Analysis and Explanation의 두 단계

Having collected the relevant data the next stage in evaluation involves its interpretation. Coles & Grant (1985)view this process as involving two separate, though closely related activities: analysis and explanation. 


'관측의 오류'에 대한 인식이 늘어나면서 자료 수집에 다양한 방법을 사용하게 되었다. 같은 자료를 다수의 평가자가 분석하고, confirmatory보다는 exploratory mode로 분석한다.

Growing consciousness of the fallibility of observation is reflected in the growth of multiple methods of data collection,in having multiple investigators analyse the same data set, andin doing data analysis in more of an exploratory than confirmatory mode (Glymour & Scheines, 1986).


 

질적, 양적 방법을 모두 사용하면 창의적 긴장을 만들 수 있다.

When both qualitative and quantitative methods are used in the same study results can be generated that have different implications for the overall conclusion, leading to creative tension which may be resolved only after many iterations (Hennigan et al., 1980). 



평가의 사회적 요소들, 평가방법의 오류를 인식하면서 평가질문과 방법을 비판적으로 검토하게 되었다.

Recognition of the social components of evaluation knowledge and the fallibility of evaluation methodologies has led to methods for critically scrutinizing evaluation questions and methods. These include:

  • commentaries on research plans by experts and stakeholders;

  • monitoring of the implementation of evaluations by government bodies and scientific advisory bodies;

  • simultaneous funding of independent evaluations of the same programme;

  • funding secondary analyses of collected data;

  • including comments in final reports by personnel from the programme evaluated; and

  • forcing out latent assumptions of evaluation designs and interpretations, often through some form of adversarial process or committees of substantive experts (Cook, 1974; Cronbach, 1982a). 


Scriven 의 평가체크리스트

Scriven (1980) developed the Key Evaluation checklist, a list of dimensions and questions to guide evaluators in this task(Table 6). 


 

 


Table 6. Key evaluation checklist.


 


평가 결과의 배포

Dissemination of the findings


어떻게, 누구에게 보고할 것인가

Again Shadish et al.’s questions on evaluation use (box 2)are of value in considering how, and to whom, the evaluation findings are to be reported.


다음을 고려하라 Coles & Grant

Coles & Grant (1985) list the following considerations:


  • (1) 청중의 선호 보고서 스타일 Different audiences require different styles of report writing

  • (2) 청중의 관심사 The concerns of the audience should be reviewed and taken into account (even if not directly dealt with).

  • (3) 청중이 늘어나면 토론의 영역을 제한하거나, 일부 요점을 생략할 필요가 있다.
    Wide audiences might require restricted discussion or omission of certain points.

  • (4) 언어, 단어 사용 The language, vocabulary and conceptual framework of a report should be selected or clarified to achieve effective communication.


Hawkridge 는 결과 전파의 장애요인으로 다음을 꼽음

Hawkridge (1979) identified three possible barriers to successful dissemination of educational research findings: 


  • (1) 청중의 FOR로 결과를 translate하는 것.
    The problem of translating findings into frames of reference and language which the target audience can understand. However the danger in translating findings for a target audience is that the evaluator may as a result present the findings in a less than balanced manner.

  • (2) 기득권에 위협이 되는 경우
    If the findings are threatening to vested interests, they can often be politically manoeuvred out of the effective area.

  • (3) '과학적', 실증주의적 접근. 아직 질적연구방법은 'soft'하다고 여겨지고 설득력이 낮다
    The ‘scientific’, positivistic, approach to research still predominates in most academic institutions, which may view qualitative research methods and findings as ‘soft’, and be less persuaded by their findings. As qualitative methods receive greater acceptance this is becoming less of a problem.


Influencing decision-making


 

평가자가 교육적 의사결정에 영향을 미칠 수 있는 방법

Coles & Grant (1985) suggest the following ways in which evaluators can effect the educational decision-making process: 


  • (1) involving the people concerned with the educational event at all stages of the evaluation;

  • (2) helping those who are likely to be associated with the change event to see more clearly for themselves the issues and problems together with putative solutions;

  • (3) educating people to accept the findings of the evaluation, possibly by extending their knowledge and understanding of the disciplines contributing towards an explanation of the findings;

  • (4) establishing appropriate communication channels linking the various groups of people involved with the educational event;

  • (5) providing experimental protection for any development, allocating sufficient resources, ensuring it has a realistic life expectancy before judgements are made upon it, monitoring its progress;

  • (6) appointing a coordinator for development, a so-called change agent;

  • (7) reinforcing natural change. Evaluation might seek out such innovations, strengthen them and publicize them further.




결론

Conclusions



평가자는 정치적 맥락을 알고 있어야 함.

Evaluators have to be aware of the political context in which many evaluations take place and of their own values and beliefs. 


각 접근법의 한계를 알고 있어야 하며, 다양한 평가법을 선택해야 함.

evaluators should be aware of the limitations of individual evaluation approaches and be eclectic in their choice of methods. The ‘good enough’ rule is worth remembering.


결과를 리뷰할 때, 'that improvement, even when modest,is valuable.'라는 역사의 교훈을 기억해야 함.

On reviewing the results of his/her endeavour it is important for the educational evaluator to remember the lesson history teaches: that improvement, even when modest,is valuable. 


 

 

 

 

 

 

 

 

 




 2006 May;28(3):210-24.

AMEE Education Guide no. 29: evaluating educational programmes.

Author information

  • 1Department of General Practice and PrimaryCare, Community Based Sciences, University of Glasgow, UK. johngoldie@fsmail.net

Abstract

Evaluation has become an applied science in its own right in the last 40 years. This guide reviews the history of programme evaluation through its initial concern with methodology, giving way to concern with the context of evaluation practice and into the challenge of fitting evaluation results into highly politicized and decentralized systems. It provides a framework for potential evaluators considering undertaking evaluation. The role of the evaluator; the ethics of evaluation; choosing the questions to be asked; evaluation design, including the dimensions of evaluation and the range of evaluation approaches available to guide evaluators; interpreting and disseminating the findings; and influencing decision making are covered.

PMID:
 
16753718
 
DOI:
 
10.1080/01421590500271282
[PubMed - indexed for MEDLINE]


보건전문직 교육에서 프로그램 평가에 대한 생각: '효과가 있었나?'를 넘어서 (Med Educ, 2013)

Rethinking programme evaluation in health professions education: beyond ‘did it work?’

Faizal Haji,1–3 Marie-Paule Morin2,4 & Kathryn Parker1,5






도입

INTRODUCTION


지난 40년간 health professions에서 프로그램 평가는 '커크패트릭의 위계'를 도입함으로서 형성되어왔다. 이 모델이 널리 쓰인 이유는 자명하다. 이 모델은 평가와 관련된 판단을 내리는데 명확한 taxonomy를 제공해주며, 가장 관심이 있는 outcome을 위계의 가장 윗쪽에 두는 복잡하지 않은 구조를 활용하였다.

For nearly 40 years, programme evaluation in the health professions has been shaped by the wide- spread adoption of the Kirkpatrick hierarchy.1,2 The reason for the model’s predomi- nance is evident: it provides a clear taxonomy for making evaluative judgements, utilising an uncomplicated structure that places the outcomes of greatest interest at the top of the hierarchy.


현재의 실망의 대부분은 교육과정 intervention이 (주 관심 성과에) 제한된 효과만이 있었다는 것과 연관이 있다. 예컨대 CME프로그램의 메타분석을 보면 higher-level 성과에 대해서는 매우 작은 효과만이 있다(의사의 행동이나 환자진료). 우리의 프로그램들이 의도한 성과에 대해서 최소한의 효과만 가진다는 것에서 내릴 수 있는 결론은 둘 중 하나이다. 우리가 하는 일 중에서 차이를 만드는 것은 거의 없거나, 기존의 평가모델이 우리가 관심있는 효과를 잡아내기에 부적절하거나.

Much of the current consternation relates to the limited impact curricular interventions have had on primary outcomes of interest.7 For instance, meta- analyses of continuing medical education pro- grammes repeatedly show small effects on higher- level outcomes, such as physician behaviours and patient care.8,9 The realisation that our programmes have demonstrated minimal effects on our intended outcomes leads to one of two conclusions: either little of what we do makes a difference, or our existing evaluation models are inadequate to capture the effects we are interested in.


최근 BEME movement가 일면서, 프로그램평가의 목적을 'to place value on an activity,10 or to demonstrate its ‘merit or worth’라고 했다. 그러한 판단을 내리는데 필요한 우리의 능력은 프로그램의 효과성을 평가하는데 있으며, 이 때 우리는 '효과적이다'라는 말을 ‘inescapably linked to the outcomes of our educa- tional interventions’의 의미로 사용한다. 다른 말로 하자면, 우리는 우리가 '사전에 결정한 성과'를 달성한 프로그램을 '성공적인 프로그램'이라고 생각한다.

In the wake of the best evidence medical education (BEME) movement that has emerged in recent years,2 we have defined the purpose of programme evaluation to be to place value on an activity,10 or to demonstrate its ‘merit or worth’.11 Our ability to make such judgements rests principally on the evaluation of the effectiveness of our programmes, in which what we define as ‘effective’ is ‘inescapably linked to the outcomes of our educa- tional interventions’.6 In other words, we consider a successful educational programme as one that has achieved its predetermined outcome(s).


그러나 성과바탕적 접근에 대한 exclusive reliance를 필수불가결하게 여기는 것은 지나치게 좁은 관점이며, health professions education 과 관련된 맥락의 복잡성을 다 설명해주지 못한다. 따라서 최근 몇 년간 HPE문헌에서 context, process, theory를 고려한 다른 대안적 모델이 나오는 것도 이상하지 않다.

However, an exclusive reliance on outcomes-based approaches as the sine qua non of evaluation is too narrow in scope and cannot account for the complexities of the health professions education context. It is not surprising, therefore, that in recent years an increasing number of published reports in the health professions education literature have utilised alternative models of evaluation that consider factors such as a programme’s context, process and theory.



merit or worth를 판단하는 것에만 머무르는 것이 아니라, 교육프로그램을 진화하는 맥락의 관점에서 도입하고자 하는 교육과정개발자를 위한 reliable, valid, useful 정보를 생성하는 것이다. 또한 HPE연구자들은 ‘inform the efforts of others’할 수 있는 지식을 만들고 싶어한다.

it is not just about judging merit or worth, but also about generating reliable, valid and useful information for curriculum developers seeking to adapt pro- grammes in the light of evolving contexts, and health professions education researchers seeking to generate knowledge that can ‘inform the efforts of others’.13


우리는 imperative of proof를 넘어서, clarification studies로 나아가야 하며, 여기서는 왜 어떤 intervention이 작동하였는지, 작동하지 않았는지를 묻는 것이고, (의도한 것 외에) 무슨 일이 발생했는지 묻는 것이다.

we must move beyond the ‘imperative of proof’12 to focus on ‘clarification studies’14 that additionally ask how and why our interventions do (or do not) work, and seek to establish what else is happening when our programmes are imple- mented.


흥미롭게도 50년 전 비슷한 패러다임의 전환이 있었다.

Interestingly, a similar paradigm shift occurred within the discipline of educational programme evaluation nearly 50 years ago.



교육프로그램 평가의 역사

HISTORICAL ROOTS OF EDUCATIONAL PROGRAMME EVALUATION: A PARALLEL TO THE HEALTH PROFESSIONS



타일러는 '사전에 계획된 목표를 달성하는 프로그램의 효과성'의 관점에서 quality를 정의하였다. 이러한 타일러의 패러다임은 사전에 결정된 objectives와 planned outcome을 비교하는 선형적, 위계적 접근법.

Although early evaluation efforts date back to the late 1800s, programme evaluation as a discipline devel- oped earliest and most intensely within the field of education. Evaluation scholars often cite Ralph Tyler’s coining of the term ‘educational evaluation’ in the 1930s and 1940s as a landmark event in the development of the modern profession and disci- pline.15,16 Following his work on the Eight-Year Study, Tyler came to view evaluation as the appraisal of an educational programme’s quality.17 Defining quality in terms of a programme’s effectiveness in achieving its predetermined goals,18 the Tylerian paradigm called for a linear, hierarchical approach that compared planned outcomes with objectives defined a priori.


 

러시아가 스푸트니크호를 발사하고 미국은 국가적 혼란에 빠지게 됨. 교육과정을 전면적으로 확장하고, 타일러식 접근방법으로 이 새로운 교육과정의 목표를 정의하여 국가적 표준화시험으로 평가함. 자본이 교육에 유입되어 프로그램의 효과성을 평가하기 시작하였고, Campbell과 Stanley의 저서에 영향을 받아 대규모의 field-experiment가 새롭게 개발된 교육과정이 계획된 성과를 얼마나 달성했는지에 관한 평가에 활용되었다.

The Russian launch of the Sputnik satellite in 1957 precipitated a national crisis in the USA. Reflecting an effort to compete on a global scale, the National Defense Education Act was passed, leading to the rapid expansion of educational programmes in math, science and foreign languages.19 The Tylerian approach was adopted to define objectives for this new curriculum and national standardised tests were created to better reflect these objectives and curric- ular content. With the infusion of capital into education came a desire to evaluate the effectiveness of these programmes.19 Influenced by the writings of Campbell and Stanley,20 large-scale field experiments were used to evaluate the newly developed curricula with respect to planned outcomes.


그러나 '유의한 효과 없음'을 보여주는 연구가 많았다. 심지어 유의한 효과를 보여줄 때에도 프로그램의 본질nature 혹은 어떻게 프로그램이 도입되었는지에 대한 정보가 거의 없었다. 1960년대 후반 학자들에게 있어서 현재의 접근법은 '어떻게 프로그램을 개선할 수 있는지' '프로그램의 효과성에 관한 질문' 등을 전혀 대답해주지 못했다.

Despite best efforts, these hugely expensive and widely attempted experimental studies often demon- strated ‘no significant difference’.15 Even when significant results were reported, little information was provided on the nature of the programme and the manner in which it was implemented. Analogous to the results of ‘grand curricular experiments’21 in medical education that have recently been called into question, by the late 1960s it was apparent to leading evaluation scholars that this approach neither pro- vided insight to decision makers on how to improve programmes, nor adequately addressed questions about a programme’s ‘effectiveness’.19


 

익숙하지 않은가?

The reader may now be experiencing an uneasy sense of familiarity.



 

성과-지향적 접근의 '효과성'을 확인하는데 초점을 둔 평가는 과거와 비슷한 패턴에 빠지게 한다. 그 결과 프로그램의 성패에 관한 유의미한 understanding을 만들어낼 수 없다.

Focusing evaluations on demonstrating the ‘effectiveness’ of our interventions through an outcome-oriented approach has caused us to fall into the same pattern as evaluation scholars of the past; as a result, we too have failed to generate meaningful understanding of the factors that lead to the success or failure of a programme and the interactions of these factors within the complex, multivariate system that epitomises health professions education.




프로그램 평가에 대한 현재의 패러다임

EVOLUTION OF CONTEMPORARY PARADIGMS IN PROGRAMME EVALUATION: UNDERSTANDING HOW AND WHY PROGRAMMES WORK


Tylerian age에 개발된 전통적인 평가 접근법의 한계로 인해 학자들은 낙담한다. 그 결과 1960년대 후반부터 패러다임의 이동이 발생한다.

As a result of the shortcomings of traditional evalu- ation approaches that developed in the Tylerian age, many evaluation scholars became disheartened with the status quo. Consequently, beginning in the late 1960s a number of paradigm shifts occurred in the theory and practice of educational evaluation.


 

첫 번째 패러다임 시프트는 평가의 목적은 의사결정을 위해 improvement-oriented된 , 사용자-중심의 정보를 이해관계자들에게 제공하는 것이라고 본 학자들.

One of the first paradigm ‘shifts’ to occur during this critical period was catalysed by a group of evaluation theorists who believed that the primary purpose of evaluation was to provide improvement-oriented, user-centred information to stakeholders for the purposes of decision making. A number of evaluation models, including

  • Daniel Stufflebeam’s CIPP (con- text, input, process, product) model,22

  • Robert Stake’s responsive evaluation,23,24 and

  • Michael Patton’s util- isation-focused evaluation (UFE),25

developed within this paradigm.

 

 

이들에게 프로그램이 작동하는 교육적맥락은 평가 질문, 평가 방법, 평가결과의 해석에 중요한 역할을 한다. 추가적으로 평가질문을 이해관계자의 요구에 맞춤focusing으로써 교육성과 뿐만 아니라 프로그램의 implementation에 관여되는 교육적 프로세스의 중요성을 고려하기 시작하였다. 예컨대 CIPP모델에서는 '우리가 옳게 하고 있는가?' '우리가 하기로 했던 것을 하고 있는가?'를 확인한다.

For these evaluators, the educational context in which a programme operates plays a significant role in the articulation of evaluation questions, evaluation methods and interpretation of evaluation findings. In addition, by focusing evalua- tion questions on the needs of programme stake- holders, these models bring to the fore the importance of considering the educational processes involved in programme implementation, in addition to measuring outcomes.24 For instance, in Stuffle- beam’s CIPP model,22 the evaluation of educational processes (the first ‘P’) involves asking ’are we doing it correctly?’ (or, to put it another way, ‘Did we do what we said we would?’) to determine whether programmes are delivered in the manner in which their designers intended.


 

Steinert 등이 CIPP모델을 프로페셔널리즘 평가에 관한 교수개발 프로그램 평가에 활용한 사례. 맥락과 프로세스를 평가하였음.

Addi- tionally, Steinert et al.26 used the CIPP model to evaluate a faculty development programme for teaching and assessing professionalism. Their evalu- ation of programme context and process, which consisted of surveys and informal interviews with stakeholders, revealed that

  • the identification of core concepts,

  • the provision of a structured framework forteaching and evaluating professionalism, and

  • the analysis of case vignettes in small groups

...were particularly useful for participants.26

 

이 요소들이 positive outcome에 기여한 것으로 보임.

It would appear that these factors contributed to the positive out- comes observed by the authors, which included an increase in medical education activities for trainees directed at professionalism, as well as the incorpora- tion of these concepts into the clinical practice and teaching of faculty participants.26



Reeves and Freeth는 유사한 모델로 3P (presage, process, product) model을 활용하여 in-service IPE 프로그램을 평가함. 이렇게 context와 process 지향적 방식으로 어떻게 프ㅗ그램이 작동하여 의도한 성과를 내도록(혹은 내지 못하도록) 했는지 알 수 있다.

Utilising a similar model known as the 3P (presage, process, product) model, Reeves and Freeth27 demonstrated the vital importance of contextual factors in relation to a lack of continuity of leadership and engagement of senior management in the failed long-term viability of an in- service interprofessional education programme for community mental health teams. In this way, such context- and process-oriented approaches can pro- vide insight into how programmes operate to bring about (or fail to bring about) their intended out- comes.


 

그러나 이해관계자의 의사결정 니즈에만 초점을 둔 평가는 프로그램의 프로세스에 관한 중요한 정보를 주지만, 왜 그 프로그램이 작동하였는가를 설명해주지 못한다. 따라서 의도한 결과를 내지 못했을 때, 그 결과에 대해서 거의 설명해줄 수 있는게 없다. 이러한 문제는 1970년대 중반~1980년대 등장한 theory-based evaluation paradigm에 의해서 해소되었다. 이 패러다임은 왜 프로그램이 성공하거나 실패하는가를 이해하는데 목적이 있어서 이를 knowledge construction 이라고 할 수도 있고, 메커니즘을 밝히기 위한 '블랙박스'를 연다라고 할 수도 있다.

One of the limitations of focusing evaluation solely on the decision-making needs of stakeholders is that although such evaluations may provide valuable information regarding programme processes, they fail to inform us about why programmes work. Thus, if programme processes fail to produce their intended effects, there is little explanation for this result. Fortunately, this issue is addressed by the theory- based evaluation paradigm, which emerged during the mid-1970s and 1980s through the work of Huey-Tsyh Chen, Stewart Donaldson and others.30 The main purpose of theory-based evaluation is to understand why a programme is succeeding or failing, for the purposes of programme improvement and ‘knowledge construction’.31 In other words, theory-based evaluations seek to unpack the ‘black box’ by identifying mechanisms that mediate between programme processes and intended outcomes30 in the hope that these findings can be generalised to similar programmes in similar situations. 


뉴턴의 사과를 사용한 비유

To illustrate this type of evaluation, consider the law of universal gravitation. In Newton’s classic observa- tion of an apple falling from a tree, the final position of the apple can be viewed as an ‘outcome’; the characteristics of the apple, the tree and the earth as the ‘context’, and the path of the apple as it falls through the air as the ‘process’. However, under- standing each of these facets does not adequately inform us about why the apple falls. Only by articu- lating the existence of an attractive force (gravity) and its action upon the apple can we adequately explain the mechanism by which the apple gets from the tree to the ground. Similarly, proponents of theory-based evaluation argue that to generate an understanding of why programmes operate in the way they do, evaluators must articulate (and subsequently evaluate) a ‘plausible and defensible’32 conceptual framework (i.e. theory) that explains the mechanism by which programme processes lead to outcomes.



theory-based evaluation의 순서

Thus, a theory-based evaluation would

  • 개념적 프레임워크를 설명함
    begin with an articulation of the conceptual framework that underlies programme design,

    • 기획자가 왜 그 프로그램이 작동할 것인지에 대해 이해했던 것에 기반
      based on programme designers’ and evaluators’ understandings of why the programme will work.

    • 이론은 무엇이 일어날지를 예측함
      In this way, the theory serves as a prediction and answers the question of what will happen.

  • 예측에 기반하여 평가를 위한 variable과 design을 경정하고 프로그램을 시행함  
    Based on this prediction, pertinent evalua- tion questions, variables and designs are identified and an implementation plan is generated.

  • 프로그램이 articulated theory대로 도입되었는지를 먼저 봐야 한다. 그렇지 않으면 '도입/시행의 실패'
    The evaluative phase first considers whether programme implementation is consistent with the articulated theory because when it is not, a ‘failure of imple- mentation’ can occur.30

  • 무작위 실험이나 통계기법 등으로 인과관계(이론과 의도한 성과 사이의)를 분석함.
    Subsequently, through the simultaneous use of randomised experiments and advanced statistical techniques (such as structural equation modelling),16 causal linkages between pro- gramme theory and intended outcomes are evalu- ated.

  • 계획대로 잘 도입/시행되고 의도한 결과가 달성되면, 평가자는 process와 outcome을 이어주는 mechanism을 이론적으로 설명할 수 있게 됨.
    Thus, when the implementation plan is carried out correctly and the desired results are achieved, the evaluator can conclude that the stated theory accounts for the mechanism linking the programme processes to the observed outcomes.


이 패러다임에서 적절한 이론을 선택하는 것은 프로그램에서 무엇을 달성하고자 하는가에 달려있다. 새로운 staff의 학습과 행동 변화를 목적으로 하는 프로그램이라면 learning and behaviour change 와 관련된 이론이 적합하다. Hodges and Kuper 가 주장한 바와 같이, 세 가지 프로그램이론의 classification이 가능하다.

In this paradigm, the selection of an appropriate theory for a given programme is largely dependent on what the programme hopes to achieve. For instance, the programme’s objectives are to facilitate the learning of new staff and to promote behaviour change to ensure best practices are followed. Thus, theories concerning both learning and behaviour change are likely to be mechanistically relevant to this pro- gramme. As Hodges and Kuper argue,33 three classi-fications of programme theory are applicable in the health professions context:

  • bioscience theories (e.g. theories related to motor learning and cognitive load),

  • learning theories (e.g. situated learning, adult learning theories and socio-cognitive theory), and

  • socio-cultural theories (e.g. critical and politico-eco- nomic theories).


평가로부터 얻은 understanding은 기존의 이론 위에 구축built되어서 어떻게 학생이 학습하는지, 무엇이 복잡한 시스템 내에서 행동변화의 동기를 유발하는지에 대한 우리의 이해를 확장시켜줄 수 있다. 따라서 이러한 접근법을 HPE에 적용하는 것은 명확하고, 많은 학자들이 요구하고 있다.

The understanding garnered from evaluations that are built on these theories can further our understanding of how students learn and what motivates behavioural change within complex systems. Thus, the applicability of this approach to health professions education is clear and, not sur- prisingly, many scholars have already called for an increase in theory-based approaches.1,34,35




Chen의 program theory 모델을 의학교육펠로우십 프로그램에 활용하면서 Park 등은 program theory가 program element 사이의 밝혀지지 않은 tension을 드러내어줄 수 있음을 보여주었다.

Interestingly, in an attempt to operationalise Chen’s model of programme theory32 to the evaluation of a medical education fellowship programme, Parker et al.34 demonstrated that the consideration of programme theory may unearth previously undefined tensions within programme elements. In a creative approach to address this tension, the authors engaged a secondary process known as ‘polarity management’,34 drawn from the organisational development literature, to deepen their understand- ing of this tension and how it related to the core strengths of the programme. In doing so, they were able to unravel another layer of the programme’s theory and thus a better understanding of how not only intended, but also unintended and emergent outcomes of the programme came to be.


 

 

복잡성을 수용하기: emergence 평가

EMBRACING COMPLEXITY: EVALUATING EMERGENCE TO ESTABLISH WHAT (ELSE) HAPPENED


앞서 programme theory, 프로세스, 성과를 설명하였다. 같은 조건에서는 같은 결과가 나올 것이라고 가정했을 때, 이러한 접근법은 '단순화된' '일반화가능한' 진실을 생성해줄 수 있다. 그러나 교육적 intervention은 singular entity가 아니며, 상호작용하고 항구히 변화는 context내에서 예측불가능한 무수한 역동적 요소들로 이루어져 있다. 따라서 '실제로 무슨 일이 일어났는가'를 고려하지 않는다면 complexity를 정확히 설명할 수 없다. 즉, '그것 말고 또 무슨 일이 발생했지?'를 묻지 않는다면 의도하지 않은 프로세스와 성과를 잡아낼 수 없다.

The paradigms we have discussed thus far rely heavily on articulating programme theory, processes and outcomes in advance of implementation. Based on the assumption that events occurring under the same conditions will produce similar results, this approach attempts to generate simplified, generalisable ‘truths’ that can be broadly applied to curriculum-level interventions.12 Yet educational interventions are not singular entities;36 they consist of a myriad of dynamic components that interact in complex, non-linear ways, influenced by ever-changing contexts, in which unpredictability is the rule. Thus, the lack of consid- eration of what is actually happening in the moment (as opposed to what we predict will happen based on our goals) limits our capacity to account for com- plexity. In other words, as these paradigms fail to ask ’what (else) happened?’, they cannot capture the unintended processes and outcomes that emerge as programmes are operationalised. We need only consider the impacts of the hidden curriculum in undergraduate medical education to understand how a failure to capture unintended effects can lead to evaluations that may well miss the mark.



emergence를 잡아내야 할 필요성은 초창기부터 있었다. Michael Scriven은 'goal-free evaluation'을 1970년대 초반에 발표하였는데, 그의 관점에서 평가의 주된 목적은 프로그램에 value를 place하는 것이다. 그러나, 그는 또한 평가자들은 의도한 것이든 아니든 프로그램의 actual effect를 고려해야 한다고 말했다.

Fortunately, the need to capture ‘emergence’ was recognised by evaluation theorists early in the evolu- tion we have been tracing. Among the first to do so was Michael Scriven, who presented his formulation of ‘goal-free evaluation’ in the early 1970s.16 Scriven’s perspective is that the primary purpose of evaluation is to place value on a programme, or to judge its merit or worth.37 However, he argues that to adequately do so, evaluators must consider the actual effects of a programme, whether they were intended or not.37


이것은 프로그램의 효과성에 대한 판단을 내릴 때 planned and unplanned outcome을 모두 고려하는 것의 중요성을 강조한다. 이러한 개념의 중요성은 health care professionals에게 명확한데, 비유하자면 치료법의 잠재적 부작용은 전혀 고려하지 않은 채 효과성만 판단하는 것이다.

it highlights the importance of considering not only planned outcomes, but unplanned (i.e. emergent) ones as well when making judgements regarding a pro- gramme’s effectiveness. The importance of this con- cept should be readily apparent to health care professionals, as the analogous circumstance of judging the effectiveness of a proposed treatment without considering its potential side-effects would obviously be inadequate.


Emergence 은 UFE 패러다임에서도 등장하였다. 이 개념의 이름에서도 드러나듯, 프로그램 디자이너의 요구를 충족시키기 위한 접근법으로, 프로그램에 관한 판단을 내리는데 관심이 있는 것이 아니라, 그들(디자이너들)이 개발하고 있는 것에 관한 함의를 이해하는데 관심이 있었다.

Emergence has also gained prominence in the evolution of the UFE paradigm. This stems princi- pally from Michael Patton’s work in the mid-1990s on the concept of ‘developmental evaluation’.38 As its name suggests, this approach evolved from a desire to better serve the needs of programme designers, who were interested not in making judgements about their programmes, but in understanding the impli- cations of what they were developing. These designers...

‘never expect to arrive at a steady state of program- ming because they’re constantly tinkering as partic- ipants, conditions, learnings, and contexts change…[and] no sooner do they articulate and clarify some aspect of the process than that very awareness becomes an intervention and acts to change what they do’.38



전통적인 UFE가 프로그램 디자이너의 요구를 충족시키는 데 한계가 있음을 깨닫고, Patton은 development와 evaluation 프로세스 사이에 시간적 구분을 두지 않는 접근법을 만들었다. 평가자는 개발팀의 핵심적인 part가 되며, 디자이너들이 프로세스와 성과가 급변하는 환경 속에서 드러나는emerge대로 모두 모니터할 수 있도록 돕는다. 목적 자체가 developmental process에 필요한 모든 정보를 제공하는 것에 있기에, 방법론적 접근법은 그 상황에 가장 적합한게 무엇이냐에 따라 달라진다(질적, 양적, 혼합)

Recognising the limitations of traditional UFE in addressing the needs of programme designers, Pat- ton articulates an approach in which there is no temporal distinction between the development and evaluation process. The evaluator becomes an inte- gral part of the development team,38 helping designers to monitor both processes and outcomes as they emerge from the evolving, rapidly changing environment; evaluation literally occurs in the moment. As the focus is on providing whatever information is needed for the development process, the choice of methodological approach is based on what is most appropriate for the situation. This can include

  • quantitative methods (such as structured, numerically anchored stakeholder surveys),

  • qualitative methods (e.g. interviews, focus groups and structured stake- holder conversations such as those defined by the ORID [objective, reflective, interpretive, decisional] model39)

  • or, in most cases, mixed methods which combine these approaches.


Patton의 formulation은 '하겠다고 계획한 것을 했는가'라는 질문 뿐 아니라 '그 밖에 어떻게 프로그램이 작동하는가'라는 질문에 답할 수 있게 한다. 즉, 어떻게 참가자/디자이너/이해관계자/맥락이 프로그램에 adapt하며, 어떤 추가적인 프로세스가 그 결과로서 emerge하는가?

Patton’s formu- lation38 provides an avenue by which to answer not only the question of whether we did what we said we would, but also to establish how (else) the pro- gramme is operating. That is, how did participants, programme designers, other stakeholders and the context itself adapt to the programme, and what additional processes emerged as a result?


이러한 emergent process를 잡아내는 것이 중요하다

It would be important to capture these ‘emergent processes’ in the evaluation of the programme so that future programmes could be planned to include both new and experienced staff.


 

 

'이론-기반 평가'가 진화하면서 'emergence'라는 개념도 포괄하기 시작했다. 1990년대 Ray Pawson은 'realist evaluation이라는 접근법을 주장하면서 '실세계의 지저분함'을 인정해야 한다고 했다. '한 사람이 같은 강을 두 번 밟을 수 없다'라는 말처럼, 이 관점은 프로그램에 대해 사전에 결정된 이론만으로는 emergent process를 모두 설명할 수 없다고 주장한다.

The evolution of theory-based evaluation has also embraced the notion of emergence in recent years. In the late 1990s, Ray Pawson and colleagues articulated an approach known as ‘realist evaluation’, which acknowledges and accommodates the ‘messiness of real-world interventions’.36 In line with the notion that one can never step twice into the same river (i.e. the context in which our interventions operate is changed merely by our interventions operating within them), the realist view contends that relying solely on programme theories articulated a priori is inadequate to explain the emergent processes and outcomes that result from programme implementation.

 

 

비유

From our example of the universal law of gravity, consider the instance of a leaf falling from the tree, rather than an apple. It is conceivable that instead of falling directly to the ground, a leaf might land 20 feet away (an emergent outcome). Upon observing the leaf, we recognise that although it eventually falls to the ground, it takes a tortuous route, floating through the air before reaching its final resting place (an emergent process). Our planned theory (gravity) cannot explain how the leaf came to rest so far away from the tree.


planned theory에만 의존하는 것은 부적절한데, 의도한 성과가 달성되지 않았을 때 의지할 곳이 없기 때문이다. 심지어 의도한 성과가 달성되었더라도, 그것을 설명하는 다수의 메커니즘이 있을 수 있다. realist evaluation에서 program theory는 '반복적인, 설명-설계 프로세스'로서 발생하는 프로세스와 outcome을 실시간으로 관측하면서 하나 이상의 이론을 도출하고 구성한다. 이 formulation은 데이터가 새로 emerge 할 때마다 지속적으로 비교되고 revise된다. 그러나 emergent theory만 보는 것이 가장 효율적인 것은 아니며, planned and emergent theory를 같이 봐야 한다.

As such, relying solely on planned theory is inade- quate because it leaves the evaluator with no recourse when planned outcomes are not achieved (in the absence of an ‘implementation failure’ to explain this finding). Even when intended outcomes are ob- served, there are often multiple mechanisms that can explain how this came to be. In realist evaluation, articulation of a programme theory is thus viewed asan ‘iterative, explanation-building process’.36 As the programme is implemented, the evaluator observes processes and outcomes as they occur, identifying and constructing one or more theories that might explain the mechanism between them. This formu- lation is constantly compared against emerging data and iteratively revised to ensure that it explains the findings. As the programme theory is articulated based on what is happening in the moment, we have termed this ‘emergent theory’. However, it is impor- tant to note that a realist evaluation that only considers emergent theory may not be the most efficient approach. When programme designers andevaluators have a sense of (some of) the mechanisms at work within a programme, the combined use of planned and emergent theory may provide a better understanding.


비유

Returning to our example of the leaf falling from the tree, using this approach we would be able to consider the possibility of other forces, such as wind or air resistance (our emergent theory) acting in concert with gravity (our planned theory) on the leaf to better account for ‘what (else) happened’.



관련해서, Parker는 로직모델과 근거이론을 활용하여 연구함.

In a related approach, Parker et al.,1 developed a strategy for evaluating a clinician- scientist training programme using both the logic model and grounded theory methodology to capture planned processes, as well as planned and emergent outcomes.


교훈: 프로그램평가의 새로운 개념

LESSONS LEARNED: A RECONCEPTUALISATION OF PROGRAMME EVALUATION IN THE HEALTH PROFESSIONS


 

planned outcome에만 초점을 두는 평가전략은 충분하지 못하다. contemporary한 평가패러다임을 도입하여야 하며, 왜냐하면 그렇게 하지 않으면 선형적, 융통성없는 접근법을 쓰게 될 것이고 의사결정/지식생성/가치판단에 필요한 정보를 얻지 못하기 때문이다.

It is evident that an evaluation strategy that focuses solely on planned outcomes will not be sufficient to meet the needs of programme evaluators in the health professions moving forward; thus, we must continue to incor- porate contemporary evaluation paradigms into our evaluation efforts because failure to do so will cause us to promote a linear, inflexible approach to evaluation42 that will not provide the necessary information for decision making, knowledge generation, or judgement of the merit or worth of our interventions.



이 요소들과 관계를 그림 1에 넣었다.

We have summarised these elements, and the relationships among them, in Fig. 1. In brief:

 


1 To address the question of how a programme works, evaluators must capture not only pro- gramme outcomes, but also programme processes.


2 An understanding of why a programme works requires an evaluation of programme theory to elucidate the mechanisms that can explain how programme processes lead to programme out- comes.


3 To truly understand what (else) happened, it is not sufficient to rely solely on the articulation of planned theory, processes and outcomes. The evaluator must also capture emergence, in terms of both processes and outcomes, and generate emergent theory to explain what is occurring in articulo (in the moment).


4 It is also important to acknowledge that all programmes operate within an educational con- text, which must be considered for any evaluation to be complete. Furthermore, simply by virtue of programme delivery, this context will change; capturing this change is essential for the plan- ning of future programme iterations.



두 이론, 프로세스, 성과 사이의 관계는 절대 선형적이지 않다.

the links between planned and emergent theory, processes and outcomes are far from linear. A planned process may lead to a planned outcome, but can just as easily result in an emergent (unintended) outcome. Similarly, an emergent process may result in an emergent outcome, or by some previously undefined mecha- nism, the planned outcome as well.



따라서 프로그램평가의 접근법은 '완벽한 모델'을 향한 보물찾기가 아니다. 프로그램평가는 'reflective exercise'로서 평가자가 스스로 가진 내재적 bias를 인지하고, 접근법의 가장 적절한 조합을 찾는 과정이다. 이를 통해서 모델과 방법 사이의 선택은 either/or가 아니라 both/and가 되어야 한다.

Thus, the choice of an approach to programme evaluation is not so much a treasure hunt for the ‘perfect model’ as it is a reflective exercise in which the evaluator recognises the inherent biases associated with his or her selection and decides on the most appropriate combination of available approaches. In this way, the choice between models (and methods) that emerge from these paradigms should not be viewed as an ‘either ⁄ or’ choice, but rather as a ‘both⁄ and’ selection.


 

마지막으로, 우리는 의도적으로 이 discussion에서 prescriptive하지 않으려 했다.

On a final note, although we have purposely avoided being prescriptive in this discussion, we would be remiss if we did not point out the few fundamental changes we feel need to be made to the way we conduct evaluations in the health professions. Firstly, instead of treating evaluation as a snapshot endeav- our that occurs after programme delivery, we must consider programme evaluation as a process in and of itself. In parallel with the notion of ‘programmes of assessment’, which has appeared in the health professions literature of late,43 we must similarly move towards ‘programmes of evaluation’.

 

평가는 다수의 이해관계자를 포함하고, 다수의 방법을 사용하여, 프로그램의 life 동안 발생하는 것들을 모두 포함해서 프로그램과 그 효과에 관한 holistic understanding을 만들어야 할 뿐만 아니라, 어떻게 그 프로그램이 작동하는 맥락이 프로그램의 존재 자체로서 변화하게 되는지까지 알수 있어야 한다. 이를 위해서는 development와 evaluation의 임의적 구분을 두고자 하는 생각을 끊어내야 한다. 이 두 가지 활동은 한 동전의 양면과 같은 것이다.

In recog- nition of the maxim that the whole is greater than the sum of its parts, evaluations must involve multiple stakeholders, use multiple methods, and occur throughout the life of the programme (right from conception, through to planning, delivery and revi- sion) to generate a holistic understanding not only of the programme and its effects, but also of how the context in which the programme operates is changed by its presence. To do so effectively, we must relinquish our bonds to the arbitrary distinction between the process of development and that of evaluation; instead, we must see these activities as two sides of the same coin, each of which informs the other in a continuous, iterative process that leads to incremental programme change.




CONCLUSIONS


health profession에서 전통적 성과-기반 모델은 부적절하다

It is clear that programme evaluations using tradi- tional ‘outcomes-based’ models are inadequate for the health professions context.


These elements have allowed us to address not only the fundamental question of whether our programme worked, but also the issues of how it worked, why it worked and what (else) happened.



 




1 Parker K, Burrows G, Nash H, Rosenblum ND. Going beyond Kirkpatrick in evaluating a clinician scientist programme: it’s not ‘if it works’ but ‘how it works’. Acad Med 2011;86 (11):1389–96.


33 Hodges BD, Kuper A. Theory and practice in the design and conduct of graduate medical education. Acad Med 2012;87 (1):25–33.


34 Parker K, Shaver J, Hodges B. Intersections of creativity in the evaluation of the Wilson Centre Fellowship Programme. Med Educ 2010;44 (11):1095–104.


24 Curran V, Christopher J, Lemire F, Collins A, Barrett B. Application of a responsive evaluation approach in medical education. Med Educ 2003;37 (3):256–66.





 2013 Apr;47(4):342-51. doi: 10.1111/medu.12091.

Rethinking programme evaluation in health professions educationbeyond 'did it work?'.

Author information

  • 1Wilson Centre, University of Toronto, Toronto, Ontario, Canada. faizal.a.haji@gmail.com

Abstract

CONTEXT:

For nearly 40 years, outcome-based models have dominated programme evaluation in health professions education. However, there is increasing recognition that these models cannot address the complexities of the health professions context and studies employing alternative evaluation approaches that are appearing in the literature. A similar paradigm shift occurred over 50 years ago in the broader discipline of programme evaluation. Understanding the development of contemporary paradigms within this field provides important insights to support the evolution of programme evaluation in the health professions.

METHODS:

In this discussion paper, we review the historical roots of programme evaluation as a discipline, demonstrating parallels with the dominant approach to evaluation in the health professions. In tracing the evolution of contemporary paradigms within this field, we demonstrate how their aim is not only to judge a programme's merit or worth, but also to generate information for curriculum designers seeking to adapt programmes to evolving contexts, and researchers seeking to generate knowledge to inform the work of others.

DISCUSSION:

From this evolution, we distil seven essential elements of educational programmes that should be evaluated to achieve the stated goals. Our formulation is not a prescriptive method for conducting programme evaluation; rather, we use these elements as a guide for the development of a holistic 'programme of evaluation' that involves multiple stakeholders, uses a combination of available models and methods, and occurs throughout the life of a programme. Thus, these elements provide a roadmap for the programmeevaluation process, which allows evaluators to move beyond asking whether a programme worked, to establishing how it worked, why it worked and what else happened. By engaging in this process, evaluators will generate a sound understanding of the relationships among programmes, the contexts in which they operate, and the outcomes that result from them.

PMID:
 
23488754
 
DOI:
 
10.1111/medu.12091
[PubMed - indexed for MEDLINE]


의학교육에서의 과목평가 (Teaching and Teacher Education, 2007)

Course evaluation in medical education

Jennifer R. Kogana, Judy A. Sheab,






1. 도입

1. Introduction

 

다음과 같은 내용을 다룰 것.

(1) briefly consider the dis- tinctive features of medical education compared to higher education and the implications these differ- ences may have on course evaluation,

(2) present a framework for course evaluations,

(3) review some of the important details that shape the evaluation process,

(4) present key measurement issues that are important in implementing and interpreting course evaluation data, and

(5) briefly discuss opportu- nities for expanding the scope of medical education research regarding course evaluations.




2. 의학교육의 유니크한 특징들

2. Unique features of medical education


Medical education differs from most of higher education in four important ways that will impact on course evaluation.

  • 첫째, 임상교육이 큰 부분 포함되어 있다. 교육방식이 다르고, 따라서 과목평가도 달라야 한다.
    First, a great portion of medical education involves clinical teaching. In this type of teaching, somewhat analogous to advanced independent studies and graduate work using a preceptor model, the look and feel of a course is somewhat different than in a preclinical setting. Thus, the course evaluation will also be somewhat different.

  • 둘째, 전임상 교육과정에서도 과목 내에서 구조가 다르다. 의학교육의 과목은 대형강의와 소그룹의 조합으로 이뤄진다. PBL 등. 또한 과목을 organize하는 교수들은 교육의 일부만을 담당한다. 따라서 다수의 teacher들의 교육스킬과 스타일이 뒤섞여서 과목의 특징으로 나타난다.(multi-instructor precli- nical courses)
    Second, even in the pre-clinical curriculum, there is a difference in the structure within courses. within medical education courses, courses are often taught in a combination of large lectures and small groups. Many schools have adopted problem-based learning (PBL) curricula that is dominated by small group learning (Dolmans, DeGrave, Wolfhagen, & van der Vleuten, 2005). Additionally, courses are sometimes orga- nized by an individual who does only a portion of the teaching. Thus, it is important to disentangle what may be features of the course such as organization and structure from the teaching skills/style of multiple teachers. An example of an evaluation system used for multi-instructor precli- nical courses may serve as a model (Leamon & Fields, 2005).

  • 세 번째 차이는, 학생의 과목과 교수자 선택권이 적다는 것이다. 소수의 selective와 elective를 제외하면, 학생들은 과목 선택의 기회가 매우 적다.
    A third difference between medical education and higher education is students’ freedom to select courses and instructors. In medical education the curriculum is prescribed and outside of a few selectives and electives, students have minimal opportunity to select courses (both pre- clinical and clinical) and/or teachers.
  • 네 번째는 더 큰 범위의 커리큘럼의 구조가 다르다.
    The fourth way in which courses within medical education differ from higher education is in the structure of courses within the larger curriculum. 

    • 통합교육과정. 각각의 teacher 뿐 아니라, overarching organization도 평가해야 한다.
      courses such as anatomy, pathology, pharmacology, and pathophysiology are entirely integrated. When designing an evaluation system for such a curriculum, it becomes important to not only evaluate individual teachers, but to recognize the need to evaluate larger issues such as the overarching organization of the curriculum,

    • 다수의 교수자. 학습자와 교수자 간 노출(만나는) 길이가 다양하다는 점을 고려해야 한다.
      Separating features of the course from those of the teacher seems particularly important when courses are taught by multiple instructors. Appropriate interpretation of results may very well need to take into account the variable length of exposure between the learner and the teacher. In integrated curricula it is vitally important to make sure course directors and learners similarly define the ‘‘course.’’



3. 프레임워크와 기본원리

3. Framework and basic principles


그림 1.

Fig. 1 depicts a framework that can help to define and organize course evaluation.


시작점은 평가의 대상focus이 되는 '과목'을 정의하는 것이다. 평가의 단위‘‘unit of evaluation’’는 다양할 수 있다.

Naturally, the starting place is defining the ‘‘course,’’ that is, the focus of the evaluation. As discussed previously, the ‘‘unit of evaluation’’ may be a lecture series, may include small group and independent learning sessions, or may be a clinical rotation.


 


 

4. 왜 과목을 평가하는가?

4. Why evaluate courses?



다양한 이유가 있다.

  • The first question to ask is why a course is being evaluated. There are many important reasons to do so, including curriculum evaluation,

  • accreditation,

  • feedback to course directors/organisers,

  • improve- ment of the educational content and educational methods with the aim of improving student learning and

  • collection of data to facilitate the faculty appointment and promotion process.


'왜' 평가를 하는지가 '무엇'을 평가하는지 영향을 준다.

Most directly, the ‘‘why’’ answer influences the content (‘‘What’’question). For example,

  • if the primary goal is overall curriculum evaluation then the questions one asks might be about learners perceptions of their preparedness for the course and how well the material within this particular course is integrated with that which was taught previously.

  • If the focus is feedback to faculty, then the balance of questions might be focused on individual teachers’ coherency,ability to present material in an understandable fashion, and receptivity to student questions.

  • If the focus is on course content, it might be decided that the best-informed evaluators (the ‘‘who’’ question)are peers rather than students. 



5. 무엇을(누구를) 평가하는가?

5. What (who) is evaluated?


 

'잠재교육과정'에 대한 평가가 점차 중요해지고 있다.

In medical education,evaluation of the ‘‘hidden curriculum’’, (defined as‘‘the commonly held understandings, customs,rituals, and taken-for-granted aspects of what goes on in the life-space we call medical education ... training institutions, cultural entities and moral communities intimately involved in construction definitions about what is ‘‘good’’ and what is ‘‘bad’’in medicine (Haidet, Kelly, & Chou, 2005)) is increasingly component being recognized as an important(Hafferty,of curriculum evaluation 1998; Haidet et al., 2005; Lempp & Seale, 2004). 




현재까지 대부분의 과목평가가 '프로세스'에 초점을 두고 있다.

To date, the majority of course evaluation focuses on process. When evaluating processes the content of an evaluation may focus on topics such as

  • organization, availability, clarity and understanding of course objectives,

  • quality of materials such as textbooks and readings, and

  • perhaps fairness/comprehensiveness of the learners’ evaluation methods (i.e., tests).

 

Other features of a course, especially within medical education include

  • learners’ perceptions of appropriate placement of a course within the curriculum and

  • relevance of a course to clinical education. 



과목평가는 교육의 효과성과 관련될 수 있다.

Course evaluation evaluation can be related to learner of teaching effectiveness (Litzelman, Shea, Wales, & Kogan, 2005).

  • 고등교육에서의 평가도구 Forms such as the Course Experience Questionnaire (CEQ) used in higher education have demonstrated validity in the medical education setting during preclinical courses (Broom-field & Bligh, 1998).

  • 임상교육 평가도구. 교육효과성의 7가지 카테고리 With respect to clinical teaching, Litzelman has examined and refined an instrument to evaluate clinical teaching which is based on seven categories of teaching effectiveness:

    • establishing a positive learning environment,

    • con-trol of the teaching session,

    • communicating goals to the learner,

    • promoting understanding and retention,

    • evaluation of achievement of goals,

    • feedback to thelearner and

    • promotion of self directed learning1998).(Litzelman, Stratos, Marriot, & Skeff, 




global assessment를 할 것인지 vs multi-item, multi-dimensional한 scale을 사용할 것인지

As evaluations are developed to assess teaching effectiveness, it must be determined whether a global assessment of teaching effectiveness will be made or if a multi-item, multi-dimensional scale will be used. 


어떻게 평가를 하든, systematic review를 보면 임상교육의 평가는 두 가지 domain으로 이뤄진다 - interpersonal and clinical teaching domains. 반대로, 학생의 교육효과성에 대한 다른 연구들에서는 multi-dimensional 이 더 적합하다고 제안한다.

Whether learners’ evaluations of teachers reflect global or multi-dimensional assessment has been addressed in the medical education literature. systematic review by Beckman (Beckman, Ghosh, Cook,Erwin, & Mandrekar, 2004) suggests that evalua-tion of clinical teaching is primarily comprised of two domains—interpersonal and clinical teaching domains. In contrast, other studies of student ratings of teaching effectiveness suggest that a multi-dimensional assessment is most appropriate(Hayward et al., 1995; James, Kreiter, Shipengro-ver, & Crosson, 2002; Litzelman et al., 1998).


흥미롭게도, 어떤 학생들은 자신이 teaching performance평가를 위한 훈련이 안되어있다고 생각한다.

Interestingly, some students believe that they have not been trained to evaluate teaching performance (Afonso, Cardoza, Mascarensas, Aranha, & Shah, 2005).


임팩트나 효과성에서 평가하는 것들

Impact or effectiveness outcomes might include

  • determinations of whether the pro- gram has improved the educational skills of its students (i.e. approaches to learning, communica- tion skills, information gathering skills),

  • prepared students effectively for their clinical career roles (i.e. professional behavior), or

  • changed the educational environment (scholarship of teaching) (Blumberg, 2003).






누가 평가하는가?

6. Who evaluates?


6.1. 현재 학생들

6.1. Current students


 

가장 흔함.

As mentioned, students currently enrolled on a course are the most common course evaluators.


학생이 어느 level에 있느냐에 따라서 평가가 달라질 수 있다.

The level of the student can affect course ratings although studies conflict as to whether it is learners earlier or farther along in training that rate faculty more favorably.


1년중 어느 시점에 평가해야 하느냐에 대한 논쟁

It is also controversial as to whether time of year impacts ratings of clinical instruction,



6.2. 과거 학생들

6.2. Former students


Students can be asked to evaluate courses or curriculum well after a given course or even once medical training has concluded (DaRosa, Prystowsky, & Nahrwold, 2001; Parrino & Kern, 1994).


6.3. 동료

6.3. Peers


교수에 대한 평가, 지속적인 과목과 교육과정 개선에 활용되어왔다. 흥미롭게도 많은 경우 동료와 학생의 평가가 일치한다. 피어리뷰 시스템은 존경을 받고 경험이 풍부한 교수들로 이뤄진 위원회에 의해서 운영될 때, 대학이 이 위원회를 지원하고 존중할 때, 과목책임자가 과목평가에 참여할 때 가장 잘 돌아간다.

Peer review of courses has been used to facilitate faculty evaluation and continual course and curriculum improvement (Burke, Bonaminio, & Walling, 2002; Horowitz, Van Eyck, & Albanese, 1998; Levine, Vanek, Lefferts, Michener, & Weiker, 1988). Interestingly, peer and student course ratings have been shown to be congruent the majority of the time (Horowitzet al., 1998). The peer review system seems to work best when run by a committee of respected, experienced teachers chosen by their peers, when the school faculty supports and respects the committee and its work, and when course directors are involved in evaluating their courses (Horowitzet al., 1998).


임상교육에서 더 흔하게 사용되어지고 있다.

Peer review is becoming more common with clinical teaching, and tools have been developed that can be used reliably across peer evaluators (Beckman, Lee, Rohren, & Pankratz, 2003).

  • 자기주도학습, 학습분위기, 목표에 대한 의사소통, 평가 등은 internally consistent하고, 교육에 대한 열정은 consistently rated.
    Pre- liminary evidence shows that certain teaching characteristics such as self-directed learning, learn- ing climate, communication of goals and evaluation are among the most internally consistent domains with teaching enthusiasm being one of the most consistently rated (Beckman et al., 2003).

  • 학생이나 레지던트보다 동료가 더 박하게 평가한다.
    A study by Shores (Shores et al., 2000) demonstrated validity for concurrent a medical school lecture evaluated by students and faculty peers (r ¼ :85) while finding that peer faculty often rate teaching lower than students. Similarly peer evaluators scored inpatient faculty teaching lower than resident evaluators (Beckman, Lee, & Mandrekar, 2004).



6.4. 자기평가

6.4. Self-evaluation


자기평가결과는 다른 평가와 상관관계가 별로 없다는 리뷰결과.

A recent review by Eva and Regehr argues that self-evaluations are largely uncorrelated with other evaluations and that the problem stems from a failure to begin with a cogent conceptualisation of the nature and need for self assessment in the daily practice of health care professionals (Eva & Regehr, 2005). 



7. 언제 평가하는가?

7. When are courses evaluated?


여러 시점에 평가될 수 있다.

Courses can be evaluated at many points in time:

  • 시작직후 immediately after a lecture or teaching encounter has occurred,

  • 로테이션 후 at the end of a course/clinical rotation, or

  • 연말 at a point in time well after the course has been completed, for example, at the end of the year or at the end of the training program.


의학교육에서 평가 시점에 대한 연구는 소수. continuous assessment를 했을 때 retrospective한 평가보다 더 신뢰도가 높다. 그러나 end-of-lecture와 end-of-teaching의 상관관계는 매우 높다.

Within the context of medical education, there have been only a few studies addressing the timing of evaluations and if evaluations completed at the time of a lecture are congruent with those provide at a later time, such as the end of a course (Shores et al., 2000). Some studies suggest that reliability of ratings is higher when continuous assessment of course content is done rather than assessing lectures in a retrospective fashion (Peluso, Tavares, & D’Elia, 2000). However, the correlation between end of lecture global teaching assessments with end of course teaching assessments has been shown to be high (Shores et al., 2000).



8. 평가 프로세스 디테일

8. Details of the evaluation process




9. 평가서식 디자인

9. Design of the evaluation form


평가서식이 어떻게 construct되었는지가 rating에 큰 영향을 준다.

The way in which the rating form is constructed can have significant impact on the ratings made.

  • 총괄평가 vs 다차원 평가
    The use of a single item or few global items versus a multi-dimensional form with many items was discussed earlier.

다른 요인들
Other factors are also important.

  • 긍정선택지가 왼쪽에 있을 때 더 높은 점수(primacy effect)
    For example, one study showed that students are more likely to give a course positive ratings when the scale on the rating form has the positive side of the scale on the left. This is known as the ‘‘primacy effect’’ where individuals tend to endorse items or statement printed on the left side of the page (Albanese, Prucha, Barnet, & Gjerde, 1997a).

  • behavioral anchor가 양쪽 끝에만 있을 때 더 positive end에 응답경향 높음
    Additionally, when behavioral anchors or descrip- tors are left off the middle part of the rating scale (thereby only being on the extreme ends), students are more likely to evaluate on the positive end of the scale (Albanese, Prucha, & Barnet, 1997b).

  • 부정문 vs 긍정문. 부정형 문장은 긍정형 문장과 다르게 작동perform한다. 신뢰도를 떨어뜨릴 수 있다.
    There is also debate as to whether it is important to have both positively and negatively worded items on a rating scale. While common wisdom has been to include both positive and negatively worded items and then reverse code the negative items, it has also been suggested that negatively worded phrases perform differently than positive worded phrases and that the inclusion of negatively worded items might decrease scale reliability (Stewart & Frye, 2004).



10. 익명 vs 실명후 보호

10. Anonymity versus confidentiality


익명평가가 더 선호된다. 익명평가시 학생이나 레지던트가 교수에게 더 낮은 평가를 준다. 개별 item에 대해서 뿐만 아니라 overall teaching domain에서도 그렇다. 익명평가가 아닐 경우 레지던트는 자신이 평가한 그 교수와 나중에 함께 일해야 할 사실을 걱정한다. 그러나 다른 연구에서 교수들의 평가는 익명평가에서 더 높게 나오기도 했다 (closed in-person debriefing sessions보다)

Most authors agree that anonymous evaluation systems are preferred to open evaluation systems (Albanese, 2000). One study in the medical education literature suggests that students and residents rate faculty lower (i.e., more harshly) in anonymous evaluations. Ratings are lower on individual items within a form as well as overall teaching domains. When evalua- tions are not anonymous, residents worry about the implications of their evaluations since they might have to work with that faculty again in the future (Afonso et al., 2005). However, in another study (Pelsang & Smith, 2000) faculty ratings were more favorable with anonymous evaluations than closed in-person debriefing sessions.


의학교육에서 평가자의 익명성을 유지하는 것은 매우 어려운데, 교수가 특정 시기 혹은 심지어 한 해에 걸쳐서 소수의 학생들과 work하기 때문이다. 이런 경우, 일정정도 숫자의 학생응답을 수합한 다음에 교수에게 전달함으로써 학습자의 risk를 줄일 수 있다.

In medical education, maintaining anonymity of the evaluator can be particularly challenging given that the faculty member being evaluated may only work with a small group of students at any given time, or even over the course of a year. In these instances, the risk to learners can be minimized if evaluation ratings are given to faculty after a critical mass of students have provided ratings (Albanese, 2000).



11. 자발적 vs 강제적

11. Required versus voluntary


물론 응답률이 평가결과 해석의 타당도에 영향을 줄 수 있다. 과목 끝나고 할 경우 70~80%는 나오는게 보통이다. 응답률을 높이기 위해서, students can be sampled to provide evaluations. 전체 학생에게 평가지를 돌리는 것은, 무작위로 선택된 일부 subgroup에게만 돌리는 것보다 신뢰도가 더 높지 않을 수도 있다.

One detail that is important, but has not been well studied, is the implication of having voluntary versus required evaluations. Clearly, the response rate can impact the validity of evaluation inter- pretation. It is common when handing out forms at the end of a course to get rates close to 70–80%. In order to improve the response rate, especially in a multi-lecturer course, students can be sampled to provide evaluations (Albanese, Schroeder, & Barnes, 1979; Carline & Scher, 1981; Kreiter & Lakshman, 2005). Administering an evaluation instrument to an entire class may not provide better reliability than administering an evaluation instru- ment to randomly selected subgroups of students (Leamon & Fields, 2005).




12. 질적 vs 양적

12. Qualitative versus quantitative


 

여러가지 방법

  • 포커스그룹 Focus groups are one qualitative methodology that has been used to gather students’ opinions (Frasier, Slatt, Kowlowitz, Kollisch, & Mintzer, 1997; Lam, Irwin, Chow, &Chan, 2002; Shea, Bridge, Gould, & Harris, 2004). Focus groups are efficient and presumably provide a means to learn something additional from the group conversation that might not be learned in one-on-one interviews.

  • Nominal Technique: 질적 방법에 약간의 양적평가를 더한 것 The group alternative that nominal technique is an borrows from qualitative methodology and adds some quantitative assessment (Lloyd-Jones, Fowell, & Bligh, 1999).

  • 일대일면담 However, given the complexities of clinical training schedules and the distance from and infrequency with which learners congregate at a home base, one to one interviews are also a reasonable method to collect course evaluation data.


질적방법만 사용하기보다는 open-ended Q를 적도록 할 수도 있다. 질적정보는 학생들의 평가에 더해서 교수의 강점과 약점을 잘 드러내준다. 교수들의 순위는 리커트 척도의 양적 점수와 교육효과성에 대한 질적 평가에서 비슷한 결과를 보였다.

Instead of a full-fledged qualitative design, it is also informative to analyze responses to open-ended questions from students about their clinical tea- chers’ effectiveness. The qualitative information, used alone or to complement student ratings, can provide detailed information about individual faculty’s strengths and weaknesses (Sierles, 1996). Quantitative scores on Likert ratings and the qualitative assessment of comments about teaching effectiveness result in similar rankings of faculty (Lewis & Pace, 1990).


At this point it would be premature to say that any of the issues have large bodies of research to support particular decisions. However, consensus seems to suggest that multi- item forms, with evaluators’ identify kept anon- ymous from the end user(s) will work well. And, the use of qualitative methods in medical education is clearly growing.



13. 과목 평가에서 측정 관련 이슈

13. Measurement issues in course evaluation



14. 타당도

14. Validity


타당도란..

Questions of validity are concerned with asking ‘‘have we measured (i.e., evaluated) that which we intended to measure? Do scores behave the way we expect them to?’’


일반적으로 학생들의 teaching에 대한 평가는 valid하다고 여겨진다.

In general, student evaluations of teaching are believed to be valid. For example, there is a large literature in higher education surrounding the validity of student evaluations of teachers (d’Apollonia & Abrami, 1997; Greenwald, 1997; Greenwald & Gillmore, 1997; Marsh & Roche, 1997; McKeachie, 1997).


평가가 좋은 교수에게서 더 잘 배운다고 결론을 내린 논문들이 있다. 그러나 학생의 교수자 평가에 영향을 주는 것들은..다음과 같은 것들이 있다.

A common conclusion from such studies is that higher ratings are modestly correlated with higher achievement—good teaching causes learning (Abrami, Cohen, & d’Apollonia, 1998; d’Apollonia & Abrami, 1997). Path-analytic studies looking at construct validity examine the effects of variables other than teaching effectiveness that might impact grades and students’ evaluations of teaching such as

  • prior interest or motivation in the course,

  • grading leniency,

  • workload difficulty,

  • class size,

  • level of course or year in school (Marsh & Roche, 1997).


clinical teaching efficacy 에 대한 학생들의 평가는 다양한 서식form이 사용되었을 때 서로 비슷하다

The most common model in medical education is to collect cross-sectional data and use statistics such as correlations to ask how ratings of course/teacher effectiveness compare to scores on another tool (e.g., self-assessment) or grades. For example, two studies looking at con- vergent validity suggest that students’ evaluations of clinical teaching efficacy are similar when different forms are used (Steiner, Franc-Law, Kelly, &Rowe, 2000; Williams, Litzelman, Babbott, Lubitz, & Hofer, 2002).


teacher rating이 student outcomes와 연관된다.

Certainly, a persuasive group of studies are those that show that teacher/preceptor ratings are related to student outcomes (e.g., Blue, Griffith, Wilson, Sloan, & Schwartz, 1999; Griffith, Wilson, Haist, & Ramsbottom-Lucier, 1997, 1998; Stern et al., 2000).


그러나 둘 사이에 관련이 없다고 말한 연구도 있다.

However, it should be noted that another study found a non-systematic relationship between stu- dent grades and teaching ratings (Shores et al., 2000).


약간의 근거만 있는 정도

Overall, there is some evidence to support the validity of interpretations made regarding student’s rating of faculty/teachers.



15. 신뢰도

15. Reliability


 

The most common method is to compute and report a Cronbach’s alpha for multi-item domains (perhaps defined through factor analysis) within an evaluation instrument (Shea & Fortna, 2002).


Beckman, Ghosh, et al. (2004), Beckman, Lee, et al. (2004), in a systematic review of 21 instru- ments to evaluate clinical teaching in medical education, found that factor analysis was the most common method to determine scale dimensionality followed by estimates of internal consistency of items using Cronbach’s alpha.



16. 재생산가능성

16. Reproducibility


단순하게 말하면, 응답이 많을수록 점수는 더 정확하고, 더 일반화가능도가 높다.

Quite simply, the more ratings there are, the more precise and generalizable the score.


짧게 말하자면,  과목평가와 관련하여 우리가 배운 것은 신뢰도있게 teaching performance를 추정하기 위해서는 다양한 평가가 필요하다는 것이다. 8~10명 정도의 레지던트(학생)가 평가한 결과는 reasonably reproducible하다. 비록 일부는 0.9이상의 재생산가능도계수를 달성하려면 20명 이상이 필요하다고 말하기도 한다.

In short, what we have learned with respect to course evaluation is that multiple evaluations of faculty teaching are needed to produce reliable estimates of teaching performance. It has been estimated that anywhere between 8 and 10 resident or student evaluations produce a reasonably repro- ducible score (Hayward et al., 1995; Irby & Rakestraw, 1981), although some suggest that as many as 20 evaluations are needed to achieve a reproducibility coefficient of 0.9 (Ramsbottom- Lucier et al., 1994).


17. Opportunities




 



Leamon, M. H., & Fields, L. (2005). Measuring teaching effectiveness in a preclinical multi-instructor course: A case study in the development and application of a brief instructor Teaching and Learning in Medicine, 17(2), rating scale. 119–129.






Course evaluation in medical education

  • a Hospital of the University of Pennsylvania, University of Pennsylvania School of Medicine, 3701 Market Street- Suite 640, Philadelphia, PA 19104, USA
  • b Hospital of the University of Pennsylvania, University of Pennsylvania School of Medicine, 1223 Blockley Hall, 423 Guardian Drive, Philadelphia, PA 19104-6021, USA

Abstract

Course evaluation is integral to medical education. We discuss (1) distinctive features of medical education that impact on course evaluation, (2) a framework for course evaluations, (3) details that shape the evaluation process, (4) key measurement issues important to data gathering and interpretation, and (5) opportunities for expanding the scope of research regarding course evaluations. Drawing from higher education and medical education literature, a great deal is known about course evaluations. High-quality rating scales have been developed. There is evidence that ratings are valid and reproducible given sufficient ratings are gathered, but there remain many areas deserving of more research.

Keywords

  • Program evaluation
  • Curriculum
  • Validity
  • Reliability
  • Medical school
  • Student ratings


프로그램 평가 모델과 관련 이론들 (AMEE Guide No.67) (Med Teach, 2012)

Program evaluation models and related theories: AMEE Guide No. 67

ANN W. FRYE1 & PAUL A. HEMMER2

1Office of Educational Development, University of Texas Medical Branch, 301 University Boulevard, Galveston, Texas 77555-0408, USA, 2Department of Medicine, Uniformed Services, University of the Health Sciences, F. Edward Hebert School of Medicine, Bethesda, MD, USA






도입

Introduction


많은 문헌에서 프로그램 평가를 '어떻게 하는지'를 다룬다.

Several detailed and well written articles, guides, and textbooks about educational program evaluation provide overviews and focus on the ‘‘how to’’ of program evaluation (Woodward 2002; Goldie 2006; Musick 2006; Durning et al. 2007; Frechtling 2007; Stufflebeam & Shinkfield 2007; Hawkins & Holmboe 2008; Cook 2010; Durning & Hemmer 2010; Patton 2011). Medical educators should be familiar with these and have some of them available as resources.



변화에 초첨을 두고

A focus on change


 

교육프로그램은 근본적으로 변화에 대한 것이다. 학생에 대한 것 뿐만 아니라 다른 모든 사람들의 변화에 대한 것이다. 따라서 효과적은 프로그램평가는 최소한 일정부분은 변화에 초점을 두어야 한다. 변화가 일어났는가? 변화의 특성은? 변화가 성공적인가?

We believe that educational programs are fundamentally about change. While a program’s focus on change is perhaps most evident for learners, everyone else involved with that program also participates in change. Therefore, effective program evaluation should focus, at least in part, on change: Is change occurring? What is the nature of the change? Is the change deemed ‘‘successful’’?


의도한 변화, 의도하지 않은 변화를 모두 봐야 한다.

program evaluation should look for both intended and unintended changes


이렇게 함으로써 프로그램 평가가 교육변화프로세스에서 필수적 부분이 될 수 있다.

In that way, the program evaluation becomes an integral part of the educational change process.


과거에 교육프로그램평가를 수행한다는 것은 단순한 선형(원인-효과)적 관점으로 인식되었다. 그러나 더 많은 연구가 이뤄질수록 complex systems로 각 요소들과 프로그램-관련 변화의 비선형관계가 나타났다.

In the past, educational program evaluation practices often assumed a simple linear (cause-effect) perspective when assessing recent program elements and outcomes. More evaluation educational scholarship describes programs as complex systems with nonlinear relationships between their elements and program-related changes.



프로그램평가의 정의

Program evaluation defined



가장 기본적 단계에서, 평가란 한 사람이 가지고 있는 정보에 대한 가치판단value judgment을 내리는 것이다. 따라서 교육프로그램평가는 정보를 활용하여 교육프로그램의 value 나 worth에 대한 결정을 내리는 것이다. 더 formal한 정의로는, 교육프로그램평가는 "‘‘systematic collection and analysis of information related to the design, implementation, and outcomes of a program, for the purpose of monitoring and improving the quality and effectiveness of the program.’’ (ACGME 2010a)."이다.

At the most fundamental level, evaluation involves making a value judgment about information that one has available (Cook 2010; Durning & Hemmer 2010). Thus educational program evaluation uses information to make a decision about the value or worth of an educational program (Cook 2010). More formally defined, the process of educational program evaluation is the ‘‘systematic collection and analysis of information related to the design, implementation, and outcomes of a program, for the purpose of monitoring and improving the quality and effectiveness of the program.’’ (ACGME 2010a). 


이 정의에서 명확히 드러나듯, 프로그램평가는 프로그램을 routine, systematic, deliberate한 정보수집을 통해서 프로그램의 "성공"에 기여하는 것이 무엇인지, 평가과정에서 드러난 것들을 해결address하기 위해서는 무슨 행동이 취해져야 하는지 uncover or identify 하는 것이다.

As is clear in this definition, program evaluation is about understanding the program through a routine, systematic, deliberate gathering of information to uncover and/or identify what contributes to the ‘‘success’’ of the program and what actions need to be taken in order to address the findings of the evaluation process (Durning & Hemmer 2010). 

 

프로그램평가에 필요한 정보는 통상적으로 측정프로세스를 통해 수집된다. 이 가이드에서 assessment와 evaluation.

Information necessary for program evaluation is typically gathered through measurement processes. In this Guide, we define

  • ‘‘assessments’’ as measurements (assess- ment ¼assay) or the strategies chosen to gather information needed to make a judgment.

  • Evaluation,as noted earlier, is about reviewing, analyzing, and judging the importance or value of the information gathered by all these assessments.



프로그램평가를 하는 이유

Reasons for program evaluation


강력한 프로그램평가는 accountability를 강화시켜주며, 교육자들이 자신의 프로그램에 대해 유용한 지식을 쌓고, 프로그램의 지속적 발달을 sustain해준다.

A strong program evaluation process supports accountability while allowing educators to gain useful knowledge about their program and sustain ongoing program development. (Goldie 2006).


평가모델이 언제나 많은 요구를 만족시켜온 것은 아니다. 수년간 평가전문가들은 단순히 성과평가를 측정하는데 몰두해왔다. 새로운 모델은 역동적 프로세스로서의 학습을 support하고 프로그램의 개선에 새로운 관점을 제시해준다.

Evaluation models have not always supported such a range of needs. For many years evaluation experts focused on simply measuring program outcomes (Patton 2011). Newer evaluation models support learning about the dynamic processes within the programs, allowing an additional focus on program improvement (Stufflebeam & Shinkfield 2007; Patton 2011).


 

 

교육프로그램평가모델과 관련된 이론들

Theories that inform educational program evaluation models



환원주의

Reductionism


교육평가와 관련된 많은 접근법들이 계몽주의에 근간을 두고 있다 (세계에 대한 이해가 divine intervention에서 실험과 탐구의 모델로 이동하던 시기). 여기에 깔린 것은 order에 대한 가정assumption이었다. 즉, 지식이 축적되면 무질서에서 질서로disorder / order 이동이 있을 것이라는 가정이다. 현상은 환원되어 구성요소를 examine하여 이해되곤 하였다. 질서가 규범이었기에, 성과를 어느 정도 정확히 예측할 수 있었고, 프로세스가 결정(통제 혹은 예측)될 수 있었는데, 왜냐하면 사전에 정해진 질서있는 길orderly pathway로 흐를 것이기 때문이다. 이러한 사고의 유물은 많은 교육프로그램이 조직화된 방식에서 명확히 드러나며, 교육에 대한 우리의 접근법에서도 확인할 수 있다.

Many of the commonly used approaches to educational evaluation have their roots in the Enlightenment, when understanding of the world shifted from a model of divine intervention to one of experimentation and investigation (Mennin 2010c). Underlying this was an assumption of order: as knowledge accumulated, it was expected that there would be movement from disorder to order. Phenomena could be reduced into and understood by examining their component parts. Because order was the norm, one would be able to predict an outcome with some precision, and processes could be determined (controlled or predicted) because they would flow along defined and orderly pathways (Geyer et al. 2005). The legacy of this thinking is evident in the way many medical education programs are organized and can even be seen in our approaches to teaching (Mennin 2010c).


이러한 환원주의자적 관점에서 '전체(혹은 성과)는 이해understand할 수 있는 것이며, 따라서  각 구성요소constituent parts의 기여를 탐구하여 이해함으로써 예측가능해진다. 이 관점은 5세기동안 의학을 특징지어온 과학적 접근의 핵심 부분이다. 이 환원주의자적 관점은 80년간 교육평가에서도 major한 지위를 누려왔다. 원인-효과 접근법은 프로그램 구성요소의 관계 간 선형성을 가정한다. 즉, 특정 프로그램에 변화가 생기면 성과에 예측가능한 효과를 가질 것이다. 작은 변화는 작은 효과를, 큰 변화는 큰 효과를 가져온다. 선형성의 가정은 로직모델, 전-중-후 모델(before, during, after model)등과 같은 몇몇 유명한 프로그램평가모델에서도 드러난다.

The reductionist view, that the whole (or an outcome) can be understood and thus predicted by investigating and understanding the contribution of the constituent parts, is an integral part of the scientific approach that has characterized Medicine for five centuries. The reductionist perspective also dominated educational evaluation throughout a major portion of its short 80-year history as a formal field of practice (Stufflebeam & Shinkfield 2007). This cause-effect approach to analysis requires an assumption of in program linearity elements’ relationships. That is, changes in certain program elements are expected to have a predictable impact on the outcome. A small change would be expected to have a small impact, a large change a large impact. The assumption of linearity is evident in some popular program evaluation models such as the Logic Model (Frechtling 2007) and the Before, During, and After model (Durning et al. 2007; Durning & Hemmer 2010).


 

환원주의자 혹은 선형적 사고방식은 성과에 기여하는 요소만 안다면, 그 성과를 달성하는데 프로그램이 성공하였는지 실패하였는지도 설명가능하다. 이러한 원인-효과 패러다임은 여러 평가모델에 영향을 주었다.

The reductionist or linear way of thinking suggests that once the factors contributing to an outcome are known, program success or lack of success in achieving those outcomes can be explained. The cause-and-effect paradigm’s impact on several of the evaluation models we describe is clear.




시스템 이론

System theory


 

환원주의자 접근법이 의학과 의학교육에 큰 발전을 가져왔지만, 이러한 접근법의 한곈느 아리스토텔레스 시대로 돌아가서 "전체는 각 부분의 합보다 크다"라는 dictum에서도 발견할 수 있다. 다른 말로 하면, 우리가 보는 최종 산출물은 단순히 각 구성요소의 합이 아니라는 것이다. 성과는 각 component part에 의해서 설명되지 않으며, 그 part간의 관계, 그리고 part를 둘러싼 환경context이 중요하다는 것이 system theory를 형성한다.

Although the reductionist approach brought great advances in medicine and even medical education, concern with the approach’s limitations can be traced back to at least Aristotle and the dictum that the ‘‘whole is greater than the sum of its parts.’’ In other words, what we see as a final product—an educational program, a human being, the universe—is more than simply a summation of the individual component parts. The appreciation that an outcome is not explained simply by component parts but that the relationships between and environment (context) are among those parts and their important eventually led to formulation of a system theory.



20세기에 베르탈란피에게 attribute되곤 함. 시스템을 어떻게 보았는가.

In the 20th century, this is often attributed to Bertalanffy, a biologist who proposed a general system theory in the 1920s (Bertalanffy 1968, 1972). Bertalanffy proposed that ‘‘the fundamental character of the living thing is its organization, the customary investiga- tion of the single parts and processes cannot provide a complete explanation of the vital phenomena. This investiga- tion gives us no information about the coordination of parts (Bertalanffy 1972). Bertalanffy viewed a and processes.’’ system as ‘‘a set of elements standing in interrelation among themselves and with the environment.’’ (Bertalanffy 1972).


 

다른 말로 하자면, 시스템은 각 부분, 각 부분의 조직화, 각 부분 간 관계, 각 부분과 환경과의 관계 등으로 이뤄지며, 이 관계는 고정된 것이 아니고 역동적이고 변화하는 것이다.

Stated another way, the system comprises the parts, the organization of the parts, and the relationships among those parts and the environment; these relationships are not static but dynamic and changing.


이 가이드에서, 교육프로그램이란 "social system composed of component parts, with interactions and interre- lations among the component parts, all existing within, and interacting with, the program’s environment."이다. 교육프로그램의 시스템을 이해하는 것은 시스템이론에 부합하는 평가접근법을 필요로 한다.

In the context of this Guide, an educational program is a social system composed of component parts, with interactions and interre- lations among the component parts, all existing within, and interacting with, the program’s environment. To understand an educational program’s system would require an evaluation approach consistent with system theory.


베르탈란피가 과학을 보는 관점은 환원주의에서 벗어나서 시스템과 학문분야을 넘나드는 공통점commonalities을 찾는 것이다. 따라서 그의 General System Theory 에 관한 생각이 원래는 생물학에서 근간했으나, 20세기에 수학, 물리학, 사회과학에서도 베르탈란피가 제안하는 접근법을 강조했다."across a variety of disciplines and science, there are common underlying principles."

Bertalanffy’s proposal (re)presented a way of viewing science, moving away from reductionism, and looking for commonalities across disciplines and systems. Thus, while his ideas about a General System Theory were initially rooted in biology, 20th century work in mathematics, physics, and the social sciences underscored the approach that Bertalanffy proposed: across a variety of disciplines and science, there are common underlying principles.


마지막으로 General System Theory는 변화가 시스템의 내재적인 부분이라고 본다. 베르탈란피는 시스템을 닫힌closed 혹은 열린open것으로 묘사했는데, 그는 living system은 열린계open system이라고 믿었다. 시스템에서 '평형'이란 아무것도 변화하지 않는 것이며, 시스템이 죽어가고 있는 것이라 볼 수도 있다. 반면, 열린계란 steady-state에 있는 것으로서, element와 interrelationship이 균형을 이루면서, 여전히 활동적이고 종종 반대 혹은 저항하는 방향으로 활동하더라도 여전히 active한 것이다.

Finally, General System Theory embraces the idea that change is an inherent part of a system. Bertalanffy described systems as either being

  • ‘‘closed’’, in which nothing either enters or leaves the system, or

  • ‘‘open’’, in which exchange occurs among component parts and the environment.

He believed that living systems were open systems. Equilibriumin a system means that nothing is changing and, in fact, could represent a system that is dying. In contrast, an open system at steady-state is one in which the elements and interrelation- ships are in balance—still active, perhaps even in opposite or opposing directions, but active nonetheless (Bertalanffy 1968).

 

더 나아가서 열린계에는 등결과성equifinality가 있다. 최종 상태 혹은 성과가 다양한 시작점으로부터, 다양한 경로를 거쳐서 도달될 수 있는 것이다. 이것은 닫힌계와는 다른데, 여기서 성과는 시작점과 조건에 의해서 사전에 결정된다. 우리는 이러한 열린계의 관점이 교육프로그램에서 발생하는 것에 부합한다고 생각한다. it is an open system, perhaps sometimes at steady-state, but active.

Furthermore, in an open system, there is equifinality: the final state or outcome can be reached from a variety of starting points and in a variety of ways (much like a student becoming a physician by going through medical school) as contrasted with a closed system in which the outcome might be predetermined by knowing the starting point and the condi- tions. We believe this view of an open system is consistent with what occurs in an educational program: it is an open system, perhaps sometimes at steady-state, but active.


 

General System Theory이 발달함에 따라서 이 원칙을 address한 이론들이 등장하였다.

Since the advent of General System Theory, a number of other theories have arisen to attempt to address the principles across a variety of systems. One such theory, Complexity Theory, is growing in prominence in medical education



복잡도 이론

Complexity theory


 

그러나 교육프로그램은 거의 '평형상태'에 있는 경우가 없다. 의학교육프로그램은 프로그램의 내외부 요인에 영향을 받는다.

Educational programs, however, are rarely in equilibrium. Medical education programs are affected by many factors both internal and external to the program:

  • program participants’ characteristics,

  • influence of stakeholdersor regulators,

  • the ever-changing nature of the knowledge on which a discipline is based,

  • professional practice patterns, and

  • the environment in which the educational program functions, to name only a few (Geyer et al. 2005).

따라서 의학교육프로그램은 잘 해봐야 complex system으로 특징지어질 수 있으며, 다양한 요소 및 그것들의 상호작용으로 구성되어 있다. 전체 시스템은 각각의 component를 개별적으로 examine한다고 설명되지 않는다. 이러한 관점에서 프로그램의 전체는 각 부분보다 더 크며, 각 요소를 개별적으로 연구하여 설명할 수 있는 것보다 더 커다란 무언가가 돌아간다. 이는 사실 관심의 대상이 되는 성과에 관한 많은 variance가 시스템이나 프로그램 내에서 identify할 수 있는 요소들로 설명되지 않는 교육연구의 현상을 설명해주는 것이다.

Medical education programs are therefore best characterized as complex systems,given that they are made up of diverse components with interactions among those components. The overall system cannot be explained by separately examining each of its individual components (Mennin 2010b). In a sense, the program’s whole is greater than the sum of its parts—there is more going on in the program (the complex system) than can be explained by studying each component in isolation. This might, in fact, explain the phenomenon in educational research in which much of the variance in the outcome of interest is not explained by factors identified in the system or program:


복잡도 이론과 복잡도 과학은 시스템의 richness와 diversity를 표용하며, 이 때 모호함과 불확실성이 예상될 수 있다.

Complexity theory and complexity science are attempts to embrace the richness and diversity of systems in which ambiguity and uncertainty are expected.

  • ‘‘Complexity ‘sci- ence’ then is the study of nonlinear dynamical interactions among multiple agents in open systems that are far from equilibrium.’’ (Mennin 2010c)

  • ‘‘Complexity concepts and principles are well suited to the emergent, messy, nonlinear uncertainty of living systems nested one within the other where the relationship among things is more than the things themselves.’’ (Mennin 2010a)

 

복잡도이론은 우리가 교육프로그램을 평가한다고 했을 때 불확실성과 모호성을 accomodate하게 해준다. 복잡도이론은 그러한 자연상태에서의 모호성을 의학교육프로그램과 같은 시스템에 정상적으로 존재하는 하나의 부분으로 이해하게 도와준다.  모호함과 불확실성은 좋은 것도 나쁜 것도 아니고 그냥 예상되는 것이다. 교육프로그램평가는 이 불확실성에 대한 탐구를 포함해야 한다. 실제로 복잡도 이론은 교육자들로 하여금 복잡한 educational event를 이해하고 설명하는데 지나치게 단순한 모델에 의존하지 말라고 하는 것이다. ‘‘To think complexly is to adopt a relational, a system(s) view. That is to look at any event or entity in terms, not of itself, but of its relations.’’ (Doll & Trueit 2010)

Complexity theory allows us to accommodate the uncertainty and ambiguity in educational programs as we think about evaluating them. It actually promotes our understanding of such natural ambiguity as a normal part of the systems typical of medical educational programs. Ambiguity and uncertainty are neither good nor bad but simply expected and anticipated. Evaluating an educational program would therefore include exploring for those uncertainties. In fact, complexity theory invites educa- tors to cease relying on overly simple models to explain or understand complex educational events. ‘‘To think complexly is to adopt a relational, a system(s) view. That is to look at any event or entity in terms, not of itself, but of its relations.’’ (Doll & Trueit 2010)



다른 말로 하면, 프로그램의 성공여부는 프로그램 참가자들과 관련된 요소들 뿐만 아니라, 참가자 사이의 관계와 참가자들이 act하는 환경, 그리고 그 환경이 참가자들에게 미치는 영향 모두에 달려있다.

In other words, examining a program’s success must not only include refer- ences to elements related to program participants but also to the relationships of participants with each other and with the environment in which they act and how that environment may affect the participants.


Complexity theory 는 프로그램평가모델 선택에도 도움을 준다. 예컨대, 프로그램의 요소들 간 관계는 CIPP모델에서 두드러진다.

Complexity theory can inform our choice of program evaluation models. For example, the concept of program elements’ relationship is prominent in the CIPP evaluation model in which

  • Context studies play a critical role in shaping the approach to evaluating program effectiveness and in which program

  • Process studies are separate but of equal importance (Stufflebeam & Shinkfield 2007). 


Before, During, After evaluation model 도 복잡도이론의 관점에서 해석될 수 있다.

The Before, During, After evaluation model (Durning et al. 2007; Durning & Hemmer 2010), described in the literature but not discussed in this Guide, can also be interpreted from the perspective of complexity theory.


 

Doll은 다음과 같이 말했다.

Doll suggests that ‘‘...the striving for certainty, a feature of western intellectual thought since the times of Plato and Aristotle, has come to an end. There is no one right answer to a situation, no formula of best practices to follow in every situation, no assurance that any particular act or practice will yield the results we desire.’’ (Doll & Trueit 2010)


 

 

흔히 사용되는 평가모델들

Common evaluation models


 

실험/유사-실험 모델

The experimental/quasi-experimental models



실험/유사-실험 모델 설계는 초기의 설계이며, 1960년대에 널리 사용되었다. 이 설계는 프로그램의 각 요소를 명확하게 isolate 시키며, 전통적 환원주의적 접근과 부합한다. 실험/유사-실험 설계는 지난 세기 생명과학을 발전시켜오는데 매우 유용했다. 그러나 complex environment에는 덜 유용했다. 강력하게 통제된 실험적 디자인은 의학교육과 같이 복잡한 교육프로그램에 도입하기 어려웠다. 교육자들은 새로운 방법을 과거에 하던 방법과 비교하고 싶어했다(아무것도 안하는 것과의 비교가 아니라). 따라서 실험연구의 성과는 marginal increment 밖에 없었다. 유사실험설계가 진-실험설계보다는 더 자주 사용되었다.

Experimental and quasi-experimental designs were some of the earliest designs applied as educational evaluation came into common use in the mid-1960s (Stufflebeam & Shinkfield 2007). These designs explicitly isolate individual program elements for study, consistent with the classic reductionist approach to investigation. The familiar experi- mental useful and quasi-experimental designs were enormously in advancing the biological sciences over the last century (Stufflebeam & Shinkfield 2007). They have proven less useful in the complex environments of educational programs: true experimental, tightly controlled designs are typically very difficult to implement in educational programs as complex as those in medical education. Educators usually need to compare a new way of doing things to the old way ofdoing things rather than to ‘‘doing nothing’’, so the of a experimental study’s outcomes are usually measures marginal increment in value. Quasi-experimental designs are used more often than the true experimental designs that are simply not feasible. 



가장 흔히 사용되는 유사실험 설계를 보자

We now describe and comment on the most commonly used quasi-experimental designs seen in evaluation studies,


  • In the Intact-Group Design, learners are randomly assigned to membership in one of two groups. The program being evaluated is used by one of the two groups; the other gets the usual (unchanged) program. The use of randomization is intended to control all factors operating within the groups’ members that might otherwise affect program outcomes.

  • 한계점, 유의사항 For optimal use of this evaluation design,the intact-groups study should be repeated multiple times. If repetition is not feasible, the evaluator/experimenter must continually be alert for unexpected differences that develop between the groups that are not due to the planned program implementation. 


  • Evaluators who choose a Time-Series Experimental Design study the behavior of a single person or group over time. By observing the learner(s) or group(s) before a new program is implemented, then implementing the program, and finally conducting the same observations after the program, the evaluator can compare the pre- and post-program behaviors as an assessment of the program’s effects. This design is similar to the pre/post test design well-known to educators.

  • 한계점 The design does not separate the effects that are actually due to the program being evaluated from effects due to factors external to the program, e.g. learner maturation, learning from concurrent courses or programs, etc.

  • 모델의 유용성과 모델이 정당화되는 이유 The usefulness of this design is limited by the number of design elements that must be logically defended, including assumptions of linear relationships between program elements and desired outcomes, stability of outcome variables observed over a short time period, or (in the case of using different learner groups) sufficient of comparability comparison groups on outcome-related variables.


  • 모든 프로그램 수행과 자료수집이 끝난 다음에 하는 평가. 참가자 관련 정보를 얻어야 함. 
    The Ex Post Facto Experiment design, though criticized by some evaluation experts, may be useful in some limited contexts. In this design the evaluator does not use random assignment of learners to groups or conditions. In fact, the evaluator may be faced with a completed program for which some data have been collected but for which no further data collection is feasible. Realizing the weakness of the design, its appropriate use requires analyzing outcome variables after every conceivable covariate has been included in the analysis model (Lieberman et al. 2010). The evaluator must therefore have access to relevant pre-program participant data to use as covariates.


 

 

이 모델에서 평가자들이 얻을 수 있는 것은?

What can evaluators expect to gain from experimental and quasi-experimental models?

 

의학교육자들에게 환원주의적 관점은 익숙하고, 따라서 실험/유사실험 평가연구는 익숙한 디자인의 편안함을 준다. 이 설계는 교육프로그램의 요소들과 성과 간 선형의 인과관계를 가정하는데, 교육프로그램의 복잡성은 이 가정이 적절함을 보장하기 어려울 수도 있다. 의학교육에서 이러한 유형의 연구가 어려운 이유는 교육기관은 연구환경처럼 구성된게 아니기 때문에, 무작위화 등을 support하지 않는다. 무작위배정에는 윤리적 고려가 이뤄져야 한다. 많은 교육적 상황에서 유사실험 설계를 implement하기 어렵다.

Reductionist approaches are familiar to most medical educators, so experimental and quasi-experimental evaluation studies offer the comfort of familiar designs. The designs do require assumption of linear causal relationships between educational elements and outcomes, although the complexity of educational programs can make it difficult to document the appropriateness of those assumptions. It can also be difficult simply to implement studies of this type in medical education because learning institutions are not constructed like research environments— they rarely support the randomization upon which true experimental designs are predicated. Ethical considerations must be honored when random assignment would keep learners from a potentially useful or improved learning experience. In many educational situations, even quasi-experimental designs are difficult to implement. 



커크패트릭의 4단계 평가모델

Kirkpatrick’s four-level evaluation model


 

커크패트릭은 훈련프로그램의 학습자성과를 평가하는데 유명한 모델. 교육평가에 있어서 프로그램 성과를 명확하게clarify해주었고, 단순한 만족도를 넘어서 성과가 무엇인지 clear description해주었다.

Kirkpatrick’s four-level approach has enjoyed wide-spread popularity as a model for evaluating learner outcomes in training programs (Kirkpatrick 1996). Its major contributions to educational evaluation are the clarity of its focus on program outcomes and its clear description of outcomes beyond simple learner satisfaction.


그러나 커크패트릭모델에 대해 학습에 관여하는 variables, 프로그램 요소들과 context사이의 관계, 자원 활용의 효과성 등을 고려하지 않았다는 비판이 있다.

Kirkpatrick’s model has been criticized for what it does not take into account, namely intervening variables that affect learning (e.g. learner motivation, variable entry levels of knowledge and skills), relationships between important pro- gram elements and the program’s context, the effectiveness of resource use, and other important questions (Holton 1996).


 

What can evaluators gain from using the Kirkpatrick four- Kirkpatrick’s approach defines a useful level approach? 1996).

 

프로그램 성과에 대한 taxonomy,왜 프로그램이 작동하였나에 대한 데이터

By itself, taxonomy of program outcomes (Holton however, the Kirkpatrick model is unlikely to guide educators into a full evaluation of their educational program(Bates 2004) or provide data to illuminate why a program works.





Table 1. Comparison of evaluation models.





로직모델

The logic model


 

시스템이론은 로직모델 접근법이 프로그램의 요소와 요소-맥락 간 관계에 세심한 관심을 가지게끔 하였다. 로직모델이 프로그램 평가에만 사용되기보다는 프로그램 기획단계에서도 사용되긴 하나, 로직모델의 구조는 rational evaluation plan을 강력하게 지지한다. 로직모델은 이미 논의된 평가모델과 유사하며, 교육 기획과 평가에 있어서 strongly linear하다.

The influence of system theory on the Logic Model approach to evaluation can be seen in its careful attention to the relationships between program components and the compo-nents’ relationships to the program’s context (Frechtling 2007).Though often used during program planning instead of solely as an evaluation approach, the Logic Model structure strongly supports a rational evaluation plan. The Logic Model, similar tothe evaluation models already discussed, can be strongly linear in its approach to educational planning and evaluation


로직모델의 구조는 CIPP평가모델과 공통적인 특징을 갖지만, 교육혁신이 이루어지는 변화프로세스와 시스템에 초점을 맞춘다는 점이 다르다. 구조적 단순함이 초심자와 유경험자 모두에게 매력적으로 보이게 하는 요인이지만, 로직모델은 프로그램의 교육법과 기대성과가 명확히 understood되었다는 가정에 기반하고 있다. 따라서 로직모델의 가장 단순한 형태는 대부분의 교육맥락에서 나타나는 비선형적 복잡성을 과도하게 단순한 것이 될 수 있다. 로직모델은 교육자들이 프로그램을 dynamic system으로서 명확하게 이해하여 의도한 성과와 의도하지 않은 성과를 document할 계획이 있을 때 가장 유용하다.

The Logic Model’s structure shares characteristics with Stufflebeam’s CIPP evaluation model (Table 1) but focuses on the change process and the system within which the educa-tional innovation is embedded. Though its structural simplicity makes it attractive to both novice and experienced educators,this approach is grounded in the assumption that the relation-ships between the program’s educational methods and the desired outcomes are clearly understood. The simplest form of the Logic Model approach may therefore oversimplify the nonlinear complexity of most educational contexts. The Logic Model works best when educators clearly understand their program as a dynamic system and plan to document both intended and unintended outcomes. 



로직모델을 프로그램 기획에 사용할 때, 기대성과에서 출발하여 거꾸로backward 다른 요소들에 대해 작업해나가는 순서로 하는 것이 편리하다.

When using a Logic Model for program planning, most find it useful to begin with the desired Outcomes and then work backwards through the other components (Frechtling 2007).




투입

Inputs.


모든 관련된 자원을 포괄함.

A Logic Model’s Inputs comprise all relevant resources, both material and intellectual, expected to be or actually available to an educational project or program. Inputs may include funding sources (already on hand or to be acquired), facilities, faculty skills, faculty time, staff time, staff skills, educational technology, and relevant elements of institutional culture (e.g. Departmental or Dean’s support).


CIPP모델에서의 '투입'은 'program input'이라는 측면에서 더 디테일하며, 로직모델의 input을 더 확장하는데 사용될 수 있다.

The CIPP model’s Input section is a more detailed way of looking at program ‘‘inputs’’ and can be used to expand the construction of the Logic Model’s input section. 



활동

Activities.


 

'활동'이란 교육프로그램에서 계획된 '처방', 전략, 혁신, 변화 등이다. '활동'은 모델에서 특정된 순서로 일어날 것을 기대하게 된다. 활동의 명확한 순서를 매기는 것은 앞선 활동이 그 다음 활동에 영향을 줄 것이라는 것을 인정하는 것이다.

The second component of a Logic Model details the Activities, the set of ‘‘treatments’’, strategies, innovations or changes planned for the educational program. Activities are typically expected to occur in the order specified in the Model. That explicit ordering of activities acknowledges that a subsequent activity may be influenced by what happens after or during implementation of a preceding activity.



산출

Outputs.


산출은 'indicators that one of the program’s activities or parts of an activity is underway or completed and that something (a ‘‘product’’) happened'로 정의된다. 로직모델의 구조는 각 '활동'이 최소한 하나 이상의 '산출'을 낼 것을 dictate하며, 하나의 '산출'은 두 개 이상의 '활동'의 결과일 수 있다. 산출은 '크기' 또는 중요도에 있어서 다양하며, 종종 '성과'와 구분이 어렵다. 교육프로그램에서 '산출'은 다음의 것을 포함할 수 있다.

Outputs, the Logic Model’s third component, are defined as indicators that one of the program’s activities or parts of an activity is underway or completed and that something (a ‘‘product’’) happened. The Logic Model structure dictates that each Activity must have at least one Output, though a single Output may be linked to more than one Activity. Outputs can vary in ‘‘size’’ or importance and may sometimes be difficult to distinguish from Outcomes, the fourth Logic Model component. In educational programs, Outputs might include

  • the number of learners attending a planned educational event (the activity),

  • the characteristics of faculty recruited to contribute to the program (if, for example, ‘‘recruit faculty with appropriate expertise’’ were a program activity) or

  • the number of educational modules created or tested (if, for example, ‘‘create educational modules’’ were an activity).


성과

Outcomes.


성과는 프로그램 활동의 결과로서 의도된 단기, 중기, 장기 변화로 정의된다. 개인 수준, 그룹 수준, 조직 수준에서 특정될 수 있다. CIPP의 'Product'섹션이 로직모델의 '성과'에 대한 추가적 아이디어를 줄 수 있다.

Outcomes define the short-term, medium-term, and longer range changes intended as a result of the program’s activities. Outcomes may be specified at the level of individuals, groups or an organization (e.g. changes in a department’s infrastructure to support education). Cross-referencing to Stufflebeam’s CIPP model’s Product section may provide additional ideas for the Outcomes section of a Logic Model (Table 1).


네 개의 기본적 로직모델의 요소 외에도, complete한 로직모델은 프로그램의 context와 impact에 reference된다.  

In addition to the four basic Logic Model elements, a complete Logic Model is carefully referenced to the program’s Context and its Impacts.

 

  • Context refers to important elements of the environment in which the program takes place,

  • Impact comprises both intended and unintended changes that occur after a program or intervention. 장기성과는 로직모델에서 'impact'로 정의되는 것이 나을 수 있다. Long-term outcomes with a very wide reach (e.g. improving health outcomes for a specific group) might be better defined as ‘‘impacts’’ than outcomes in a Logic Model approach.


로직모델은 교육자가 '선형관계 가정'에 대해서 매우 유의한다면 효과적인 설계가 될 수 있다. 

The Logic Model approach can support the design of an effective evaluation if educators are appropriately cautious of its linear relationship assumptions. Typical evaluation ques- tions that might be used in a Logic Model approach include questions like these:



로직모델에서 얻어야 할 것은?

What should educators expect to gain from using the Logic Model approach?


교육기획자들이 I-A-O-O 사이의 의도된 link를 명확하게 정의해야 하므로, 이 모델은 일단 도입된 교육프로그램의 의도된 성과에 초점을 맞추게 해준다.

Because it requires that educational planners explicitly define the intended links between the program resources (Inputs), program strategies or treatments (Activities), the immediate results of program activities (Outputs), and using the the desiredLogicprogram accomplishments (Outcomes), Model, can assure that the educational program, once imple-mented, actually focuses on the intended outcomes.


두 명 이상의 사람이 기획-실행-평가에 참여할 때 특히 유용하다. 팀 구성원간 전문성과 활동 및 기대성과에 대해서 변화에 대한 관점이 다를 때 프로그램 설계에 도움이 된다.

Logic Models have proven especially useful when more than one person is involved in planning, executing, and evaluating a program. Team members’ varied areas of expertise and their different perspectives on the theory of change pertinent to the program’s activities and desired outcomes can inform the program’s design during this process.


로직모델의 pitfall은 본질적으로 linear하여 평가자가 맹목적으로 모델을 따를 경우 예상하지 못한 성과를 못 보거나 프로그램의 진행과정에서 나타나는 변화에 유연하지 못할 수 있다.

Some potential pitfalls of using the Logic Model should be considered, however. Its inherent linearity (Patton 2011) can focus evaluators on blindly following the Model during program implementation without looking for unanticipated outcomes or flexibly accommodating mid-stream program changes.


로직모델은 프로그램의 디렉터나 팀이 어떻게 변화가 발생하는지 매우 잘 developed 된 이해를 가지고 있을 때 가장 효과적이다. '프로그램의 로직모델은 어떤 전략이 의도한 성과(변화)를 이루기 가장 좋은지, 왜 그런지'에 대한 여러 이해관계자들의 공통적인 이해를 바탕으로 만들어지며, 따라서 이 모델의 사용자들은 이전 연구와 자신의 경험을 바탕으로 프로그램에서의 변화가 어떻게 일어날지에 대한 가정을 세워야 한다.

The Logic Model approach works best when the program director or team has a well-developed understanding of how change works in the educational program being evaluated. A program’s Logic Model is built on the stakeholders’ shared understandings of which strategies are most likely to result in desired outcomes (changes) and why, so users should draw on research and their own experience as educators to hypothe- size how change will work in the program being evaluated.



The CIPP (context/input/process/product) model


 

Daniel Stufflebeam이 만들었음

The CIPP set of approaches to evaluation is described by Daniel Stufflebeam, its creator, as his response to and improvement on the dominant experimental design model of its time (Stufflebeam& Shinkfield 2007).


로직모델과 공유하는 요소가 있지만, 로직모델을 속박하는 선형적 관계 가정에 hamper되지 않는다. 교육프로그램을 역동적 요소의 복잡하고 비선형적 관계로서 이해하는 사람은 CIPP가 매우 유용하다고 느낄 것이다.

Its elements share labels with the Logic Model (Table 1), but the CIPP model is not hampered by the assumption of linear relationships that constrains the Logic Model. An evaluator who understands an educational program in terms of its dynamic elements’ complex, and often nonlinear relationships will find the CIPP model a powerful approach to evaluation.



CIPP의 요소들은 항구적으로 변화하는 교육프로그램의 특성과 교육자들의 프로그램-개선 데이터라는 입맞을 모두 만족시킬 수 있다. C-I-P-P에 대한 서로 다른 관점은 교육 프로그램의 모든 단계를 address해준다.

CIPP components accommodate the ever-changing nature of most educational programs as well as educators’ appetite for program-improvement data. By alternately focusing on pro- gram Context, Inputs, Process, and Products (CIPP), the CIPP model addresses all phases of an education program: plan- ning, implementation, and a summative or final retrospective assessment if desired.



맥락평가

Context evaluation study.


새로운 프로그램이 시작될 때 주로 시행함. 기존 프로그램에 대한 축소cutting 결정이 내려져야 할 때도 시행될 수 있음.

A CIPP Context evaluation study is typically conducted when a new program is being planned. A new leader taking over an existing program, for example, may find thinking through a Context evaluation study helpful. Context studies can also be conducted when decisions about cutting existing programs are necessary.


맥락평가에서는 니즈, 문제, 자산, 기회 등을 평가하여 프로그램의 목표와 우선순위를 정한다. 나중에 '산출'을 위한 유용한 baseline을 제공한다. 외부 펀딩을 얻으려 할 때에 맥락연구를 잘 활용하여 제안서를 더 강력하게 만들 수 있다. 잠재적 장애요소와 자산assets가 포함되기 때문에 전통적인 '요구사정'에 비해서 더 inclusive하다.

A CIPP Context evaluation study identifies and defines program goals and priorities by assessing needs, problems, assets, and opportunities relevant to the program. The Context study’s findings provide a useful baseline for evaluating later outcomes (Products). When preparing a request for external funding, a program’s planning or leadership team can use a good Context study to strengthen the proposal. Because questions about potential impediments and assets are included, a Context evaluation is more inclusive than a conventional ‘‘needs assessment’’, though it does include that essential element.


방법은 다음 중에서 선택

The evaluator might select from among the following methods,


    • Document review 

    • Demographic data analysis 

    • Interviews 

    • Surveys 

    • Records analysis (e.g. test results, learner performance data)

    • Focus groups 


 

투입평가

Input evaluation study


투입평가는 자원의 할당이 교육프로그램의 기획이나 제안서 단계에서 필요할 때 유용하다. 투입평가는 feasibility나 여러 대안적 접근법, 경쟁적 접근법의 비용-효과성을 평가한다 (인력활용, 다른 자원 등)

A CIPP model Input evaluation study is useful when resource allocation (e.g. staff, budget, time) is part of planning an educational program or writing an educational proposal. An Input evaluation study assesses the feasibility or cost-effectiveness of alternative or competing approaches to the educational need, including various staffing plans and ways to allocate other relevant resources


맥락평가를 기반으로 투입평가를 시행함으로써 어떻게 필요한 변화를 가장 잘 가져올 수 있는지 초점을 맞춘다. 잘 설계된 투입평가는 교육자들로 하여금 왜, 그리고 어떻게 approach를 선택했고 어떤 대안이 고려되었는지를 명확하게 설명해줄 수 있게 도와준다.

Building on the associated Context evaluation study, a CIPP model Input evaluation study focuses on how best to bring about the needed changes. A well-conducted Input evaluation study prepares educators to explain clearly why and how a given approach was selected and what alternatives were considered. 


새로운 프로그램을 시작할 때, 투입평가는 펀딩의 assign을 정당화해준다. 이미 있는 프로그램에 대해 투입평가를 한다면 현재의 practice를 potential practice와 비교해볼 수 있다.

When used to plan a new program, an Input evaluation study can also set up clear justification for assigning grant funding or other critical resources to a new program. When applied to a program already in place, an Input evaluation study can help the educator to assess current educational practices against other potential practices. 


투입평가 방법

 Input study might involve any of the following methods: 


    • Literature review 

    • Visiting exemplary programs 

    • Consulting experts 

    • Inviting proposals from persons interested in addressing the identified needs 


프로세스 평가

Process evaluation study


프로그램의 성과를 해석할 수 있게 준비하는 것. 

A CIPP Process evaluation study prepares the evaluator to interpret the program’s outcomes (see Product study) by focusing attention on the program elements associated with those outcomes


in-process revision의 목적으로 formative information을 얻기 위해 한 번 이상 시행할 수 있다.  

A Process evaluation study can be conducted one or more times as a program runs to provide formative information for guiding in-process revisions. 


프로그램이 종료 된 이후에 어떻게 프로그램이 실제로 돌아갔는지 이해하기 위해서 할 수도 있음. 프로세스 평가는 한 site에서 도입된 교육모델 혹은 프로그램이 다른 site에서 implement가능하지 않을 수 있음을 명확히 인식하는 것이기도 하다. 맥락적 차이가 minor to major adaptation을 dicatate한다. 프로세스 평가는 실제로 시행된 프로그램에 대한 정보를 elicit한다.

This kind of evaluation study can also be conducted after a program concludes to help the educator understand how the program actually worked. A CIPP Process study explicitly recognizes that an educational model or program adopted from one site can rarely be implemented with fidelity in a new site: contextual differences usually dictate minor to major adaptations to assure effectiveness. The Process evaluation study elicits information about the program as actually implemented.


이해관계자들에 대한 accountability를 위해 가치가 있다. 프로그램의 지속적 향상을 위한 자료 수집도 가능케 해준다. 프로세스에서 기록된 교훈은 다른 교육자들에게 유용하다.

The CIPP model’s Process evaluation study is invaluable for supporting accountability to program stakeholders. It also allows for the data collection necessary for a program’s continual improvement. The ‘‘lessons learned’’ about programmatic processes documented in a Process study are often useful to other educators, 


방법

The evaluator might choose from among these methods:


    • Observation 

    • Document review 

    • Participant interviews


산출평가

Product evaluation study.


산출평가는 성과에 초점을 두기 때문에 친숙하다. 그러나 그 breadth는 매우 넓다.

The CIPP model’s Product evaluation study will seem familiar to most educators because of its focus on program outcomes. What may be more surprising is the breadth of that focus (Table 2). The CIPP Product evaluation study is the one most closely aligned to the traditional ‘‘summative’’ program evaluation found in other models, but it is more expansive. This type of evaluation study aims to identify and assess the program outcomes, including both positive and negative outcomes, intended and unintended outcomes, short-term and long-term outcomes. It also assesses, where relevant, the impact, the effectiveness, the sustainability of the program and/or its outcomes, and the transportability of the program. A CIPP model Product evaluation study also examines the degree to which the targeted educational needs were met


프로세스 평가와 함께 있을 때 가장 해석을 잘 할 수 있다. 예컨대 poor implementation은 poor outcome을 만든다.

Program outcomes (Products) are best interpreted with the findings of the Process evaluation studies in hand: it is possible, for example, that poor implementation (a process issue) might cause poor or unintended outcomes. The art of the Product evaluation study is in designing a systematic search for unanticipated outcomes, positive or negative

    • Stakeholders’ judgments of the project or program 

    • Comparative studies of outcomes with those of similar projects or programs 

    • Assessment of achievement of program objectives 

    • Group interviews about the full range of program outcomes

    • Case studies of selected participants’ experiences 

    • Surveys 

    • Participant reports of project effects


 

무엇을 기대해야 하는가?

What should educators expect if they choose to use the CIPP model?


formative & summative하게 사용할 수 있다.

CIPP model studies can be used both formatively (during program’s processes) and summatively (retrospec- tively).


  • Careful attention to the educational context of program is supported, including
    • what comes before, after, or concurrently for learners and others involved in the program,
    • how ‘‘mature’’ the program is (first run versus a program of long standing, etc.), and
    • the program’s dependence or independence on other educational elements.
  • The CIPP model incorporates attention to multiple ‘‘inputs’’:
    • learners’ characteristics, variability, and preparation for learning;
    • faculty’s preparation in terms of content expertise and relevant teaching skills, the number of faculty available at the right time for the program;
    • learning opportunities, including patient census and characteristics and other resources;
    • adequacy of funding to support program needs and leadership support.
  • The CIPP model allows educators to consider the processes involved in the program or to understand why the program’s products or outcomes are what they are.
  • It incorporates the necessary focus on program products or outcomes, informed by what was learned in the preceding studies of the program but focuses on improvement rather than proving something about the program. It can provide multiple stakeholders information about the program’s improvement areas, interpretation of program outcomes, and continuous information for accountability.

Multiple data collection methods are usually required to do a good job with CIPP studies, and each data set must be analyzed with methods appropriate to the data and to the evaluation questions being addressed. 


 


Conclusion

교육프로그램은 본질적으로 변화에 관한 것이다. 

Educational programs are inherently about change


  • The reductionist theory’s strict linearity, reflected in the familiar experimental and quasi-experimental evaluation models, may be too limiting to accommodate the known complexity of educational programs.

  • Kirkpatrick’s four-level model of learner outcomes also draws on the assumption of linear relationships between program components and outcomes but may be useful in helping evaluators to identify relevant learner outcomes.

  • The Logic Model, often informative during program planning, specifies the intended relationships between its evaluation components and may require constant updating as a program evolves. The Logic Model’s grounding in systems theory prompts adopters to incorporate the program’s context in evaluation studies, making it more inclusive than earlier evaluation models.

  • Stufflebeam’s CIPP model is consistent with system theory and, to some degree, with complexity theory: it is flexible enough to incorporate the studies that support ongoing program improvement as well as summative studies of a completed program’s outcomes. 


 

 



ACGME. 2010a. Accreditation council for graduate medical education:glossary of terms. Accreditation Council for Graduate MedicalEducation. Available from: http://www.acgme.org/acWebsite/about/ab_ACGMEglossary.pdf 


Cook DA. 2010. Twelve tips for evaluating educational programs. Med Teach 32:296–301. 


Durning SJ, Hemmer P, Pangaro LN. 2007. The structure of program evaluation: An approach for evaluating a course, clerkship, or components of a residency or fellowship training program. TeachLearn Med 19:308–318. 


Musick DW. 2006. A conceptual model for program evaluation in graduate medical education. Acad Med 81:759–765. 


Goldie J. 2006. AMEE education guide no. 29: Evaluating educationalprogrammes. Med Teach 28:210–224. 




 2012;34(5):e288-99. doi: 10.3109/0142159X.2012.668637.

Program evaluation models and related theoriesAMEE guide no. 67.

Author information

  • 1Office of Educational Development, University of Texas Medical Branch, 301 University Boulevard, Galveston, Texas 77555-0408, USA. awfrye@utmb.edu

Abstract

This Guide reviews theories of science that have influenced the development of common educational evaluation models. Educators can be more confident when choosing an appropriate evaluation model if they first consider the model's theoretical basis against their program's complexity and their own evaluation needs. Reductionism, system theory, and (most recently) complexity theory have inspired the development of models commonly applied in evaluation studies today. This Guide describes experimental and quasi-experimental models, Kirkpatrick's four-level model, the Logic Model, and the CIPP (Context/Input/Process/Product) model in the context of the theories that influenced their development and that limit or support their ability to do what educators need. The goal of this Guide is for educators to become more competent and confident in being able to design educational program evaluations that support intentional program improvement while adequately documenting or describing the changes and outcomes-intended and unintended-associated with their programs.

PMID:
 
22515309
 
DOI:
 
10.3109/0142159X.2012.668637
[PubMed - indexed for MEDLINE]


인지부하이론CLT 관점에서 의학교육과정 디자인 (Med Teach, 2016)

Twelve tips for medical curriculum design from a cognitive load theory perspective

JIMMIE LEPPINK1 & ROBBERT DUVIVIER2

1Maastricht University, the Netherlands, 2University of Newcastle, Australia






Introduction


본질적으로, CLT는 학습과제로 인해서 생기는 처리부담processing demands이 학습자가 가진 인지시스템의 처리능력processing capacity를 넘어설 때 생길 수 있는 잠재적 문제를 다루거나, 학습자의 인지적 자원이 최적화되지 못한 상태로 배분될 경우에 생길 수 있는 문제를 다룬다. 이는 선생과 학생 모두에게 문제가 되는데, 왜냐하면 의학에서 의미있는 학습이 발생하려면 본질적으로 제한된 인지시스템을 사용하여 엄청난 양의 인지적 프로세싱을 해야 하기 때문이다.

In essence, cognitive load theory deals with the potential problem that the processing demands evoked by learning tasks as complex as those in medical training may exceed the processing capacity of the learner’s cognitive system(i.e. they cause overload) or that the learner’s cognitive resources are allocated in a suboptimal manner. This is a challenge for both teachers and students, as meaningful learning in medicine often requires substantial cognitive processing using a cognitive system that is inherently limited



과제충실도, 과제복잡도, 교육적지원

Task fidelity, task complexity, and instructional support as core issues



These three issues can be conceived as three dimensions of a cube, as depicted in Figure 1.



Figure 1. A holistic model for how to integrate a competency into a medical curriculum (Leppink & Van den Heuvel 2015) applied to learning how to make a (particular type of) diagnosis:

(1) simple textual diagnoses with and then without instructional support;

(2) more complex textual diagnoses with and then without instructional support;

(3) simple diagnoses in a simulated environment with and without instructional support;

(4) more complex diagnoses in a simulated environment with and without instructional support;

(5) simple diagnoses in a real patient environment; and

(6) more complex diagnoses in a real patient environment.




첫 번째 이슈인 과제충실도는 다음을 포함함. (교과서와 다른 문헌, 모의환자, 실제환자)

The first issue, task fidelity, includes initial learning from textbooks and other literature, and advanced learning with simulated patients and eventually real patients.

 

두 번째 이슈인 과제복잡도는 학습과제의 난이도를 말함 (짧은 시간에 처리해야 하거나, 익숙하지 않거나, 새로운 정보가 많거나 등)

The second issue, task complexity, pertains to the difficulty of a learning task or activity. For example, a task becomes more complex when it has a shorter duration, it is unfamiliar to the learner, or includes a large amount of new information.

 

세 번째 이슈인 교육적지지는 테크놀로지 활용, 교수학습자원의 선택 등을 포함하며, 완전히 다 가공worked된 사례부터 자율적autonomous인 과제수행까지를 포함한다.

Finally, the third or instructional support issue includes the use of technology, and the selection of learning and teaching resources. It extends all the way from fully worked examples to autonomous task performance.


 

 

학습을 개별화하기 위한 역량의 활용

Using competencies to individualize learning



큐브 모델을 적용하여 학습경험을 개별화할 수 있으며, 학생들이 서로 다른 속도로 서로 다른 역량을 개발하게 할 수 있다.

Applying the cube model allows for individualiz- ing the learning experience, and enables students to move through different competencies at different paces.


예를 들어 당뇨병 환자 관리에 대해 배운다고 할 때...

 An example might help to illustrate this further. In learning about the manage-ment options for diabetes,

  • 초보자에게는...
    the most useful technique for novice learners might include an overview of the various strategies and worked examples with explanation on clinical decision-making rather than asking students to solve a clinical problem and search for solutions by themselves.

  • 전문성이 향상될수록...
    As expertise increases, one might present cases in a smaller group and encourage learners to present their suggested treatment plan without any kind of template. 


또한, 역량 발달은 하나가 다 발달하고 다음 것이 이뤄지는 것이 아니라, 학생은 다양한 역량 향상을 동시에 받게receive된다. 

Besides, competency development is typically not a process of developing one after another; students receive training in a variety of competencies at the same time.



12팁

Twelve tips


어떤 역량이든 HS-LC-LF에서 시작해서 LS-HC-HF로 가야 한다.

Whichever competency we are considering we have to work from a high-support low- complexity low-fidelity starting point to clearly defined end terms presenting an ability to function under low-support high- complexity high-fidelity circumstances.


과제충실도

Task fidelity


진단을 내리는 방법을 배우는 과정은 다음과 같다.

Learning how to make a particular type of diagnosis can be practiced

  • 처음엔 텍스트로 first by reviewing textual descriptions,

  • 컴퓨터 SP혹은 동료끼리 환자역할극으로 subsequently through practice with computer-simulated patients and/or patients role-played by peers,

  • 전문 배우 SP로 next through simulated patients played by more professional actors, and

  • 실제 환자 finally with real patients in an internship (Van Merrie¨nboer & Sweller 2010).







Medical competencies and topics as paralleled cubes (Leppink & Van den Heuvel 2015) in a coherent program. Figure 2.



과제 충실도 수준을 정하라

Ti p 1 Determine the number of fidelity levels


 

로지스틱스 요인이 제약을 가할 수 있다. 그렇지만 literature에서 실제 환자로 부드럽게 넘어가도록 최소한 한 가지 유형의 시뮬레이션은 있어야 한다.

Besides, logistic factors may put some constraints on for instance how many and which types of simulated patients are feasible. However, having at least one type of simulation appears necessary for a friendly transition from literature to real patients.


과제 충실도를 점진적으로 높이라

Ti p 2 Gradually increase fidelity



너무 초반부터 고충실도로 하면 학생을 두 가지 측면에서 과부하시킬 수 있다.

Starting in a high-fidelity environment too early may overload students in two ways,


첫째, HiFi환경은 너무 다양한 요소들이 있으나, 학생들은 그 요소들에 친숙하지 않아서 학생의 작업기억이 과부하를 겪는다. 둘째로, HiFi상황에서는 감정적반응emotions가 촉발되어 불필요한 작업기억의 부하를 일으키고, 이러한 감정이 bias를 자극하여 학습을 저해할 수도 있고, 학생은 진단에 필요한 프로세스보다 그러한 감정을 일으킨 사건에 초점을 둘 수도 있다. 따라서 충실도는 점진적으로 높아져야 함.

Firstly, high-fidelity environments may com- prise so many elements students are still unfamiliar with that their working memories are simply overloaded. Secondly, emotions evoked in higher- fidelity environments may certainly at first contribute to redundant working memory load and as such inhibit learning if these emotions stimulate bias (Kahneman 2011) or result in having students focus on the events that caused these emotions rather than on the process of coming to a diagnosis itself (Fraser, et al. 2012, 2014). It is therefore important that fidelity is increased gradually.


충실도를 높이는 과정

increasing fidelity by

  • 문서로 introducing students to paper-based cases first (low fidelity), before

  • 시나리오나 SP로 exposing them to scenarios with a simulated patient (medium fidelity) or

  • 병동에서 실제 환자로 an immersive experience on the psychi- atric ward talking to real patients (high fidelity).




훈련자와 학생 간 지속적인 대화

Ti p 3 Stimulate an ongoing dialogue between trainer and student


어떤 학생은 HiFi에 더 빨리 준비를 갖출 수도 있음.

some students may be ready for a higher level of fidelity sooner than other students will. Making appropriate decisions with regard to which level of fidelity is appropriate for a given student requires an ongoing dialogue between trainer and trainee.



HiFi로 가려면 적절한 교육적지지가 필요함.

Ti p 4 Moving to higher fidelity requires appropriate instructional support


1~3번 팁은 경험이 없는 학생을 HiFi에 노출시키는 것이 나쁘다고 말하는 것이 아니다. 다만 우리는 학생의 zone of proximal development를 신경써야 하고, 학생이 자율적으로 수행할 수 있는 것이 무엇인지, 학생이 전문가의 도움을 받거나 다른 capable한 동료들과 협력하여 어디까지 배울 수 있는지를 신경써야 한다.

Tips 1–3 should not be interpreted as a statement that exposing inexperienced students to higher-fidelity contexts is necessarily a bad thing. However, we must be aware of students’ zone of proximal development (Vygotsky 1978) or the distance between what a given student can perform autonomously and what this student could learn with the help from an expert or in collaboration with more capable peers.




 

과제복잡도

Task complexity

 

통합된 신체진찰은 일련의 움직임을 순서에 맞게 따라하는 것보다 복잡한 것이다. 

Likewise, an integrated physical examination is of a higher level of complexity than doing a series of movements in the right sequence.



복잡도의 수준을 정하라

Ti p 5 Determine the number of complexity levels


복잡도를 differentiate하기 실패하면 일부 학생을 under-load하고 일부는 overload하게된다. 

Failing to differ- entiate in complexity, we may under-load some students (Young & Stanton 2002) and overload others (Kalyuga & Hanham 2011).



복잡도를 점진적으로 높여라

Ti p 6 Gradually increase complexity


학생이 advance할수록 더 높은 복잡도를 다룰 수 있게 된다. under- 든 over-든 좋지 않다. 높이는 과정은...

The more a student advances, the more complexity this student can handle. To neither under-load nor overload the student, we should strive for a gradual increase in task complexity (Van Merrie¨nboer & Sweller 2010; Leppink & Van den Heuvel 2015). An example of this gradual increase could be

  • 증상을 비전형적으로, 진단을 덜 분명하게 from problem-based learning whereby paper cases progress from simple to more complex by making the presenting symptoms atypical and the diagnosis less clear.

  • 환자를 복잡하게 complex patients (e.g. higher acuity, more comorbidities)

  • 상호작용하여 관여하는 요소를 다양하게 number of interacting elements (time-pressure, unfamiliarity, large amounts of information)




자기조절을 자극하라

Ti p 7 Stimulate self-regulation



SRL은 두 가지 핵심 프로세스가 있다. 모니터링과 통제.

Self-regulated learning thrives on two key processes: monitoring and control (Nelson & Narens 1990; Zimmerman & Schunk 2001).

  • 모니터링: 학습자가 자신의 인지에 대해서 생각하는 것
    The term monitoring refers to the thoughts learners have about their cognition, whereas

  • 통제: 이러한 메타인지적 사고가 학습자가 적응적행동adapting behavior의 관점에서 어떻게 반응할지를 trigger하는 것. 그 다음에 어떤 학습활동을 할지 선택하는 것, 어떤 과제복잡도를 편한하게 느낄지 정하는 것 등등.
    the term control is used to refer how these meta-cognitive thoughts trigger responses on the part of the learner in terms of adapting behavior. Choosing subsequent learning activities or indicating what level of complexity one could feel comfortable with are examples of the latter.



HC로 가려면 적절한 IS가 필요하다

Ti p 8 Moving to higher complexity requires appropriate instructional support


As for fidelity, we must keep students’ zone of proximal development in mind.






교육적 지지

Instructional support


초심 학습자의 불필요한 인지부하를 줄이는 방법들

The use of

  • 가공된 사례 worked examples,

  • 완료과제 completion tasks,

  • 비-특이적 목표 non-specific goals (e.g. ‘‘find as many etiological explanations for these symptoms as you can’’), and

  • 다양한 sources들 사이에서 집중력을 분할split하지 않아도 되게 하는 프리젠테이션 presentations that avoid learners having to split their attention between multiple sources or having to process information through a suboptimal modality (e.g. having to process information verbally that actually ought to be presented verbally)

...constitute well-known tools to redundant reduce cognitive load among novice learners (Sweller et al. 1998; Van Merrie¨nboer & Sweller 2010).




지지 수준을 정하라

Ti p 9 Determine the number of support levels


초심자에게 redundant한 인지부하를 줄이기 위해 개발된 도구가 오히려 guidance없이 길을 찾아갈 수 있는 학습자에게는 redundant한 인지부하를 주게 된다.

That is, tools aimed at reducing redundant cognitive load among novices tend to contribute to redundant cognitive load among learners who are able to find their way without that guidance (Kalyuga et al. 2001, 2003).



서서히 지지 수준을 낮추라

Ti p 10 Gradually decrease support


 

어떻게 하나

When learning how to do this for

  • 처음에는 스텝-바이-스텝 the first time, provide students with step-by-step instructions and feedback,

  • 그 다음에는 피드백만 줌 then only provide them with feedback, and

  • 최종적으로는 피드백도 안 줌 finally provide no feedback at all.

 

각 복잡도와 충실도단계마다 이러한 점진적 지지수준을 낮추는 원칙이 적용되어야 한다.

This principle of gradually fading support is to be repeated at subsequent complexity and fidelity levels.


 

다양한 교육적지지 수준에서 practice해보게 함.

Ti p 11 Enable practice at different levels of support


 

학습자의 모니터링과 통제를 support하는 방법은 적절한 타이밍에 형성평가를 하는 것이다.

One way to support monitoring and control on the part of the learner (i.e. self-regulated learning) is through well-timed formative assessments,


형성평가는 반드시 autonomous한 과제수행에서만 해야 하는 것은 아니며, 가공된worked 예시에 대한 self-explanation 또는 수술의 특정 부분만을 수행하게 하는 것도 형성평가를 위한 완벽한 순간이다. 

Formative tests can pertain but are not limited to autonomous task performance; self-explanation of worked examples or for instance performing only a specific part of a surgery (Van Merrie¨nboer & Sweller, 2010) can provide excellent moments for formative assessment.


 

인지부하 수준을 계속 track하라.

Ti p 12 Keep track of cognitive load


학생의 발달과정에 따라 계속 추적해야 함. 어떻게 CL을 측정할지는 학자마다 의견이 다름 

teachers and curriculum developers should consider keeping track of cognitive load experienced by their students along the way (Leppink & Van den Heuvel 2015; Leppink et al. 2015). The question of how to measure cognitive load has however proven difficult for researchers.
  • Further, the Paas Cognitive Load Scale is a single-item measure whereby learners are asked to rate the perceived intensity of their mental effort at a given task or activity along a 9-point scale (1¼very, very- low mental effort; 9 ¼very, very-high mental effort) (Paas 1992).

  • Another frequently used instrument is the NASA Task Load index, which uses a visual analogue scale to indicate the perceived level on six subscales: mental demand; physical demand, temporal demand; performance; effort; and frustration (Hart & Staveland 1988).





Conclusions


  • 과제충실도Task fidelity:

    • to avoid cognitive and/or emotional over- load, we move up from literature through (different types of) simulated patients to real patients; starting at or moving to a higher level of fidelity should be accom- panied by sufficient instructional support.   

  • 과제복잡도Task complexity:

    • to avoid cognitive overload, we should gradually increase learning task complexity and provide sufficient instructional support when moving to more complex tasks.   

  • 교육적지지Instructional support:

    • for a given fidelity and complexity, instructional support should be faded gradually from tasks worked examples through completion tasks to performed autonomously.










Leppink J, Van den Heuvel A. 2015. The evolution of cognitive load theory and its application to medical education. Perspect Med Educ 4: 119–127.


Van Merrie¨nboer JJG, Sweller J. 2010. Cognitive load theory in health professional education: Design principles and strategies. Med Educ 44: 85–93.


Young JQ, Sewell JL. Applying cognitive load theory to medical education: Construct and measurement challenges. Perspect Med Educ 4:107–109.







 2016 Jul;38(7):669-74. doi: 10.3109/0142159X.2015.1132829. Epub 2016 Jan 25.

Twelve tips for medical curriculum design from a cognitive load theory perspective.

Author information

  • 1a Maastricht University , the Netherlands .
  • 2b University of Newcastle , Australia.

Abstract

During their course, medical students have to become proficient in a variety of competencies. For each of these competencies, educational design can use cognitive load theory to consider three dimensions: task fidelity: from literature (lowest) through simulated patients (medium) to real patients (highest); task complexity: the number of information elements in a learning task; and instructional support: from worked examples (highest) through completion tasks (medium) to autonomous task performance (lowest). One should integrate any competency into a medical curriculum such that training in that competency facilitates the students' journey that starts from high instructional support on low-complexity low-fidelity learning tasks all the way to high-complexity tasks in high-fidelity environments carried out autonomously. This article presents twelve tips on using cognitive load theory or, more specifically, a set of four tips for each of task fidelity, task complexity, and instructional support, to achieve that aim.

PMID:
 
26806279
 
DOI:
 
10.3109/0142159X.2015.1132829
[PubMed - in process]


의학교육의 변화: CBME가 옳은 접근법인가? (Acad Med, 2016)

Transforming Medical Education: Is Competency-Based Medical Education the Right Approach?

Michael E. Whitcomb, MD




지난 15년간 미국 뿐 아니라 전 세계의 대학의학 커뮤니티의 많은 사람들이 CBME를 지지해왔다. 이 움직임은 1999년 ACGME가 새로운 GME프로그램 개발/시행/평가를 위한 여섯 개의 general competencies를 제안하면서 시작되었다.

During the past 15 years, various individuals within the academic medicine community have advocated for the development of a competency-based approach for reforming medical education in the United States, and around the world. The movement had its formal beginning in 1999 when the Accreditation Council for Graduate Medical Education proposed a set of six general competencies that were to be used in establishing a new framework for designing, conducting, and evaluating graduate medical education programs.1


동시에, 의학교육계의 여러 사람들이 CBME는 ill-conceived하며 의학교육의 질을 저하시킨다고 주장했다.

At the same time, other members of the medical education community have argued that the CBME movement is ill conceived and actually threatens to undermine the quality of medical education.2


이번 호에서 ICBME Collaborators는 헌장charter를 제안하며 "CBME가 널리 도입되고 전세계 의학교육계가 이 여정과 함께할 수 있는 길을 구축하는 데" 도움이 되기를 바란다고 하였다.

In an article appearing in this month’s issue of the journal, a group of International Competency-Based Medical Education (ICBME) Collaborators have proposed a charter that they hope will help them “forge a path toward the goal of widespread implementation of CBME and to invite the worldwide medical education community to travel with [them] on this journey.”3




의학교육에서 CBME란 무엇인가?

What Does This Mean for Medical Education?


우선, 나는 의학교육을 변화시켜야 할 강력한 요구가 존재함에 동의한다.

To begin, I agree that there is a compelling need to transform medical education in this country to better prepare new physicians for the practice of medicine.


의학교육프로그램은 새롭게 양성되는 의사들이 진료를 시작했을 때 임상적 역량을 갖추었을 수 있게 설계되어야 한다고 믿는다. CBME를 도입하는 rationale이 "새롭게 양성되는 의사들이 진료practice에 준비될 수 있게 한다"라는 점은 말이 된다.

I believe that medical education programs should be designed and conducted in ways that aim to ensure that new physicians are clinically competent whenthey enter practice. Thus, the rationale for employing CBME in preparing new doctors for practice makes good sense.


내 관점에서, 의학교육계는 CBME지지자들이 말하는 것, 즉 임상역량의 결정은 졸업이나 수련을 마칠 당시에 한 차례의 총괄평가에만 기반해서는 안 되며, 각각의 역량 영역 - milestone - 에 대한 발전과정을 지속적으로 평가해야 한다는 것, 을 반드시 address해야 한다. 이러한 권고가 특히 문제가 있는 지점은, 각각의 역량을 individually 평가할 수 있다는 확실한 근거가 없다는 데 있다.

From my perspective, the medical education community must address the position advanced by CBME advocates that the determination of clinical competence may not be based solely on a summative assessment of a trainee’s ability to provide high-quality care at the time the trainee completes his/her training, but that indicators of progress in each of the competency domains—the milestones—must be continuously evaluated as the trainee progresses through each stage of the educational process. The approach recommended is particularly problematic because there is no convincing evidence that it is possible to assess each of the competencies individually.4


최소한, 스탶 의사들은 전공의들이 다양한 임상을 로테이션 하면서 수행능력 기준을 만족시키는지 평가하기 위해 더 많은 시간과 노력을 들여야 한다. CBME를 도입하는 과정에서 각 기관들이 해결해야 하는 과제는 어떤 기관들에게는 지나친 부담이 될 수 있다.

At the very least, staff physicians will have to commit more time and effort to assess whether residents have met the performance standards required for each of the milestones while rotating through various clinical services. The challenges that institutions will have to address in responding to the implementation of such a CBME framework may be overwhelming for some institutions.


CBME가 완전히 도입된다고 했을 때 생길 문제도 있다. 실제로 2010년 ICBME Collaborators는 CBME 시스템을 도입하기 위해서 극복되어야 할 "CBME의 일곱개의 주요 위험과 과제"를 제시한 바 있다. 이들은 의학교육계가 이 문제를 슬기롭게 해결하기 위한 노력에 동참해주기를 요청했다. 5년 이상이 지났지만, 여전히 그 문제는 해결되지 않고 있으며, 심지어 ICBME Collaborators는 이번 문헌에서 CBME가 더 나은 의사를 양성한다는 근거가 하직까지 없음을 명확히 밝히고 있다.

The reality that institutions will face a major challenge if a CBME system is fully adopted is well recognized. In fact, in 2010, the ICBME Collaborators presented a list of seven major “potential perils and challenges of CBME” that would have to be overcome to implement a CBME system, and they called on the medical education community to engage in efforts to determine how best to resolve the issues of concern.5 Now, more than five years later, those issues have not been resolved, and even more important, the Collaborators state clearly in their current article that there is currently no proof that the implementation of CBME would produce better doctors.


 

CBME를 지지하는 사람들의 주장의 타당성을 검증하는 것이 규제기구와 전문직기구가 CBME system의 도입을 강제하기 전에 이루어져야 한다. 왜냐하면 이를 위해서 엄청난 자원이 요구사항을 맞추기 위해서 투입될 것이기 때문이다. 그러나 현실에서 CBME시스템 도입을 지지하는 사람들의 입장은 theoretical construct에 머물고 있다.

I believe the claims being made by CBME advocates should be verified before steps are taken by regulatory and professional bodies to mandate the implementation of a CBME system that will require that substantial resources be committed to implement and conduct the system requirements. In reality, the position taken by those advocating for the implementation of a CBME system is so far based solely on a theoretical construct.



CBME가 더 나은 의사를 양성한다는 것을 보여줄 수 있는더 자세한 연구 아젠다가 필요하다.

A detailed research agenda that will provide a clear understanding of the value of CBME in producing better doctors is clearly needed.6


진정한 도전

The Real Challenge


나는 의료의 퀄리티가 낮은 것은 현재 진료중인 의사가 임상역량을 유지하는데 실패해서 생기는 경우가 더 흔하며, 학생이나 전공의가 그들의 교육과 수련을 마칠 때 임상적으로 충분한 역량을 갖추지 못했기 때문이라고 생각하지 않는다. 현재 진료중인 의사들의 의료행태를 모니터링하는 접근법은 매우 부족하다. certification과 relicensure에 필요한 프로세스는 의료의 질에 대한 진정으로 유의미한 그 어떤 척도도 포함하지 않고 있다.

I believe that medical care that is of poor quality is more often caused by practicing physicians who have failed to maintain their clinical competence, rather than by physicians who were not clinically competent when they completed their residency training and entered practice. The fact is that the approaches now in place for monitoring physicians’ practice behaviors are grossly inadequate. The fact is that the processes employed to grant maintenance of certification and relicensure do not include any truly meaningful measures of the quality of care being provided by physicians.7 At






4 Lurie SJ, Mooney CJ, Lyness JM. Commentary: Pitfalls in assessment of competency-based educational objectives. Acad Med. 2011;86:412–414.


5 Frank JR, Snell LS, Cate OT, et al. Competency-based medical education: Theory to practice. Med Teach. 2010;32:638–645.


6 Holmboe ES, Sherbino J, Long DM, Swing SR, Frank JR. The role of assessment in competency-based medical education. Med Teach. 2010;32:676–682.




 2016 May;91(5):618-20. doi: 10.1097/ACM.0000000000001049.

Transforming Medical Education: Is Competency-Based Medical Education the Right Approach?

Author information

  • 1M.E. Whitcomb is a medical education consultant, Phoenix, Arizona.

Abstract

There is growing recognition within the medical education community that medical education in this country needs to be changed to better prepare doctors for the challenges they will face in providing their patients high-quality medical care. A competency-based medical education (CBME)approach was endorsed by the Accreditation Council for Graduate Medical Education and the American Board of Medical Specialties approximately 15 years ago, and a self-designated group-the International Competency-Based Medical Education (ICBME) Collaborators-is now calling on members of the medical education community to join them in their effort to establish CBME as the approach to be used in transforming medical education, not only in the United States but also around the world.In response to an article in this issue by a group of ICBME Collaborators, the author argues that more evidence about the effectiveness of CBME is needed before a global shift to this approach is undertaken. It is time for major organizations and foundations that are committed to improving medical education to step forward and take the lead in partnering with the medical education community to conduct a critical evaluation of CBME. In addition, maintenance of certification, relicensure, and continuing medical education programs should be evaluated for their effectiveness in ensuring that physicians are clinically competent not only at the beginning of their career but also until the end.

PMID:
 
26675191
 
[PubMed - in process]


CBME 진보: 임상가-교육자를 위한 헌장(Acad Med, 2016)

Advancing Competency-Based Medical Education: A Charter for Clinician–Educators

Carol Carraccio, MD, MA, Robert Englander, MD, MPH, Elaine Van Melle, PhD, Olle ten Cate, PhD, Jocelyn Lockyer, PhD, Ming-Ka Chan, MD, MHPE, Jason R. Frank, MD, MA(Ed), and Linda S. Snell, MD, on behalf of the International Competency-Based Medical Education Collaborators





Background


국제적으로 CBME는 다양한 프레임워크로 도입되었음

Internationally, CBME is being adopted under a variety of frameworks, including

  • CanMEDS,3

  • the Accreditation Council for Graduate Medical Education competencies,4

  • the Scottish Doctor Outcomes,5 and

  • the Australian Curriculum Framework for Junior Doctors.6

 

이 헌장에서는 ten Cate의 CBME정의를 적용함: 하나 혹은 그 이상의 의료역량medical competencies에 해당하는 적절한 수준의 능력을 목표로 하는 의료전문직을 위한 교육

For the purposes of this charter, we adapt a definition of CBME recently proposed by ten Cate7: education for the medical professional that is targeted at a necessary level of ability in one or more medical competencies.


CBME가 도입된 이후, resource-intensive한 교육시스템을 도입하는 것에 대한 우려가 많았으며, 그것이 정말 더 나은 의사를 만드는 것인가도 증명되지 않았다. 그러나 CBME의 효과성에 대한 공식적 근거가 부족하더라도 우리는 이 모델을 지향해야 할 두 지식체bodies of knowledge를 가지고 있다. 첫 번째는 CBME의 building block이라 할 수 있는 교육이론이다.

Since the introduction of CBME, many concerns have been raised about implementing a resource-intensive system of education and training that is as yet unproven as a means of producing better doctors.8 However, if formal evidence of the effectiveness of CBME is lacking, we do have two bodies of knowledge that support the move to this model. First are sound advances in education theory that serve as the building blocks of CBME:

  • 명확하게 정의된 성과 the importance of clearly defined outcomes,

  • 학습자가 authentic setting에서 능동적 역할을 담당 learners taking an active role in their education and assessment within an authentic clinical setting, and

  • 다수의 평가자와 다수의 방법을 이용한 형성적, 집중 피드백 formative and focused feedback from multiple assessors using multiple methods.9,10

 

두 번째는 우리는 우리의 현재 시스템이 최선의 의사를 양성하기에 부족하다는 근거가 충분하다. 의료과오에 대한 여러 문헌들.

Second, we have ample proof that our current system falls short of producing the best possible doctors:

  • An Institute of Medicine (IOM) report,11

  • the Canadian adverse events study,12 and

  • adverse events and near-miss reporting in the United Kingdom13

...have documented high rates of preventable medical errors.


 

현재까지 CBME 도입에 대한 여러 장애물이 있어왔다.

Major barriers to CBME implementation to date have included

  • (1) the time- and resource-intensive nature of competence assessment, which requires direct observation by multiple assessors in multiple settings;

  • (2) the need for faculty development in teaching and assessing the competencies;

  • (3) a misalignment between learning environments and learners’ chosen practice environments;

  • (4) the logistical challenges of introducing competency- based advancement into a traditionally time-based system (where advancement is primarily based on satisfactory completion of medical school and prescribed number of years of specialty training); and

  • (5) limited investment in health professions education, which accounts for less than 2% of expenditures globally in the health care industry.8,14,15


우리는 대중과 의학교육계에 CBME가 harm하지 않으며, 타당한 이론적 근거가 있고, 환자와 인구집단, 시스템 향상을 위한 습관을 체화시킨 의사 양성에 기여한다는 것을 보여줄 필요가 있다.

We need to demonstrate to the public and the medical education community that CBME does no harm, is based on sound educational theory, and contributes to the professional formation of physicians who embody the habits of working to improve patient and population care as well as systems of care.



CBME 헌장

The CBME Charter


 

서문 Preamble


Frank 등은 의학교육에서 성과바탕교육에 대해 다음과 같이 묘사했다. 

Frank et al16 have proposed the following description of competency-based education for medical education:


Competency-based education (CBE) is an approach to preparing physicians for practice that is fundamentally oriented to graduate outcome abilities and organized around competencies derived from an analysis of societal and patient needs. It de-emphasizes time-based training and promises greater accountability, flexibility, and learner-centeredness.


 

기본 원칙 Fundamental principles


교육은 반드시 serve하는 인구집단의 건강요구에 기반해야 한다.

Education must be based on the health needs of the populations served.



학부의학교육의 플렉스너적 전통에서는 quality gap과 의료 과오를 낳았다. CBME는 반대로 "해결되어야 할 건강 문제를 정의하고, 건강시스템의 퍼포먼스를 위하여 졸업생에게 필요한 역량을 밝히고, 교육과정이 역량을 달성하고, 성취와 부족한 점을 평가하도록 tailor되어야 한다"

Flexnerian tradition17 for undergraduate medical education (UME), The deficiencies that resulted from this education and training experience were explicitly brought to light by reports on quality gaps and medical errors.11–13,19 CBME, by contrast, “is a disciplined approach to specify the health problems to be addressed, identify the requisite competencies required of graduates for health-system performance, tailor the curriculum to achieve competencies, and assess achievements and shortfalls.”14


이 원칙의 중요성은 Berwick이 말한 "세 가지 목표"에 의해서 지지되며, '더 나은 건강, 더 나은 헬스케어, 그리고 낮은 가격'이다.

The importance of this principle is supported by the “triple aim” of Berwick et al21, which espouses better health, better health care, and lower cost.



교육과 훈련의 첫 번째 초점은 학습자에게 기대되는 성과가 되어야 하며, 교육시스템의 구조나 프로세스가 되어서는 안된다.

The primary focus of education and training should be the desired outcomes for learners rather than the structure and process of the educational system.


 

CBME는 강조점을 학습자가 어떤 지식을 적용할 수 있는 능력을 보여주게끔 하는데 둔다. CBME는 '기본 역량' 을 다양한 스펙트럼에서 요구하는데, 특정 역량은 직업 궤적에 따라서 선택되며, 학습자는 다음 단계로 나아가기 전에 반드시 역량을 보여주어야 한다. 이 원칙, 즉 "학습성과의 표준화와 학습 프로세스의 개별화" 는 최근 UME와 GME 개혁을 위하여 카네기 재단에서 발간한 보고서에 실린 네 가지 목표 중 하나이다. 또한 CBME에서 발달advancement한다는 것은 전문직정체성형성PIF 에도 근거를 두는데, 이것은 시간에 걸친 성숙 과정으로서 전문직업적 역량 개발의 핵심 요소이다.

CBME shifts the emphasis to the learner’s ability to demonstrate the application of that knowledge. CBME defines a broad spectrum of basic competencies, along with specific competencies aligned with chosen career trajectories, that learners must demonstrate before they advance to the next stage. This principle—“standardization of learning outcomes and individualization of the learning process”—is one of the four goals of the recent Carnegie Foundation report on reforming medical school and residency education.23 It is important to emphasize, that advancement in CBME predicated also on professional identity formation, a maturational process that occurs over time, is an integral component of the development of professional competence.24,25


 

의사의 양성은 교육, 훈련, 실천의 seamless 연속체에 있어야 한다.

The formation of a physician should be seamless across the continuum of education, training, and practice.


 

"종점을 염두에 두고 시작하라beginning with the end in mind"는 교육, 훈련, 실천의 전체 연속체가 "좋은 의사란 무엇인가"라는 질문의 공동의 비전으로서 informed될 수 있게 해준다. 이러한 shift는 입학시점부터 시작되어야 하며, 우리로 하여금 premedical candidate가 바람직하게 갖추어야 할 것이 무엇인지를 다시 검토하게 한다. 연속체의 정신을 떠올렸을 때, 이것은 기초의학을 전체 교육 훈련과정에 걸쳐서 통합시키는 것을 말하며, 환자 진료에 어떻게 적용되는지를 명시적으로 연결시켜야 한다.

Adopting a strategy of “beginning with the end in mind” will allow the entire continuum of education, training, and practice to be informed by a shared vision of what it means to be a good doctor. This shift must begin at the point of admission, requiring us to reexamine what we consider to be the desirable attributes of premedical candidates. In the spirit of the continuum, it also means focusing and integrating core basic science knowledge throughout education and training, and explicitly linking its application to patient care.23


 

교육과정과 평가의 연속성이 연속체에 걸친 학습을 더 효과적, 효율적, 의미있게 해줄 것이다.

Continuity of both curriculum and assessment across the continuum will make learning effective, efficient, and meaningful.


 


의학교육자들에게 요구되는 헌신

Commitments required of medical educators



 

도출된 넓은 범위의 역량을 포괄하는 교육, 평가, 롤모델링에 대한 헌신

Commitment to teaching, assessing, and role modeling the broad range of identified competencies.


Reaching beyond the traditional goals and objectives related to patient care and medical knowledge, these competencies include communication, professionalism, advocacy, scholarship, leadership, and practice and system improvement.3–6,28 For learners to embrace these compe- tencies as part of their professional formation, they must be made explicit in our curricula.


 

환자 안전과 학습자의 전문직업적 성장의 균형을 맞추는 supervision에 대한 헌신

Commitment to supervision that balances patient safety with the professional development of learners.


There is a basic core of knowledge and skills that faculty must learn to practice effective supervision Faculty must provide the structure and support to learners to facilitate their progression toward unsupervised practice.



모든 이해관계자들에게 투명성을 갖출 헌신

Commitment to transparency with all stakeholders.



환자. 학습자는 형성적, 건설적, 구체적 피드백을 환자/타 의료직종/동료/교수에게 받아야 하며, 학습자의 발달에 투자되는 모든 이해관계자와 협력해야 한다.

The voice of the patient—collectively and individually—must be attended In turn, the numerous stakeholders in health care deserve transparency regarding achievement of the targeted outcomes. To be able to improve their performance, learners need formative, constructive, and specific performance feedback from patients, other health care professionals, peers, and faculty, requiring collaboration with all stakeholders invested in learner development.




 

학습자를 empowerment해야 할 헌신

Commitment to the empowerment of learners.



 

학습자가 다른 것처럼 그들의 교육적 궤적도 모두 다르다. 이 원칙을 적용하기 위해서 우리는 '학습환경'을 '근무환경'까지 확장시켜서 학습자가 궁극적으로 근무할 곳에서 더 많은 시간을 보내게 해야 한다.

The expectation of CBME is that the teacher, the learner, and the learning environment will foster a learner-centered approach that includes individualized learning experiences, feedback, and guided reflection at every step along the career trajectory.30 As all learners differ, so should their educational trajectories. Applying this principle requires that we extend our notion of the learning environment to apply to the workplace, allowing learners to spend more time in the types of settings in which they will ultimately practice.




평가전략과 도구의 효과성과 효율성을 위한 헌신

Commitment to the effectiveness and efficiency of assessment strategies and tools.



다수의 평가자가 필요하다. 첫째, 다양한 이해관계자가 환자 진료에 관여되며 이들은 모두 서로 다양한 관점에서 중요한 기여를 한다. 둘째, 신뢰도를 높이는데는 샘플링이 많아져야 한다.

Multiple assessors are critical for two major reasons. First, many stakeholders are involved with patient care, and they each bring an important and different perspective. Second, reliability is dependent on broad sampling.32


Crossley and Jolly가 말한 바와 같이, 높은 수준의 평가는 '판단'의 문제이고, 이는 '옳은 질문'을 '옳은 방식'으로, '옳은 것'에 대해서, '옳은 사람'이 했을 때 더 가능하다. 즉, 우리의 평가 전략은 우리가 측정할는 construct와 잘 align되어 있어야 한다. 예컨대 팀워크를 평가하기 위해서 우리는 근무지에서의 협력적 행동을 구체적으로 평가할 수 있는 도구가 있어야 한다. construct alignment가 평가자간 일치도를 향상시키고, 저성과자와 고성과자를 구분하는데 도움이 된다는 근거가 있으며, 신뢰도있는 평가를 위해서 필요한 관측의 숫자도 줄여준다.

As Crossley and Jolly33 state, “Because high-level assessment is a matter of judgment, it works better if the right questions are asked, in the right way, about the right things, of the right people.” In other words, our assessment strategies must be closely aligned with the constructs (i.e., the behaviors in health care) we are attempting to measure. For example, if we want to assess teamwork, we need a tool that specifically addresses collaborative behaviors in the workplace.34 There is some evidence that this quality of construct alignment increases rater agreement around learner performance and the ability to discriminate between low and high performers while reducing the number of observations required for reliable learner assessments.35,36


우리가 사용하는 도구는 구조화된 평가 프로그램의 한 부분이 되어야 하며, 그 '효용성'에 의해서 정해져야 한다. van der Vleuten and Schuwirth32이 말한 바와 같이 “multiplicative product of their reliability, validity, cost-effectiveness, feasibility, and educational impact.”을 고려해야 한다.

The tools that we use should be part of a structured program of assessment37 and be guided by their “utility,” which is defined by van der Vleuten and Schuwirth32 as the “multiplicative product of their reliability, validity, cost-effectiveness, feasibility, and educational impact.”



시간이 아니라 역량에 따라서 이행여부가 결정되어야 할 헌신

Commitment to basing transition decisions on competence rather than time.


 

빠르게 학습하는 학습자는 competent 레벨이 아니라 그보다 더 상위 수준의 역량을 가지고 졸업할 수 있다.

Learners who are progressing quickly can be pushed furtheralong the developmental continuum from novice toward expert by the time of their transition from GME to practice.4 Thus, instead of graduating at a level of performance that is considered competent, they may graduate at a performance level of proficient or beyond in certain areas. 



 

근무지 평가, 프로그램 평가, 연구를 통한 CBME 발전을 이룰 헌신

Commitment to advancing CBME through workplace assessment, program evaluation, and research.


학습자를 개개인 수준에서 평가하는 것은 역량-기반 발달에 필수적이다. 그러나 집단의 역량collective competence가 평가의 중요한 단위로 떠오르고 있으며, '팀'에 대한 연구는 앞으로 이어질 연구에서 매우 중요한 영역이다. 따라서 우리는 CBME의 복잡성을 잡아내기 위하여 다양한 렌즈를 통하여 관점을 확장시켜야 한다. 교육 연구는 기존의 교육이론을 기반으로 해야 하며, 새로운 이론의 발달에 기여해야 하고, 무엇이 성공했으며, 무엇이 그러지 못하였고, 왜 그랬는지를 보여주어야 한다. 이에 따르면 이 연구는 가설 검증에만 집중해서는 안되며 어떻게 CBME가 adopted and adapted했는지에 대한 우리의 이해를 정교화시켜주어야 한다.

Assessment of learners at the individual level is critical to their competency-based advancement. However, collective competence is emerging as a critical unit of assessment, and the study of teams is an increasingly important area of continued research.39 Accordingly, we must expand our view, using a range of lenses—including multisite case studies41 and developmental42 and realist evaluation40—to capture the complexity of CBME. Education research must draw from and build on existing theories of education, as well as contribute to the development of new ones, in illuminatingwhat worked, what did not work, and why. 43 Accordingly, this research should not focus solely on hypothesis testing but should also elaborate our understanding of how CBME is adopted and adapted as an educational innovation over time.44 




교수개발에 대한 헌신

Commitment to faculty development.



최근에 졸업한 교수를 빼면, 다른 교수들은 자신이 배우거나 평가받지 않은 역량을 가르치게끔 요구받는다. 더 문제를 복잡하게 만드는 것은 20세기 모델에 뿌리를 둔 교육과 21세기 의사에게 필요한 역량의 격차이다.

Unless faculty are recent graduates themselves, they are being asked to teach about competencies that were not formally taught or assessed during their own training. Compounding the problem is the gap between practices rooted in 20th- century models and the required abilities of 21st-century physicians;


두 층위에서의 헌신이 필요하다.

Our commitment must be twofold:

(1) to provide faculty development in teaching and assessing the competencies required of learners, and

(2) to work with those responsible to transform care systems to models that align with our teaching about best practices.15,45



협력에 대한 헌신

Commitment to collaboration.


This collaboration should encompass all the international communities interested or involved in implementing CBME.




 2016 May;91(5):645-9. doi: 10.1097/ACM.0000000000001048.

Advancing Competency-Based Medical Education: A Charter for Clinician-Educators.

Author information

  • 1C. Carraccio is vice president, Competency-Based Assessment, American Board of Pediatrics, Chapel Hill, North Carolina. R. Englander was senior director of competency-based learning and assessment, Association of American Medical Colleges, Washington, DC, at the time this was written. E. Van Melle is education researcher, Queen's University, Kingston, Ontario, Canada, and education scientist, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada. O. ten Cate is professor of medical education and director, Center for Research and Development ofEducation, University Medical Center, Utrecht, the Netherlands. J. Lockyer is senior associate dean-education and professor, Department of Community Health Sciences, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. M.-K. Chan is associate professor, Department of Pediatrics and Child Health, University of Manitoba, Winnipeg, Manitoba, Canada, and clinician educator, CanMEDS & Faculty Development, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada. J.R. Frank is director, Specialty Education, Strategy, and Standards, Office of Specialty Education, Royal College of Physicians and Surgeons of Canada, and director of educational research and development, Department of Emergency Medicine, University of Ottawa, Ottawa, Ontario, Canada. L.S. Snell is professor of medicine, Centre forMedical Education, McGill University, Montreal, Quebec, Canada, and senior clinician educator, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada.

Abstract

The International Competency-Based Medical Education (ICBME) Collaborators have been working since 2009 to promote understanding ofcompetency-based medical education (CBME) and accelerate its uptake worldwide. This article presents a charter, supported by a literature-based rationale, which is meant to provide a shared mental model of CBME that will serve as a path forward in its widespread implementation.At a 2013 summit, the ICBME Collaborators laid the groundwork for this charter. Here, the fundamental principles of CBME and professional responsibilities ofmedical educators in its implementation process are described. The authors outline three fundamental principles: (1) Medical education must be based on the health needs of the populations served; (2) the primary focus of education and training should be the desired outcomes for learners rather than the structure and process of the educational system; and (3) the formation of a physician should be seamless across the continuum ofeducation, training, and practice.Building on these principles, medical educators must demonstrate commitment to teaching, assessing, and role modeling the range of identified competencies. In the clinical setting, they must provide supervision that balances patient safety with the professional development of learners, being transparent with stakeholders about level of supervision needed. They must use effective and efficient assessment strategies and tools for basing transition decisions on competence rather than time in training, empowering learners to be active participants in their learning and assessment. Finally, advancing CBME requires program evaluation and research, faculty development, and a collaborative approach to realize its full potential.

PMID:
 
26675189
 
[PubMed - in process]


학부의학교육에서 다양한 교육과정과 교육법 설계 접근법의 근거:umbrella review (Med Teach, 2016)

Evidence for curricular and instructional design approaches in undergraduate medical education: An umbrella review

Betty Onyura, Lindsay Baker, Blair Cameron, Farah Friesen & Karen Leslie






의학교육에서 리더나 교수들이 이러한 empirical knowledge 를 교육과정 개발이나 교육법 설계에 적용하지 않고 있다. 이런 것이 교육의 광범위한 영역에서 research-practice gaps 으로 나타난다.

Critically, however, leaders and faculty in medical education may not access or utilize this empirical knowledge to inform their curricular development and instruc- tional design practices (Levinson 2010; Onyura et al. 2014). This echoes concerns across the broader field of education where there are notable research-practice gaps (Spencer et al. 2012).


Umbrella reviews 란 systemic review 수준의 근거를 locating, appraising, and synthesizing 하는 방법이다.

Umbrella reviews (or meta-systematic reviews) are an established method of locating, appraising, and synthesizing systematic review level evidence (Becker & Oxman 2008; Grant & Booth 2009). 



Methods

Eligibility criteria


Search strategies and selection methods


Data abstraction, analysis and synthesis


Assessing the quality of included systematic reviews 



Results


40% 이내에서 행동 변화, 환자 효과, 조직이나 커뮤니티 수준의 성과를 보고했다.

Fewer than 40% of included reviews presented data on behavioural changes (level 3), patient effects (level 4a), and broader organizational (level 4b) and community outcomes (level 4c).


교육과정 설계 접근법

Curricular design approaches



문화간 교류 

Cross-cultural exchanges


문화간 교류란 학생의 모국에서 벗어나서 전체 프로그램이나 elective 와 같은 기간 동안 다른 문화적 맥락에서의 경험을 쌓는 것이다.

Cross-cultural exchanges refer to elective (often) educational experiences completed outside a student’s home country during the course of their program or in a different cultural context within their own country (e.g. experiences in communities populated by continental natives) (Mutchnick et al. 2003).


장점들

  • 문화적 역량과 공감 Mutchnick et al. (2003) found consistent evidence that cross cultural experiences enhanced professional development by promoting cultural competence and compassion for patients.
  • 자원활용과 공중보건 이슈 In addition, learners developed an increased awareness of resource use, professional practice and public health issues.
  • 그 경험을 가치롭게 인식함 Overall, learners valued the learning experience.
  • 시야 확장, 자신감, 독립심, 목표설정 It enabled a broadening of perspectives and facilitated increased confi- dence, independence, and realistic goal setting ability.
  • 의과대학 매력발산 Having cross-cultural exchanges as a curricular option increased the attractiveness of medical schools to incoming students with many students reporting the exchange option as their primary reason for choosing a particular school.

장점에 대한 또 다른 결과 

Jeffrey et al. (2011) specifically explored international health electives (IHE) and found that

  • 자신감 students gained more confidence in certain clinical skills (e.g. history taking, physical examination) than peers who did not complete an IHE.
  • 인식 The students also had greater appreciation for the importance of cultural competency, prevention, environmental and public health, as well as the need to provide care to underserviced populations.
  • 지식 IHEs promoted knowledge acquisition on trop- ical disease and immigrant health.
  • 임상추론능력 It provided opportunities to strengthen existing clinical reasoning, history taking, and diagnostic skills with less emphasis on the use of high-tech instruments or interventions.
  • 진로 There was a reported tendency for students who completed IHE to choose primary care specialties (e.g. family medicine, internal medicine), seek employment in low-income clinics or pursue graduate educa- tion in public health (Jeffrey et al. 2011).

 

IHE는 매우 다양해서 어떻게 설계하는 것이 가장 좋은가에 대한 합의가 없다.

It is worth noting that IHEs are highly variable and there is no consensus on how best to design and implement IHE curricula.




조기임상경험

Early clinical and community experience



의과대학생들을 공식 임상실습 시작 전에 임상현장의 사회적 맥락에 orientation시키는 것

Early experience involves the orientation of medical students to the social context of clinical practice before they enter into their formal clinical training (clerkship) years (Dornan et al. 2006).



장점

  • 교육 만족 향상 Dornan et al. (2006) found some comparative research that indicated first year medical students who had early experience were more satisfied with their medical education than their peers with less experience.
  • 동기부여, 학습에 대한 책임감 Students with early experience developed enhanced learning motivation (Dornan et al. 2006; Yardley et al. 2010) and reported feeling increased responsibility to learn (Yardley et al. 2010).



professional development에 대한 장점

Across reviews, there were positive effects of early experi- ence on students’ professional development, including

  • adap- tation to professional roles, teacher-rated maturity (Dornan et al. 2006),
  • the identification of role-models,
  • understanding of the doctor–patient relationship, and
  • role clarity (Yardley et al. 2010).

 

또 다른 장점

  • 자기인식, 자신감, 공감 Review findings also illustrated improvements in students’ self-awareness, confidence (Dornan et al. 2006) and empathy for patients (Dornan et al. 2006; Yardley et al. 2010).
  • 공감능력이 지속됨 Some research demonstrated that these gains in empathy persisted several years beyond graduation (Dornan et al. 2006).


지식습득

Knowledge gains were reported in several areas, including

  • 하는 일의 실제적 관련성 understanding the practical relevance of their work,
  • 생활여건과 건강 the link between living conditions and health, and
  • 윤리관련 the ethical dimen- sions of patient care (Dornan et al. 2006).

 

기술습득

Skill acquisition was reported with regard to communication, reflection, history taking and physical examination skills (Dornan et al. 2006).

 

전공선택

Early experience also appeared to reinforce medical students’ vocational choice to practice medicine and influence career choices (e.g. working with underserved populations) (Dornan et al. 2006; Yardley et al. 2010).


환자, 지역사회에 대한 영향

Critically, the effects of early experience extended beyond the students themselves.

  • Patients were satisfied with the students’ skills and enthusiastic about their role in the learning process (Dornan et al. 2006).
  • There were also potential community benefits among populations where students were available to measure blood pressure, deliver oral health, treat trachoma and help manage malnutrition (Dornan et al. 2006).


이러닝

E-learning


만족도 향상
In general, IBL resulted in enhanced student course satisfaction (Cook et al. 2010a) even when compared to printed learning materials (Chumley-Jones et al. 2002).

 

자신감에 대해서는 차이 없음 (=)

There were, however, no significant differences in comparisons of learner confidence between IBL and other educational interventions.

 

지식습득 

Across studies, IBL promoted knowledge acquisition (Cook et al. 2010a) with knowledge gains being either superior (Cook et al. 2010a) or equivalent to gains realized using other educational interventions (Chumley- Jones et al. 2002; Cook et al. 2010a).

 

 

일부 학생들이 학습에 더 오랜 시간 걸림 (=)

However, learning time may have influenced findings as there were some studies where students spent longer studying or participating in IBL interventions (Chumley-Jones et al. 2002; Cook et al. 2010a). 


약간의 향상: 자신감, 성찰적 사고, 임상추론, 임상술기

Blended learning resulted in small improvements in self efficacy, 
reflective thinking, clinical reasoning, and clinical skills (history taking, reporting, documenting, and patient management) (Rowe et al. 2012).



IPE

Inter-professional education


IPE는 "둘 이상의 전문직 집단의 학생들이 서로에 대해서, 서로로부터, 서로와 함께 배움으로써 효과적인 협력과 health outcome의 향상을 가져오는 것"

IPE refers to‘‘when students from two or more professions learn about,from and with each other to enable effective collaboration and improve health outcomes’’ (WHO 2010, p. 7). 



결과가 혼재되어 있음 ( + / - )

Findings on general learner attitudes toward IPE were mixed.

  • 인식, 태도 Although some research reported that IPE was perceived as positive and relevant (Hammick et al. 2007), other research found that improved attitudes toward IPE returned to baseline over time (Lapkin et al. 2013).
  • 지식 습득 Although some evidence of knowledge gains as a function of IPE was reported (Lapkin et al. 2013), medical students in uniprofessional groups outperformed those in inter-professional groups on knowledge tests (Lapkin et al. 2013).
  • 전문직간 의사소통 While IPE interventions resulted in improvements in inter-professional communication in some research, these gains were comparable to those of control interventions (Lapkin et al. 2013).
  • Patient care Finally, there was some evidence to support the improvement of patient care (screening, illness prevention services) through IPE interventions (Hammick et al. 2007). 



포트폴리오

Portfolios



포트폴리오는 학습자의 성취에 대한 정보를 모아놓은 것으로서, personal and professional development을 목적으로, 일부는 비판적 분석과 성찰이 포함됨.

Portfolios are collections of information about a learner’s achievements, assembled with the intension of promoting personal and professional development, in part through a critical analysis and reflection of portfolio contents (McMullanet al. 2003)


전반적으로 personal and professional development의 다양한 측면에 도움이 됨. 그러나 많은 학생들은 종종 포트폴리오를 쓰는 것이 시간이 너무 많이 들어가고 스트레스 받는다고 말함. 또한 학습자들이 포트폴리오에 준비가 잘 안 되어있거나 포트폴리오가 학습자들의 poor commitment를 초래했다고 보고하기도 함.

Overall, learning, portfolios including appear to support various aspects of personal and professional development (Driessen et al. 2007). It is worth noting,however, that many studies report that students often find completion of portfolios to be time-consuming and stressful(Buckley et al. 2009). Studies also reported poor preparation and that introducing portfolios resulted in poor commitment from learners (Driessen et al. 2007).



PBL

Problem-based learning1


PBL은 학생들을 authentic real professional practice problems 에 던져주고 학습을 촉진시키는 것. SDL, reflective inquiry, active learing이 포함된 학생-중심 접근법.

PBL is a pedagogical approach that aims to facilitate student learning by immersing students in authentic real professional practice problems (Barrows 1986; Hung et al. 2008). PBL is a student-centred approach that incorporates SDL, reflective inquiry (Hung et al. 2008) and active learning (Colliver 2000) as learners work in small groups (Srinivasan et al. 2007; Hung et al. 2008).


PBL에 대한 근거는 확정적이지 않다. (+ / -)

Overall, the evidence on PBL is not definitive (Hartling et al. 2010).

  • 일부 영역에서는 도움이 된다고 나오나, 학업성취나 지식 습득에 있어서는 상반되는 결과들
    There is evidence to support the efficacy of PBL in improving competence in some domains (e.g. relational skills, clinical performance) and conflicting evidence in domains relating to academic achievement where several studies found knowledge acquisition was lower or equivalent in comparison to traditional teaching methods.

 

다른 평가 전략을 활용할 필요가 있을 것으로 제안하. RCT는 reliable한 방법이 아닐 수 있음.

Review authors suggest that there may be a need to adopt different evaluative strategies to assess the outcomes of PBL (Vernon & Blake 1993). For example, randomized controlled trials (RCTs) may not be a reliable methodology for PBL curricular design research given the lack of standardization or ability to blind students to an intervention (Polyzois et al. 2010).




집중연구

Scholarly concentrations


SC는 일렉티브 혹은 필수 프로그램으로서, 특정 주제에 대한 심화 학습(연구)를 촉진하게끔 하는 프로그램. 전통적인 교육과정에서 제공하는 것을 넘어서는 수준으로 나아감.

SCs are elective or required programs of study designed to promote in-depth study on specified topic areas, going beyond what the conventional curriculum would provide (Bierer & Chen 2010).

 

장점

We identified one review (Bierer & Chen 2010) that examined the impact SCs have on medical students.

  • 반응이 좋음 Overall, students reacted favourably to SCs and would undertake SCs again if given the opportunity.
  • 시야 넓혀주고, 연구에 대한 이해 도와주고, 지식 향상 Students believed that SCs gave them a broader perspective of patient care, improved understanding of research prin- ciples and enhanced their knowledge.
  • 문헌 평가, 과학연구에 관한 글쓰기, 연구의 윤리적 책임에 대한 향상
    Several studies critically showed that SCs improved student ability to conduct evaluate and literature, write scientific studies, ethically responsible research.


그러나 SC가 의무화 되어야 하는가에 대한 근거는 혼재되어 있음 (+ / -)

There were, however, mixed reactions as to whether SCs should be made mandatory.

  • Student criticisms of SCs included unwelcome stress, high effort, inadequate structure, and undue focus on lab research.
  • Students also expressed concern that SCs detracted from clinical opportunities.

 

진로 선택 관련 영향:

  • Finally, participation in SCs was found to influence career choices including choice of clinical specialty and decisions to pursue academic careers.

 

연구에 대한 흥미에 관한 결과는 상반됨 (+ / -)

Interestingly, though some research pointed to SC enhancing research interest, other research found the opposite effect.

 

확실한 결론을 내리기는 어려움

The diversity of articles and variable results prevent definitive conclusions about the value of SCs and the review authors advocate for increased rigour in evaluation designs to demonstrate SCs’ true impact (Bierer & Chen 2010).



자기주도학습 SDL

Self-directed learning


학습 과제가 학습자에 의해서 주도되고, 무엇을 어떻게 배울지 학습자가 결정하는 것

SDL is learning in which the conceptualization and conduct of a learning project are directed by the learner; he/she makes decisions about what to learn and how to learn it (Brookfield 2009).


장점: 최소한 기존 방법만큼은 된다.

However, SDL was  associated with moderate increases in knowledge gains above other approaches; the greatest gains were found when learners chose their own resources. Some evidence suggested that more advanced learners may benefit more from SDL than more novice learners. In general, SDL was found to be at least as effective as traditional learning and perhaps more effective in certain instances (Murad et al. 2010).





교육법 설계 접근법

Instructional design approaches



CBL

Case-based learning


실제 상황 시나리오에 대해서 학생들의 분석적 리뷰와 토론을 통한 교육법. CBL 학습자들은 사전에 준비를 해와서 소그룹으로 퍼실리테이터의 guided inquiry하에 문제를 해결함.

CBL is an instructional approach that involves students’analytic review and discussion of real-life scenarios. CBL learners prepare in advance and work in small groups focused on problem-solving as a facilitator engages them using guided inquiry (Slavin et al. 1995; Srinivasan et al. 2007). 


장점: 반응, 흥미 자극

Thistlethwaite et al. (2012) found that most students’ reactions to CBL were very positive. CBL stimulated learner interest and was perceived to offer a good link between academic content and real-life practice.

 

그러나 학생들은 학습량 부담이 많고, 총괄평가에 적절한지에 대한 의구심

Students,however, had concerns about workloads and whether CBL prepared them adequately for summative assessments.


종합하면, CBL은  장점은 있지만 다른 방법보다 꼭 더 효과적이지는 않을 수도 있음.

Overall, the review illustrates that CBL can be effective in enhancing learning though it may not necessarily be more effective than other teaching approaches(Thistlethwaite et al. 2012). 



개념지도

Concept maps


학습자들이 개념적으로 이해한 내용의 연관성을 시각적으로 표현하는 것

Concept mapping is an instructional strategy that involves having learners integrate knowledge through graphical repre-sentation of their understanding of conceptual linkages (Torreet al. 2013). 


장점 : 문제해결식 시험에서 더 잘했음

There was evidence that students who utilized concept maps performed better on problem-solving examinations than there students given lecture-based instruction.

 

그러나 객관식에서는 차이 없음

However, were no differences between these groups in multiple choice exam performance.

 

lowest cognitive competence인 학생에게 가장 효과가 큼

One study found that concept maps had the most impact on students who came into the study with the lowest cognitive competence(Daley & Torre 2010).

 

새로운 지식을 기존 지식과 연결시키는 것을 도와줌. 교수자가 다른 교육법과 함께 사용하기에 좋은 resource.

Concept maps appear to have a role to play in helping learners link new knowledge to previous knowledge and may be a valuable resource that instructors can integrate with other approaches.



해부실습과 해부시범

Dissection and prosection


해부실습은 학생이 카데바를 해부하는 것. 해부시범은 숙련된 교수자가 설명하면서 해부하는 것

Dissection is an active learning process that involves students cutting a cadaver to examine internal structures (Hasan et al.2010). Prosection involves cadaveric dissection by an experi-enced instructor, who concurrently demonstrates anatomical structures to students.


지식 습득에 관한 결과는 conflicting함

Findings were conflicting with some favouring knowledge acquisition through dissection and others through prosection.


해부실습에 약간 무게가 더 실리나, 더 결론적인 해석은 어려움

Although the findings reflect as light advantage in favour of dissection, a more conclusive interpretation of findings is prohibited by methodological limitations, anatomical including the non-standardized assessment of knowledge (Winkelmann 2007).





교육 게임

Educational games


경험적 학습의 한 형태로서, 학습자들이 구조화된 상황에 놓이고 그들이 학습하는 것에 대해서 경험하고 성찰하게 하는것

Educational games are a form of experiential learning that involve the participation of learners in structured situations that enable them to experience and reflect on what they are learning (Silberman 2007).



롤플레잉 게임은 노인의학 교육을위한 개입으로 효과적이지 않았음

The findings suggest that role-playing games are not effective interventions for geriatric education


지식 습득에 도움됨

The results of the study showed that educational games resulted in improvements in know-ledge, as measured by tests taken shortly after the intervention.


대부분의 연구에서 단기 지식 습득은 더 우월함. 장기 지식 습득에 관한 것은 혼재되어 잇음.

For most studies, short-term knowledge acquisition was found to be either superior or equivalent to didactic lectures. Findings with regard to longer-term knowledge acquisition are mixed. Whereas most studies found superior or equivalent effects when comparing games to didactic learning, one study favoured didactic learning. These findings illustrate the varying situational effectiveness of educational games (Blakely et al. 2009). 




환자 포함

Patient involvement


적극적으로 환자를 involvement시킬 것을 지지하는 설득력있는 rationale들이 있음(질병에 관한 환자의 경험적 지식이 학생 교육에 포함될 수 있다)

There is a persuasive rationale for the active involvement of patients in health professional education, including the fact that patients’ experiential knowledge of illness can be incorporated into student instruction (Towle et al. 2010). 


장점: 긍정적인 학습자 반응. 의사보다 경험많은 환자가 낫다.

Wykurz and Kelly (2002) highlighted positive learner reactions to patient involvement.

 

  • Many learners commented on gaining new insights when patients gave them constructive feedback and some even preferred the training they received from experienced patients over the training from doctors (Wykurz & Kelly 2002).

 

단점: 부정적인 학습자 반응. 교수가 가르쳐주는 것이 낫다.

This is in contrast to the findings of Jha et al. (2009) where students in some studies rated faculty teaching as being of better quality and more relevant than teaching by patients. Jha et al. (2009) also highlighted other potentially negative outcomes such as student skepticism about the benefit of patient involvement, or student perceptions of imposing on patients. 

그래도 장점이 많음 

Conversely, there were a myriad of positive 
effects due to real patient involvement on learners’ perceptions of personal growth and of the quality of the doctor–patient relationship (Jha et al. 2009) along with a deepening respect for patients (Wykurz & Kelly 2002). In addition, several studies reported improvements in clinical skill proficiency and knowledge acquisition including knowledge about the social aspects of disease (Jha et al. 2009) and about patients’ experience of the disease (Wykurz & Kelly 2002).

환자 자신에게도 긍정적 영향이 있음. 

Importantly, patient involvement had a positive effect on patients themselves.

  • Patients reported enjoying the process and appreciated the opportunity to share their knowledge and facilitate learning (Wykurz & Kelly 2002). They also reported enhanced disease knowledge, improved perceptions of the doctor–patient relationship (Jha et al. 2009) and feelings of empowerment (Wykurz & Kelly 2002; Jha et al. 2009).

 

 

 

종합하면, 나름의 독특한 장점이 있으나, 환자의 정서적 웰빙 혹은 스테미나, 스트레스 등이 보고되기도 함.

Overall, involving real patients who have first-hand experience of disease in student instruction appears to benefit learners in unique ways, in addition to being cost-effective (Wykurz & Kelly 2002). There were, however, some concerns about patients’ emotional well-being and stamina in some studies, where patients might experience stress when sharing potentially painful issues or undergoing repeated examinations (Wykurz & Kelly 2002). It is important that researchers 


표준화 환자의 효과: 활용하는 것이 가치가 있다.

May et al. (2009) examined the effects of standardized patients on learners.

  • Learners consistently rated standardized patients as beneficial, reporting increased confidence and comfort levels, particularly in the areas of communication skills and performance of sensitive examinations.
  • Standardized patients also had positive effects on learners’ knowledge and skill and acquisition (e.g. in communication, teamwork,physical examination skills) across studies.

As with real patient involvement, the reviews reveal significant educa-tional value through the use of standardized patients as an instructional tool. 


기술-기반 시뮬레이션

Technology-enabled simulation


시나리오를 실제와 유사하게 연습할 수 있도록 마련된 사람, 기기, 일정조건. 학습자들이 실제 상황에서처럼 반응해야 함

Simulation has been defined as a person, device, or set of conditions that attempt to present practice scenarios authentically and require the learner to respond as he/she would under natural circumstances (McGaghie 1999). Technological advances have opened up new frontiers for simulation technology, allowing medical students to learn and practice clinical skills in controlled environments where patient safety is not at risk (Elley et al. 2012). 



laparoscopic surgery training에 대한 리뷰 세 개

Three reviews examined the use of virtual reality simulators within laparoscopic surgery training


효과성가 확실해보임: 기술적 실수를 줄여줌으로써, 수술의 다른 측면(의사결정)에 더 집중할 수 있게 도와줌

These reviews provided convincing evidence for the efficacy of virtual reality simula-tors in basic laparoscopic training. Simulator training appears to reduce the number of technical mistakes, thus enabling the surgical trainee to concentrate more on other aspects of surgery such as decision making (Ikonen et al. 2012). 


high fidelity simulation 을 사용하는 것의 장점에 대한 근거는 충분하나, 다른 modality보다 우월한지에 대해서는 일관되지 않음.

Overall, there appears to be good evidence to support the use of the high fidelity simulation proffered by computer- ized mannequins in health professional education, however, evidence as to whether it is superior to other modalities is inconsistent.



기술-기반 교육

Technology-enabled teaching



audience response systems (ARS)의 효과

Nelson et al. (2012) reviewed the effects of audience response systems (ARS) on learners.

  • 청중과 발표자 상호작용 ARS create interactivity between a presenter and a large audience by providing a platform for audience members to communicate with the presenter.
  • 학생들은 ARS를 즐겼고, 자신감 높아짐 Overall, the review found evidence that students generally enjoy using ARSs, and the experience enhanced confidence.
  • 학생이 ARS를 얼마나 즐기는가는 교수자에 따라 달라짐. Interestingly, findings indicate that student enjoy- ment of ARS can be teacher-dependent –with ARS favoured with one teacher and traditional lecture format favoured with a different teacher.
  • 즉각적, 혹은 장기 지식 습득에 도움 Across studies, use of ARS in lectures resulted in either enhanced or equivalent immediate and long-term knowledge acquisition outcomes in comparison to traditional lectures (Nelson et al. 2012).
  • 중립~modest 정도의 효과가 있으며, 교수자에 따라 달라짐 Overall, it appears that there are neutral to modest beneficial effects of ARS use that may be teacher dependent.
  • 상호작용적 교육환경 조성에 도움이 됨 ARSs may provide a convenient way for educators to create an interactive teaching environment, particularly in situations where lecturers struggle with student engagement.
  • Methodological limitations prohibit drawing of firmer conclusions (Nelson et al. 2012).


Discussion



더 강력한 연구 방법과 연구의 이론적 토대가 필요함

Across reviews, there is a resounding call for greater research methodological rigour and theoretically informed design.



주로 연구들이 Kirkpatrick level 2a and level 2b에 집중하고 있음. 지식은 시험 점수로만, 태도는 자신감으로만 측정하는 경우가 많음. 중요하긴 하나 포괄적으로 반영하지 못할 수도

Our findings highlight that extant research is largely directed at examining a limited set of learning outcomes, focusing predominantly on shifts in knowledge, skills, and attitudes (Kirkpatrick level 2a and level 2b). Often, the singular focus in assessing knowledge acquisition is test performance, while the singular focus in assessing attitudes is on shifts in confidence. While important, these narrow parameters do not reflect the multiple ways in which knowledge is manifested or the huge variability in relevant attitudes experienced by learners.


많은 교육적 인터벤션의 효과는 mixed 되어있다. contextual variabilities and individual differences의 영향도 있음

The review findings highlight that many educational interventions result in mixed effects on learning. Whereas some of this variability is likely attributable to methodological limitations outlined above), some of it must be attributed to contextual variabilities and individual differences. Indeed, the situational variance in the efficacy of educational approaches is worthy of evaluation, and can generate knowledge about how contextual disparities and individual (teacher/learner) differences influence the effectiveness of curricular and instructional design approaches. We contend that the central realist evaluation approach of evaluating ‘‘what works, for whom, under what circumstances, and why’’ (Pawson & Tilley 1997; Ogrinc & Batalden 2009) is highly relevant for evaluating learning outcomes in the complex health professional educa- tion environment.








 2016 Feb;38(2):150-61. doi: 10.3109/0142159X.2015.1009019. Epub 2015 Sep 4.

Evidence for curricular and instructional design approaches in undergraduate medical education: An umbrellareview.

Author information

  • 1a St. Michael's Hospital , Canada .
  • 2b Independent Research Associate , Canada .
  • 3c University of Toronto , Canada.

Abstract

INTRODUCTION:

An umbrella review compiles evidence from multiple reviews into a single accessible document. This umbrella review synthesizesevidence from systematic reviews on curricular and instructional design approaches in undergraduate medical education, focusing on learning outcomes.

METHODS:

We conducted bibliographic database searches in Medline, EMBASE and ERIC from database inception to May 2013 inclusive, and digital keyword searches of leading medical education journals. We identified 18,470 abstracts; 467 underwent duplicate full-text scrutiny.

RESULTS:

Thirty-six articles met all eligibility criteria. Articles were abstracted independently by three authors, using a modified Kirkpatrick model for evaluating learning outcomes. Evidence for the effectiveness of diverse educational approaches is reported.

DISCUSSION:

This review maps out empirical knowledge on the efficacy of a broad range of educational approaches in medical education. Critical knowledge gaps, and lapses in methodological rigour, are discussed, providing valuable insight for future research. The findings call attention to the need for adopting evaluative strategies that explore how contextual variabilities and individual (teacher/learner) differences influence efficacy of educational interventions. Additionally, the results underscore that extant empirical evidence does not always provide unequivocal answers about what approaches are most effective. Educators should incorporate best available empirical knowledge with experiential and contextual knowledge.

PMID:
 
25665626
 
[PubMed - in process]


완전학습: 의학교육이 21세기에 합류할 시대(Acad Med, 2015)

Mastery Learning: It Is Time for Medical Education to Join the 21st Century

William C. McGaghie, PhD






전통적인 임상의학교육은 Sir William Osler 가 New York Academy of Medicine 에서 1903년 발표한 19세기적 '임상역량의 습득'에 대한 생각에 기반을 두고 있다. 이 발표의 제목은 “The hospital as a college,” 로서 이후 'Aequanimitas'라는 제목으로 발표되었다. 1903년의 강연은 오슬러의 유럽의학교육에 대한 이전 경험을 반영하고 있으며, 오슬러는 유럽의학교육이 미국의 모델보다 우월하다고 판단했다. 오슬러는 이렇게 말했다.

Traditional clinical medical education is grounded in 19th-century thinking about the acquisition of clinical competence expressed by Sir William Osler in an address to the New York Academy of Medicine in 1903. The address, titled “The hospital as a college,” was published later in a collection of Osler’s essays titled Aequanimitas.2 The 1903 lecture reflects Osler’s earlier experience with European medical education which he judged superior to the extant American model. Osler states,

 

 

이 나라의 clinical clerk 시스템에는 급진적 개혁이 필요하다. 학생을 가르치는 자연적 방법natural method은 환자로부터 시작하고, 환자와 더불어 이어지고, 환자에 대한 의사의 연구로서 종결된다. 학생에게 어떻게 관찰할 것인가만 가르치면, 팩트로부터 교훈이 저절로 나올 것이다.

“The radical reform needed is in the introduction into this country of the system of clinical clerks.…” Osler continues: “In what may be called the natural method of teaching the student begins with the patient, continues with the patient, and ends his studies with the patient [emphasis added]. Teach him how to observe, and the lessons will come out of the facts themselves.”


'natural method of teaching'에 대한 오슬러의 생각은 존스홉킨스의 외과의사 동료인 William Halsted 역시 지지하게 되는데, 그는 1904년 “the training of the surgeon” 를 기술한 바 있다. 오슬러와 할스테드는 임상의학교육이 환자에 내제embodied 되어 있다고 보았다. 즉, 학생이 환자에 노출되어 오랜 시간 함께하게 되면, 이것으로 역량있는 의사가 되기에 충분한 훈련을 받은 것이다. 이는 수동적인 임상교육과정모델이며, 온전히 지속적 환자 경험에만 의존하고 있는 것이다. 오슬러와 할스테드는 구조화된, 단계화된 교육과정을 언급한 바가 없다. 피드백을 동반한 객관적 평가, 초심자 의사가 마스터가 되기 위한 guided reflection 등도 없다.

Osler’s idea about the natural method of teaching was endorsed by his Johns Hopkins surgeon colleague William Halsted,3 who described “the training of the surgeon” in 1904. Osler and Halsted argued that the clinical medical curriculum is embodied in patients—that is, student exposure to patients and experience over time is sufficient to ensure that physicians in training will become competent doctors. This is a passive clinical medical curriculum model based solely on longitudinal patient experience. Osler and Halsted made no place for structured, graded educational requirements; skills practice; objective evaluation with feedback; accountability; and guided reflection for novice physicians to master their craft.


오슬러의 natural method of teaching 에 대한 구조와 조작적 표현은 오늘날 의과대학/레지던트/펠로우/CME에서도 흔하게 볼 수 있는 것이며, "시간이 중요한time honored" 방식이 여전히 보존되고 지속되고 있다.

Structural and operational expressions of Osler’s natural method of teaching are seen every day at medical schools, residencies, fellowship programs, and continuing education where “time honored” practices (e.g., morning report, professor and grand rounds) are preserved and sustained.



완전학습 프로그램에 대한 메타분석 결과는 no intervention과 비교했을 때, 스킬 영역에 효과가 크고, 환자outcome에 대해서 중등도의 효과가 있다.

The meta-analytic results show that mastery learning programs are associated with large effects on skills and moderate effects on patient outcomes compared with no intervention.


저자들은 "완전학습 모델이 역량중심교육에 특히 관계가 깊으며, 이는 규정된 학습시간이 아니라 규정된 목표를 공동으로 강조shared emphasis하기 때문이다"라고 결론지었다.

The authors conclude, “The mastery model may be particularly relevant to competency-based education, given the shared emphasis on defined objectives rather than defined learning time.”6


Clinical experience alone is insufficient to guarantee the acquisition and maintenance of clinical competence. Osler’s natural method of teaching based solely on longitudinal clinical experience without curriculum objectives and measurement, performance expectations, learner practice with supervision, rigorous assessment with feedback, high achievement standards, and clear educational milestones is obsolete and simply does not work.



완전학습

Mastery Learning


완전학습은 여러 교육과학자들, 그리고 John Carroll이 1963년 연구하고 저술한 교육적 접근법으로부터 유래한다. 완전학습의 중심 교리는 다음과 같다.

Mastery learning is an educational approach that originates from research and writing beginning with John Carroll7 in 1963 and other early educational scientists including Fred Keller,8 James Block,9,10 and Benjamin Bloom.11 The central tenets of mastery learning are that

(1) 모든 학습자에게 교육 수월성을 기대하고 학습자는 이를 달성한다.

educational excellence is expected and can be achieved by all learners, and

(2) 완전학습에 있어서 학습자간 성과의 차이는 거의 없다.

little or no variation in measured outcomes will be seen among learners in a mastery environment.


완전학습은 K.A. Ericsson이 언급한 교육공학(educational engineering)의 문제로서 시작되었다. 핵심 질문은, '높은 교육적 태도와 강력한 성취동기를 가진 유망한 학습자들이 있을 때(의과대학생과 레지던트 등), 어떻게 교육환경을 설계해야 최대한의 학습성과를 얻을 수 있을까?' 였고, 이에 대한 대답은 모든 학습자가 완전(수준)성취를 이루게끔 촉진하는 교육조건을 만들고 관리하는 것이었다.

Mastery learning starts as an educational engineering problem, as articulated by K.A. Ericsson12 in his contribution to this thematic cluster. The key question is, given prospective learners with high educational aptitude and strong achievement motivation (e.g., medical students and residents), how shall we design an educational environment that produces maximum learning outcomes among all trainees? The answer is to create and manage a set of educational conditions—a curriculum and assessment plan—that promotes mastery level achievement among all learners.


완전학습에서는 학습자간 variation이 거의 존재하지 않으며, 반대로 학습시간은 학습자간 크게 다를 수 있다.

Mastery learning results are uniform with little or no variation among learners. By contrast, educational time can vary among learners.


 

다른 곳에서 기술된 바와 같이,

As stated elsewhere,14 


완전학습은 최소 아래의 일곱 개의 complementary feature를 가지고 있다.

mastery learning has [at least] the following seven complementary features: 

1. 베이스라인 평가 Baseline, or diagnostic testing; 

2. 점차 난이도가 증가하는 순서로 배치된 명확한 학습성과, Clear learning objectives, sequenced as units usually in increasing difficulty; 

3. 목표 달성을 위한 학습활동에 참여 Engagement in educational activities (e.g., deliberate skills practice, calculations, data interpretation, reading) focused on reaching the objectives; 

4. 각 학습유닛에 대한 최소 합격선 설정 A set minimum passing standard (e.g., test score) for each educational unit; 

5. 완전mastery 수준을 위한 단위 성취unit completion을 측정하기 위해 미리 설정된 최소 통과기준에 대한 형성평가
Formative testing to gauge unit completion at a preset minimum passing standard for mastery; 

6. 완전 기준을 달성하거나 넘어서면 다음 교육단계로 넘어가기
Advancement to the next educational unit given measured achievement at or above the mastery standard; and 

7. 완전 기준을 달성할 때까지 해당 유닛을 지속적으로 연습(학습)

Continued practice or study on an educational unit until the mastery standard is reached.




Mastery Learning Cluster





Future Directions


완전학습 교육과정의 도입되면서 점차 더 많은 의학교육프로그램들이  Berwick의 'categories of innovator'에서 '초기 도입자' 수준에 이르렀다.

A growing number of medical education programs now qualify for Berwick’s categories of innovator or early adopter25 as a result of implementing mastery learning curricula.



Conclusion



Thomas Kuhn은 정상과학을 다음과 같이 정의했다.

Writing in The Structure of Scientific Revolutions, Thomas Kuhn27 defined normal science as


the activity in which most scientists inevitably spend almost all of their time, [which] is predicated on the assumption that the scientific community knows what the world is like. Much of the success of the enterprise derives from the community’s willingness to defend that assumption, if necessary at considerable cost.



 



12 Ericsson KA. Acquisition and maintenance of medical expertise: A perspective from the expert performance approach and deliberate


17 Inui TS. The charismatic journey of mastery learning. Acad Med. 2015;90:1442–1444.


18 Lineberry M, Park YS, Cook DA, Yudkowsky R. Making the case for mastery learning assessments: Key issues in validation and justification. Acad Med. 2015;90:1445–1450.



20 McGaghie WC, Barsuk JH, Cohen ER, Kristopaitis T, Wayne DB. Dissemination of an innovative mastery learning curriculum grounded in implementation science principles: A case study. Acad Med. 2015;90:1487–1494.


21 Yudkowsky R, Park YS, Lineberry M, Knox A, Ritter EM. Setting mastery learning standards. Acad Med. 2015;90:1495–1500.


22 Eppich WJ, Hunt EA, Duval-Arnould JM, Siddal VJ, Cheng A. Structuring feedback and debriefing to achieve mastery learning goals. Acad Med. 2015;90:1501–1508.



23 Cohen ER, McGaghie WC, Wayne DB, Lineberry M, Yudkowsky R, Barsuk JH. Recommendations for reporting mastery education research in medicine (ReMERM). Acad Med. 2015;90:1509–1514.



24 Griswold-Theodorson S, Ponnuru S, Dong C, Szyld D, Reed T, McGaghie WC. Beyond the simulation laboratory: A realist synthesis of clinical outcomes of simulation based mastery learning. Acad Med. 2015;90:1553–1560.



25 Berwick DM. Disseminating innovations in health care. JAMA. 2003;289:1969–1975.






 2015 Nov;90(11):1438-41. doi: 10.1097/ACM.0000000000000911.

Mastery learning: it is time for medical education to join the 21st century.

Author information

  • 1W.C. McGaghie is professor of medical education, Northwestern University Feinberg School of Medicine, Chicago, Illinois.

Abstract

Clinical medical education in the 21st century is grounded in a 19th-century model that relies on longitudinal exposure to patients as the curriculum focus. The assumption is that medical students and postgraduate residents will learn from experience, that vicarious or direct involvement in patient care is the best teacher. The weight of evidence shows, however, that results from such traditional clinical education are uneven at best. Educational inertia endorsed until recently by medical school accreditation policies has maintained the clinical medical education status quo for decades.Masterylearning is a new paradigm for medical education. Basic principles of mastery learning are that educational excellence is expected and can be achieved by all learners and that little or no variation in measured outcomes will result. This Commentary describes the origins of mastery learningand presents its essential features. The Commentary then introduces the eight reports that comprise the mastery learning cluster for this issue of Academic Medicine. The reports are intended to help medical educators recognize advantages of the mastery model and begin to implementmastery learning at their own institutions. The Commentary concludes with brief statements about future directions for mastery learning program development and research in medical education.

PMID:
 
26375269
 
[PubMed - indexed for MEDLINE]


완전학습 기준 설정하기(Acad Med, 2015)

Setting Mastery Learning Standards

Rachel Yudkowsky, MD, MHPE, Yoon Soo Park, PhD, Matthew Lineberry, PhD, Aaron Knox, MD, and E. Matthew Ritter, MD






완전학습은 학습향상educational progress를 교육과정 시간이 아니라 학생이 보여주는 수행능력을 기반으로 판단하는 교육적 접근법이다.

Mastery learning is an instructional approach in which educational progress is based on demonstrated performance rather than curricular time.1


완전학습의 핵심 특징은 "완전" 수준에 도작하기 위하여 수 차례의 재시험을 치를 수 있는 것이며, 최종 성취 수준은 모든 학생에서 동등하다.

A key characteristic of mastery testing is the ability to retest on multiple occasions to reach a designated “mastery” level; the final level of achievement is the same for all learners,


전통적인 기준설정법이 최소역량minimal competence를 타겟으로 한다면, 완전학습의 목적은 모든 학습자가 다음 이어지는 훈련단계에 잘 준비되게끔 하는 것이다.

Whereas traditional standards target minimal competence, the goal of mastery learning is to ensure that all learners are well prepared to succeed in subsequent stages of training.


기준은, 다른 말로는 합격기준, 합-불합 점수, 최소합격점수 등은 normative 또는 criterion based 일 수 있다. 

Standards, also called cut scores, pass/ fail scores, or minimum passing levels, be normative, or criterion based


규범적 기준은, 모든 학습자의 합-불합이 해당 그룹의 다른 학생들의 수행능력에 따라 정해지는 것이며, 역량중심교육과정이나 완전학습에서는 더 이상 그 자리는 없다. 반대로, 준거-기반 기준은 역량중심교육과정에 특히 적합하다.

Normative standards, in which a learner’s pass/fail status depends on the performance of other members of the group, have no place in competency- based curricula or mastery settings. Criterion-based standards, on the other hand, are especially appropriate for competency-based curricula


 

 

역량바탕 교육과정에서 종종 전통적 기준-설정 방법인 Angoff,8 Hofstee,9 borderline, or contrasting groups.6을 사용한다. 비록 전통적인 준거-기반 방법이 완전학습 세팅에서 적절하긴 하나, 완전학습에서는 근본적으로 "완전학습이 이후 교육 또는 수행의 성공을 예측한다" 라고 추정하고 있기에 근거-기반 접근법이 필요하다. "근거"에는 다음과 같은 것이 들어간다.

Competency-based curricula frequently use traditional standard-setting procedures such as Angoff,8 Hofstee,9 borderline, or contrasting groups.6 Although criterion-based methods are appropriate for mastery settings, the central inference of mastery standards— that they predict success in subsequent training or practice—demands an evidence-based approach.10 Evidence can include
  • 예측력을 보여주는 과거 수행능력 자료 the use of predictive past performance data,
  • 서로 다른 기준이 미래 수행능력에 미치는 영향 information about the consequences of different standards for future performance,
  • 타겟 참조군targeted reference groups의 활용 the use of targeted reference groups, and
  • 환자안전의 고려 consideration of patient safety in clinical settings.


기준 설정 절차

Standard-Setting Procedures


판단의 기준이 되는 정보는 '미래 수행능력에 대한 예측'에 초점을 둬야 한다.

the information on which judgments are based should be focused on predicting future performance,


문항-기반 기준설정 절차: 수행능력예측자료

Item-based standard-setting procedures: Predictive performance data


문항-기반 Angoff 방법은 종종 지필고사나 수행능력 체크리스트에 활용되며, "경계선상의 학생"(즉 최소역량을 가까스로 보유한 학생)의 수행능력을 예측한다. 이 학생이 각 문항이나 체크리스트를 옳게 답할 가능성을 예측하여 기준을 정한다. 완전학습에서는 최소역량을 갖춘 학생의 행동을 예측하기보다는, 다음 교육단계나 다음 수행단계를 위해 성공적으로 준비된 학생의 수행능력이 어떨지 그려본다modelling.

The item-based Angoff method,6,8 frequently used for written tests and performance checklists, asks judges to predict the performance of the “borderline student,” a student who is just at the edge of minimal competence. Judges indicate the probability that the borderline student would accomplish each item of a test or checklist correctly. In mastery settings, rather than predicting the behavior of a minimally competent student who is just at the edge of acceptable performance, judges will be modeling the performance of a student who is well prepared to succeed at the next stage of instruction or practice.


전통적인 교육과정에서 이러한 통계치는 한 학습단위가 종료되는 시점에서 치러지는 한 차례의 시험에 기반을 두고 있으며, 이 한 차례의 시험에서 모든 학습자가 통과할 것을 기대하게 된다. 반대로 완전학습 환경에서는 첫 번째 시험에서의 합격률(통과율)은 낮을 수도 있다. 심지어 2, 3, 5, 10회의 재시험을 치른 후에도 그럴 수 있으나, 결국에는 '완전' 수준에 도달하여 다음 단계로 넘어간다. 그렇다면 기준을 정하기 위해 어떤 시험의 결과자료를 활용해야 하는가?

In traditional curricula these statistics are based on a single test administration at the end of the learning unit, which most learners are expected to pass on the first attempt. In a mastery environment, on the other hand, the first test may have a very low pass rate. Eventually—after 2, 3, 5, 10 retests—they will reach the mastery level and move on. Which test results should be used to inform the judges?


완전학습에서 기준을 설정할 때 문항의 난이도보다는 '관련성' 이나 '중요도'가 더 중요하다.

When setting standards in the context of a mastery learning approach, item difficulty is less important than item relevance or importance.


과거의 시험에서 어떤 문항을 50%의 학생만 맞춘다는 것이 그 문항을 덜 중요하게 만드는 요인은 아니었다.

knowing that in the past only 50% of learners accomplished that item does not make the item any less important.


완전학습에 있어서의 근거-기반 접근법이 함의하는 것은 "'수행능력 자료'는 앞선 단계에서 학습자의 성공 혹은 실패가 이후 단계에서의 학습경험에 대한 정보를 제공해줄 수 있을 때 가장 가치롭다"라는 것이다.

An evidence-based approach to mastery standards implies that performance data are most valuable when the data include information about past examinees’ success or failure in subsequent learning experiences.14


어떤 분석에서 '시뮬레이션 기반 평가가 학습자가 어떻게 실제 환자에서의 수행능력을 예측해주는지'를 보여준다면 매우 유용할 것이다.

Analyses showing how scores on the simulation-based assessment predict examinees’ performance on actual patients could be very useful to judges—


피평가자-기반 절차: 적절한 비교대상 그룹 찾기

Examinee-based procedures: Identifying appropriate benchmark groups


피평가자-기반 절차(borderline-group method or the contrasting-groups method)에서는 피평가자를 서로 구분되는 수행능력 수준에 따라서 카테고리화해야 한다. 예컨대 proficient vs nonproficient, or pass/marginal/fail.

Examinee-based procedures or methods such as the borderline-group method or the contrasting-groups method6,11 require judges or external criteria to categorize examinees into groups at contrasting levels of performance—for example, proficient versus nonproficient, or pass/ marginal/fail.


특정 시험에서 가장 좋은 기준은 두 그룹을 가장 잘 구분해주는(contrasting-group) 점수이거나, 경계선상그룹(marginal)의 중간값(median score)점수이다(borderline-group method).

The standard for a particular exam is obtained by determining the test score that best discriminates between the two groups (contrasting-groups method) or the median score of the marginal group (borderline-group method).


전통적인 피시험자-기반 방법을 완전학습에 적용하려면 "다음 단계로 넘어succeed가기에 충분한 준비가 되었다"라는 것으로 수정되어야 한다. 전통적인 방법으로 정의된 경계선상그룹의 수행능력은 완전학습의 최종 목표에는 부적절하다.

Traditional examinee-based methods generally need to be modified to support the “well prepared to succeed” inferences of a mastery setting. The marginally acceptable performance of peers identified by the traditional borderline-group method is not an appropriate final goal for mastery learners;


"숙달그룹"접근법은 발달적으로 적합한 발달을 이루고 있는 그룹의 점수를 기준 설정에 활용한다. 숙달그룹은 매듭짓기와 같은 것을 계장화instrumented 환경(가상현실 시뮬레이터 등)에서 수행할 수 있다.

The “proficient group” approach18,19 uses the performance scores observed from a developmentally appropriate benchmark group to guide standard setting. The proficient group performs a task such as knot tying in an instrumented environment (e.g., a virtual reality simulator).


고도로 숙달된, 혹은 심지어 전문가 그룹이 '독립적 수행'으로 이행하는 학습자에게는 적합한 기준이 될 수 있다. 그러나 '전문가'는 어떤 과제를 수행할 때 절차적 변이procedural variants를 활용할 수 있고, 이것은 임상적 판단과 기술이 부족한 초기 단계의 학습자에게는 안전하지 못할 수 있다.

A highly proficient or even expert benchmark group may be appropriate for learners transitioning to independent practice. However, experts may perform the task using procedural variants that would be inappropriate and unsafe for early trainees with limited clinical judgment and skills.


경험 그 자체만으로는(몇 년간 경험했는가) 합당한 수준의 수행능력을 갖추었는지를 예측하지 못한다. 개개인이 적절한 수준으로 숙달하였는가는 임상경험의 기간과 객관적 수행능력 측정의 점수를 종합해야만 판단할 수 있다.

Measures of experience alone, such as years of practice, do not well predict acceptable performance.20 Suitably proficient individuals are best identified on the basis of a combination of clinical experience and scores on an objective measure of performance.


contrasting- groups methods 에서의 대조그룹의 설정은 조심해야 한다.

Comparison groups for contrasting- groups methods used in mastery settings must be chosen with care.


완전학습에서, 우리는 '초심자'를 '전문가'와 구분하는 평가를 필요로하는 경우가 별로 없다. 대신, 우리는 '그 다음단계로 충분히 넘어갈 역량을 갖춘 초심자'와 그렇지 않은 초심자 사이에 구분이 필요하며, 관리감독 없이 수행할 준비가 되지 못한 피훈련자와 안전하게 수행할 준비가 된 피훈련자 사이의 구분이 필요하다.

in mastery learning we rarely need assessments that can tell novices from experts; instead, we need assessments that discriminate between novices who are sufficiently competent to move on versus novices who are not, or that distinguish trainees who are not quite ready for unsupervised practice from those who can graduate and practice safely.


전문가 혹은 숙달 그룹의 수행능력이 기계적인 기준 생성의 근거가 되지는 못한다(임의로 전문가 점수 빼기 1.5SD를 한다거나, 전문가 점수의 분포와 초심자 점수의 분포간의 교점 이라든가)

Performance data of expert or proficient groups should not form the basis for a mechanistic generation of a standard (e.g., arbitrarily choosing “expert score minus 1.5 standard deviations,” or “the point of intersection between experts’ and novices’ score distributions”).

 

 


시험-기반 절차

Test-based procedures



시험-기반 Hofstee method은 규범-기반 과 준거-기반 기준을 복합적으로 활용하여 어느 정도 숫자의 학습자가 탈락하는 것이 수용가능한지 판단하고, 이에 따라 설정한 준거가 도입가능한지 판단한다. 최소 합격선과 최대 합격선을 정하고, 최소 합격률과 최대 합격률을 정한다. 최종 합격점수는 피시험자들의 실제 수행능력에 따른다.

The test-based Hofstee method6,9 (also called the whole-test method or compromise method) uses a combination of normative and criterion-based standards to ensure that the number of failed learners will be acceptable and the standards therefore implementable. Judges are asked to bracket the cut score by specifying the minimum and maximum acceptable passing scores and the minimum and maximum acceptable failure rates; the final cut score is based on the actual performance of the examinees.

 

 

Hofstee method 는 완전학습에 있어서 거의 분명희 부적합한 방법이며, 완전학습에서는 사실상 모든 학습자가 궁극적으로 정해진 기준에 도달하여 다음 단계로 나아가야 하기 때문이다.

The Hofstee method is arguably inappropriate for setting standards in a mastery context, in which practically all learners are expected to eventually achieve the specified standard and advance to the next phase of training.


환자 안전을 위한 완전학습

Mastery Standards to Support Patient Safety


전통적인 기준-설정에 있어서 흔히 해야 하는 일은 '학습자가 다음 단계로 나아가기 위해서는 '얼마나 많은' 내용content를 습득해야 하는가'를 정하는 것이다. 예컨대, 객관식 시험에서 맞춰야 하는 문항의 숫자와 같은 것이다. 그러나 환자안전을 고려한다면, 결정해야 하는 것은 학습자가 그 내용을 '얼마나 잘' 습득해야 하는가이다.

The usual task in traditional standard-setting exercises is to specify how much of the content learners must master to proceed to the next learning experience—for example, the number of multiple- choice or procedure checklist items accomplished. However, in consideration of patient safety consequences, judges may wish to specify process variables that indicate how well learners must master that content—for example,

  • how quickly knowledge can be retrieved
  • , the time frame in which a procedure must be performed, or
  • evidence of overlearning and automaticity that help predict long-term retention.21,22,28–30

습득한 기술이 녹스는 것이 완전학습에서만 벌어지는 것은 아니나, 절차적 기술 procedural skills에 있어서 특히 두드러지는 현상이다.

Although skills decay is not unique to mastery learning, it is especially salient for activities such as procedural skills


전통적인 기준-설정 절차는 시간에 따라 보상적compensatory이다. 일단 피시험자가 합격선을 통과하면, 어떤 문항을 맞췄고 못 맞췄는지는 중요하지 않다. 그러나 임상환경에서 특정 수행능력을 잘못 하고 있거나 어떤 항목을 맞추지 못한 것은 환자 안전이나 환자 성과에 심각한 영향을 줄 수도 있다. 기본적 절차적 기술에 있어서 완전학습의 접근법은 근거자료에 기반하여 환자안전/환자의 편안함comort/절차적 결과procedure outcome 등에 미치는 영향을 고려해서 각 아이템을 평가하는 것이다. 즉, (완전학습에서는) 어떤 것을 잘 수행할 수 있고 그렇지 못하고가 환자안전 등에 영향을 미칠 수 있다면 그 문항은 "중요critical"한 것이다.

Traditional standard-setting procedures are compensatory across items: As long as examinees achieve the cut score, it does not matter which individual items are missed and which are accomplished. In clinical settings, however, the omission or incorrect performance of individual items may have a significant impact on patient safety and outcomes. One approach to setting mastery standards for basic procedural skills is to have judges rate each item as to its impact on dimensions such as patient safety, patient comfort, or procedure outcome, relying on evidence based data when available; an item whose performance or nonperformance has an impact on one of these dimensions can be considered “critical.”27 


이러한 방식의 '중요' 항목에 대한 기준 결합conjunctive standard을 만드는 것은 초기 검사 이후 지연 검사delayed test를 통해서 그 기술의 유지maintenance를 평가할 때도 중요하다. 즉, 중요하지 않은 항목에서 높은 retention을 보이는 것이 중요한 항목에서의 쇠퇴decay를 가려서는 안되기 때문이다.

Setting this type of conjunctive standard for critical items is also important when assessing maintenance of skills from initial testing to a delayed retest, to avoid having retention of noncritical items mask the decay of critical skills.


시뮬레이션을 통한 임상스킬의 평가는 언제나 일정 수준 구인의 과소대표성(construct underrepresentation)을 포함하고 있다. 즉, 임상환경에서의 스트레스나 집중을 방해하는 요소들이 실제 환자를 보는 세팅에서는 수행능력의 저하로 이어질 수 있는 것이다. 시뮬레이션 환경에서 전통적인 수준의 "최소 역량"에만 도달하고자 하는 학습자는 실제 환경에서는 최소 역량에 미치지 못할 가능성이 높다.

Assessment of clinical skills in a simulated environment almost always involves some degree of construct underrepresentation31 that, combined with the stress and distractions inherent in clinical environments, often leads to a decrement in performance in live-patient settings.32,33 Learners who aim for and reach only the traditional standard of “minimal competence” in a simulated environment are at risk of falling below minimal items.world. competence on the task as a whole when they attempt to perform it in the real


기준의 퀄리치와 영향력 평가

Evaluating the Quality and Impact of Standards



완전학습에 있어서 설정한 기준의 퀄리티를 평가하는 것은 쉽지 않다. 일단 완전학습 시스템이 도입되면, 합격선을 통과한 학습자는 다음 단계를 잘 해내고, 합격선을 통과하지 못한 학습자는 다음 단계를 잘 해내지 못하는 식의 (학습자간) 비교 데이터를 얻기가 어렵다. 학습자의 통과 기준이 마련되면, 그 기준을 낮추더라도 충분히 기대하는 효과를 얻을 수 있는지를 알기가 어려운데, 왜냐하면 그 기준을 통과하지 못한 학습자를 다음 단계로 넘어가게 하는 것이 가능feasible하지 않거나, 윤리적이지 못하기 때문이다.

Evaluating the quality of mastery for the standards can be challenging. Once a performance.mastery learning system is implemented, it is difficult to obtain comparative data showing that learners who achieve the cut score are successful in the next stage of training and practice while learners who do not reach the passing score are likely to struggle or to be unsafe. When learners who pass the standard are successful, it is difficult to know whether a lower standard might have been sufficient to obtain the desired effect because allowing learners who did not achieve the standard to progress may not be feasible or, in patient care settings, ethical.


완전학습에 있어서 신뢰도 계산 역시 어려운데, 수행과 재시험을 반복함으로서 완전학습의 가능성은 높아지고, 시험성적의 variance는 작아진다. 그 결과 신뢰도는 높아지고, standard error는 작아진다.

Reliability metrics for mastery tests are complex, Each round of practice and retesting increases the learners’ probability of mastery and decreases the variance of test scores (see Figure 1), resulting in a higher reliability and a decreased standard error of measurement;


반면, 학습자간 variance가 작아지는 것은 - 시험이 반복되면 거의 0에 수렴하게 되는데 - 전통적인 신뢰도 계산metrics으로는 완전학습에 대한 것을 해석하기도 어렵고 적절relevant하지도 못할 수 있다.

On the other hand, the decreased variance across learners— which may approach zero with repeated testing because all are achieving the mastery standard—means that traditional reliability metrics will be difficult to interpret and may not be relevant in a mastery setting.







 








34 Lineberry M, Park YS, Cook D, Yudkowsky R. Making the case for mastery learning assessments: Key issues in validation and justification. Acad Med. 2015;90:1445–1450.





 2015 Nov;90(11):1495-500. doi: 10.1097/ACM.0000000000000887.

Setting mastery learning standards.

Author information

  • 1R. Yudkowsky is associate professor, Department of Medical Education, and director, Dr. Allan L. and Mary L. Graham Clinical Performance Center, University of Illinois at Chicago College of Medicine, Chicago, Illinois. Y.S. Park is assistant professor, Department of Medical Education, University of Illinois at Chicago College of Medicine, Chicago, Illinois. M. Lineberry is assistant professor, Department of Medical Education, University of Illinois at Chicago College of Medicine, Chicago, Illinois. A. Knox is a resident in plastic and reconstructive surgery, University of British Columbia Faculty of Medicine, Vancouver, British Columbia, Canada. E.M. Ritter is associate professor, vice chairman for education, and program director for the general surgery residency, Norman M. Rich Department of Surgery, Uniformed Services University of the Health Sciences F. Edward Hébert School of Medicine/Walter Reed National Military Medical Center, Bethesda, Maryland.

Abstract

Mastery learning is an instructional approach in which educational progress is based on demonstrated performance, not curricular time. Learners practice and retest repeatedly until they reach a designated mastery level; the final level of achievement is the same for all, although time to masterymay vary. Given the unique properties of mastery learning assessments, a thoughtful approach to establishing the performance levels and metrics that determine when a learner has demonstrated mastery is essential.Standard-setting procedures require modification when used for masterylearning settings in health care, particularly regarding the use of evidence-based performance data, the determination of appropriate benchmark or comparison groups, and consideration of patient safety consequences. Information about learner outcomes and past performance data of learners successful at the subsequent level of training can be more helpful than traditional information about test performance of past examinees. The marginally competent "borderline student" or "borderline group" referenced in traditional item-based and examinee-based procedures will generally need to be redefined in mastery settings. Patient safety considerations support conjunctive standards for key knowledge and skill subdomains and for items that have an impact on clinical outcomes. Finally, traditional psychometric indices used to evaluate the quality of standards do not necessarily reflect critical measurement properties of mastery assessments. Mastery learning and testing are essential to the achievement and assessment of entrustable professional activities and residency milestones. With careful attention, sound mastery standard-setting procedures can provide an essential step toward improving the effectiveness of health professions education, patient safety, and patient care.

PMID:
 
26375263
 
[PubMed - indexed for MEDLINE]









학부의학교육에서 EPA의 활용 사례(Acad Med 2015)

The Case for Use of Entrustable Professional Activities in Undergraduate Medical Education

H. Carrie Chen, MD, MSEd, W.E. Sjoukje van den Broek, MD, and Olle ten Cate, PhD






AAMC는 최근 전공의 입학생을 위한 13개의 EPA의 draft set을 발표하였으며, 의과대학들로 하여금 이것을 졸업생들의 성과를 평가하는 기준으로 삼게끔 권고하였다.

The Association of American Medical Colleges (AAMC) recently published a draft set of 13 core entrustable professional activities (EPAs) for entering residency and encouraged medical schools to consider them in determining outcomes for graduating students.1


성과-바탕 접근법을 의학에서의 교육과정 설계와 운영, 학습자 평가와 교육과정 개발에 활용할 것에 대한 제안은 1970년대부터 있어왔으며, 1990년대부터 점차 많은 관심을 받고 있다. 국제적으로 학습자 성과에 대해 점차 더 강조가 되는 이러한 현상은  CBME라고 불리며, 의학에서 수련을 마칠 때 기대되는 수행능력을 좀더 명확히 규정할 것을 강조하는 것이다.

The idea of an outcomes-based approach to curricular design and implementation as well as learner assessment and curriculum development has been proposed in medicine since the 1970s, and it has gained increasing attention since the 1990s.3 This international movement towards greater emphasis on learner outcomes is known more widely as competency-based medical education (CBME) and is compelling the delineation of clearer performance expectations for graduates of medical training.3,4



ACGME의 core competency domain과 같은 CBME 프레임워크를 도입하는 교육자들이 갖는 한 가지 우려는, 이것이 환자를 돌보는데 있어서 실제 수행능력에 대한 성과를 잘 잡아내지 못한다는 것이다. 이들 저자들은, 부분이, 즉 개인이 가지는 개별 역량 영역들의 합이, '진료'라는 전체를 이루지 못한다고 지적한다.

One concern of educators is that the adopted CBME frameworks, such as the Accreditation Council for Graduate Medical Education core competency domains in the United States, do not fully capture or focus on the actual performance outcome of caring for patients.3–8 These authors argue that the parts, or the abilities within individual competency domains, do not add up to the whole of practice.4


또한, 한 가지 상황에서 환자 진료를 잘 할 수 있다는 것이 다른 상황이나 맥락에 반드시 적용translate되는 것도 아니다.

Also, the capability to provide patient care in one context or clinical circumstance may not necessarily translate to other contexts and circumstances.

 

마지막으로, '객관적으로 측정가능한' 학습자 능력에 대한 평가에 초점을 맞추면서, 오히려 어떻게 학습자가 다양한 임상환경에서 실제로 환자를 보는가에 대해서는 멀어질 수도 있다. 교육자들은 '수행능력 성과performance outcome'란 임상진료가 이뤄지는 맥락 안에서 구성framed 되어야 하며, 전문가로서의 발달과정은 다양한 영역의 역량에 걸친 통합과 보건의료환경에 대한 적용이 요구된다고 주장한다. EPA라는 개념은, CBME관련 프레임워크에서는 비교적 새로운 개념이며, 이러한 우려를 해소하기 위하여 도입되었다.

Lastly, the focus on objective assessment of measurable learner abilities may detract attention from the assessment of how learners actually care for their patients in a variety of clinical contexts. Educators have argued that performance outcomes should be framed in the context of clinical care, recognizing that professional development requires the integration of abilities across multiple competency domains and application within the health care environment.3,6,8–10 The concept of EPAs, a relatively new CBME- related framework, was introduced as a potential solution to these concerns.9,11



EPA란 한 전문직에게 신뢰하고 수행을 맡길 수 있는 전문직으로서의 필수적 활동을 의학교육의 성과로 조작화operationalize하는 것이다. 예를 들어 “care of complicated pregnancies.”라는 EPA가 있다면, 여기에는 다양한 역량영역이 관여되고(지식, 의사소통, 프로페셔널리즘), 이 지식/술기/태도의 통합을 필요로 한다. 전통적 역량 프레임워크에서 개개인의 퀄리티에 초점을 맞췄담ㄴ, EPA는 완수되어야 하는 업무의 퀄리티에 초점을 둔다.

EPAs operationalize medical education outcomes as essential professional activities that one entrusts a professional to perform.12 An example of such an activity is “care of complicated pregnancies.”5 Each EPA is a synthesis of multiple competency domains (e.g., medical knowledge, communication skills, and professionalism) and requires the integration of knowledge, skills, and attitudes.12 Whereas traditional competency frameworks focus on qualities of the person, EPAs focus on qualities of the work to be completed.5


The International CBME Collaborators 는 GME기대역량을 가지고 UME 기대역량을 거꾸로 만들 것을 제안한다. 이 때 등장하는 질문이 이러한 후방적backwards 접근법이 옳은가 하는 것이다.

The International CBME Collaborators have suggested that we work backwards from GME competency expectations to build necessary competency expectations for UME as well.16 The question arises as to whether working backwards is the right approach.


EPA가 UME에 적합한가?

Are EPAs Appropriate for UME?


우리의 답은 '그렇다'이다. EPA는 UME에 나름의 자리가 있고 도움이 될 것이다.

We believe the answer is yes; EPAs do have a place in and can be advantageous for UME.


학습의 지속성과 개발적 발전(developmental progression)

Continuity and developmental progression of learners


현실에서, 의과대학을 졸업하는 것은 의사로서의 수련과정이란 연속체의 한 시점일 뿐이다. 학습자들은 UME부터 GME수련과정까지의 연속체에 걸쳐서 발전을 이룬다. 각 단계에서의 의학교육과정과 학습자에게 기대하는 것은 그 이전 단계를 기반으로 쌓아올라가는 것이며, 이상적으로는 개념과 스킬의 나선형(반복적, 심화적) 발전을 이루어야 하며, 전체적인 포괄적 시스템의 일부와 관련되어 있어야 한다. 동일한 역량 프레임워크를 UME와 GME에 모두 적용하는 것이 이러한 유형의 수직적 통합을 촉진하고, 진정한 CBME을 이루게 한다.

In reality, medical school completion is just one point along the continuum of physician training.17 Learners develop progressive proficiency along the continuum from UME to GME training. Medical education curricula and learner expectations at each level should build progressively upon previous levels, ideally demonstrate spiral (e.g., iterative and increasing) development of concepts and skills, and be related parts of a comprehensive system.16 Application of the same competency framework in both UME and GME training would promote this type of vertical integration across the continuum and foster true CBME.


(역량의) 발전이라는 관점에서, EPA는  UME와 GME 역량 프레임워크를 통합하는 접근이 될 수 있다. ten Cate등이 말한 바와 같이 EPA식의 위탁entrustment 결정은 전문성 개발의 Dreyfus and Dreyfus 모델과 합치하며, medical skill 개발의 developmental curves 와도 맞는다.

From a developmental perspective, the EPA approach can work well as a unifying competency framework for UME and GME. As previously described by ten Cate and colleagues,19 the entrustment decisions as operationalized in the EPA approach align with the Dreyfus and Dreyfus model for the development of expertise and with the developmental curves described in medical skill development.

 

 

 


EPA원칙의 일반화가능성과 적용가능성

Generalizability and applicability of EPA principles


EPA에 깔린 핵심 원칙은 의사 훈련의 연속체에 대해서 '근무지 학습workplace learning과 신뢰trust'를 일반화할 수 있다는 것이다. 두 가지가 모두 UME, GME 모두에 적용될 수 있다.

The key principles that underlie the EPA concept, workplace learning and trust, are generalizable to the continuum of physician training. Both apply to UME as well as GME.



근무지(기반)학습은 근무현장에서의 참여를 통한 경험적 학습으로 정의할 수 있으며, 임상교육의 핵심이다. GME에서는 근무지(기반)학습이 가장 중요한 부분으로 여겨지고 있는데, 우리는 UME에서도 이것이 필수적이라고 주장하고자 한다. 혹자는 전임상시기의 학습은 교실-기반의 지식에 초점이 맞춰져 있어서 ,EPA의 역할이 없을 것이라고 말한다. 그러나, 교육자들은 오래 전부터 다음을 주장해왔으며, 의과대학도 점차 이것들을 반영하고 있다.

Workplace learning, defined as experiential learning through participation in the workplace, is at the heart of clinical education.19,20 While workplace learning has been recognized as the crux of GME, we would argue that it is also essential for UME. One could argue that preclerkship learning is knowledge- focused classroom-based learning in which workplace learning and therefore EPAs (which are workplace activities) do not have a role. However, educators have called for, and medical schools have increasingly incorporated,

  • early/preclerkship workplace-based clinical education to help students in their professional identity formation,
  • provide exposure to aspects of patient and community health, and
  • develop student–patient communication skills.21

 

조기임상노출과 임상에서의 책임을 점진적으로 증가시키는 방식으로 수직적으로 통합된 임상교육과정이 졸업생의 임상역량을 향상시키는 것으로 나타나며, 레지던트로서의 이행을 더 잘 준비하게 해주는 것으로 나타난다. 또한 의과대학 1학년 학생들도 기회가 주어지고, 역할이 명확하고, 적절한 support가 있다면 임상 현장에서 참여하고 기여할 수 있음이 보여진 바 있다.

Vertically integrated clinical curricula with early clinical experiences and increasing clinical responsibilities over time have been shown to improve clinical capabilities in graduates and their preparation for transition to residency.22 In addition, students in even the first year of medical school have demonstrated the ability to participate in and contribute to the clinical workplace when given the opportunity, clear roles, and adequate support.23


임상근무환경에서 신뢰trust는 학습자를 관리감독supervision하는데 있어서 핵심 요소이다. 이 '신뢰'는 다양한 요소(supervisor, learner, supervisor– learner relationship, situational and workplace context, and activity to be performed)에 기반을 둔 판단이다.

In the clinical workplace, trust is a key element of the supervision of learners. This trust is a judgment grounded in multiple factors related to the supervisor, learner, supervisor– learner relationship, situational and workplace context, and activity to be performed.24


 

학생이 맡는 업무에 대한 인정과 질 관리

Recognition and quality assurance of student work


임상근무환경에서의 활동을 중심으로 학생의 능력을 바라보는 것은 장점이 있다.

Attention to student abilities framed around clinical workplace activities has several advantages.


EPA는 학생들의 조기임상참여의 특성을 명확히 해주며, 시간에 걸쳐 책임을 점진적으로 증가시켜준다. 이는 의과대학을 갓 시작하는 시점에서부터 학생들어 어떻게 진료에 기여할 수 있는가를 명확하게 설명해주며, 학생들의 기여와 그들이 진료에 더하는 가치value add to patient care를 볼 수 있게visible해준다. 이와 같이 학생의 역할work에 대해서 '정의'하고 '인정'해주는 것은 교육자들로 하여금 학생들의 성과output을 학생들의 학습목표goals와 동기부여, 기관 차원에서의 기대, 사회적 요구 등과 합치align될 수 있게 해준다. 학생들의 참여 수준을 명시적으로 인정해주고, 학생이 위탁받아entrusted 할 수 있는 활동을 명확하게 해주는 것은 임상근무환경의 quality와 safety를 향상시켜준다 또한 하여금 어떻게 우리가 안전한 진료를 위한 의무를 다하고 있는지 대중들에게 투명하게 보여줄 수 있고, 교육병원에 있어서는 규제사항regulatory needs를 지키는 것에도 도움이 된다.

EPAs can help clarify the nature of students’ early clinical engagement and increasing responsibilities over time. They also allow articulation of how students can contribute to the care of patients from the very beginning of medical school, and make visible these student contributions and the value they add to patient care. This definition and recognition of student work can help educators align student output with student learning goals and motivation, institutional expectations, and societal needs. Explicit recognition of levels of student participation and clarity around activities that can be entrusted promote quality and safety in the clinical workplace. It can increase transparency for the public about how we are addressing our obligation to provide safe care and may even be helpful for teaching hospitals to meet regulatory needs.


병원을 인증하는 기구인 JCI는 학생의 특권student privilege에 대해서 아주 직접적으로 다루고 있다. 이는 학생들이 기대역량을 달성했는가만 보는 것이 아니라, 특정 환자 진료 관련 활동에 있어서 그것을 안전하게 수행할 수 있는 정도로 신뢰받을(신뢰할) 수 있는가에 대한 것이다. 이런 것들이 있다.

The Joint Commission International, which accredits hospitals, places attention squarely on student privileges—not just their achievement of competency expectations but whether they can be trusted to safely perform specific patient care activities. Examples of student privileges or activities recently introduced at the University Medical Center Utrecht include

  • “providing non-therapeutic medical information to patients,”
  • “requesting routine laboratory investigations,” and
  • “placing urine catheters,” among many others.26

 

이 작은 활동들이 합쳐져서 EPA를 이룰 수 있다. 학생이 근무현장에서 위임받거나 참여할 수 있는가에 대한 정보가 담긴 디지털 배지 활용이 제안된 바 있다.

These smaller activities may serve to cluster into EPAs. It has been suggested that digital badges encoded with just this type of information about the individual student can be accessed by others in the workplace (faculty, supervising residents, allied health professionals, etc.) to determine delegation of or student participation in patient care responsibilities.27


추가로, 이해관계자들이 학생들에 의한 기여가 안전하고, 충분한 가치를 더한다고 확신했을 때, 학생들에게 환자 진료에 대한 더 많은 책임과 참여가 주어질 수 있다.

In addition, when stakeholders are able to ensure that the contributions made by students are safe and value-added, students may be allowed to assume greater responsibility and participate even more actively in the provision of patient care.

 


고려사항

Considerations


UME학습의 상당부분이 지식과 기초적 skill-building에 집중되어 있고, 교실에 제한되어 있어, 이에 대해서는 EPA가 직접적 역할을 하지 못함을 인정한다. 그러나 UME의 최종 성과는 EPA로 잘 확인할 수 있다.

We acknowledge that a significant amount of UME learning is focused on knowledge and foundational skill- building and limited to the classroom, where EPAs do not have a direct role. However, the final expected outcomes of UME training can be captured by EPAs


EPA는 Lave and Wenger 가 말한 professional community of practice에 들어온 초기 학습자들을 위한 정당한 주변부 참여legitimate peripheral participation의 핵심이 될 수 있다.

We believe that EPAs may be an excellent key to the legitimate peripheral participation recommended by Lave and Wenger for early learners in a professional community of practice.28



UME EPA는 어떤 모습일까?

What Would UME EPAs Look Like?


의학수련과정은 연속체이기 때문에 UME 수준의 EPA는 GME 수준의 EPA와 align되어있어야 한다. 한 가지 접근법은 동일하거나 유사한 EPA를 사용하는 것이다. 그러나 GME를 위해서 개발된 EPA는 복잡한 고등 기술을 요구하는 복잡한 활동들이 합해진 큰 단위이다.

Because medical training is a continuum, logically, UME-level EPAs should align with GME-level EPAs. One approach would be to use the same or similar EPAs in UME as in GME. However, even with limitations in scope, the EPAs developed for GME are large units of combined complex activities requiring complex high- order skills11



따라서 또 다른 접근법은 UME 특이적 EPA를 개발하는 것이다. 이 EPA는 궁극적으로 서로 통합되어 더 큰 EPA를 구성하거나, 더 큰 EPA내에 nest되어있어서 GME 수준의 활동의 토대가 되는 것들로 이뤄질 수 있다.

Therefore, another approach would be to develop UME- specific EPAs that represent subsets of activities that will eventually integrate together and nest within broader EPAs to provide the foundation for GME- level activities.


대안적으로, GME를 시작하는 모든 의사들은 시작하는 바로 첫 날 특정 활동에 대한 위임enstrusted를 받을 수 있는데, 이것이 UME의 core EPA를 정의하는 시작점이 되고, AAMC의 접근법이기도 하다.

Alternatively, all beginning GME learners are entrusted with certain activities on day one of their training, such as gathering a history and performing a physical examination appropriate to the clinical situation. These can serve as a starting point for defining core EPAs for UME. This is the approach taken by the AAMC.



전공과별로 요구되는 EPA가 다를 수도 있다. 외과 레지던트 vs 정신과 레지던트. 의과대학에서 보다 일반적인generic 준비를 시켜야 하는지, 아니면 보다 특화된specialized 준비를 시켜야 하는가에 대한 토론은 현재진행형이다. 현재로서는 의과대학 졸업새은 초기 단계의 전공과-특이적 skill과 함께 core skill을 갖추어 졸업하게 되며, 전공과-특이적 skill은 의과대학 4학년의 일렉티브를 통해서 습득한다.

For instance, the expectations for a beginning surgical resident are generally different from those for a beginning psychiatry resident. Discussion about whether medical school should prepare graduates in a generic or in a more specialized approach is ongoing.2,17 At the moment, medical students graduate with core skills as well as early specialty-specific skills, mostly gained through electives in their final year of medical school.32


이러한 전공과-특이적 EPA는 GME수준의 EPA와 보다 직접적으로 연결될 수 있으며, level of entrustment의 달성 수준은 학생의 진로에 따라 다를 수도 있다. 조작화가 잘 된다면, 이러한 전공과-특이적 EPA는 다음에 도움이 될 수 있다.

These specialty-specific EPAs would link more directly to GME-level EPAs, and the level of entrustment that should be achieved would differ by student based on career path. If operationalized properly, these specialty- specific EPAs could

  • 4학년 상담에 도움 ease advising during the fourth year,
  • 레지던트 들어가기 위한 준비에 도움 ensure more adequately prepared entering residents, and
  • 정규과목 외의 'boot camps'의 필요성을 낮춰줌 obviate the need for extracurricular “boot camps”33–35 before or during residency.


마지막으로,

  • 모든 학생들에게 요구되는 basic core EPA와
  • 일부 특정과를 지망하는 학생들에게 요구되는 specialty- specific EPAs 외에,
  • 개인의 흥미와 관심에 따라 달성할 수 있는 optional EPAs

를 정의할 수도 있다.

Lastly, in addition to the basic core EPAs mandatory for all students and specialty- specific EPAs mandatory for students preparing for specific GME programs, we could define optional EPAs that individual students could achieve on the basis of their capacities and interest.

 

 



 

UME에서의 위임(Entrustment)

Entrustment in UME


일부 학생들은 다른 학생들보다 더 일찍 core 또는 specialty-specific EPA를 수행할 준비가 될 수도 있다. 이 경우 고려할 수 있는 것은 현재 GME에서 사용되는 위임entrustment 스케일이 UME에도 적용가능한가 이다.

Some students could potentially demonstrate readiness for practice of certain core or specialty-specific EPAs earlier than typically expected in the training continuum. One consideration is whether the entrustment and supervision scale currently in use in GME can be applied to UME.


GME에서 entrustment and supervision scale 는 5단계로 구분된다. 의과대학생은 supervision 없이는 진료를 할 수 없을 것이다. 따라서 GME 스케일을 그대로 쓰면 level 1부터 level 3까지만 가능할지도 모른다. 따라서 UME에서는 더 레벨을 추가하여 세세한 발전granular progression을 볼 수 있게 해야 할 것이다.

The GME entrustment and supervision scale uses five different levels of supervision to define the levels of entrustment, providing few levels of gradation for the beginning learner19 (see Table 2). As noted previously, medical students may never practice without supervision. Under the GME entrustment and supervision scale, students would only progress from level 1 (not allowed to practice EPA) to levels 2 (practice EPA under proactive/full supervision) and 3 (practice EPA under reactive/on-demand supervision) for most activities. Therefore, it may be helpful and more practical for UME to include additional levels resulting in more granular progression in the decrease in supervision.


현재의 entrustment and supervision scale 를 그대로 사용하되, 하위 레벨에서 더 gradation을 두는 것을 권고한다.

We therefore recommend using the current entrustment and supervision scale but expanding the lower levels of the scale to include more gradations of supervision, allowing additional layers of progressive learner autonomy.


 

AAMC가 권고한 바와 같이 UME특이적 EPA를 개발한다면 UME에도 EPA가 작동할 수 있을 것이다. 그러나 AAMC의 권고안을 넘어서는 것이 필요하며, 여기에는 전공과-특이적, 그리고 일렉티브 EPA를 포함하고, entrustment scale을 확장하여 추가적 gradations of supervision을 넣어야 한다.

We believe EPAs can be operationalized for UME if we develop UME-specific EPAs, as suggested by the AAMC. However, we should expand beyond the AAMC recommendations to include EPAs that represent specialty- specific and elective professional activities and further refine and expand the entrustment scale to include additional gradations of supervision.






1 Association of American Medical Colleges. Core Entrustable Professional Activities for Entering Residency (CEPAER). AAMC CAPAER Drafting Panel Report. Washington, DC: Association of American Medical Colleges; 2014. https://www.mededportal. org/icollaborative/resource/887. Accessed September 30, 2014.




 


 




 2015 Apr;90(4):431-6. doi: 10.1097/ACM.0000000000000586.

The case for use of entrustable professional activities in undergraduate medical education.

Author information

  • 1Dr. Chen is professor of clinical pediatrics, Department of Pediatrics, University of California, San Francisco, School of Medicine, San Francisco, California. Dr. van den Broek is a PhD candidate in medical education, University Medical Center Utrecht, Utrecht, the Netherlands. Dr. ten Cate is professor of medical education and director, Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, the Netherlands, and adjunct professor of medicine, Department of Medicine, University of California, San Francisco, School of Medicine, San Francisco, California.

Abstract

Many graduate medical education (GME) programs have started to consider and adopt entrustable professional activities (EPAs) in their competency frameworks. Do EPAs also have a place in undergraduate medical education (UME)? In this Perspective article, the authors discuss arguments in favor of the use of EPAs in UME. A competency framework that aligns UME and GME outcome expectations would allow for better integration across the educational continuum. The EPA approach would be consistent with what is known about progressive skill development. The key principles underlying EPAs, workplace learning and trust, are generalizable and would also be applicable to UME learners. Lastly, EPAs could increase transparency in the workplace regarding student abilities and help ensure safe and quality patient care. The authors also outline what UME EPAs might look like, suggesting core, specialty-specific, and elective EPAs related to core clinical residency entry expectations and learner interest. UME EPAs would be defined as essential health care activities with which one would expect to entrust a resident at the beginning of residency to perform without direct supervision. Finally, the authors recommend a refinement and expansion of the entrustment and supervision scale previously developed for GME to better incorporate the supervision expectations for UME learners. They suggest that EPAs could be operationalized for UME if UME-specific EPAs were developed and the entrustment scale were expanded.

PMID:
 
25470310
 
[PubMed - indexed for MEDLINE]


의학교육의 차 우려내기 또는 아이-닥터 모델(Acad Med, 2010)

A Tea-Steeping or i-Doc Model for Medical Education?

Brian David Hodges, MD, PhD





중요한 보고서들 Appendix 1

(In the Appendix, I have listed some of the recent reports that I think are particularly important.)


현재, 역량개발과 관련하여 두 가지의 영향력 있는 모델이 서로 조화하지 못하는 살태로 존재하고 있다. 전통적인 모델은 시간-기반 모델로서 입학이나 교육과정 설계와 같은 프로세스에 초점을 둔다. 더 새롭게 등장한 모델은 성과-기반 모델로서, 최종 산출물product의 기능적 역량에 더 초점을 둔다.

Currently, two powerful models of competence development are operating at odds with one another. The traditional one is time-based and directs attention to processes such as admissions and curriculum design. The newer one is outcomes-based and focuses more on the functional capabilities of the end product (the graduate student, resident or practicing physician).


플렉스너의 유산

The Flexner Legacy



플렉스너가 전례없는 범위의 프로젝트를 수행하고, 20세기 초 대규모의 개혁을 불러온 보고서를 쓴 것은 맞지만, 그의 보고서를 유심히 보면 플렉스너가 권고한 것 중 일부만 실제로 도입되었음을 알 수 있다.

While there is no question that Flexner carried out a project of unprecedented scope and wrote a compelling report that led to large-scale reform in the early twentieth century, a careful read of his report reveals that only some of his recommendations were actually adopted.


여전히 2010년 플렉스너의 유산은 몇 개자 핵심적 요소로 축소되어 있다; 의과대학이 대학의 한 부분으로서 운영되고 있으며, 과학에 초점을 두고, 전임상 기초과학과 임상수련의 이분 구조로 되어있는 것이다. 그러나 그의 보고서에서 의료전문직에 대한 사회적 요구와  기대에 대한 여러 이슈를 다뤘다. Whitehead는 예를 들어, 플렉스너의 1910년 주장에 대해서 "의사의 기능은 빠르게 (개인적, 치료적인 것으로부터) 사회적, 예방적으로 바뀌고 있다." 라고 재발견하면서 1925년에는 심지어 플렉스너 그 자신조차 지나치게 의학의 "실증주의적, 과학적 측면"만 강조되는 것에 그다지 만족하지 못한다고 하면서 의사들이 "슬프게도 문화적, 철학적 background가 부족하다" 라고 말했다. 플렉스너의 진단이 과학적으로 rigor하진 않고 그가 과학에 굳건한 토대를 둘 것을 권고했지만, 의사 교육에 관한 그의비전은 그 외에도 다른 많은 영역을 포함하고 있다.

Yet in 2010, the Flexner legacy is often reduced to a few core elements: the move of medical schools to universities and the focus on science and the binary structure of preclinical basic science study followed by clinical training. However, in his report he discussed many issues related to societal needs and expectations of the medical profession. Whitehead,2 for example, uncovered Flexner’s 1910 argument that “the physician’s function is fast becoming social and preventative, rather than individual and curative”1 and points out that by 1925 even Flexner himself was unhappy with the way an overemphasis on the “positivist and scientific aspects” of medicine had become completely dominant, rendering doctors “sadly deficient in cultural and philosophic background.”3 While Flexner’s diagnosis was a lack of scientific rigor, and his prescription was a strong grounding in science, his vision for physician education included many other dimensions.



예를 들어서, 플렉스너 시기에 이미 의학과 관련하여 과학에 대한 담론이 진행중이었고, 의학교육과 과학을 합치시켜야할 필요성이 주장되고 있었다. 따라서 이러한 측면에서 플렉스너의 권고는 비교적 쉽게 시행되었다.

For example, it has been argued that scientific medical discourse was already prominent by the time Flexner articulated the need to align medical education with science.4 Thus his recommendations in this regard were adopted with relative ease.


African American이나 여성 의사 교육에 특화된 의과대학의 문을 닫게 한 결정도 있다. 21세기에는 놀랄 일이지만, 페미니스트 역사학자들은 1910년 당시 여성이 지적으로 열등하고 과학 공부에 부적절하며 의학교육과 의료에서 요구되는 것을 감당하지 못한다는 주장이 있었다. 평등한 입학을 지지하는 주장은 1970년대에 이르기 전까지는 등장하지 않았다. 따라서 뉴욕타임즈가 1910년 "카네기 재단의 전국적으로 다수의 저질 의사가 양성되고 있음을 보고함"이라는 제목을 단 것도 놀랍지 않은데, 왜냐하면 문제있는inferior 의과대학을 닫는다는 말에는 , 적어도 일부분은 , AA나 여성을 교육하는 기관을 닫는다는 것을 포함했기 때문이다. 마지막으로, inferior 학교들이 기준을 올리도록 하는 대신 그것들을 폐쇄시킨다는 것은 20세기 초반 기관의 개혁과 대중의 통제가 '향상' 보다는 '폐쇄'에 더 관심이 있었던 것을 반영한다. 100년이 지난 후, 우리는 '평등'과 'CQI/인증'을 논하고 있다.

One such outcome was the closing of medical schools specializing in the education of African American or women doctors.5 Though shocking in the 21st century, feminist historians have documented the arguments of 1910 that women were intellectually inferior, inadequately adapted to the study of science, and unable to cope with the demands of medical education and practice.5 A discourse that supported more equitable admission to medical schools did not fully emerge until the 1970s.6 So when a New York Times 1910 headline screamed “Carnegie Foundation’s Startling Report [shows] That Incompetent Physicians are Manufactured Wholesale in This Country,” it is not surprising (though no less tragic) that closing inferior medical schools meant, at least in part, closing those educating African Americans or women. Finally, the fact that inferior schools were be closed, rather than helped to raise their standards, is also reflective of an early 20th-century discourse about institutional reform and public regulation that was more about closure than improvement. One hundred years later, we use new discourses about equity and continuous quality improvement/ accreditation that would make responses to a Flexner-like report much different.


역량 개발 관련 모델

Models of Competence Development



의학에서 '역량'이란 용어를 꺼내는 것은 그렇게 단순하지 않은데, 왜냐하면 역량이라는 용어가 '만능god term'으로 사용되기 때문이다. "레토릭상으로 최고 패trump card이다. 어떻게 의료전문직 교육이 작동해야 하는가에 대한 토론에서 맨 마지막 용어로 정기적으로 등장한다". 이 용어는 무수히 다양한 의미로 어찌나 널리 사용되는지, 거의 아무것도 의미하지 않는 위험에 있을 지경이다. 다른 곳에서 나는 어떻게 역량에 관한 담화가 언어/행위/역할/기관에 따라 다를 수 있는지를 지적한 바 있다. 이러한 담화는 지식으로서/수행능력으로서/성찰로서/psychometric하게 신뢰도있는 시험점수로서/산출물로서의 역량 등이 포함된다.

Simply broaching the subject of medical competence is a challenge because the term competence has become what Lingard has called, after Burke, a god term: “a rhetorical trump card, regularly played as the last word in debates about how health professions education should function.”7 The termis so widely employed, with so many different meanings, that it risks meaning nothing at all. Elsewhere I have characterized how different discourses of competence make possible specific language, practices, roles, and institutions. These discourses include competence as knowledge,as performance,as reflection,as a psychometrically reliable test score, and as a product.8,9



역량에 관한 다양한 담론은 역량개발에 대한 다양한 모델이 등장하게 했다.

Various discourses about competence also lead to different models of competence development.


전통적인 시간-기반 모델에서, 역량의 담화는 '지식'과 뗄 수 없는 것이었으나, 이것은 1970년대에 '수행능력'으로서의 역량으로 진화하였으며, 최근에는 '성찰'로서의 역량이라는 아이디어가 도입되었다. 대조적으로 성과-기반 모델은 psychometric 담화에 토대를 두고 있으며, 최근에는 효율성과 표준화의 개념을 강조하는 '제품생산production' 담화를 들여오고 있다.

The traditional time-based model, originally tied to a discourse of competence as knowledge, evolved to competence as performance in the 1970s and more recently incorporated the idea of competence as reflection. The outcomes- based model, by contrast, has roots in psychometric discourse and has recently incorporated a production discourse that emphasizes notions of efficiency and standardization.



우리가 오늘날 해결하려는 문제는 무엇인가?

What Problems are We Trying to Solve Today?



미국에서 카네기 재단과 Cooke, Irby, and O’Brien 연구진은 최근 'Educating Physicians: A Call for Reformof Medical School and Residency' 보고서를 발표했다. 이 보고서는 현재 의학교육을 심층적으로 분석하고 있다.

  • In the United States, the Carnegie Foundation and a team led by Cooke, Irby, and O’Brien recently released Educating Physicians: A Call for Reformof Medical School and Residency.6 The report contains an in-depth analysis of the current state of medical education based on literature reviews and extensive consultation, including visits to American medical schools.

 

The Future of Medical Education in Canada Project 보고서는 최근 1차 보고서를 완료했다.(UME)

  • The Future of Medical Education in Canada Project has recently completed phase one (undergraduate education), including literature reviews, key informant interviews, and focus groups held across the country. A postgraduate phase is under way and will be followed by a third phase on continuing education.10



미국 보고서의 네 영역

The U.S. report describes four key areas for reform:

  • standardizing outcomes and individualizing training,
  • integrating knowledge and clinical skills,
  • developing “habits of mind” that include inquiry and innovation, and
  • putting an emphasis on professional identity formation.

 

캐나다 보고서에서 제안하는 변화영역

The Canadian report also calls for substantial changes in medical education, including

  • revisiting the social responsibility of medical schools,
  • adapting admission processes,
  • integrating basic and clinical sciences,
  • addressing the hidden curriculum,
  • fostering inter- and intraprofessional collaboration,
  • encouraging generalism and community focus, and
  • moving toward outcomes-based education.


둘 모두 다음의 것들을 요구한다.

Both reports call for

  • new and innovative pedagogy,
  • learning in context,
  • mentoring/ coaching models that involve extensive feedback, personal reflection, and a continuum of learning based on a flexible and developmental approach.


이 새로운 보고서들은 의사들의 adaptability, flexibility, and alignment with social need 부족을 지적하고 있다.

These new reports appear to focus more on physicians’ lack of adaptability, flexibility, and alignment with social need.


두 보고서 모두 CME를 깊이 다루고 있지는 않지만, CME 관련 교육자들은 사회적 요구에 부응하기 위해서 더 장차 큰 역할을 하게 될 CME의 중요성을 설명하기 위해노력하고 있다. 두 가지 모델 사이에서 고군분투중이다.

While neither report dealt with continuing education in depth, educators working in that domain are also elaborating priorities for a future in which there will be a much greater role for lifelong learning that responds to social need.11 Continuing educators are also struggling with a tension between a vision of competence that is

  • 자기주도/자기평가/자기조절 self- directed and based on internal self- assessment/self-regulation and
  • 제3기관의 평가에 기반한 외부평가(재인증) a model of external assessment (including recertification) that is based on third-party assessment of knowledge and skills.12

이에 따라 '과도한 외부시험'과 '자기평가의 오류와 한계'를 조화시킨 guided self-assessment의 개념이 떠오르고 있다.

Thus a concept of guided self-assessment is emerging in continuing education as an attempt to reconcile the distorting effects of too much external testing with an honest appraisal of the limits and fallibility of self-assessment.13


의학의 과학적 기초를 강화하고자 했던 플렉스너가 그렸던 비전과 달리, 오늘날의 개혁은 context, culture, professional socialization에 관한 것이다.

Unlike the reforms that Flexner envisioned to bolster the scientific basis of medicine, the reforms proposed today are about context, culture, and professional socialization.


미국의 보고서에서 '학습성과의 표준화'와 '학습과정의 개별화'라는 것을 모두 찾을 수 있다. 아래에서 말할 것이지만, '성과의 표준화'는 도입될 것이 거의 확실한데, 왜냐하면 '성과모델'과 '제품생산'담화가 지배적이기 때문이다. 그러나 두 번째인 '과정의 개별화'는 전혀 다른 것이다.

In the U.S. report’s recommendations we find “standardization of learning outcomes” and “individualization of the learning process” bundled together. As I will argue below, it seems almost certain that the first—standardization of outcomes—will be adopted, because it is aligned with both the outcomes model and a dominant production discourse. But the second— individualization of the learning process—is something else entirely.


플렉스너 보고서의 아주 특정 요소만 도입되고 나머지는 그러지 않았던 겻과 같이, 향후 몇 년간 우리는 미국/캐나다 보고서의 일부만 도입되는 것을 목도할 것이다.

Just as particular elements of the Flexner Report were adopted but not others, in the next few years we will see the uptake of only some of the recommendations of the U.S. and Canadian reports. This phenomenon is already visible in the Canadian project.


역량개발의 두 가지 대립되는 모델

Two Competing Models of Competence Development


시간-기반 모델: 티백 담그기

A time-based model of competence development: Tea-steeping



플렉스너가 의학교육이 강력한 과학적 토대를 갖춰야 한다고 주장하던 시절, 제멋대로였던 길드를 엘리트 의과대학으로 들여오는 것은 어렵지 않았다. 그러나 한 번 그렇게 들어온 이후, 의과대학은 사실적 지식의 축적과 학생의 정보 재생산능력을 시험함으로써 역량을 개념화 오랜 전통을 가진 기관에 들어온 것이 되었다.

By the time Flexner argued that medical education should have a strong basis in science, Bringing an unruly guild into elite universities was certainly not without its difficulties.16 But once there, medicine joined an institution with a long tradition of conceptualizing competence as the accumulation of factual knowledge and of examining students’ ability to reproduce information.


대학에 자리를 잡은 이후 UME는 기초과학을 일정 기간 학습(전통적인 대학 모델과 잘 맞음)한 뒤 임상경험을 일정 기간 쌓는(보건의료기관 및 다른 비학문세팅과의 파트너십을 요구하는 약간은 어색한 학문적 arrangement) 식으로 구성되게 되었다. 연속된 이 두 가지의 교육훈련 기간은 약간씩 변해왔는데 20세기 중반 북미에서는 3:1이었던 반면, 이제는 2:2로 변화하였고, 유럽에서는 나라마자 조금씩 다르나 대략 4:2정도 된다. 이러한 변화에도 불구하고 본질적으로 이분화된 UME는 거의 100년간 그대로 유지되어왔다.

When it found a home in universities, undergraduate medical education came to consist of a fixed period of training in foundational and basic sciences (something that fit well with a traditional university model) followed by a fixed period of clinical experience (a slightly more awkward academic arrangement that required partnerships with health care institutions and other nonacademic settings). The duration of these two sequential training periods has varied slightly over time and place: 3 1 until the mid 20th century in North America, moving to 2 2 in most schools; roughly 4 2 in Europe with variations by country. Despite these changes, the essential binary nature of undergraduate medical curricula has remained largely the same for a century.


PGME는 일정 기간의 훈련을 거친다는 면에서 비슷하나, 대체로 대학과는 약간 거리를 둔arms-length 병원affiliated health care institutions에서 진행된다.

Postgraduate education similarly is organized around a fixed number of years of training (two to six years depending on specialty) but has remained largely at arms-length from universities by creating a series of clinical rotations in affiliated health care institutions.


UME와 PGME 모두 어떤 고정된 시간이 요구된다는 지속적인 신념을 드러내고 있으며, 그리고 실제로 그러한 고정된 시간이 전반적 역량을 개발하는데 충분하다고 믿는다. 비유하자면, 우리는 티백(학생)을 뜨거운 물(의대)에 어떤 시간동안 담궈둔 뒤, '어때, 됐지?' 라고 하는 식이다. 

The organization of education at both undergraduate and postgraduate levels today reveals a continuing belief that a fixed interval of time is required, and indeed sufficient, to develop global competence. To use a metaphor, we put the student (tea) in medical school (hot water) for a fixed period of time and, voila`!


한편, 복잡성의 증가와 지식의 폭발적 증가, 혹은 연구에 대한 요구 등에 대한 추상적 주장들이 교육훈련기간을 더 늘여야 한다는 것의 토대가 되고 있다. 대조적으로, 학생과 정부는 정기적으로 이 교육훈련기간을 재검토할 것을 요구하고 있으며, 왜 의학교육기간이 그렇게 오래 걸려야 하는지, 더 짧은 기간에 될 수는 없는지 계속 묻고 있다.

Rather, vague arguments about increasing complexity, the explosion of knowledge, or the requirement for research become the basis for lengthening training. By contrast, students and governments regularly call for a reexamination of length of training, asking why it takes so long to complete medical studies and whether they could not be accomplished in a shorter period of time.


이러한 티백 모델은 거의 100년간 변화가 없을 정도로 내구성이 강하다. 다음과 같은 변화들이 있었다.

The tea-steeping model has proved enormously durable and, very few modifications in 100 years.


  • early clinical exposure,
  • problem-based learning schools
  • integrate basic sciences into clinical clerkship and residency rotations.



그러나, 여전히 졸업을 할지 말지 결정하는 일차적 요인은 (거의 100%의 경우에) 교육훈련 프로그램에 소비한 시간이다.

However, the primary determination of graduation (almost 100%of the time) remains the length of time spent in the training program.


지난 수십년간, 시간-기반 모델은 두 가지 요소에 초점을 맞춰왔다. 하나는 입학기준이고 다른 하나는 교육과정 내용이다. 이 두가지 접근법 모두, 앞의 비유를 확장하자면, 어떻게 차 우려내는지에 대한 방법을 바꾸는것이다. 처음에 '입학'은 찻잎을 바꾸는 것이다.

Over the past few decades, changes in time-based models have focused on two elements: admission criteria and curriculum content. Both of these approaches, to extend the metaphor, relate to changing the way the tea is made. The first – admission – is about changing the tea leaves.


이러한 논란의 극단적 사례는 프랑스인데, 의과대학 입학에 있어서 매우 rigorous한 평가를 시행한다. premed과정을 마친 학생 중 17%만이 의학교육을 이어서 받게 되며, 졸업시험/인증/면허시험 등은 존재하지 않는다. 따라서 거의 모든 관심의 초점은 입학기준과 premed학생의 좋은right 자질에 맞춰져 있다.

An extreme example of this debate goes on in France, a country with a very rigorous assessment process for admission to medical school. Only 17%of those who complete the first premedical year continue studies, and there is no exit assessment, certification, or licensure examination. Thus a great deal of attention is focused on the criteria for admission and the right qualities of a premedical student.17


또 다른 방식인 교육과정 내용을 바꾸는 것은, 찻잎이 담겨지는 물의 특성과 온도를 바꾸는 것이다. '찻잎은 따뜻한 물을 부을 때까지는 그들의 진짜 향을 드러내지 않는다'라는 오랜 격언이 있다. 여기에는 잠재적 교육과정과 의과대학에서 이뤄지는 다양한 사회화 프로세스 등도 포함된다.

The other popular thrust – changing curricular content – is about adjusting the nature and temperature of the water, the environment into which the tea leaves are immersed. An old adage has it that tea leaves do not reveal their true flavor until put into hot water. This includes attention to the hidden curriculum18 and the various socialization processes that take place.


역량을 평가하는 것은 시간-기반 모델에서 언제나 문제였다.

Assessment of competence has always been a problem in the time-based models.


고부담 결정은 항상 로테이션이 끝나는 시점, 학년이 끝나는 시점, 심지어는 의과대학 졸업시점으로 미뤄졌다. 이러한 접근법의 문제는 이러한 고부담 시험에서는 의미있는 피드백이 거의 완전히 결여된다는 점이다.

hard decisions are often deferred to end-of-rotation, end-of- year, or even end-of-program high-stakes examinations. The problem with this approach is the near complete lack of meaningful feedback fromhigh-stakes exams.


그러나 평가 전문가들은 의과대학의 모든 단계에 걸쳐서 고부담 최종시험을 제한하고, 임상근무현장에서의 지속적 역량 평가를 더 강조할 것을 요구한다. 

But assessment experts around the world are calling for a limit to high-stakes final examinations at all levels and a greater emphasis on continuous assessment of skills in the clinical workplace.19



어떻게 시간-기반 모델이 현재의 의과대학 개혁과 관련된 권고에 들어맞을 수 있을까? 적어도 개념적으로는 시간-기반 모델에서 많은 졸업생들이 역량 개발을 충분히 이루지 못한다underdeveloped.

How well does the time-based model fit with current recommendations for medical education reform? At least conceptually, many of the qualities thought to be underdeveloped in graduates


그러나 대부분의 교육자들이 인정하는 것은, 학생들은 서로 다른 속도로 능력을 개발해나간다는 것이며, 교육 프로그램의 길이는 가장 잘해봐야 대부분의 학생들이 특정 능력을 습득하는데 필요한 평균적인 기간밖에 대변하지 못한다는 것이다. 잘 정의된, 평가가능한 성과가 없이는 우리는 그들이 실제로 그 역량을 습득했는가 알 길이 없다.

However, while most educators would admit that students acquire these abilities at different rates, and that the length of training programs at best represents some sort of average period of time during which most students will probably acquire them, without defined and assessable outcomes, we cannot really know if they do acquire them.



UME와 PGME 프로그램이 시간-기반 모델을 따라온 많은 이유가 있다. UME에서는 한 가지 주된 이유는 기초과학을 강조하는 전통이었다.

There are many reasons that undergraduate and postgraduate programs have clung to time-based models. In the undergraduate domain, one of the main reasons is the traditional emphasis on basic sciences.


개념적으로/과학적으로/조직적으로 어떻게 지식-기반 과학이 유능한 임상진료에 요구되는 스킬이나 퀄리티 개발에 구체적으로 기여할 수 있는지를 알기란 매우 어렵고, 이 때 교육과정의 길이가 그 전통의 토대가 되어왔다.

Because it is very difficult conceptually, scientifically, and organizationally to define clearly what these knowledge-based sciences specifically contribute to the development of the skills and qualities needed for competent practice, the lengths of their curriculum times are often based on tradition.


그 결과 대부분의 의과대학생은 지식을 유지retention하는데 문제를 겪어왔으며, 나중에 임상상황에서 필요한 지식을 활성화하는 것이 불가능해졌다. 연구를 통해서 기초과학은 그것이 임상에서 적용되는 시점과 매우 근접해서 교육되어야 함이 명백해졌다.

The result is that most medical students have knowledge- retention problems and later are unable to activate their knowledge in clinical settings. Research is clear that the teaching of basic sciences should occur very close in time to application at the bedside.21


변화는 왜 이렇게 어려울까? 한 가지는, 한 편에서는 기초과학만 가르치고, 다른 편에서는 임상실습만 돌리던(기초과학과 사회과학이 전혀 없이) 아주 오랜기간이 그 이유이다. 이러한 상황에서는 전통/여러 교실의 job security등과 관련한 레토릭적, 정치적 포지셔닝이 뒤죽박죽으로 섞이게 된다.

Why is change so difficult? One explanation is that in the rather thin soup of evidence for long years of sequestered basic biological science teaching on one hand, and clinical rotations devoid of recourse to the underlying basic and social sciences on the other, there is a thick admixture of rhetorical and political positioning that relates to tradition, job security for various professionals and departments, and the struggles for legitimacy of various biological, social science, and clinical domains.22


전 세계의 모든 학장들은 지속적으로 교육과정에 무언가를 더 넣으라는 요구를 받는다. 그러나 한 번도 무언가를 빼라는 요청을 받는 적은 없다. 따라서 어떤 구조와 고정된 시간을 요구하는 현재 교육과정에 근본적ㅇ니 변화가 있지 않는 한 변화는 매우 천천히, 소극적으로 일어날 것이다.

Deans everywhere complain about the constant pressure to add to the curriculum– ethics, communications, scientific method, genetics, population health, social science – but never about a proposal to remove anything, since such proposals seldom occur. So without a fundamental change to the architecture and fixed time requirements of current curricula, change will likely be incremental and modest.



전통적으로, 든 의과대학과 전공의 교육과정 위원회에게는 한 가지 불가침 영역이 있는데, 바로 교육훈련 기간에 간섭할 수가 없다는 것이다. 이러한 제약으로 인한 좌절은 지속적으로 성과-기반 모델에 대한 요구를 더 강화할 것이다.

Traditionally, curriculum committees in every medical school and residency program have had one inviolable constraint: they cannot tamper with the number of years of training. Frustration with these constraints will continue to enhance the appeal of an outcomes-based model.


역량개발의 성과-기반 모델

An outcomes-based model of competence development


Whitehead 는 '성과기반교육에서는 만약 기대하는 제품이 정의되기만 하면, 적절한 평가법이 등장할 것이고 이를 통해 피훈련자들이 이 역량을 달성하게 될 것이며, 그러면 문제는 다 끝난 것이다' 라고 말했다.

Whitehead has remarked that “outcomes-based education hypothesizes that if the desired product can be defined, and appropriate assessment tools developed to ensure that trainees have achieved these competencies, then the job will be done.”2


플렉스너의 시기에, 역량은 거의 전적으로 '지식축적'으로 이해되어왔고, 졸업한다는 것은 의료행위를 하는데 적함함을 의미했다. 따라서 대부분의 교육과 모든 평가는 학생들에게 '그들이 누군지'에 대해서는 거의 묻지 않고 그들이 아는 것이 무엇인가를 평가하는데 집중되었다. 역량에 관한 지배적인 담화는 지식에 관한 것이었다. 1960년대 중반부터 역량의 개념은 여러 요소에 의해서 변화하기 시작했다. 그리고 20세기 후반부에 점차 의사소통/협력 등을 포함하였으며 스킬과 같은 것을 더 강조하게 되었다. 이 시기는 Miller의 피라미드의 형태로 특징지을 수 있으며, '수행능력'이 순수한 '지식'보다 더 높은 것으로 인정된다. 20세기 말, 미국과 캐나다는 지식과 스킬을 '역할roles'에 박아 넣는embed 행동주의적 접근법을 새로운 프레임워크로 채택했다.

In Flexner’s time, competence was understood almost entirely as the accumulation of knowledge, though graduating also meant showing oneself to be suitable to practice medicine. Thus most teaching and all assessment targeted what students knew with a little dab of who they were. The dominant discourse was one of competence as knowledge. Beginning in the mid-1960s, conceptions of competence were shifted by a number of factors: In the latter half of the 20th century competence gradually came to include communication, collaboration, and a greater focus on skills. The era was marked by the appearance of Miller’s Pyramid,23 in which performance was considered to be of a higher order than pure knowledge. Toward the end of the 20th century, in the United States and Canada, new frameworks for competence were developed that took the behaviourist approach further by embedding knowledge and skills into roles.



성과-기반 교육의 사례

Case Studies of Outcomes-Based Education


아래의 세 가지 사례. 이들은 사회적 요구를 밀접하게 반영하는 교육과정/구체적 스킬 훈련의 모듈화/평가빈도 증가/순차적 발전/시작시 스킬과 이후 스킬 습득에 따른 교육훈련의 기간 다변화 등을 반영한다.

The three cases discussed below illustrate some common features of outcomes-based education. These include

  • curricula closely related to social need,
  • modularized training of specific skills,
  • frequent assessment,
  • stepwise progression, and
  • variable length of training depending on entry skills and rate of skill attainment.

Case 1: Curriculum adapted to social need: nurse practitioner training in Ontario, Canada


Case 2: Modularized endoscopic training programs in London, United Kingdom


Case 3: Modularized, outcomes-based medical education: The University of Toronto Orthopedics Residency ProgramExperiment





이 사례까 보여주는 것

What the three cases show


성과-기반 교육은 교육적 특성때문에 도입된 것도 있지만, 그 외에도 교육의 효율성을 높이고 보건의료와 교육훈련의 비용을 줄여줄 가능성도 보여주고 있다.  그러나 다른 고려사항보다 효율성과 비용절감에 초점을 두면 다음과 같은 부정적인 less positive한 것도 우려된다.

As we see in these examples, outcomes- based education is being adopted not only because of its pedagogical properties but also for its potential to improve efficiency and reduce the costs of health care and of training. However, as we shall see in the next section, something a little less positive can arise when educational reform elevates efficiency and cost savings above other considerations.


제품생산 담화에 따른 성과-기반 모델: 아이-닥터 생산

The Outcomes-Based Model Meets the Production Discourse: Manufacturing i-Docs


성과에 대해서 말하고 쓰는 사람들은 종종 '제품생산manufacturing'의 언어와 개념을 가져다쓴다.

Individuals who speak and write about outcomes sometimes draw on language and concepts from manufacturing.9


제품생산의 핵심 요소를 잡아내기 위해서 나는 '아이-닥터'라는 용어를 사용하고자 한다.

To capture the essence of production discourse in relation to medical education I have coined the term i-Doc.


이 용어는 1990년대 이후의 의학교육 문헌들이 사업business과 제조에서 가져온 용어와 개념들로 가득차있다는 점에서 매력적이다.

It is so attractive, in fact, that medical education literature after the 1990s is full of words and concepts taken from business and manufacturing.9


의학교육에 제품생산 모델 담화를 적용한다는 것은 어떤 이ㅡ미일까? 

What does it mean to apply manufacturing models and a production discourse to medical education?

  • 어플리케이션으로 돌아가는 의사를 상상할 수 있는가?
    Can we think of doctors as running applications with which they have been programmed during training (e.g., algorithms, practice guidelines), to solve particular problems?
  • 소비자end-user의 요구와 욕망에 적응하는adaptable하는 교육(제조)프로세스를 상상할 수 있는가?
    Can we imagine that the education (manufacturing) process is something adaptable to needs and desires of end- users (consumers)?
  • 질관리quality assurance 프로세스의 개념을 도입해서 생산하는 제품의 퀄리티 뿐만 아니라, 그 과정을 더 효율적으로, 비용을 절감하게 할 수 있는가?
    Should we adopt the idea that quality assurance processes are there not only to ensure the quality of the product but also to render its production more efficient and less costly?

 

이러한 묘사에 대해서 Frederic Taylor in his Principles of Scientific Management를 떠올릴지도 모르겠다.

In this description some may recognize concepts popularized by Frederic Taylor in his Principles of Scientific Management.33


2004년  “Medical Education as a Process Management Problem.” 논문에서 저자들은 대부분의 교육과정 개혁이 전체 교육과정 시스템이 아니라 시스템의 일부 조각조각을 타켓으로 하고 있다고 지적했다. 또한 "제조업계를 지배하는 법칙이 의학교육개혁을 이끄는 원칙의 강력한 시스템이 될 것이다" 라고 했다.

in an article that appeared in 2004, entitled “Medical Education as a Process Management Problem.”34 authors note that most curriculum reform efforts target fragments of the system and not the overall process, proposing that “the rules that govern the manufacturing industry provide a compelling system of guiding principles for medical education reform.”


첫째로, 그들은 학생이 교육을 마쳤을 때 competently and professionally 보여줄 수 있는 지식과 스킬을 정의해야 한다고 했다.

First and foremost, they argue, it is necessary to define the skills and knowledge that a student should be able to competently and professionally demonstrate on completion of his or her education.


흔하게 사용되는 비유는 transformation of individuals이다. 즉, 의과대학생들은 원자재이며, 공정(교육)과정을 통해서 원하는 제품으로 transform될 수 있다. 

A frequently used metaphor in articles such as theirs is the transformation of individuals. That is, medical students are the raw materials to be transformed through the manufacturing (education) process into a desired product.


다른 말로는, 아이-닥터 생산을 위한 제조모델을 사용하자면, 더 나은 제품을 더 낮은 가격으로 만들 수 있을지도 모른다.

In other words, by using manufacturing concepts to produce i-Docs, we might hope to get a better product at a lower cost.


도요타의 사례가 보여주듯, 효율성을 추구하고 비용을 절감하는 것은 퀄리티와 관련하여 더 많은 문제들을 야기할 수도 있다. 의과대학이 불량품의 '리콜'요청에 직면하게 될까?

As the Toyota example so clearly illustrates, finding efficiencies and cutting costs in the context of a manufacturing model may be the source of more problems with quality. Might medical schools be faced with recalls if their products were defective?


우리가 보아온 바와 같이, 미국과 캐나다의 명확한 성과기준을 만드라는 explicit한 요구가 있다. 그러나 그러한 역량을 서로 다른 속도로 개발할 수 있게끔 하는 유연하고 개별화된 교육 프로그램에 대한 요구는 어떨까?

As we have seen, recommendations from the United States and Canada both explicitly call for clear outcomes standards. But what of the call for flexible, individually tailored programs that can adapt to variable rates of competence attainment?


제품생산 담화와 제조업에서 얻은 교훈이 우리에게 교육의 일부 영역에 대해 생각하는데 도움을 줄지는 몰라도 flexible 한 프로세스, 그리고 개개 학생에 맞춰져야 하는 프로세스에 대한 비유로는 그다지 도움이 되지 않을 것 같다.

While production discourse and lessons from manufacturing might help us think about some dimensions of education, it is not a very helpful metaphor for processes that must flexible and adapted to each student.


맞춤형 성과-기반 교육: 수영 레인 헤엄치기

Outcomes-Based Education Adapted to Individuals: Swimming the Length of the Pool


맞춤형 성과-기반 교육은 어떤 모습일까? 특정 역량을 달성하기 전까지는 그 모듈에 머물러 있어야 한다.

What would an individually adapted outcomes-based model look like in medical education?

  • For communication skills, if a desired outcome were taking a complete and accurate history from a wide range of patients with different problems, students would stay in the communication module until they could do so.
  • For a diagnostic decision making outcome of regularly arriving at a correct diagnosis in a range of clinical situations, students would receive training and practice until they could.

이러한 사례가 보여주듯, 맞춤형 성과란 '무엇을 할 수 있는 잠재력'에 대한 것이 아니라 '실제로 그것을 할 수 있는 것'에 대한 것이다. 이러한 형태의 역량은 ten Cate가 EPA라고 부른 것으로, 실제상황에서의 수행능력에 대한 근거를 요구한다. OSCE와 같은 시험이 수행역량의 잠재력을 보여줄 수는 있지만, 이는 대리지표일 뿐이다.

As these examples illustrate, the notion of outcomes tailored to individuals is not simply about the potential to do things but rather about actually doing them. This formof competence, what ten Cate has called entrustable professional acts,35 requires evidence of performance in real settings. While performance in a test such as an OSCE might indicate the potential for competent performance in real settings, it is but a proxy


 

실제 상황authentic setting에서의 성과를 문서화하는 것에 있어서 한 가지 어려움은, '성과'를 한 개인의 특성이나 능력으로서 인식하는 개념과 맞닿아 있기 때문이다. 반면 대부분의 보건의료성과는 실제로 어떤 팀워크의 결과물이다. Reeves 등은 다양한 유형효과적인 팀들이 보이는 특징을 묘사한 바 있으며36, 이는 개개인의 역량과 상당히 달랐다. Lingard는...

One particular challenge to documenting outcomes in authentic settings is that medical education remains wedded to the notion that outcomes are individual traits or abilities,7 while most health care outcomes are actually a result of teamwork. Reeves et al. have described the elements that characterize various kinds of effective teams, features that are quite different from individual competence.36 And as Lingard has written,



우리의 개인주의적 보건의료시스템과 교육문화는 개별 학습자들과 그들의 머리/손/심장에 있는 지식/능력/가치에 초점을 맞춰 왔다. "역량을 갖춘 전문직 개인들이 합해져서 역량이 없는incompetent 팀을 구성할 수 있고, 실제로 그런 모습을 자주 보여준다. 전통적인 역량의 '개인주의적 담화'는 더 이상 현실과 맞지 않는다.

Our individualist health care system and education culture [focuses] attention on the individual learner and the knowledge, abilities and values they possess in their heads, hands and hearts” [but] “competent individual professionals can—and do, with some regularity—combine to create an incompetent team. The conventional [individualist] discourse of competence doesn’t really help us grapple with this reality.7


결과는 우리가 현재 목도하고 있는 여전히 개인의 역량이 우선이라고 잠정적으로 가정하고 있는 시스템에 전문직간interprofessional 교육성과를 이식하고자 하는 우스꽝스러운 시도이다. 개인-맞춤형 성과-기반 교육의 완전한 패러다임 변화가 필요하며, 따라서 팀-기반 성과와 평가의 도입이 기다리고 있다.

The result is that we are currently witnessing a rather awkward attempt to graft new interprofessional outcomes onto a system that still assumes the primacy of individual competence. A complete paradigmshift to individually adapted outcomes-based education therefore must also await the adoption of team-based outcomes and methods of assessment.


요약하자면, 여전히 다수가 제품생산 담화에 기반하고 Taylorist적 효율성 개념에 근거하여 성과를 생각한다. 대조적으로, 의학교육개혁에 대한 제안들은 유연하고 개별화된 교육훈련을 요구한다. 이러한 교육은 우리의 현재 교육모델에서 뛰쳐나와서 개혁적 변화를 요구하며, 시간이 걸리고 많은 비용이 들 것이다. 따라서 '표준화된 성과'가 적용되는 것은 거의 확실해보이지만, 동시에 '유연하고 개별화된 교육훈련'은 그렇지 않을 것이다. 후자가 진정으로 성과-기반 교육에 중요한 것이라면, 의학교육자들은 효율성과 비용절감에 반하는 모델을 지지하기 위한 주장을 잘 다듬어야 할 것이다.

In summary, there is a popular way of thinking about outcomes that is based on production discourse and Taylorist concepts of efficiency. By contrast, the outcomes envisioned in proposals for medical education reform appear to require flexible, individualized training. Such pedagogy would be an innovative departure from our current model of education, but it might also be time-consuming and expensive. Thus while the adoption of “standardized outcomes” is almost a certainty, the concurrent implementation of “flexible, individualize training” is not. If the latter element is an important dimension of meaningful outcomes-based education, medical educators will need to be clever in crafting arguments to support models that run counter to the imperatives of efficiency and cost savings.



성과기반모델이 널리 도입될까?

Will Outcomes-Based Models be Widely Implemented?


 

  • For licensure and certification organizations, a move to outcomes-based models, and particularly ones tailored to individuals, would require themto become more involved in ensuring the attainment of competencies in training,
  • For faculty teachers, an outcomes-based model that required coaching, feedback, and repeated practice would be labor- intensive. There could be no more “see one, do one, teach one.”37 Rather the phrase would have to be updated to something like “watch until you are ready to try, then practice in simulation until you are ready to performwith real patients, thenperformrepeatedly under supervision until you are ready to practice independently.”
  • Individualized, variable length programs could be a nightmare for institutions that rely on a steady supply of medical students and residents to provide service delivery in predictable rotations.
  • For international medical graduates, issues of compatibility/comparability to domestic graduates would become increasingly difficult if some countries adopted outcomes-based models and others did not.


성과 기준은 개발될 것이다. 그리고 많은 techinical procedure 교육이 모듈화될 것이다. 교육훈련 기간의 단축도 곧 이뤄질 수 있다. 그러나 개별화된 맞춤형 성과-기반 모델과 피드백을 충분히 제공하는 코칭 모델이 도입될지는 그리 확실하지 않다.

I predict that the development of outcomes standards will occur, as will a move toward modularizing many technical procedures. Shortening of training times may also come about. But whether individually tailored outcomes-based model of training and feedback-rich coaching models evolve is much less certain.


의학교육자들은 무엇을 해야 하는가? 시간-기반 모델에 무비판적으로 매달리는 것은 분명 문제가 있다. 우리가 본 바와 같이, 중요한 것은 어떤 성과-기반 모델을 도입하느냐이다. 과도하게 경쟁적으로 평가에서 제품생산 담화를 도입하는 것overzealous adoption of production discourse in assessment의 문제를 지적한 바 있다.

What should we medical educators do? There seems little doubt that clinging uncritically to a time-based approach is problematic. As we have seen, it is the kind of outcomes-based model that matters. Elsewhere I have described the adverse effects of an overzealous adoption of production discourse in assessment.9



아마 가장 중요한 것은, 우리는 시간에 대해서 잊어서는 안된다. Whitehead 는 이렇게 말했다. "성과-기반 모델로 나아가고 그러한 용어를 쓰는데 있어서 핵심적 변화는 시간과 프로세스의 가치를 평가절하하는 것이다" '시간'과 '성과'를 대체하는 것에 초점을 두고 있는 지금, 일부 교육자들은 달성하는데 실제로 시간을 필요로 하는 역량이 무엇인지에 대해 고민하고 있다.

Perhaps most importantly, we should not forget about time. Whitehead has written that “a key shift in the language and approach of outcomes-based models of education is devaluing of time and process”2 It is only now, with the focus on replacing time with outcomes, that some educators are questioning which elements of competence indeed require time to attain.


시간은 개인의 개발과 관련되어 있다. Whitehead가 제안한 바와 같이 '제품생산 담화'는 "개인을 프로세스에서 제거remove한다. 제품생산 담화를 성과기반 언어와 합하면서 개인과 시간, 그리고 모든  sense of journey가 사라진다"

Time has a relationship to personal development, and as Whitehead has suggested, the production discourse “removes the person fromthe process. By combining the production discourse with outcomes- based language, both person and time, and hence any sense of journey, vanish.”2










Appendix Selected Recent Key Reports and Articles on the Future of Medical Education 

1. The Medical School Objectives Writing Group. Learning objectives for medical student education: Guidelines for medical schools: Report I of the Medical School Objectives Project. Acad Med. 1999;74:13–18.

2. American Medical Association. Initiative to Transform Medical Education. Recommendations for Change in the System of Medical Education. Chicago: AMA; June 2007. 

3. The Future of Medical Education in Canada. A Collective Vision of MD Education. Ottawa: The Association of Faculties of Medicine of Canada; 2010. 

4. Awasthi S, Beardmore J, Clark J et al. The Future of Academic Medicine: Five Scenarios to 2025. The International Campaign to Revitalise Academic Medicine. New York: The Millbank Memorial Fund; 2005. 

5. Cooke M, Irby D, Sullivan W, Ludmerer KM. American medical education 100 years after the Flexner Report. NEJM. 2006; 355:1,399–1344. 

6. Cooke M, Irby D, O’Brien B. Educating Physicians: A Call for Reform of Medical School and Residency. San Francisco: Jossey-Bass; 2010. 

7. Cooke M, Irby D, O’Brien B. Future Directions for Medical Education: Educating Physicians: Professional Formation and Insistence on Excellence. San Francisco: Jossey-Bass; 2009. 

8. Flegel KM, He´ bert PC, MacDonald N. Is it time for another medical curriculum revolution? CMAJ. 2008; 178:11. 

9. Fundacio´ n Educacio´nMe´ dica. The Physician of the Future. Me´ dica, Spain: Fundacio´n Educacio´ n, 2009. 10. General Medical Council. Tomorrow’s Doctors: Outcomes and Standards for Medical Education. London: United Kingdom, 2009.



 2010 Sep;85(9 Suppl):S34-44. doi: 10.1097/ACM.0b013e3181f12f32.

tea-steeping or i-Doc model for medical education?

Author information

  • 1Wilson Centre for Research in Education, Richard and Elizabeth Currie Chair in Health Professions Education Research, University of Toronto, Faculty of Medicine, Toronto, Ontario, Canada. brian.hodges@utoronto.ca

Abstract

One hundred years after Abraham Flexner released his report Medical Education in the United States and Canada, the spirit of reform is alive again. Reports in the United States and Canada have called for significant changes to medical education that will allow doctors to adapt to complex environments, work in teams, and meet a wide range of social needs. These reports call for clear educational outcomes but also for a flexible, individualized approach to learning. Whether or not change will result has much to do with the alignment between what is proposed and the nature of current societal discourses about how medical education should be conducted. Currently, two powerful and competing models of competence development are operating at odds with one another. The traditional one is time-based (a "tea-steepingmodel, in which the student "steeps" in an educational program for a historically determined fixed time period to become a successful practitioner). This model directs attention to processes such as admission and curriculum design. The newer one is outcomes-based (an "i-Docmodel, a name suggested by the Apple i-Pod that infers that medical schools and residencies, like factories, can produce highly desirable products adapted to user needs and desires). This model focuses more on the functional capabilities of the end product (the graduate student, resident, or practicing physician). The author explores the implications of both time-based and outcomes-based models for medical education reform and proposes an integration of their best features.

PMID:
 
20736582
 
[PubMed - indexed for MEDLINE]







학부의 CBME에서 학생의 지식습득/임상수행능력/진료준비도인식의 차이: 비교 연구(BMC Med Educ. 2013)

The effect of implementing undergraduate competency-based medical education on students’ knowledge acquisition, clinical performance and perceived preparedness for practice: a comparative study

Wouter Kerdijk1*, Jos W Snoek2, Elisabeth A van Hell2 and Janke Cohen-Schotanus1







Background


현대 의학에서 의사의 역할에 대한 사회적 우려에 대하여, CBME는 점차 전 세계적인 관심을 받고 있다. 여기에 깔린 전제는 BME가 의료에 더 잘 준비된 의사를 만들 것이라는 기대이다.

In response to societal concerns about the role of doctors in contemporary healthcare, competency-based medical education is receiving increasing attention worldwide [1-9]. Its underlying assumption is that competency-based medical education results in doctors who are better prepared for medical practice [10].

  • 캐나다와 미국 PGME 프로그램 In Canada and the United States, the national accreditation councils have implemented competency-based criteria for postgraduate medical education [1,11].
  • 학부 CBME Additionally, a competency framework has been proposed and guidelines have been developed for undergraduate competency-based medical education [5,12,13].
  • EU, 볼로냐 프로세서의 일부로서 모든 의과대학 학부 교육과정은 명확하게 정의된 역량에 기반해야 함.
    In the European Union, as part of the Bologna process, all medical schools are required to base their undergraduate curricula on a clear and well-defined set of competencies [14].

 

CB교육과정의 주된 관점은 학생의 역량 개발을 촉진하는 것이며, 지식/술기/전문직적 자세로 구성된 능력을 보여줄 수 있게 하는 것이다. 그 결과 CBME를 도입할 때, 학생들의 역량개발competency development를 위한 교육시간을 따로 잡아놓게 된다. 이는 기존 교육과정을 가르칠 시간이 줄어든다는 것을 의미하고, 따라서 그러한 시간의 재분배가 역량개발을 촉진하는 결과와 더불어 다른 분야에서의 학생의 발전에 손상을 줄 수 있다.

A major focus of competency- based curricula is to facilitate students’ development of competencies, demonstrable abilities consisting of know- ledge, skills and professional behaviour. Consequently, when implementing competency-based medical education, curriculum time has to be reserved for students’ compe- tency development [2,15]. This means there will be less time available for existing activities of preceding curricula. Therefore, such a reallocation of time may not only result in the facilitation of competency development but may also impair students’ development in other areas.


CBAL과 AL 교육과정을 비교함(지식 습득, 임상 수행, 진료준비도인식)

Therefore, we examined undergraduate medical students’ knowledge acquisition, clinical perform- ance and perceived preparedness for medical practice for – two curricula a competency-based active learning (CBAL) curriculum and its predecessor, a regular active learning (AL) curriculum.


학부 교육과증은 정해진 기간이 있다. CBME를 도입할 때, 학생들이 역량을 개발시킬 수 있는 시간을 따로 잡아놓게 된다 역량개발을 목적으로 하는 여러 활동에 쓰이는 시간은 결국 예전에 지식 습득에 쓰였던 시간을 비용으로 하게 된다. 이러한 시간의 재배분은 학생의 지식습득에 안좋은 방향으로 영향을 줄 수 있다. 비록 학생의 지식이 임상수행능력의 즉각적 예측인자는 아니지만 간접적으로 임상수행능력에 영향을 줄 수 있다.

Undergraduate medical curricula usually have a set duration. When implementing competency-based educa- tion, curriculum time has to be reserved so students can develop their competencies. The time reserved for activ- ities aimed at competency development will usually come at the expense of time previously reserved for knowledge acquisition [15]. This reallocation of time may negatively affect students’ knowledge acquisition in a competency-based curriculum. Although medical stu- dents’ knowledge has not been found to be an immedi- ate predictor of clinical performance, it does impact clinical performance indirectly [16].


CBME를 이끄는 한 가지 힘은 대중들이 의과대학 교육과정이 현대의 진료와 관련된 needs를 반영하기 원하는 것이다.

One of the key forces behind competency-based medical education is the public call for medical curricula to reflect the needs of contemporary medical practice [1,15,17,18].


CBME에 걸쳐서 여러 역량과 그것들의 진료행위와의 관련성이 지속적으로 강조되며, 학생들은 의과대학 기간에, 그리고 나중에 진료를 할 때 무엇이 그들에게 기대되는가를 이해하게 된다.

Throughout competency-based curricula, relevant competencies and their relation with practice are continuously emphasized which helps students to under- stand what is expected of them during medical training and in medical practice [3,12].







Methods



맥락

Context


University of Groningen에서 수행

The AL and the CBAL curriculum were developed and implemented at the University of Groningen,


CBAL은 2003년 9월 도입, 7개 역량에 촛점

The CBAL curriculum was implemented in September 2003 and focuses on seven areas of competence:

  • communication,
  • clinical problem-solving,
  • using basic knowledge and science,
  • patient investigation,
  • patient man- agement,
  • social and community contexts of health care and
  • reflection [22]. 



CBAL과 AL모두에서 active learning principles 이 적용되었다. 학생들은 지식을 소그룹에서 배우고, 동료들과 협동하면서 자기주도학습을 한다. 교사와 튜터는 코칭과 촉진자 역할을 한다.

In both curricula, active learning principles are applied to facilitate acquisition. Students learn in knowledge small groups, collaborate with their peers and engage in self-directed learning. Teachers and tutors fulfil a coaching and facilitating role [23].


학습법과 스킬 훈련에 배정된 시간은 비슷하다. 5주의 스킬훈련이 5주 임상실습 로테이션과 번갈아가면서 있다. 이러한 alteration의 목적은 학생들에게 딱 필요한 시기에 스킬을 개발하게 하고, 실제로 활용할 수 있게 하고, 지식 및 전문가적 태도와 통합시킬 수 있게 함으로써 전임상 과정에서 임상과정으로의 이행을 부드럽게 하기 위함이다.

Learning methods and the amount of time reserved for skills training are similar in both curricula. During this year, five-week periods of skills training in the clin- ical training centre are alternated with five-week clerk- ship rotations. The purpose of this alternation is to ease the transition from the preclinical to the clinical phase by helping students develop their skills, just in time, to apply them in practice and to further integrate them with knowledge and professional behaviour [24].


두 교육과정의 주된 차이는 역량개발competency development의 강조에 있다. CBAL에서는 과목 내내 각 과목과 역량과의 관련성을 명확히 소통하며, 15%의 CBAL 교육과정의 시간은 역량개발을 위한 소그룹 세션으로 배정되어 있다. 이 세션의 시간은 원래 AL에서 지식습득에 배정되어 있던 소그룹 세션을 없애서 만들었다. 총 시간은 동일.

The main difference between the two curricula lies in the emphasis on competency development. In the CBAL curriculum, the link between the purpose of each course and relevant competencies are clearly communicated throughout the course. This is not the case in the AL curriculum. Furthermore, 15% of the total CBAL cur- riculum time is reserved specifically for small group ses- sions aimed at competency development. Time for these sessions is created by diminishing the number of small group sessions originally aimed at knowledge acquisition in the AL curriculum. The total curriculum time re- mains the same.


CBAL의 전임상 시기동안 역량개발을 위한 소그룹세션은 학생들이 practice 경험과 그 영량과 관련된 영역의 과제를 바탕으로 이뤄진다.

Throughout the preclinical phase of the CBAL cur- riculum, small group sessions for competency develop- ment are based on students’ experiences in practice and assignments related to each area of competence. An ex- ample of such an assignment is that

  • 1학년: 좋은 의사란?
    first-year students, unfamiliar with medical practice, have to describe the qualities of a good doctor.
  • 3학년: 동일 과제를 반복하면서 그동안 무엇을 배우고 경험했는지 성찰
    In their third study year the students have to repeat this assignment, and reflect on what they have learnt and experienced in the meantime.

임상교육시기에 역량개발 세션은 1년에 24회. 이 세션에서 자신의 경험을 토론하고 자신의 개발과 관련된 특정 주제를 이야기함. 추가로 포트폴리오에 자기개발플랜 personal development plan 을 꾸준히 기록하고 여기에는 학습목표를 설정한다. 시니어 교수와 1년에 2회 포트폴리오를 바탕으로 면담하여 평가

During the clinical phase, sessions aimed at compe- tency development are scheduled 24 times a year. During these sessions students discuss their own experi- ences and certain themes in relation to their develop- ment (for example cultural diversity or dealing with death). In addition to assignments related to these meet- ings, students have to keep track of a personal develop- ment plan in their portfolio in which they formulate learning goals based on the areas of competence. During the clinical phase the portfolio is evaluated twice a year in an interview with a senior staff member.


CBAL 교육과정을 설계할 때 임상실습의 목적을 최대한 다양한 임상과를 경험하는 것으로부터 학생의 역량개발을 도울 수 있는 다양하고 안정적 환경의 균형을 맞추는 쪽으로 옮겨갔다. 그 결과 최소 로테이션이 4주로 늘어남. 

When designing the CBAL curriculum we felt that the aim of clerkships shifted from experiencing as many disciplines as possible towards a balance between diversity and the stability of surroundings to support students’ competency develop- ment. Consequently, in the CBAL curriculum, the mini- mum duration for clerkship rotations was extended to 4 weeks to allow sufficient time for students to work on their competencies.



Participants


Ethical statement



도구

Instruments


두 개의 다른 네덜란드 의과대학과 함께 치르는 interuniversity progress test (IPT) 로 평가. 1년에 4회, 6년간 총 24회. Dutch National Blueprint for the Medical Curriculum에 기반하여 출제되며 평가 목적은  “the end objectives of undergraduate medical training as far as knowledge is concerned” . 200개 객관식 문항. 특정 의과대학의 교육과정과 관련된 시험 아님. 이 연구가 이뤄질 당시, 네덜란드 의과대학 입학은 여전히 추첨 시스템으로 결정되고 있었기 때문에 교육과정의 효과를 비교하기에 유용함. 이 추천 시스템은 의과대학마다 1학년 입학생의 그룹이 매우 비슷해지는 결과(학업성취, 연령, 성별, 입학동기 등)을 가져왔음.

Knowledge acquisition was assessed by benchmarking our cohorts’ scores on the Dutch interuniversity progress test (IPT) against those of parallel cohorts from two other Dutch medical schools with similar cohort sizes (approximately 250 students per cohort). All cohorts sat the IPT four times per year at the same time, i.e. 24 tests per cohort. The IPT is based on the Dutch National Blueprint for the Medical Curriculum, and is designed to asses “the end objectives of undergraduate medical training as far as knowledge is concerned” [29,30]. Each progress test contains 200 multiple choice questions and is constructed to reflect the entire domain of medical knowledge. The IPT is not related to the cur- riculum of one particular institution [30]. The reason for benchmarking against two other medical schools was that all students sat exactly the same tests at the same point in their education. IPT benchmarking is especially suitable for analysing effects of curriculum changes be- cause, at the time of our study, admittance to medical schools in the Netherlands was still primarily deter- mined by a national lottery system [31]. This system guarantees an intake of first-year students which is very similar across medical schools with regard to past per- formance, age, gender and motivation to study medicine [32]. Over the period of our study the medical schools used for comparison had not changed their curricula.

 


 

Analysis


A Bonferroni correction was used to compensate for the high number of tests and effect sizes were calculated.



 


Results


Knowledge acquisition


Clinical performance


Perceived preparedness for medical practice


 

 

 

 


 

고찰

Discussion

 


연구의 목적은 CBAL의 도입의 효과를 보는 것이다. IPT결과에 따라 우리는 상대적으로 1학년에서 지식 습득이 떨어짐을 발견했다. 그러나 최종 졸업생에서 차이는 없었다. CBAL 교육과정 졸업생은 임상수행능력과 진료준비도인식에서도 차이가 없었다.

The aim of our study was to analyse the effects of the implementation of a competency-based active learning curriculum (CBAL) as compared to the previous active learning curriculum (AL). Using progress test results, we found relatively less knowledge acquisition in the first years of the CBAL curriculum than in the first years of the AL curriculum. However, we did not find such dif- ference in the final year. Graduates who had been trained in a CBAL curriculum did not score higher on clinical performance nor did they feel better prepared for medical practice.


역량개발에 시간이 더 들어갈수록, 다른 교육활동에 시간이 덜 들어가고, 그 결과 CBAL 교육과정은 지식 손실의 위험이 있다.

As more time is allocated to the development of competencies, less time will be devoted to other curricular activities. As a consequence, implementing a CBAL cur- riculum bears the risk of knowledge loss.


지식습득에 대한 시간을 빼서 역량개발을 위한 시간을 따로 두는 것은 (장기적으로는 아니나) 단기적으로는 낮은 지식습득의 결과로 이어졌다.

Reserv- ing time for competency development at the expense of time reserved for knowledge acquisition, seems to lead to lower knowledge acquisition in the short term, but not in the long term.


CBAL학생군이 종종 더 낮은 점수를 받았으나, 장기적으로는 차이가 없었다는 결과로부터, CBME가 영속적인 부정적 효과가 있을 가능성은 낮다고 판단된다. 이러한 결과는 임상환경이 학생이 스스로 학습을 조절regulate하게 장려했다는 것으로 설명될 수 있다. 임상실습동안 학생들은 반복적으로 부족한 의학지식 영역에 대한 remedy를 하게끔 stimulate된다. 이전 지식의 부족은 임상실습기간에 극복될 수 있다.

As the CBAL cohorts seldom scored lower than the comparison cohorts and no long-term differences were found, we consider a permanent negative impact of implementing competency-based education on student learning and expertise development unlikely. An explan- ation for this finding might be that the clinical environ- ment encourages students to regulate their own learning [37]. During clerkships students are repeatedly stimu- lated to remedy deficiencies in medical knowledge. Undergraduate students’ prior knowledge deficiencies appear to be overcome during their clerkships.


우리는 CBAL학생이 임상에서 더 잘할 것을 기대했으나, 유의한 차이는 발견하지 못했다.

We expected CBAL students to perform better in clin- ical practice than AL students. However, we did not find a significant difference, which may indicate that imple- mentation of competency-based education has no effect on clinical performance.


우리는 CBAL학생이 진료에 더 잘 준비되었다고 느끼길 바랐으나, 'put a patient problem in a broad context of political, sociological, cul- tural and economic factors, '에서만 그렇게 응답하였다.

We expected the CBAL students to feel better pre- pared for medical practice. Students from the CBAL curriculum felt better prepared to put a patient problem in a broad context of political, sociological, cul- tural and economic factors, which is in line with the aim to educate medical professionals who are sufficiently re- sponsive to societal needs [1,15,17,18]. However, we were unable to demonstrate any other effects of the implementation of competency- based education on students’ perceived preparedness.



학생들의 진료준비도인식에 전반적인 향상이 없었던 것은 역량개발을 위하여 도입한 교육도구(포트폴리오와 역량 및 underlying framework에 대한 명쾌한 의사소통)의 영향일 수 있다.

The fact that we did not find a general increase in stu- dent’s perceived preparedness for medical practice may be related to the educational tools we implemented to facilitate competency development: portfolio use and ex- plicit communication of competencies and their under- lying framework.


Sargeant 등에 의한 최근 연구에서 역량에 대한 명쾌한explicit 의사소통과 포트폴리오 활용이 학생들이 informed self-assessent를 하게 도와준다고 하였다. CBAL교육과정 학생들은 그들에게 기대되는 바가 무엇이에 대한 정보를 계속 알 수 있었고, 스스로의 수행능력을 explicitly 성찰하고, 부족한 부분을 보충remedy하고 개선점을 찾도록 하였다. 이러한 활동으로 인해서 학생들은 스스로의 부족함을 더 인식하게 되었을 것이다. 아마도 CBAL학생들은 AL학생보다 자신의 역량이 무엇이 있고 무엇이 부족한지 더 잘 인식하고 있었을 것이며, 역량개발에 있어서 이는 중요한 단계이다.

A recent study by Sargeant et al. revealed that explicit communication of competencies and the use of portfolios help students to achieve in- formed self-assessment [39]. Students in the CBAL cur- riculum are frequently informed of what is expected of them and they are explicitly stimulated to reflect on their performance, to remedy their deficiencies and to formulate points of improvement. The awareness that follows from these activities may help students to be- come increasingly conscious of their deficiencies. Possibly, CBAL students were more aware of their com- petencies and incompetencies than AL students, which is an important step in the development of competence [40].




 


 


 





 2013 May 27;13:76. doi: 10.1186/1472-6920-13-76.

The effect of implementing undergraduate competency-based medical education on students' knowledgeacquisitionclinical performance and perceived preparedness for practice: a comparative study.

Author information

  • 1Center for Research and Innovation in Medical Education, University of Groningen and University Medical Center Groningen, Ant, Deusinglaan 1, FC40, 9713 AV, Groningen, The Netherlands. w.kerdijk@umcg.nl

Abstract

BACKGROUND:

Little is known about the gains and losses associated with the implementation of undergraduate competency-based medicaleducation. Therefore, we compared knowledge acquisitionclinical performance and perceived preparedness for practice of students from acompetency-based active learning (CBAL) curriculum and a prior active learning (AL) curriculum.

METHODS:

We included two cohorts of both the AL curriculum (n=453) and the CBAL curriculum (n=372). Knowledge acquisition was determined by benchmarking each cohort on 24 interuniversity progress tests against parallel cohorts of two other medical schools. Differences in knowledgeacquisition were determined comparing the number of times CBAL and AL cohorts scored significantly higher or lower on progress tests. Clinicalperformance was operationalized as students' mean clerkship grade. Perceived preparedness for practice was assessed using a survey.

RESULTS:

The CBAL cohorts demonstrated relatively lower knowledge acquisition than the AL cohorts during the first study years, but not at the end of their studies. We found no significant differences in clinical performance. Concerning perceived preparedness for practice we found no significant differences except that students from the CBAL curriculum felt better prepared for 'putting a patient problem in a broad context of political, sociological, cultural and economic factors' than students from the AL curriculum.

CONCLUSIONS:

Our data do not support the assumption that competency-based education results in graduates who are better prepared for medicalpractice. More research is needed before we can draw generalizable conclusions on the potential of undergraduate competency-based medicaleducation.

PMID:
 
23711403
 
[PubMed - indexed for MEDLINE] 
PMCID:
 
PMC3668236
 
Free PMC Article


CBME의 가능성, 위혐, 문제점, 그리고 진보(Med Educ, 2016)

The promise, perils, problems and progress of competency-based medical education

Claire Touchie1,2 & Olle ten Cate3







10년 전, 우리는 의학교육자들에게 있어서 21세기의 시작은 역량-바탕 교육훈련의 10년일 것이라 예상했다.

Ten years ago, we predicted that the start of the 21st century would be remembered by medical edu- cators as the decade of competency-based training in medicine.1 


수만명의 교수, 레지던트, 의대생에게 역량이란 단어는 마치 늘 의학교육을 가이드 해 온 것과 같이 익숙하다. 그러나 '개념'과 '실천'은 서로 다른 것이다. 묘비를 옮기는 것 만큼이나 어렵다고 인식된 의학교육과정의 변화가 지금은 빠르게 진행되고 있으며, 이는 사회의 요구와 규제, 임상환경의 변화, 근무시간에 대한 기준 변화, 과학적 지식의 축적과 기술의 진보에 따른 것이다.

Hundreds of thousands of fac- ulty members, residents and medical students across the globe are now so familiar with the language of competencies it is as if it has always guided medical education. However, concepts and practice are two very different things. Change in medical curricula, formerly considered as difficult as moving a ceme- tery,2 now happens rapidly, forced by societal demands and regulations, change in clinical prac- tice, shifting norms for working hours, scientific knowledge accumulation and technological advances.


가능성

THE PROMISE


CBME는 '하나 혹은 그 이상의 역량에서 유능함을 갖춘 의료전문직 양성을 위한 교육'이면서 '기본적으로 졸업시의 능력이 무엇인에 목적을 두고, 사회와 환자의 요구분석을 통한 역량을 중심으로 조직된 의료행위를 할 수 있는 의사를 만드는 접근법'이다. CBME는 시간-기반 교육훈련을 지양하며, 더 큰 책임, 유연성, 학습자-중심성의 가능성을 열어둔다.

Competency-based medical education has been defined as ‘education for the medical profession that is targeted at a fixed level of proficiency in one or more medical competencies’6 and ‘an approach to preparing physicians for practice that is fundamen- tally oriented to graduate outcome abilities and orga- nised around competencies derived from an analysis of societal and patient needs; it de-emphasises time- based training and promises greater accountability, flexibility, and learner-centredness’.7


CBME의 두 가지 특징이 두드러진다. (1)역량을 갖춘 의사에 대한 정의 (2)역량을 갖춘 졸업생 확보에의 초점

Two features of CBME stand out: (i) a redefinition of what a compe- tent doctor is and (ii) a focus on securing competent graduates.


의사는 무엇인가에 대한 일반적인 게슈탈트가 구체적인 설명서를 필요로 하는 것은 아니지만, 지난 세기 의료행위의 엄청난 변화는 더 이상 전통적인 모습과는 잘 맞지 않는다. 교육훈련을 마쳤을 때, 의사는 다양한 전문의 혹은 세부전문의가 되며, 그들 간 공통의 정체성, 공통의 의료행위, 공통의 언어, 공통의 환자이해는 감소한다.

Although the general gestalt of what a doctor is had never required a detailed specification,the substantial changes in health care practices in the last half century are no longer compatible with that traditional picture. By the end of their training, medical practitioners become a variety of medical specialists and subspecialists with a decreased com- mon identity, common practice, common language and common understanding of patient problems. 


RCPSC는 1996년 CanMEDS. 이 정의는 1978년의 권고를 따르는 방향으로 1999년 ACGME의 Outcome project에 의해서 보충된다. "규정된 수준 이상으로 능숙하게 의료행위를 할 수 있는 보건의료전문직의 의도한 목적은 지역의 조건(condition)과 지역의 요구(needs)에 따르는 것이다." CBME로의 전환 움직임은 패러다임 전환이라 불려왔으며, 더 안전하고 더 양질의 의료를 기약했다.

The Royal College of Physicians and Surgeons of Canada (RCPSC) took the initiative in 1996 to define the multiple roles of the doctor of a new era, with the support of significant societal stakeholders. The resulting CanMEDS framework was quickly recognised in many other countries and imple- mented or adapted. This redefinition was supple- mented in 1999 by the Outcome project of the US Accreditation Council for Graduate Medical Education (ACGME)8 following a recommendation dating back to 1978: ‘The intended outcome is a health-professional who can practice medicine at a defined level of proficiency, in accord with local conditions, to meet local needs’.9 The move to com- petency-based medical education has been called a paradigm shift10,11 holding great promise for safer and higher quality health care.



위협과 문제점

THE PERILS AND PROBLEMS


CBME의 위협은 Leung의 말로 요약할 수 있다. '부적절하게 활용될 경우, CBME는 동기부여를 저해하고, 최소한의 기준을 만족시키는 것에만 초점을 두며, 행정적 부담을 가중시키고, 교육 내용의 감소만 가져올 것이다'

The perils of CBME may be best summarised with Leung’s words. ‘If applied inappropriately, [compe- tency-based training] can result in demotivation, a focus on minimum acceptable standards, increased administrative burden and a reduction in the educa- tional content.’12


개념적 이슈

Conceptual issues


Grant와 Brooks는 CBME가 환원주의적 접근이며, 행동주의에 뿌리를 둔 것이라 경고한다. '행동적 목표, 혹은 역량은 절대로 복잡한 인간의 행동을 그려낼 수 없다. 전문직이 무엇을 하는가는 '역량'의 용어로 기술될 수 있는 그 부분의 합보다 한참 더 큰 것이다'. Brooks는 더 나아가서 '의학은 근본적으로 도덕성을 추구(moral pursuit)하는 것이다. 그것의 핵심에는 환자-의사 관계가 있고, 이는 두 사람 사이의 관계이다. 원자화되고 행위에 초점을 둔 역량의 개념으로는 이러한 의학의 관점을 담아낼(embody) 수 없다.' Hodges는 CBME를 시간-기반 교육과정에서의 'tea-steeped' 의사에서 역량바탕프로그램의, 공장에서 만들어진 i-Doc으로의 전환이라고 묘사했다. The Question of Competence이라 불리는 최근 호에서 Leung은 어떻게 의사의 'competent mind'라는 것이 상황 인식, 메타인식, attentive automaticity, 협력적 직무에 대한 분배적 인식 등과 같이 쉽게 '측정가능한 역량'으로 잡히지 않는 것들을 포함하고 있는가를 설명하였다. 이러한 개념 수준의 비판은 의사의 역량의 분석적 접근방법에 대한 비판이 될 수 있으며, 의사에 대한 개념을 통합적, 전체적 개념으로 바라보지 않고, 세세한 요소의 부분으로서 훈련시키고 평가하는 것에 대한 비판이 된다.

Both Grant and Brooks have eloquently warned that competency-based training is a reductionist approach, rooted in behaviourism. ‘Behavioural objectives, or competences, can never describe com- plex human behaviour. The sum of what profession- als do is far greater than any of the parts that can be described in competence terms.’1,3 Brooks goes on to say that ‘medicine is fundamentally a moral pursuit.3 At its heart is the physician-patient rela- tionship, a relationship between two people. The atomistic and action focused concept of competency does not embody this view of medicine’. Hodges describes the CBME movement as a shift from a ‘tea-steeped’ doctor trained using a time-based pro- gramme, to a factory-produced i-Doc emerging from a competency-based programme.13 In a recent vol- ume called The Question of Competence, Leung et al.14 explain how the ‘competent mind’ of the doctor also includes qualities such as situation awareness, metacognition, attentive automaticity and shared or distributed cognition in collaborative work, not easily captured in measurable competencies. This conceptual criticism may be summarised as acting against the analytical approach to doctor compe- tence, with the desire to train and assess (just) its detailed component parts, while ignoring the syn- thetic or holistic concept of the doctor as a whole.15


평가 관련 이슈

Assessment issues


체계적 문헌고찰에서 Lurie는 역량을 타당하게 평가할 수 있는 도구가 없음을 팔견하고, 이후 '비록 '역량'이란것이 조직의 사회적 미션을 전체적으로 정의하는데는 유용할 수 있으나, 그러한 역량이 실제 근무환경이란 맥락에서 측정가능하고, 서로 구분지어지는 것(distinct)으로 오해되어서는 안된다.' 라고 했다.

In a systematic literature review, Lurie et al.16 found no instruments that can validly assess competencies and conclude in a later commentary that ‘although competencies may prove useful in defining an overall social mission for organisations, such competencies should not be mistaken for measurable and distinct attributes that people can demonstrate in the con- text of their actual work’.17 Brooks comments that:


'역량 모델은 (탑-다운 방식이며, 무언가를 지시하는 방식으로서) 스스로 하고 있다고 주장하는 객관적인 교육평가의 프레임워크를 제공하지 못하고 있다. 나는, 다른 의사들과 마찬가지로 (그가 얼마나 많은 논문을 내었든) 내 가족 근처에는 얼씬도 못하게 할 다른 의사를 알고 있으며, 반대로 내가 가진 세부전공 자격증은 없더라도 내 전공에 대해서 나보다 더 잘 아는 의사도 무수히 많이 알고 있다"

‘the competency model—which tends to be top- down and prescriptive—does not provide the framework for objective educational assessment that it claims to provide... I, like all other prac- ticing physicians, know other physicians whom I wouldn’t let near me or my family members, regardless of the number of pieces of paper they might sport. Conversely, I know a number of physicians who are superior to me in my chosen field, despite the fact that they lack the subspe- cialty certification that I have’.3



실천적 이슈

Practical issues



Brook의 코멘트는 의료행위를 할 준비를 할 수 있도록 훈련되었는가를 평가하는 것이 아니라, 체크리스트에 체크하는 방식으로 CBME를 경험한 다른 사람들의 것과 유사하다. Malone과 Supri는 CBME는 관료주의적이며 부담이 크고, 다양한 서식과 많은 체크리스트를 비롯한 엄청난 양의 문서를 필요로 한다고 지적하며 '교육자의 역할을 서식을 채우는 관료로 격하시킨다'라고 하였다. 또한 CBME가 광범위한 의학교육과정을 측정가능한 의학의 지식과 술기 역량을 준비시키는 것으로 제한시키며, 교육자들은 '시험을 위한 교육'을 하게 될 것이라 지적했다. 또한 '최소기준'에 초점을 두는 것, 학생이 아니라 규제(regulator)에 신경을 쓰는 것에 대해서, 그리고 CBME가 교육기간을 단축시킬 것이라는 내포된 가정에 대해서 지적했다.

Brook’s comment resonates with others who experi- ence the practice of competency-based training as checking boxes on checklists rather than assessing the outcome of training in preparation for prac- tice.2,5 Malone and Supri comment that CBME is bureaucratic and burdensome, and requires exten- sive written materials with forms and checklists, ‘de- valuing the role of educators into that of form-filling bureaucrats’. They also comment on the risk that CMBE limits broad medical curricula to knowledge and skills that prepare for measurable competencies, and educators will ‘teach to the test’.18 Others have commented on the focus on minimum standards, on the rationale for predominantly serving regula- tors rather than students, and on the implicit assumption that CBME will reduce the length of training.4




진보

THE PROGRESS



15년간의 상당한 비판에도 불구하고, 의학교육계의 상당부분은 CBME 개발을 지지한다. 이유는 명확하다. 사회, 의료, 의학교육의 맥락이 바뀌었으며, 교육 프로그램은 그에 부응해야 하기 때문이다. 비판이 부당한 것이 아니다. 대부분의 지적은 사실이며, 그러나 문제는 그 지적 중 사실상 어떤 것도 나아갈 방향을 제시하지 못한다는 것이다. 대부분은 '하던 것을 그대로 할 것'을 은유적으로 내비치며, 혹은 도제식 교육의 복귀를 말할 뿐이다.

Despite 15 years of substantial criticism, the vast majority of the medical education community has supported the development of CBME. The reasons seem clear. Society, health care and the context of medical education have changed and education programmes simply must respond to this. It is not that critics do not have their points. Most of the comments bear truth, but virtually none of the com- ments include a clear way forward; most of them actually implicitly recommend no change, or the reinstatement of apprenticeships.3


비록 CBME를 도입하는 교육과정은 지속적으로 늘어나지만, 역량-바탕 교육의 더 고차원적인 목표를 지지하는 새로운 개념이 등장하고 있으며, milestone과 EPA가 그것이다.

Although programmes continue to implement CBME, new concepts to support the higher goals of competency-based education and assessment have emerged, namely milestones and entrustable profes- sional activities (EPAs).20,21


마일스톤

Milestones


마일스톤이란 한 역량 내에서의 발달단계에 관한 행동묘사용어이다. 이는 피교육자를 평가하는 의사를 돕기 위한 것이며, ACGME가 역량에 대한 전문가적 발달의 5단계라는 논리적 궤적을 따라 개발한 것이다. 효과적인 평가의 기준점으로서 개발되었으며, ACGME 마일스톤은 미국 내 모든 PGME를 위해 만들어졌고, 2013년 3월과 2014년 3월에 발표되었다. 마일스톤은 수련을 받는 일련의 단계에 걸쳐 레지던트 행동의 전형적 모습을 짧게 묘사한 것이며, 그 전공에 처음 들어왔을 때부터, 의료행위를 위해서 수련을 마쳤을 시점에 필요한 수준(level 4), 그리고 일부 매우 우수한 전공의들만 달성하는 수준(level 5)까지를 아우른다.

‘Milestones’, concrete behavioural descriptions aligned with developmental steps in one domain of competence, to assist clinicians in the assessment of medical trainees, is terminology introduced by the ACGME to establish a 5-step logical trajectory of professional development within competencies. Developed as benchmarks for effective assessment,21 ACGME milestones are written for all postgraduate medical disciplines in the United States of America (USA) were published in the Journal of Graduate Medical Education in March 2013 and March 2014. They are short descriptions of typical resident beha- viours at sequential stages of training, following matriculation into a specialty, targeted at an advanced level for graduation to practice (Level 4, proficient), and ending at an aspirational level to be achieved only by exceptional residents (Level 5, expert).22



CanMEDS 역할 중에서 medical expert, communicator and collaborator가 필요하다고 할 때, 어떻게 EPA가 역량과 통합될 수 있는가를 보여준다. EPA는 평가의 초점으로서 제시되었다. '병력 청취'라는 단순한 행동 하나에도 의사소통, 프로페셔널리즘, 의학 지식, 임상추론 등이 얼마나 복잡하게 엮여 있는지를 보여준다. 이 역량을 하나 하나 나누어 평가하는 것은 의미가 없으며, 그 업무를 어떤 맥락 안에서 전체적으로 평가하는 것이 합당하다.

As this activity particu- larly reflects the CanMEDS roles of medical expert, communicator and collaborator, it exemplifies how EPAs integrate competencies. EPAs are proposed to be the focus of assessment. Even a simple activity such as ‘taking a history’ illustrates how inextricably communication, professionalism, medical knowl- edge and clinical reasoning skills are integrated within a conversation with a patient. Assessing any of these competencies separately is meaningless, whereas assessing the task as a whole within a con- text is sensible.


RCPSC는 CanMEDS 2015 버전을 내놓으면서 이 과정을 밟았는데, 일곱 개의 CanMEDS 역량역할 아래의 'enabling competency'를 를 '피수련자 혹은 의사가 전문직 발달의 특정 단계에서 갖춰야 할 것으로 기대되는 능력의 묘사'라고 정의했다. 이것은 피교육자와 교육자로 하여금 피교육자가 '제대로 트랙을 밟아 가고 있는가'를 판단하기 위한 것이다. ACGME의 마일스톤은 전공에 따라 다르게 설계되었으며, RCPSC는 마일스톤은 일반적인 것이며, 하나의 형태를 가진 문서이지만 모든 전공에 걸쳐 적용가능한 것으로 설명하였다. 미국의 마일스톤과 달리 CanMEDS의 마일스톤은 일곱 개의 미리 정의된 교육단계에 맞춰져 있다.

      • medical school fundamentals, 
      • early clinical activity, 
      • transition to discipline, 
      • foundations of discipline, 
      • core of discipline, 
      • transition to practice and 
      • continuing professional development

The RCPSC followed this course by introducing milestones into the CanMEDS 2015 version, defined as ‘descriptions of the abilities expected of a trainee or physician at a defined stage of professional devel- opment’ of each of the ‘enabling competencies’ under the seven CanMEDS competency roles, to guide learners and educators in determining whether learners are ‘on track’.23 Whereas ACGME milestones have been designed by specialty associa- tions, the RCPSC suggested that milestones are gen- eral, being described in one document as applicable across all specialties. Unlike the USA milestones, the CanMEDS milestones are bound to seven prede- fined stages of the educational continuum (medical school fundamentals, early clinical activity, transition to discipline, foundations of discipline, core of discipline, transition to practice and continuing professional development).23


EPA

Entrustable professional activities


Ten Cate와 Scheele은 EPA를 근무지 교육과정 개발과 평가의 보다 전체적인 접근법이라 제시하였다. EPA는 전문직의 행위의 광범위한 단위이다(즉, '피훈련자가 일단 충분한 구체적 역량을 갖추었다면 감독받지 않는 상태에서 수행할 수 있도록 위탁가능한 업무나 책임'이다.)

Ten Cate and Scheele have proposed entrustable professional activities (EPAs) as a more holistic approach to workplace curriculum development and assessment.24 EPAs are broad units of profes- sional practice (i.e. ‘tasks or responsibilities to be entrusted to the unsupervised execution by a trai- nee once he or she has attained sufficient specific competence’).25


EPA의 한 예시는 합병증이 없는 경우의 분만을 수행하는 것이다. 이는 가정의와 산부인과 전문의에 의해서 수행되며, 수련단계의 어떤 시점에서는 - 수련생이 궁극적으로는 그것을 관리감독 없이도 수행할 수 있어야 하므로 - 수련생에게 위탁될 필요가 있다. 이를 위해서는 구체적인 지식, 스킬, 행동이 푤요하며, 수련과정에서 능숙해져야 한다. 이것은 직접적으로 관찰가능하며 역량을 반영한다.

An example of an EPA is conducting an uncomplicated delivery. This activity, performed by family doctors and obstetrics-gynaecology specialists, needs to be entrusted to a trainee at some point in their training, as the trainee eventually will need to conduct it without supervision; it requires specific knowledge, skills and behaviours; proficiency is acquired through training; it is directly observable and reflects competencies.20



EPA들의 집합은 전문직의 필수영역 혹은 세부전공의 핵심영역을 포괄할 수 있다. EPA와 연결된 것이 Entrustment decision making이다. '위탁'을 위해서는 능력을 인정하고, 감독이 없는 상태에서의 수행을 허가해야 하며, 의료행위의 책임을 다하게 해야 한다. 진정한 CBME는 역량이 적절한 수준으로 보여지는 즉시(adequately demonstrated) certification을 주어야 한다. EPA는 전문직 행위의 여러 유닛에 대해서 '위탁'에 관한 판단을 가능하게 해주며, 수련이 끝나는 마지막 날이 아니라 수련과정의 전문행위의 점진적이고 합법적(legitimate)참여를 가능하게 해준다. frame of reference를 '전통적인 평가'에서 '위탁가능여부 결정'으로 바꿔준다. 'trust'가 높아질수록 'supervision'은 감소한다.

A comprehensive set of EPAs can thus cover the core of a profession or cover focus areas of subspe- cialty practice. Allied to the EPA concept is the pro- cess of entrustment decision-making. Entrustment serves to acknowledge ability, and provide permis- sion to act unsupervised and to enact duties in health care practice. True competency-based medi- cal education grants certification as soon as compe- tence is adequately demonstrated. EPAs allow decisions regarding entrustment to be made for separate units of professional practice, resulting in agradual, legitimate participation in professional practice, rather than on the last day of training. It transforms traditional assessment into entrustment decisions as a frame of reference.26 As trust increases, the level of supervision can decrease. 



성찰

REFLECTION


마일스톤과 EPA가 역량과 잘 통합되지 않거나 서로 잘 통합되지 않으면, 근무지 교육의 일과된 모델을 구성할 수 없고 비판도 증가할 것이다. 마일스톤과 EPA에 대한 의구심이 제기되고 있다. 많은 연구자들이 역량의 환원주의적 관점을 경고하고 나섰으며, 의료에 있어서 통합적 접근(holistic approach)가 부족함을 지적했고, 의사의 역량을 점수와 숫자로만 잡아내는 것의 근본적 한계를 지적했다. 분명히 이러한 방향으로 가려는 것은 아니다. 마일스톤과 EPA가 새로운 체크리스트가 된다면, 우리가 얻는 것은 아무 것도 없을 것이다.

We believe that if the concepts of milestones and EPAs are not well integrated with competencies andwith each other, constituting a coherent model of education in the workplace, criticism may increase. Doubts about the milestones and EPAs have been raised.38–40 Many authors have warned of the risk ofa reductionist view of competencies and the lack of a holistic approach to medicine, and the fundamen-tal limitations of capturing the competence of a doctor in scores and numbers. Clearly this is not the way to go. If milestones and EPAs serve as the new checklists, we have not won anything. 


그러나 만약 역량, 마일스톤, EPA의 개념이 잘 통합된다면, 학습자의 진전에 대한 실현가능하고 통합적인 전문가의 판단이 설 자리를 마련해줄 것이며, 그 때 진정한 의학교육의 발전이 있을 것이다.

However, if the concepts of competencies, mile- stones and EPAs are well integrated, and provide space for feasible, holistic expert judgement of a learner’s progression, then the chances are that medical education has truly made progress.


마일스톤의 미국 버전은 학습자를 전공-특이적 역량 개발과정에 두었고, 다섯 개의 Dreyfus 단계로 묘사했다. 우연인지, EPA와 관련된 supervision의 수준 역시 다섯 단계이다. 추가적으로, 네 번째 탈-감독 수준(distant supervision)과 4수준의 마일스톤과 잘 맞으며 두 가지 모두에서 5단계는 모든 졸업생에게 요구할 것이 아니라는 것에 합치한다.


 novice

 observation

 advanced beginner

 direct supervision

 competent

 indirect supervision

 proficient

 distant supervision

 expert

 providing supervision



The USA version of milestones describes the development of the learner in spe- cialty-specific competencies, related to the five Drey- fus stages (novice, advanced beginner, competent, proficient and expert).22 Coincidentally, the levels of supervision related to decisions about EPAs, also show development in five steps (observation, direct supervision, indirect supervision, distant supervision and providing supervision). In addition, the focus on the fourth level as the target for unsupervised practice for any learner and the level 4 milestone also align, whereas level 5 on both scales reflects an aspiration that is not required for all graduates.



EPA, 역량, 마일스톤, 감독의 단계에 대해서는 그림 1에 묘사되어 있다. 어떻게 EPA가 구체적인 역량을 요구하며, 이는 마일스톤의 description을 활용하여 평가할 수 있다. 두 개의 역량이 합치한다면, 그 학습자는 indirect supervision에 준비가 되었다는 결론을 내릴 수 있을 것이다.

This operational integration of EPAs, competencies, milestones and levels of super- vision is depicted in Fig. 1, borrowed from Ten Cate et al.42 What the figure shows is how an EPA requires specific competencies; these may be evaluated using the descriptions of behavioural milestones. If both competencies match (e.g. at the level 3 milestone), then a conclusion may be drawn that the learner is ready for indirect supervision (Fig. 1).



이것이 좀 기계적으로 들릴 수는 있을 것이다. 그러나 실제에서는 각 사건의 순서는 단순하고 매우 인간적일 것이다. 간접-슈퍼비전에 준비되었다는 슈퍼바이저의 판단이 먼저 내려질 것이며, 이후에 마일스톤의 description을 보고 그 판단에 부합하는가를 체크한다. 이는 환자에 대한 임상추론 과정과 비슷한데, 가설이 먼저 오고 그 다음에 verification이 일어나는 것이다.

This all sounds rather mechanistic, as if a machine can draw a conclusion. In practice, however, the sequence of events can be simple and very humanis- tic. A supervisor’s judgement about the readiness for indirect supervision of a learner is likely to be made first, after which an optional check with a milestone description can confirm the judgement, much like the process of clinical reasoning about a patient’s case. First a hypothesis comes to mind, then a verification takes place.


많은 임상 맥락에서 위탁결정은 매일매일에 걸쳐 슈퍼비전의 감소를 가져올 것이다. '나는 이 학생/인턴/레지던트/펠로우를 혼자 놔둬도 되겠어'라는 생각은 종종 그 전에 학습자가 보여준 신뢰 또는 전반적인 첫인상에 기반할 수 있으며, 이는 presumptive trust 나 initial trust라는 용어로 표현된다. 총괄적인 위탁 결정은 자율의 방향으로 한 발 더 공식적으로 나아가는 것이며, 능력 뿐만 아니라 권한과 의무를 인정하는 것이다. 의료에서 EPA라는 총괄적인 위탁결정은 새로운 운전면허와 같다 그 순간부터 학습자는 관리감독 없이 수행할 수 있는 신뢰를 얻는 것이다.

In many clinical contexts, entrustment deci- sions resulting in decreased supervision happen every day. The ‘I can probably leave this student/ intern/resident/fellow alone’ thought is often based on prior credentials and global first impres- sions, recently referred to as presumptive trust and initial trust.26 A summative entrustment decision, formalising a further step toward autonomy, acknowledges not only ability, but also the right and duty to act. Summative entrustment decisions about EPAs in health care are like a new driver’s license. From that moment on, the learner is being trusted to act unsupervised.


따라서 역량은 종종 '개방형'이다. heart failure가 어떤 식으로 나타날지 모든 가능성을 다 정해놓을 수는 없다. 비록 역량과 마일스톤 description에 노력이 들어갔더라도, 진정한 위탁결정은 일부 통합적, 전체적이고 직관적 판단에 따를 수 밖에 없다. 관찰된 행동과 평가를 기반으로 한 신뢰는 위탁결정의 타당도에 일부만 기여할 뿐이다. 대부분은 전문가로서의 판단, 동료의 판단에 기반하게 되며, 이는 전문직 교육의 근본적 특성이고, 적절한 슈퍼비전과 멘토링을 필요로 한다.

Competence is thus open ended; one cannot specify in advance the range of possible presentations of heart failure.44 Despite all the effort put into competencies and milestone descriptions, true entrustment decisions are in part holistic and based on gut feeling. The grounding of trust through observed behaviour and rated eval- uations can only partly support the validity of entrustment decisions. Much is based on expert, collegial judgement, which is inherent to profes- sional education, and requires adequate supervision and mentoring.


총괄적인 위탁결정은 파기시한이 정해진 STAR(Statement of Awarded Responsibility)가 되어야 한다. 심사숙고한 위탁의 과정은 매일매일의 implicit한 신탁 결정을 보다 explicit하게 만들어주며, 교육과 평가가 임상의료행위와 더 잘 align되게 해준다.

Summative entrustment decisions should lead to STARs (Statements of Awarded Responsibility24) with an expiration date.42,45 A deliberate entrustment process essentially makes the everyday implicit entrustment decisions more explicit, and aligns education and assessment bet- ter with clinical practice.43,46–48


학부교육과 졸업후교육의 주요 발전단계를 보았을 때, 그리고 수련을 마치고 무엇을 해야하는가에 대해 생각해 보았을 때, EPA의 포트폴리오는 그/그녀가 현재 시점에서 인정받은 능력이 한 의사로서의 역량을 규정하는 작은 한 걸음임을 인정하는 것이다.

Given the major developments in undergraduate and postgraduate education, and the desire to grad- uate medical trainees based on what they can actu- ally do in practice, a portfolio of EPAs that reflects his or her current acknowledged abilities is a small step forward in defining a doctor’s competence.


핵심 위탁 행위(Core EPA)가 정의되면, 레지던트에 들어오는 의사들은 프로그램 관리자가 믿고 의지할 수 있는 역량을 갖출 것이 요구(기대)되며, 부가적으로 일부 가장 우수한 학생들은 elective EPA를 갖출 것이다. 의과대학생 혹은 레지던트 졸업생이 갖추고 있는 역량의 다양한 변이를 하나의 학위나 하나의 등록증으로서 보여주기는 충분하지 않을 것이다.

With core entrustable activities defined, doctors at entry to residency have a concrete, expected competence that programme directors should be able to rely on, optionally supplemented with addi- tional elective EPAs that the most advanced stu- dents have also been able to master. A single diploma or registration may not be sufficient to portray the rich variations in competence that med-ical students and residents graduate with.


저자들은 모든 의대생, 레지던트, 의사가 전자 포트폴리오를 가지고 역량을 보여주는 시대가 오는 것이 단순히 시간문제일 것이라고 생각한다. 감독자, 고용자, 동료, 기타 보건의료직, 심지어 대중들도 EPA와 STAR로 translate된 문서에 접근가능하게 될 것이다. 의사의 필수 EPA와 전문의의 EPA는 면허 또는 등록의 요건이 될 수 있다. 추가적으로 elective EPA는 수련 기간 혹은 수련 이후에 추가될 수도 있다. 실제로, 비록 현재와 같은 전문직 역량의 유지와 certification의 유지 모델에 대한 불만이 있지만, re-certification 역시 EPA에 기반할 수 있다. EPA certification을 읽는 것이 부끄러운 것이 전혀 아니며, 전혀 수행하지 않는 것이라면 그럴 수도 있고, 새로운 EPA certification을 받는 것의 가치가 있을 것이다. 결국 EPA의 포트폴리오는 대중들이 의사에 대한 신뢰를 가질 수 있게 한 의사의 총괄적/진실적/현시적 역량을 보여줄 것이다.

The authors hypothesise that it is likely to be simply a matter of time before all medical students, resi- dents and practising doctors use an electronic port- folio to attest competence. Supervisors, employers, colleagues, other health care professionals and maybe even the public could have access to docu- mentation translated into EPAs with STARs. The core EPAs of doctors and specialty EPAs could reflect license and eligibility for registration. In addition, elective EPAs can be added during or after training. Indeed, although discussions about maintenance of professional competence and certi-fication show dissatisfaction with current models49 51 , recertification could also be based on EPAs. There should be no shame in losing EPA certifica- tions if activities are simply never practised, and there should be value in adding certification for new EPAs, thus resulting in a portfolio of EPAs that reflects the full, true, current competence that the public can trust the doctor possesses.


의사 역량의 미래는 투명하고 역동적인 EPA의 포트폴리오로 정의될 것이며, 이것이 실제 역량을 진실되게 반영하는 것으로서 의료의 질과 안전을 담보할 것이다. 이것이 CBME를 CBMP(ractice)로 만들어줄 것이다.

A future in which a doctor’s competence is defined by a transparent, dynamic portfolio of EPAs, gen- uinely reflecting actual competence, may well serve the quality and safety of patient care. This may extend competency-based medical education into competency-based medical practice.



2 Talbot M. Monkey see, monkey do: a critique of the competency model in graduate medical education. (6):587–92. Med Educ 2004;


13 Hodges BD. A tea-steeping or i-Doc model for medical education?  (9 Suppl):S34–44. Acad Med 2010; 85















 2016 Jan;50(1):93-100. doi: 10.1111/medu.12839.

The promiseperilsproblems and progress of competency-based medical education.

Author information

  • 1Medical Council of Canada, Ottawa, Ontario, Canada.
  • 2University of Ottawa, Ottawa, Ontario, Canada.
  • 3Center for Research and Development of Education, University Medical Center, Utrecht, the Netherlands.

Abstract

CONTEXT:

Competency-based medical education (CBME) is being adopted wholeheartedly by organisations worldwide in the hope of meeting today's expectations for training a competent doctor. But are we, as medical educators, fulfilling this promise?

METHODS:

The authors explore, through a personal viewpoint, the problems identified with CBME and the progress made through the development of milestones and entrustable professional activities (EPAs).

RESULTS:

Proponents of CBME have strong reasons to keep developing and supporting this broad movement in medical education. Critics, however, have legitimate reservations. The authors observe that the recent increase in use of milestones and EPAs can strengthen the purpose of CBME and counter some of the concerns voiced, if properly implemented.

CONCLUSIONS:

The authors conclude with suggestions for the future and how using EPAs could lead us one step closer to the goals of not onlycompetency-based medical education but also competency-based medical practice.

© 2015 John Wiley & Sons Ltd.

PMID:
 
26695469
 
[PubMed - in process]


테크놀로지-강화 학습 평가하기: 포괄적 프레임워크 (Med Teach, 2015)

Evaluating technology-enhanced learning: A comprehensive framework

David A. Cook & Rachel H. Ellaway






비록 우리가 이 전에 의학교육에서의 평가를 지적한 바 있지만, TEL의 검토와 평가에 대한 지속적 과제를 관찰 한 바 있다. 이것에는 다음의 것들이 포함된다.

Although we have both previously tackled the challenges of evaluation in medical education (Ellaway 2006, 2010a; Cook 2010), we have observed ongoing challenges in the review and evaluation of technology-enhanced learning (TEL), both in practice and in the literature. These challenges include 

  • a lack of comprehensiveness or a clear focus on the function of the evaluation, 
  • unclear relationships between what happened and what was evaluated, and 
  • the absence of a sound conceptual grounding for the subject or the methods of the evaluation. 

의학교육에서 다른 연구자들도 가이드라은과 구체적 도구를 제시한 바 있다. 

Previous authors in medical education have proposed guide- lines (Atkins & O’halloran 1995; Glenn 1996; Olson & Shershneva 2004) and specific instruments (Knight et al. 2004; Alyusuf et al. 2013) for judging the quality of computer- based learning materials. Standards and benchmarks for online instruction have also been proposed for education generally (Merisotis & Phipps 2000; Oliver 2000; Moore 2005; Quality Matters Program2014).




포괄적 평가를 위한 일반적 모델

A general model for comprehensive evaluation


Fig 1은 요구(목적과 가이드 질문)부터 원칙(개념 모델이나 문제 접근법), 실천(구체적인 요소와 평가정보, 정보수집)까지

Figure 1 illustrates a progression from needs (purpose and guiding questions), through prin- ciples (conceptual model or approach to inquiry), to practice (specific elements of desired and evaluation information, to collect this information) in a comprehensive activities evaluation.






TEL 평가의 중요성

The importance of evaluating technology-enhanced learning


TEL은 교육활동을 지원하고 중개하기 위하여 디지털 테크놀로지 활용의 모든 부분을 커버하는 넓은 분야이다. TEL은 웹 기반 기술, 모바일 디바이스와 어플, 컴퓨터, 테블릿, 기타 디지털 기기 등을 모함하며 완전히 디지털-기반으로 이뤄지는 것과 기술을 하이브리드 한 것 등을 포함한다.

TEL is a broad field that covers all uses of digital technology to support and mediate educational activities (Goodyear & Retalis 2010). TEL can involve web-based technologies, mobile devices and apps, computers, tablets, and other digital devices, and may include activities that are entirely digitally-mediated or those that integrate technology into hybrid or blended activities.


의학교육에서 TEL의 평가에 있어서 포커스를 둘 필요가 있다.
Yet, we see a need to focus on the evaluation of TEL in medical education for the following reasons: 

(1) 의학교육에서 새로운 모델의 등장은 불안을 야기한다. 새로운 기술은 이 불안을 증폭시키며, 특히 성공적으로 통합되기 위해서는 설비 투자와 교수개발이 필요하다. TEL활동의 철저한 평가는 이해관계자들의 우려에 잘 반응하는 것이 된다.
(1) There is often great anxiety about new models of medical education. Using new technologies tends to amplify this anxiety, especially given the investments in infrastructure and faculty development required for their successful 962 integration. Responding to these stakeholder concerns necessitates rigorous evaluation of TEL activities. 

(2) TEL의 여러 측면 - 활용가능성, 접근가능성, 자료의 기술적 신뢰도, 학습환경 - 등은 종종 평가의 주류에서 간과되는 것이며, 반면 TEL에서는 더 중요한 역할을 한다.
(2) Aspects of TEL such as usability, accessibility, and technical reliability of materials and learning environment are often overlooked in mainstream evaluation practice but play a much more substantial role in TEL evaluation. 

(3) TEL에서 교사와 학습자의 상호작용은 그 양상이 다르며, 비공식적 평가와 피드백에 관해서 교수-학생 관계는 전통적 방법에서와 그 기회가 다르다. 이는 TEL은 더 종합적 평가 접근법이 필요함을 제시한다.
(3) Because interactions between teachers and learners in TEL tend to be different (i.e. mediated by technology), teacher–learner relationships do not yield the same opportunities for informal evaluation and feedback as do traditional modalities. This suggests that TEL requires a more comprehensive evaluation approach than other educational activities. 

(4) TEL은 더 많은 자료를 만들어낼 수 있다. 다양한 교육적 분석과 빅데이터 분석 기술은 그 절차와 개념 모두에 있어 평가에 대한 새로운 접근법을 제시한다.
(4) TEL can generate much more data (and different kinds of data) than traditional educational approaches. The devel- opment of educational analytics and ‘‘big data’’ analysis techniques affords new approaches to supporting evalu- ation, both procedurally and conceptually (Ellaway et al. 2014b). 

(5) TEL이론과 실천에 관한 최근의 담화는 교육기술에 대한 평가와 다양한 활용맥락에서의 평가를 구분한다. 구체적으로 무엇을(어떻게) 평가하는지에 대해서 더 정밀함이 필요하다. TEL을 
    • 기술로서 평가하는 것(신뢰할 수 있는지, 안전한지, 지역 환경과 잘 맞는지, 지속가능한지), 
    • 교육 내용으로서 평가하는 것(정확한지, 최신의 것인지, 효과적 학습의 원칙을 따르는지), 
    • 더 넓은 범위의 교육활동의 한 부분으로서 평가하는 것(전체적 목표와 성과를 달성하는지)가 구분되어야 한다.
(5) Emerging discourses in TEL theory and practice distin- guish between evaluating an educational technology in its own right and evaluating it in different contexts of use (Ellaway et al. 2014a). A greater precision in what exactly is being evaluated (and how) leads to different lines of inquiry. There are clear differences between evaluating TEL as a technology (is it reliable, safe, aligned to local environment, and sustainable?), evaluating its educational content (is it accurate, current, and in adherence to principles of effective learning?), and evaluating it as part of an overarching educational activity (did it achieve overall objectives and outcomes?) (Ellaway 2014).




니즈, 활용, 질문

Needs, uses, and guiding questions


Box 1 summarizes several of the evaluation frameworks noted below.



활용

Uses


평가의 목적은 총괄 혹은 형성 으로 구분될 수 있다.

The purposes of an evaluation can be broadly classified as summative or formative.


어떻게 교육 인터벤션이 성과에 영향을 주는지, 혹은 개별 참가자 수준/집단이나 교실 수준/기관 수준/전문직 집단 수준/사회적 수준 등 다양한 수준의 이해관계자에게 어떠한 경험으로 다가오는지를 고려해야 한다.

It is also helpful to consider how an educational interven- tion influences outcomes for, or is experienced by, stake- holders at the individual participant level, the group or class level, and the institutional, professional or societal level. 

    • 개별 학습자: 무엇을 경험하고 배웠나? At the level of the individual learner, cognitive events might be the primary consideration: what did they experience or learn? 
    • 집단: 학습자 간, 교수자 간, 기술 간, 교육자료 간 어떠한 일이 벌어졌나? 전체로서 어떠했는가?
      At the level of the group, observable activity and aggregate performance might be the foci (e.g. what went on amongst the learners and between learners, instructors, technologies, and other materials; and how well did they perform as a whole?). 
    • 기관, 사회: 그 인터벤션을 가져온 맥락과 교실 바깥의 사람들 혹은 시스템에 미친 영향
      At the level of the institution or society we might ask about the context that gave rise to the intervention, and the value or impact on people and systems outside the classroom (e.g. the contribution to the mission of a school or to the goals of a national initiative).


질문

Questions


질문은..

    • 묘사(무엇이 벌어졌는가?), 
    • 정당화(제대로 작동했는가? 비용은 얼마나 들었는가?), 
    • 명확화(어떻게, 왜 작동했는가, 어떻게 개선 가능한가) 로 구분가능하다. 명확화 질문은 더 나아가서 
      • 설명을 요구하는 것(어떻게 왜 작동했으며, 어떤 경험을 제공했는가)와 
      • 실험을 제안하는 것(어떻게 개선할 수 있는가?)로 구분 가능하다. 
    • 규범적 질문(무엇이 일어났어야 했는가?)도 할 수 있으며, 이를 '판단'이라고 부를 수도 있다. 

이는 평가 계획시 핵심 질문에 대한 5-영역 모델을 제시한다. (묘사, 정당화, 명확화-설명, 명확화-실험, 판단)


We can classify questions in terms of description (‘‘What was done?’’), justification (‘‘Did it work and at what cost?’’), and clarification (‘‘How or why did it work, and how can it be improved?’’) (Cook et al. 2008).Clarification questions can be further classified as those that seek explanation (‘‘How or why did it work, or how was it experienced?’’) and those that suggest experimentation (‘‘How can it be improved?’’). We can also ask normative questions such as ‘‘What should have happened?’’, which we might label ‘‘judgment’’. This suggests a five-domain model defining key questions for planning an evaluation (i.e. description, justification, clarification-explanation, clarification-experimentation, and judgment).



평가의 일반 모델
General principles of evaluation



목적-지향적 접근: 얼마나 기존 목적이 달성되었는가에 초점을 둠. 과목 목표와 관련 자료에는 등록자 수, 이수자 수, 학습목표, 총 수입과 지출 등이 포함될 수 있다. 목적-지향적 접근은 상대적으로 도입이 직관적이나, 좋은 쪽이든 그렇지 않은 쪽이든 기대하지 못한 발전을 잡아내는데는 실패할 수 있다.

Objectives-oriented approaches focus on how well a priori objectives were met. Course objectives and corresponding data might include enrollment and completion numbers, learning outcomes (knowledge, skills, attitudes), and net income and expenditures. The objectives- oriented approach is relatively straightforward in implementation, but tends to be poorly suited to capturing unexpected developments (good or bad) in the course. 


참가자-지향적 접근: 일반적으로 질적(종종 양적) 접근을 활용하며, 다양한 출처로부터 자료를 수집하고, 귀납적으로 무엇이 벌어졌는가를 넘어서, 왜 그 일이 벌어졌고, 어떤 경험을 가져왔는지를 밝혀준다. 이 접근법은 기대하지 못한 사건을 찾아주며, 큰 프로그램의 복잡성과 로컬-콘텍스트를 잡아내는데 충분한 유연성을 가지고 있다.

Participant-oriented approaches typically use qualitative, and occasionally quantitative, methods to collect data from multiple sources and inductively explore not only what happened, but why it happened and how it was experienced. This approach is responsive to unexpected events, and flexible enough to capture the complexity of large programs and local contexts.


절차-지향적 평가: 과목이나 프로그램의 전체 생활주기를 고려하여, 아이디어의 유래, 프로그램의 도입과 시행, 향후 재반복의 질에 관한 판단과 요약 등

Process-oriented evaluations consider the entire lifecycle of a course or program, from the inception of the idea, through implementation and delivery, to summative and decisions judgments about quality about future iterations.


접근법을 선택하는 것은 기대하는 활용과 관련 질문에 따라 이뤄지며, 혼합적 활용이 유용하다.

The choice of approach depends in large part upon the anticipated  uses and corresponding guiding questions.Combining approaches is often useful




CIPP모델은 절차와 목적 지향을 강조하는 흔한 평가 접근법으로 참가자-지향적 접근도 필요에 따라 포함가능하다. 

The Context-Inputs-Processes-Products (CIPP) model (Stufflebeam 2003) is a common evaluation approach that emphasizes the process (and objectives) orientation, and also accommodates a participant orientation if desired. 

  • Context addresses the needs, assets, and opportunities that prompted the change and the desired goals. 
  • Inputs consider alternative approaches, feasibility, and cost-effectiveness. 
  • Processes focus on the actual development and implementation. 
  • Products focus on both short- and long-term outcomes as well as the sustainability and transportability (i.e. practicability of adoption elsewhere) of the intervention. 

많은 경우, 전부는 아니더라도, 평가에 양적 자료가 들어간다. 이러한 성과는 커크패트릭 모델을 활용 가능하다.

Many (but not all) educational evaluations explore quantitative outcomes. Such outcomes can be classified using the hierarchy developed by Kirkpatrick (1996). 


그러나 Yardley and Dornan 는 "각 레벨에서 고려하는 수혜대상자가 다르다"라고 하였으며, 다른 사람들(교사 등)을 모두 배제하는 것 등은 커크패트릭 모델만 활용하는 것이 여러 맥락과 적용에 부적절함을 지적했다.

However, Yardley and Dornan (2012) observe that ‘‘different levels concern different beneficiaries’’ and omit others altogether (such as teachers),suggesting that Kirkpatrick-type outcomes alone will be inadequate for many contexts and applications. 



원칙부터 실천까지: 자료 수집을 위한 구체적 활동

Principles into practice: Specific activities to collect evaluation data


평가를 위해서는 정보가 필요하다. 분석할/해석할/행동을 할 근거가 될 정보가 필요하다. 실용적 관점에서 평가자는 이런것을 물어볼 수 있다 "나의 가이딩 질문에 대답하기 위해서 어떠한 정보가 수집되어야 하는가?" 에 이어서 "이 정보를 어떻게 수집해야 하는가?

Evaluation requires information – information that can be analyzed, interpreted,and acted upon. In a practical sense, then, the evaluator might ask: ‘‘What information should be collected to help answer my guiding questions?’’ (i.e. description, justification, or clarifica-tion), followed by, ‘‘How can I collect this information?’’



1. 요구분석과 환경 분석

1. Conduct needs analysis and environmental scan



형성 단계에서 요구분석은 변화의 필요성을 명확하게 해주고, (보건의료 시스템의 다른 요소와 비교해서) 교육적 변화가 옳은 해결책인지, 그리고 이 변화를 위해서 자원을 사용할 수 있는지를 확인하는 것 등에 도움이 된다.

A needs analysis in the formative stages helps to clearly identify the need for change,determine whether educational change (as con-trasted with adjustments to other components inthe healthcare system) is the correct solution, andconfirm that resources can be marshaled to imple-ment this change (Cook & Dupras 2004). 


변화의 필요에는 다음과 같은 것이 있다.

The need for change can be determined by considering 

    • 사회/조직에서 필요로하는 니즈와 능력 organizational/societal needs and capacities required (e.g. specific knowledge and skills by a school or hospital, or emerging regulatory requirements, political trends, and eco-nomic policies), 
    • 직업적 요구 occupational needs (the roles and specific capabilities required to meet new or existing organizational needs), and 
    • 개인적 요구 individual needs (the target group’s present performance, work environ-ment, and ability to participate in training) (Kernet al. 1998; Training and Executive Development Group 2014). 


이런 니즈는 원래 있었던 혹은 계획된 교육적 경험과 자원(공식 교육과정, 임상 경험, 온라인 지식 출처, 동료, 교수, 활용가능한 테크놀로지) 과 비교되어야 한다.

These needs should be contrasted with educational experiences and resources already exist-ing or planned, including formal courses, clinical experiences, online knowledge resources, peers, and faculty; and with available technology resources(infrastructure and human expertise). 


궁극적으로 변화의 필요성은 교육과정이나 교육방법의 갭(gap)을 확인하여 정당화될 수 있다.

Ultimately, a need for change can be justified by identifying a gap in the 

      • curriculum (i.e. inadequate depth or breadth in the specific clinical topic) or agap in the 
      • instructional approach (i.e. failure of existing instructional strategies to optimally facilitate learning or reach desired learners). 

2. 절차, 결정, 최종 결과물의 기록

2. Document processes, decisions, and final product


로컬 니즈와 문화에 유기적 반응과 함께 과목의 개발은 다음의 것들을 혼합하게 된다.

The development of a course typically blends

  • formal instructional design models (such as 4CID [van Merrie¨nboer et al. 2002],
  • conversational exchange [Laurillard 2001], or
  • significant learning [Fink 2003]) and
  • instructional design processes (such as the Analyze, Design, Develop, Implement, and Evaluate (ADDIE) framework (Morrison et al. 2010)) with an organic response to local needs and culture. 


종합적 평가는 이 과정에서 각각의 활동과 결정을 잘 기록해야 한다.

A comprehensive evaluation will carefully document each activity and decision in this process. 

 

TEL과정을 개발하고 도입하는데 필요한 진짜 비용은 잘 잡히지 않는데, 그래도 잡아야 한다. 

The real cost of developing and implement-ing TEL courses is rarely captured, but should be;


구체적인 절차와 중요한 단계들을 기록하여야 하며, 구체적인 목적과 목표의 개발, 구체적인 교수법의 선택, 구체적인 테크놀로지의 선택과 배치등을 포함한다.

Specific processes or milestones that might be documented include the development of specific goals and objectives, the selection of specific instruc-tional approaches, and the selection and configur-ation of specific technologies. 


3. 활용가능성을 검사하라

3. Test usability


활용가능성은 모든 교육활동에서 중요하며, TEL에서도 마찬가지다.

Usability is likely important particularly in all educational activities, but it is relevant to TEL given its inherent artifacts.

 

dependence on technological mediating

 

활용가능성에 대한 평가는 테크놀로지가 의도한 대로 작동할 때 사용자가 기대한 활동을 얼마나 쉽게 수행할 수 있는가와 더불어 기능과 내용상의 오류를 찾아내는 것을 포함한다. Nielson은 다섯 개의 핵심 요소를 지적했다.

Usability evaluation considers both the ease with which the user can perform desired activities when the technology functions as intended, and also identifies errors in function or content (Krug 2000;Nielsen 2012). Nielsen identified five key elements ofusability (2012):

  • 학습능력: 사용자가 테크놀로지를 처음으로 활용하면서 마주하는 기본적 과제를 얼마나 쉽게 달성할 수 있는가
    Learn ability refers to how easily users can accomplish basic tasks the first time they encounter the technology.
  • 효율성: 어느 단계를 일단 배웠을 때 얼마나 과제를 잘 수행할 수 있는가.
    Efficiency looks at how well users can perform tasks once they have learned the steps.
  • 기억가능성: 한동안 그 테크놀로지 사용하지 않은 다음에 다시 활용할 때 얼마나 능숙하게 활용할 수 있는가
    Memorability refers to how easily learnerscan reestablish proficiency when they return to thetechnology after a period of not using it.
  • 에러: 에러의 수, 심각성, 복구 난이도
    Errors, interms of their number, severity, and ease of recoveryfrom, are a fourth key element.
  • 만족(사용자):
    Satisfaction (of users)constitutes the final element.

활용가능성에 대한 검사는 Mayer’s multimedia principles 등과 같은 근거에 기반한 교육 테크놀로지의 설계 등도 고려해야 한다.

Usability testing mayalso consider conformance to evidence-based stand-ards for the design of instructional technologies, suchas Mayer’s multimedia principles (Mayer 2005). 



그러나 무결점의 과정을 만들려는 열망은 오히려 생산성을 악화시킬 수 있다. 많은 경우에 개발자는 TEL 인터벤션을 가급적 빨리 내놓고(minimal viable product), 신중하게, 그리고 조심스럽게 결과를 평가하고, 빠르게 근거-기반 개선을 하는게 나을 것이다.

However, aspiring to create flawless course may be counterproductive (Cook2014). In many instances, a developer gains much from releasing a TEL intervention relatively early (the‘‘minimal viable product’’), carefully and deliberately evaluating the result, and then quickly makingevidence-based improvements (Ries 2011). 



4. 도입과 최종 결과물의 핵심 이벤트를 기록하라

4. Document key events during implementation and final product 


문서화는 도입 단계에서도 이어지며 이제는 실제로 버어진 일이 무엇인지에 대한 객관적 설명에 초점을 둔다.

Documentation continues into implementation, now focusing on objective accounts of what actually happens. 


비록 이 문서화 활동이 관찰된 사건을 객관으로 묘사하는 것이지만(다음 단계에서 참여자의 주관적 경험과 비교됨), 문서화를 누가 하는가가 중요한 과정이다. 다양한 사람들은 서로 다른 정보를 가지고 있으며, 서로 다른 것을 받아들이고, 같은 것을 다르게 해석한다. 교육팀의 멤버가 이 기능을 할 수 있으나 어떤 경우에는(distance learning) 학습자가 핵심 사건의 보고자 역할을 할 수 있다.

Although this Documentation activity is about objectively observed events (as compared with thesubjective experiences of participants described inthe next section), those doing part the of documentingconstitute an important the process.Different people may have access to different infor-mation, notice different things, or interpret the samething in different ways. A member of the instructor team would usually perform this function, but insome cases (e.g. distance learning) learners may need to be enlisted as reporters of key events. 



5. 참가자 경험과 만족을 평가하라

5. Assess participant experience and satisfaction


이 활동은 참가자의 TEL 활동에 대한 주관적 경험에 초점을 둔다. 또한 경험에 대하여 이들이 어떤 가치와 의미를 두는지, 그리고 그들이 사용한 자료나 도구의 질에 대한 인식은 어떠한지 등이 포함된다.

This activity focuses on the subjective experiences of participants in a TEL activity, the value and meaning they attribute to those experiences, and their per-ception of the quality of the materials or tools they used. 


6. 학습성과를 평가하라

6. Assess learning outcomes


교육 개입의 효율성과 효과성 평가에서 가장 중요한 요소이다. 교육훈련사건과 관찰된 결과의 관계는 2, 3, 4 레벨로 갈수록 더 어려워진다.

These arguably constitute the most critical element in determining the efficacy and effectiveness of an educational intervention. The link between the training event and the observed out- come becomes more difficult to establish as one progresses from level 2 to 3 to 4 (Cook & West 2013),

 

레벨 2~4의 성과를 타당화하는 것은 다른 연구에서 많이 다뤚ㅆ다.

Since the development and validation of level 2–4 outcomes have been extensively explored in other sources (Kirkpatrick 1996; Case & Swanson 2001; Cook & Beckman 2006; Kogan et al. 2009; Schuwirth & van der Vleuten 2011; Pangaro & ten Cate 2013), we will not discuss these further.


7. 비용, 재활용가능성, 지속가능성을 추정하라

7. Estimate cost, reusability, and sustainability


가장 무시되어왔던, 그러나 가장 중요하다고도 볼 수 있는 평가의 측면은 TEL 과정을 개발, 도입, 유지하기 위해 재정적, 인적, 시설적, 기타 자원 등에 대한 것이다. 각 요소를 찾아내고 그 가치를 매김으로써 교육활동의 진짜 비용을 평가할 때, Levin’s ‘‘ingredients’’ and (Levin 2001) the ‘‘total cost of ownership’’ (TCO) model (Ellaway 2010b) 등은 다음을 포함시킴

One of the most neglected (Zendejas et al. 2013), yet arguably one of the most important (Sandars 2010), aspects of evaluation focuses on the financial, per- sonnel, facilities, and other resource costs required to develop, implement, and maintain a TEL course 2002). (Clune 2002; Hummel-Rossi & Ashdown model Approaches such as Levin’s ‘‘ingredients’’ and (Levin 2001) the ‘‘total cost of ownership’’ (TCO) model (Ellaway 2010b) estimate the true cost of an educational activity by identifying and valuing each component, including costs related to

  • equip- ment and materials,
  • licensing,
  • personnel,
  • facilities and infrastructure,
  • 학습자가 부담한 비용 learner expenses (such as transporta- tion or meals),
  • 상실한 기회 lost opportunities (e.g. lost clinical revenue), and
  • 중지된 기존 활동이나 한 medium에서 다른 것으로 옮긴 것 stopping an existing activity or moving it from one medium to another (for instance when the hosting technology changes).



실제 적용

Practical applications


참가자 인식 평가를 위한 새로운 도구

New instruments to assess participant perceptions


To facilitate practical application of this model, we present three generic instruments for capturing the perceptions and experiences of learners and instructors following their partici- pation in a TEL course: the Evaluation of Technology- Perceptions Enhanced Learning Materials for Learner (ETELM-LP) and for Instructor Perceptions (ETELM-IP), and a shortened version of the ETELM-LP for use with very brief courses (ETELM-LP-S)see online supplemental materials.


귀납적, 연역적으로 개발함

We developed the ETELM instruments both deductively and inductively.


질문 중 일부만이 테크놀로지 이슈에 직접적으로 관계된다. 이는 테크놀로지가 TEL에 중요한 요소이지만, 평가는 전체 교육활동에 초점을 둬야 한다는 것.

We note that only some of the questions directly refer to technology issues. This reflects that while technology is an essential mediating factor in TEL, evaluation should focus on the whole educational activity.


간단한 TEL 평가 계획

A simple TEL evaluation plan


우리는 교육자들이 대부분 익숙하지 않음을 안다. 평가 '레시피'를 사용할 수 있다.

We acknowledge that most educators are not trained as evaluators, and may have difficulty planning a comprehensive evaluation (Oliver 2000). One potential solution to this challenge is the use of evaluation ‘‘recipes’’ (Harvey 1998) – brief outlines of evaluation plans designed to address a given audience and need.

 

The Evaluation Cookbook

The Evaluation Cookbook (available at http://www.icbl.hw.ac.uk/ltdi/cookbook/) lists additional evaluation recipes.


Fig 1, Table 1, Table 2 등 활용

In considering the applicability of this work, we note that our general model (Figure 1) and many of the specific activities information elements (Table 1) and evaluation (Table 2) are not specific to the TEL context. Moreover, the ubiquity of TEL in contemporary medical education suggests that in many instances TEL evaluation is becoming synonym- ous with educational evaluation in general. As such, we believe this work has application beyond TEL.






 


 


Cook DA, West CP. 2013. Reconsidering the focus on ‘‘outcomes research’’ in medical education: A cautionary note. Acad Med 88: 162–167.


Schuwirth LW, van der Vleuten CP. 2011. General overview of the theories used in assessment: AMEE Guide No. 57. Med Teach 33:783–797. 


Yardley S, Dornan T. 2012. Kirkpatrick’s levels and education ‘evidence’.Med Educ 46:97–106. 


Pangaro L, ten Cate O. 2013. Frameworks for learner assessment inmedicine: AMEE Guide No. 78. Med Teach 35:e1197–e1210. 





 





 2015;37(10):961-70. doi: 10.3109/0142159X.2015.1009024. Epub 2015 Sep 4.

Evaluating technology-enhanced learning: A comprehensive framework.

Author information

  • 1a Mayo Clinic College of Medicine , USA .
  • 2b Northern Ontario School of Medicine , Canada.

Abstract

BACKGROUND:

The absence of a standard, comprehensive approach to evaluating technology-enhanced learning (TEL) limits the utility of individual evaluations, and impedes the integration and synthesis of results across studies.

PURPOSE:

To outline a comprehensive framework for approaching TEL evaluation in medical education, and to develop instruments for measuring the perceptions of TEL learners and instructors.

METHODS AND RESULTS:

Using both theoretical constructs of inquiry in education and a synthesis of existing models and instruments, we outlined a general model for evaluation that links utility, principles, and practices. From this we derived a framework for TEL evaluation that identifies seven data collection activities: needs analysis; documentation of processes, decisions, and final product; usability testing; observation of implementation; assessment of participant experience; assessment of learning outcomes; and evaluation of cost, reusability, and sustainability. We then used existing quality standards and approaches to develop instruments for assessing the experiences of learners and instructors using TEL.

CONCLUSIONS:

No single evaluation is likely to collect all of this information, nor would any single audience likely find all information elements equally useful. However, consistent use of a common evaluation framework across different courses and institutions would avoid duplication of effort and allow cross-course comparisons.

PMID:
 
25782599
 
[PubMed - in process]


교육과정-평가 학생위원회: 학생중심 접근법으로 교육과정 변화를 촉진할 수 있을까? (Med Teach, 2015)

The Student Curriculum Review Team: How we catalyze curricular changes through a student-centered approach

KATIE W. HSIH, MARK S. ISCOE, JOSHUA R. LUPTON, TYLER E. MAINS, SURESH K. NAYAR, MEGAN S. ORLANDO, AARON S. PARZUCHOWSKI, MARK F. SABBAGH, JOHN C. SCHULZ, KEVIN SHENDEROV, DAREN J. SIMKIN, SHARIF VAKILI, JUDITH B. VICK, TIM XU, OPHELIA YIN & HARRY R. GOLDBERG*

The Johns Hopkins University School of Medicine, USA




의학교육을 개선하라는 요구는 새로운 것이 아니다. 사실, 의학교육의 자극제도 아니었다. 1910년부터 1993년까지의 교육과정에 대한 보고서를 보면, 늘어나는 의학지식을 습득하고 공공의 이익을 위해 헌신하며, 평생학습 기술을 익히고...이와 같이 학습목표는 놀라울 정도로 달라진 것이 없다. 

Calls for reform in medical education are nothing new. Nor, in fact, is the impetus behind them: a review of such reports from 1910 to 1993 revealed a strikingly consistent set of stated objectives, including tackling the growing body of medical knowledge, better serving the public interest and fostering lifelong learning skills, all of which seem familiar today (Christakis 1995).


LCME는 모든 의과대학은 학생의 피드백을 포함하여 교육과정 검토 기구를 보유할 것을 의무화하고 있다. 과목 평가를 위한 설문이 종종 이 요건을 충족시키기는 하나, 그것 만으로는 구체적인 피드백을 실제 적용가능한 행동계획으로 옮기게 하는 데에는 실패하고 있다.

Accordingly, the Liaison Committee on Medical Education mandates that all medical schools have an internal review process that involves student feedback. While course evaluation questionnaires often fulfill this requirement (Abrahams & Friedman 1996), they alone may fail to gather specific feedback that can be translated effectively into actionable plans (Amrein-Beardsley & Haladyna 2011).


의과대학은 이러한 전통적 방식의 단점을 인식하고, 학생의 인풋을 확대하는 접근법을 보충하였다. 

Medical schools have noticed the shortcomings of these traditional methods and modified them with supplemental approaches to solicit greater student input. 

  • 300명 중 50명 대상 포커스그룹
    For example, at Wayne State University, focus groups have been added to the school’s curricular evaluation process. The school invites 50 randomly selected students from a class of approximately 300 to participate in a focus group moderated by student representatives, who then produce a formal report that is presented to course directors (Wilson et al. 2013). 
  • PBL 그룹에서 학생대표로 교수가 중재하는 포커스그룹에 참가할 학생을 선정함
    At the University of Sydney, problem-based learning groups appoint student representatives to attend faculty-moderated focus groups; faculty a report summarizing issues raised and responses is then published internally and included in the final course review (Hendry et al. 2001). 
  • 각 쿼터마다 학생 포커스그룹을 시행하고, 교육과정 평가 담당교수가 그 결과를 받아서 반영함.
    Finally, during their period of curriculum reform, the Stanford School of Medicine convened student focus groups midway through each quarter, and curriculum evaluation staff presented focus group findings to course directors while the courses being reviewed were still in progress (Fetterman et al. 2010).

이들 포커스그룹이 의미있고, 건설적인 인풋을 넣긴 하지만, 학생의 일부만 참여하고, 교수의 영향에서 자유로울 수 없다는 한계가 있다.

While these focus groups have been found to elicit meaningful and constructive input from medical students,they invite participation from only a fraction of the student body and may be susceptible to influence by faculty and staff.



우리가 한 것

What we did


SCRT (Student Curriculum Review Team)

The SCRT at the Johns Hopkins University School of Medicine aims to foster a learner-centered model of curriculum review.


SCRT의 목적

Goals of SCRT


(1) 모든 학생을 능동적이고 쌍방향의 과목 개선 프로세스에 참여시킨다. 과목 평가 설문지는 수동적이고 일방적이었다.

(2) 능동적 피드백을 수합함에 있어서 교수의 영향이 없도록 하며, 학생 간 생산적 토론이 이뤄지게 놔둔다.

(3) 학생의 피드백이 공개됨은 물론, 교육과정 관리자 교수들과 토론을 하게 하며, 교수와 학생이 모두 각자의 관점을 이야기할 수 있게 한다.

(4) 향후 교육과정의 개선과 학생 및 교수에게 투명성을 담보하기 위하여 모든 SCRT절차를 문서화한다.

(1) Engage the entire student body in an active, two-way course improvement process, as opposed to course questionnaires, which are more passive and one-sided. 

(2) Gather this active feedback in a manner that is not influenced by faculty and allows for productive discussion among students. 

(3) Ensure that student body feedback is not only presented but also discussed with course directors, with students and faculty both having the chance to express their viewpoints.

(4) Maintain documentation of the entire SCRT process for future curricular improvement and transparency of the process for students and faculty.



스텝0: SCRT 참여 자격을 개방한다 (목표 1). SCRT는 1학년 혹은 2학년의 어떤 시점에서든 자발적으로 팀에 합류한 학생들로 구성되어 있다. 이는 모든 학생들로 하여금 다양한 기간에 걸쳐서 - 한 시간부터 수십 시간까지 - 자신의 가능한 시간에 따라 참여할 수 있게 한다. 이렇게 투자하는 시간에 대한 별도의 보상은 없다. 각 해의 시작시에 SCRT 멤버는 co-chairs를 지정한다. 


Step zero: establish open SCRT membership (goal 1). SCRT consists of medical students who voluntarily join the team at any point during their first or second years. This allows for the entire student body to participate for varying lengths of time, fromone hour to dozens of hours over the year, depending on their availability. Members are not compensated for their time. At the beginning of each academic year, the members of SCRT designate co-chairs who delegate responsibilities and ensure completion of all necessary tasks for each course review, a process outlined below.



스텝1: 과목 평가 자료를 모으고 검토한다. 각각의 전-임상 과목에서 학생들은 익명으로 과목평가를 마친다. 교육과정관리실은 이 평가 자료를 SCRT 멤버에게 전달한다. 그 과목을 검토하도록 임명된 멤버는 평가결과를 읽고 지속적으로 나타나는 긍정적인 주제 혹은 향상될 수 있는 부분을 찾아낸다. 이 주제는 Town Hall Meeting에서 학생들에게 모두 공개된다.

Step one: gather and review course evaluation data. After each pre-clinical course, students anonymously complete the School of Medicine’s course evaluation. The Curriculum Office then sends these completed evaluations to the SCRT members. Team members who have elected to review that course read the evaluations and identify recurrent positive themes and opportunities for improvement. These themes are presented to the student body at a Town Hall Meeting.


스텝2: THM을 통해서 해결책을 만들고, 온라인으로 설문을 한다(목표 1, 목표 2). SCRT의 기본은 광범위한 학생들을 참여시켜서 건설적 아이디어를 이끌어내고 그것을 지지해줄 양적 자료를 만드는 것이다. 이를 위해 THM은 점심시간에 이뤄지며, 매 6~8주마다 시행되고, 2~3개 과목에 대해 논의한다. 과목 검토는 회상비뚤림(recall bias)를 줄이기 위해서 가급적 과목 종료와 가까운 시기에 한다. 동시에 학생들의 부담을 줄이기 위해서 몇 개 과목을 모아서 한꺼번에 한다. 각 학생은 THM에 올 것이 적극 권장되고, 진솔한 토론을 위해서 교수는 참여하지 않는다. 모든 학생이 참여하는 것을 가능하게 함으로써, 학생들은 그들이 받을 교육의 형태를 만들어나갈 하나의 책임감을 부여받게 된다. 일반적으로 2/3의 학생이 참여한다.


THM의 초반에 SCRT 멤버들은 과목 평가결과자료를 발표하고, 그로부터 도출된 주제를 열거한다. 또한 이전의 SCRT 검토 결과 달라진 점을 언급해줌으로써, SCRT에 기여하는 시간이 교육과정과 학생에게 긍정적 영향을 미치고 있음을 보여준다. 이후 SCRT 멤버들의 지도에 따라서 학생들은 소그룹 토론을 하는데, 이 때 SCRT 멤버는 토론을 이끌고, 과목의 특정한 개선을 위한 가능한 방법을 제시한다. 이 SCRT멤버들은 THM동안 소그룹을 순환하면서 모든 학생들이 각 과목에 대한 토론에 참여하도록 한다. 이 시간이 마칠 때 SCRT멤버가 도출된 결론을 요약발표한다.


학생들의 대표성을 확보하고, 많은 학생이 참여하게 하기 위해서 여기서 제안된 해결책들이 전 학생을 대상으로 한 간단한 온라인 투표에 붙여진다. 이 설문은 대부분 '예' '아니오'질문으로 이뤄진 객관식 문항이며 보통 1/2~2/3의 학생이 참여한다. 이 단계에서 수집된 자료들은 SCRT가 교수들에게 제출하는 예비보고서에 담길 제안사항을 결정하고, 그 근거를 입증하는데 쓰인다. 이 각 단계들은 엄청나게 빈틈없이 진행되고, 이것을 거치며 학생들의 의견이 정제되고 실제 행동으로 옮겨질 수 있는 형태로 명확해진다.


Step two: generate solutions through Town Hall Meeting and online survey (goals 1 and 2). A fundamental element of the SCRT process is its engagement with the broader student body in a manner that elicits constructive ideas and generates quantitative data to support them. To accomplish this, a Town Hall Meeting is held during the lunch hour every 6–8 weeks during the academic year to discuss 2–3 courses. Every effort is made to review courses close to their completion to reduce recall bias. This is balanced with the effort to group courses together to decrease student burden. Every student is welcome to attend the Town Hall Meetings, and faculty are not present, allowing for candid discussion among students. By allowing everyone to attend, students are empowered with the one- responsibility for shaping their education. Typically, third to two-thirds of the class attends each Town Hall Meeting.


At the beginning of the Town Hall Meeting, SCRT members present a summary of course evaluation data and list the evaluation-derived themes. They also note the changes that resulted from the previous year’s SCRT review (Table 1), assuring students that their time and contribution to the SCRT process are having a positive impact on the curriculum and allowing students to put the current status of the course in context. The student body is then organized into smaller discussion groups led by SCRT members who are tasked with leading discussions on potential solutions to address a specific course’s opportunities for improvement. These designated SCRT members rotate from group to group throughout the Town Hall Meeting so that all students in attendance discuss each course. At the conclusion of the hour, the designated SCRT members summarize the solutions generated.



In order to increase student representation and quantify support, the proposed solutions are presented to the entire class in a short online survey. The survey is composed of a series of multiple choice, mostly simple ‘‘yes’’ or ‘‘no’’ questions, and generally one-half to two-thirds of the class participates in the online survey. The data collected from this stage of the evaluation process helps determine and substan- tiate the suggestions SCRT will include in its preliminary report to faculty. With each step of the process, an increasingly thorough, refined and actionable understanding of student opinion becomes evident.



스텝3: 과목 책임교수 미팅과 Student Assessment and Program Evaluation (SAPE) 보고서를 통해서 변경사항들이 도입된다. (목표 3, 4). 앞의 두 단계에서 수집된 양적, 질적 데이터를 활용하여 SCRT 멤버들은 예비보고서를 통해 학생들의 피드백에서 나온 긍정적 주제들과 가능한 해결책을 제시한다. 이 예비보고서는 토론의 근간이 되는 자료로 사용되고, SCRT 멤버들이 과목 책임교수, 교육과정학장, SCRT 담당교수를 만난다. 이 미팅은 SCRT의 독특한 점인데, 교수들이 학생과 함께 학생의 아이디어에 대해서 토론하고, 기존의 전형적인 과목평가와 포커스 그룹에서는 불가능했던 생산적인 대화를 가능하게 한다. 추가적으로, SCRT 멤버들은 개인의 의견이 아니라 전체 학생들의 관점을 공유하기 때문에, 교수에게 반발당할 우려에서 보다 자유로울 수 있다. SCRT 담당교수는 학생 대표측과 과목 교수간의 다리 역할을 하며, 긴장이 생겼을 때 중제할 수 있다. 


토론이 끝나면, SCRT는 미팅에서 나온 결과를 포함하여 예비 보고서를 업데이트하고, 해결되지 않은 문제들이나 과목 책임교수가 고려하겠다고 동의한 주요 아이템도 추가한다. 보고서와 미팅 노트는 미팅 참석자들 사이에서 회람한 후 전체 학생들에게 내부 웹사이트를 통해 공개된다. 최종 SCRT 보고서는 SAPE 위원회에 전달되며, 이 위원회는 각 과목을 1~2년마다 평가하는 기존의 공식 위원회이다. SAPE위원회는 교육부학장이 chair로 있는 교육정책과 교육과정위원회에 대한 권고사항 준비때 SCRT보고서 내용을 포함한다. 


이 과정은 SCRT를 두 가지 측면에서 효과적으로 만든다. (1)다음 해 해당 과목이 시작되기 전에 바꿀 수 있는 부분이 적용되도록 과목 책임교수와의 직접 미팅 한다 (2)SAPE의 최종 권고안을 통해서 간접적으로, 더 넓은 범위의 행정적 수단에 동원된다.


Step three: implement changes via course director meeting and Student Assessment and Program Evaluation report (goals 3 and 4). Using quantitative and qualitative data collected from the first two steps, SCRT members create a preliminary report that outlines positive themes from student feedback and potential solutions that target the identified opportunities for improvement. Using this preliminary report as a launchpad for discussion, SCRT members meet with the course directors, the Dean of the Curriculum and the SCRT faculty advisor. This meeting is a unique aspect of SCRT that allows faculty to discuss ideas with students, enabling a productive dialogue that cannot be accomplished through standard course evaluations and focus groups. In addition, because SCRT members are sharing the viewpoints of their class rather than individual opinions, they are able to speak honestly without fearing repercussion from faculty. The SCRT faculty advisor, who serves as a crucial bridge between student representatives and course faculty, can also moderate any tension that may arise. 


Following the discussion, SCRT updates the preliminary report with notes from the meeting, including unresolved issues and action items that course directors agreed to consider. The report and notes are circulated among  meeting attendees and then are made available to all students on an internal website. The final SCRT report is sent to the Student Assessment and Program Evaluation (SAPE) Committee, a pre-existing faculty-led committee that formally evaluates each course every 1–2 years. The SAPE committee includes the SCRT report in its preparation for recommendations to the Educational Policy and Curriculum Committee, chaired by the Vice Dean of Education. This process is outlined in Figure 1. In addition, an example showing the sequence of implementing a change to a course is provided in Figure 2.


This process allows SCRT to effect change in two ways: (1) directly through a meeting with course directors who can implement changes before the next iteration of the course and (2) indirectly through SAPE’s final recommendations, which may include broader administrative measures.



교과목 개선: SCRT의 최종 목표는 교육과정 전체에 걸쳐 학생 기반의 변화를 이끌어내는 것이다. Table 1은 실제로 이 과정을 통해서 바뀐 것들의 리스트다.


Course improvements. SCRT’s ultimate goal is to advocate for student-supported changes throughout the curriculum to improve student learning and satisfaction. Table 1 includes a representative list of changes made by course directors following the 2012–2013 SCRT reviews.



이후 방향 

Next steps


SCRT의 결과를 보면, 이 과정이 매우 잘 받아들여지고 있음이 확인된다. 도입된 이후 - 비록 선택사항이었음에도 - 모든 전임상 과목의 책임교수가 SCRT대표단을 만났다.

A review of SCRT suggests that the program is well-received: since its inception, directors from 100% of preclinical courses have met with SCRT representatives, even though it is optional to do so.


과목 책임교수에게 간단한 설문을 해보았다. 75%가 매우 도움이 되었다, 25%는 어느 정도 도움이 되었다. 라고 하였음. '중립' '별 도움이 안 됨' '매우 도움이 안 됨'에 응답한 사람은 없었다. 모든 과목 책임교수가 SCRT 가 지속되어야 한다고 응답했다.

We administered a brief survey to course directors inthe Fall of 2013 in an initial attempt to quantify the usefulness of SCRT. We asked ‘‘How helpful did you find the SCRT process as an addition to the unedited student course evaluations?’’ and 75% (n¼15) indicated that it was ‘‘very helpful’’, while the remaining 25% (n¼5) responded ‘‘some- what helpful’’; no course directors answered ‘‘neutral’’, ‘‘somewhat unhelpful’’ or ‘‘very unhelpful’’. All of the course directors responded that the SCRT process should be continued.


학생 역시 SCRT의 효과에 대해서 44%가 매우 도움이 된다, 31%가 어느 정도 도움이 된다, 21%가 중립, 4%가 별 도움이 안 됨에 응답했고, 매우 도움이 안 됨에 응답한 학생은 없었다.

Students were also surveyed in November 2013 on the impact of SCRT. When asked ‘‘How helpful have youfound the SCRT process?’’ 23 of 52 students (44%) responded‘‘very helpful’’, 16 (31%) said ‘‘somewhat helpful’’, 11 (21%)said ‘‘neutral’’, 2 (4%) said ‘‘somewhat unhelpful’’ and nostudents selected ‘‘very unhelpful’’. 




Christakis NA. 1995. The similarity and frequency of proposals to reformUSmedical education. Constant concerns. JAMA 274(9):706–711. 


Schumacher DJ, Englander R, Carraccio C. 2013. Developing the masterlearner: Applying learning theory to the learner, the teacher, and thelearning environment. Acad Med 88(11):1635–1645. Wilson MW, Morreale MK, Wainea E, Balon R. 2013. The focus group:A method for curricular review. Acad Psychiatry 37(4):281–282. 
















 2015 Nov;37(11):1008-12. doi: 10.3109/0142159X.2014.990877. Epub 2014 Dec 23.

The Student Curriculum Review Team: How we catalyze curricular changes through a student-centeredapproach.

Author information

  • 1a The Johns Hopkins University School of Medicine , USA.

Abstract

Student feedback is a valuable asset in curriculum evaluation and improvement, but many institutions have faced challenges implementing it in a meaningful way. In this article, we report the rationale, process and impact of the Student Curriculum Review Team (SCRT), a student-led and faculty-supported organization at the Johns Hopkins University School of Medicine. SCRT's evaluation of each pre-clinical course is composed of a comprehensive three-step process: a review of course evaluation data, a Town Hall Meeting and online survey to generate and assess potential solutions, and a thoughtful discussion with course directors. Over the past two years, SCRT has demonstrated the strength of its approach by playing a substantial role in improving medical education, as reported by students and faculty. Furthermore, SCRT's uniquely student-centered, collaborative model has strengthened relationships between students and faculty and is one that could be readily adapted to other medical schools or academic institutions.

PMID:
 
25532595
 
[PubMed - in process]


+ Recent posts