CBME 구현: 어떤 교육과정 구조와 과정의 변화가 필요한가?(Med Teach, 2017)

Implementing competency-based medical education: What changes in curricular structure and processes are needed?

Markku T. Nousiainena, Kelly J. Caverzagieb, Peter C. Fergusona, and Jason R. Frankc,d; on behalf of the

ICBME Collaborators

도입

Introduction

역량 기반 의료 교육(CBME)을 구현하기 위한 과제는 구현의 세 가지 주요 측면에 해당됩니다. 

• 새로운 커리큘럼과 평가 방법을 제공하기 위해 필요한 구조 변경 

• 교육 및 평가 과정 수정 

• CBME 패러다임이 수용될 수 있는 교육 문화 변화 지원

challenges to implement a competency-based medical education (CBME) pertain to three key aspects of implementation: 

• organizing the structural changes that will be necessary to deliver new curricula and methods of assessment; 

• modifying the processes of teaching and evaluation; and 

• helping to change the culture of education so that the CBME paradigm gains acceptance.

교육의 연속성

Educational continuity

학부, 졸업후, 지속적 교육이 통합되지 못하고 고립된 채로 이루어지고 있는 의학교육의 현재 구조는 개선이 필요하다. CBME는 학부 단계에서 시작하여 레지던트, 펠로우, 독립 진료까지 원활하게 확장되어야 합니다.

the current structure of medical education, whereby undergraduate, postgraduate, and continuing medical education function in silos without integrated processes, should be revised. CBME should begin at the undergraduate level and extend seamlessly into residency, fellowship, and independent practice.

교육 연속성의 중요성이 받아들여진다면, 교육 이해 관계자들과 정책 입안자들은 모든 수준의 의료 교육에서 CBME 원칙을 지원하는 정책을 수립하기 위해 협력할 필요가 있을 것이다. CBME의 원칙은 모든 단계의 의학교육에 적용되어야 한다.(Lieberman et al. 2011; Carracio & Englander 2013)에 적용된다.

If the importance of educational continuity is accepted,education stakeholders and policy-makers will need to collaborate to establish policies that support the principles of CBME at all levels of medical education. The principles of CBME apply to all levels of medical education (Lieberman et al. 2011; Carraccio & Englander 2013).

이는 의학교육의 효율성으로 이어질 것이다. 새로운 훈련 단계(예: 레지던트)에 들어가는 훈련생은 더 이상 이전 단계에서 숙달했어야 하는 핵심 역량에 대해 재교육을 받을 필요가 없어야 한다.

This should lead to efficiencies in medical education: trainees entering a new stage of training (for example, residency) will no longer have to be reeducated in the core competencies that should have been mastered at the previous level

Trainee 발달은 수행능력에 관한 정보가 "forward feeding"되도록 촉진하고 장려됨으로써, 이어지는 단계의 모든 교육이 지속적인 개선에 집중될 수 있도록 하는 시스템 하에서 이뤄질 때 가장 이상적이다.

Trainee development is best served by a system that promotes and encourages the “forward feeding” of information about performance so that teaching in any subsequent rotation can be focused on continuous improvement. 

모든 이해당사자들 간의 대화는 (그들이 어떤 단계의 훈련에 참여하고 있든) 명확하고 열려 있어야 한다. 성공과 실수에 관해 특정 센터 또는 프로그램에서 얻어진 교훈은 다른 센터와 공유되어야 하고, 이로서 학습 곡선이 반복되지 않아도 됩니다.

The dialog between all stakeholders should be clear and open, no matter what level of training they are engaged in. Lessons learned in one center or program with regard to successes and mistakes should be shared with others so that the learning curve does not have to be repeated.

의학교육에서 시간활용 방식의 변화

Altering how time is used in medical education

CBME가 가장 효과적이려면, 현재와 같이 '블록'을 의학 교육을 구성하는 단위이자 성취를 판단하는 대리지표로 사용하는 접근방식은 변화되어야 한다. 그 대신 시간은 궁극적으로 효율적 학습의 자원이 되도록 융통성 있게 사용되어야 할 것이며, 시간은 학습 곡선을 반영하며, 궁극적으로는 효율성을 높일 것이다. 최근 연구에 따르면 time-block 접근방식에서 벗어나면 trainee 개발이 개선될 수 있다고 한다(Thistlethwaite et al. 2013; Hirsh et al. 2014; Woloschuk et al.).

For CBME to be most effective, the current approach of using blocks of time to organize medical education and stand as a proxy for achievement will need to be modified to a more flexible use of time as a resource for learning; this will better reflect the learning curve of trainees and, ultimately, increase efficiency. Recent publications have suggested that moving away from the time-block approach can improve trainee development (Thistlethwaite et al. 2013; Hirsh et al. 2014; Woloschuk et al. 2014).

의사, 환자, 교수진, 훈련생 및 기타 의료팀 구성원 간의 연속성을 높일 수 있는 종단적 로테이션은 효과적인 전문성 개발을 촉진하고, 환자 치료의 질을 향상시키고, 코칭과 피드백을 서포트하는데 중요한 "관계"를 강화하는 것으로 입증되었다. 종단적 로테이션에서는 지속적인 observation이 가능하기 때문에, 교수진은 모든 영역에 걸쳐 훈련생 역량에 대한 훨씬 더 나은 정보를 얻을 수 있으며, 따라서 독립적으로 의료 서비스를 할 수 있으려면 훈련생에게 얼마나 많은 도움이 필요한지 더 잘 파악할 수 있다.

Longitudinal rotations that permit greater continuity between physicians and patients, faculty and trainees, and trainees and other members of the health care team have been shown to enhance the relationships that are critical to foster effective professional development, improve the quality of patient care, and support coaching and feedback (Hirsh et al. 2014; Woloschuk et al. 2014). With sustained observation on longitudinal rotations, faculty can gain a much better idea of trainee competence across all domains, and thus be better equipped to determine how much entrustment they can give to a trainee to provide health care independently.

그렇다고 해서 이것이 훈련을 위해 더 많은 시간이 필요하다는 뜻은 아니다. 대신, 이러한 중요한 "연속성 관계"가 향상되어, trainee의 학습곡선에서 적절한 시점에 entrustment decision이 가능해질 것이다(Hirsh et alukos 2014; Hirsh et al., 2014).

This does not necessarily mean that more time will be needed for training. Rather, the time available will need to be organized such that these critical “continuity relationships” are enhanced, allowing for entrustment decisions to be made at appropriate times in the trainee’s learning curve (Hirsh et al. 2014; Woloschuk et al. 2014).

다만, 이러한 모델에서 발생하는 중요한 실무적 문제는 해결되어야 할 것이다. 시간 제약이 없는 모델은 또한 trainee에 의한 의료 서비스 제공과 관련하여 잠재적인 문제를 제시한다.

significant practical issues arising from such a model would have to be resolved. Time-free models also present potential challenges with respect to the provision of health care services by trainees.

어떤 모델을 선택하든, 훈련생들이 역량 달성을 위해 노력할 때 프로그램에서 유연성을 제공하는 것이 중요할 것이다. 훈련생은 능력이 된다면 학습 모듈을 빠르게 통과할 수 있어야 한다. 일정과 인력 배치 문제(하이브리드 모델에서 볼 수 있음)로 인해 연수생들이 한 모듈에서 다음 모듈로 이동하는 것이 불가능하다면, 교수진은 기본 역량 또는 이정표를 달성하는 훈련생에게 더 풍부한 경험을 줄 수 있어야 합니다. 또한 핵심 역량에 있어 무능하다고 판명된 사람들을 위한 훈련에 필요한 추가 시간과 자원이 제공되어야 한다.

No matter what model is chosen, it will be important that trainees are afforded flexibility in their program as they work toward the achievement of competence. Trainees must be able to move through learning modules quickly if they are able to do so. If scheduling and staffing issues (as would be seen in a hybrid model) prevent trainees from moving from one module to the next, faculty should be able to enrich the experiences of those who attain basic competencies or milestones sooner than expected. Time and resources must also be provided to remediate training for those found to be dyscompetent or incompetent in any of the core competencies.

인적자원개발 

CBME and human health resources planning

교육 커리큘럼과 training position의 수는 예상 수요를 충족하도록 조정되어야 한다

training curricula and numbers of training positions can be adapted to meet anticipated demands.

이러한 변화를 주도할 때, "보건 인텔리전스 유닛"을 구현하는 것이 유익할 수 있다. 이는 다양한 출처에서 나온 건강 데이터를 검토하고, 학부 및 대학원 의학 커리큘럼에 정보를 제공해야 하는 중요한 건강 문제 및 추세를 식별하도록 해준다. 이러한 장치는 (넓은 국가 및 국제적 추세 내에서) 해당 지역사회의 건강 상태와 의료 요구를 지속적으로 프로파일링함으로써 개별 지역사회의 현재 및 새롭게 부상하는 요구에 대응할 수 있다(Woloschuk et al 2014).

In leading this change, it may be beneficial to implement “health intelligence units”–organizations with a mandate to review health data from a variety of sources and to identify important health problems and trends that should inform both undergraduate and postgraduate medical curricula (Frank 2005). Such units would be responsive to the current and emerging needs of individual communities – within the larger context of national and international trends – by continually profiling the health status and health care needs of the community (Woloschuk et al. 2014).

의사의 역량, 시스템의 역량

Competent doctors, competent systems

유능한 의사들을 양성하기 위해서는, 그 의사들이 책임감 있는 방식으로 사회의 요구를 충족시키는 유능한 시스템에서 일할 수 있어야 한다. (Miller et al. 2010; Carracio & Englander 2013) 이상적으로, trainee가 의사가 되는 모든 측면에서 모범 사례를 보여주는 것을 목표로 한다면, system이 그러한 모범 사례를 사용해야 한다. 이는 현재 어려운 과제입니다. 환자 관리의 모든 측면에서 모범 사례를 달성하고자 하는 목표를 가지고 의료 시스템을 개조하는 것은 시간과 노력이 많이 드는 대규모 작업입니다.

it must be recognized that if competent doctors are to be produced they must work in competent systems that satisfy the needs of society in a responsible and accountable way (Miller et al. 2010; Carraccio & Englander 2013). Ideally, trainees that aim toward exhibiting best practices in all aspects of being a physician should work in a health care system that employs these best practices. This is currently a challenge: remodeling the health care system with the goal of achieving best practices in all aspects of patient care is a large undertaking that will take time and much effort.

정보통신기술

CMBE and information technology

인터넷 기반 기술은 교육과 평가의 모든 측면에서 사용되어야 한다(Ward et al. 2001; Ruiz et al. 2006).

Internet-based technologies should be used in all aspects of teaching and assessment (Ward et al. 2001; Ruiz et al. 2006).

이러닝 기술을 통해 학습은 

• adaptive해질 수 있고(즉, 학습자와 그 상황에 따라 개인화) 

• collaborative해질 수 있으며(학습자의 타인과의 상호작용 강화)

• 혼합된 학습 방식을 보완하는 방식으로 선생님의 역할을 변화시킬 수 있습니다.

E-learning technologies allow learning to be adaptive (that is, to be individualized to learners and their contexts) and collaborative (enhancing learners’ interactions with others), and transform the role of the teacher in a way that complements a blended-learning strategy (Ruiz et al. 2006).

게다가, 인터넷 기반 기술은 더 효율적인 평가를 하게 해준다. 훈련생들에게 웹 기반 평가 양식을 사용할 수 있는 권한을 부여하면 평가와 피드백이 빨라질 수 있다.

In addition, Internet-based technologies should make 2001). assessment much more efficient (Ward et al. Empowering trainees to use web-based assessment forms could speed up assessment and feedback.

또한 웹 기반 서버를 사용하여 평가 내용을 수집하면 교육자와 해당 관리자가 언제든지 현재 및 이전 교육자 성과 척도에 액세스할 수 있어 교육자의 교육 계획에서 지속적인 개선을 가능하게 할 수 있습니다.

In addition, using web-based servers to collate assessments would have the benefit of enabling trainees and their supervisors to access current and previous trainee performance measures at any time, enabling ongoing refinements in the education plan of a trainee to be made.

교수개발

Faculty development

지역 수준의 훈련 센터와 국가 수준의 인증 기관들은 이러한 관련 기술을 개발할 수 있도록 의사들을 지원할 필요가 있을 것이다. 적절한 종합적이고 형성적인 피드백의 제공은 CBME의 필수 원칙이기 때문에, 이를 제공할 것으로 예상되는 사람들은 적절한 교육을 받아야 한다(Bok et al. 2013). 만약 이 과정에 관련된 선생님들이 그것을 받아들이고 지지하지 않는다면, CBME는 살아남지 못할 것이다. (Dath & Iobst 2010)

Training centers at the local level and accreditation bodies at the national level will need to assist attending physicians in developing skills in this regard. As the provision of appropriate summative and formative feedback is an essential tenet of CBME, those who are expected to provide this must be trained appropriately (Bok et al. 2013). If the teachers involved in this process do not accept and support it, CBME will not survive (Dath & Iobst 2010).

적절한 지원이 있어야 하는 것은 당연하지만, 의사들이 피드백, 기술, 지식의 유능한 제공자가 되기 위해 그들의 삶과 그것의 실천에 쏟는 추가적 시간과 노력에 대해 어떻게 보상받을 수 있는지에 대해 진지하게 생각해야 한다. 이러한 기술 개발에 소요되는 시간은 지속적인 전문성 개발 시간의 누적에 대한 크레딧으로 사용될 수 있지만, 재정적 보상 또한 고려될 수 있으며, 특히 교수와 평가에 대한 새로운 접근법이 시행되는 초기부터 고려해야 한다. CBME를 구현한 경험이 있는 사람들은 이러한 전환에 관련된 모든 것이 가능한 효율적으로 작동하도록 다른 사람들과 경험을 공유하는 것이 중요할 것이다.

Even with appropriate support, serious thought should be given to how physicians might be compensated for the extra time and effort that they will take out of their lives and practices to become competent providers of feedback, skills, and knowledge. Although the time spent on such skill development can be used as credits toward the accumulation of continuing professional development hours, financial compensation may also be considered, especially at the outset when novel approaches to teaching and assessment are being implemented. It will be important for those with previous experience in implementing CBME to share their experiences with others so that all involved in this transition are working as efficiently as possible.

근무지에서 학습자의 권리와 책임 균형 맞추기

Balancing the rights and responsibilities of learners in the workplace

연수생과 그 감독자들은 여전히 연수생들이 서비스 제공자로서의 필수적인 역할을 하고 있음을 염두에 두어야 한다(Kesselheim & Cassel 2013).

trainees and their supervisors must still be mindful of the essential role trainees have as service providers (Kesselheim & Cassell 2013).

훈련생과 서비스제공자의 역할 사이에 내재된 충돌이 없어야 한다. 오히려 환자 진료는 레지던트가 학습하는 중요한 전문적 활동으로 간주해야 하며, 어떤 형태의 학습도 존재하지 않는 한 환자 접촉도 없어야 한다(Imrie et al. 2014). 그럼에도 불구하고, 그들이 직장에서 그들의 권리와 책임의 균형을 맞출 수 있다는 것을 계속해서 보여주는 것은 훈련생들에게 달려있을 것이다. Trainee는 학습과 독립적 진료를 준비해가 위해서는 [책임감]과 [점진적 authority]가 필요하다는 것을 깨달아야 한다. 궁극적으로, 이것이 안전하고 효율적인 환자 치료와 부합하는 방식으로 이루어질 수 있도록 하는 것은 훈련 프로그램에 달려있을 것이다.

There should be no inherent conflict between the roles of trainee and care provider. Rather, patient care should be viewed as an important professional activity through which residents learn, and no patient contact should be without some form of learning (Imrie et al. 2014). Nevertheless, it will be up to trainees to continue to show that they can balance their rights and responsibilities in the workplace. They must recognize that responsibility and graded authority are needed for learning and preparation for practice. Ultimately, it will be up to training programs to ensure that this is done in a manner consistent with safe and efficient patient care.

변화의 비용

The costs of change

이러한 변화를 이행하는 데 드는 비용은 얼마입니까? 변화를 가져오는 데 필요한 재정 및 인적 자원이 상당할 것이라는 데는 의심의 여지가 없다. CBME 개혁의 효율적인 구현을 위해 두 가지 일이 발생해야 합니다. 

• 첫째, 이미 CBME를 도입한 센터에서 배운 교훈을 보편적으로 공유하여 강점이 누적되고, 실수가 두 번 발생하지 않도록 해야 한다. 

• 둘째, 인증 기관, 전문 보드 및 CBME의 비용을 책임지고 있는 특정 교육 센터의 리더는 CBME의 변신을 위한 교육 프로그램을 지원해야 합니다.

What will be the cost of implementing such changes? There is no doubt that the financial and human resources needed to bring about change will be significant. For the efficient implementation of CBME reforms, two things must occur. 

• First, lessons learned from centers that have already led the way with CBME should be shared universally so that strengths are built upon and mistakes are not made twice. 

• Second, accreditation bodies, specialty boards, and leaders of specific training centers responsible for leading the charge for CBME must assist training programs in their transformation.

교육 커리큘럼과 평가 도구는 개별 교육 센터가 자체 도구와 양식을 작성할 필요가 없도록 보편적으로 사용하도록 설계되어야 한다. 특정 교육 센터의 jurisdiction에 따라 변화에 대한 재정적 지원을 얻기가 어려울 수 있다. 그럼에도 불구하고, 모든 수준의 리더들은 헬스케어를 더 발전시키고 효율적으로 이끌 수 있는 훈련 과정에 대한 투자를 정당화하기 위해 단호하고 전략적으로 노력해야 할 것이다. 리더는 [이러한 새로운 패러다임에서 가르치고 관찰하고 피드백을 주는 노력에 대해] 임상 교사들이 적절한 인정recognition을 받도록 해야 한다. 이러한 인정recognition이 없이는 CBME에 대한 모든 노력은 실패할 가능성이 높습니다.

Training curricula and assessment tools should be designed for universal use so that individual training centers do not have to create their own tools and forms. Financial support for change may be difficult to obtain, depending on the jurisdiction of a specific training center; nevertheless, leaders at all levels will have to lobby emphatically and strategically to justify an investment in a training process that should lead to better and more efficient health care. Leaders must ensure that appropriate recognition is given to clinical teachers for their efforts in teaching, observing, and giving feedback in this new paradigm (one could argue that their contribution should be seen as equal to the value of doing research). Without this recognition, all efforts toward CBME have a high chance of failing.

리더는 무엇을 해야 하는가?

What will it take for the leaders of change to be successful?

연구에 따르면 커리큘럼 변경 달성에 있어 가장 중요한 요소는 적절한 리더십이다(Bland et al. 2000). 

• 성공적인 변화의 리더는 안정적이고, 적극적이지만 유연해야 하며, 변화 모멘텀을 유지하기 위해 사람들을 동원할 수 있어야 하며, 명확하고, 네트워크에 전달하고, 커리큘럼 변화에 대한 공통의 비전을 촉진할 수 있어야 한다(Bland et al. 

• 또한 변화의 리더들은 그들의 노력이 적절한 맥락에서 이루어지도록 해야 한다. 

• 리더는 변화가 해당 기관 및 교직원의 미션과 목적과 부합하고, 조직 내의 특정 그룹들이 효과적으로 의사소통하도록 보장해야 한다. 

• 리더들은 적절한 자원을 획득할 수 있어야 하며, 변화의 시작을 위한 자금을 제공할 뿐만 아니라 초기 지원이 끝나면 자금이 계속되는지 확인할 수 있어야 합니다. 

• 이를 위해서는 외부 기관과의 강한 관계가 귀중한 재정적 지원을 확보하는 데 도움이 될 수 있기 때문에 리더들은 특정 조직 내부와 외부에서 효과적으로 일할 수 있어야 합니다. 

• 리더는 혼자만 일해서는 안 됩니다. 조직의 모든 레벨에 위치한 CBME지지자들이 CBME에 익숙하지 않은 다른 이들과 변화에 대한 열정을 공유하는 것이 중요합니다.

Research has shown that the most important factor in achieving curricular change is appropriate leadership (Bland et al. 2000). 

• Successful leaders of change must be stable, assertive yet flexible, able to mobilize others to maintain the change momentum, and able to communicate clearly, to network, and to promote a shared vision for curricular change (Bland et al. 2000). 

• In addition, leaders of change must ensure that their efforts occur in the appropriate context. 

• They must ensure that changes are compatible with the mission and goals of the institution and faculty in question and that specific groups within their organization communicate effectively. 

• Leaders must be able to obtain appropriate resources, not only to provide funding for the initiation of change but also to see that funding continues once the initial support runs out. 

• In order to do this, leaders must be able to work effectively within and outside their specific organizations, since the strong relationships with external bodies can help to secure valuable financial support. 

• Leaders should not work alone; it will be important for champions of CBME located at all levels of an organization to share their enthusiasm for change among others who are not familiar with CBME.

결론

Conclusions

• 모든 수준의 의료 교육에서 교육 연속성의 비전을 촉진한다. 

• 교육자가 학습 모듈을 자신의 속도로 이동할 수 있도록 시간이 사용되는 방식 변경 

• 의사가 사회적 요구를 충족할 수 있도록 보장하기 위해 인적 자원 계획 자원을 사용한다. 

• 새롭게 훈련된 competent 의사가 competent 치료 시스템에서 작업할 수 있도록 보장. 

• 교육자의 교육과 평가를 강화하기 위한 정보 기술 사용 

• CBME 패러다임에서 훈련자를 가르치고 평가할 의사가 적절히 훈련되고 보상되도록 보장한다. 

• 훈련생과 그 관리자가 직장에서 학습자의 권리와 책임을 완전히 이해하도록 보장. 

• 새로운 이니셔티브의 리더들이, 국내외적으로, 변경에 관련된 모든 이해당사자들을 적절히 지원할 수 있도록 보장

• promoting a vision of educational continuity at all levels of medical education; 

• altering the way time is used in medical education so that trainees are able to move through learning modules at their own speed; 

• using human health resources planning resources to help ensure that physicians are able to meet societal needs; 

• ensuring that newly health trained competent physicians work in competent care systems; 

• using information technology to enhance the teaching and assessment of trainees; 

• ensuring that physicians currently in practice who will be teaching and assessing trainees in the CBME paradigm are appropriately trained and compensated; 

• ensuring that trainees and their supervisors fully understand the rights and responsibilities of the learner in the workplace; 

• ensuring that the leaders of the new initiative, both locally and nationally, appropriately support all stakeholders involved the change

Caverzagie KJ, Nousiainen MT, Ferguson PC, ten Cate O, Ross S, Harris KA, Busari J, Bould MD, Bouchard J, Iobst WF, et al.; ICBME Collaborators. 2017. Overarching challenges to the implementation of competency-based medical education. Med Teach. 39:588–593.

Ferguson PC, Caverzagie KJ, Nousiainen MT, Snell L; ICBME Collaborators. 2017. Changing the culture of medical training: an important step toward the implementation of competency-based medical education. Med Teach. 39:599–602.

Implementing competency-based medical education: What changes in curricular structure and processes are needed?

CBME의 공통 용어를 향하여(Med Teach, 2017)

Toward a shared language for competency-based medical education

Robert Englandera, Jason R. Frankb,c, Carol Carracciod, Jonathan Sherbinoe, Shelley Rossf , and Linda Snellb,g; on behalf of the ICBME Collaborators

도입

Introduction

공유 언어는 적응적 변화를 이끄는 데 중요하다. 사람들이 같은 의미로 같은 단어를 사용하기 시작하면, (심지어 이 문제에 대한 중요한 차이가 있을 때조차) 더 효과적으로 의사소통하고, 오해를 최소화하고, 같은 페이지에 있다는 느낌을 갖게 된다.(Heifetz et al., 2009).

Shared language is important in leading adaptive change. When people begin to use the same words with the same meaning, they communicate more effectively, minimize misunderstandings, and gain the sense of being on the same page, even while grappling with significant differences on the issues (Heifetz et al. 2009, p. 9).

적응형 도전adaptive challenge의 특징. 이러한 유형의 도전은 다음과 같은 방식으로 기술적 도전technical challenge과 구별된다. 

the hallmarks of an adaptive challenge. This type of challenge is distinct from a technical challenge in the following ways: 

• (1) 경로가 명확하지 않다. 

• (2) 목적지는 교육 및 훈련 프로그램에 대한 신분 변경을 요구한다. 

• (3) 여정은 교육자, 임상 교수, 훈련생 모두에게 새로운 역량과 실험이 필요하다. 

• (4) 과정은 불안정하고 종종 상실감을 발생시킨다. 

• (5) 과정은 기술적인 작업보다 해결하는 데 더 오래 걸립니다(Heifetz et al. 2009). 

• (1) the path is not clear; 

• (2) the destination requires a change of identity for education and training programs; 

• (3) the journey requires new competencies and experimentation for educators, clinical faculty, and trainees alike; 

• (4) the process generates disequilibrium and often a sense of loss; and 

• (5) the process takes longer to resolve than technical work (Heifetz et al. 2009). 

이러한 종류의 근본적인 변화는 관련 용어의 공유 언어에 의해 크게 촉진된다.

This kind of fundamental change is greatly facilitated by a shared language of related terms.

CBME 언어에 대한 모호성은 새로운 패러다임의 채택에 대한 중요한 장벽으로 강조되었다. (Fernandez et al. 2012; 부모 외 2013; Whitehead et al. 2015; Hautz).

Ambiguity around the language of CBME has been highlighted as an important barrier to the adoption of the new paradigm (Fernandez et al. 2012; Parent et al. 2013; Whitehead et al. 2013; Hautz et al. 2015).

마일스톤 

Defining milestones

이정표의 개념은 처음에는 대학원 의학 교육 위원회(ACGME)의 이정표 프로젝트의 결과로 주목을 받았다. 이 프로젝트는 각 전문 분야별로 global unsupervised practice(ACGME 2013)의 달성에 필요한 역량 개발을 대학원 교육 과정 중에 명확히 규정해야 했습니다.

The concept of milestones has gained significant attention, initially as a result of the Milestones Project of the Accreditation Council for Graduate Medical Education (ACGME). This project required each of the specialties to define the “milestones” that during the course of graduate training marked advancement toward the competencies required for achievement of the global unsupervised practice (ACGME 2013).

그러나 유럽 의학 교육에서 이정표의 개념은 미국이나 캐나다의 현재 담론에서 보다 다양하고 "광범위한" 용어로 자주 설명된다.

However, in European medical education the notion of a milestone is frequently described in different and “larger” terms than in current discourse in the United States or Canada.

이정표: 개인의 능력을 발달 연속체를 따라 정의되고 관찰 가능한 마커.

Milestone: A defined, observable marker of an individual’s ability along a developmental continuum.

이 정의는 [관찰가능하고 평가가능한 전문지식의 단계적 진보]에 대한 명시적 진술로서 교육 이정표의 개념을 설명한다.

This definition articulates the concept of an educational milestone as an explicit statement of the stepwise progression of expertise that can be observed and assessed.

EPA

Defining EPAs

EPA의 정의에 중요한 특징은:

Critical to the definition of EPAs are the following features, An EPA:

•   주어진 맥락에서 필수적인 전문적인 업무의 일부이다.

•   적절한 지식, 기술, 태도를 필요로 한다.

•   전문직업적 노동에 대한 recognized output을 내게 한다.

  is part of essential professional work in a given context

  requires adequate knowledge, skills, and attitude

  leads to recognized output of professional labor

또한 ten Cate와 Schelle은 EPAs의 이상적이지만 필수적이지는 않은 특징들을 기술했다. EPA는..

In addition, ten Cate and Scheele delineated features of EPAs that are ideal but not required. These include that EPAs should:

• 자격을 갖춘 사람에게만 국한되어야 한다.

• 비의존적으로 실행 가능하능해야 한다

• 특정 time frame 내에 실행 가능해야 한다

• 과정 및 결과에서 관측 가능하고 측정 가능(완전하거나 잘 수행되지 않음)해야 한다.

• 하나 이상의 역량을 반영해야 한다(아래 "EPA, 역량 및 이정표 간의 관계" 참조).

   be confined to qualified personnel

   be independently executable

   be executable within a time frame

   be observable and measurable in its process and outcome (done well or not done well)

   reflect one or more competencies (see “The relationship between EPAs, competencies and milestones,” below)

의학교육의 맥락에서 다음과 같은 합의된 정의:

the following consensus definition in the context of medical training:

EPA(독점적 전문 활동): 충분한 역량이 갖춰지면, 특정 의료 환경에서 직접적인 감독 없이 수행할 수 있는 한 분야(전문직)의 필수 업무입니다.

Entrustable professional activity (EPA): An essential task of a discipline (profession, that an specialty, or subspecialty) individual can be trusted to perform without direct supervision in a given health care context, once sufficient competence has been demonstrated.

그러면, 전공, 전문과, 보건의료전문직은 관련된 업무 범위를 반영하는 일련의 EPA를 갖게 될 것이다.

then, that a discipline, specialty, or health care profession would have a set of EPAs that reflects the relevant scope of practice.

EPA 개념의 결과로 "Nested EPA"와 "공인 책임 진술(STAR)"이라는 두 가지 추가 용어가 문헌에 등장하고 있다.

Two additional terms are emerging in the literature as a result of the EPA concept: “nested EPA” and “statement of awarded responsibility (STAR).”

내포된 EPA: 광범위한 EPA에 필요한 지식, 기술 및 태도의 subset에 대한 숙련도가 필요한 작업. 중첩된 작업의 성능에 대한 기대는 전체 작업에 관여하는 것보다 개발 경로의 초기 단계에서 발생합니다. 

내포된 EPA에는 "상위" EPA의 요소가 있다. 즉, 다음과 같다. 

• 지식, 기술 및 태도의 통합이 필요하다. 

• 지정된 기간 내에 독립적으로 실행 가능합니다. 

• 관측 가능하고 측정 가능한 결과물로 이어집니다. 

내포된 EPA의 예로는 "제왕절개의 적응증을 이해하고 수행할 수 있다"가 있으며, 이것의 "상위" EPA는 "복잡한 출산을 관리할 수 있다"가 된다. (van Loon et al. 2014).

Nested EPA: A task that requires proficiency in a subset of the knowledge, skills, and attitudes required for the broader EPA. The expectation for entrustment with the performance of a nested task occurs at an earlier stage of the developmental trajectory than entrustment with the entire task. 

A nested EPA possesses the elements of its “parent” EPA; that is, 

• it requires the integration of knowledge, skills, and attitudes; 

• it is by independently executable within a given time frame qualified personnel; and 

• it leads to observable and measurable outputs. 

An example of a nested EPA might be “understanding the indications for and performing a caesarian section,” which is a nested in the “parent” EPA “managing complicated childbirth”. (van Loon et al. 2014).

책임 부여명세서(STAR): EPA에 대한 기여granted가 허가되는 특정 지점에 대한 공식 인정. STAR는 관리자가 해당 EPA에 대한 모든 중요 활동을 수행할 수 있는 교육자의 능력에 대해 시간이 지남에 따라 신중한 결정을 내릴 것을 요구한다. STAR의 구체적이고 형식적인 의미는 (지금까지 trainee 성과 문서의 근간이 되어온) 어떤 평가와도 다르다. 즉, STAR는 학습자가 감독 없이 해당 EPA를 수행할 수 있음을 보여준다. 결과적으로, 그것은 assessment 또는 evaluation보다는 인증과 유사하다.

Statement of awarded responsibility (STAR): A formal recognition of the specific point at which entrustment for an EPA is granted. STARs require supervisors to make deliberate decisions over time about their trainees’ competence to perform all critical activities for that EPA. The specific and formal implications of a STAR differ from those of any evaluations that have been the backbone of trainee performance documentation to date, in that a STAR allows the learner to perform the corresponding EPA without supervision. As a result, it bears a closer resemblance to a certification than an assessment or evaluation.

다른 떠오르는 용어들

Other emerging terms in CBME

EPA, 역량 및 이정표 간의 관계

The relationship between EPAs, competencies, and milestones

EPA는 일의 단위인 반면, 역량은 개인의 능력이다. EPA를 특징짓는 지표 중 하나는 일반적으로 여러 역량 영역에 걸쳐 다양한 역량의 통합이 필요하다는 것이다.

EPAs are units of work, whereas competencies are the abilities of individuals. One of the defining markers of an EPA is that it requires the integration of multiple competencies, usually across domains of competence.

저자들은 EPA와 역량 사이의 구별이 항상 명확한 것은 아니라는 것을 인정한다. 이러한 구분은 EPA의 "크기"에 관한 의견의 불일치로 인해 더 복잡해졌다. 문헌에는 "작은" EPA로는 lumbar puncture 수행을, "큰" EPA로는 외래환자 환경에서 일반적인 만성 질환을 관리를 언급하고 있다(10 Cate 2013).

The authors recognize that the distinctions between EPAs and competencies are not always sharp. The distinction is further muddied by the lack of consensus regarding the “sizing” of EPAs. The literature has included EPAs as “small” as performing a lumbar puncture and as “large” as managing a common chronic disease in the outpatient setting (ten Cate 2013).

그럼에도 불구하고, EPA와 역량은 서로를 보완한다. 이 두가지가 모였을 때 의사에 대한 보다 전체적인 관점을 제공한다.

Nevertheless, EPAs and competencies complement each other. Together, they provide a more holistic view of a physician

역량만으로는, 의사의 역할이 실세계에서는 감독자와 학습자에게 의미가 없을 정도로 추상적이거나 너무 원자화된 형태로 이루어질 수 있다. 또한, 역량에만 기반한 평가 시스템은 graded responsibilities에 관해 다소 인위적인 렌즈를 제공한다. 

Applied alone, constructs of competency can result in definitions of the physician’s role that are either so abstract or so atomized as to become meaningless to supervisors and learners in the real-world contexts of care delivery. Further,assessment systems based solely on competencies can provide a somewhat artificial lens through which to view graded responsibilities. 

EPA는 [의료 전문가의 실제 작업의 범위]를 높은 안면타당도로 outlining함으로써 역량 모델의 한계를 균형잡아준다. 그것들은 학습자에게 점점 더 많은 책임을 부여하는 과정과 업무 기반 평가에 유용한 구조를 제공한다. 

EPAs balance this limitation of the competency model by outlining, with high face validity, the spectrum of the health professional’s actual work. They provide a useful structure for work-based assessment and for the progression by which increasing responsibility is given to the learner. 

그러나 역량 프레임워크는 여전히 필수적이다. Entrustment에 필요한 역량의 매핑이 없다면, 평가자는 EPA의 준비 상태를 구성하는 것이 무엇인가에 대한 shared mental model을 갖지 못할 것이다. 게다가, 의사에게 필요한 역량의 전체 범위를 설명해주는 역량 프레임워크가 없다면, 그 결과는 의사에 대한 uneven하거나 지나치게 기술적인 관점일 것이다. 즉, 의사에 대해 작업 또는 산출물에 대해서만 정의할 뿐, 전문성이나 advocacy와 같은 21세기 의사에게 필요한 특정 능력들을 잠재적으로 무시한다.

However, a competency framework remains essential; without a mapping of the competencies required for entrustment, assessors will lack a shared mental model of what constitutes readiness for an EPA. Moreover, without a competency framework to describe the complete spectrum of necessary physician abilities, the result might be an uneven or overly technical view of the physician – that is, a definition based solely on his or her work or output – and thus potentially ignore many of the specific abilities required of the twenty-first century physician, such as professionalism and advocacy.

최소한 두 개의 모델이 있다: 주로 미국 모델과 유럽 모델 중 하나

 at least two models – one primarily in the US and one in Europe – are in use. Figure 1

미국의 프레임워크에서, 이정표는 역량보다 더 작은 구성 요소이며, 해당 역량에 대한 특정 수준의 성취도를 나타낸다. 

Therefore, in the US framework, a milestone is a smaller construct associated than a competency and represents behavior swith a specific level of achievement for that competency. 

유럽에서는 이정표가 EPA 또는 역량보다 상당히 "더 큰 것"으로 개념화된다. 따라서 이정표는 주니어에서 시니어 전공의가 되면서 밟아나가는 역량이나 EPA의 성취를 보여주는 지표가 된다.

In Europe, milestones are conceptualized in some settings as considerably “bigger” than the EPAs or competencies, such that a milestone is a marker of the achievement of a cluster of competencies or EPAs that allows one to move, for example, from junior to senior residency.

그림 2는 이 모델에서 이정표와 EPA 사이의 관계를 나타내고, 그림 3은 이 모델의 이정표와 역량 사이의 관계를 나타낸다.

Figure 2 depicts the relationship between milestones and EPAs in this model, and Figure 3 depicts the relationship between milestones and competencies in this model.

Conclusion and next steps

CBME의 다음 단계에는 그러한 결과를 달성하는 데 필요한 개발 진행 또는 이정표를 정의하고, 학부 및 대학원 의학 교육에서 역량 평가 및 구현을 위한 EPA와 같은 프레임워크를 개발하는 것이 포함된다.

 the next phase of CBME involves defining the developmental progression, or milestones, required to achieve those outcomes and developing frameworks such as EPAs for implementing the teaching and assessment of competencies in both undergraduate and graduate medical education

Med Teach. 2017 Jun;39(6):582-587. doi: 10.1080/0142159X.2017.1315066.

Toward a shared language for competency-based medical education.

성과(역량)바탕교육: 근원, 이론적 토대, 실증적 근거 (Adv in Health Sci Educ, 2012)

Outcome (competency) based education: an exploration of its origins, theoretical basis, and empirical evidence

Anne Mette Morcke • Tim Dornan • Berit Eika

도입

Introduction

성과 기반 교육 및 역량 기반 교육이라는 용어는 교육 모델을 기술하는 용어로서, 디테일에 있어서는 차이가 있을지 몰라도, 의학교육이 사전 결정된 성과에 의해 주도되어야 한다는 가정을 공유한다. OBE가 학부 의학교육에 10여 년 전에 도입된 이후, 이 접근법은 국제적으로 채택되어 현재 널리 사용되고 있다.

The terms outcome based education and competency based education describe educational models, which differ in detail but share the assumption that medical education should be guided by predetermined outcomes. Since the introduction of OBE to undergraduate medical education more than a decade ago, the approach has been adopted internationally and is now widely used.

그러나 모든 저자가 OBE가 의학 교육의 미래를 위한 포괄적인 해결책을 제공한다고 확신한 것은 아니다. 예를 들어, Norman(2006)은 "교육, 학습, 퍼포먼스 성과 사이의 연관성이 얼마나 강한가?"라고 질문했다. Malone과 Supri(2012)는 40년의 경험을 통해 OBE의 무분별한 적용은 의도한 목적을 달성하지 못할 수 있음을 시사했다. 페르난데스 외 연구진(2012)은 '역량'이라는 용어가 단순해 보이지만, 실제로는 상당히 다른 방식으로 해석되었음을 입증했다.

Not every author has been convinced, however, that OBE provides a comprehensive solution for the future of medical education. Norman (2006), for example, asked ‘‘How strong is the link between teaching, learning, and performance outcomes?’’ Malone and Supri (2012) wrote that experience from 40 years’ suggests that the uncritical application of OBE to medical curricula may not achieve the intended aims. Fernandez et al. (2012) demonstrated that the deceptively simple term‘competency’ has been interpreted in importantly different ways

OBE의 진화 과정에서 역사적 랜드마크에 대한 고찰

Review of historical landmarks in the evolution of OBE

옹호와 비평의 첫 번째 사이클 - 1960년대와 1980년대

The first cycle of advocacy and critique—the 1960s through to the 1980s

1957년, 소련은 첫 번째 인공위성인 스푸트니크 1호를 지구 궤도를 향해 발사했다. 미국이 우주 경쟁에서 뒤쳐졌다는 것을 깨닫는 것은 미국 사회를 통해 충격파를 보냈고, 미국 사회는 이 실패에 대해 교육 시스템이 책임지게 했다. 그 결과, 교육에 많은 돈이 투입되었고 교육과 훈련에 대한 연방 정부의 적극적인 개입이 있었다. 이어지는 토론과 연구는 OBE의 개발과 학교 및 교사 훈련에서의 OBE의 실행을 촉발시켰다. 초기 OBE의 이론적 방향은 Watson, Pavlov, Thorndike, Skinner와 같은 실험 심리학자의 작품에서 나타난 행동주의로 대변되는 것이었다.

In 1957, the Soviet Union launched the first satellite—Sputnik I—into orbit around the Earth. Realisation that the USA had fallen behind in the space race sent shock waves through American society, which held its educational system accountable for this failure (Hodge 2007). As a result, large sums of money were directed into education and there was vigorous federal intervention in education and training. The ensuing debate and research ignited the development of OBE and its implementation in schools and teacher training. The theoretical orientation of early OBE was towards behaviourism as represented in the works of experimental psychologists like Watson, Pavlov, Thorndike, and Skinner, whose legacy was a focus on observable behaviours.

교육목표를 강조하는 기본적인 생각은 타일러에 의해 1949년에 최종적인definitive 형태로 주어졌다. 그는 커리큘럼 설계는 [학습이 학생들의 행동에서 발생시켜야 하는 변화]의 측면에서 표현된 명확한 목표에 의해 결정되어야 한다고 주장했다. Tyler의 전 PhD 학생인 Bloom이 그 뒤를 이었다. Bloom은 인지 영역에서 교육목표의 분류 체계를 발전시켰다. (Bloom 1956). 그는 그들을 지식, 기술, 그리고 태도로 분류했고 그들이 소통가능해야 한다고 강조했다. 1970년대 초에 있었던 OBE를 향한 최초의 지지의 물결은 마거의 교육적 목표(Mager 1997), 블룸의 mastery learning에 대한 지지(Bloom 1968), 그리고 가네의 instructional design 등에 의해 대두된 것으로 보인다.

The basic idea of emphasizing educational objectives had been given its definitive form by Tyler as early as 1949 (Tyler 1949). He argued that curriculum design should be determined by explicit objectives expressed in terms of changes the learning was supposed to produce in the behaviour of students. Tyler was followed by Bloom (Tyler’s former PhD student), who developed a taxonomy of educational goals in the cognitive domain (Bloom 1956). He classified them into knowledge, skills, and attitudes, and stressed that they should be communicable. It seems that the first wave of advocacy OBE came to a head in the early 1970s with Mager’s instructional objectives (Mager 1997), Bloom’s endorsement of mastery learning (Bloom 1968), and Gagne´’s work on instructional design (Gagne´ and Briggs 1974).

1970년대 중반, OBE에 대한 분위기는 행동적 목표 커리큘럼 모델에 비판적으로 돌아섰다. Stenhouse는 매우 영향력 있는 비평가로서, 커리큘럼을 조직하는 유일한 방법은 학생 행동의 측정 가능한 변화 측면에서 결과를 미리 구체화하는 것이라는 견해를 거부했습니다. 사실적 지식과 간단한 기술에 관한 목표를 배우는 것은 좋은 말이지만, [가치, 통찰력, 판단력 개발에 영향을 주기 위한] 교육 프로세스가 행동 목표에만 엄격하게 초점을 맞춘 커리큘럼 모델로 단순화subsume될 수 없다고 그는 주장했다.

By the mid-1970s, the tide was turning against the behavioural objectives curriculum model. Stenhouse was a very influential critic, who rejected the view that the only way to organise a curriculum was to pre-specify outcomes in terms of measurable changes in student behaviour (Stenhouse 1975). Whilst learning objectives concerning factual knowledge and simple skills made good sense, he argued that educational processes, which influenced the development of values, insight, and judgement, could not be subsumed into a curriculum model that focused strictly on behavioural objectives.

학생들이 경험으로부터 정서적으로, 사회적으로, 문화적으로, 미적으로, 또는 윤리적으로 학습한다고 본다면, 목표를 명시하거나 객관적으로 평가하는 것은 불가능한 것이지만, 그렇다고 해서 이러한 학습이 중요하지 않다는 것을 의미하지는 않았다. Stenhouse(1975년)는 산출물이나 성과를 측정하는 것보다 학생들의 학습을 최적화하는 것을 더 강조하였고, 훈련training대비되는 의미로, 교육education(문학적으로, 단어의 라틴어 기원으로부터, 학생들에게서 배우는 것을 이끌어내기)을 강조했다.

When students learned affectively, socially, culturally, aesthetically, or ethically from experience, it was not possible to specify goals or assess them objectively but that did not mean such types of learning were unimportant. By placing more emphasis on optimising students’ learning than on measuring outputs or outcomes, Stenhouse (1975) was emphasising education (literally, from the Latin origins of the word, drawing learning out from students) as opposed to training (putting intended learning outcomes into students).

OBE의 부활은 1980년대에 시작되었는데, 이것은 어떠한 새로운 이론적인 통찰에 기초하지 않았으며, 초기 역량 운동의 행동주의 원칙에 밀접하게 따랐다. 특히 영향(태도, 감정 및 가치)에 관해서는 더 제한적이었다restrictive. Spady (1994, 페이지 55–60)는 affects의 중요성을 인정하면서도, 그 자체로는 성과가 아니며, 성과의 전제조건이라고 간주했다. 그는 affects를 '목적'이라고 불렀으며, 이것은 '성과'와는 구분되는데, 왜냐하면 affects는 직접 관찰할 수 없고, 따라서 결과 기반 커리큘럼의 사양specification에 포함될 수 없기 때문이다. 따라서 새로이 부활한 OBE는 학습 성과로서 affects를 배제하였다.

A revival of OBE began in the 1980s (Spady 1988, 1994), which was not based on any new theoretical insights and adhered closely to the behaviourist principles of the earlier competency movement. It was in some respects more restrictive, particularly regarding affects (attitudes, emotions, and values). Spady (1994, pp 55–60) acknowledged their importance but regarded them as preconditions for outcomes rather than outcomes in themselves. He called affects ‘goals’, which he distinguished from ‘outcomes’ because they were not directly observable and could not, therefore, be included in the specification of an outcome-based curriculum (Spady 1988, 1994, p55 et seq). So, the revival of OBE specifically excluded affects as learning outcomes.

두 번째 옹호 단계—20세기 말

Second phase of advocacy—the end of the twentieth century

주로 스파디로부터 영감을 받은 하덴 외 연구진(1999)은 OBE를 "의료 교육을 개혁하고 관리하는 강력하고 매력적인 방법을 제공하는 커리큘럼 개발의 최첨단 성과 기반 접근법"라 칭하는 보고서를 발행했다. 알바니아 등 (2008)에 따르면 1999년은 "역량 운동의 진화에서 pivotal한 해"였는데, 이는 비단 하덴과 동료의 지지 때문만은 아니었다. 다른 두 가지 중요한 이벤트가 발생했습니다. 

• AAMC(American Medical Colleges Association)의 의과대학 목표 프로젝트(MSOP)는 역량 기반 교육을 옹호하는 보고서를 작성했습니다.  
• 또한 대학원 의학 교육 인증 위원회(ACGME)와 미국 의학 전문 위원회(American Council of Medical Specialties)는 6개의 인증 능력에 대해 공동으로 합의했습니다. 
• 불과 1년 전만 해도 국제적으로 널리 퍼져나간 CanMEDS 역량 프레임워크의 개발을 촉발한 Educating Future Physicians for Ontario Project도 발표되었다(Neufeld et al. 1998).

Inspired primarily by Spady, Harden et al. (1999) published a report describing OBE as ‘‘a performance-based approach at the cutting edge of curriculum development (that) offers a powerful and appealing way of reforming and managing medical education’’ 1999 was, according to Albanese et al. (2008), ‘‘pivotal in the evolution of the competency movement’’ and not just because of the advocacy of Harden and colleagues. Two other important events took place: the Medical School Objectives Project (MSOP) of the Association of American Medical Colleges (AAMC) produced a report advocating competency based education; and the Accreditation Council for Graduate Medical Education (ACGME) and the American Board of Medical Specialties jointly agreed on six competencies for certification. Only 1 year previously, the groundbreaking Educating Future Physicians for Ontario Project that sparked the development of the internationally widespread CanMEDS competency framework had also been published (Neufeld et al. 1998).

하덴과 동료들은 OBE가 교육 과정보다는 '어떤 유형의 의사를 길러야 하는가'를 강조했기 때문에 의학 교육에 대한 선견지명이 있는 새로운 접근 방식이었다고 썼다(Harden et al. 1999). 커리큘럼 내용 및 구조, 교육 및 학습 활동, 교육 환경, 평가 및 프로그램 평가는 모호하지 않은 outcome specification으로부터 논리적으로 도출되었다. Harden et al. (1999)의 말에서, "OBE는 두 가지를 갖추어야 한다. 먼저 학습 성과를 식별하고, 명시하고, 모든 관련자에게 전달해야 한다. 둘째, 교육과정에 관한 결정에서 교육 성과가 가장 중요한 이슈가 되어야 합니다."

Harden and colleagues wrote that OBE was a visionary new approach to medical education because it emphasised the type of doctor produced rather than the process of education (Harden et al. 1999). Curriculum content and structure, teaching and learning activities, educational environments, assessments, and programme evaluation followed logically from an unambiguous outcome specification. In the words of Harden et al. (1999): ‘‘OBE has two requirements. First that the learning outcomes are identified, made explicit and communicated to all concerned (…). Second, the educational outcomes should be the overriding issue in decisions about the curriculum.’’

비판에 뒤따른 OBE의 도입-새로운 세기로

Implementation of OBE followed by critique—into the new millennium

새 천년의 첫 10년 동안의 보고서와 출판물은 OBE의 첫 번째 요구사항을 충족하고 학습 성과를 정의하는 것이 가능하다는 것을 보여주었다. 예를 들어 스코트랜드 교육과정 그룹은 12개의 주요 결과 영역을 정의했는데, 이 영역은 86개의 학습 성과로 세분화되어 개별 학교는 커리큘럼의 필요에 따라 이러한 영역을 더 세분화했다(Simpson et al.

Reports and publications over the first decade of the new millennium showed it was possible to meet the first requirement of OBE, to define learning outcomes. The Scottish Deans’ Medical Curriculum Group, for example, defined 12 key outcome domains, which were subdivided into 86 learning outcomes, leaving individual schools to break them down further according to the needs of their curricula (Simpson et al. 2002).

심슨 외 연구진(2002)은 교육과정이 매우 다른 학교들도 학습 성과에 대한 합의에는 도달할 수 있다고 결론지었다. 다른 그룹들도 같은 결론에 도달했다. 

• CanMEDS 역량 프레임워크는 캐나다뿐만 아니라 전 세계(Frank and Danoff 2007)에서 광범위하게 채택되었으며, 
• Tuning Project for Medicine도 범유럽 학습 성과 프레임워크(Cuming 2007)를 개발하는 데 성공했다. 

의과대학이 중복되거나 상충하는 성과 프레임워크를 조정해야 한다는 우려가 2007년에 발표된 보고서에서 제기되었다(Elaway et al. 2007).

Simpson et al. (2002) concluded that even schools with very different styles of curriculum could reach consensus on learning outcomes. Other groups reached the same conclusion. The CanMEDS competency framework was extensively adopted, not only in Canada, but around the world (Frank and Danoff 2007) and the Tuning Project for Medicine also succeeded in developing a pan-European learning outcomes framework (Cumming and Ross 2007). Concern that medical schools would have to reconcile overlapping or competing outcome frameworks was addressed in a report published in 2007 (Ellaway et al. 2007).

그러나 OBE를 적극적으로 채택하고 있었떤 이 때에도 비판적 의견도 들을 수 있었다. Rees (2004)는 커리큘럼의 교육과정보다 성과에 초점을 맞추는 것은 좋은 교육적 실천과 반대되는 것이라고 주장했다.

Critical opinions were also to be heard, however, at this time when OBE was being so avidly adopted (Prideaux 2004; Rees 2004; Talbot 2004). Rees (2004), argued that a focus on the outcomes rather than educational processes of curricula was antithetical to good educational practice;

플렉스너 100주년 권고—2010년과 그 이후

Flexner centenary recommendations—2010 and onwards

2010년 Cooke 등(2010년)의 영향력 있는 보고서는 황금표준으로 커리큘럼 개발에 대한 역량 기반 접근방식을 채택했다. 이 보고서는 OBE의 광범위한 채택을 권고했고 프로그램 리더들에게 학습자들에 대한 명확하고 점진적인 기대(성과)를 설정할 것을 요청했다. OBE의 채택은 의학 졸업생들이 복잡한 상황에서 효과적으로 대응할 수 있도록 더 잘 준비할 것이며 필요한 역량의 깊이와 폭을 계속해서 확장할 것이다. 그러나, 보고서에 따르면, 이러한 이상적인 모습은 학습자들이 최소한의 역량 기준을 달성했는지를 판단하는 평가 없이는 이루어질 수 없다고 한다.

In 2010 an influential report by Cooke et al. (2010) endorsed a competency based approach to curriculum development as a gold standard. It recommended widespread adoption of OBE and asked programme leaders to set clear, progressive expectations of learners. Adoption of OBE would better equip medical graduates to respond effectively in complex situations and efficiently continue to expand the depth and breadth of the requisite competencies. That, according to the report, could not happen without assessment, which must determine that learners had achieved benchmarked standards of competence.

Flexner centenary 보고서는 성과바탕교육의 필요성을 주장하였지만 두 가지 문제에 대해서는 답을 내놓지 못했다. 하나는 어떻게 휴머니즘, 책무성, 이타성 등을 정의하고 평가할 것인가의 문제이다. 이러한 특질들은 사람마다 unique한 것이며, 따라서 ("표준화된 성과"의 달성을 추구하는) 성과바탕교육과는 애초에 조화되기에 어려운 측면이 있다. 이미 비슷한 이유로 약 30년 전에 Spady는 교육성과를 정의하면서 정서적 측면(affective domain)을 배제하였음을 떠올리게 한다. Flexner 100주년 보고서에 따르면 프로페셔널리즘의 affective 측면의 요소들은 "오랜 시간 동안 관심을 갖고 성찰해야 하는 것"이다. 두 번째는 기대하는 성과는 "적당한 수준(good enough)"에 맞춰놓으면서, 어떻게 동시이 수월성(excellence)를 추구할 수 있겠냐는 문제이다. 이미 Sir John Tooke는, "적당히 좋은 것은 충분히 좋은 것이 아니다(Good enough is not good enough)"라고 지적한 바 있다.

Whilst strongly endorsing OBE, the Flexner centenary report noted two important, unresolved issues. The first was how to define and assess humanism, accountability, and altruism, which are unique to individuals and thus difficult to reconcile with an OBE framework. That concern is reminiscent of Stenhouse’s critique over 30 years earlier (Stenhouse 1975), which Spady (1994) resolved by excluding the affective domain from the formulation of curriculum outcomes. Affective elements of professionalism, the Flexner centenary report stated, would ‘‘need to be kept in focus and reflected on over time.’’ The second issue was how to promote excellence when competencies are targeted at ‘‘good enough’’ performance (Talbot 2004), captured in Sir John Tooke’s aphorism, ‘‘Good enough is not good enough’’ (Tooke 2008).

Hodges(2010년)에 따라 학습 결과의 표준화는 '(대량)생산 담론'에 기초한다. 그것은 산업계에서 지배적이며 매력적인 담론인데, 교육 비용과 훈련 시간을 줄일 것을 약속하기 때문이다. 문제는 개인화는 표준화와 상당한 거리가 있다는 것이다. 모호한 것에 대한 인내력, 복잡성에 직면하여 민첩성, 호기심, 혁신, 평생학습에 대한 헌신과 같은 마음 습관을 가르치려고 할 때, 교육과정은 풍부한 연습과 피드백 기회가 있어야 하며, 지속적인 형성적 평가 및 단계적 개발 접근방식을 제공해야 한다. 호지(2010년)는 또한 "미래의 의사들에 대한 담론을 형성함에있어, 우리는 사람의 성장과 발달을 강조하는 언어와 개념을 사용해야 한다"고 주장했다.

standardization of learning outcomes, according to Hodges (2010), is based on a ‘‘production discourse’’, which is dominant in industry and appeals because it promises to reduce education costs and training time. Individualization, however, is a substantial distance away from standardization. For doctors-in-training to learn tolerance of ambiguity, agility in the face of complexity, habits of mind such as curiosity, innovation, and a commitment to lifelong learning, curricula have to be rich in practice and feedback and provide continuous formative assessment and a stepwise developmental approach. Hodges (2010) further pleaded that ‘‘in fashioning discourses about future physicians, we should try to use language and concepts that emphasize the growth and development of people.’’

발명, 실행, 거부, 부활, 지지 그리고 비평 주기가 시작된 지 40년이 넘도록 OBE에 대한 논의가 얼마나 활발하고 생생하게 살아있는지는 무척 놀랍다.

It is striking how vigorous and alive the discussion of OBE remains more than 40 years after the invention, implementation, rejection, revival, advocacy and critique cycles began.

OBE의 담론의 주목할 만한 특징은 객체로서 규제 대상으로 논의되는 때를 제외하면, 그 담론 안에 개별 교사들과 학습자들은 underrepresent되어있다는 것이다. 예를 들어, 

• OBE 채택을 위한 Cooke 등(2010)의 근거는 교육과 학습에 대한 직접적인 연관성은 거의 없이 평가 및 책임의 측면에서 거의 전체적으로 표현되어 있습니다. 
• 마찬가지로, OBE의 것으로 알려진 편익에 대한 Hodge의 분석은 평가 및 책임성의 담론에 의해 지배된다(Hodges 2010).

A striking feature of the discourse of OBE is that individual teachers and learners are more or less unrepresented in it, except as objects of regulation. The rationale of Cooke et al. (2010) for adopting OBE, for example, is almost entirely expressed in terms of assessment and accountability, with little direct link to teaching and learning. Hodges’ analysis of the purported benefits of OBE is, likewise, dominated by the discourses of assessment and accountability (Hodges 2010).

OBE의 진화에서 역사적 랜드마크에 대한 이러한 검토를 요약하자면, 1940년대의 행동주의 심리학과 OBE의 현대적 advocacy 사이에는 끊어지지 않는 inheritance의 선이 있는 것으로 보인다.

To summarise this review of historical landmarks in the evolution of OBE, there appears to be a more or less unbroken line of inheritance between behaviourist psychology of the 1940s and contemporary advocacy of OBE.

OBE는 1970년대에 널리 도입되었고, 그 후 OBE가 가치, 통찰력, 판단을 단순한 행동 목표에 축소시켜버리고, 정서적, 문화적, 미학적, 윤리의 학습 과정을 핵심 교육에 두지 않는 것에 대해 심하게 비난 받았다.

It was widely implemented, then heavily critiqued in the 1970s for reducing values, insight, and judgement to simple behavioural objectives and for not placing affective, social, cultural, aesthetic, and ethic learning processes at the core of education.

OBE는 1980년대에 부활했고 새 천년 이전과 이후까지 의학 교육을 소리 높여 옹호했다. 부활은 교육과정 설계, 평가, 프로그램 평가 및 책임에 대한 교육 결과를 강조하는 것과 동일한 혜택에 초점을 맞추었다.

OBE was revived in the 1980s and vociferously advocated for medical education before and on into the new millennium. The revival focused on just the same purported benefits of emphasising the product of education—an unambiguous outcome specification—to curriculum design, assessment, programme evaluation, and accountability.

프레임워크와 이론 검토

Review of frameworks and theories

용어 검토

Review of terminology

Shumway와 Harden(2003)은 MSOP, AAMC, ACGME, CanMEDS, 스코틀랜드 의과대학과 같은 기관에 의해 지정된 학습 성과가 "유사점을 가지고 있거나 유사한 역량이나 능력을 포함한다." 고 말했다. 알바니아인 외 연구진(2008)에 따르면 성과와 역량의 차이는 "want"과 "need"라는 단어에 있다. 

• 성과는 우리가 학생들이 어떤 기술과 자질을 갖기를 원하는지를 정의하는 반면want, 
• 역량은 의사들이 환자를 돌보기 위해 어떤 기술과 자질을 필요로 하는지need 결정하는 것이다.

Shumway and Harden (2003) wrote that the learning outcomes specified by bodies like MSOP, AAMC, ACGME, CanMEDS, and the Scottish medical schools ‘‘have similarities and embrace a similar set of competencies or abilities.’’ According to Albanese et al. (2008), the difference between outcomes and competencies is in the words ‘‘want’’ and ‘‘need’’. An outcome defines what skills and qualities we want students to have, whereas a competency is a determination of what skills and qualities doctors need to have to care for patients.

튜닝 프로젝트(Cumming and Ross 2007)는 결과, 목표, 역량을 구분한다. 

• 학습 목표는 교육 담당자에 의해 설정 및 설명되며 특정 구성 요소와 관련이 있습니다. 
• 학습 성과는 최상위 수준이 큰 도메인으로 구성되는 hierarchy of levels으로 설명된다. 이러한 영역 내에서 보다 상세한 성과는 평가 프로그램을 blueprinting하는 데 유용한 수준으로 설명된다. 
• 마지막으로, 역량은 (교사보다는) 학생이나 졸업생에 속한다. 학위 프로그램을 성공적으로 완료한 사람의 역량은 최소한 규정된 학습 결과와 동등해야 한다. 이 용어는 튜닝 프로젝트에서 다소간 상호 교환적으로 사용됩니다. 

The Tuning Project (Cumming and Ross 2007) distinguished between outcomes,objectives, and competencies in this way: 

• Learning objectives are set and described by teaching staff and relate to a particular component. 
• Learning outcomes are described with a hierarchy of levels, with the top level consisting of large domains. Within those domains,more detailed outcomes are described to a level that is useful for blueprinting assessment programmes. 
• Finally, competencies belong to students or graduates rather than teachers.The competencies of someone who has successfully completed a degree programme should be at least equivalent to the prescribed learning outcomes. The terms are used more or less interchangeably in the Tuning Project. 

페르난데스 외 연구진(2012)의 최근 리뷰는 보건 과학 교육자들이 이 용어를 사용하는 방법에 있어서, 저자들 사이에 분명한 차이를 발견했음에도 불구하고, 역량이 지식, 기술 및 기타 요소로 이루어져 있다는 것에 동의한다고 결론지었다. 실제로 결과 및 역량 기반 교육 간에 근본적인 차이를 발견하지 못하였으므로, 이 논문에서는 Hodge(2010)와 마찬가지로 OBE라는 용어를 사용할 것이다.

A recent review by Fernandez et al. (2012) concluded that health science educators agree that competence is composed of knowledge, skills and other components, though they found clear differences between different authors in how they used the term. Having found no essential difference between outcome and competency based education in practice; this article has aligned itself with Hodges (2010) in using the termOBE to refer to both.

학습 이론 검토

Review of learning theory

OBE는 지금까지의 분석에서 결론지을 수 있듯, OBE는 평가와 자연스럽게 연결되는 반면, 교육 및 학습 활동과는 그리 자연스럽게 연관되지는 않는다. OBE에서 [성과를 정의하는 것]과 [커리큘럼의 교육 및 학습 활동에 대한 서포트] 사이에는 갭이 있는 것 같다. 우리만 이것을 관찰한 것이 아니다; 이미 프라이도(2004)와 노먼(2006)은 학습 성과와 교수/학습 사이의 연관성의 본질에 의문을 제기했다. 또 다른 차이는 행동주의에 뿌리를 둔 OBE(시대에 뒤떨어진 이론 지향으로 여겨짐)와 현대적 학습 이론 사이의 gap이다.

OBE, it may be concluded from the analysis thus far, links naturally with assessment but not so naturally with teaching and learning activities. It seems there is a gap in OBE between defining outcomes and supporting the teaching and learning activities of medical curricula. We are not alone in making that observation; Prideaux (2004) and Norman (2006), before us, questioned the nature of the link between learning outcomes and teaching/learning. Another gap is between the roots of OBE in behaviourism, which could be considered an outdated theoretical orientation, and modern learning theory.

OBE의 가능성과 한계를 더 폭넓게 생각하는 데 도움이 될 수 있는 접근법은 Biggs와 Tang의 건설적인 정렬 커리큘럼 프레임워크로, 

• 이는 평가뿐만 아니라 교수/학습을 함께 강조하며, 이것들이 모두 학습 성과와도 align될 것을 요구한다. 
• OBE와 마찬가지로 건설적인 정렬은 의도된 학습 성과를 명확하고 모호하지 않게 명시할 것을 요구한다. 
• 또한 OBE와 마찬가지로 학습자가 의도한 학습 성과에 대한 숙련도를 입증해야 하는 평가 시스템에 중점을 둡니다. 
• 건설적인 정렬의 관점에서 교수-학습 활동은 학생들이 학습 성과에 평가적으로 능숙해질assessably proficient 가능성을 높이는 방식으로 계획되어야 한다.

An approach that seemed able to help us think more widely about affordances and limitations of OBE was Biggs and Tang’s constructive alignment curriculum framework, 

• which emphasises teaching/learning processes as well as assessment and aligns them both with learning outcomes (Biggs and Tang 2007). 
• Like OBE, constructive alignment calls for intended learning outcomes to be stated clearly and unambiguously. 
• Like OBE, also, it puts a strong emphasis on assessment systems that call for learners to demonstrate proficiency in the intended learning outcomes. 
• Teaching–learning activities, from a constructive alignment perspective, should be planned in such a way as to increase the likelihood of students being assessably proficient in the learning outcomes.

그러나 Biggs와 Tang의 이론의 한계는 '학습'을 관찰 가능한 행동으로 축소시켜버리고, affects과 professional attributes에 관련된 학습의 요소들을 배제한다는 것이다. 그들의 체제는 구성주의자로 특징지어질 수 있다. 그러나 OBE가 구성주의 이론과 조화될 수 있다는 사실이 OBE가 행동주의자들의 기원을 넘어섰다는 설득력 있는 증거가 되지는 못한다,

however, that Biggs and Tang’s theory also narrows learning to observable behaviours and leaves out elements of learning related to affects and professional attributes. Their framework may be characterised as a constructivist one. The fact that OBE could be reconciled with a constructivist theory is not, however, convincing evidence that OBE has moved beyond its behaviourist origins.

Cooke 등(2010년)은 ACGME와 같은 기관에 대한 권위를 인용하였으나 이론이나 경험적 증거를 인용하지 않았다.

Cooke et al. (2010) quoted authority statements of bodies like ACGME, but did not cite theory or empirical evidence.

Review of empirical literature

Review question and approach

탐색적 검토 질문: 사전 정의된 학습 성과는 학부 의과대학에서 학습과 교육에 어떤 영향을 미칩니까?

the exploratory review question: How do predetermined learning outcomes affect learning and teaching in undergraduate medical education?

Method

Results

The eight included papers are presented in Table 1.

연구 설계

Study designs

Seven of the papers concerned students and one concerned teachers.

결과

Findings

학습성과, 교수, 가르침

Learning outcomes, teachers, and teaching

극히 적은 수의 연구가 어떻게 학습 성과가 의사 선생님들의 가르침에 영향을 미치는지에 대해 명확하게 다루었다. 

Very little research explicitly addressed how learning outcomes influenced medical teachers’ teaching.

학습성과, 학생, 배움

Learning outcomes, students, and learning

일부 학생들은 복강경 트레이너에서 적극적인 학습을 촉진하기 위해 한 연구에서 학습 성과가 주어지는 것을 좋아했다. 비록 참가자의 수가 적고 결과는 통계적으로 유의하지 않았다. (곤잘레즈 외 2004)

Some students liked to be given learning outcomes, which were shown in one study to promote active learning in a laparoscopy trainer, although the number of participants was small and the result was not statistically significant (Gonzalez et al. 2004).

(McLaughlin et al. 2005). 오직 34%의 학생들만이 코스 목표를 사용했고 그들은 평균 이상의 시험 점수를 가질 가능성이 상당히 낮았다.

(McLaughlin et al. 2005). Only 34 % of students used the course objectives and they were significantly less likely to have above-average test scores.

고찰

Discussion

주요 결과와 의미

Principal findings and meaning

지난 50년 동안 OBE의 두 가지 분명한 지지 순환, 그 다음에는 비판이 있었다. 지난 10년 동안 OBE는 학부 의과에서 지지되고 시행되었지만, 학습 성과가 교수법과 학습 의학에 미치는 영향에 대한 실질적인 연구가 뒤따르지 않았다.

The last 50 years have seen two clear cycles of advocacy, then critique, of OBE. In the last decade OBE has been advocated and implemented in undergraduate medical education, but this has not been followed by substantial research on the impact of learning outcomes on teaching and learning medicine.

타당도 위협

Threats to validity

우리가 발견한 증거의 부족은 그 불완전성의 증거로 보여질지도 모른다. 그러나 의학 교육의 영역에서 evidence review를 보면, '정상'으로 간주되는 것이 실제로는 경험적 증거가 거의 없다는 것을 일관되게 발견한다. 유익한 증거가 누락되었을 수 있다는 것을 인정하면서도, 우리의 연구 결과를 무효화할 만큼 충분한 증거를 놓쳤을 가능성은 거의 없어 보입니다.

The paucity of evidence we found might be seen as evidence of its incompleteness. Evidence reviews in the domain of medical education, however, consistently find that what is taken to be ‘normal’ rests, in reality, on little empirical evidence. Whilst acknowledging that informative evidence might have been missed, it seems unlikely we missed enough strong evidence to invalidate our findings.

다른 출판물과의 관계

Relationship to other publications

우리의 분석은 영어 출판물에 한정되어 있다. 스칸디나비아와 독일의 교육 관련 출판물(건뎀과 홉만 1998)은 '빌둥Bildung'이라는 단어로 대표되는 다소 다른 교육적 담론을 제시한다. Bildung의 관점에서 교육은 기술과 지식을 습득이상이다. 클로프키(1995)와 같은 독일 언어 작가들은, humanities의 출발점으로 비판과 자기 비판의 능력과 의지를 갖추는 것과 같은 이상적인 목표에 초점을 맞추고 있다. 이 프레임워크에서 교육 및 커리큘럼은 주로 빌둥(Bildung)과 관련이 있습니다. 지식과 기술을 습득하는 것은 단지 프로세스 내에서의 도구일 뿐이며, 그 자체로 학습의 종착점이 아니다.

Our analysis is confined to English language publications. Scandinavian and German language publications about education (Gundem and Hopmann 1998) present a rather different discourse of education, epitomised by the word ‘Bildung’. Education, from that point of view, extends far beyond acquiring skills and knowledge. German language authors such as Klafki (1995), with a starting point in the humanities, clearly focus on ideal goals like developing ability and willingness to critique and self-critique, to argue, to be empathic, and to think contextually and coherently. In this framework, education and curriculum mainly concerns Bildung (the process of striving towards such ideal goals); acquiring knowledge and skills are tools in that process, not the endpoint learning outcomes in themselves.

학부의학교육만 주로 다뤘다.

our evidence review was confined to just one part of the medical education continuum—undergraduate medical education.

Implications

For practice

OBE가 학부 의과 교육에 적합하지 않거나 적절하지 않은 위치로 이끌기 보다는, 이 검토는 OBE가 어떤 측면에 대해서는 다른 측면에 대해서보다 더 적합할 수 있음을 나타낸다. 이는 OBE가 특히 관찰 가능한 행동에 대해서 역량 평가를 위한 blueprint를 위한 논리적 근거를 제공한다는 분석에서 비롯됩니다. 반면에, 하덴 외 연구진(1999)의 권고를 쓴 이론가조차도 affects를 관찰 가능한 행동으로 환원할 수 없다고 말했다. 그러므로 교육을 통해 발전하는 개인적, 전문적 특성을 교육에 의해 개발되는 능력과 동일한 과정에 포함시키는 것은 비논리적인 것처럼 보인다.

Rather than leading to a position that OBE is or is not appropriate for undergraduate medical education, this review indicates that it may be more appropriate to some than other aspects of it. It follows fromour analysis that OBE provides a logical basis for blueprinting assessments of competence, particularly those that assess observable behaviours. On the other hand, even the theorist on whose writing the recommendations of Harden et al. (1999) said affects cannot be reduced to observable behaviours. It seems illogical, therefore, to subsume personal and professional attributes that develop through education into the same process as competences that are developed by training.

For scholarship

우리는 "OBE가 효과적인가?"라는 질문에 답하는 연구 설계들은 별로 쓸모가 없을 것이라고 제안한다. 왜냐하면 이 의학교육 분야는 그 질문에 답하기에는 너무 복잡하기 때문이다. 오히려, "어떻게, 누구를 위해, 그리고 어떤 상황에서 OBE가 효과가 있는가?"라는 질문에 답하는 "명확화" 연구들이 절실히 필요하고, 그러한 연구가 교육과정 내에서 수행된 행동연구 또는 디자인 기반 연구에 스스로 도움이 될 것이다. 우리는 OBE가 어떤 경우에 좋은지 거의 알지 못한다. 학습 성과와 교육 사이에 어떤 연관성이 있는지, 결과가 교사들에게 도움이 될 때, 그리고 언제 그리고 어떻게 자기 주도적인 학습에 유용한지를.

Research designs answering the question ‘‘does OBE work?’’, we suggest, will be of little use because the field is just too complicated for that. Rather, ‘‘clarification’’ (Cook et al. 2008) studies answering the question ‘‘how does OBE work, for whom, and in what circumstances?’’ are sorely needed and lend themselves to action or design based research conducted within curriculum implementations. We know little about 

• what OBE is good for; 
• what the connections are between learning outcomes and teaching; 
• when outcomes are helpful for teachers and when not; 
• when and how they are useful for self-directed learning.

Conclusion

Harden et al. (1999)이 다음과 같이 말한 것은 옳았다: "OBE는 명백한 매력을 가지고 있지만, 그 효과를 문서화하는 연구는 상당히 드물다." Harden(2007년)이 언급한 바와 같이, 많은 "공작"들은 성과의 구체적 세트를 내놓았지만, 그 성과를 교육과정 관련 의사결정의 토대로 사용한 "비버"는 거의 찾아보기 힘들다.

Harden et al. (1999) were right when they said: ‘‘Although OBE has obvious appeal, research documenting its effects is fairly rare.’’ As stated by Harden (2007), many ‘‘peacocks’’ have specified sets of outcomes but few ‘‘beavers’’ have used learning outcomes as a basis for curriculum related decisions (Harden 2007).

Adv Health Sci Educ Theory Pract. 2013 Oct;18(4):851-63. doi: 10.1007/s10459-012-9405-9. Epub 2012 Sep 18.

Outcome (competency) based education: an exploration of its origins, theoretical basis, and empirical evidence.

학부의학교육에서 Core EPA에 대한 비판(Acad Med, 2018)

Critical Thoughts About the Core Entrustable Professional Activities in Undergraduate Medical Education

Edward Krupat, PhD

역량 기반 의료 교육(CBME)의 세계는 끊임없이 진화하고 있습니다. Accreditation Council for Color Medical Education가 정의했던 것처럼 최초 초점은 역량(의료전문가가 지식과 기술을 입증해야 하는 부문)에 초점을 맞춘 후, 이후에 milestone(역량에 이르는 path에 대한 마커) 제안되었다. ACGME의 6가지 핵심 역량이 의사의 직무, 행동 또는 책임을 구체적으로 명시하지 않았다는 점을 지적하며, 10개의 Cate는 GME에서 책임 있는 전문적 활동(EPA)의 개념을 제안하였다. EPA는 모든 레지던트가 교육을 마칠 때까지 독립적으로 수행할 수 있는 신뢰할 수 있는 핵심 업무 또는 책임을 말한다.

The world of competency-based medical education (CBME) is constantly evolving. Following the initial focus on competencies (domains in which health professionals are expected to demonstrate knowledge and skills), as defined by the Accreditation Council for Graduate Medical Education (ACGME),6–8 the concept of milestones9,10 (observable markers along the path to competence) was proposed. Concerned that the ACGME’s six core competencies did not specify concretely the tasks, actions, or responsibilities required of a physician, ten Cate proposed the concept of entrustable professional activities (EPAs) in the context of graduate medical education (GME).11,12 These EPAs represented a pragmatic list of activities—a core set of tasks or responsibilities that all residents could be trusted to do independently by the time they completed their training.

GME에서 EPA를 점점 더 수용하면서, 미국 의과대학협회(AAMC)는 "의과대학과 레지던트 사이의 전환점에서의 성과 격차"를 인정했고, AAMC는 존경 받는 교육자들로 구성된 위원회를 소집하여, 공통의 틀 안에서 GME와 UME를 만들겠다는 목표를 가지고, 졸업하는 모든 MD에 기대되는 활동들을 식별하였다.

With the growing acceptance of EPAs in GME, the Association of American Medical Colleges (AAMC) recognized a “performance gap at the transition point between medical school and residency.”13 AAMC convened a panel of respected educators to identify those activities that might be expected of all graduating MDs, with the goal of having GME and UME work within a common framework.

핵심 EPA를 piloting하고 testing하는 데 상당한 조직적 자원이 투입되었다.15 일부 교육자들은 EPA를 중요하며 패러다임 전환이라고 설명했지만, 점점 더 많은 수의 교육자들이 CBME와 특히 EPA에 대해 의구심을 나타냈다. 한 관찰자는 "더 많은 시간, 노력, 좌절, 그리고 자원이 투자되기 전에, 역량, 마일스톤, Core EPA로의 돌격"을 늦추기를 요구한다. "17 진단 추론의 오류의 맥락에서 Moulton과 동료 23,24는 "늦춰야 할 때엔 늦춰야 한다"고 이야기 했다.

Considerable organizational resources have gone into piloting and testing the Core EPAs.15 Some educators have described EPAs as important and paradigm shifting16; however, a growing number have expressed reservations about CBME in general and EPAs in particular.17–22 One set of observers asks us to slow “the headlong rush to competencies, milestones and COREEPAs … before even more time, effort, frustration and resources are invested.”17 In the context of errors in diagnostic reasoning, Moulton and colleagues23,24 have talked about “slowing down when you should.”

내용과 초점에 대한 우려

Concerns About Content and Focus

역량 영역(예: 의료 지식) 또는 개인과 관련된 특성(예: 전문성)에 초점을 맞추는 대신, 핵심 EPA는 13개의 ambulatory 및 병원 기반 "활동" 목록을 구성합니다(workplace-based 작업으로 표현되는 전문적 행동의 단위 설명). 모든 의대생은 이 목록을 졸업(그리고 결과적으로 인턴십 1일차)까지 성취할 수 있어야 한다.1,4

Rather than focusing on domains of competence (e.g., medical knowledge) or characteristics associated with individuals (e.g., professionalism), the Core EPAs constitute a list of 13 ambulatory and hospital-based “activities” (discrete units of professional behavior expressed as workplace-based tasks) that all medical students should be able to accomplish by their graduation (and, consequently, on Day 1 of internship).1,4 

Tekian18은 핵심 EPA를 여러 가지 측면에서 비판하면서 그 중 3가지(예: 전문가 간 팀에서의 협력)는 실제로는 별개의, single-encounter 기반의 의료 업무가 아니라고 지적했으며, 한편으로 어떤 것들은 교육목표이지 과제가 아니라고 지적했다(예: 임상 질문을 만들고 근거를 찾기).

Tekian18 has criticized the Core EPAs on several counts, noting that three of them (e.g., collaborating in an interprofessional team) are not actually discrete, single- encounter-based medical tasks, while others sound more like educational objectives than tasks (e.g., forming clinical questions and retrieving evidence).

게다가, 코어 EPA 중 어떤 것은 지나치게 광범위하고, 어떤 것은 매우 구체적이어서 uneven하게 보인다. 이러한 EPA를 결정하는 전문가 패널은 "lumper(모든 것을 하나의 카테고리로 넣고싶어 하는 사람)"와 "splitter(모든 것을 각각의 카테고리로 두고 싶어하는 사람)"으로 구성되어 있으며, 각 그룹이 자신의 방식으로 만든 것 같다.

In addition, the Core EPAs seem to me like an uneven lot, with some extremely broad and others very specific. I can imagine that the expert panel that decided on these EPAs was composed of “lumpers” (who preferred to group things into broad categories) and “splitters” (who preferred to generate finer categories), and that each group had its way on some things.

예를 들어 병력을 수집하고 신체 검사(EPA 1)를 수행하는 것은 일반적으로 학생-의사의 두 가지 핵심 작업으로 간주되지만, 이러한 두 가지 활동이 하나로 결합되었습니다. 한편, 임상 접촉의 서면 문서화(EPA 5)와 구두 발표(EPA 6)는 "임상 접촉 요약"이라는 단일 EPA로 묶일 수 있지만, 패널 구성원은 이를 두 가지 활동으로 구분하기로 결정했다.

For example, gathering a history and performing a physical exam (EPA 1) are typically thought of as two core tasks of the student–physician, yet these two activities were combined. On the other hand, written documentation (EPA 5) and oral presentation (EPA 6) of a clinical encounter could have been included as a single EPA, “summarizing a clinical encounter,” but the panel members chose to list these as two separate activities.

핵심 EPA는 발달 측면에서도 균일하지 않다. 일부는 의사가 되는 데 있어 가장 중요한 부분인 반면, 다른 것들은 꽤 advanced 수준인 것처럼 보인다.

the Core EPAs are also uneven from a developmental perspective. Some of them are part of the bread-and-butter of being a physician, whereas others appear to be quite advanced.

일부에서는 평가 양식에서 저학년 학생들에 대해서 특정 EPA를 생략하거나 "적용되지 않음" 범주를 포함해야 한다고 주장했다. 예를 들어, 핸드오버(EPA 8)에 대한 학습 및 응급 치료가 필요한 환자 인식(EPA 10)

Some argued that the assessment form should omit certain EPAs for students in their early years or include a “Does not apply” category. For instance, learning about handovers (EPA 8) and recognizing patients requiring urgent care (EPA 10)

숙련된 GME 교육자들은 제게 시스템 고장을 식별하는 것은 졸업하는 의대생에게 기대하지 못할 것임은 말할 것도 없고, 심지어 그들의 2년차 레지더트에게도 기대하기 쉽지 않다고말해왔습니다.

Experienced GME educators have told me that identifying system failures (EPA 13) seems aspirational for their second-year residents, let alone graduating medical students.

그러나 나는 핵심 EPA에 대해 훨씬 더 근본적인 우려를 갖고 있다. 이 접근법의 지지자들은 competencies vs EPA의 문제가 둘 중 하나either-or로 간주되어서는 안 된다는 점에 주목한다.

I have a far more fundamental concern about the Core EPAs, however. Advocates of this approach note that the issue of competencies versus EPAs should not be seen as something that is either–or.

이 말은 원칙적으로는 맞다. 그러나, 실제로는, 이것은 인간 인식의 가장 기본적이고 보편적인 원칙 하나를 무시한다: 바로 그림-배경 관계이다. 우리가 두 가지 "객체"를 볼 때, 그 중 한 가지(그림)가 우리의 관심을 끌고 집중한다. 다른 것(배경)은 먼 곳으로 후퇴하고 그것이 당연하게 여겨집니다; (배경)은 관심 대상이 아니라 맥락의 역할을 합니다.

In principle this is fine. In practice, however, this ignores one of the most basic and universally recognized principles of human perception: figure– ground relationships.25,26 When we are considering two “objects,” one (figure) engages our attention and is focused upon. The other (ground) recedes into the distance and is taken for granted; it serves as context, not as the object of interest.

Core EPA를 figure로 만들고, 반대로 [전문직업성, 환자와 의사 소통 능력, 인종/민족성, 성별 또는 성적 성향에 관계없이 양질의 환자 치료를 제공하는 능력] 등을 ground로 만드는 것이 정말 우리에게 좋은 것인가?

Is it to our advantage to make the Core EPAs figure, while relegating to ground professionalism, the ability to communicate with patients, and the ability to deliver quality patient care regardless of race/ethnicity, gender, or sexual orientation?

EPA 옹호자들은 "역량"에 대해 악의를 갖고 있지 않은 듯 하다. 설령 그렇다고 하더라도, "역량"은 그것이 우리 교육목표의 전면에 놓여지지 않는다면, 교육과정 map에서 2등시민으로 밀려날 것이다. 핵심 EPA를 채택하는 의과대학이 사명을 다시 쓰지는 않겠지만, 만약 형성평가와 총괄평가가 이 13개의 EPA에 초점을 맞춘다면, 교수와 학생 모두 거기에만 신경쓸 것이라는 예측이 절대 과장은 아니라고 생각한다. 그 상황에서 무엇이 figure가 되고 무엇이 ground가 될 것인지에 대해서는 일말의 의심의 여지도 없다.

EPA advocates seem to bear no ill will toward the competencies.1,6 Even so, competencies are likely to become second-class citizens in the curricular map if they are not at the forefront of our educational objectives and assessments. Medical schools that adopt the Core EPAs will not be rewriting their mission statements, but I do not think it is an exaggeration to say that if formative and summative assessments come to be focused on students’ ability to perform these 13 EPAs, this is what both faculty and students will care about most. I have little doubt as to which will become figure and which ground.

나는 또한 Core EPA에는 aspirational한 것이 전혀 없으며, 여기에는 [의학이 전문직업적 가치관를 핵심에 두는 소명]이라는 것을 암시하는 어떤 것도 없다는 것이 걱정된다. 이미 나 이전에 다른 사람들이 환원주의적, 구체적 직무 기반의 초점을 두는 것이 [상호연결성의 문제]와 [의사가 되는 더 넓은 의미]에 초점을 맞추지 않음으로써 젊은 의사의 정체성 형성에 영향을 미칠 것이라는 우려를 나타냈다. 

I am also concerned that there is nothing aspirational in the Core EPAs and nothing in their language that implies that medicine is a calling with a core set of professional values. Others before me28–30 have expressed concerns that a reductionist, concrete-task-based focus will affect the identity formation of young physicians by not focusing on issues of interconnectedness and the broader meaning of being a physician. 

한 걸음 더 나아가면, 핵심 EPA가 과연 환자와 사회에 어떠한 상징적인 메시지를 전달하는지 묻지 않을 수 없다. EPA 중심의 교육은 진료의 기술적 요건을 충족하는 방법을 알고, 병원을 효율적으로 운영하는데 필요한 작업을 수행하는 의사를 생성한다. 하지만 inspired professionals를 양성하기 위해서는, 우리는 교육 목적과 평가에서 우수한 doctoring의 한 부분으로서 (activities 뿐만 아니라) 더 넓은 가치와 방향을 보여줄 수 있는 방법을 찾아야 합니다.

Taking this one step further, I ask to what extent the Core EPAs also say something symbolically to patients and society. An EPA-focused education will produce physicians who know how to satisfy the technical requirements of care and to fulfill the tasks that enable a hospital to run efficiently. However, to produce inspired professionals, within our educational objectives and assessments we need to find a way to feature the broader values and orientations—as well as the activities—that are part of great doctoring.

또한 여러 근거들은 레지던트 프로그램 책임자들이 잠재적 전공의들에 대해 Core EPA에 대해 entrustable한지가 아니라, 그들의 개인적 자질(예: 다른 사람과 일하는 능력, 신뢰성 및 정직성)에 더 관심이 있다는 것을 보여준다.

The evidence indicates, however, that program directors are most interested in potential residents’ personal qualities (e.g., their ability to work with others, reliability, and honesty—elements of professionalism), rather than whether they are entrustable on this or that Core EPA.33,34

측정과 평가에 대한 우려

Concerns About Measurement and Assessment

제 관심의 두 번째 측면은 평가 과정 자체입니다.

The second dimension of my concerns involves the assessment process itself,

긍정적인 측면에서는 신뢰의 개념이 직관적으로 매력적이다. 대부분의 의사들은 그들의 훈련생을 얼마나 잘 믿을 수 있는지와 관련된 차원을 따라 생각하는 것에 익숙하고 편안하다.

On the positive side, the concept of trust is intuitively appealing. Most physicians are familiar and comfortable with thinking along a dimension that relates to how well they can trust their trainees,

그럼에도 불구하고, 나는 EPA 평가의 많은 측면이 사회과학의 측정 이론에 충분히 informed 되지 않았다고 믿는다.

Nonetheless, I believe that many aspects of EPA assessment are not sufficiently informed by measurement theory in the social sciences,

객관성에 대한 우리의 열망에도 불구하고, 우리가 사람들의 행동과 특성의 온도를 얻기 위한 온도계를 발명하기 전까지는, 우리는 주관적인 평가 과정을 가지게 된다. 이러한 점을 감안한다면, 우리의 주요 목표 중 하나는 우리가 상호 합의(즉, 신뢰성)를 증가시킬 수 있는 접근방식을 찾는 것이다. 그렇게 하기 위해서, 측정 이론에서 제시한 황금률은 Keep it simple이다: 행동을 보고 하나의 평가 척도에 따라 판단하고, 등급을 매긴다. 어떠한 비용을 들여서라도 최소화해야 하는 것은, [관찰]과 [판단] 사이에 이루어지는 추론의 layer이다.37

Despite our desire for objectivity, until we invent a thermometer to take the temperature of people’s behaviors and characteristics, we are left with a subjective process of assessment. Given this, one of our main goals is to find an approach by which we can increase interrater agreement (i.e., reliability). To do so, the golden rule in measurement theory is to keep it simple: See a behavior and judge it according to a single evaluative scale, thereby making a rating. What should be minimized at all costs is making judgments in which layers of inference are placed between the observation and the judgment.37

이 기준에 따라 entrustment가 어떤 layer에 따라 이뤄지는지 열거해 봅시다. 

To see how assessment via entrustment fares according to this criterion, let us enumerate the layers. 

먼저, 우리는 그 행동을 관찰하고 나서 그것이 효과적으로 수행되었는지 여부를 스스로 판단합니다. 여기서 멈춘다면, 합리적인 평가 시스템이 될 것입니다.

First, we observe the behavior, and then we determine for ourselves whether it has been performed competently—which, if stopped here, would be a reasonable rating system.

다음으로, 우리는 신뢰도를 고려하고, 스스로에게 "이 학생이 (유사한 문제를 가진 유사한 환자에 대해) 유사한 행동을 할 것을 얼마나 믿을 수 있는지"에 대해 자문하는 동시에, 그 때 얼마나 이 학생을 가까이에서 감독해야 하는지를 고려하면서, 이 모든 것들이 맥락특이성의 한계에도 불구하고 이뤄져야 한다는 것을 인정해야 한다.

Next, we consider trustworthiness and ask ourselves how much trust the student inspires in us to perform a similar behavior (on a similar patient with a similar problem), while simultaneously considering how closely this student would need to be supervised to do so, all the time acknowledging the limits of making generalizations because of context specificity.38,39

Layer가 늘어나면 늘어날수록, 신뢰도 판단은 결국 지식과 기술을 넘어 진실성, 양심, 한계치 파악과 같은 특징에 대한 평가까지 포함된다는 것을 암시한다.

Adding more layers, research suggests that entrustability judgments ultimately go beyond knowledge and skillfulness to include assessments of characteristics such as truthfulness, conscientiousness, and discernment of limitations.40,41

좋은 측정에 대한 또 다른 rule of thumb은 [모든 관련 당사자들이 주어진 척도의 endpoint 또는 앵커에 대해 정확하게 동일한 방식으로 의해 명확하게 인식, 정의, 이해되도록 하는 것]이다. 이것은 중요하지만 극도로 어렵다.

Another rule of thumb in good measurement is to ensure that the end points, or anchors,42,43 for any given scale are clearly recognized, defined, and understood by all relevant parties in exactly the same way. This is important yet extremely difficult.

GME에서는 레지던트가 [전혀 감독받지 않고도 업무를 수행하도록 위임될 수 있음]을 나타내는 문구로 척도의 한쪽 끝을 고정한다. [전혀 감독받지 않는 것]으로 절대적으로 표현된 이 anchor은 설득력이 있다. 이러한 anchor을 총괄평가용도로 사용하면 어떤 졸업생이 완전한 독립성을 발휘하여 감독 없이 EPA를 수행할 수 있음을 인증한다. 그러나 UME의 경우 positive end의 anchor는 학생이 [간접 감독 하에 주어진 EPA를 실천하도록 위임할 수 있음]을 나타낸다. 이 anchor은 토대가 훨씬 약하고, 훨씬 덜 잘 정의되어 있다. 간접감독은 얼마나 간접적인 것을 뜻하는가?

In GME, the entrustment scale is anchored on the positive end by wording indicating that the resident can be entrusted to perform a task completely unsupervised. This anchor, stated in absolute terms as the total absence of supervision, is compelling. Using such an anchor summatively, a program certifies that its graduates are entrusted to practice in complete independence, to perform the EPAs with no oversight or supervision. In UME, however, the anchor on the positive end indicates that the student can be entrusted to practice a given EPA under indirect supervision. This anchor is far less grounded; it is far less well defined. How indirect is indirect supervision?

어떤 사람들은 "학생이 실제적으로 다른 사람을 감독할 수 있는지 여부"를 가지고 positive end를 정의하자는 것과 같은 다른 anchor들을 제안하였다. 직관적으로는 좋아보일지 몰라도, 이는 좋은 측정의 핵심적 규칙을 위반하고 있다. 그것은 바로, 어떤 스케일은 하나의 차원에 대해서만 차이가 있어야 한다는 것이다one dimension at a time. EPA를 잘 수행할 수 있으면서, 동시에 다른 사람들을 감독하고 싶지 않은 학생은 어떻게 할 것인가? 우수한 측정 관행은 평가 기준의 교란을 방지하기 위해 척도를 단차원적으로 정의하도록 요구하지만, 이 제안은 그 원칙에 반한다.

others have proposed different anchors, such as defining the positive end point in terms of whether the person could be “allowed to supervise others in practice.”3 As intuitively compelling as this example seems, it violates another cardinal rule of good measurement, which is that a scale should vary along only one dimension at a time. Could we not imagine a trainee who is quite capable of performing an EPA yet whom we would not want supervising others in that EPA? Good measurement practice demands that scales be defined unidimensionally so as to avoid confounding the rating criteria, but this proposal runs counter to that principle.

Core EPA에 대한 또 다른 문제들

Other Problems Inherent in Working With the Core EPAs

여러 가지 논리적인 모순

several logical inconsistencies

첫째, 이러한 EPA는 UME와 GME 간의 차이를 메우기 위한 것이기 때문에, UME와 GME 등급 범주를 나란히 배치하여 두 가지 설정에 사용되는 일관성을 결정할 수 있습니다. 예를 들어, GME entrustment의 하한선에서는 종종 "적극적이고 완전한 감독 하에만 EPA를 실천할 수 있다."가 있다. 그러나 어떻게 의대를 졸업하기 위해 간접적이고 최소한의 감독만으로 EPA를 할 수 있었던 인턴이 적극적이고 완전한 감독을 필요로 하는 것으로 평가될 수 있는가?

First, because these EPAs were meant to bridge the gap between UME and GME, we can place the UME and GME rating categories side by side to determine the consistency with which they are used in the two settings. For instance, at the low end of GME entrustment, one often finds “allowed to practice EPA only under proactive, full supervision.”3 Yet how could an intern be rated as requiring proactive, full supervision when in order to graduate medical school this same person had to be certified as able to practice with indirect, or minimal, supervision?

심지어 능력이 뛰어난 학생들 사이에서도 높은 기준을 충족하는 능력과 그들이 그렇게 하는 속도에 차이가 존재할 것이다. 

even among the talented individuals , differences will exist in their ability to meet high standards and the pace at which they do so; 

그러나 어떻게 거의 모든 의과대학 또는 레지던스 코호트의 모든 구성원이 동일한 시점에 까다롭고 세심하게 평가된 EPA 규격 세트를 만족하게 될 것인가?

Yet how is it that almost every member of every medical school class or residency cohort would come to meet a demanding and carefully assessed set of EPA standards at the same moment

우리 모두가 인정하고 싶지 않은 한 가지 가능한 대답은, 그 기준이 충분히 낮아서 사실상 모든, 심지어 성적이 좋지 않은 학생들조차 제 시간에 그 기준을 충족할 수 있다는 것이다. 훨씬 더 회의적인 생각으로서, Witteles와 Verghese45는 과중한 업무에 시달리는 평가자들이 때로는 정확하고 의미 있는 평가를 하려고 하기보다는 학생들에게 '기대되는 수준'에 체크를 하고 있을 것이라고 추측했다.

One possible answer, which we would all prefer to reject, is that the standards are sufficiently low that virtually everyone, even poorly performing students, can meet them on time. Offering an even more skeptical thought, Witteles and Verghese45 have speculated whether overworked assessors may sometimes be checking boxes for where students are supposed to be rather than attempting to provide assessments that are accurate and meaningful.

사회적 인지 이론에서 도출된 또 다른 설명은 표준과 평가자들의 편을 더욱 들어준다: UME와 GME의 맥락이 다르기 때문에, 같은 표준도 암시적으로 다르게 여겨진다. UME 학생으로서 entrustable하다고 평가된 바로 그 행동이 레지던트 기준에 대해서는 preentrustable한 것으로 보일 수 있다. 왜냐하면 인턴/레지던트는 환자들의 웰빙에 대해 훨씬 더 큰 책임을 지기 때문이다. 이러한 대조효과를 언급하면서, 사회심리학자들은 평가자들이 서로 다른 환경에서 서로 다른 기준으로 행동을 판단하기 때문에, 자신도 모르게 서로 다른 판단을 내릴 수 있다고 제안한다.

Another explanation, deriving from social cognitive theory, is more charitable to the standards and assessors: Standards implicitly differ when seen in the differing contexts of UME and GME. The very same behavior that was rated as entrustable against the responsibilities of UME studenthood may appear to be preentrustable against the standards of residency where house staff hold far greater responsibility for patients’ well- being. Referring to contrast effects,46,47 social psychologists suggest that raters may unwittingly make differing judgments as the result of judging behavior against different standards in different settings.

다른 두 가지 밀접하게 관련된 개념들(기대 효과와 자기 충족적 예언들)로 인해서, 우리가 어떤 행동에 대한 특정한 기대를 가질 때 (예: 경험과 훈련의 증가할수록 신뢰도가 더 높아짐) 이러한 것들은 우리가 기대하는 방향으로 판단하도록 무의식 수준에서 영향을 미칠 수 있다.

Two other closely related concepts, expectancy effects and self- fulfilling prophesies, posit that when we hold specific expectations for behavior (e.g., that trustworthiness is greater with increased experience and training), these may influence us, below the level of awareness, to make judgments in the direction of our expectations.48,49

생의학 연구에서 우리는 이중맹검 연구를 고집합니다.

그러나 in vivo 임상 기술 평가에서 평가자는 평가 대상자를 잘 아는 상태에서 평가를 내린다. 결과적으로, 평가자는 (자신의 교수개발 수준이나 동기부여의 수준에 관계없이) 무의식적이고 자동적으로 편견을 가질 수 있다. 사실상, 우리가 사용하고 있는 "기준"은 우리가 인식하고 있는 것보다 더 유연할 수 있습니다.

But in clinical skills assessments made in vivo, raters are almost never blinded to the experience level of the person being rated. As a result, raters may be subject to various nonconscious, automatic biases, whatever their level of faculty development or motivation. In effect, the “ruler” we are using may simply be more elastic than we realize,

결론과 제언

Conclusions and Recommendations

가족 내에서 요리법을 알려줄 때, 많은 할머니들이 우리에게 소금 한 꼬집이나 후추 한 방울을 넣으라고 지시한다. 만약 내가 entrustment의 개념이 온스나 밀리그램과 같은 어떤 객관적인 것으로 바뀐다면, 나는 매우 기뻐할 것이다. 하지만, 많은 재능 있는 사람들이 쏟아내는 노력에도 불구하고, EPA 기반 시스템을 도입함으로써 학생들에게 유용한 형태별 피드백을 제공하거나 방어적인 결정을 내릴 수 있는 신뢰할 수 있는 등급이나 유효한 판단을 내릴 수 있는 능력이 향상되었다고 생각하지 않는다.

When sharing family recipes, many of our grandmothers instructed us to add a pinch of salt or a sprinkle of pepper. If I believed that the concept of entrustment had turned a pinch or sprinkle into something objective such as ounces or milligrams, I would be overjoyed. However, for all the effort expended by so many talented people, I do not believe that the adoption of an EPA-based system has increased our ability to make reliable ratings or valid judgments, to provide students with useful formative feedback, or to make defensible summative decisions about progression.

내용에 관해서, 나는 EPA를 향한 움직임이 [우리에게 무엇이 좋은가]가 아니라 [할머니가 아는 무슨 요리를 할 줄 아는가]에 너무 많이 집중하게 만들었다고 믿는다. Core EPA는 병원 팀이 원활하게 작동하도록 하는 mundane and technical한 기술에 너무 많은 관심을 기울이고 있습니다. 그로 인해 더 추상적 개념으로 표현되는 의사의 역할과 행동에서 우리를 멀어지게 한다. 그러나 우리가 더 열심히 노력한다면 행동적으로 조작화할 수 있을 것이다. 방법론적 관점에서, 의사들이 신뢰를 레퍼런스틀로 사용하는 것에 편안할 수 있지만, EPA를 통한 평가는 추론이나 주관성을 감소시키지 않는다.

As for content, I believe that the movement toward EPAs has made us focus too much on what Grandma knows how to cook, not what is good for us.50 The Core EPAs direct too much of our attention toward the mundane and technical skills that allow hospital teams to function smoothly, thereby distracting us from those roles and behaviors of physicians that are more abstract in concept, yet could be operationalized behaviorally if only we worked harder at doing so. Methodologically, although physicians may be comfortable using trust as their frame of reference, assessment via EPAs does not decrease inference or subjectivity.

소소한 제안.

a few modest proposals

첫째, 일부에서는 EPA와 역량이 나란히 공존할 수 있다고 주장하지만, 66.8은 figure and ground 원칙을 상기해보면, 저는 교육자들이 둘 중 하나에 초점을 맞출 것이라고 생각합니다. 따라서 단일 하이브리드 모델을 제안합니다.

First, while some have argued that EPAs and competencies can coexist side by side,6,8 recalling the principle of figure and ground, I believe that educators are likely to focus on one or the other—to the extent that they are seen as separate entities. Therefore, I would like to propose a single hybrid model

목록 1에는 의사가 수행할 수 있는 측정 가능한 활동으로, 다양한 역량 또는 신뢰 또는 감독 수준에서 실습생으로서, 1일차 레지던트와 그 이후의 위대한 의사들로도 명시되는, 제가 제안한 의학 과제(TOM)가 포함되어 있습니다.

List 1 contains my proposed Tasks of Medicine (TOMs), stated as measurable activities that physicians can be expected to do, at varying levels of competence or trust or supervision, as clerks, as residents on Day 1, and as great physicians well beyond.

성직자, 인턴, 거주자에 대해 서로 다른 기준, 표준, 기대치가 존재할 수 있기 때문에, 동일한 행동들은 상황에 따라 다르게 판단될 수 있다. 따라서, 우리는 초보자부터 마스터, 3학년 학생부터 수석 거주자, 20년 실무자까지 모든 범위의 설명자를 개발할 필요가 있다.

because different frames of reference, standards, and expectations may exist for clerks, interns, and residents, identical behaviors may be judged differently depending on their context. Therefore, we need to develop a single set of descriptors that covers the full range from beginner to master, from third-year student to chief resident to 20-year practitioner.

4 Englander R, Flynn T, Call S, et al. Toward defining the foundation of the MD degree: Core Entrustable Professional Activities for Entering Residency. Acad Med. 2016;91:1352–1358.

6 Carraccio C, Englander R, Gilhooly J, et al. Building a framework of entrustable professional activities, supported by competencies and milestones, to bridge the educational continuum. Acad Med. 2017;92:324–330.

31 Krupat E, Frankel R, Stein T, Irish J. The Four Habits Coding Scheme: Validation of an instrument to assess clinicians’ communication behavior. Patient Educ Couns. 2006;62:38–45. XXX

18 Tekian A. Are all EPAs really EPAs? Med Teach. 2017;39:232–233. ==

Critical Thoughts About the Core Entrustable Professional Activities in Undergraduate MedicalEducation.

CBME에서 양과 질에 대한 잘못된 이분법(Adv in Health Sci Educ, 2014)

The false dichotomy of quality and quantity in the discourse around assessment in competency-based education

Olle ten Cate

오래되었지만 유용한 정의에 따르면, 역량 기반 의료 교육(CBME)의 의도된 결과는 "국지적 조건에 부합하여, 국지적 요구를 충족시킬 수 있도록 정의된 수준의 숙련도로 의술을 수행할 수 있는 의료 전문가"이다.

According to an old but useful definition, the intended outcome of competency-based medical education (CBME) is ‘‘a health-professional who can practice medicine at a defined level of proficiency, in accord with local conditions, to meet local needs’’ (McGaghie et al. 1978).

보다 현대적인 정의에는 "

• 졸업 성과능력의 근본적 지향적인 실천을 위한 의사 준비 방법 

• 사회적 요구와 환자 요구의 분석에서 파생된 역량에 관련하여 조직화된다. 

• 시간 기반 훈련을 강조하지 않으며 책임성, 유연성 및 학습자 중심성을 높인다"(Frank et al. 2010)가 있다.

More modern definitions include ‘

• ‘An approach to preparing physicians for practice that is fundamentally oriented to graduate outcome abilities and 

• the organization around competencies derived from an analysis of societal and patient needs. 

• It de-emphasizes time based training and promises a greater accountability, flexibility, and learner-centeredness’’ (Frank et al. 2010)

"의료전문직 교육이란 한 개 이상의 의료 역량의 고정된 숙련도를 목표로 하는 것이다" (10 Cate 2014a, b)

‘‘Education for the medical profession that is targeted at a fixed level of proficiency in one or more medical competencies’’ (ten Cate 2014a, b).

질과 양 사이의 대조는 그것이 이것 또는 저것과 같은 "둘 중 하나" 상황을 암시함으로써 오해를 만든다. 즉 시간과 절차 수를 기록하여 역량을 획득하거나, 성능을 측정함으로써 역량을 획득한다고 보는 것이다.

The contrast between quality and quantity is such a misunderstanding, as it suggests that they represent an ‘‘either–or’’ situation. Either you achieve competence by documenting time and number of procedures, or you achieve it by measuring performance.

새로운 치과 교육 프로그램의 최근 현장 검토 결과...

a recent on-site review of a new dental education program

기존의 치과대학 커리큘럼에서 학생들은 양적 기준(예: 추출물 수, 근관 치료, 왕관 및 교량)을 충족하도록 요구받았다. 반대로 새로운 커리큘럼은 수행된 절차procedure의 양보다는 역량 기반 교육의 현대적인 접근방식을 따랐다. 여기서 우리가 충격을 받은 것은 학생들이 (학교가 최소한의 양적 기준을 요구하지 않았다는 이유로) independent practice을 위한 적절한 기준을 충족시키지 못할 것을 매우 걱정했다는 것이다. 학교는 대신 학생들에게 전자 포트폴리오로서 치과 시술에 관한 역량에 대한 증거를 제공할 책임을 부여한다.

Whereas in the former dental curriculum the students were required to meet quantitative criteria (such as numbers of extractions, root canal treatments, crowns and bridges completed), the new curriculum follows a modern approach of competency-based education that stresses attained competencies rather than quantity of procedures done. It struck our review committee how worried students were that they would not meet adequate standards for independent practice, as the school had ceased to require minimum quantitative standards but instead put responsibility on students to provide proof of their competence in dental procedures in their electronic portfolio. 

위에서 인용한 CBME의 정의 어느 곳에도 학습자 평가에 있어 연습의 양이나 경험의 양이 중요하지 않다고 이야기하지 않지만, 이러한 혼란은 쉽게 이해할 수 있다. 역량 기반 교육은 기준에 따라 역량을 평가해야 하지만, 이러한 기준을 충족하는 시간은 유연해야 한다. 따라서 CBE에서 시행된 경험이나 절차의 양이 학생이 "인증"을 받는 순간에 모든 학습자에게 동등하다고 말할 수는 없다. 그러나 그렇다고 해서 "우리는 역량 기반 교육을 채택했고 따라서 직무나 절차 수 등과 같은 경험의 양은 신경쓰지 않으며, 학습자의 질만을 검토한다"는 주장은 타당하지 않다.

Nowhere in definitions of CBME cited above is to be found that quantity of exercises or experiences in the evaluation of learners is unimportant, but the confusion is easily understood. While competency-based education requires evaluation of standard levels competence, the time to meet these standards must be flexible. Hence in CBE it cannot be stated that the quantity of experiences or procedures practiced should be equal for all learners at the moment of certification. The argument however, that ‘‘we have adopted competency-based education, and therefore we look at the quality of the learners, not at quantity of experiences, such as time on tasks or numbers of procedures’’ is not valid.

'양'을 버리는 것이 위험한 또 다른 이유가 있다. 개인의 진보를 문서화하는 포트폴리오 접근법은 집단 평가 절차를 위한 합리적인 대안이며, workplace 학습에 매우 적합하며, CBE 프로그램에서 점점 더 많이 사용된다.

There is another reason why abandoning quantity may be dangerous. To document individual progress, a portfolio approach is a sensible alternative for mass assessment procedures, very apt for workplace learning, and increasingly used in CBE programs.

일반적으로 포트폴리오는 학습자가 수집, 소유 및 제어하는 문서 컨테이너가 된다.(Challis 1999). 하지만, 이것의 성공에는 학습자와 교사 모두의 상당한 노력이 필요합니다. (Driessen et al. 2005) 학생들이 주로 채우고 읽으며, 철저하게 평가할 시간과 기술이 부족하다는 이유로 교사가 거의 읽지 않는 포트폴리오는 역량의 척도로서 쓸모가 없다.(Driessen et al. 2007).

Portfolios are usually presented as containers of documentation, to a large extent collected, owned and controlled by the learner (Challis 1999). Its success however requires quite a bit of effort from both learners and teachers (Driessen et al. 2005). Portfolios that are predominantly filled and read by the students themselves, and hardly by teachers because of a lack of time and skill to thoroughly evaluate them, cannot serve well as measures of competence (Driessen et al. 2007).

어떤 경우에는 학습자에게 너무 많은 책임이 주어져서 학습자는 자기 평가뿐만 아니라 그들의 능력을 수준까지 증명해야 한다. 이러한 상황은 포트폴리오의 복잡한 평가를 수행할 시간이 부족할 뿐만 아니라 포트폴리오에 대한 엄격한 평가 도구가 부족하기 때문에 발생할 수 있습니다. 또한 이러한 상황은 학습자가 자신의 학습(및 평가)에 대해 책임을 져야 한다는 구성주의 교육 철학에 의해 종종 보호됩니다. 하지만 이것이 단지 교사들의 부담을 경감하기 위한 방패막이 구실이라면, 그것이야말로 구성주의가 선호받지 못한 이유일 것이다. 이렇게 이뤄지는 포트폴리오는 단순히 말해서 부적절한 기준의 유지에 불과하다.

In some cases too much emphasis is laid on the responsibility of learners to not only self-assess but also prove their competence to a level . This policy may not only be caused by a lack of time to do the cumbersome evaluation of portfolios , but also by a lack of rigorous assessment tools for portfolios. The policy is often defended by a constructivist educational philosophy that learners should take responsibility for their own learning (and assessment). If such defense serves as an excuse to alleviate teacher burden, rather than a deliberate educational policy, it may be one of the reasons why constructivism has attained a less favorable press (Kirschner et al. 2006). The result is simply an inadequate maintenance of standards.

지금껏 너무 자주 'quantity'만으로 역량을 결정하기에 충분한 것으로 여겨져 왔다: "이 절차를 다섯 번 했다면, 더 이상 당신을 평가할 필요가 없다."와 같은 것이다. 물론 실제 능력은 관찰되고 평가되어야 한다. 그러나 학습자가 감독 없이도 할 수 있다고 믿기 전에(Cianciolo 및 Kegg 2013), 학습자가 그것을 얼마나 자주 수행했는지를 확실히 알 필요도 있습니다.

Too often quantities have been regarded as sufficient to determine competence: ‘‘if you have done this procedure five times, then I don’t need to evaluate you any further’’; Actual competence must be observed and assessed. But before trusting a learner to work unsupervised (Cianciolo andKegg 2013), it sure helps to know how often procedures have be done

합리적 접근 방식은 학습자가 감독 없이도 일을 수행할 수 있는지에 대한 공식적 entrustment 평가를 받기 전에 사전 조건을 충족하도록 요구하는 것이다.

and a logical approach is to require learners to meet some pre-conditions before they are eligible for evaluation and for a formal entrustment decision to work unsupervised.

역량 기반 교육에서 질적 평가를 수행해야 하는 필요성과는 별개로, 노력의 경험의 quantity는 중요하다. 최소 숫자의 절차를 완료해야 하는 프로그램도 역량-기반일 수 있다. 어떤 프로그램이 만약 특정 횟수의 procedure나 특정 기간의 수련을 요구하지 않는다면, 그 프로그램은 모든 의도된 역량을 타당하게 평가해야 하는 책임이 오히려 커진다(Lurie et al. 2009). 어쩌면 그 치대생들은 정말 타당한 논지를 가지고 있었을지도 모른다.

clearly quantity of effort and experience is important and by no means in contrast with the need to evaluate qualitatively in competency-based education. A program that requires minimum numbers of procedures completed may well be competency-based. A program that does not require numbers of procedures or months of effort takes on a great responsibility to validly assess all intended competencies, which is not an easy task (Lurie et al. 2009). The dental students may really have had a valid point.

Driessen, E., van Tartwijk, J., van der Vleuten, C., &Wass, V. (2007). Portfolios in medical education: Why do they meet with mixed success? A systematic review. Medical Education, 41(12), 1224–1233.

The false dichotomy of quality and quantity in the discourse around assessment in competency-based education.

역량바탕교육: 이정표인가 맷돌인가?(J Grad Med Educ, 2014)

Competency-Based Education: Milestones or Millstones1?

Geoff Norman, PhD John Norcini, PhD Georges Bordage, MD, PhD

CanMEDS 역량은 네덜란드, 덴마크, 멕시코 등 16개국에 의해 채택 및 조정되었다.5 게다가 카네기 재단의 영향력 있는 플렉스너 100주년 기념사업은 CBE 채택을 강력히 추천했고 다음과 같은 주장을 했다. "OBE의 채택은 의학 졸업생들이 복잡한 상황에서 효과적으로 대응할 수 있도록 더 잘 준비할 것이며 필요한 역량의 깊이와 폭을 계속해서 효율적으로 확장할 것이다."

CanMEDS competencies have been adopted and adapted by 16 countries, including the Netherlands, Denmark, and Mexico.5 Moreover, the Carnegie Foundation’s influential Flexner centenary strongly recommended adopting CBE and made the claim that ‘‘Adoption of OBE [outcome-based or competency-based education] would better equip medical graduates to respond effectively in complex situations and efficiently continue to expand the depth and breadth of the requisite competencies.’’6,7

Harden8(p666)은 OBE/CBE에 대한 여러 가지 이점을 설명합니다.

Harden8(p666) ascribes a number of advantages to OBE/ CBE:

OBE는 다양한 이점을 제공하는 커리큘럼 계획을 위한 정교한 전략입니다. 이해관계자를 engage시키는 직관적인 접근입니다. 그것은 학생 중심의 접근을 장려하며 동시에 더 나은 책임감과 퀄리티 보증을 위한 경향을 서포트한다. 그것은 무시될지도 모르는 교육과정의 분야를 강조한다. 예를 들면 윤리나 태도...

OBE is a sophisticated strategy for curriculum planning that offers a number of advantages. It is an intuitive approach that engages the range of stakeholders . . . it encourages a student-centred approach and at the same time supports the trend for greater accountability and quality assurance . . . [it] highlights areas in the curriculum which may be neglected . . . such as ethics and attitudes . . ..

유감스럽게도, 이 선언들은 증거보다는 믿음의 문제로 보인다.

Regrettably, these declarations appear to be more a matter of faith than of evidence.

CBE의 주된 목적은 투명성입니다. 투명성 덕분에 전문직과 대중은 훈련 프로그램이 실습을 위한 지식과 기술을 갖춘 유능한 의사들을 배출한다는 것을 확신할 수 있습니다. 이 전제를 반박하기는 어렵다; 문제는 CBME의 제안된 메커니즘이 약속을 이행할 수 있느냐이다.

The primary intent of CBE is, we believe, transparency, so that the profession and the public can be confident that a training program is producing competent physicians who are equipped with the knowledge and skills for practice. It is hard to challenge that premise; the issue is whether the proposed mechanisms can deliver on the promise.

3가지 수준의 잠재적인 문제: 개념적, 심리학적, 그리고 로지스틱적.

potential problems at 3 levels: conceptual, psychometric, and logistic.

개념적 문제

Conceptual Problems

CBE의 한 가지 이점은 역량이 (적어도 표면상으로는) 단순함의 미덕을 가지고 있다는 것이다. 그들은 일반적으로 수가 (적어도 최상위 수준에서는) 적다. CanMEDS는 8가지 역할을 나열하고, ACGME는 6가지 능력을 가지고 있으며, Scottish 닥터는 7가지 능력을 가지고 있다. 놀랍게도, 많은 specifications들 사이에 중복되는 부분이 거의 없는 것 같다.9

One purported advantage of CBE is that the competencies appear, on the surface, to have the virtue of simplicity. They are generally few in number, at least at the top level. CanMEDS lists 8 roles, ACGME has 6 competencies, and the Scottish Doctor lists 7. Remarkably, there appears to be little overlap among many of the specifications.9

비록 역할의 경제economy of roles가 CBE를 그것의 역사적 선조라 할 수 있는 행동 목표와 CBE를 차별화하는 하나의 특징으로 홍보되지만, 이 간결함은 각 역할 또는 역량에 대한 하위 역량에서 빠르게 상실된다. 예를 들어, 스코틀랜드의 닥터는 12개 역량의 86개의 하위역량을 열거한다.

although an economy of roles is touted as 1 feature that sets CBE apart from its historical predecessor, behavioral objectives, this parsimony is rapidly lost in the further, more detailed specification of each role or competency. For example, the Scottish Doctor lists 86 subcompetencies under 12 competencies.

(역량의 확산에도 불구하고) 역량이 행동 목표와 다소 다르다는 주장은 유지되기가 어렵다. 실제로, Morcke와 동료들은 1970년대의 행동 목표 운동과 결과나 역량에 대한 현재의 관심 사이의 직접적인 경계를 설명했다. 행동 목표와 역량 사이의 유사성에 비추어 볼 때, 행동 목표의 궁극적인 종말을 초래한 요인들을 고려해야 한다: 

• 분명한 교육 이점의 증거 부족 

• 목표를 지정하고 교육 및 평가 접근방식을 구현하는 데 필요한 많은 노력 

• 저수준 목표의 득세

The argument that competencies are somehow different from behavioral objectives is difficult to maintain in the face of this proliferation of competencies. Indeed, Morcke and colleagues7 described a direct lineage between the behavioral objectives movement of the 1970s and current interest in outcomes or competencies. In view of the similarity between behavioral objectives and competencies, one should consider the factors that led to the ultimate demise of behavioral objectives: lack of evidence of clear educational benefits, the effort required to specify objectives and then implement educational and assessment approaches, and the dominance of low-level objectives.

게다가 행동주의에 대한 상세한 비판 중 일부는 CBE에 대한 도전에서 이미 다시 논의되고 있다. 특히, Harden이 논의한 바와 같이, CBE의 장점은 (시험에 합격함으로써 증명되는 지식의 단순한 숙달보다) 임상 능력의 특성에 대한 보다 전체적인holistic 관점을 장려한다는 것이다. 그러나 역설적으로 역량의 상세 규격specification 요건은 그러한 전체적인 관점을 완화시킬 수 있다. 왜냐하면 Morcke 등이 지적한 바와 같이 인본주의, 이타주의, 전문성, scholarship과 같은 자질은 객관적이고 측정 가능한 용어로 정의하기 어려우며 따라서 평가에서 짧게 넘어갈 수 있기 때문이다.

Moreover, some of the detailed critiques of behaviorism have been revisited in challenges to CBE. In particular, as discussed by Harden,8 a purported advantage of CBE is that it encourages a more holistic view of the nature of clinical competence than simple mastery of a body of knowledge evidenced by passing an examination. However, paradoxically, the requirement for detailed specification of competencies may mitigate against such a holistic view, as pointed out by Morcke et al,7 since qualities, such as humanism, altruism, professionalism, and scholarship, are difficult to define in objective, measurable terms, and thus may receive short shrift in assessment.

심리측정적 측면

Psychometric Considerations

비록 역량의 긴 목록은 CBE가 행동 목적과 구별될 수 있다는 개념에 부합하지만, 두 가지 접근법은 측정 수준에서 다르다. 행동주의 연구 의제와 일관되게 행동 목표 달성은 2진법으로 여겨졌다.

Although the long lists of competencies belie the notion that CBE is distinguishable from behavioral objectives, the 2 approaches do diverge at the level of measurement. Consistent with the behaviorist research agenda, achievement of behavioral objectives was viewed as binary.

아마도 적절하게 CBE 운동은 역량 성취에 대해 보다 현실적인 관점을 취해왔다. 아무리 역량이 원자적이라 하더라도(다음 절에서 우리가 복귀하는 지점) 달성도를 단계적 함수로 기술하는 것은 비현실적이라는 인식이 있다. 어린이들은 어느 날까지 기어가다가 갑자기 다음 날 걷지 않습니다: 걷는 것은 몇 주 또는 몇 달 동안 일어나는 점진적인 숙달 과정입니다.

Perhaps appropriately, the CBE movement has taken a more realistic perspective on the achievement of competencies. There is recognition that, however atomistic a competency is specified (a point we return to in the next section), describing its achievement as a step function is unrealistic. A child does not crawl one day and walk the next: Walking is a gradual process of mastery that occurs over weeks or months.

능력의 점진적인 취득에 대한 개념은 비선형 성장 곡선으로 표현되어 왔다. 여기서 능력의 성장은 처음에는 빠르지만, 그 다음에는 감속된다.15

This notion of the gradual acquisition of competence has been represented as a nonlinear growth curve, where growth of competence is initially rapid, but then decelerates (FIGURE 1).15

간단한 운동 능력simple motor skill이 그러한 곡선들과 유사한 동력 법칙을 따른다는 가설을 뒷받침하는 몇 가지 증거가 있다. 그러나 이러한 곡선은 단순한 반복 작업(한 스터디에서 시가 롤링)과 단일 세션에서만 파생됩니다.

There is some evidence to support the hypothesis that simple motor skills do follow a power law that resembles those curves. However, such curves are derived from a simple repetitive task (in one study, cigar-rolling) and a single session.

그러나 전체 세션에서 단조로움monotonic 성장이 있습니다(FIGURE 2).16 특정한 능력 수준(Y축의 한 점)이 달성되고 "달성되지 않음"이 있을 수 있으며, 역량이 달성되는 경우 여러 점이 있을 수 있다는 것을 암시합니다.

but there is monotonic growth across sessions (FIGURE 2).16 The implication is that a particular level of competence—a point on the y-axis—can be achieved and ‘‘unachieved,’’ and there may be multiple points where competence is achieved.

또한, 이러한 곡선이 레지던트 환경에서 특정 역량의 성장에 대한 더 유효한 표현일 수 있지만, "..."... 상상할 수 있는 거의 모든 형태의 학습 곡선이 발견될 수 있고 발견되었다는 점을 강조해야 한다."

Further, although these curves may be a more valid representation of the growth in specific competencies in the residency setting, it should be emphasized that ‘‘ . . . learning curves of almost every conceivable shape can and have been found.’’16

매 4개월마다 맥마스터 학부생에게 시행되는 180개 항목, 객관식 테스트(그림 3). 이러한 테스트의 연속적인 관리로부터의 성장 곡선은 이정표에 대해 가정된 것과 유사하다(FIGURE 1).

 the 180-item, multiple-choice test administered to McMaster undergraduates every 4 months (FIGURE 3). The growth curve from the successive administration of those tests is similar to those postulated for Milestones (FIGURE 1).

이러한 사례로부터 보자면, ACGME 역량 획득의 상세한 사양은 (특정 시점에 독립적인 관찰과 일치하는 수준의 달성으로 식별할 수 있는 정도까지 하려면) 비현실적인 샘플이 요구된다는 것은 명백하다.

It is apparent from these examples that detailed specification of the acquisition of any ACGME competency, to the point that it can be identified with the attainment of a level consistent with independent practice, at a particular point in time, will require an unrealistic sample of observations.

마찬가지로 CanMEDS 역할에 기반한 글로벌 등급 평가는 요인 분석에서 5개의 요인을 산출했지만 전체 내부 일관성 0.97을 가지며 척도 간의 차이가 없음을 보여 주었다.

Similarly, an evaluation of a global rating based on the CanMEDS roles,17 although it yielded 5 factors in a factor analysis, had an overall internal consistency of 0.97, again showing a lack of discrimination between scales.

이것은, 역량이 너무 광범위해서 차별화discrimination하지 못하는 것은 단순히 평가자가 용어의 의미를 적절하게 정의하고 내재화하지 못하는 능력의 반영일 수 있다. 그것은 마치 "유럽 지리를 얼마나 잘 아는가?"와 "다음 서유럽 국가들의 수도는 어디인가?"와 같은 질문의 차이와 유사하다. 따라서 전반적인 평가 개선은 보다 상세한 수준의 관찰에서야 발생할 수 있다.

It may be that these competencies are so broad that the lack of discrimination simply reflects the inability of assessors to adequately define and internalize the meaning of the terms. It may be likened to the difference between a question like ‘‘How well do you know European geography?’’ and ‘‘What are the capitals of the following western European countries?’’ It is possible then, that improved overall assessment may result from observations at a more detailed level.

한 편으로는, 상대적으로 객관적인 문서화가 가능하도록 역량의 상세히 규격하는 것은 레지던트 당 압도적 수의 평가를 초래한다. 그러나 반대로, 여러 역량을 함께 묶는 것은 정확하고 도움이 되는 피드백을 주지 못하게 만들고, 역량을 달성하는 것이 무엇을 의미하는지에 의문을 갖게 한다. 더욱이, 평가자들은 심지어 global 수준에서도 개인의 능력을 구별할 수 없는 것으로 보이며, 최소한의 신뢰도 달성하려면 많은 관찰이 필요하다.

On the one hand, detailed specification of competencies so that relatively objective documentation can be obtained results in an overwhelming number of assessments per resident. On the other hand, lumping competencies together precludes accurate and helpful feedback and leads to questioning precisely what it means to achieve competence. Moreover, it appears that judges cannot discriminate individual competencies even at this global level of specification, and many observations are needed to achieve even minimal levels of reliability.

광범위한 수준에서 합리적인 총괄 평가는 가능하지만, 그러한 형성평가를 위해서는 반드시 보다 상세한 수준의 관찰에 기초해야 한다.

reasonable summative assessment is possible at a broad level, but that formative assessment must necessarily be based on observations at a more detailed level.

로지스틱 문제

Logistic Problems

역량 기반 교육은 모든 숙달학습이 갖는 로지스틱 문제와 그 이상의 물류 문제를 추가로 안고 있다. 일부 학습자가 다른 학습자보다 더 빨리 능력을 획득할 수 있거나, 더 정확히 말하면, 어떤 학습자는 다른 학습자보다 더 빨리 어떤 능력을 획득할 수 있다고 가정하는 것은 매력적일 수 있다. 일정 수준의 개별화는 가능할지도 모른다. 한 레지던트가 특정 절차procedure에 대해 조기에 "완수"한 후 다른 절차procedure에 시간을 투자할 수 있다. 그러나 모든 시점에서 특정 역량을 평가할 수 있는 교수진을 확보하는 것은 현실적이지 않다. 게다가, 다양한 훈련 시간을 갖는 것은 실용적이지 않다.

Competency-based education has all the logistical problems of mastery learning and many more. However attractive it may be to presume that some learners may attain competency more quickly than others or, more precisely, that some learners may achieve some competencies more quickly than others do . Some individualization may be possible; one resident may ‘‘sign off’’ on a particular procedure early and then redirect time to a different procedure. However, it is not practical to have faculty available to assess particular competencies at any point in time. Moreover, it is simply not practical to have variable training times.

레지던트의 계약은 특정 기간(일반적으로 1년)으로 이뤄지며, 레지던트가 프로그램을 조기에 또는 나중에 종료하도록 허용하는 계약을 작성하기는 어려울 것이다. 현재 교육기관들은 개인화된 훈련 기간을 가진 레지던트를 기준으로 일정과 예산을 계획할 수 없다. 현재 해당 연도 내에 역량을 획득하지 못한 소수의 레지던트에게는 교정조치를 위한 추가 시간이 x개월로 부여된다. 비록 이것이 레지던트 프로그램 계획을 방해하더라도, 그 수가 적을 때에는 감당할 수 있다. 현재로서는 각 레지던트의 수련 기간을 개인화하는 것이 불가능하기 때문에, 먼저 역량을 성취하여 레지던트가 졸업한다면 비용이나 시간을 절약할 수 있다는 주장은 의심스럽다.

Contracts are given to residents for specific periods (usually a year), and it would be difficult to create a contract to allow residents to leave a program earlier or later. Currently, institutions cannot plan schedules and budgets based on residents having individualized lengths of training. Currently, those few residents who do not achieve competencies within that year are given x number of months additional time for remediation. That disrupts residency program schedules but is manageable because the numbers are small. At present, individualizing training periods for each resident is not feasible, thus the claims that Milestones can save money or time by possibly graduating residents earlier appear specious.

이 관점의 함축은 불안하다. 역량 기반 교육은 서로 다른 개인이 다른 시점에 서로 다른 영역에서 역량을 획득할 것을 약속한다. 그것이 교육 자원의 할당과 레지던트 수련시간의 "가상적" 효율성을 가져올 수 있지만, 그것은 GME의 현재의 현실과 양립할 수 없다.

The implication of this viewpoint is unsettling. Competency-based education promises that different individuals will achieve competency in different domains at different times. Although that may lead to hypothetical efficiencies in allocation of educational resources and resident time, it is incompatible with the current realities of GME.

CBE를 위한 장점이 있습니까?

Is There Any Advantage for CBE?

지정된 역량에 대해 4가지 이상의 역할을 수행할 수 있습니다.

• 1. 학생 또는 레지던트의 학습 유도

• 2. 침상 및 진료소에서 레지던트와 학생에게 매일 피드백 제공

• 3. 로테이션 종료 또는 프로그램 종료 시 합격/불합격 결정

• 4. 라이선스 및 인증에 합격/불합격 결정

One can envision at least 4 distinct roles for specified competencies:

• 1. Guiding learning for a student or resident

• 2. Giving daily feedback to residents and students at the bedside and in clinic

• 3. Making pass/fail decisions at the end of a rotation and the end of a program

• 4. Making pass/fail decisions for licensure and certification

학습 유도

Guiding Learning

역량의 상세한 사양은 여러 수준에서 유용성을 가질 수 있다. 첫째, 각 레지던트가 최소한 모든 역량에 노출되는 것을 보장할 수 있는 프로그램 계획에 사용할 수 있다.

A detailed specification of competency may have utility on a number of levels. First, it can be used in program planning to ensure that each resident is at least minimally exposed to every competency.

둘째, 그러한 설명은 현재처럼 진단 procedure와 같은 스킬 분야에서 의무적으로 요구되는 절차 수를 계산하기 보다는, 달성한 역량 정도를 측정하는 procedure log를 도입하여 특정 기술에 대해 쉽게 조작할 수 있다.

Second, such a description could also easily be operationalized for specific skills, such as diagnostic procedures, by introducing a procedure log that measures degrees of competence rather than counts the number of procedures, as is currently mandated in procedural specialties.

평가와 피드백

Assessment and Feedback

최소한, 특정 역량의 인증 요건은 지금껏 역사적으로 늘 부족했던 "레지던트 퍼포먼스의 관찰" 증가로 이어져야 한다. 모든 역량에 대해 충분한 수의 관찰을 "sign off"하는 것이 결코 실현 가능하지 않을 수 있지만, 관찰이 증가하는 것 자체로 이점이 있을 것이다.

At minimum, the requirement for certification of specific competencies must inevitably lead to increased observation of resident performance, an area that is historically underserved. Although it may never be feasible to conduct sufficient numbers of observations to ‘‘sign off’’ on all competencies, increased observation would bring its own benefits.

합격과 탈락 결정

Determining Pass and Fail in Programs

역량 프레임워크는 테스트 샘플링을 위해 쉽게 사용할 수 있는 청사진을 제공한다. 다시, '모든' 역량을 '충분히' 관찰할 수 없다는 것은 충분히 인식하지만, 청사진은 훈련 중인 평가 및 시험 내용의 대표성에 대한 신뢰도를 높일 수 있다. 결과적으로, 그것은 프로그램이 전공의 수련의 목표의 달성을 인증할 수 있는 자신감을 증가시킬 수 있다.

the competency framework provides a readily available blueprint for test sampling. Again, the impossibility of observing all competencies sufficiently is recognized, but the blueprint can provide increased confidence on the representativeness of the content of in-training assessments and examinations. In turn, that may increase the confidence with which programs can certify achievement of residency program objectives.

인증과 증명

Accreditation and Certification

마찬가지로 역량 프레임워크는 전문과목 학회가 검사 specification에 사용할 수 있는 자연스러운 blueprint입니다. CBE가 보드 시험을 대체할 가능성이 없다는 것은 자명하다. 그러나 competency statement는 콘텐츠의 대표성(유효성)을 보장하고, 궁극적으로 레지던트의 성과에 대한 평가를 개선하기 위한 보드시험을 설계하기 위한 자연스러운 출발점이다.

Similarly, the competency framework is a natural blueprint for specialty boards to use in examination specification. It is self-evident, that CBE is unlikely to replace board examinations. However, the competency statement is a natural starting point for design of board examinations, again directed at assurance of content representativeness (validity), and ultimately, improved assessment of resident performance.

인증 위원회가 인증 절차에 기초할 보다 체계적인 증거를 확보한다는 점도 장점이다.

A further advantage is that certifying boards will have more systematic evidence on which to base accreditation procedures.

역량 기반 교육은 가장 열성적인 지지자들이 주장하는 장점들을 결코 달성하지 못할 것이다. 교육 연구 한 세기는 교육적인 "만병통치약"이 없다는 것을 분명히 보여준다. 그럼에도 불구하고, (단순 시간 투입이 아니라) 역량 성취라는 포커스를 향한 변화는, 점진적이라도 입증 가능한 이익을 가질 가능성이 높다. 문제는 administrative elephant를 만들지 않으면서 이점을 극대화하기 위해 리소스를 전략적으로 재할당해야 한다는 것입니다.

Competency-based education may never achieve the many virtues attributed to it by its most enthusiastic proponents. A century of educational research clearly demonstrates that there are no educational ‘‘wonder drugs.’’ Nevertheless, the change of focus toward achievement of competency, rather than putting in time, is likely to have demonstrable, if incremental, benefits. The challenge is to reallocate resources strategically to maximize benefit while avoiding creating an administrative elephant.

7 Morcke AM, Dornan T, Elka B. Outcome (competency) based education: an exploration of its origins, theoretical basis and empirical evidence. Adv Health Sci Educ Theory Pract. 2013;18(4):851–863.

J Grad Med Educ. 2014 Mar;6(1):1-6. doi: 10.4300/JGME-D-13-00445.1.

Competency-based education: milestones or millstones?

평가 프로그램 설계: 참여적 방법(Med Teach, 2017)

Designing programmes of assessment: A participatory approach 

Janica Jamiesona , Gemma Jenkinsa, Shelley Beattya and Claire Palermob

aSchool of Medical and Health Sciences, Edith Cowan University, Perth, Australia; bDepartment of Nutrition and Dietetics, School of Clinical Sciences at Monash Health, Faculty of Medicine, Nursing and Health Sciences, Melbourne, Australia

도입

Introduction

작업 기반 환경에서 CBA의 복잡성이 존재한다. 어려움 중 일부는 특히 형성평가에서 의미 있는 피드백을 포착하는 것(Bindal et al. 2011; Bok et al. 2017)과 역량의 전체 모습을 잡아내기 위해서 개별 평가 항목을 통합하는 것을 포함한다(Bok).

there are complexities of CBA in a work-based setting. Some of the difficulties include capturing feedback that is meaningful, particularly in formative assessment (Bindal et al. 2011; Bok et al. 2013; Barrett et al. 2017), and aggregating individual assessment items to holistically capture competence (Bok et al. 2013).

평가 프로그램은 다음에 의해서 underpin되는 평가항목의 의도적 배열이다(Van der Veen 등).

• 평가가 학습을 유도해야 한다는 것

• 고부담 평가는 반드시 강건해야 한다는 인식

• 타당도는 도구가 아니라 사용자에 달려있다는 것

A programme of assessment is a purposeful arrangement of assessment items underpinned by 

• the need for assessment to drive learning, 

• recognition that high stakes assessment must be robust, and 

• that validity lies with the users rather than the instruments (Van der Vleuten et al. 2012).

프로그램적 접근방식(Dijkstra et al. 2012; Van der Vleuten et al. 2015)에 대한 합의가 있었지만, 대부분의 문헌은 개념적이고 실제 사례는 적다(Driessen et al.

While there is agreement on a programmatic approach (Dijkstra et al. 2012; Van der Vleuten et al. 2015), much of the literature is conceptual and real-life examples limited (Driessen et al. 2012; Bok et al. 2013; Van der Vleuten et al. 2015).

본 연구의 목적은 평가 프로그램을 설계하는 참여 작용 연구(PAR) 접근방식을 적용하고 평가하는 것이었다.

The aim of this study was to apply and evaluate a participatory action research (PAR) approach to design a programme of assessment.

Methods

세팅

Setting

방법론

Methodology

PAR은 프로그램 평가 원칙에 따라 20주간의 배치 재설계를 위해 사용되었다. (Van der Vleuten et al. 2012; Dijkstra et al. 2012; Van der Vleiten et al. 2015) PAR는 연구원과 참여자 간의 파트너십을 형성하여 활동 연구 주기를 이용하여 실천을 이해하고 개선하고자 한다(Baum et al. 2006; Reason and Bradbury 2008). 이러한 접근 방식을 이용하여, 취업 기반 평가관과 대학 교수로 구성된 실무 그룹이 설립되었다. 작업 기반 평가관은 배치 중에 감독 및 평가에 참여하는 주요 이해당사자로 확인되었으며, 모든 배치 위치에 대한 이메일 초대(n1⁄421)를 통해 모집되었습니다. 이러한 부가적인 표본 추출은 최종 프로그램의 적용 가능성을 강화하기 위해 다양한 작업 설정을 나타내었다. 

PAR was used to redesign the 20 week placement in accordance with programmatic assessment principles (Van der Vleuten et al. 2012; Dijkstra et al. 2012; Van der Vleuten et al. 2015). PAR seeks to understand and improve practices using the action research cycle by forming a partnership between researchers and participants (Baum et al. 2006; Reason and Bradbury 2008). Using this approach, a working group composed of work-based assessors and university academics was established. Work-based assessors were identified as key stakeholders involved in supervision and assessment during placement and were recruited via an email invitation to all placement locations (n¼21). This purposive sampling ensured that a range of work settings were represented to strengthen the applicability of the final programme. 

다양한 표본 추출 방법을 설명하기 위해 종이 기반 조사를 사용하여 인구통계 및 직업 특성을 수집했다. 9명의 직업기반 평가관은 관심을 표명했고 (ECU) 대학 교수인 두 명의 연구원(J. J. J. J.와 G. J.)과 함께 참여했으며, 이 직책에 대해 복잡한 이해를 갖고 있다. 연구원들은 영양사 평가에서 전문 지식을 가진 독립적인 학자와 함께 했다. 본 연구는 대학 윤리 승인(ECU)을 받았고 참가자들은 서면 정보를 통한 동의를 제공했다.

Demographic and occupational characteristics were collected using a paper-based survey to describe the diverse sampling. Nine work-based assessors expressed interest and were joined by two researchers (J. J. and G. J.) who are (ECU) university staff and have an intricate understanding of the placement. The researchers were joined by an independent academic with expertise in assessment of dietitians (C. P.). The study received university ethics approval (ECU) and participants provided written informed consent.

평가 재설계

Redesigning assessment

Evaluation of the PAR process

정성적 평가가 그 연구에 포함되었다. 특히 PAR 접근 방식이 새로운 평가 프로그램을 확립하는 데 어떤 역할을 했는지와 이유를 평가하기 위해 6차 회의에서 60분 초점 그룹이 수행되었다.

A qualitative evaluation was embedded in the study. A 60min focus group was conducted in the sixth meeting to evaluate the working group process, in particular, how and why the PAR approach functioned to establish the new assessment programme.

결과 Results

Demographics and participation

Nine work-based assessors were recruited (Table 1).

평가 재설계

Redesigning assessment

• 이전 평가에서는 보다 광범위한 역량 개발보다는 격리된 기술 성과에 초점을 맞추었고, 

• 평가자와 교사가 이해관계가 중복되었으며, 

• 3가지 업무 기반 환경에서 평가 간의 연관성을 강화할 수 있는 기회가 있다

...는 데 의견이 일치했습니다(표 2)

There was consensus that 

• the previous assessment focused on isolated skill performance rather than broader competency development, 

• dual roles of assessor and teacher created a conflict of interest, and 

• there was an opportunity to strengthen the connection between assessments across the three work-based settings (Table 2).

(ECU)의 영양학 석사를 위해 설계된 평가 프로그램은 그림 1에 시각적으로 표현된다.

The programme of assessment designed for the Master of Nutrition and Dietetics at (ECU) is visually represented in Figure 1.

PAR 절차 평가

Evaluation of the PAR process

7명의 참가자가 포커스 그룹 토론에 참여하여 프로그램 평가 설계에 대한 PAR 접근 방식을 평가했습니다. 세 가지 주제가 나타났습니다.

Seven participants took part in the focus group discussion to evaluate the PAR approach to programmatic assessment design. Three themes emerged:

평가 프로그램 설계를 위한 공통의 비전

A shared vision for the design of the assessment programme

새로운 평가 프로그램에 대한 공유 비전은 공동 목표를 수립하면서 설계 우선순위에 대한 그룹의 설명과 문서화를 통해 달성되었다. 참가자들에게 현재의 비프로그램적 접근법에 대한 자신의 의견과 불만을 표현할 수 있는 기회를 제공하면 공유 목표와 그룹간 협력 관계가 촉진된다. 참가자는 물리적 위치와 청각에 관계없이 집단에 대한 일체감을 지속적으로 보고했다.

The shared vision for the new assessment programme was achieved through the groups’ articulation and documentation of priorities for the design, creating a common goal. Providing participants with opportunities to express their opinions and frustrations regarding the current non-programmatic approach facilitated shared goals and group collegiality. Participants consistently reported a sense of inclusion, regardless of physical location, and of being heard, which assisted in group unity.

참가자들은 식이요법 노동력을 구축하는 것에 관한 기존 경험과 개인적인 관심이 변화에 대한 준비 태세를 가지고 왔다고 보고했다. 이는 지속적인 참여의 주요 동기로 간주되었으며 평가 프로그램의 'buy-in'으로 이어졌다.

Participants reported bringing a readiness for change, born from previous experiences and personal interests in building the dietetic workforce. This was viewed as a key motivation for ongoing involvement and led to ‘buy-in’ of the assessment programme.

작업 환경, 평가 경험 및 지리적 위치에 걸친 작업 그룹의 다양성은 전체적인 것으로 간주되었으며 그룹을 강화시켰다. 참여자들은 평가에서 미래에 대한 공유된 비전이 평가 프로그램에 다양한 관점을 고려하고 구축하도록 보장했음을 반영했다.

The diversity of the working group across work settings, assessment experience and geography, was seen as holistic and strengthened the group. Participants reflected that the shared vision for a way forward in assessment ensured that different perspectives were considered and built into the assessment programme.

평가 프로그램을 위해 참가자의 역량을 강화하고 소유의식을 개발하는 동시에 프로젝트를 추진하는 리더십

Leadership driving the project while empowering participants and developing their sense of ownership for the programme of assessment

참가자들은 연구자들을 프로젝트를 주도한 지도자로 보았다. 이것이 없었다면, 참가자들은 그들이 해제되었을 것이라고 느꼈다.

Participants viewed the researchers as leaders who drove the project. Without this, participants felt that they would have become disengaged.

이러한 모멘텀 감각은 연구자들의 실용주의와 더불어 프로젝트 목표의 공유 비전과 제공이 프로젝트 완료에 필수적인 요소로 간주되었습니다. 참가자와 연구자의 의무와 책임의 균형을 맞추는 것이 핵심이었다. 참가자들은 그들의 업무량이 그들의 능력과 헌신에 적절했으며, 연구자들의 기대는 현실적이고 성취가능한 수준이었다. 업무량이 더 컸다면 부담스럽고 참여에 부정적인 영향을 미쳤을것이라는 합의가 있었다.

This sense of momentum, combined with the pragmatism of the researchers, the shared vision and delivery of project goals, were viewed as fundamental to project completion. Balancing duties and responsibilities of participants and researchers was key. Participants indicated their workload met their abilities and commitment, and the expectations of the researchers were realistic and achievable. Consensus was that greater workloads would have been burdensome and negatively affected involvement.

참가자들은 판단받을 우려없이 자신들의 의견과 불만을 표출할 수 있는 안전한 환경이라고 판단했다. 이것은 참가자들이 유토피아적인 평가 모델을 탐구하고, 다른 관점을 가지며, 아이디어를 도출할 수 있도록 허락한 연구자들의 수용성에서 비롯되었다.

Participants identified the working group as a safe environment where they were encouraged to express their opinions and frustrations without concern of judgment. This was derived from the receptiveness of the researchers who granted participants permission to explore a utopian assessment model, different perspectives, and generate ideas.

조직화된 포커스 그룹은 다른 관점에서 비판할 수 있게 해주었기 때문에 아이디어의 생성과 진화에 필수적이다. 참가자들은 온라인 설문 조사나 이메일이 동일한 깊이를 얻지 못할 것이며 평가 프로그램에 대한 활발한 토론을 이끌어내기보다는 연구원들이 제기한 가정에 의존할 것이라는 데 동의했다.

Structured focus groups were essential to the generation and evolution of ideas as they allowed for critique from different perspectives. Participants agreed that an online survey or email would not have gained the same depth and would have relied on assumptions made by the researchers, rather than allowing robust debates about the assessment programme.

새로운 프로그램의 설계에 대한 논의가 영향을 미칠 것이라는 기대와 자신감을 갖는 것은 참가자들에게 만족감을 주었다. 이것은 소유의식을 초래했고 참가자들은 그들 자신의 작업 환경과 그 이상의 프로그램 옹호자로 자신들을 식별했다.

Feeling heard and having confidence that discussions would inform design of the new programme was satisfying to participants. This led to a sense of ownership and participants identified themselves as advocates for the programme within their own work settings and beyond.

참여자들은 자신이 프로그램 구현에 중요한 역할을 하는 전문 사용자라고 생각했다. 이러한 소유감은 업무 기반 학습에서 그들의 역할에 대한 신뢰와 검증, 평가에 대한 향상된 이해, 습득된 지식을 통한 권한 부여empowerment의 느낌에서 비롯되었다. 참여자들은 자신의 의견을 표현할 기회가 새로웠다고 말하며, 평가 프로그램에 의해 보상을 받고, 자신의 우려를 표명하며, 소유감을 느꼈다고 생각했다.

Participants perceived themselves to be expert users, playing a key role in the programme implementation. This sense of ownership originated from confidence and validation of their role in work-based learning, an improved understanding of assessment and a feeling of empowerment through knowledge gained. Participants reflected that opportunities to express their opinions were new which rewarded by the assessment programme, addressed their concerns and for which they felt a sense of ownership.

참가자들이 평가를 보는 관점에 철학적인 변화가 일어났고, 이는 평가프로그램의 도입을 서포트하였다.

A philosophical shift occurred in the views of participants towards assessment, supporting the implementation of a programme of assessment

참가자들은 업무 기반 학습 환경에서 평가에 대한 태도와 실천에 대한 성찰 과정을 거쳤다고 보고했다. 그들이 얻은 지식은 그들의 생각에 도전했고, 그들의 평가 관행에 비판적이고 의문을 갖는 접근법을 채택하게 되었다. 참가자들은 평가에 대한 자신의 역할에 대해서 이해도가 향상되고, 깊이와 명확성을 확보했으며, 이것이 긍정적인 학습 경험을 가져올 것이라고 판단했다. 이러한 지식을 바탕으로, 일부 참여자들은 실무그룹에서의 행동을 변화함으로써 긍정적인 결과를 얻었다고 보고했다.

Participants reported undergoing a process of reflection regarding attitudes and practices towards assessment in the work-based learning setting. The knowledge they gained challenged their thinking, leading to the adoption of a critical and questioning approach to their own assessment practices. Participants reported an improved understanding for their role within assessment, gaining depth and clarity, and considered that this would result in positive learner experiences. Empowered by this knowledge, some participants reported that they modified their supervision practices during the working group with positive outcomes.

참가자들은 과정과 성취감에 대한 흥분감을 보고했다. 어떤 사람들에게는, 이것은 그들의 직무의 강화와 재창조에서 유래한 것이고, 반면에 다른 사람들은 영양학자로서 재인증을 한다고 말했다. 참가자들은 여행, 작업 부하, 개인적 요구 등으로 인해 회의에 참석하는 데 있어 어려움이 있었음을 인정했습니다. 그들은 그 모임에 참여하면 engaged함을 느끼고 흥분했다고 보고했다.

Participants reported excitement regarding the process and a sense of achievement. For some, this derived from an enrichment and reinvigoration of their work role, while others spoke of re-identifying as a dietitian. Participants acknowledged the challenges in attending meetings, such as travel, workloads and personal demands. They reported that once at the meetings they felt engaged and excited.

고찰

Discussion

세 가지 주요 발견: 

• (i) 평가 프로그램을 추진하는 데 리더십이 중요했다. 

• (ii) 참가자는 프로그램의 소유권과 지지를 초래하는 설계 프로세스에 초기에 의미 있는 참여를 통해 empowered받았다. 

• (iii) 설계 프로세스는 평가에 대한 참가자의 관점에 철학적인 변화를 가져왔다.

three key discoveries: 

• (i) leadership was important to drive the programme of assessment; 

• (ii) participants were empowered by early and meaningful involvement in the design process resulting in ownership and advocacy of the programme; and 

• (iii) the design process resulted in a philosophical shift in participants’ views towards assessment.

PAR 접근법의 사용은 평가 관행을 이해하고 개선하기 위해 연구자와 참여자 사이의 협력을 촉진하였다. 연구자와 실무자 간의 직접 연결은 증거 기반 실천 변화를 보다 효과적으로 서포트할 수 있다(Nutley et al. 2007; Shard and Sharples 2016).

The use of a PAR approach fostered a partnership between researchers and participants to understand and improve assessment practices. Direct connection between researchers and practitioners can more effectively support evidence-based changes to practice (Nutley et al. 2007; Sheard and Sharples 2016).

모든 당사자를 평등하게 보고 가치 있는 기여를 하는 것을 포함하여 이해관계자의 전문 경험과 전문 지식을 인식하는 것이 전문적 담화와 참여를 강화하는 데 핵심이다(Shard and Sharples 2016). 평가 재설계 과정에 참여자와 협력하여, 연구원들은 그들의 경험과 전문지식을 인정하고 육성했으며, 참여자들은 그들의 아이디어가 평가 재설계에 정보를 줄 것이라고 확신하고 새로운 평가 프로그램을 옹호advocate할 수 있게 empower 되었다.

Recognition of professional experience and expertise of stakeholders, including viewing all parties as equal and having a worthwhile contribution, is key in enhancing professional discourse and engagement (Sheard and Sharples 2016). By partnering with participants in the assessment redesign process, researchers acknowledged and fostered their experience and expertise, Participants felt heard and confident that their ideas would inform assessment redesign and as such became empowered to advocate for the new assessment programme.

변화할 수 있는 context를 제공하는 것은 [전문적인 대화와 이해당사자들과의 참여를 촉진]하고 [교육 변화의 성공에 기여]하는 중요한 요소이다(Deneneen and Boud 2014). 연구과정 초기에, 참가자들은 저자들에 의해 모범 사례 평가에 대한 정보를 얻었고, 현재의 비프로그래밍 접근법의 강점과 한계를 탐구하도록 장려되었다.

Providing context to a change is a critical element to promote professional dialogue and engagement with stakeholders and contribute to the success of educational change (Deneen and Boud 2014). Early in the research process, participants were informed about best-practice assessment by the authors and encouraged to explore the strengths and limitations of the current non-programmatic approach.

이 주제에 대한 연구자들의 깊은 이해와 참가자들과의 기존의 관계는 '인사이더'라는 용어를 낳았는데, 이것은 참가자들이 지도자로 진화하는 것에 기인했을 수 있다(Sike and Potts 2008. 2008). 그러한 지위가 유익할 수 있지만, 이러한 위치에 인지하지 못할 경우에는 자신의 의제, 인식, 가정을 연구에 투영하는 위험을 낳게 된다. 이는 편향을 발생시키고, PAR 접근 방식의 신뢰성과 훼손이 발생할 수 있다(Berger 2015). 연구원들이 연구 과정과 결과에 미치는 영향에 대해 의식적으로 인식하려면 정성적 연구에서의 반사적 위치가 필요하다(Berger 2015; Enosh, Ben-Ari 2016).

The researchers’ deep understanding of the topic and pre-existing relationships with participants positioned them as ‘insiders’, which may have attributed to their evolution as leaders (Sikes and Potts 2008). While such status can be beneficial, being incognizant to this position risks the projection of ones’ own agenda, perceptions, and assumptions onto the research. This can result in bias, affecting the credibility and compromising the PAR approach (Berger 2015). Reflexive positioning within qualitative research is necessary to bring a deliberate awareness to the impact of the researchers on the research process and outcomes (Berger 2015; Enosh and Ben-Ari 2016).

이것은 다음을 통해 해결될 수 있다.

• (i) 지속적인 성찰적 논의에 참여하는 연구자는 자신의 개인적인 의제에 경각심을 가지고, 자신의 생각을 작업 그룹의 생각과 분리한다. 

• (ii) 포커스 그룹을 사용하여 참가자의 관점을 중심으로 연구를 진행하고 연구원을 촉진자로 배치한다. 

• (iii) 평가 프로그램을 설계하는 동안 우선순위가 반영되었는지 확인하기 위해 작업 그룹의 피드백을 구한다. 

• (iv) 두 명의 저자에 의해 독립적으로 주제 분석을 수행한다. 이 중 한 명은 대학 외부 사람이었다.

This was addressed by 

• (i) the researchers participating in ongoing reflective discussions to remain alert to their personal agendas and separate their ideas from that of the working group; 

• (ii) using focus groups to center the research on the participants’ perspectives and position the researchers as facilitators; 

• (iii) seeking feedback from the working group during the design of the assessment programme to ensure it reflected their priorities; and 

• (iv) thematic analysis independently undertaken by two authors, one of which (C. P.) was external to the university under study.

Designing programmes of assessment: A participatory approach.

새로운 커크패트릭 모델은 평가를 위한 더 나은 망치인가? (Med Teach, 2017)

Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox?

Katherine A. Moreaua,b,c

aFaculty of Education, University of Ottawa, Ottawa, Canada; bCentre for Research on Educational and Community Services, University of

Ottawa, Ottawa, Canada; cChildren’s Hospital of Eastern Ontario Research Institute, Ottawa, Canada

도입

Introduction

프로그램 평가 문헌에는 수많은 평가 모델이 있지만(Frye & Hemmer 2012; Stufflebeam2001), 커크패트릭의 원래 4단계 평가 프로그램(반응, 학습, 행동, 결과)은 광범위하게 사용된다. 그럼에도 불구하고, 그것은 비판의 대상이다. Frye와 Hemmer(2012년)는 Kirkpatrick의 원래 모델이 왜 교육적 프로그램이 작용하는지, 그 자체로는 보여주지 못하고 있다고 지적했습니다. 마찬가지로, 파커(2013년)는 우리가 Kirkpatrick(더 나은 해머 제작)을 사용할 수 있도록 개선할 필요가 있다고 주장합니다. [또한] 우리의 사고방식과 그에 따른 우리의 '툴박스'가 얼마나 복잡한 프로그램이 동작하는지 이해하기 위해 확장된다."(p. 440). 

While there are numerous evaluation models within the program evaluation literature (Frye & Hemmer 2012; Stufflebeam2001), Kirkpatrick’s original four-level (reaction, learning,behavior, results) outcome-focused model is widely usedto evaluate medical education programs. Nevertheless, it is subject to criticism. Acknowledging its shortcomings,Frye and Hemmer (2012) note that Kirkpatrick’s original model, on its own, fails to show why educational pro-grams work. Likewise, Parker (2013) argues that we need“improve to our use of Kirkpatrick (build better hammers) … [as well as] expand our thinking, and thus our ‘toolbox’, to understand how complex programmes work …” (p. 440). 

비판 1: Kirkpatrick은 레벨 3(Behavior) 및 레벨 4(Results)를 평가하는 데 어려움을 줍니다. 

Criticism 1: Kirkpatrick makes evaluating Levels 3(Behavior) and 4 (Results) challenging 

Kirkpatrick의 원래 모델의 사용에 대한 검토 결과, 의학 분야의 대부분의 연구자들이 레벨 2(학습)에서 평가를 중단한 것으로 나타났다(Yardley & Dornan 2012).

Reviews on the use of Kirkpatrick’s original model reveal that most investigators in medical education cease evaluations at Level 2 (Learning) (Yardley & Dornan 2012).

잠재적인 해결책으로 NWKM은 비순차적으로 또는 동시에 또는 역방향으로(즉, 레벨 4~1)(Kerkpatrick & Kirkpatrick 2016) 수준을 평가할 것을 제안한다. 또한, Kirkpatrick과 Kirkpatrick(2016)은 모든 프로그램에 "전체 평가 패키지"가 필요한 것은 아니라고 지적합니다(페이지 22). 그들은 프로그램 이해당사자들과 협력하여 가장 중요하고 유용하며 가치 있는 수준을 결정한 다음 이러한 수준만 평가할 것을 권고한다. 

As a potential solution the NWKM suggests evaluating the levels non-sequentially, concurrently, or in reverse (i.e. Levels 4 to 1)(Kirkpatrick & Kirkpatrick 2016). In addition, Kirkpatrick and Kirkpatrick (2016) note that not all programs require the“full evaluation package” (p. 22). They recommend collaborating with program stakeholders to determine the levels that are most important, useful, and evaluable and then only evaluating these levels. 

Kirkpatrick의 원래 모델에 대한 비판자들은 또한 일부 조사자들이 레벨 3과 레벨 4를 평가하기에 너무 어렵다고 느낀다는 것을 지적한다.

The critics of Kirkpatrick’s original model also note that some investigators find Levels 3 and 4 too hard to evaluate(Yardley & Dornan 2012).

Kirkpatrick과 Kirkpatrick(2016)은 이러한 어려움이 종종 프로그램 계획 중에 고려되는 것이 아니라, 사후에 고려되기 때문이거나, 레벨 3과 레벨 4의 식별된 결과가 프로그램과 무관하기 때문이라고 설명한다. 이러한 곤경을 피하기 위해, Kirkpatrick과 Kirkpatrick(2016)은 프로그램 계획 중에 프로그램 이해당사자들과 협력하여 행동과 결과 지향적 결과를 파악하고, 그들을 위한 지표들을 개발하고, 프로그램 자체에 그 자료를 수집하기 위한 메커니즘을 내장하는 것이 중요하다고 강조한다. 

Kirkpatrick and Kirkpatrick (2016)imply that this difficulty is often because the evaluation is an afterthought rather than something considered during program planning, or because the identified outcomes for Levels 3 and 4 are irrelevant to the program and its stakeholders. In order to avoid this quandary, Kirkpatrick and Kirkpatrick (2016) emphasize that it is important to identify the behavior and results-oriented outcomes in collaboration with program stakeholders during program planning, develop indicators for them, and embed mechanisms for collecting the data into the program itself. 

그들은 또한 레벨 4가 교육 프로그램이 조직의 목표나 수익bottom lines에 기여하는 것을 평가하는 데 초점을 맞춰야 한다고 추론한다. 따라서 환자성과가 꼭 레벨4의 초점이 되어야 하는 것은 아니다.

They also infer that Level 4 should focus on evaluating the contribution that educational programs make to organizations’ targeted goals or bottom lines (Kirkpatrick & Kirkpatrick 2016) and thus, patient outcomes do not need to be the foci of this level.

비판 2: 커크패트릭은 교란 변수를 무시한다.

Criticism 2: Kirkpatrick neglects confounding variables

Bates(2004)는 Kirkpatrick의 원래 모델에 포함된 인과관계를 뒷받침할 수 있는 증거가 제한적이라고 강조합니다. NWKM은 이러한 연결의 문제를 인식합니다. Kirkpatrick과 Kirkpatrick(2016)은 "수준이 인과관계 또는 순차적이지 않다" (p.36)와 학습자의 지식/기술 획득이 실제로 이를 적용하는 능력을 예측하지 못하고 있다고 말합니다. 따라서, 우리는 그 수준을 어떤 순서로든 사용할 수 있다.

Bates (2004) highlights the limited evidence to support the causal chain embedded within Kirkpatrick’s original model. The NWKM recognizes the problems in these linkages. Kirkpatrick and Kirkpatrick (2016) discuss how “the levels are not causal or sequential” (p. 36) and that learners’ acquisition of knowledge/skill is not predictive of their abilities to apply it in practice. Therefore, we can use the levels in any order.

또한 NWKM은 인과관계망(2016년)보다는 근거의 사슬을 구축하고 평가하는 데 초점을 맞추고 있다. 이러한 증거사슬은 우리에게 모든 요소를 식별할 것을 요구하며, 주어진 성과에 변화를 가져왔다면, 프로그램 외부의 요인이라고 할지라도 적절한 credit을 줄 것을 요구한다. 

Additionally, the NWKM focuses on building and evaluating chains of evidence rather than causal chains (2016). These chains of evidence require us to identify and give appropriate credit to all factors, even those outside our programs, which bring about changes in the given outcomes (Mayne 2012).

전반적으로, NWKM은 Kirkpatrick의 원래 모델보다 반가운 발전이다.

Overall, the NWKM is a welcomed improvement from Kirkpatrick’s original model,

이전 모델보다 더욱 협력적이고 유연해 보입니다. 원래 모델과 비교하여, 그것은 또한 교육 프로그램의 맥락, 과정, 그리고 복잡성을 더 잘 수용하는 것처럼 보인다. 이것은 컨텍스트-입력-프로세스-제품 (CIPP) 모델 (Stufflebeam 2004)을 포함한 다른 평가 모델과의 유사성을 증가시킨다.

it appears to be more collaborative and flexible than its predecessor. In comparison with the original model, it also seems to better embrace the context, process, and complexity of educational programs, which increases its similarity with other evaluation models including the context–input–process– product (CIPP) model (Stufflebeam 2004).

Kirkpatrick JD, Kirkpatrick WK. 2016. Kirkpatrick's four levels of training evaluation. Alexandria (VA): ATD Press. 

Med Teach. 2017 Sep;39(9):999-1001. doi: 10.1080/0142159X.2017.1337874. Epub 2017 Jun 26.

Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox?

CBME에 대한 논란과 논리(Med Teach, 2017)

A call to action: The controversy of and rationale for competency-based medical education

Eric S. Holmboea, Jonathan Sherbinob, Robert Englanderc, Linda Snelld,e and Jason R. Franke,f; on behalf of

the ICBME Collaborators aAccreditation Council for Graduate Medical Education, Chicago, IL, USA; bDivision of Emergency Medicine, Department of Medicine, McMaster University, Hamilton, Canada; cSchool of Medicine, University of Minnesota, Minneapolis, MN, USA; dCentre for Medical and Department of General Internal Medicine, McGill University, Montreal, Quebec, Canada; eRoyal College of Physicians and Surgeons of Canada, Ottawa, Canada; fDepartment of Emergency Medicine, University of Ottawa, Ottawa, Canada

배경

Background

한 가지 방법만으로는 마리아의 진료과정에서 발생한 모든 결함을 파악할 수 없다. 왜냐하면 이것은 개별 의사, 의료팀, 의료 시스템의 수준에서의 여러 역량 영역을 가로지르고 있기 때문이다.

No single measure could capture all the deficiencies in Mary’s care, which cut across multiple competency domains at the level of the individual physician, the team and the system.

McGaghie 등은 1978 년에 정의 된 역량의 습득을 근간으로 하는 의학교육 접근법을 설명했습니다. "역량 기반 프로그램이 의도하는 결과는 지역의 요구에 부응하기 위해, 지역의 조건에 따라, 정의 된 수준의 숙련도로 의학을 실천할 수있는 건강 전문가입니다." 대략 10 년 후, 캐나다 온타리오 주에서 발생한 의사의 파업은 환자가 의사에게 기대해야 할 사항에 대한 공개적인 대화를 촉진 하게 되었고(Neufeld et al., 1993, 1998), 이것은 궁극적으로 왕립 및 외과 의사에 의한 CanMEDS 역할의 첫 번째 iteration으로 이어졌다 (Frank et al. 1996; Frank 2005).

In 1978, McGaghie et al. described a rationale for an approach to medical education founded on the acquisition of defined competencies. “The intended output of a competency-based program,” they wrote, “is a health professional who can practice medicine at a defined level of proficiency, in accord with local conditions, to meet local needs” (McGaghie et al. 1978, p. 18). Roughly 10 years later, a doctor’s strike in Ontario, Canada, would catalyze a public conversation about what patients should expect from their physicians (Neufeld et al. 1993, 1998). This ultimately led to the first iteration of the CanMEDS Roles by the Royal and Surgeons 1996 College of Physicians of Canada in (Frank et al. 1996; Frank 2005).

비슷한 요구와 문제를 인식한, 대학원 의학 교육 인증위원회, 미국 의학 전문위원회, 의학 연구소, 영국 종합 의학위원회, Royal Australasian 외과 전문 대학, 네덜란드 특약 대학, 다른 국가 전문 기관 등등도 역량 프레임 워크를 제작했습니다 (Batalden 외 2002, IOM 2003, Cate 2007, General Medical Council 2013, RACS 2015).

Recognizing similar needs and issues, the Accreditation Council of Graduate Medical Education, the American Board of Medical Specialties, the Institute of Medicine, the General Medical Council of the United Kingdom, the Royal Australasian College of Surgeons, the Dutch College of Medical Specialties, and other national professional entities produced competency frameworks (Batalden et al. 2002; IOM 2003; ten Cate 2007; General Medical Council 2013; RACS 2015).

단독 진료의 시대는 저물고 있었다. 대신 팀 기반 치료 시대, 빠르게 진화하는 의료행위, 질적 개혁과 환자 중심주의가 실현되었습니다. 실천과 교육 사이의 어마어마한 격차는 정책 입안자들 사이에서 학부, 대학원 및 CME의 개혁이 시급히 필요하다는 사실을 깨닫게 했다. 그러나 이러한 개혁에 대한 추진력에도 불구하고, 많은 사람들은 윌리엄 오슬러 (William Osler)가 비록 오늘날의 의료 시스템은 이해못해도 슬프게도 여전히 오늘날의 의학교육 시스템 (Sherbino & Frank 2014)을 이해할 것이라는 데에 동의합니다.

The era of solo practice was waning; the era of team-based care, rapidly evolving practices, quality reforms and patient-centeredness had arrived.  The substantial gap between practice and education resulted in the realization among policy-makers worldwide that reforms in undergraduate, graduate and continuing medical education were urgently needed. Despite this impetus for reform, many would agree that while William Osler would not recognize the health care system of today, he would, sadly, still recognize the medical education system (Sherbino & Frank 2014).

역사가들은 훗날 지난 5 년을 변혁적이라 여길 것이다. 

• 2010 년에는 캐나다의 Royal College of Physicians and Surgeons에서 소집 된 의학 교육자 및 리더 그룹 인 International CBME Collaborators가 의학교육의 연속체에 걸친 CBME 구현의 역사, 개념 및 과제에 대한 일련의 기사를 제작했습니다. (Campbell et al., 2010; Frank et al. 2010a, 2010b; Harris et al., Holmboe et al. 2010, Iobst et al. 2010).

• 같은 해에 다른 국제 그룹은 CBME의 원칙에 근거하여 의학 교육의 혁신을 가속화 할 필요성에 대한 Lancet의 입장 보고서를 발표했습니다(Frenk 외. 2010).

• 한편, Flexner 보고서 (Flexner 1910) 제정 100 주년을 맞이하여 Carnegie Foundation은 CBME의 주요 원칙과 목표를 수용 한 의학 교육 권장 사항을 발표했습니다 (Cooke 외 2010).

• 몇 년 후 Ludmerer의 Let Me Heal (2015)은 변화를 촉구했습니다.

• 2010 년 이래로 여러 의료 교육 시스템이 전국 규모의 의학 교육 연속체에 걸쳐 광범위한 CBME 기반 변경을 채택하고 구현했습니다 (Nasca et al. 2012; Frank et al. 2015).

Historians may look back at the last 5 years as transformative. 

• In 2010, the International CBME Collaborators, a group of medical educators and leaders convened by the Royal College of Physicians and Surgeons of Canada, produced a series of articles on the history, concepts, and challenges to the implementation of CBME across the continuum of medical training (Campbell et al. 2010; Frank et al. 2010a, 2010b; Harris et al. 2010; Holmboe et al. 2010; Iobst et al. 2010). 

• In the same year, another international group published a position paper in the Lancet on the need to accelerate transformation in medical education, grounded in the principles of CBME (Frenk et al. 2010); 

• meanwhile, on the 100th anniversary of the Flexner report (Flexner 1910), the Carnegie Foundation released recommendations for medical education that embraced many of the key principles and goals of CBME (Cooke et al. 2010). 

• A few years later, Ludmerer’s Let Me Heal (2015) further codified calls for change. 

• Since 2010, several medical education systems have adopted and implemented sweeping CBME based changes across the medical education continuum on a national scale (Nasca et al. 2012; Frank et al. 2015).

The core lesson from early efforts to implement CBME is the realization that it is not, and should not be, a uniform or static ideology. Rather, it is an amalgam of principles and approaches that must constantly evolve to meet a primary aim: to achieve better health and health care for all through more effective medical education.

CBME란 무엇인가?

What is meant by “CBME”?

CBME는 건강 관리 전문가가 serve하는 인구집단의 요구를 충족시키기 위해, 의료 전문가의 명시적인 발달 진행을 설계하는 철학과 접근 방식입니다. 기본 특성 (표 1 참조)은 (임상 회전과 같은 경험에 대한 노출에만 기반한 시간 기반 프로그램에서 벗어나) 니즈에 기반한 졸업성과, authenticity, 학습자 중심성에 중점을 두는 것으로 강조점이 옮겨졌습니다 (Frank et al., 2010b, Carraccio et al., 2016).

CBME is an approach to and philosophy of designing the explicit developmental progression of health care professionals to meet the needs of those they serve. Among its fundamental characteristics (see Table 1) is a shift in emphasis away from time-based programs based solely on exposure to experiences such as clinical rotations in favor of an emphasis on needs-based graduate outcomes, authenticity, and learner-centeredness (Frank et al. 2010b; Carraccio et al. 2016).

CBME에 대한 비판

Criticisms of CBME

표2

Table 2 outlines arguments for and against CBME.

• concerns about reductionism; 

• lack of evidence; 

• impact on existing systems; 

• implementation challenges; and 

• philosophical or ideological concerns.

1. 환원주의에 대한 우려

1. Concerns about reductionism

CBME에 대한 불행한 오해 중 하나는 의학의 "예술"적 측면, 의미있는 직업적 정체성 형성, 복잡하고 높은 수준의 역량 개발을 위한 여지가 거의 없다는 것이다 (Grant 1999; Huddle & Heudebert 2007). 공통된 한계는 측정 가능한 모든 것이 의미있는 것은 아니며, 의미있는 모든 것이 측정 가능한 것은 아니라는 것입니다. 다른 사람들은 CBME를 의학 교육에 대한 체크리스트 또는 "틱-박스" 접근법이라고 비판하는 반면, 동시에 어떤 사람들은 역량 간의 의미있는 차이를 측정 할 수 없다고 주장한다 (Talbot 2004, Huddle & Heudebert 2007, Lurie 외 2009, Glass 2014).

One of the more unfortunate misconceptions about CBME is that it leaves little room for the “art” of medicine, for meaningful professional identity formation, and for the development of complex, higher-level competencies (Grant 1999; Huddle & Heudebert 2007). A common refrain is that not all that is measurable is meaningful, and not all that is meaningful is measurable. Others have labeled CBME a checklist or “tick-box” approach to medical education while others have argued meaningful differences between competencies cannot be measured (Talbot 2004; Huddle & Heudebert 2007; Lurie et al. 2009; Glass 2014).

실제로 CBME는 의사 역량에 대한 전체론적 접근 방식을 유지하면서, 동시에 능력을 분석하고 평가할 수있는 요소로 분석parse합니다. 역량을 이해하기 위해 우리는 종종 역량을 명확하게 의미있는 구성 요소로 분류해야합니다. 가완데 (Gawande)는 이러한 역량의 요소화가 전문가에게도 효과적인 피드백의 필수 요소라고 지적했다. "지난 20 년 간 토론을 통해 내가 지난 5 년 동안 생각했던 것보다 더 많은 것을 고려하고 작업 할 수있었습니다."(Gawande 2011). 그가받은 수술의 결과를 향상시키는 "총체적"목표를 가지고 있었지만, 그가 받은 피드백은 매우 구체적이고 세분화되어있었습니다 (환원주의적). Ericsson, Pusic 등의 연구도 마찬가지로 모든 학습자가 매우 세분화 된 피드백을 필요로한다는 아이디어를 지지한다(Ericsson 2007; Pusic et al. 2011; Cook et al.

In reality, CBME seeks to maintain a holistic approach to physician competence at the same time as it appropriately parses competence into elements that can be taught and assessed. To make sense of a competency, we often need to explicitly break it down into meaningful components. This is an essential element of effective feedback even for experts, As Gawande noted, “one twenty-minute discussion gave me more to consider and work on than I’d had in the past five years” (Gawande 2011). The feedback he received was highly specific and granular (reductionist), although it had the “holistic” goal of improving the outcomes of his surgeries. Work by Ericsson, Pusic and others provides further support for the idea that highly granular feedback is needed by all learners (Ericsson 2007; Pusic et al. 2011; Cook et al. 2013).

동시에, CBME는 정보에 근거한 판단과 종합에 크게 의존합니다.

At the same time, CBME relies heavily on informed judgment and synthesis.

비록 사람마다 차이는 불가피하지만(즉, 모든 교수들은 특이성, 편견, 인지적 제한이 있다) 평가에서 허용되는 편차에도 일정정도의 경계는 존재해야 한다(Kogan et al., 2014; Gingerich 2015). 너무 오랫동안 의료 교육 시스템은 환자와 무제한의unfettered 변화를 좋은 것으로 보았다 (Kogan et al., 2014; Lau et al., 2015). 의학교육에는 홀리스즘과 환원주의는 자리가 모두 있다. 문제는 이러한 상호 연결된 철학을 적절하게 적용하는 시기와 방법입니다.

Although some variation is to be expected – all faculty have idiosyncrasies, biases, and cognitive limitations (Govaerts et al. 2011; Yeates et al. 2013; Gingerich 2015) – the degree of acceptable variation in assessment should be “bounded” (Kogan et al. 2014; Gingerich 2015). For too long the medical education system has seen unfettered variation as a good thing, to the detriment of patients and trainees (Kogan et al. 2014; Lau et al. 2015). Holism and reductionism both have a place in medical education; the issue is when and how to apply these interconnected philosophies appropriately.

2. CBME에 대한 근거 부족

2. Lack of evidence for CBME

일부 사람들은 CBME에 대한 증거의 부족, 특히 전통적 심리 측정법 타당성 및 신뢰성 증거가 부족하다는 점을 지적했다. (Norman et al., 2014; Dewan et al., 2015).

Some have pointed to the lack of evidence for the CBME approach, especially regarding the lack of traditional psychometric validity and reliability evidence. (Norman et al. 2014; Dewan et al. 2015).

그러나 심리 측정 도구는 이미 오랫동안 많은 한계를 겪어 왔으며, 교수는 평가 기준에 대한 criterion-referenced 대 norm-referenced 방식의 개념에 어려움을 겪어 왔다. (Kogan & Holmboe 2013; Gingerich 2015). 또한 심리측정 적 관점에서 독립적인 실습에 필요한 모든 역량을 "sign off"하는데 필요한 샘플링 양은 상당히 방대하여 현실적으로 어려울 수 있습니다 (Norman 외 2014).

However, psychometric assessment instruments have long suffered from numerous limitations, and faculty have also struggled with the concept of criterion-referenced versus norm-referenced approaches to the assessment (Kogan & Holmboe 2013; Gingerich 2015). In addition, the amount of sampling required to “sign off” on every competency needed for independent practice can be daunting from a psychometric perspective (Norman et al. 2014).

환자, 인구, 시스템의 요구에 중점을 두고 있는 CBME 시스템은 기존의 정신측정 방법을 적용함에 있어 심각한 어려움을 겪었습니다 (Schuwirth & van der Vleuten 2011; Cook 외 2015; Hodges 2015;). 이러한 경험은 작업 기반 평가에 더 초점을 맞추도록 만들었고, 평가 프로그램 또는 평가 시스템의 일부로서 서술 및 그룹 프로세스로의 복귀를 촉구했다 (Holmboeet al., Holmboe et al., 2010; van der Vleuten et al. 2012; Hodges 2015 ). 그러나 우리는 단순하게 "정신 측정 검사를 포기"한다고 주장하는 것이 아니다. 정신 측정 패러다임은 의학교육 산업에 제 역할을 해왔으며 앞으로도 그럴 것입니다. 그러나 장기적인 관점에서, 이 시스템은 불확실성과 복잡성을 포괄하는 평가 접근법이 필요합니다. 

Systems implementing CBME, with its greater focus on the needs of the patient, population and system, have encountered significant challenges when they apply conventional psychometric methods (Schuwirth & van der Vleuten 2011; Cook et al. 2015; Hodges 2015;). This experience has sharpened the focus on work-based assessment and prompted a return to narrative and group process as part of a program and system of assessment (Holmboeet al. 2006; Holmboe et al. 2010; van der Vleuten et al. 2012; Hodges 2015). However, we are not suggesting that we simply “throw out psychometrics.” The psychometric paradigm has served the medical education enterprise well and will continue to do so into the future, but in the longer term systems will need assessment approaches that account for uncertainty and complexity.

20 세기에 고부담 평가의 주 대상은 개인이었다. 그러나 21세기에 그 대상은 의료팀이 된다. 유능한 의료 서비스 제공자는 독립적으로 일하지 않으며 더 이상 필요한 지식과 기술을 모두 머리속에 넣고 다닐 수 없습니다 (Lingard 2009, Del Fiol 외 2014, Ludmerer 2015). 우리는 테크놀로지의 지원을 받는 interprofessional 시대에 들어섰다(Chesluk & Holmboe 2010; IPEC 2011). psychometric 패러다임은 interprofessional, complex care에 적합하지 않으며, interprofessional 팀 내에서의 상황 인식, 분산 인식을 다루는데 어려움을 겪습니다.

흥미로운 사실은 미국과 캐나다와 같이 고부담 표준화 테스트에 가장 많이 의존하는 두 국가가 OECD 및 세계 보건기구의 전반적 의료 품질 보고서에서 지속적으로 하위 순위에 위치해있다는 것이다; 즉 CBME가 양국에서 강력한지지를 얻은 것은 놀랄 일이 아닙니다 (Mossialos 외 2015).

It is interesting that the two countries that rely most heavily on high-stakes standardized testing (the United States and Canada) have consistently ranked at the bottom of overall medical-care quality reports by the Organization for Economic Co-operation and Development (OECD) and the World Health Organization (WHO); perhaps it is no surprise that CBME has taken a strong hold in both countries (Mossialos et al. 2015).

4. 평가와 도입의 어려움

4. Evaluation and implementation challenges

CBME 기반 프로그램을 구현하는 것의 어려움이나, 오늘날의 의학 교육 및 임상 실습 환경이 복잡하다는 점에 대해서는 논쟁의 여지가 없습니다. 복잡성을 인식하는 연구 및 평가 모델에는 맥락이 중요하며, 이것은 전통적인 생의학 연구 방법과 관련된 무작위화만으로는 효과적으로 해결 될 수 없다는 것을 받아 들여야합니다. 종단적이고 반복적인 CBME 도입의 과정에서 CBME의 평가는 필수적이며, 이것은 의학교육 개혁을 시행하는 모든 조직의 책임입니다.

Almost no one disputes that implementing CBME-based programs is challenging, or that today’s contexts of medical education and clinical practice are fraught with complexity. Research and evaluation models that recognize complexity must also embrace the notion that context matters a great deal and cannot be effectively addressed through the randomization associated with traditional biomedical research methods. To be sure, evaluation of CBME in a longitudinal, iterative process is essential and is a responsibility of all organizations implementing medical education reform.

5. 철학적, 이데올로기적 우려

5. Philosophical and ideological concerns

일부 비판자의 경우 CBME는 근본적이며 테스트되지 않았고 불필요하다고 지적한다. 다른 이들은 CBME를 도입해야한다는 정치적 압력은 더 유능한 의사 양성에 대한 것일 뿐만 아니라 더 적은 시간에 그러한 결과를 내야 하는 것이라고 지적한다(Whitehead et al., 2011).

For some critics, CBME is radical, untested, and unnecessary. Others have pointed to political pressure to use CBME not only to produce more competent physicians but also to do so in less time (Whitehead et al. 2011).

그러나 진짜 아이러니는 한 세기가 넘게 자리 잡은 전통적인 시스템을 뒷받침 할만한 증거도 별로 없다는 것입니다. 반대로 지금의 상태가 제대로 serving하지 않는다는 풍부한 증거가있다 (IOM 2003; Di Francesco et al.2005; Cooke et al., 2010; Crosson et al. 2011; Eden et al.2014; Ludmerer 2015). 일부는 CBME 개혁이 완전히 입증 될 때까지 CBME 개혁을 시행해서는 안된다는 점을 지적했다 (Dewan et al., 2015). 이러한 주장에는 몇 가지 문제점이 있습니다. 

• 첫째, 헬스케어 과학 및 전달의 신속하고 지속적인 변화는 [더 많은 유연성과 의학교육을 위한 "지속적인 품질 개선"사고 방식]을 요구합니다. 

• 둘째, 정책 입안자는 현재 건강 관리의 고르지 못한 질과 안전, 비용 압박, 인구 고령화, 신흥 질병 및 개인화 된 의학의 출현에 비추어 변혁적인 변화를 요구하고 있습니다.

The irony is that there isn’t much evidence to support the traditional systems that have been in place for over a century. There is, however, abundant evidence that the status quo isn’t serving us well (IOM 2003; Di Francesco et al.2005; Cooke et al. 2010; Crosson et al. 2011; Eden et al.2014; Ludmerer 2015). Some have noted that we shouldn’t implement CBME reforms until they have been fully proven(Dewan et al. 2015). There are several problems with this argument. 

• First, the rapid and ongoing changes in healthcare science and delivery demand more flexibility and a“continuous quality improvement” mindset for medical education. 

• Second, policy-makers are demanding transformative change in light of the uneven quality and safety of current health care, cost pressures, the aging of populations, emerging diseases, and the advent of personalized medicine. 

기존 패러다임이 새로운 발견을 더 이상 설명 할 수 없거나 변화하는 조건에 의미있는 해결책을 제공 할 수 없을 때 긴장이 발생합니다. CBME는 여러 방면에서 의학교육시스템으로 하여금 퀄리티 및 안전에 관한 어려운 진실에 직면하게함으로써, 심리 측정 기반 평가 접근법 및 시간 기반 프로그램과 같은 기존의 접근법을 재검토하도록 강요하고 있습니다.

Tensions arise when existing paradigms can no longer explain new findings or provide meaningful solutions to the changing conditions. In many ways, CBME has forced medical education systems to confront difficult truths regarding quality and safety, thereby forcing a reexamination of established approaches, such as psychometric-driven assessment approaches and time-based programs.

중요한 점은 CBME에 대한 비판의 목적이 현상 유지를 위한 변명이 되어서는 안 되며, implementation을 개선하고 실수를 줄이기 위한 유용한 피드백이 되어야 한다는 것이다.

The important point is to use criticisms of CBME as useful feedback to improve implementation and avoid pitfalls, but not as an excuse to maintain an unsatisfactory status quo.

도입의 티핑포인트?

A tipping point in implementation?

의료 교육 개혁은 경쟁 이론들 사이의 "either/or"로 이어지지 않아야한다. 오히려 교육의 질을 최적화하기 위해 다양한 이론과 접근 방식을 혼합해야합니다. CBME에 교육 프로그램이 설계, 구현, 평가에 여러 이론적 관점을 적용하면 안된다는 엄격한 "규칙"은 없습니다.

Medical education reform should not boil down to an “either/or” choice between competing theories; rather, it should blend theories and approaches to optimize the quality of training. There are no hard and fast “rules” of CBME that should prevent an educational program from applying multiple theoretical perspectives to design, implementation, and evaluation.

역설적이게도 성과중심 접근법의 강점은 새로운 이론이 등장하여 이것이 교육 프로그램을 개선시킨다면, 그것을 도입해야 한다는 사실을 내재적으로 인식하고 있다는 점이다. CBME 기반 모델을 구현하는 것은 반복적이고 역동적 인 프로세스입니다 (Pawson & Tilley1997; van der Vleuten & Schuwirth 2005, Nasca 외. 2012). CBME에서 가장 중요한 것은 성과이며, 이를 달성하기 위한 전략은 사용할 수 있는 최상의 것들 중에 선택하면 되는 것이다.

Ironically, the strength of the outcomes approach is its inherent recognition of the need to incorporate new theories as they emerge and mature to continually improve training programs. Implementing CBME-based models willalways be an iterative, dynamic process (Pawson & Tilley1997; van der Vleuten & Schuwirth 2005; Nasca et al. 2012).In CBME, outcomes are paramount, while the tactics used to achieve them are chosen from the best available. 

결론

Conclusions

CBME는 의료 및 교육 시스템 요구를 충족시키기 위해 끊임없이 발전하고 있습니다. CBME는 고정된 교리라기보다는 transformation을 가능케하는 일련의 개념, 원리, 도구 및 접근법입니다.

CBME is evolving to meet health care and educational system needs; rather than a fixed doctrine, it is a set of concepts, principles, tools, and approaches that can enable transformation.

캐나다, 싱가포르, 미국과 같은 많은 국가에서 물류 및 금융상의 제약으로 인해 하이브리드 교육 모델이 구현되어 CBME의 원칙과 도구가 고정 시간 모델에 적용되고 있습니다. CBME는 반복적 인 학습주기를 통해 지속적으로 품질을 개선함으로써 무엇이 누구에게, 어떤 상황에서, 어떤 이유로 왜 효과적인지 배우게합니다.

For many countries, such as Canada, Singapore, and the United States, hybrid models of training are being implemented because of logistical and financial constraints, so that the principles and tools of CBME are being applied within fixed-time models. CBME embraces continuous quality improvement through iterative learning cycles to better learn what works, for whom, in what circumstances, and why.

우리는 또한 CBME의 비판 중 일부가 반영한 바와 같이, 변화가 어렵다는 점을 인식해야합니다. 왜냐하면 변화는 기본적으로 상실에 대한 것이기 때문이다. 정체성의 상실과 이미 개인들이 전통적 의학교육 모델에 엄청나게 투자한 것들의 상실이다. 역설적이게도, CBME는 우리가 받아 들여야 할 많은 것들로, 더 엄격하고 체계적인 방식으로, 돌아가게 해준다. 

We must also recognize that, as some of the criticisms of CBME reflect, change is hard because it is mostly about loss: loss of identity and loss of tremendous personal investment in traditional models of medical education (Heifetz & Linsky 2002). Ironically, CBME can help to “bring back” many things that we should embrace – most notably bedside rounds, direct observation, and faculty judgment – but in a more rigorous and systematic manner.

Ludmerer K. 2015. Let me heal: the opportunity to preserve excellence in American medicine. New York: Oxford University Press.

Gingerich A. 2015. What if the 'trust' in entrustable were a social judgement? Med Educ. 49:750–752.

McGaghie WC, Miller GE, Sajid AW, Telder TV, Lipson L. 1978. Competency-based curriculum development in medical education: an introduction. Public Health Papers No. 68. Geneva: World Health Organization.

Norman G, Norcini J, Bordage G. 2014. Competency-based education: milestones or millstones? J Grad Med Educ. 6:1–6.

Holmboe ES, Batalden P. 2015. Achieving the desired transformation: thoughts on next steps for outcomes-based medical education. Acad Med. 90:1215–1223.

ten Cate O. 2015. The false dichotomy of quality and quantity in the discourse around assessment in competency-based education. Adv Health Sci Educ Theory Pract. 20:835–838.

Med Teach. 2017 Jun;39(6):574-581. doi: 10.1080/0142159X.2017.1315067.

A call to action: The controversy of and rationale for competency-based medical education.

CBME와 쿤의 유령: 변신을 위한 지저분하고 의미있는 작업에 대한 성찰(Acad Med, 2018)

Competency-Based Medical Education and the Ghost of Kuhn: Reflections on the Messy and Meaningful Work of Transformation

Eric S. Holmboe, MD

Critical thoughts about the Core Entrustable Professional Activities in undergraduate medical education. Acad Med. 2018;93:371–376.

Edward Krupat는 학부 의학 교육 (UME) 및 역량 기반 의학 교육 (CBME)에서 위탁 가능한 전문 활동 (EPA)에 대한 신중한 비판을 제시했습니다 .1 Krupat는 "아마도 지금은 잠시 멈춰서 숨을 깊이들이 마시고, 우리가 뒤로 물러나거나 옆으로 옳은 방향으로 큰 걸음을 내딛고 있는지 물어보아야 할 때일 것이다. "1

In this issue of Academic Medicine, Edward Krupat has laid out some thoughtful criticisms of entrustable professional activities (EPAs) in undergraduate medical education (UME) and of competency-based medical education (CBME) in general.1 Krupat writes, however, that “perhaps now is the right time to pause, take a deep breath, and ask ourselves whether we are taking a major step in the right direction rather than a step back or to the side.”1

결과 기반 의학 교육의 주된 동력 중 하나는 20 대 후반과 21 세기 초에 [의대 졸업생들은 레지던트가 될 준비가 불충분하고, 레지던트 프로그램 졸업생들이 독립적 의료를 할 준비가 불충분하다는] 인식의 증가였습니다. 3-5 이와 동시에, The Institute of Medicine의 보고서 인 Err is Human6 및 Quality Crossing of Quality Chamm을 통해 환자가받은 진료의 질과 안전성에있어 광범위하고 심각한 결함을 보여주었습니다. 후속 보고서는 

• 건강 관리 비용을 낮추고, 

• 인구 건강을 개선하며, 

• 돌봄의 질과 안전을 향상시키는 것

...과 같은 세 가지 목적의 격차를 해소하는 데 어려움을 느낀 점을 강조했다.

One of the primary drivers for outcomes-based medical education was the growing recognition during the late 20th and early 21st centuries that graduates of medical schools were insufficiently prepared for residency and that graduates of residency programs were insufficiently prepared for practice.3–5 Concomitantly, a growing body of research, culminating in the seminal Institute of Medicine reports To Err Is Human6 and Crossing the Quality Chasm,7 demonstrated significant and widespread deficiencies in the quality and safety of care received by patients. Subsequent reports have highlighted agonizingly slow progress in addressing many of the gaps in the triple aim: 

• lowering health care costs, 

• improving population health, and 

• improving care quality and safety.8–10

Arnold Milstein11은 2010 년 미국 내과의위원회의 의학 교육 포럼에서

Arnold Milstein11 noted in his 2010 address at the American Board of Internal Medicine Foundation’s forum on medical education that

미국의 의료 교육 기관의 의사 졸업생은 일반적으로 미국의 의료 서비스 전달을 주도하거나 크게 영향을 미치기 때문에 의학교육 산업의 효율성에 대한 간접적이며 광범위한 결과 기반의 증거 중 하나는 미국 의료 시스템의 전반적인 성과입니다. 효과 성, 안전성 및 효율성에 대한 퍼포먼스 gap은 의사가 히포크라테스의 약속을 적절히 준수하고 있음을 사회가 확신할 수 없게 만든다.

[s]ince physician graduates of American medical education organizations typically lead or heavily influence U.S. health care delivery, one source of indirect, broad, outcome-based evidence [of the effectiveness of the medical education enterprise] is the overall performance of the U.S. health care system. The width of the performance gaps on the aims of effectiveness, safety and efficiency understandably reduces society’s confidence that physicians are adequately honoring their Hippocratic promises.

이러한 시스템 문제 외에도 개별 학습자에 대한 우려가 점차 증가하고 있습니다. 너무 많은 경험을 계속합니다.

• 상당한 부채의 독성 혼합,

• 기능 장애적 임상 학습 환경,

• 중요한 업무 압박

• 번 아웃

• 실업에 대한 두려움 때문에 학생들은 놀라운 수의 수련 프로그램에 지원해야합니다. 

On top of these system concerns are a growing number of concerns about our individual learners: Too many continue to experience 

• a toxic mix of substantial debt, 

• dysfunctional clinical learning environments, 

• significant work compression, and 

• burnout, as well as 

• fears of medical unemployment that lead students to apply to an astounding number of residency programs. 

솔직해지자: 일부 교육자들 사이에서 세대 간 (예 : 천년) 용어로 학습자에 대해 불평하는 경향이 있지만, 의대생들과 레지던트들 때문에 이러한 기능 장애가 생긴 것은 아니다. 교육 지도자로 봉사하는 우리들은 정말로 이러한 조건들이 인간적 교육 과정을 지지한다고 말할 수 있습니까? 교육에 관련된 모든 사람이 우리가 만들어낸 여건을 성찰하기 위해 돌아보고 반성해야 합니까?

Let’s be honest: Medical students and residents did not create these dysfunctional conditions, despite a penchant among some educators to complain about learners in generational (e.g., millennial) terms. Can those of us who serve as educational leaders really say these conditions support a humanistic educational process? Do all of us involved in education need to spend more time looking in the mirror and reflecting on the conditions we helped create?

구조와 과정에서 결과 중심의 접근으로의 전환은 실제 시도되고있는 패러다임 전환이다. 논리적으로, 특히 공공의 관점에서, UME와 GME 프로그램은 졸업생들이 자신의 발전 단계에 적합한 업무와 활동을 실제로 수행 할 수 있다는 확신을 어느 정도 가지고 있어야합니다. 역량에 대한 충분한 증거로서 더 이상 학습 과정을 완료하고 시험을 통과하는 것에 의존하는 것이 적절하지 않습니다. 교육이 그토록 간단했다면 왜 현재 수준의 품질 및 안전 문제와 의료 오류가 발생했겠습니까?

The shift from a structure and process to an outcomes-based approach is the actual paradigm shift being attempted. Logically, and especially from a public perspective, UME and GME programs should be able to conclude with some degree of accurate confidence that graduates can actually perform the tasks and activities appropriate for their stage of development. No longer is it appropriate to simply rely on completing a course of study and passing an exam as sufficient evidence of competence. If education were that straightforward, would we be experiencing the current levels of quality and safety problems and medical errors? 

이제 도전 과제는 구조와 프로세스에 중점을두고 high-functioning 학습 환경에서 이러한 역량을 포함하는 결과에 초점을 맞추어 의학교육을 재조정하는 것입니다.

The challenge now is to rebalance medical education by decreasing the emphasis on structure and process and increasing the focus on outcomes that include these competencies in a high-functioning learning environment.

역량은 복잡한 건강 관리 시스템에서 의사가 필요로하는 필수 능력의 프레임 워크와 정신 모델을 제공하여 교육 성과로의 전환을 촉진하는 데 도움이되는 하나의 메커니즘으로 만들어졌습니다. 좋든 싫든, 6 개의 핵심 역량은 (SBP 및 PBLI과 같이 과거에는 묵시적으로 거의 평가되지 않았지만) 중요한 능력에 대한 관심을 불러일으켰다.2,12,13

Competencies were created as one mechanism to help facilitate the transformation to educational outcomes by providing frameworks and mental models of the essential abilities physicians need in a complex health care system.12 Love them or hate them, the six core competencies call attention to critical abilities that previously were either ignored or at best taught implicitly and rarely assessed, such as systems-based practice (SBP) and practice-based learning and improvement.2,12,13

역량 영역의 지속적인 결함을 강조하는 데이터에도 불구하고 "환자", "품질"및 "안전"과 같은 단어는 CBME를 비판하는 문서에서 거의 사용되지 않으며, 다른 해결책이나 제안도 거의 없다. 또한 여전히 public forum의 코멘트에는 "시스템 기반의 실천이 우리의 전문 분야에 실제로 적용되지 않는다"또는 "우리는 이 품질과 안전성에서 레지던트들을 보호해서 의학을 배울 수 있게 해야 한다" 등이 나돈다.

It pains me that, despite data highlighting ongoing deficiencies in these competency domains, words like “patient,” “quality,” and “safety” are rarely used in most of the literature critical of CBME, and different solutions or suggestions are rarely offered. It also troubles me to still see in some current public forums comments such as “Systems-based practice doesn’t really apply to our specialty,” or “We need to protect residents from this quality and safety stuff so they can learn medicine.”

EPA 및 이정표 15는 역량의 적용 및 구현을 안내하는 교육 기술로 개념화 될 수 있으며, 나는 그들이 또 하나의 "빛나는 밝은 대상"이되지 않도록 철저히 연구해야한다는 것을 충분히 인식하고있다.

변화를 위한 여정은 시간이 걸리고, 이정표와 EPA 경험은 다르지 않습니다. 첫 번째 마일스톤 작업은 2007 년에 시작되었으며 대학원 의학 교육 인정위원회는 현재 차기 마일스톤 개정을 계획하고 있습니다. 이 과정은 2018 년에 시작되어 몇 년이 걸릴 것입니다. Milestone은 경험이 축적되면서 시간이 지남에 따라 변할 수있는 역동적 인 프레임 워크로 여겨져 왔고 사용법에 대한 교훈을 얻었습니다 .18-20

The journey to change takes time, and the experiences with Milestones and EPAs are no different. The first Milestone work began in 2007, and the Accreditation Council for Graduate Medical Education is currently planning for the next round of Milestone revisions, a process that will begin in 2018 and take several years. The Milestones have always been viewed as a dynamic framework that will change over time as experience is gained and lessons are learned on how best to use them.18–20

Krupat에 따르면 UME 및 GME 연속체에 걸쳐 이러한 교육 기술을 통합하는 최선의 방법에 대한 더 많은 작업이 성과로의 패러다임 전환을 동반하는 투쟁의 일부로서 반드시 필요하다고 동의합니다.

I agree with Krupat that more work on how best to integrate these educational technologies across the UME and GME continuum is definitely needed as part of the struggle with the paradigm shift to outcomes.

정의에 따르면, 패러다임 전환은 더 오래된 패러다임을 유지하려는 사람들과 새로운 패러다임을 추진하려는 사람들 모두에게 지저분하고 위협적입니다. 1962 년 Thomas Kuhn21 (p5)은...

By definition, paradigm shifts are messy and threatening, both for those wanting to remain with the older paradigm and those pushing the newer paradigm. As Thomas Kuhn21(p5) noted in 1962,

대부분의 과학자들이 필연적으로 거의 모든 시간을 소비하는 [정상 과학]은 과학 공동체가 세상이 무엇인지를 알고 있다고 가정합니다. Enterprise에서 성공의 상당 부분은 (상당한 비용이 들더라도) 해당 가정을 지키려는 커뮤니티의 의지에서 비롯됩니다. [강조 추가]

Normal science, the activity in which most scientists inevitably spend almost all of their time, is predicated on the assumption that the scientific community knows what the world is like. Much of the success of the enterprise derives from the community’s willingness to defend that assumption, if necessary at considerable cost. [emphasis added]

의학 교육에서 평가 및 프로그램 평가 방법론은 현재이 패러다임 전환의 tense interface에 있습니다. 의학 교육은 연구 및 평가 설계에서 복잡성의 핵심 역할을 통합하는 방법론을 개발 한 보건 및 사회 서비스 연구 세계의 교훈을 포용함으로써 이익을 얻을 수있다 .22,23

Assessment and program evaluation methodologies in medical education currently sit at the tense interface of this paradigmatic transition. Medical education can benefit by embracing lessons from the health and social services research worlds, which have developed methodologies incorporating the critical role of complexity in research and evaluation design.22,23

평가 측면에서 균형은 20 세기의 객관식 질문 (MCQ) 및 객관적인 구조화 된 임상 시험 (OSCE)과 같은 고부담 "프록시"평가에 과도하게 의존하는 현재에서 벗어나, (특히 임상, GME에서는) 작업 기반 평가에로 변화해야합니다. MCQ 시험에 가치가 없다는 말은 아닙니다. 다만 어떤 시점에서 교육 공동체인 우리는 지난 수십년간 고부담 MCQ 시험 및 OSCE의 발전을 이뤄왔음에도, 여전히 우리가 가진 것은 작금의 의료 시스템 퍼포먼스라는 것을 인식해야 한다.

On the assessment side, the balance needs to shift from the 20th century’s heavy reliance on high-stakes “proxy” assessments, such as multiple-choice question (MCQ) examinations and objective structured clinical examinations (OSCEs), to work-based assessment in the clinical space, especially in GME. That is not to say that MCQ exams, for example, do not have value—they do— but at some point we in the educational community need to recognize that despite decades of advances in high- stakes MCQ exams and OSCEs, we have the health system performance we have.

너무나 자주, 다양한 평가 접근법의 역할에 관한 논쟁은 도움이되지 않는 이데올로기적 논쟁으로 엉망이되었습니다.

Too often, debates around the role of various assessment approaches get bogged down in unhelpful ideological arguments.

우리는 의학 교육에서 우리가하는 대부분이 상호작용하고 상호의존적인 여러 구성 요소를 possessing하는 개입이라고 정의되는 "복잡한 개입"을 구현해야한다는 사실을 받아 들여야합니다 .22이 렌즈를 통해 UME 및 GME의 EPA와 GME의 마일스톤을 사용하여, 가변적이고 진화하는 맥락에 포함 된 여러 상호 작용하는 구성 요소와의 진정한 복잡한 중재로 간주됩니다. EPAs와 Milestone은, 개입의 목적으로 사용하더라도, 쉽게 무작위 배정 될 수있는 치료약이 아닙니다. 무작위 통제 연구 (RCTs)는 적절한 경우 계속해서 역할을 수행해야하지만, 의학 교육 연구는 복잡성의 영향을 교육 개입의 결과 및 성과에 반영하는 방법론적 접근법을 사용해야합니다 .23

We need to embrace the reality that most of what we do in medical education involves implementing “complex interventions,” simply defined as interventions possessing multiple interacting and interdependent components.22 Through this lens, using EPAs in UME and GME, and Milestones in GME, are viewed as truly complex interventions with multiple interacting components embedded in variable and evolving contexts. EPAs and Milestones, when treated as interventions, are not therapeutic pills that can be easily randomized. While randomized controlled trials (RCTs) should continue to play a role where appropriate, research in medical education also needs to use methodological approaches that incorporate the effects of complexity on the implementation and outcomes of educational interventions.23

품질과 안전에 대한 기관의 퍼포먼스 수준은 (그 기관에서 수련받은) 개별 졸업생의 미래 수행능력과 연관되어 있다.

an institution’s level of performance in quality and safety is associated with the future practice of its individual graduates,

복잡한 개입의 구현은 오랜 성공의 여정을 가지고 있으며, 깨지기 쉽고, 길을 따라 돌연변이를 일으키며, 맥락에 크게 의존하고, 스스로를 되돌린다. 무작위화는 성공이나 실패를 가져 오는 메커니즘과 상황에 대한 통찰력을 제공하지 않으며, 통제그룹은 성공적인 실행에 기여하는 것이 무엇인지를 이해하는 데 아무런 도움이되지 않습니다 .27

Implementations of complex interventions have long success journeys, are fragile, mutate along the way, depend heavily on context, and feed back on themselves.23,27 Randomization does not provide any insights into the mechanism and contexts that produce success or failure, and control groups contribute nothing to understanding what contributes to successful implementation.27

마지막으로, 우리 모두가 연속체에서 의학 교육을 변화시키기 위해 노력할 때, 우리는 우리가 논쟁에서 양극성을 다루는 방식을 재고 할 필요가 있습니다. 현재의 교육 담론은 너무 많은 양의 "극단적 인 양극화"나 "이분법"을 중심으로 높은 이해력 테스트와 업무 기반의 평가, 정량적 대 정량적 접근법, 환원주의 대 전체주의, 프로세스 대 결과, 기타 등등. 이러한 either-or 식의 논쟁은 종종 재미있는 이념적 exercise가 되긴 하지만, 일반적으로 도움이 안되고, 환자에게 도움이 된다거나 이 분야를 궁극적으로 발전시키지 못한다. 존슨의 polarity thinking 모델은 긴장과 어려움을보다 생산적으로 활용하기위한 더 나은 접근 방법 일 수 있습니다. 이 모델은 양극성을 "both-and" 관점으로 바라보며, 그룹과 개인이 각 극의 이점과 한계를 평가하도록 유도하여 한계에 주의하면서도 동시에 양극의 강점을 활용합니다.

Finally, as we all work to change medical education across the continuum, we need to rethink how we handle polarities in our debates. At the current time, too much of the educational discourse revolves around many “either–or” polarities or dichotomies, such as high-stakes tests versus work-based assessments, quantitative versus qualitative approaches to assessment, reductionism versus holism, process versus outcome, and so forth. Such either–or arguments are typically unhelpful—engaging in them often makes for a fun ideological exercise but in the end does not move the field forward or ultimately help patients. Johnson’s28 model of polarity thinking may be a better approach to leverage tensions and challenges more productively. In this model, polarities are viewed as “both–and,” encouraging groups and individuals to assess the benefits and the limitations of each pole and thus leverage the strengths of the polarity while being attentive to the limitations.

1 Krupat E. Critical thoughts about the Core Entrustable Professional Activities in undergraduate medical education. Acad Med. 2018;93:371–376.

2 Holmboe ES, Sherbino J, Englander R, Snell L, Frank JR; ICBME Collaborators. A call to action: The controversy of and rationale for competency-based medical education. Med Teach. 2017;39:574–581.

20 Holmboe ES, Call S, Ficalora RD. Milestones and competency-based medical education in internal medicine. JAMA Intern Med. 2016;176:1601–1602.

Acad Med. 2018 Mar;93(3):350-353. doi: 10.1097/ACM.0000000000001866.

Competency-Based Medical Education and the Ghost of Kuhn: Reflections on the Messy and Meaningful Work of Transformation.

카네기재단의 의학교육 개혁 요구: 1910년과 2010년(Acad Med, 2010)

Calls for Reform of Medical Education by the Carnegie Foundation for the Advancement of Teaching: 1910 and 2010

David M. Irby, PhD, Molly Cooke, MD, and Bridget C. O’Brien, PhD

20 세기 초, 카네기 진보 재단 (Carnegie Teaching Advancement Foundation)은 의학 교육의 주요 개혁 운동을 주도했습니다. 운동은 Abraham Flexner의 비전 - 과학적 엄격함과 교육의 우수성이 의사 준비에있어 원동력- 에 의해 인도되었습니다. 이제 21 세기 초 카네기 교육 진흥 재단은 다시 의사 준비를 개선 할 개혁을 요구하고 있습니다.

At the beginning of the 20th century, the Carnegie Foundation for the Advancement of Teaching spearheaded a major reform movement in medical education. The movement was guided by Abraham Flexner’s vision—a vision in which scientific rigor and educational excellence were the driving forces in the preparation of physicians. Now, at the beginning of the 21st century, the Carnegie Foundation for the Advancement of Teaching is again calling for reforms that will improve the preparation of physicians.

두 연구에 걸쳐 네 가지 공통 주제 :

(1) 학습 결과의 표준화 및 학습 과정의 개별화,

(2) 형식적 지식과 임상 경험의 통합,

(3) 탐구와 개선 습관의 개발, 

(4) 전문직 정체성의 형성.

four common themes across the two studies: 

(1) standardization of learning outcomes and individualization of the learning process, 

(2) integration of formal knowledge and clinical experience, 

(3) development of habits of inquiry and improvement, and 

(4) formation of professional identity.

1910년 개혁의 전조

Precursors to the Call for Reform in 1910

Flexner의 의학 교육 연구의 precursor는 1904 년 AAMC의 회원 학교 중 일부에서, 1906 년과 1907 년에는 AMA의 의과 대학 교육위원회 (Council on Medical Education)에서 실시되었습니다. NP Colwell 박사의 리드하에 존스 홉킨스 대 의과 대학, 하버드 의과 대학 및 기타 대학의 가장 엄격한 대학 모델을 표준으로 사용한 AMA 전국 조사에서 많은 의과대학이 매우 unsatisfactory함이 드러났다. 그러나 AMA는 회원들을 비난하기를 원치 않는 민감한 입장에 있었기 때문에 북미 지역의 의학 교육에 대한 포괄적인 연구를 수행하는 공정한 제 3자인 Carnegie Educational Advancement Foundation의 지원을 받았다. 1908 년 재단의 창립 회장 인 Henry Pritchett 박사는 의사는 아니지만, 켄터키 주 루이스 빌에있는 사립 고등학교의 전임 교장이었던 Abraham Flexner 박사를 고용하여 연구를 수행했습니다 .1

Precursors of Flexner’s study of medical education were conducted by the Association of American Medical Colleges (AAMC) in a few of its member schools in 1904 and by the American Medical Association’s (AMA’s) Council on Medical Education in all medical schools in 1906 and 1907. Under the leadership of Dr. N.P. Colwell, the AMA national survey, which used as its standard the most rigorous university models of Johns Hopkins University School of Medicine, Harvard Medical School, and others, revealed that many medical schools were deeply unsatisfactory. However, the AMA was in a delicate position of not wanting to condemn its own members, and it therefore sought the assistance of the Carnegie Foundation for the Advancement of Teaching, an impartial third party to conduct a comprehensive study of medical education in North America. In 1908, Dr. Henry Pritchett, inaugural president of the foundation, hired AbrahamFlexner, not a physician but the former headmaster of a private high school in Louisville, Kentucky, to conduct the study.1

그의 방문을 시작하기 전에, Flexner는 존스 홉킨스 (Johns Hopkins)를 다녔고, 그의 형제 Simon은 의대에 다녔다. 그곳의 교수진과 이야기 한 후 플렉스너는 존스 홉킨스 (Johns Hopkins) 모델을 탁월성의 모범으로 채택했습니다. 그는 이렇게 말했습니다. "내 마음 속에 이런 패턴이 없으면 나는 거의 성취할 수 없었을 것이다. 그로부터 나는 미국과 캐나다에서 의과 대학을 신속히 견학하기 시작했다. "2 (p115) 1909 년 미국과 캐나다의 155 개 모든 의과 대학을 방문한 동안 Flexner 박사는 Colwell 박사와 같은 결론에 도달했습니다 : 다수의 우수한 대학 기반 프로그램과 또한 다수의 저질의 영리를 목적으로 한 의과 대학이 있다. Flexner는 "Dr. 콜웰과 나는 많은 여행을 했고, 그는 조심스럽고 재치있게 진행할 필요가 있었지만, 나는 운이 좋게도 진정한 솔직함으로 진실을 말할 수 있었다. "고 했고, 실제로 그러했다(p115)

Before embarking on his site visits, Flexner went to Johns Hopkins, where his brother Simon had studied medicine. After speaking with faculty members there, he adopted the Johns Hopkins model as his exemplar of excellence. As he stated, “Without this pattern in the back of my mind, I could have accomplished little. With it I began a swift tour of medical schools in the United States and Canada.”2(p115) During his site visits to all 155 medical schools in the United States and Canada in 1909, Flexner came to the same conclusion as Dr. Colwell: There were a number of excellent university-based programs and many poor-quality for-profit medical schools. Flexner wrote, “Dr. Colwell and I made many trips together, but, whereas he was under the necessity of proceeding cautiously and tactfully, I was fortunately in position to tell the truth with utmost frankness,” which he did indeed do.2(p115)

1910년의 플렉스너 보고서

Flexner’s 1910 Report on Medical Education

Flexner의 1910 년 보고서, 미국과 캐나다의 의료 교육 : Carnegie Foundation for Teaching의 보고서는 두 부분으로 구성되어 있습니다 : 

• 적절한 의대 학교 커리큘럼에 대한 해설과 그것을 지원하는 데 필요한 자원 

• 그가 방문한 각 의과 대학에 대한 간단한 보고서. 

Flexner’s 1910 report, Medical Education in the United States and Canada: A Report to the Carnegie Foundation for the Advancement of Teaching,3 contains two parts: a year-by-year description of the proper medical school curriculum and the resources required to support it, and brief reports on each medical school he visited. Table 

19 세기 후반 북미에서의 의학 교육은 

• 교육적으로 효과적이지 못했고, 

• 엄격한 학업 기준이 없었으며, 

• 종종 임상 수입을 보충하려는 의도로 개업의가 수행했습니다. 

• 학교는 규모가 작았고 일반적으로 의사가 소유 했으므로 의사의 이익을 위해 운영했습니다. 

• 입학 기준은 미미하며, 일반적으로 고등학교만 졸업하면 되었고, 모든 학생이 학업 성취 수준에 관계없이 졸업했습니다. 

이러한 결과로부터 Flexner는 의과대학이 최고의 대학 프로그램을 모방하고 의대에 입학하기 전에 강력하고 과학적으로 기초한 학부 교육을 강요 할 것을 권장했습니다.

Medical education in North America in the late 19th century was an ineffectual educational process, lacking rigorous academic standards and often carried out by local practitioners supplementing their clinical incomes. Schools were small and typically owned by the doctors, who operated themfor a profit. Admission standards were minimal, typically a high school education, and all graduated regardless of the level of academic achievement. These findings fueled Flexner’s recommendation to emulate the best university programs and insist on a strong, scientifically based undergraduate education prior to admittance to medical school.

Flexner의 권고 사항 중 다른 하나는 의과 대학 커리큘럼의 큰 차이와 학생들의 준비상태 및 성취수준의 이질성을 해소하였다. 학생들이 의학 교육에 대한 과학적 접근법을보다 잘 준비 할 수 있도록 그는 의과 대학 입학을 위한 전제 조건으로 일련의 과학 과정 이수와 학사 학위를 주창했습니다. Flexner는 고품질의 엘리트 대학교 의과 대학에서 제공하는 엄격한 4 년제 커리큘럼을 채택하는 대신 한 차례 반복되는 16 주간의 강의식으로 운영되는 교육은 없어져야 한다고 주장했다. 이러한 교육은 작고 품질이 낮은 proprietary 의대 학교에서 일반적이었습니다. proprietary 학교에서는 실험실이나 임상 경험을 할 기회는 거의 없었습니다. 훈련 중 학생들은 매우 드문 경우만 환자를 검사했습니다. 커리큘럼은 의사의 지혜와 연습에 기반을두고 있었으며, 과학의 실천과 진보와는 아무런 관련이 없었습니다 .1 대조적으로 Flexner는 2 년간의 기본 과학 과정에 이어 2 년간의 교육 병원에서의 임상 경험으로 구성될 것을 권고하였다.

Another of Flexner’s recommendations addressed the great variability in curriculum among medical schools and the heterogeneity in student preparation and achievement. To better prepare students for the scientific approach to medical education, he advocated a set of science courses and a baccalaureate degree as prerequisites to matriculation into medical school. Flexner further supported the adoption of a rigorous four-year curriculum offered by the high- quality elite university medical schools and the elimination of the 16 weeks of lectures that were repeated once, which were common among the small, poor- quality proprietary medical schools. In those proprietary schools, there were rarely any laboratories or clinical experiences; students only infrequently examined a patient during their training.The curriculum was based on the received wisdom and practices of physicians, and there was no connection between practice and advances in science.1 By contrast, Flexner advised widespread adoption of a medical curriculum consisting of two years of basic science followed by two years of clinical experience in a teaching hospital.

인정 된 학업 기준이나 인증 기관이 없었기 때문에 많은 의대는 매우 열악했습니다. 그리고 면허 요건이 없는 상태에서, 의대생이 졸업시에 역량을 갖췄는지를 대중이 알 수있는 거의 방법이 없었습니다.

Because there were neither accepted academic standards nor an accrediting agency, many medical schools were of very poor quality. And, without licensing requirements, there was little way for the public to know if medical students were competent on graduation.

통합의 부족

Lack of integration

Flexner가 관찰 한 것처럼 대부분의 의대에서는 의사가되기 위해 배운 정보를 전달하기 위해 한 번 반복되는 강의에 의존했습니다. 그는 이러한 수동적인 형태의 학습은 실습과 연관되지 않으면 효과가 없으며, 지식은 더 적극적인 형태의 실험실 및 임상 경험을 통해 적용되어야 한다고 말했다.

As Flexner observed, most medical schools relied on lectures, repeated once, to transmit the information that students needed to learn to become doctors. He contended that this passive form of learning was ineffective if it was not connected to practice and argued that knowledge needed to be applied through more active forms of laboratory and clinical experience.

받은 지혜received wisdom에서 실험 의학으로의 전환은 의학 교육을 근본적으로 변화 시켰습니다. 의학 연구소를 설립하고 대학의 교육병원을 설립함으로써, 능동적인 학습 과정을 임상 문제를 해결하기 위한 지식의 적용과 사용을 장려하는 의학교육에 통합 할 수있었습니다 .1

The shift to experimental medicine from a focus on received wisdom fundamentally changed medical education. The establishment of medical laboratories and the creation of university teaching hospitals made it possible to incorporate an active learning process into medical education that encouraged the application and use of knowledge to solve clinical problems.1

탐구의 부족

Lack of inquiry

Flexner는 그의 전임자들과 마찬가지로 proprietary 소규모 학교에서의 의학 교육은 과학적 조사와 엄격한 학술 문화를 잃어버린 것이며 의사가 received wisdom에 대한 암기에 의존한다는 사실을 발견했습니다. 19 세기 후반에 이미 질병의 기전이 실험적으로 확인되고 확인되고 있는 독일 대학의 연구실의 출현으로 인해 변화가 일어났습니다. 많은 미국의 의사들은 의학에 대한 실험적 접근법에 대해 흥분을 감추지 않았고 실험실 연구 방법을 배우기 위해 독일을 여행했으며, 시카고, 코넬, 하버드, 미시간, 펜실베니아, 나중에 존스홉킨스 등의 대학에서 과학 의학을 확립하게 되었다.  Flexner는 고품질의 의학 교육을 통해 학생들이 과학-지향적인 교사를 모방하고, formal knowledge를 침상 옆에서 관찰 한 것에 비추어 테스트하고, 경험을 바탕으로 이해를 정제 할 수있는 준비를 할 것으로 기대했습니다.

Flexner, like his predecessors, found that medical education within small, proprietary schools was bereft of scientific investigation and a rigorous academic culture and relied on rote memorization of the received wisdomof practicing physicians. Yet change was already occurring in the latter part of the 19th century, influenced by the rise of research laboratories in German universities, where the mechanisms of disease were being experimentally examined and confirmed. Many American physicians were excited about this experimentalist approach to medicine and traveled to Germany to learn laboratory research methods, returning with a commitment to establish scientific medicine at their universities, which included Chicago, Cornell, Harvard, Michigan, Pennsylvania, and, later, Johns Hopkins. Flexner expected that high-quality medical education would prepare students to emulate their scientifically oriented teachers, testing their formal knowledge against what they observed at the bedside and refining their understandings on the basis of their experience.

Flexner는 암기 기억에 의존하는 것과 달리 과학적 호기심과 탐구 방법에 대한 가르침을 의학 교육에 중요한 것으로 보았다. 의사는 의학 실습을 발전시키기 위해 조사와 연구를 사용하는 과학자처럼 생각하도록 가르쳐야합니다. 이러한 습관을 개발하기 위해 의대 학생들은 존 듀이 (John Dewey)와 다른 진보적 인 교육자들이 옹호 한 것처럼 탐구를 통해 문제에 접근하기 위해 교육받을 필요가있었습니다. 연구와 실천의 유사성에 대해서 플렉스너는 다음과 같이 말했다.

Flexner saw the inculcation of scientific curiosity and methods of investigation, as opposed to relying on rote memorization, as critical to medical education. Physicians should be taught to think like scientists—to use inquiry and research to advance the practice of medicine. To develop these habits of mind, medical students needed to be educated to approach problems through inquiry—as advocated by John Dewey and other progressive educators. Drawing a parallel between research and practice, Flexner4(p4,6) observed that

연구와 실습practice을 구분할 수는 없습니다. 연구자는 분명히 관찰하고, 실험하고, 판단합니다. 현대 정신에서 예술art을 실천하는 의사도 마찬가지다. 근본적으로 연구자와 의사의 지적 태도와 과정은 동일하거나 동일해야한다 .... 만약이 이 입장이 옳다면, 병동과 실험실은 논리적으로 탐구, 치료, 교육의 견지에서 뗄 수 없게 얽혀있다.

no distinction can be made between research and practice. The investigator, obviously, observes, experiments, and judges; so do the physician and surgeon who practice their art in the modern spirit. At bottom the intellectual attitude and processes of the two are—or should be—identical....If this position is sound, the ward and the laboratory are logically, from the standpoints of investigation, treatment, and education, inextricably intertwined.

결과적으로, Flexner는 의학 교육이 지식의 발견과 진보가 그 사명의 중심에있는 대학 강의실과 교육 병원 내에 위치해야한다고 권고했다.

As a result, Flexner recommended that medical education should be located within university classrooms and teaching hospitals, where discovery and the advancement of knowledge are central to its mission.

전문직 정체성 형성에 실패

Failure to focus on professional identity formation

임상 경험이 제한적이거나 아예없는 강의 중심의 커리큘럼에서 학생들은 전문적인 태도나 실무자의 행동을 관찰 할 기회가 거의 없었고, 모방할 롤 모델도 없었습니다. 나중에 더 많은 실험실과 임상 경험이 도입되었지만, 여전히 직업적 정체성의 개발에 공식적인 초점은 없었다. Flexner는 학생들이 교수와 적절한 시간을 보내고 곁에서 실천을 배운다면 교수의 가치와 행동을 흡수할 것이라고 믿었습니다. 따라서 학생들의 formation은 대학 문화에 immersion하고 과학적 근거가있는 대학 교수진 역할 모델과 지속적인 접촉을 통해 가장 잘 처리됩니다.

In a lecture-dominated curriculum with limited or no clinical experiences, students had few opportunities to observe the professional demeanor or actions of practitioners and thus had no role models to emulate. Later, as more laboratories and clinical experiences were introduced, there was still no formal focus on the development of professional identity. Flexner believed that students would absorb the values and behaviors of the faculty if they spent adequate time with them and learned the practice at their sides. Thus, student formation would best be served by immersion in university culture and sustained contact with scientifically grounded, university faculty role models.

즉, Flexner는 MDdegree로 이어지는 4 년 교육의 다음과 같은 표준적 특징을 제안했습니다.

In short, Flexner proposed the following standard features of a four-year education leading to the MDdegree:

•   강한 과학적 배경을 가진 학사 학위에 기초한 의과 대학 입학.

•   실험실과 강의실에서 2 년간의 기본 과학 교육을 제공하고 교육 병원에서 2 년간의 임상 경험을 제공하는 대학 기반의 의대.

•   교육, 연구 및 환자 간호에 종사하는 의사 - 과학자 교육을 통해 실험실의 이점을 침대 옆으로 가져옮.

•   실험실 및 대학 기반의 교육 병원에 감독된 참여supervised participation를 통한 탐구 경험.

플렉스너의 개혁 요구에 대한응답

Response to Flexner’s Call for Reform

의학교육 공동체가 매우 중요하게 생각한 Flexner의 보고서의 영향은 특정 ​​학교에 대한 Flexner의 신랄한 판단으로 현장 하루를 보냈던 기발한 언론인에 의해 증폭되었습니다. 10 년 안에 155 개 의과 대학 중 약 1/3이 다른 학교를 폐쇄하거나 합병했습니다. 불행하게도 폐쇄 된 많은 학교가 여성과 아프리카 계 미국인에게 의학 교육을 제공하는 유일한 학교였으며, 이 상황이 1970 년대까지는 교정되지 않았다.

The impact of Flexner’s report, taken very seriously by the medical education community, was amplified by muckraking journalists, who had a field day with Flexner’s caustic judgments about specific schools. Within a decade, approximately one third of the 155 medical schools had closed or merged with other schools. Unfortunately, a number of the schools that closed were the only ones that offered women and African Americans access to medical education, a situation that was not rectified until the 1970s.

1920 년까지 의학 교육의 표준화를위한 모든 기본 구조가 확고하게 확립되었습니다. AMA와 AAMC는 (1942 년까지, 그들의 노력을 결합하고 의학 교육에 대한 연락위원회를 구성 할 때까지) 각각 의과 대학을 조사하고 평가했으며, 국립 검시관 (NBME)은 미국의 의학 면허 시험을 수립하고 의학 보드는 연습중인 의사의 면허를 얻기 시작했습니다.

By 1920, all of the basic structures for standardization of medical education were firmly established. The AMA and the AAMC separately surveyed and evaluated medical schools (until 1942, when they combined their efforts and formed the Liaison Committee on Medical Education), the National Board of Medical Examiners (NBME) established the United States Medical Licensing Examinations, and state medical boards began to license practicing physicians.

Flexner 보고서는 Abraham Flexner를 국가적으로 유명하게 만들었고 John D. Rockefeller 재단의 총 교육위원회 (General Education Board)의 비서로 새로운 직책을 수행했습니다. 상당한 금액의 자선 기금을 의과 대학에 보급함으로써 그는 표준을 향상시키고 학교의 교육 프로그램을 direct 할 수 있었습니다 .5 이러한 모든 노력의 결과로, 루드머어 (Ludmerer)에 따르면, 1차 세계대전 시기에 이르면 과학 지향적인 대학 기반 의과대학 및 교육 병원이 표준이 되었으며, 이것은 미국의 의학 교육에서 최초의 주요 변형이며, 종종 "플렉스너 혁명 (Flexnerian Revolution)"이라고도 불린다.

The Flexner Report propelled Abraham Flexner to national prominence and a new position as the secretary of the General Education Board of the John D. Rockefeller Foundation. By directing substantial amounts of philanthropic funds to medical schools, he was able to upgrade standards and direct the course of the schools’ educational programs.5 As a result of all of these efforts, the scientifically oriented, university-based medical school and teaching hospital became the normby the start of World War I. According to Ludmerer,5 this was the first major transformation in American medical education and is often referred to as the “Flexnerian revolution.”

2010년의 개혁을 요구한 전조

Precursors to the Call for Reform in 2010

제 1 차 세계 대전에서 제 2 차 세계 대전에 이르기까지 교육 사명이 최우선이었고 환자 관리와 교육을 통합하는 Flexnerian 모델이 널리 보급되었습니다. 연구는 환자의 신중한 관찰과 실험실에서의 환자 지향적인 조사 작업에 크게 기인 한 것이기 때문에, 환자 간호, 연구, 교육이 모두 연결되었습니다 .6 다음 수십 년 동안 대학의학에서 두 가지 추가 혁명이 발생했습니다. 하나는 생물 의학 연구의 혁명이며, 다른 하나는 임상 실습이 megabusiness로 변모한 것이다. 이들 각각은 다른 의과 대학 미션을 요구했다.

From World War I to World War II, the education mission was paramount and the Flexnerian model of integrating patient care and teaching was widespread. Patient care, investigation, and teaching were all connected because research was based in large part on careful observations of patients as well as patient-oriented investigative work in the laboratory.6 Over the subsequent decades, two additional revolutions in academic medicine occurred: the revolution in biomedical research and the transformation of clinical practice into megabusiness. Each of these encouraged the ascendancy of a different medical school mission.

제 2 차 세계 대전 이후, 이러한 혁명의 첫 번째 사건이 생겨났고, 생의학 연구의 부상이 일어났습니다. 이것은 두 가지 힘의 결과로 발생했다 : 국립 보건원 (National Institutes of Health)의 급속한 확장과 의대가 대학에 통합된 것; 그 결과 "publish or perish"의 문화가 등장하였다. 연구가 점점 더 복잡 해짐에 따라 연구실 교수진은 환자를 계속 가르치고 관찰하는 것이 점점 더 어려워지고 있음을 발견했습니다. 유사하게, 임상 교사들은 더 이상 최첨단 wet lab연구를 수행 할 수 없었습니다. 따라서 실험실과 침상 옆을 오가는 임상의라는 Flexner의 이상은 퇴색하기 시작했습니다.

After World War II, the first of these revolutions took place, the rise of biomedical research. This occurred as a result of two forces: the rapid expansion of the National Institutes of Health and the incorporation of medical schools into universities; together, these resulted in an intensifying culture of “publish or perish.” As research became increasingly molecular in nature, laboratory-based faculty found it more and more difficult to continue teaching and seeing patients; similarly, clinical teachers were unable to conduct leading-edge wet lab research. Thus, Flexner’s ideal of the clinician– investigator who went back and forth from the laboratory to the bedside began to fade.

또 다른 혁명은 임상 혁명이 메가 비즈니스로 변모한 것으로, 1965 년 메디 케어와 메디 케이드의 통과와 함께 시작되었습니다. 의료는 엄청나게 확대되었으며, 의과 대학의 주요 수입은 교수진이 창출 한 임상 실습 수익이되었습니다. 이후 수십 년 동안 교수진의 임상 생산성 요구가 증가하고, 이는 계속해서 교육을 위한 시간을 줄여놓거나 심지어 제거했습니다 .5 오늘날 의과 대학생들은 주로 환자와 환자가있는 급성 환자의 맥락에서 레지던트가 가르치고 있습니다. 직원은 자주 바뀌고 환자 진료의 핵심 참가자들 간에는 거의 연속성이 없습니다. 결과적으로 의학 교육은 Flexner가 상상하지 못했던 새로운 과제에 직면하게됩니다.

The other revolution, the transformation of clinical practice into megabusiness, began in 1965 with the passage of Medicare and Medicaid. Medical faculties expanded dramatically, and the primary income for medical schools became clinical practice revenue generated by the faculty. Over succeeding decades, the clinical productivity demands on the faculty increased and continued to do so, compressing or even eliminating time for teaching.5 Today, medical students are being taught primarily by residents in the context of acutely ill patients on inpatient services where patients and staff change frequently and there is little continuity between the key participants in patient care. As a result, medical education faces a new set of challenges unimagined by Flexner.

현대의 카네기 연구 

The Contemporary Carnegie Study of Medical Education

오래된 모델을 기반으로 하더라도, 커리큘럼, 교육학, 평가에 대한 새로운 비전을 제시하는 새로운 모델이 필요합니다.

A new model is needed that builds on the old but offers a new vision for curriculum, pedagogy, and assessment.

우리가 21 세기 초 미국의 의학 교육에 대해 생각할 때, 우리는 플렉스너처럼 마찬가지로 그것이 부족하다는 것을 알게됩니다. 

• 의학 교육은 유연성이없고 지나치게 길며 학습자 중심이 아닙니다. 

• 학생과 레지던트 모두를 위한 임상 교육은 사실적 지식의 숙달, 입원 임상 경험, 레지던트에 의한 교육, 가르치는 시간이 줄어든 임상 교수에 의한 감독, 교육 임무를 지원 의지나 능력에 한계에 도달한 병원을 과도하게 강조합니다. 

• 우리는 공식 지식과 경험 학습과 환자 집단, 의료 전달, 환자 안전 및 품질 향상에 대한 부적절한 관심 사이의 연관성을 관찰했습니다. 

• 학습자는 환자 경험에 대한 총체적인 시각이 부족하고 의사의 광범위한 시민 및 옹호 역할을 제대로 이해하지 못합니다. 

• 마지막으로, 건강 관리의 속도와 상업적 성격은 종종 직업의 근본 가치에 대한 가르침을 방해합니다.

As we reflect on medical education in the United States at the beginning of the 21st century, we find, like our famous forbearer, that it is lacking. 

• Medical training is inflexible, overly long, and not learner-centered. 

• Clinical education for both students and residents excessively emphasizes mastery of facts, inpatient clinical experience, teaching by residents, supervision by clinical faculty who have less and less time to teach, and hospitals with marginal capacity or willingness to support the teaching mission. 

• We observed poor connections between formal knowledge and experiential learning and inadequate attention to patient populations, health care delivery, patient safety, and quality improvement.

•  Learners lack a holistic view of patient experience and poorly understand the broader civic and advocacy roles of physicians. 

• Finally, the pace and commercial nature of health care often impede the inculcation of fundamental values of the profession.

우리의 연구는 재단이 위임 한 직업을 준비하는 데 더 큰 규모의 일을하고 있습니다. 책으로 출판 된 동반자 연구는 성직자 교육, 변호사, 엔지니어, 간호사를 대상으로합니다.

Our study is part of a larger body of work on preparation for the professions commissioned by the foundation. The companion studies, published as books, address the education of clergy,7 lawyers,8 engineers,9 and nurses.10

우리는 2005 년과 2006 년에 미국에서 11 개의 의과 대학과 3 개의 비-대학 교육 병원 *을 연구했습니다. Flexner와 달리 우리의 목적은이 기관의 교육 프로그램을 평가하는 것이 아니라 혁신과 도전으로부터 배우는 것입니다.

We studied 11 medical schools and three nonuniversity teaching hospitals* in the United States in 2005 and 2006. In contrast to Flexner, our purpose was not to evaluate educational programs at these institutions but, rather, to learn from their innovations and challenges.

핵심 결과와 권고

Key Findings and Recommendations

우리는 다음과 같은 의학 교육 시스템을 그린다.

•     표준화 된 결과를 달성하는 과정에서 유연성을 극대화하고,

•     통합 및 협업 학습 기회를 창출하며,

•     질의와 개선의 습관을 가르치고

•     학생 및 레지던트 professional formation을 위한 학습 환경을 제공합니다. 

•     환자와 환자 집단의 건강을 진전시킨다.

We envision a medical education system that

•    maximizes flexibility in the process of achieving standardized outcomes,

•    creates opportunities for integrative and collaborative learning,

•    inculcates habits of inquiry and improvement, and

•    provides a supportive learning environment for the professional formation of students and residents— while at the same time it

•    advances the health of patients and patient populations.

Table 2 summarizes our key findings associated with four themes:

•    Standardize learning outcomes and individualize the learning process.

•    Integrate formal learning with clinical experience.

•    Develop habits of inquiry and improvement into medical education at all levels.

•    Focus on the progressive formation of professional identity.

표준화와 개별화

Standardization and individualization

의학 교육은 역사적으로 교과 과정의 길이와 구조에 대한 인정 기준을 표준화했습니다. 다른 많은 사람들과 마찬가지로, 우리는 의학 교육이 학습 결과와 일반 역량을 표준화해야하고, 학생과 레지던트를 위한 학습 경험을 개별화 할 수있는 더 많은 옵션을 제공해야한다고 주장합니다. 역량을 지정하고 평가함으로써 높은 표준을 달성하면서, 학습 과정에 유연성을 부여하고, 조기에 역량을 얻을 수있는 사람에게는 지나치게 긴 교육 과정을 단축 할 수 있어야 한다.

Medical education has historically standardized accreditation standards on the length and structure of the curriculum . Like many others, we argue that medical education should standardize learning outcomes and general competencies and then provide greater options for individualizing the learning experience for students and residents. By specifying and assessing competencies, high standards can be achieved while affording greater flexibility in the learning process and shortening the overly long educational process for those who can achieve competence early.

개별화는 학생과 레지던트가 다양한 배경, 경험 및 전문 지식을 가지고 도착한다는 것을 인정합니다. 그러나, 종종 학생들이 의대를 시작하면, 그들이 가지고있는 지식과 경험은 무시됩니다. 타인의 삶의 질을 향상시키고 과학을 사용하는 데 대한 관심이 중요한 동기 부여요인이 된다. 우리의 주장은 학생과 레지던트에게 의학을 배우고 자신의 특정 관심 분야를 추구하고, 풍부한 교육 경험을 만들어 내고, 결과적으로 더 광범위하게 훈련 된 의사를 양성 할 수있는 기회를 더 많이 제공 할 수 있다는 것입니다. 이 모델은 일부 학생과 레지던트가 다른 사람들보다 빨리 숙달을 달성할 수 있음을 가정하고 있으며, 이 경우 심층적인 관심 주제를 추구하거나 다음 단계로 빠르게 진행할 수 있어야합니다.

Individualization acknowledges that students and residents arrive with diverse backgrounds, experiences, and expertise. Yet, when students begin medical school, the knowledge and experience they bring with them are often disregarded. Their commitment to improving the quality of life of others and their interest in using science to do so are important sources of motivation. Our contention is that we can offer students and residents more opportunities to both learn medicine and also pursue areas of special interest, creating a richer educational experience and producing a more broadly trained physician as a result. This model assumes that some students and residents will achieve mastery sooner than others and should be allowed to pursue topics of interest in extra depth or to proceed more rapidly to the next stage of training.

표준화 및 개별화와 관련하여 다음을 권장합니다.

•   의학 교육의 궤적에 걸쳐 엄격하고 점차적으로 높은 수준의 역량을 수립하고 학생들이 각자의 속도로 진보 할 수 있도록 다양한 조치를 사용하여 여러 영역에서 여러 영역을 평가하십시오.

•   레벨 내에서 레벨에 관계없이 학습을 개별화하여 학습 방법에 유연성을 부여하고 학생들이 역량 획기적 인 목표를 달성 할 수있는 기회를 제공합니다.

•   공공 보건 및 옹호, 세계 보건, 의학 교육, 임상 및 번역 연구, 분자 의학 등의 분야에서 연구자 및 혁신가와 함께 일할 수있는 관심 분야 및 기회가있는 선택 프로그램을 학생과 거주자에게 제공하십시오.

We recommend the following related to standardization and individualization:

•   Establish rigorous and progressively higher levels of competency across the trajectory of medical education and assess multiple domains in many settings using a variety of measures so that students can progress at their own pace.

•   Individualize learning within and across levels, allowing flexibility in approaches to learning and the opportunity to progress as students achieve competency milestones.

•   Offer elective programs around areas of interest and opportunities for students and residents to work with researchers and innovators in such areas as public health and advocacy, global health, medical education, clinical and translational research, and molecular medicine.

우리는 통합이라는 단어를 기초, 임상 및 사회 과학에 대한 공식 지식을 임상 경험과 통합하는 것을 의미하며, 오늘날보다 훨씬 더 균형 잡힌 방식을 뜻한다. 

• 이는 의대생이 조기에 임상에 참여해야하며, 레지던트는 과학에 대한 더 많은 노출과 자신의 의료행위를 뒷받침하는 최선의 증거가 있어야 함을 의미합니다. 

• 통합은 또한 지식, 경험을 사용하여 환자, 환자의 경험 및 치료를보다 전체적으로 이해하는 것을 포함합니다. 

• 마지막으로, 플렉스너의 개념보다 더 넓은 의미에서, 우리는 의사가되는 것과 관련된 여러 가지 전문적인 역할과 책임을지는 학습자로 통합을 이해할 수 있습니다. 의사는 다양한 역할을 수행하기 때문에 학생과 레지던트는 전문적인 적성, 목표, 정체성 및 교육적 경험에 이러한 추가 역할을 통합해야합니다.

We use the word integration to refer to the integration of formal knowledge of the basic, clinical, and social sciences with clinical experience in a much more balanced manner than is true today. 

• This means that medical students should be provided early clinical immersion and residents should have more intense exposure to the sciences and best evidence underlying their practices. 

• Integration also includes using that knowledge and experience to understand patients, their experiences, and their care more holistically. 

• Finally, in a sense of the word that is broader than Flexner’s concept, we see integration as learners taking on the multiple professional roles and commitments associated with being a physician. Because physicians performa variety of roles, students and residents should integrate those additional roles into their professional aptitudes, goals, identities, and educational experiences.

우리는 통합과 관련하여 다음과 같은 권고안을 제시합니다.

•   조기 임상 집중과 보다 진보된 학습자가 성찰하고 연구 할 수 있는 적절한 기회를 비롯한 임상 경험과 공식적인 지식을 연결하십시오.

•   기초, 임상 및 사회 과학을 통합합니다.

•   환자와의 장기적인 연관성을 비롯하여 환자의 질병 및 치료 경험에 대한보다 포괄적 인 시각을 가지고 모든 수준의 학습자를 참여시킵니다.

•   교육자, 옹호자, 지도자 및 연구자를 포함한 의사의 광범위한 전문적 역할을 학습자가 경험할 수있는 기회를 제공하십시오. 

• IPE 및 팀워크를 커리큘럼에 통합하십시오.

We make the following recommendations related to integration:

•   Connect formal knowledge to clinical experience, including early clinical immersion and adequate opportunities for more advanced learners to reflect and study.

•   Integrate basic, clinical, and social sciences.

•   Engage learners at all levels with a more comprehensive perspective on patients’ experience of illness and care, including more longitudinal connections with patients.

•   Provide opportunities for learners to experience the broader professional roles of physicians, including educator, advocate, leader, and investigator.   Incorporate interprofessional education and teamwork in the curriculum.

탐구와 개선의 습관

Habits of inquiry and improvement

평생에 걸쳐 수월성을 촉진하기 위해서는 의사는 탐구, 발견 및 혁신에 종사해야합니다.

To promote excellence throughout a lifetime of practice, physicians-in- training should be engaged in inquiry, discovery, and innovation.

질의 및 개선을위한 교육은 일상적인 전문성을 뛰어 넘어 학습자의 능력capabilities을 확장시켜야 함을 제안합니다. 실제 "테이퍼 오프tapering off"또는 자만심을 방지하는 핵심은 어렵거나 모호한 문제를 탐구하고 해결하는 데 필요한 노력을 투자하는 것이다. 연구는 [탐구와 개선을 촉진하는 habits of mind]가 [일상적인 전문성 개발]뒤에 따로 이뤄지는 것이 아니라 함께 개발되어야 한다는 것을 제시한다.

We suggest that training for inquiry and improvement requires moving beyond routine expertise to stretch the capabilities of the learner. The key to preventing “tapering off” or complacency in practice seems to be investing the effort needed to explore and address difficult or ambiguous problems. Research suggests that the habits of mind that foster inquiry and improvement must be developed alongside the development of routine expertise rather than after it.12

교과 과정 개혁을 위한 이 함의는 적응력있는 전문성adaptive expertise과 그것의 습득에 대해 명시적으로 가르치고, 새로운 전략과 솔루션을 개발하기 위해 사전 지식과 기술을 적용하거나 재구성해야하는 새롭거나 익숙하지 않은 문제 또는 상황으로 학습자를 도전하는 것입니다. 현장 작업에서 자주 본 사례는 학생들과 레지던트가 품질 개선 프로젝트에 참여한 사례입니다.

The implications of this for curriculum reform might be to explicitly teach about adaptive expertise and its acquisition and to challenge learners with new or unfamiliar problems or circumstances that require adaptation or reconfiguration of prior knowledge and skills to develop new strategies and solutions. An example we saw frequently in our field work was the participation of students and residents in quality improvement projects.

조사 및 개선의 습관을 기르기 위해 다음을 권장합니다.

•   학습자가 일상적 전문성과 적응적 전문성을 모두 얻을 수 있도록 준비하십시오.

•   학습 문제를 해결하기 위해 학습자를 참여시키고 질문, 혁신 및 치료 개선에 진정으로 참여할 수 있도록합니다.

•    인구 건강, 품질 향상 및 환자 안전에 중점을 둔 학습 활동에 참여하십시오.

•    대학 교육 병원뿐만 아니라, 양질의 환자 치료가 제공되는 환경에서 임상 교육이 이뤄지게 한다.

To develop habits of inquiry and improvement, we recommend the following:

의학 교육은 의학을 배우는 것 이상입니다. 그것은 근본적으로 헌신적인 의사가되는 것에 관한 것입니다. 따라서 의사의 전문적 정체성 형성 - 전문적인 가치관, 행동 및 열망의 개발 -이 의학 교육의 주요 초점이되어야합니다. 의사의 전문적 정체성 형성은 다른 세 가지 주제의 통합을 포함합니다.

Medical education goes beyond learning medicine; it is fundamentally about becoming a dedicated physician. Therefore, the professional identity formation of physicians—meaning the development of their professional values, actions, and aspirations—should be a major focus of medical education. Formation of the professional identity of the physician includes the integration of our other three themes.

형성, 성직자 연구에서 동료들로부터 빌린 용어이며, 

• 지식, 이해 및 숙련 된 성과를 확장시킴으로써expanding 전문가가되는 과정을 포함한다. 

• 직업의 다른 구성원, 특히 경험 많은 다른 사람들과의 교제를 통해; 

• 직업의 가치와 성향disposition에 대한 헌신을 habit of mind로 심화시킴으로써.

Formation, a term borrowed from our colleagues in the study of clergy,7 involves the process of becoming a professional 

• through expanding one’s knowledge, understanding, and skillful performance; 

• through engagement with other members of the profession, particularly more experienced others; and 

• by deepening one’s commitment to the values and dispositions of the profession into habits of the mind and heart.

Arnold와 Stern은 의료 전문가로서의 발전에는 두 가지 요소가 있음을 제안합니다. 

• 첫 번째는 세 가지 기본 영역을 숙달하는 것이다: 의학에서의 임상지식과 역량, 의사소통 기술, 법적 윤리적 책임

• 이러한 기본 영역 외에도 열망aspiration이 있습니다. 목표란 그것을 추구할 수는 있지만 절대 도달하는 것이 아니기 때문에, 언제나 향상이 가능하다. 여기에는 우수성, 휴머니즘, 책임 성 및 애타주의가 포함됩니다.

Arnold and Stern13 suggest that one’s development as a medical professional has two elements. 

• The first is demonstrating mastery in three foundational areas—clinical knowledge and competence in medicine, communication skills, and understanding the ethical and legal responsibilities of a physician. 

• In addition to these foundational areas, there are aspirations: goals that are striven for but never achieved, as one can always improve. These include excellence, humanism, accountability, and altruism.

전문적인 정체성 형성의 발전을 위해서 필요한 것

•   공식 윤리 강령, 스토리 텔링 및 심볼(명예 암호, 서약 및 백의 의식)를 제공하십시오.

•    숨겨진 커리큘럼에 표현 된 기본 메시지를 다루고 임상 환경으로부터 espoused and enacted 가치를 맞추기 위해 노력합니다.

•    장기 멘토링 및 조언의 맥락에서 전문성에 대한 피드백, 성찰 기회 및 평가.

•    학습자를 동시에 지원하고 높은 수준으로 유지하는 교수진과의 관계를 촉진하십시오.

•    우수성과 지속적인 개선을 위해 협업 학습 환경을 조성하십시오.

the following for the advancement of professional identity formation:

•   Provide formal ethics instruction, storytelling, and symbols (honor codes, pledges, and white coat ceremonies).

•    Address the underlying messages expressed in the hidden curriculum and strive to align the espoused and enacted values of the clinical environment.

•    Offer feedback on, reflective opportunities for, and assessment of professionalism, in the context of longitudinal mentoring and advising.

•    Promote relationships with faculty members who simultaneously support learners and hold them to high standards.

•    Create collaborative learning environments committed to excellence and continuous improvement.

고찰

Discussion

우리가 바라는 변화를 달성하기 위해서는 의과 대학의 교수진, 병원, 프로그램 디렉터, 부서장 및 학장뿐만 아니라 의학 전문직 단체 및 정부의 지도자들에 대한 공동의 노력이 필요합니다. 우리의 권고 사항들 각각은 의료 교육의 재정, 규제, 인증 및 인정에있어서 국가 또는 국가 수준에서의 변화를 필요로하거나 최소한 촉진 할 것입니다. 의대 및 레지던트 프로그램이 성공적으로 혁신을하기 위해서는 의료 교육을 통제하거나 영향을 미치는 기금 제공자, 규제 기관 및 전문기구가이 개혁 노력에 적극적으로 참여해야합니다.

Achieving the changes we envision will require the concerted and combined efforts of faculty members in medical schools and teaching hospitals, program directors, department chairs, and deans as well as leaders of medical professions organizations and government. Each of our recommendations necessitates, or at a minimum would be facilitated by, changes at the state or national level in the financing, regulation, certification, and accreditation of medical education. For medical schools and residency programs to successfully innovate, the funders, regulators, and professional organizations that control or influence medical education must be actively engaged in this reform effort.

우리는 의학 교육의 핵심 인사가 미국의 의학 교육을 발전시키고 궁극적으로 대중의 건강을 위해 다음과 같은 7 가지 주요 단계를 수행 할 것을 제안합니다.

We propose that medical education’s keystakeholders take the following seven major steps to advance U.S. medical education and, ultimately, the health of the public: 

1. AAMC와 의과 대학은 예비 교육 과정 요구 사항과 입학 기준 및 과정을 수정하기 위해 함께 노력합니다.

1. The AAMC and medical schools work together to revise premedical course requirements and admission criteria and processes.

2. 인증, 인증 및 라이센스 기관은 함께 의료 교육의 연속체를위한 일관된 프레임 워크를 개발하고 표준 조정 및 관할권 분쟁 해결을위한 효과적인 메커니즘을 수립합니다.

2. Accrediting, certifying, and licensing bodies together develop a coherent framework for the continuumof medical education and establish effective mechanisms to coordinate standards and resolve jurisdictional conflicts.

3. 교육 병원 및 레지던트 프로그램의 이사는 환자 개호와 임상 교육을 조정하여 두 가지를 향상시키고 실습 요건에 부합하는 교육 프로그램을 개발합니다.

3. CEOs of teaching hospitals and directors of residency programs align patient care and clinical education to improve both and to develop educational programs that are consistent with practice requirements.

4. 의과 대학 학장과 교육 병원의 CEO는 재정 지원, 멘토링, 교수 개발, 인정 및 학업 향상을 제공하여 교수진의 교육 사명을 지원합니다.

4. Deans of medical schools and CEOs of teaching hospitals support the teaching mission of the faculty by providing financial support, mentoring, faculty development, recognition, and academic advancement.

5. 의과 대학의 학장과 교육 병원의 CEO는 협력하여 의료 교육을위한 자금을 투명하고 공정하게 조정하고 의과 대학 및 교육 병원의 임무에 맞 춥니 다.

5. Deans of medical schools and CEOs of teaching hospitals collaboratively make funding for medical education transparent, fair, and aligned with the missions of both medical schools and teaching hospitals.

6. AAMC, AMA, 대학원 의학 교육 (ACGME), 의학 전문 사회 및 의과 대학의 인증위원회는 의료 교육의 인프라, 혁신 및 연구를 지원하기위한 지속적인 개인, 연방 및 주 예산 공약을지지합니다.

6. The AAMC, AMA, Accreditation Council for Graduate Medical Education (ACGME), medical specialty societies, and medical schools be advocates for sustained private, federal, and state funding commitments to support infrastructure, innovation, and research in medical education.

7. AAMC, AMA, ACGME, 의학 전문 사회 및 의과 대학은 미국의 의료 인력 정책 개발에 협력합니다. 이러한 노력은 의료 교육 비용, 훈련 기간 및 인구의 필요를 충족시키기 위해 전문의와 전문의가 혼합 된 국가가 될 수있는 실무 생존 능력을 다루는 다양한 중재를 가져와야합니다.

7. The AAMC, AMA, ACGME, medical specialty societies, and medical schools collaborate on the development of a medical workforce policy for the United States. This effort should result in a variety of interventions addressing the cost of medical education, length of training, and practice viability that will ensure that the country has the mix of specialty and subspecialty physicians to meet the needs of the population.

Calls for reform of medical education by the Carnegie Foundation for the Advancement of Teaching: 1910 and 2010.

의과대학의 교육과정 변화: 어떻게 성공할 것인가(Acad Med, 2000)

Curricular Change in Medical Schools: How to Succeed

Carole J. Bland, PhD, Sandra Starnaman, PhD, Lisa Wersal, MA, Lenn Moorhead-Rosenberg, PhD, Susan Zonia, PhD, and Rebecca Henry, PhD

검색 과정

THE SEARCH PROCESS

이 검토를 위해 적절한 출처를 모으기 위해 미네소타 대학의 교육 정책 및 행정학 교수 인 카렌시 쇼어 루이 (Karen Seashore Louis)가 교육 과정 전문가의 지시를 먼저 받았다. 그녀는 일반적으로 조직 변화와 교육적 변화에 대한 기초를 제공하기 위해 유치원부터 12 학년 (K-12)까지 학교 및 조직 설정의 변화에 ​​대한 자료를 안내했습니다. 그 근원은 그들의 참고 목록을 통해 다른 사람에지도했다.

In gathering appropriate sources for this review, we first sought direction from an expert in the field of curricular change, Karen Seashore Louis, professor of educational policy and administration at the University of Minnesota. She guided us to literature on changes in school and organizational settings from kindergarten to the twelfth grade (K–12) to provide grounding in organizational change in general, and educational change in particular. Those sources led to others via their bibliographies.

연구 결과 프레임워크

FRAMEWORK FOR OUR FINDINGS

이 리뷰에서 우리가 적용하는 용어와 그 의미를 분명히합니다. 특정 변화 단계를 설명하기에 적합한 경우 다음 용어를 사용합니다.

we clarify the terms and their meanings that we apply in this review. When it is appropriate to explicate a particular stage of change, we use the following terms: 

계획. 이 단계에서 변화의 필요성이 수립되고 변화에 대한 비전이 수립되며 변화에 대한 조직적 맥락이 고려됩니다.

Planning. During this stage, the need for change is established, a vision for change is designed, and the organizational context for change is considered.

개시 (동원 또는 도입이라고도 함). 계획을 수립하고 일반적으로 약 1 년 동안 지속되는 입문 과정에서 오랜 조직 패턴의 '해체'와 직장이나 교육 환경에 대한 혁신 도입을 관찰하게됩니다.

Initiation (also referred to as mobilization or adoption). During initiation, which follows planning and generally lasts about a year, one would observe the ‘‘unfreezing’’ of old organizational patterns and the introduction of the innovation into the workplace or education environment.

이행. 이 단계는 일반적으로 개시 이후 제도화로 이어지는 년을 의미합니다. 이 기간 동안 혁신은 시행 착오를 통해 수정 및 조정을 받아 직장이나 교육 환경에서 지속적으로 실용화되고 있습니다.

Implementation. This stage typically refers to the years following initiation and leading up to institutionalization. During this time the innovation continues to be put into practice in the workplace or education environment, acquiring modifications and adjustments through trial and error.

제도화. 이 단계는 혁신이 조직 행동의 새로운 질서가 된 때를 의미합니다. 조직의 구성원이 혁신 목표를 더 이상 '새로운'방식으로 언급하지 않고 오히려 '우리가 일을 하는 방식'이라고 지칭 할 때입니다. 이 시기는 때로는 초기의 바람직하지 못한 행동패턴의 unfreezing과 대조하여 "freezing" 시간이라고 부릅니다. 

Institutionalization. This stage refers to the time when the innovation has become the ‘‘new order’’ of organizational behavior. It is the time when the organization’s members no longer refer to the innovation objectives as the ‘‘new’’ way of doing things, but rather refer to them as, ‘‘the way we do things.’’ It is sometimes called a time of ‘‘freezing’’ desired behaviors, in contrast to the ‘‘unfreezing’’ of undesired behavior patterns in the initiation stage.

요인들을 세 가지 그룹으로

Thus, we cluster the factors into three groups:

맥락. 여기에는 변경을 용이하게하는 조직에있는 특성이 포함됩니다. 이 클러스터에서 논의되는 요소는 사명과 목표, 조직의 변화의 역사, 정치 및 조직 구조입니다.

Context. This includes characteristics present in the organization that facilitate change. Factors discussed in this cluster are mission and goals, history of change in the organization, politics, and organizational structure.

교육과정. 여기에는 커리큘럼 자체와 관련된 특성이 포함됩니다. 여기서 논의되는 요소는 변화의 필요성과 혁신의 범위와 복잡성입니다.

Curriculum. This includes characteristics pertinent to the curriculum itself. Factors discussed here are the need for change and the scope and complexity of the innovation.

프로세스. 프로세스에는 커리큘럼 변경을 구현하는 프로세스와 관련된 특성이 포함됩니다. 논의되는 요인은 협력 적 기후, 조직 구성원의 참여, 의사 소통, 인적 자원 개발, 평가, 성과 저하 (즉, 새로운 프로그램이 시행됨에 따라 조직의 성과가 일시적으로 감소 함) 및 리더십입니다.

Process. Process includes characteristics that relate to the process of implementing curricular change. Factors discussed are cooperative climate, participation by organization members, communication, human resource development, evaluation, performance dip (i.e., the temporary decrease in an organization’s performance as a new program is implemented), and leadership.

마지막으로 성공적인 혁신 - 교과 과정 또는 다른 방식 -의 특성 중 하나는 혁신을 구현하는 데 사용 된 혁신과 전략이 조직과 환경의 맥락에 적절해야한다는 것입니다. 이러한 이유에서 특정 기업 또는 교육 환경에 기반한 조직 변화에 대한 대부분의 연구는 결과가 다른 조직으로 반드시 이전transfer 가능하다고 주장하지 않습니다. 그럼에도 불구하고 우리는 성공적인 변화 노력과 관련된 특성과 관련하여 학문 분야 및 환경 전반에서 현저한 일관성을 발견했습니다.

Finally, it is important to mention that one of the characteristics of successful innovation—curricular or otherwise —is that the innovation and strategies used to implement it must be appropriate to the context of the organization and its environment. For this reason, most studies of organizational change, be they based on corporate or educational settings, do not claim that their results are necessarily transferable to other organizations. Still, we found remarkable consistency across disciplines and settings with regard to the characteristics associated with successful change efforts.

OUR FINDINGS

13개 카테고리, 35개 특징들

The review revealed 13 categories in which 35 features of successful curricular change were consistently reported.

맥락

Context

맥락이 달라지면 유사한 조직조차도 다른 혁신의 길을 택하게 된다.

미션과 목적

Mission and goals.

조직의 기본 신념과 가치는 조직의 사명과 목표로 표현됩니다. 성공적인 혁신은 기관의 표현 된 가치, 신념 및 목적과 양립해야합니다. 교육 설정에서 학교의 사명과 목표,지지 된 교육 철학 및 교육 기관의 문화는 변화를 계획 할 때 고려해야 할 필수 요소입니다 .2,10-13

The underlying beliefs and values of an organization are expressed in its mission and goals. Successful innovations must be compatible with the institution’s expressed values, beliefs, and purposes. In educational set-tings, the mission and goals of the school, the espoused educational philosophy, and the institution’s culture are all essential components to consider when envisioning a change.2,10–13

로스와 파인 버그 (Ross and Fineberg)의 10 개 의과 대학에 대한 민족 지학 연구의 결과는 미션와 기관 문화, 혁신 사이의 밀접한 유대를 잘 보여주고있다 .14)이 연구자들은 보다 집중된 미션를 가진 소규모의 의과 대학 (예를 들어, generalist practitioners의 양성)이 보다 포괄적 인 사명을 가진 더 큰 학교보다 기관 차원의 혁신을 더 쉽게 구현할 수 있습니다. 학교가 클수록 더 좁은 범위의 혁신을 도입 할 가능성이 더 컸다. Ross와 Fineberg는 대형 학교는 전문 분야에서의 훈련, 다양한 연구 노력 및 병원 요원 배치와 같은 여러 가지 임무를 추구한다는 사실에 기인합니다. 각 부서는 기관 내에 고유 한 사명을두고 있으며, 각 기관은 사명을 수행함에있어 상당한 자치를 누리고 있습니다. (큰 대학처럼) 각 부서가 전문적인 목표를 추구하는 데있어 독립적으로 운영되는 환경에서는 교수진의 관심을 기관 차원의 혁신에 집중하는 것이 더 어렵습니다.

The results of an ethnographic study of ten medical schools by Ross and Fineberg exemplify the close ties between mission, institutional culture, and innovation.14 These investigators found that the smaller medical schools in their study, which had more focused missions (to prepare generalist practitioners, for example), could more readily implement institution-wide innovations than could larger schools with more comprehensive missions. The larger schools were more likely to introduce innovations of narrower scope. Ross and Fineberg attributed this to the fact that larger schools pursue a plurality of missions, including training in specialty practices, a variety of research efforts, and staffing of hospitals. Each department then has its own unique mission(s) within the institution, and each enjoys considerable autonomy in carrying out its mission(s). In such settings, where departments operate quite independently in pursuit of their specialized goals, it is more difficult to focus faculty attention on institution-wide innovations.

History of change in the organization.

혁신을 실행하는 조직의 이전 역사는 조직의 뒤따르는 변화 노력에 영향을 미칩니다. 효과적인 변화의 역사를 가진 교육 기관은 새로운 혁신을 구현할 가능성이 더 높았다 .15 성공적인 혁신의 역사는 변화의 제도화, 즉 변화를 조직의 지속적인 부분에 영향을 미칠 것이다 .16 변화 노력의 실패한 역사가있는 조직은 특히 혁신을 받아들이려하지 않을 것입니다.

 An organization’s prior history with implementing innovation influences that organization’s subsequent change efforts. educational institutions that had histories of effective change were more likely to implement new innovations.15 a history of successful innovation will positively influence the institutionalization of change, that is, making the change a lasting part of the organization.16 organizations that have histories of failed change efforts are particularly unlikely to incorporate innovations.

Politics.

정치적 문제는 희소한 자원의 배분에 초점을 맞춘다 - '누가 무엇을, 언제, 어떻게 얻는가'.

Political issues revolve around the allocation of scarce resources—‘‘who gets what, when and how.’’17

내적 네트워킹

Internal networking.

권력은 간단히 말해서 결정을 내리는 권한을 소유하거나 결정을 내리는 사람들에게 영향을 줌으로써 조직 성과에 영향을 줄 수있는 능력이다. 조직 내외부 그룹 내의 영향력있는 개인 또는 하위 그룹은 공식 또는 비공식 채널을 통해 권한을 행사할 수 있습니다. 의대에서 비공식 네트워크는 종종 권력 문제 협상에 선호되는 수단입니다.

Power is most simply explained as the ability to affect organizational outcomes either by possessing the authority to make decisions or by influencing those who do. influential individuals or subgroups within the organization and/or external groups may exercise their power through formal or informal channels. In medical schools, informal networks are often the preferred means for negotiation of power issues.

리피트 (Lippitt)와 동료들은 계획된 조직 변화에는 단호한 설득, 보상이나 징벌 수여, 신뢰 구축, 공통 비전에 대한 열렬한 지지를 보여주는 등 다양한 전략을 통해 개인적 영향력을 행사하는 적어도 한 명의 강력한 지지자advocate가 있어야한다고 제안했다. 변화가 지속되려면, 조직 내에서 강력한 개인이나 파벌이, 비록 그들이 프로세스 초기에 옹호자가 아니었더라도, 결국 변경 노력에 협조해야합니다.

Lippitt and colleagues suggest that planned organizational change must have at least one strong advocate who exercises personal influence through a variety of strategies, such as assertive persuasion, awarding rewards or punishments, building trust, and enthusiastically demonstrating support for the common vision.18 Furthermore, if change is to be enduring, powerful individuals or factions within the organization must eventually cooperate with the change effort, even if they are not early advocates of the process.

교수진과 행정관 외에도 학생들은 커리큘럼을 변경하는 동안 중요한 지지 베이스가 될 수 있습니다. 의대학생들의 피드백과 열의는 교수진을 앞으로 밀어 넣어 일부 설정에서 변화의 추진력을 유지하는 데 도움이되었습니다.

In addition to faculty and administrators, students can be an important base of support during curricular change. medical students’ feedback and enthusiasm have helped sustain the momentum of change in some settings by ‘‘pushing’’ the faculty forward.9,20

교과 과정 변경 노력에서 제기 된 하나의 권력문제는 교육과정을 누가 소유하고 통제하는지에 대한 문제입니다. 학교인가 또는 교수진인가? 일부 학교는 이 문제를 명확히하는 상위 지침을 작성했습니다. 다른 사람들은 여전히 ​​그것에 고심하고 있습니다.

자원 할당

Resource allocation.

의과 대학 내에서 자원을 할당하는 방법은 부서별 자율성 시스템을 촉진하는 경향이 있습니다.

The method of allocating resources within medical schools tends to promote a system of departmental autonomy.

부서 이익과 연구 및 진료 수입 요구는 교육 기관 차원의 교육 목표 달성보다 우선시되는 경향이있다.

department interests and research and clinic-revenue imperatives tend to take precedence over the achievement of institution-wide educational goals.14

재단이 지원하는 교과 과정 변경 이니셔티브가 일반적이지만 변화를 시작하고 실행하기위한 외부 기금에 의존하는 것은 변화 노력의 제도화에 부정적인 영향을 줄 수 있습니다 .2 혁신이 진행됨에 따라 다른 외부 자원으로부터 충분한 자금을 모으고, 또는 초기 지원이 끝나면 내부 세출을 통해 변경 노력에 대한 지원이 이어져야 한다.

While foundation-supported curricular change initiatives are common, reliance on external funding to initiate and implement change may have negative ramifications for the institutionalization of the change effort.2 As the innovation progresses, care must be taken to garner sufficient funds from other external sources, or through internal appropriation, so that support for the change effort continues once the initial grant support runs out.

외부 환경과의 관계

Relationship with external environment.

상호 목표를 확인하고, 비전을 공유하고, 외부 기관과 조직 간의 의사 소통 프로토콜을 수립함으로써 지속적인 지침과 지원을받을 수 있습니다 .7,11,16,22,23 Glaser와 동료는 더 큰 공동체의 '맥박'을 모니터링하기 위한 내부 구조 및 절차가 조직이 혁신 전략을 구현할 때 외부 환경에 적응하는 데 도움을줍니다.

Identifying mutual goals, committing to a shared vision, and establishing communication protocols between external bodies and the organization open the door for continued guidance and support.7,11,16,22,23 Glaser and colleagues find that having internal structures and procedures for monitoring ‘‘the pulse’’ of the larger community helps organizations adjust to external environmental imperatives as they implement innovation strategies.1

의과 대학의 경우 외부 지지자는 정부 기관,인가 기관, 학회, 보건 전문 기관 및 관리 의료 기관뿐만 아니라 학교가 위치한 지리적 커뮤니티를 포함 할 수 있습니다. Kantrowitz와 동료들은 아이디어를 교환하고 성공을 공유하고 문제를 함께 해결하기 위해 유사한 혁신에 종사하는 다른 의과 학교와 관계를 발전시킬 것을 권고합니다.

In the case of medical schools, external supporters may include government bodies, accrediting agencies, scholarly societies, health professions organizations, and managed care organizations, as well as the geographic community in which the school is located. Kantrowitz and associates recommend developing relationships with other medical schools that are engaged in similar innovations to exchange ideas, share successes, and solve problems together.22

조직 구조

Organizational structure.

의과 대학에서 찾아 볼 수있는 매우 자율적인 교실 구조는 교실 간 통합 및 협업이 요구되는 교육 기관 차원의 교육 혁신에서 큰 과제가 된다.

The highly autonomous departmental structure found in medical schools presents a challenge to institution-wide curricular innovation that requires integration and collaboration among departments.

조직 구조가 통합적 또는 밀접하게 조직 구조가 "분절적"또는 "느슨하게 결합 된"시스템보다 기관 전체의 변화에 ​​더 잘 부합한다. 예를 들어, Kanter는 부서간 통합적 fluid 경계를 가진 조직이 rigid한, "분절적" 교실 구조를 가진 조직보다 아이디어의 자유로운 흐름을 더 잘 촉진한다는 것을 발견했다. '.26 Rogers 역시 부서 간 상호 연결 및 대인 관계 네트워크의 수준이 높을 때 부서간에 더 효과적으로 혁신과 새로운 아이디어가 퍼져 나간다고 말했다.

Researchers point out that ‘‘integrative’’ or ‘‘closely linked’’ organizational structures are more amenable to institutionwide change than are ‘‘segmental’’ or ‘‘loosely coupled’’ systems. Kanter, for example, finds that organizations with ‘‘integrative,’’ fluid boundaries between departments better facilitate the free flow of ideas than do rigid, ‘‘segmental’’ departmental structures.26 Rogers, too, notes that innovations and new ideas spread more effectively across departments when there is a higher degree of interconnection and interpersonal networks among units.8

느슨하게 결합 된 작업 단위를 사용하는 조직에서는 변경이 한 영역에서 구현하기 쉽지만 확산이 어려울 수 있다. 27 그러나 조직 차원의 혁신을 구현할 때는 세그먼트가 결합 된 느슨하게 결합 된 시스템이 무조건 나쁜것total loss는 아니다. 로젠 블럼 (Rosenblum)과 루이 (Louis)는 분산된 느슨하게 결합 된 시스템이 단위 간의 충분한 긍정적 인 상호 작용이 있으면 변화를 성공적으로 수행 할 수 있음을 발견했다.

In organizations with loosely coupled work units, change may be easy to implement in one area, but then prove difficult to spread.27 Segmented, loosely coupled systems are not at a total loss, however, when it comes to implementing organization-wide innovations. Rosenblum and Louis find that decentralized, loosely coupled systems may still be successful in effecting change if there is sufficient positive interaction among units.

일반적으로, 세분화 된 모델은 높은 상호 작용, 연결 및 참여 적 팀 중심 네트워크가있는 모델과 비교할 때 광범위한 변화를 달성하기가 어렵습니다 .16,28

In general, segmentalized models are seen as less able to accomplish broad change in comparison with models with high interaction, connection, and participatory, team-focused networks.16,28

변화를 촉진하기 위해 더 많은 '통합적'구조의 필요성을 인식 한 의과 대학은 이러한 도전을 창의적인 방법으로 충족시킵니다. 예를 들어, 카프만 (Kaufman)은 교과 과정 변경을 감독하기위한 학제 ​​간 커리큘럼 태스크 포스와 새롭고 통합 된 거버넌스 구조의 수립을 기술하고있다.

Recognizing the need for more ‘‘integrative’’ structures to facilitate change, medical schools meet this challenge in creative ways. Kaufman, for example, describes the establishment of an interdisciplinary curriculum task force and a new, integrated governance structure to oversee curricular change.21

교육과정

Curriculum

변화의 필요성

Need for change.

조직이 변화에 대한 진실한 '필요성'을 먼저 밝히지 않고서는 혁신적인 경로를 시작하지 않는다는 것은 자명하다. 자주 놓치는 것은 관리자 또는 이사회만으로는 필요를 인식하고 변화를 촉구하기에 충분하지 않다는 것입니다. 변화가 일어나고 지속되기 위해서는 변화가 필수적이라는 전제가 널리 퍼져 있어야합니다 .2,27

It may seem self-evident that an organization would not embark on an innovative path without first identifying a bona fide ‘‘need’’ for change. What is not always recognized is that it is not enough for the administrators or board of directors to recognize that need and call for change. In order for change to occur and be lasting, there needs to be a widespread agreement that change is requisite.2,27

때로는 변화를위한 추진력이 기관 외부에서 시작됩니다. 다른 때에 변화의 필요성은 내부에서 비롯됩니다. 핵심은 변화가 '현실과 효용'의 기준을 충족시키는 지 여부입니다. '31, p.27 즉, 혁신은 잠재적 인 새로운 사용자가 경험하는 실제 문제를 다루는 데 관련이 있어야합니다.

Sometimes the impetus for change originates outside the institution; at other times the need for change comes from within. What is key is whether the change meets the standards of ‘‘reality and utility.’’31,p.27 That is, the innovation must appear relevant to its potential new users for dealing with real problems that they experience.

혁신의 범위와 복잡성

Scope and complexity of the innovation.

변화 전략을 계획 할 때, 다루어야 할 초기 질문 중 하나는 변화 노력의 범위와 복잡성에 관한 것입니다. 조직 전체가 참여해야하고 상당히 복잡해야합니까? 아니면 조직이 제한된 범위의 "파일럿 프로젝트"로 시작해야합니까?

In planning a change strategy, one of the initial questions to deal with concerns the scope and complexity of the change effort. Should it involve the entire organization and be fairly complex, or should the organization start with a ‘‘pilot project’’ of limited scope?

일부 연구자들은 단계적으로 점진적으로 진행되는 프로세스가 덜 파괴적이며 조직 구성원 모두에게 불안한 자극을주기 때문에 "파일럿"또는 "시험"이니셔티브의 성공적인 사용에 주목합니다. 그러나 어떤 연구자들은 "시범 사업"을 사용하기 위해 몇 가지 단서를 제공합니다. "성공적인 혁신은 조직 구성원의 적극적인 참여를 토대로 구축되었습니다. 테스트 프로젝트가 ''평범한 것으로 판단된다면 회원들의 헌신과 지원을 얻는 데 필요한 매력적인 품질을 가지지 못할 것입니다. 제한된 범위의 소규모 프로젝트는 사람들이 심오한 투자를하지 않기 때문에 논란없이 더 쉽게 묻히거나 포기될 수 있습니다 .28,31

Some researchers note the successful use of ‘‘pilot,’’ or trial, initiatives because the phased-in, incremental process is less disruptive and anxiety-provoking for the organization members involved than a sweeping, organization-wide initiative would be.9,20,32 However, other researchers offer some provisos to the use of ‘‘pilot projects.’’ Successful innovation is built on the active participation of an organization’s members. If a test project is judged ‘‘trivial,’’ it will not have the engaging quality necessary to garner members’ commitment and support. Small projects of limited scope are more easily shelved or dropped without controversy because people are not deeply invested in them.28,31

Crandall과 동료들은 조직 지도자들이 조직의 맥락에주의를 기울이고 균형 잡힌 접근 방식을 선택한다고 조언했다. . . 변화가 성공하기 위해서는 그 크기가 눈에 띄고 지속적인 노력을 필요로 할만큼 충분히 커야 하지만, 일반 사용자가 변화를 심각하게 왜곡시키는 대처 전략을 채택할 만큼 거창해서는 안 된다. "31, p. 범위가 복잡하고 광범위 한 혁신은 구현에 어려움을 낳을 수 있는 반면, 작은 단계로 나누면 잘 성공할 수 있습니다 .28

Crandall and colleagues advise that organization leaders be attentive to their organizations’ contexts and choose a balanced approach: ‘‘from an organizational perspective . . . the greatest success is likely to occur when the size of the change is large enough to require noticeable, sustained effort, but not so massive that typical users find it necessary to adopt a coping strategy that seriously distorts the change.’’31,p.26 While innovations that are complex and broad in scope may pose difficulty in implementation, they succeed best when broken into small steps.28

조직 리더는 때론 혁신의 계획 단계가 가장 '어려운 부분'이며 변화의 시작과 구현이 더 쉬울 것이라고 믿는 오류를 범하는 경우가 있습니다. 사실 변화의 각 단계마다 독특하고 예기치 않은 문제가 발생하며 변화를 구현하는 프로세스는 종종 예상보다 오래 걸립니다.

Sometimes organizational leaders err by believing that the planning stage of an innovation is the ‘‘hard part’’ and that the initiation and implementation of change will be easier. In truth, each stage of change presents unique and unanticipated challenges, and the process of implementing change often takes longer than expected.

협력적 환경

Cooperative climate.

Colwill과 동료들은 의대에서 교과 과정 혁신을 계획하고 실행하기 위해 여러 학문 분야 나 부서의 사람들을 모으는 필요성을 구체적으로보고합니다. 흥미롭게도 조직의 변화 자체가 제대로 관리된다면 협업적인 조직 환경을 창안 할 수있는 원동력이 될 수 있습니다.

Colwill and colleagues report specifically on the necessity of bringing individuals of different disciplines or departments together to plan and implement curricular innovation in medical schools. Interestingly, organizational change itself, if properly managed, can be the impetus for the creation of a collaborative organizational environment.34

변화 과정에 참여하려면 친숙한 관행을 배제하고 새로운 관행을 채택해야합니다. 따라서 변화의시기는 조직 구성원에게 불확실성과 불편 함의 도전적 시간이 될 수 있습니다. 알려지지 않은 영역으로 모험을 돕기 위해서는 참가자에게는 혁신에 대한 첫 시도가 실패 할 경우 처벌에 대한 두려움없이 새로운 행동을 시도 할 수 있다는 확신이 필요합니다. 위험을 보상하는 기관은 혁신의 분위기를 육성한다 .19,23,28,35 동료 간의 의견 불일치를 표출air하는 능력은 변화에 도움이되는 환경을 조성하는 데 도움이된다.

Engaging in the change process requires that one put aside familiar practices and adopt new ones. Thus, a period of change can be a challenging time of uncertainty and even discomfort for organizational members. To assist them in venturing into unknown territory, participants need assurance that they can try out new behaviors without fear of punishment if their first attempts at innovation fail. institutions that reward risk taking foster an innovative climate.19,23,28,35 the ability to air disagreements among colleagues helps to create an environment conducive to change.24

결론적으로 성공적인 교과 과정 변화에 대한 긍정적이고 존중받는 근무 환경의 중요성은 과장 될 수 없습니다

In sum, the importance of a positive, respectful work climate to successful curricular change cannot be overstated.

조직 구성원의 참여

Participation by the organization’s members.

조직 회원들이 광범위하게 참여하는 것은 변화 과정에서 중요한 특징입니다. 1,2,10,11,16,18,26,36,40 조직의 구성원이 참여를 통해 프로젝트에 투자 할 때, 완료까지 프로젝트를보십시오 .19,28

broad participation by an organization’s members is an important feature in the change process.1,2,10,11,16,18,26,36,40 As an organization’s members invest themselves in the project through their participation, they strengthen their commitment to see the project through to completion.19,28

또한 일반적인 구성원들은 의사 결정시 지도자에게 어떤 '신뢰의 영역'을 부여하는 경향이 있습니다. 의사 결정 과정에서 참가자들에게 지나치게 의존하는 것은 지나치게 지배적인 것과 마찬가지로 문제가 될 수 있습니다.

Furthermore, rank-and-file members tend to grant their leaders a certain ‘‘zone of trust’’ in decision making. Being overly reliant on participants in decision making can be just as problematic as being too dominant.27

의사소통

Communication.

참가자들 간의 의사 소통을 통해 공유 된 의미가 합체coalesce 될 것이며, 참가자들은 공통되고 공통된 목적을 함께 수립 할 것입니다. 의사 소통을 통해 목표가 수립되고, 명확히 밝혀지고, 선언됩니다 .2

Communication among participants ensures that a shared meaning will coalesce, and participants will formulate a common and unified purpose together. Through communication, goals are established, clarified, and then proclaimed.2

연구자들은 의사 소통이 자주 이루어질 것을 권고한다. Dannefer et al.은 의사 소통에서 "계획된 중복성"을 권장한다. 그들은 다양한 방법과 반복의 사용이 일회성 또는 단일 매체 접근법보다 훨씬 효과적이라는 것을 발견했다.

Researchers recommend that communication be frequent.2,41 Dannefer et al., for example, recommend ‘‘planned redundancy’’ in communication. They find that the use of a variety of methods and reiteration is much more effective than one-time or single-medium approaches.41

사람들은 정보를 선택적으로 수신, 통합 및 회수하기 때문에 목표와 계획에 대해 반복적으로 상기시키는 것이 중요합니다.

Repeated reminders of goals and plans are important because people receive, integrate, and recall information selectively.

어떤 종류의 의사 소통이 유용합니까? 모든 종류가 유용하다 : 서면 및 구두, 공식 및 비공식. 가장 중요한 것은 의사 소통이 간결하고, 빈번하며, 정직하고, 사실이며, 실질적이며 시기 적절해야 한다는 것입니다 .32 의사 소통은 신뢰와 명확성을 구축해야합니다 .18,41 정보가 간단하고 시의적절하게 전달되지 않으면 참가자는 (잘못된 정보, 풍자와 장난에 기초하여) 벌어지고 있는 일에 대해 자신만의 해석을 형성합니다.

What kinds of communication are useful? All kinds: written and verbal, formal and informal. Most important is that communication be succinct, frequent, honest, factual, substantive, and timely.32 Communication should build trust and clarity.18,41 If information is not delivered in a straightforward and timely manner, participants will form their own interpretations of what is happening, based on misinformation, innuendo, and hunches.

의과대학에서의 커뮤니케이션

Communication in medical schools.

두 가지 의사 소통 방식이 의대에서 특히 효과적이었습니다. 첫 번째는 대면 인터랙션이다. 우리의 하이테크 사회 에서조차, 그것을 대신 할 수는 없습니다. 일대일 상호 작용은 즉각적인 피드백과 설명을 할 수있는 기회를 허락하고 오히려 비언어적 단서의 차원을 더해줌으로써 오해의 가능성을 줄입니다.

Two forms of communication were found to be especially effective in medical schools. The first is face-to-face interaction. Even in our high-tech society, there is no substitute for it. One-on-one interaction reduces the possibility of misunderstanding by allowing the opportunity for immediate feedback and clarification and also by having the added dimension of nonverbal cues.41

의학 학교에서 특히 유용한 두 번째 유형의 의사 소통은 데모demonstration입니다. 제안 된 교수법의 시연은 교수진에 의한 새로운 교수법의 보다 신속한 이해와 성공적인 채택을 가져왔다 .19,40

The second type of communication found especially useful in medical schools is demonstration. demonstration of proposed teaching practices brought more immediate understanding and more successful adoption of new teaching methods by faculty.19,40

반대의견을 표출시키기

Airing dissent.

물론 모든 의사 소통이 긍정적이고 reaffirming하는 것은 아닙니다. 또한 이의 제기가 예상되며 포럼은 이의 제기와 우려의 방송을 위해 제공되어야합니다. 앞서 '협동적 분위기'에서 언급 한 아이디어를 유지하면서 참가자들은 반대 의견을 표명하는 것이 안전함을 느껴야 한다. 그들은 완전히 듣고, 진행중인 토론에 공헌 한 것으로 인정 받고, 피드백을 받아야합니다.

Naturally, not all communication will be positive and reaffirming. Dissent, too, is to be expected, and forums should be provided for the airing of objections and concerns.19,41 In keeping with ideas mentioned earlier under ‘‘cooperative climate,’’ participants must feel safe in taking the risk to express dissenting views. They must feel fully heard, be acknowledged for contributing to the ongoing discussion, and receive feedback.

반대 의견을 경청하는 것은 계획에 도움이 될 뿐만 아니라 계획 반대자들의 참여를 유도하고 변화 과정에 대한 그들의 commitment를 심화시킵니다. 그들의 아이디어를 경청하고 이것이 계획에 통합되면, 반대자들은 "계획자"가된다.

Listening to dissenters not only benefits the plan, but also invites the participation of plan opponents and deepens their commitment to the change process. As their ideas are heard and incorporated into the plan, dissenters become ‘‘planners.’’

반대자가 자신의 의견을 방송 할 수있게함으로써 또 다른 이점이 발전합니다. 때로는 우려를 표명할 때, 그 의견이 지지받지 못할 것을 두려워한다. 그렇게 되면 반대자는 빨리 ''증기를 잃는다. '' 또는 반대자들은 다른 참가자들이 자신의 입장을 지지하지 않을 수도 있음을 깨닫는다. 다시 말하면, 청중을 찾지 못한 사람은 조용해진다. 반대 의견을 표명하지 않는 것이 훨씬 더 위험합니다..

Another benefit evolves from allowing dissenters to air their views. Sometimes in the voicing of one’s concerns, one sees that one’s fears are ungrounded. Then the dissenter quickly ‘‘loses steam.’’ Alternatively, the dissenter may find no support for his or her position among other participants. Again, that individual, finding no audience, may quiet himself or herself. There is far greater danger in not allowing dissent to be expressed.

여기서 교훈은 심지어 의견 차이조차 개인이 변화 과정에 참여하고 헌신하는 수준을 높일 수있는 기회로 간주되어야한다는 것입니다.

The lesson here is that even dissent should be regarded as an opportunity for individuals to deepen their levels of participation in and commitment to the change process.

제도화 기간의 커뮤니케이션

Communication during institutionalization.

변화 과정의 마지막 단계 인 제도화는 특수한 종류의 의사 소통을 요구합니다. 변화는 부담스럽고, 결국에는 가장 헌신적 인 개인조차도 활력을 상실하게 만듭니다. 이를 수행하는 한 가지 방법은 교수진이 통찰력과 새로운 아이디어를 공유 할 수있는 포럼을 제공하여 혁신이 조직 환경의 일부로 계속 유지되도록하는 것입니다.

The final stage of the change process, institutionalization, calls for special kinds of communication. Change is demanding and can eventually deplete the vitality of even the most committed of individuals. One way to do this is to provide forums for faculty to share their insights and their new ideas so that innovation continues to be part of the organizational milieu.

인적자원개발

Human resource development.

Change is a difficult and lengthy process, requiring sustained energy; it often takes longer than anticipated. In addition, change involves feelings of loss as old behavior pat-terns are set aside and feelings of anxiety, inadequacy, and uncertainty arise in meeting the demands of new procedures.2,12,40 Many researchers note that during change participants are especially vulnerable to burn-out, and need a variety of support mechanisms to assist them as they develop new skills and learn new behaviors.2,7,9,10,13,18–20,31,33,44 Crandall and colleagues suggest that support comes in three areas:

• affective (emotional support and reassurance), 

• cognitive(clear understanding of the innovation and one’s part in it), and 

• skills development (training and coaching).31 

흔한 훈련 문제

Common training problems.

혁신은 교수진이 원하는 혁신의 이론적 토대를 이해하고 이를 구현하는 데 필요한 기술을 습득 할 때 채택 될 가능성이 큽니다.

An innovation is more likely to be adopted when the implementers, usually faculty, understand the theoretical underpinnings of the desired innovation and are trained in the skills required to implement it.

교육 영역에서 공통적으로 나타나는 오류 중 하나는 프로그램으로 시작시점의 초기 훈련 세션이 충분하다고 믿는 것입니다. Joyce와 Showers는 문제 해결에 참여할 기회와 함께 제공되는 후속 코칭이 필요하다고 설명합니다. 새로운 기술을 습득 한 동료와 함께 새로운 행동의 실행을 크게 향상시킬 수 있습니다.

One common error in the area of training is to believe that an initial training session, presented as a program is being launched, is ‘‘enough.’’ Joyce and Showers explain that follow-up coaching, coupled with opportunities to engage in problem solving with colleagues as new skills are practiced, can significantly enhance the implementation of new behaviors.44

훈련에 대한 또 다른 흔한 실수는 리더에게 필요한 지원과 기술을 제공하는 것입니다. 많은 사람들이 리더십 능력이 "선천적"인 것으로 믿습니다. 사실, 이들은 배울 수 있고 개발할 수있는 기술입니다.

Another common area of ‘‘lack’’ in training is in providing necessary support and skill building for leaders. Many people believe leadership abilities to be ‘‘inborn,’’ when, in fact, these are skills that can be learned and developed.

변경 과정에서 신입 회원이 조직에 가입 할 가능성이 있습니다. 이러한 신입 회원은 지속적인 혁신에 동참하도록 사회화되어야합니다. 신입 회원은 조직의 문화 나 맥락에 익숙하지 않기 때문에 허약 한 새 프로그램을 의도하지 않게 방해 할 수 있습니다.

It is likely that new members will join the organization during the change process. It is important that these new members be oriented and socialized to the ongoing innovation. New members can unintentionally disrupt a fragile new program because they are not familiar enough with the organization’s culture or context.

보상 구조

Reward structure.

혁신을 계획, 시작 및 실행하려면 시간과 에너지를 재분배해야합니다. 이 재분배를 유지하려면, 조직은 혁신에 계속 참여할 회원들을 유인하기 위해 보상 구조 (즉, 급여, 인정, 재임 기간 및 판촉)를 변경해야합니다. 몇몇 연구자들은 변화를 보상하는 인센티브 시스템의 필요성에 대해 논의합니다. Kanter는 보상 시스템을 목표 달성에 대한 보상보다는 개인의 미래 생산성에 대한 투자로 간주 되어야 한다고 제안했다.

To plan, initiate, and implement an innovation requires a redistribution of time and energy. If this redistribution is to be maintained, the organization must change its reward structure (that is, salaries, recognitions, tenure, and promotions) to entice members to continue to participate in the innovation. Several researchers discuss the need for an incentive system that rewards change.1,16,18,20,25 Kanter suggests that reward systems be viewed as an investment in the future productivity of the individual rather than as payoff for goals achieved.26

보상 체계를 변화시켜 승진, 급여 인상, 근태 결정에 영향을 미치도록 해야 한다. Kantrowitz등은 혁신 프로그램을 실험과 같이 설계하고 홍보하는 것이 좋다고 제안한다.

Along with changing reward structures so that one’s teaching does factor into promotion, salary increases, and tenure decisions, Kantrowitz et al. suggest designing and promoting an innovative program as an experiment.

평가

Evaluation.

참가자들의 시선에서 혁신을 높이는 또 다른 방법은 원하는 변경을 구현하는 조직의 진행 상황을 면밀히 모니터링 할 수있는 조형 평가 기술을 채택하는 것입니다. 이론 및 실습이 엄격하게 테스트되는 의과 대학 환경에서 평가가 잘 수행되면 교수진이 유효하고 의미있는 것으로 간주하는 분석 표준에 따라 혁신 프로세스를 정당화 할 수 있습니다. 많은 저자들은 의대 학교 환경에서의 교과 과정 변경 과정의 일부로 단기 및 장기 평가를 언급 할 때 'Critical' 이나 'Crucial'같은 같은 용어를 사용합니다.

Another way to elevate an innovation in the eyes of participants is to employ formative evaluation techniques to ensure close monitoring of the organization’s progress in implementing desired changes. In a medical school setting, where theories and practices are tested rigorously, an evaluation done well serves to legitimize the innovative process by holding it to standards of analysis that the faculty regard as valid and meaningful. Many authors use terms such as ‘‘critical’’ and ‘‘crucial’’ when referring to short- and long-term evaluation as part of the curricular change process in medical school settings.9,10,19,20,22,41,46

(Denial 이나 People-shuffling과 같은 단순한 대처 전략이 아니라) 평가에 교정적 행동이 수반되는 한, 변화 노력을 향상시키고 강화시킬 수있다 .16) 평가는 협력적 활동이기 때문에 앞서 말한 바와 같이 열린 커뮤니케이션과 조직의 협력적 분위기 형성에 기여할 수 있다.

So long as evaluation is accompanied by corrective action (and not just shallow coping strategies such as denial or people-shuffling), it can improve and reinforce the change effort.16,28 Because evaluation is a collaborative activity, it can contribute to fostering open communication and an organizational cooperative climate, as discussed earlier.35

Dannefer와 동료들은 포커스 그룹의 열린 대화가 프로젝트의 새로운 '소유권'을 육성하기 때문에 포커스 그룹이 특히 효과적인 평가 기법이라고 지적했다.

Dannefer and co-workers note that focus groups are a particularly effective evaluative technique, as the open dialogue of the focus group fosters renewed ‘‘ownership’’ in the project.41

Rebecca Henry는 프로젝트 평가가 

• 다양한 이해 관계자에게 정보를 제공하고, 

• 프로그램 요소를 개선하고 명확하게하고, 

• "변화 의제를 지속적으로 유지"

...하는 세 가지 중요한 목적을 달성했다고 설명합니다. "47, p.149

Rebecca Henry comments that project evaluation served three important purposes: 

• to provide information to various stakeholders, 

• to refine and clarify elements of the program, and 

• to ‘‘keep the change agenda alive.’’47,p.149

일시적 퍼포먼스 저하

Performance dip.

'퍼포먼스 저하 요인'은 새 프로그램을 구현할 때 자주 발생하는 조직의 퍼포먼스 감소를 나타냅니다. 다행스럽게도, 개인이 계속해서 지원을 받고 필요한 새로운 기술을 습득함에 따라, 이러한 일시적인 감소는 되돌아 갈 것이고, 성과는 새로운 '최고'에 도달 할 것입니다. '33 Eastwood와 Louis는 퍼포먼스 저하 기간동안 리더는 전문적 지원을 제공하고, 원하는 결과에 대한 조직의 진행 상황을 모니터하고, 필요한 경우 조정을 수행 할 수 있습니다. 그러나 리더는 개혁을 전복시킬 정도로 많은 구조 조정을 허용하지 않도록주의해야한다. 오히려 Eastwood와 Louis는 지도자들이 프로그램 목표를 향해 계속해서 나아갈 것을 권고합니다. 작은 승리를 인정하고 일상적인 성공을 축하하는 것은 ''경기 침체기 ''기간 동안의 사기를 도울 수 있습니다 .33

The ‘‘performance-dip factor’’ refers to the often-noted decrease in an organization’s performance that occurs as a new program is implemented. Fortunately, over time, as individuals continue to receive support and master the necessary new skills, this temporary decline will reverse, and performance will reach new ‘‘highs.’’33 Eastwood and Louis suggest that during a performance dip leaders continue to provide professional assistance, monitor the organization’s progress toward the desired outcomes, and make adjustments where needed. Leaders are cautioned, however, not to allow so much restructuring that the reform program is subverted. Rather, Eastwood and Louis advise that leaders continue to press forward toward program goals. Recognizing small victories and celebrating day-to-day successes can help bolster morale during the ‘‘performance dip’’ period.33

리더십

Leadership.

캐런 루이 (Karen Louis)는 "고의적으로 조사하려고 시도하지 않은 연구에서도 리더십 요소가 나타난다"고 주장했다. 13, p.945

It is so prevalent that Karen Louis states, ‘‘The leadership factor emerges even in studies that did not deliberately attempt to investigate it.’’13,p.945

리더십 특징과 행동

Leadership characteristics and behavior.

의과 대학에서는 학장이 주로 리더 역할을 수행합니다. 미국, 푸에르토 리코 및 캐나다의 100 개가 넘는 의과 대학에 대한 두 개의 독립적 인 연구에서 Hendricson et al. Cohen과 동료들, Colwill과 동료들, Mennin과 Krackov는 의과 대학 환경에서 가장 중요한 교육 변화의 촉진자가 학장이었다고보고했다. 29,34 , 40 다른 사람들이 지도자가 될 수 없다는 말은 아니다. 위원회 위원장, 고위직 및 준 학장도 변화를 이끌어 갈 수있는 후보자입니다. 핵심 리더는 누구나 혁신 프로세스 전반에 걸쳐 그 사람이 누구일지 식별 가능해야 한다. Bland et al. 마일스와 루이스 (Miles and Louis)는 성공적인 프로젝트 리더십이 성공적인 혁신 프로젝트와 관련이 있음을 확인합니다 .16,48

In medical schools, the dean frequently fills this role. In two separate studies of over 100 medical schools in the United States, Puerto Rico, and Canada, Hendricson et al. found that the leader in educational change was usually the dean.30 Cohen and colleagues, Colwill and associates, and Mennin and Krackov also report that the most important facilitator of educational change in the medical school settings that they studied was the dean.29,34,40 This is not to say that others cannot serve as leaders; committee chairs, senior faculty, and associate deans are also likely candidates to lead change. Whoever the primary leader is, it is important for that individual to remain as the identifiable leader throughout the innovation process. Both Bland et al. and Miles and Louis identify stable project leadership as being positively associated with successful innovative projects.16,48

Bland and colleagues (1999)는 이전에 지도자의 효과와 관련이있는 것으로 여겨지는 16 가지 행동을 추적하여이 16 가지 행동을 네 가지 범주로 분류했습니다.

• (1) 조직적 권한 (예 : 조직 권한 사용, 보상 제공 또는 자원 배분)

• (2) 명성 / 연합 세력 (예 : 다른 사람이 인식하는 전문적 / 징계 전문 기술 사용, 연합 형성을 통한 다른 사람의 권한 부여),

• (3) 적극적인 참여 적 거버넌스 (예 : 적극적으로 일관되게 다른 사람들의 의견을 청취하고, 조직 구성원이 사명을 완수하기위한 구조적 메커니즘을 제공한다.)

• (4) 문화적 / 가치 적 영향 (예 : 조직의 기본 의미 또는 목적을 나타내는 이야기 또는 기호의 명확한 표현, 파트너십의 가치를 정의, 형성 및 유지).

Bland and colleagues (1999) tracked 16 behaviors previously shown to be associated with leaders’ effectiveness, and placed these 16 behaviors into four categories: 

• (1) organizational power (e.g., uses organizational authority; provides rewards or allocates resources), 

• (2) prestige/coalition power (e.g., uses professional/discipline expertise as perceived by others; empowers others through building coalitions), 

• (3) assertive participative governance (e.g., actively and consistently seeks input from others; provides structural mechanisms for organization members to accomplish the mission), and 

• (4) cultural/value influence (e.g., articulates the stories or symbols that represent the underlying meaning or purpose of the organization; defines, shapes, and maintains the values of the partnership).

성공적인 지도자들은 조직적 권력 행동보다 참여적이고 문화적 / 가치관에 영향을 미치는 행동을 더 자주 사용했다 .48 성공적인 지도자는 덜 성공적이었던 지도자보다 조직적 권력 행동을 참여적이고 문화적 / 가치관에 영향을 미치는 행동과 더 자주 함께 사용했다 .

the more successful leaders used organizational power behaviors less often than they employed participative and cultural/value-influencing behaviors.48 the successful leaders more frequently accompanied their organizational power behaviors with use of participative and cultural/value-influencing behaviors than did the less successful leaders.

기본 지도자가 필요로하는 기술은

• 갈등을 관리하고,

• 격려와 긍정적 인 보강을 제공하고,

• 프로젝트를 집중적으로 유지하고시기 적절하게 진행되도록 하고

• 리더십에 대한 독단적 인 참여 방식을 사용하고,

• 모든 프로젝트 참여자와 이해 관계자 간의 열린 의사 소통을 원활하게 하고,

• 신뢰를 쌓고,

• 다양한 견해를 존중하고 다양한 관점에서 상황을인지하고, 아마도 가장 중요한 것은,

• 공유 비전 및 문화 / 가치를 구축하고 효과적으로 전달합니다 .1,7,25,40,48

Skills that a primary leader needs include being able 

• to manage conflict, 

• to provide encouragement and positive reinforcement, 

• to keep the project focused and moving forward in a timely manner, 

• to use an assertive participative approach to leadership, 

• to facilitate open communication among all project participants and stakeholders, 

• to build trust, 

• to honor diverse views and perceive situations from various points of view, and, perhaps most important, 

• to build and effectively communicate a shared vision and culture/values.1,7,25,40,48

리더의 조직 비전에 대한 지지와 다른 리더십 특징들

Leaders’ advocacy of organizational vision, and other leader-ship qualities of special note.

참여자 간의 광범위한 지원이 혁신의 성공을 위해 필수적이기 때문에, 리더는 광범위한 지원을 구축하고 참여자들 사이에서 혁신적인 지도력을 개발하고 지원할 수 있어야합니다. 참여자란 교수, 행정직원, 학생입니다. 변화는 공동의 책임입니다. 특히 변화 과정이 진행됨에 따라 다양한 기술과 전문 분야를 갖춘 개인이 프로젝트의 다양한 하위 목표를 완료하여 완료 될 수 있도록 모집해야합니다 .2,19,21,22,25 지도자는 다음과 같아야합니다. 

• 통제력을 상실하지 않고 전력을 공유하고, 

• 지배하지 않으면서 눈에 보이고 활동적이며, 

• 지원을 계속 제공하면서 책임을 위임 할 수 있어야합니다 .28

Because widespread support among participants is vital for an innovation’s success, the primary leader needs to be able to build broad-based support and cultivate and support innovative leadership from among participants: faculty, administrators, and even students. Change is a shared responsibility. Particularly as the change process proceeds, individuals with varied skills and areas of expertise need to be recruited to lead various sub-objectives of the project through to completion.2,19,21,22,25 The primary leader, then, needs to be able 

• to share power without losing control, 

• to be visible and active without dominating, and 

• to delegate responsibility while continuing to offer support.28

이것은 지도력의 복잡하고 역설적 인 성질을 가리킨다 .6,68 지도자가 "융통성있게"할 필요성은 몇몇 연구자들에 의해 주목된다 .2,19,23,48 Fullan과 Stiegelbauer는 이것을 간결하게 진술한다. 아이러니컬하게도, 여러면에서 개인이 특정 형태의 변화에 ​​더 헌신(집착)할수록, 다른 사람들이 그것을 이행하도록하는 데 효과적이지 못합니다. "

This points to the complex and paradoxical nature of leadership.2,6,48 the necessity for a leader to be ‘‘flexible’’ is noted by several researchers.2,19,23,48 Fullan and Stiegelbauer state this succinctly: ‘‘Ironically, in many ways, the more committed an individual is to the specific form of change, the less effective he or she will be in getting others to implement it.’’2,p.9

반면 리더는 프로젝트의 핵심이 손상될 정도로 유연해서는 안된다. 변화에 대한 조직의 비전을 유지하고 지원하는 것은 리더의 책임입니다. 수많은 연구자들은 조직의 혁신적인 비전에 대한 지도자의 명확하고 반복적 인 의사 소통의 중요성에 주목합니다.

On the other hand, a leader must not be so flexible that the integrity of the project is compromised. It is the leader’s responsibility to maintain and support the organization’s vision for change. Numerous researchers note the importance of the leader’s clear and repeated communication of the organization’s innovative vision.1,6,9–11,16,19,21,25,27,29,30,42

우리는 이전에 지도자가 변화 과정에 대한 참가자들의 서로 다른 견해를 존중함에있어서 융통성을 갖도록하는 중요성에 대해 언급했다. 지각 틀 이론가 Bolman과 Deal은 하나의 조직을 인식 할 수 있는 4 가지 일반적 프레임을 가정한다.

• (1) 구조적: 공식적인 역할과 관계를 강조

• (2) 인적 자원-지향적: 사람들의 필요에 초점을 맞추고,

• (3) 정치적: 희소 한 자원에 대한 갈등을 중심에 둠

• (4) 상징적 / 가치 - 기반: 공유하는 가치를 지닌 문화로서의 조직

볼만과 딜 (Bolman and Deal)은 지도자가 여러 가지 지각 프레임 즉 렌즈를 통해 주어진 상황을 바라 볼 때 직면하는 다양한 도전을 가장 잘 처리 할 수 ​​있다고 제안합니다.

We mentioned earlier the importance for the leader to be flexible in respecting participants’ differing views toward the change process. perceptual frame theorists Bolman and Deal, posit four ‘‘frames’’ through which one commonly perceives one’s organization: ‘‘

• (1) structural—emphasizing formal roles and relationships, 

• (2) human resource– oriented—focusing on the needs of people, 

• (3) political —centering on conflict arising over scarce resources, and 

• (4) symbolic/value-based—viewing organizations as cultures with shared values.’’43,48 

Bolman and Deal suggest that leaders are best able to handle the variety of challenges that they encounter if they view any given situation through several perceptual frames, or ‘‘lenses.’’

Bland et al. 연구에서 의과 대학에서 가장 성공적인 지도자들은 프로젝트의 상황을 볼 때 적어도 두 가지 지각 틀을 사용했다.

Bland et al. found that in the medical schools in their study, the most successful leaders employed at least two perceptual frames when viewing the circumstances of their projects.48

리더쉽에 대한 마지막 한 가지 점 : 연구자들은 광범위한 참여의 중요성을 강조하지만, 참여가 지나치게 무거워서 변화 과정을 질질 끌게 만들면 안된다는 점을 기억하십시오. 루이와 마일즈는 예를 들어 계획하는데 1 년 이상을 소비하지 말 것을 제안합니다. 그들은 참가자들의 지원과 헌신이 개발 프로젝트와 함께 성장할 것이라고 조언합니다. 그러나 혁신 프로세스가 지연되면 참가자들의 관심과 지원이 급감 할 수 있습니다. 다시 한 번, 변화의 기세에 지속적으로 연료를 공급하는 것은 리더의 책임입니다 .22,25,28,31

One final point on leadership: Recall that while researchers emphasize the importance of broad-based participation, that participation must not become so ponderous that it drags down the change process. Louis and Miles suggest, for example, that no more than one year be spent in planning. They advise that participants’ support and commitment will grow along with the developing project. If the innovation process stalls, however, participants’ interest and support may plummet. Again, it is the leader’s responsibility to continually fuel the momentum of change.22,25,28,31

고찰

DISCUSSION

문헌의 현재

State of the Literature

우선, 일반적으로 고등 교육의 성공적인 교과 과정 변화와 특히 의사의 전문 교육에 대한 특징을 다루는 문헌이 비교적 적다는 것에 놀랐습니다. 이것이 우리가 조직 변화 문학과 K-12 교과 과정 변경 문헌을 찾은 이유이기도합니다.

First of all, we were surprised by the relatively small number of sources available that addressed the characteristics of successful curricular change in higher education in general, and in the professional education of physicians in particular. This is why we also sought out organizational change literature and K–12 curricularchange literature.

연구 결과

Our Findings

While we note the strengths of these categories and subcategories by their frequencies in the literature, we acknowledge that our precision in this effort was hampered by the high variability of the literature.

리더십과 협력적 분위기

Leadership and cooperative climate.

학술적 문화와 긍정적 인 분위기의 유지는 의과 대학의 커리큘럼 변화뿐만 아니라 최적의 연구 생산성, 창의력과 혁신, 교직원 사기 등에 대한 의과 대학에서 중요합니다.

The maintenance of an academic culture and a positive climate are important to a medical school, not just for curricular change but also for optimal research productivity, creativity and innovation, faculty morale, and more.

리더십과 조직 구성원의 참여

Leadership and participation by organization members.

또한 지도자는 조직에 실제로 참여적 거버넌스가 있음을 보장해야합니다. 이것은 다른 사람들의 말을 듣고 자하는 것 이상의 의지가 필요합니다. 이를 위해서는 교수진이 참여할 수있는 공식 메커니즘을 설정 한 다음 그 교수진이 참여하도록 "nudge"해야 한다.

Leaders must also assure that there is real participative governance in the organization. This requires more than a willingness to listen to others and have an open door; it requires that one set up formal mechanisms for faculty to participate and then that one ‘‘nudge’’ faculty to do so.

리더십과 평가

Leadership and evaluation.

평가의 주요 목적 중 하나는 의사 결정을 위한 정보를 수집하는 것입니다. 지도자는 다가오는 결정에 중요한 정보가 평가를 통해 수집되는 정보를 확인해야합니다. 따라서 리더는 유용하고 시기 적절한 데이터를 수집 할 수 있도록 평가자와 긴밀히 협력합니다. 평가의 또 다른 목적은 프로젝트의 프로세스와 결과에 대한 설명을 제공하는 것입니다. 변화의 과정에 대한 명확한 그림을 식별하는 작업이 복잡한 이유는 변화 과정에 대한 각 개인의 인식이 독특하기 때문이다. 변경 전의 교과 과정 및 교과 과정 결과에 대한 객관적인 설명 (예 : 학생들의 만족도, 습득 한 역량, 교수진 노력)은 변경 및 주기적으로 토론 및 결정에 대한 공통된 이해를 제공합니다.

One of the primary purposes of evaluation is to collect information for decision making. The leader must identify what information, important for upcoming decisions, is to be gathered through an evaluation. Thus, the leader works closely with the evaluator to assure that useful and timely data are collected. Another purpose of evaluation is to provide a description of the project’s process and outcomes. As each individual’s perception of the change process is unique, the variety of realities at play serve to complicate the task of discerning a clear picture of the change process. Having an objective description of the curriculum and curricular outcomes before the change (e.g., students’ satisfaction, competencies acquired, faculty effort), as well as periodically during the change, provides a common understanding for discussions and decisions.

우리의 검토에서 언급했듯이, 평가란 의과 대학에서 유용한 도구일 뿐만 아니라, 프로젝트를 응용 교육 연구로 프레이밍하고, 평가 결과를 연구 성과로서 제시함으로써 커리큘럼 작업의 가치를 높이는 수단이 되기도 한다. 그러므로 연구의 integrity와 의사 결정의 유틸리티를 모두 다루는 평가 설계의 개발은 계획 단계에서 결정되어야하는 문제 중 하나입니다. [일반화 할 수있는 데이터]와 [보다 즉각적인 의사 결정을 위한 데이터] 사이의 긴장감을 인식하는 것이 중요합니다. 커리큘럼 프로젝트의 프로세스와 결과에 대한 '실제'데이터를 확보하면 지속 가능성을 유지하고 자원을 할당하는 데 리더가 될 것이므로 중요합니다. 결과적으로 프로젝트 초기에 명확하고 객관적인 설명이 필요하며 측정 대상이 되는 성과에 대해서 대해 너무 지나치게 rigid하지 않아야합니다. Hembroff와 동료 연구원은 "(대부분의 사람들이 그렇게 생각하듯) 실제 프로그램이 구현되기 전에 평가자가 참여할 때 , 프로그램 목표가 많은데 아직 실제 구현의 현실에서 벗어나지 않은 경우 평가의 유연성은 최종 평가 전략이 실행 된 프로그램의 필연적 인 목표 명확성을 고려하기 위해 필요하다. "49, p.338

As noted in our review, medical schools find evaluation not only a useful tool but also a means to raise the value of curriculum work by framing the project as applied education research and presenting the evaluation data as research outcomes. The development of an evaluation design that addresses both research integrity and decision-making utility is, therefore, one of the issues that needs to be determined in the planning stage. Recognition of this tension between the need for generalizable data and data for more immediate decision making is important. It is important because having ‘‘real’’ data about the process and outcomes of the curriculum project will serve the leader in maintaining momentum and allocating resources for sustainability. As a consequence, it is necessary to have a clear, objective description at the beginning of a project and yet not to be too rigid early on about the outcomes to be measured. As Hembroff and colleagues point out, ‘‘When evaluators are brought in (as most of us think they should be) prior to actual program implementation, and where the goals for the program are many and are as yet untempered by the realities of actual implementation, evaluation flexibility is necessary so that the final evaluation strategy takes into account the inevitable goals clarification of the program as carried out.’’49,p.338

교과 과정 변화를 실행하는 기관은 지역 사회의 맥박pulse을 모니터링하기위한 내부 구조와 절차를 가져야합니다 .1 외부 사건은 교육 기관 또는 교육 기관이 존재하는 환경에 대한 영향으로 인해 커리큘럼 이니셔티브에 대한 적응을 필요로 할 수 있습니다.

an institution implementing curricular change needs to have internal structures and procedures for monitoring the pulse of the community.1 External events, due to their impacts on an institution or on the environment in which the institution exists, may necessitate adaptations to the curriculum initiative.

교육과정혁신은 본질적으로 다른 유형의 변화보다 길며, 결과 성공의 측정은 수 년에 걸쳐 이루어질 수 있습니다.

Curricular innovations are by nature more lengthy than are other types of change, and the measurement of outcome success may span years.

리더십과 인적자원개발

Leadership and human resource development.

거의 모든 교육과정 변화에서 일부 또는 모든 교수진을 대상으로하는 교육이 필요합니다.

Nearly all curriculum changes also require training for some or all of the faculty.

자주 언급되는 인적 자원 개발의 두 번째 측면은 보상을 제공하고 보상 개발을 교과 과정 개발 및 새로운 교과 과정과 연계시키는 것이 중요하다는 것입니다.

The second aspect of human resource development that is frequently mentioned is the importance of providing rewards and aligning rewards with curricular development and with implementing the new curriculum.

내부 자금 조달 할당을 재조정하는 방법에는 

• 새로운 커리큘럼에 필요한 노력에 맞추기 위해 핵심적 자원이 할당되는 방법을 점진적으로 바꾸는 것,

• 커리큘럼 변경 참여에 더 높은 가치를 부여하기 위해 승진 구조 조정

• 교수직 계급 내에서 새로운 역할을 통합하도록 임명appointment 시스템 변경.