시스템 사고 평가: 의학교육연속체상의 의사결정을 지원하기 위한 총체적 평가 프레임워크(Acad Med, 2017)
Assessment for Systems Learning: A Holistic Assessment Framework to Support Decision Making Across the Medical Education Continuum
Constance M. Bowe, MD, and Elizabeth Armstrong, PhD
시스템 이론의 가치는 엔지니어링, 경제 및 비즈니스에서부터 교육, 사회 복지 및 건강 관리에 이르기까지 다양한 분야에 적용됨에 따라 잘 알려져 있습니다. 보건 정책 입안자와 교육자는 시스템 관점이 21 세기의 실천에 필수적이라고 결론 지었고 1-3, 미래의 의료 서비스 제공자를 준비하기 위해 커리큘럼에 포함시키는 것을지지했다 .4-8 의학 교육은 점진적으로 그 목표를 사회의 건강 관리 요구와보다 잘 부합시키기 위해 교육 연속체의 개별 구성 요소 사이에 이전 경계선을 연결했습니다.
The value of systems theory is well recognized as it is applied in a variety of fields ranging from engineering, economics, and business to education, social services, and health care. Health policy makers and educators have concluded that a systems perspective is essential for practice in the 21st century1–3 and have advocated for its inclusion in curricula to prepare future health care providers.4–8 Medical education has gradually introduced a succession of changes that have bridged previous boundaries between the individual components of the training continuum to better align its goals with society’s health care needs.
학습자가 훈련 연속체를 통해 진보를 위해 입증해야하는 역량의 평행 영역은 실제적으로 궁극적으로 필요한 필수 기능을 반영하여 통합되고 확장되었습니다. 인증 기관은 학부 및 대학원 프로그램의 승인을 위해보다 포괄적 인 결과 문서화를 점진적으로 요구하고 있습니다. 총체적으로, 이러한 변화는 의료 전달 시스템 및 사회의 건강 관리 필요성과보다 밀접하게 연계 된 시스템으로서의 의학 교육에 대한 전체 론적 견해를 강화시켰다.
Parallel domains of the competencies that learners are required to demonstrate for advancement through the training continuum have been unified and expanded to reflect the essential capabilities ultimately needed in practice.8,9 Accreditation bodies have progressively required more comprehensive documentation of outcomes for approval of both undergraduate and graduate programs. Collectively, these changes have strengthened a holistic view of medical education as a system more closely interfacing with the health care delivery system and society’s health care needs.
의학 교육에 대한 시스템 관점에 대한 이러한 진보에도 불구하고 결과 기반 의학 교육을 지지하는 사람들은 수용에 대한 저항에 직면 해있다 .10 인증 기관은 점차적으로 주기적 간격으로 외부 평가를 하함으로써 프로그램 성과의 결핍에 대해 내부적으로 더 관심을 갖고 반응할 것을 권장하고있다. 11
Despite these advances toward a systems perspective on medical education, advocates of outcomes-based medical education remain concerned by the encountered resistance to its acceptance.10 Accreditation bodies have increasingly encouraged greater internal attention and response to program outcome deficiencies at periodic intervals between external evaluations.11
또한, 가치의 증거가없는 경우, 평가에 소요되는 노력의 비용 : 혜택 비율은 그들이 인식하는 유형적인 개선에 종종 좌절하는 학습자 및 교수진에 의해 의문을 제기받습니다. 그러한 우려는 의학 교육에만 국한되지 않고 진화 된 "인정의 문화"13을 기술한 고등교육의 일반적인 리더들과 공유되어 "평가 피로"로 이어진다.
Moreover, in the absence of evidence of its value,12 the cost:benefit ratio of the increasing effort expended on assessment is questioned by learners and faculty who are often underwhelmed by the tangible improvements they perceive. Such concerns are not limited to medical education but are shared by thought leaders in higher education in general who have described a “culture of accreditation”13 that has evolved, leading to “assessment fatigue.”11
인증을위한 개별 프로그램 결과를 모니터링한다고해서 반드시 시스템으로서의 프로그램에 관한 이해가 향상되는 것은 아닙니다. 시스템 관점에서 볼 때 고립 된 데이터는 수집 된 컨텍스트 내에서 고려 될 때까지 실제 정보가 아닙니다. 개별 시스템 구성 요소의 결과는 시스템에 대한 의미를 추론하기 위해 통합되고 분석 될 때까지 실행 가능한 정보를 제공하지 않습니다. 전체적으로. 이러한 방식으로만 증거 기반 의사 결정을 위해 시스템 성능에 대한 인텔리전스를 제공 할 수 있습니다. 증가하는 평가 데이터를 의미 있고 실용적인 인텔리전스로 변환하는 것은 정보 시스템 관리 문제를 야기하며, 이는 다양한 시스템 구성원을 프로그램 데이터의 해석에 적극적으로 참여시킴으로써 해결할 수 있습니다 .16,17
Monitoring of individual program outcomes for accreditation does not necessarily advance a program’s understanding of itself as a system. From a systems perspective, isolated data are not real information until they are considered within the context in which they are gathered.14,15 Nor do outcomes for individual system components provide actionable information until they are integrated and analyzed to infer their meaning for the system as a whole. Only in this way can intelligence on system performance be provided for evidence-based decision making. Translating growing amounts of assessment data into meaningful and actionable intelligence poses an information management challenge that can only be addressed by actively engaging diverse system members in the interpretation of their program’s data.16,17
시스템 관점에서 볼 때 의학 교육 연속체에서 개별 구성 요소 결과에 의존하는 것 만으로는 프로그램 성과에 대한 전체적인 그림을 제공하기에 불충분하다. 다음을 위해 평가 데이터의 조합에 대한보다 심층적 인 분석이 필요합니다.
구성 요소 상호 관계를 평가하며,
불만족스러운 결과에 기여하는 요소를 확인하고
품질 개선 노력과 장거리 프로그램 기획을 안내하는 증거를 제공한다.
The medical education continuum, viewed from a systems perspective, suggests that reliance on individual component outcomes is insufficient to provide a holistic picture of program performance. More in-depth analyses of combinations of assessment data are needed to
appreciate component interrelationships,
identify factors contributing to unsatisfactory outcomes, and
provide evidence to guide quality improvement efforts and long-range program planning.
일반적으로 의학 교육이나 평가에 관한 시스템 원칙은 의학 교육 연속체를 위한 프레임 워크를 개발하기 위해 검토되고 적용됩니다.
Systems principles, relevant to medical education, in general, and to assessment, specifically, are reviewed and applied to develop a framework for the medical education continuum.
이 기사에서 제안하는 프레임 워크는 시스템 평가의 세 가지 주요 목표를 다룹니다.
시의 적절한 교정을 돕기 위해 계획된 교육 활동 (예 : 과정, 커리큘럼 모듈 또는 임상 순환)이 진행되는 동안 개별 교과 과정 구성 요소 성과를 지속적으로 모니터링합니다.
현재의 시스템 성능을 간헐적으로 분석하여 지속적인 품질 개선 (CQI) 및 혁신 노력을 알린다. 과
장기 시스템 성능에 대한 주기적 평가를 통해 학습자가 건강 관리 시스템의 변화하는 요구 사항을 충족시킬 수 있도록 준비하는 데 필요한 체계적인 변화에 대한 준비 여부를 결정합니다.
The framework we propose in this article addresses three major goals of assessment in systems:
continuous monitoring of individual curriculum component performance while a planned educational activity (EA) is in progress (such as a course, curriculum module, or clinical rotation) to facilitate timely corrections;
intermittent analyses of current system performance to inform continuous quality improvement (CQI) and innovation efforts; and
periodic evaluation of longitudinal system performance to determine its readiness for systemic changes needed to better prepare learners to meet the evolving needs of the health care system.
의학 교육과 관련된 시스템 원리와 실천
Systems Principles and Practices Relevant to Medical Education
본질적으로 시스템은 "함께 일하면서 만물만으로는 달성 할 수없는 결과를 만들어내는 서로 다른 것들의 모음"입니다. 18 "다른 것들"또는 이해 관계자를 포함한 기능적 구성 요소는 시스템이 원하는 제품이나 서비스를 제공하는 특정 작업을 수행하는 개인 또는 그룹의 분리 된 단위입니다. 더 나은 결과의 달성은 시스템 설계에서 명확히 밝혀진 시스템 구성 요소의 계획된 조정에 달려 있습니다. 시스템의 기능에 중요한 효과적이고 효율적인 통신 경로 및 피드백 루프가 명확하게 지정됩니다. 따라서 1 차 시스템 원리는 시스템의 결과가 개별 부품의 결과의 단순한 합 이상의 것을 나타낸다는 것이다
In essence, a system is “a collection of different things which, working together, produce a result not achievable by the things alone.”18 The “different things” or functional components, including stakeholders, are discrete units of individuals or groups that perform specific tasks that result in the system’s desired product or service. The better result achieved relies on the planned coordination of system components clarified in the system design. Effective and efficient communication pathways and feedback loops, critical to the system’s function, are clearly specified. Therefore, a primary systems principle states that the outcome of a system represents more than the simple sum of the outcomes of its individual parts.
복잡한 적응 시스템
Complex adaptive systems
시스템 과학 전문 분야는 자연에서 발생하는 시스템과 인간의 행동에 크게 의존하는 조직 또는 복잡한 적응 형 시스템 (CAS)에 초점을 맞추고 있습니다 .19,20 이러한 시스템은 제조 과정에서 설명 된 기계화 된 시스템보다 예측하기가 훨씬 어렵다. 이들은 동적 인 상호 작용과 시스템 전반에 걸쳐 잔향reverberae하는 구성 요소 간의 가변적 상호 관계를 특징으로합니다 .20 결과적으로 인간 의존적 CAS에서는 시간의 경과와 함께 결과 및 시스템 성능 모두에서 상당한 가변성이 관찰됩니다. 어느 한 구성 요소의 변경은 광범위한 결과를 가져올 수 있습니다.
A specialized branch of systems science focuses on systems occurring in nature and organizations that are highly dependent on human behaviors, or complex adaptive systems (CASs).19,20 These systems are much less predictable than the mechanized systems described in manufacturing. They are characterized by dynamic interactions and variable interrelationships between and among their components that reverberate throughout the system.20 Consequently, considerable variability is observed in human-dependent CASs over time in both outcomes and system performance. Alterations in any one component can have far-reaching consequences.
CAS 설계 및 관리
CAS design and management
환경의 변화에 신속하게 대응하고 조정할 수 있는 CAS의 가치있는 적응성은 잘 작동하는 시스템에서 보고 된 효율성과 효율성의 밑바탕이됩니다. 그러나 CAS는 특히 엄격한 중앙 집중식 제어에 내성이 있습니다. 위임 된 하향식 교과 과정 개혁에 참여한 의학교육자 및 관리자는 능동적이거나 수동적으로 발생하는 저항이 무엇인지 잘 안다. CAS 설계의 과제는 전체 시스템 성능 향상에 대한 구성 요소의 유연성, 이니셔티브 및 헌신을 제한하지 않고 모든 이해 관계자가 작업을 수행 할 수 있도록 충분한 조직 구조를 제공하는 것입니다.
The valuable adaptability of a CAS to rapidly respond and adjust to alterations in its environment underlies the effectiveness and efficiency reported in well-functioning systems. However, it also renders CASs particularly resistant to tight centralized control. Medical educators and managers involved in mandated, top-down curricula reforms can well appreciate the resistance, active and passive, that can emerge. The challenge in CAS design is to provide sufficient organizational structure to keep all stakeholders on task without limiting component flexibility, initiative, and commitment to overall system performance improvement.
중앙 집중식 조정과 유리한 자율성 사이의 이러한 섬세한 균형을 달성하기 위해 시스템 설계는 다음의 것들을 명시 적으로 정의합니다.
시스템 목표와 제공 될 원하는 최종 결과 또는 서비스의 사양, 즉 "최종 제품";
원하는 결과를 얻기 위해 따라야 할 작업 흐름;
이해 관계자 역할, 책임 및 책무; 과,
가장 중요한 것, 최종 제품에 가치를 더하기 위해 작업을 조직하고, 조정하고, 통합하고, 지원하는 "구조화 된 상황"입니다.
To achieve this delicate balance between centralized coordination and advantageous autonomy, system designs explicitly define
system goals and the specifications of the desired final outcome or service to be provided, generically referred to as the “final product”;
work flow to be followed to achieve the desired outcome;
stakeholder roles, responsibilities, and accountability; and,
most important, the “structured context” in which work is to be organized, coordinated, integrated, and supported to add value to the final product.21
"구조화된 상황"에는 개별 구성 요소의 활동을 연결하고 효율적이고 효과적으로 함께 작업 할 수 있도록 시스템에 설계된 계획된 프로세스, 절차, 의사 소통 경로 및 지원이 포함됩니다. 학부 또는 대학원 의학 교육 프로그램의 기본 구성 요소는 시스템 설계의 관점에서 볼 때 표 1에 나와 있습니다.
The latter includes planned processes, procedures, communication pathways, and supports designed into the system to link the activities of individual components and ensure that they work together effectively and efficiently. The basic components of an undergraduate or graduate medical education program, viewed from the perspective of a system design, are presented in Table 1.
시스템 과학자들은 CAS가 제기하는 관리상의 어려움을 인정합니다. 분명히 의료 교육의 관리는 여러 가지 임무 (환자 진료, 연구 및 교육)를 동시에 제공하는 기관 내에서 프로그램의 위치에 따라 더욱 복잡해집니다. 우리는이 상황에서 발생하는 긴장을 과소 평가하지는 않지만, 본 논의는 교육 목표를 향상시키기위한 시스템 원칙의 잠재적 이익에 초점을 맞추고 있습니다.
Systems scientists acknowledge the management challenges posed by CASs. Admittedly, administration in medical education is further complicated by the positioning of our programs within institutions simultaneously serving multiple missions—patient care, research, and education. We do not underestimate the tensions arising from this situation, but our present discussion is focused on the potential benefits of systems principles for the advancement of our educational goals.
시스템 사고
Systems thinking
시스템 이론의 중심 구성은 시스템 사고로서, 이것은 구성 요소 복잡성, 동적 상호 관계 및 상황 컨텍스트가 시스템 결과에 미치는 영향을 인식 할 수있는 능력입니다. 조직의 모든 수준에서 시스템 성능은 이 기술에 의존합니다 .23,24 Valerdi and Rouse25는 시스템 사고 기술이 조직의 여러 이해 관계자들간에 상당히 다르다는 것을 보고하지만, 시스템 사고는 배울 수 있습니다. 이를 위해 시스템 과학은 의학 심리학, 사회 과학, 조직 행동 및 성인 학습 이론 분야의 연구에서 파생 된 여러 전략을 채택했으며 이는 의학 교육자에게 친숙합니다. 개념 맵, 흐름 다이어그램 및 조직 네트워크의 변형을 비롯한 시각적 그래픽은 기능적 상호 관계, 중요한 통신 경로 및 피드백 루프 및 시스템 고장이 가장 일반적으로 발생하는 구성 요소 간의 기본 인터페이스를 나타내는 문제 해결 토론에 사용됩니다. -30
A central construct of systems theory is systems thinking, the ability to recognize the influence of component complexity, dynamic interrelationships, and situational context on system outcomes.22 System performance is dependent on this skill at all levels of the organization.23,24 Valerdi and Rouse25 report that systems thinking skills vary significantly among different stakeholders in an organization, but they can be learned. Toward that end, systems science has adopted a number of strategies, derived from research in the fields of cognitive psychology, social science, organizational behavior, and adult learning theory, which are familiar to medical educators. Visual graphics, including variants of concept maps, flow diagrams, and organizational networks, are used in problem-solving discussions to illustrate functional interrelationships, critical communication pathways and feedback loops, and fundamental interfaces between and among components where system breakdowns most commonly occur.26–30
시스템이 효율성을 중시하기 때문에, 시스템이 모든 이해 관계자 수준에서 시스템 사고를 진전시키는 데 상당한 시간과 노력을 투자한다는 사실을 알게되면 놀랄 것입니다. 그러나 시스템이 성능 문제가 발생할 때 이해 관계자의 신속하고 적절한 수정 능력에 의존하는 것은, 문제에 대한 이해 관계자의 인식과 필요한 조정을하려는 시스템의 사용에 달려 있습니다. 시스템이 어떻게 작동하는지, 개선 될 수 있는지에 대한 포괄적인 이해관계자들의 토론과 대화는 구성원들 사이에 시스템 이해의 불일치를 드러내고 있으며, 시스템 문제와 기능 장애에 기여하는 중요한 요소를 확인하는 데 유용합니다 .20,26,29
Given the value that systems place on efficiency, it may be surprising to learn that systems invest considerable time and effort to advance systems thinking at all stakeholder levels. However, systems’ reliance on their stakeholders’ abilities to make rapid and appropriate corrections when performance problems arise rests on their stakeholders’ recognition of a problem and the use of systems thinking in making necessary adjustments. Inclusive stakeholder discussions and dialogue around how their system works, or could be improved, are revealing about discrepancies in members’ understanding of the system31 and are useful in identifying the critical factors contributing to system problems and dysfunction.20,26,29
가장 중요한 것은, 이러한 deliberation에 소비 된 시간은 시스템 구성원들에게 교육 목적을 제공하고 조직 학습을 발전시킨다. 우리는 조직 학습이 집단 사고를 개발하려는 시도가 아니라고 강조하며, 오히려 그 반대에 가깝다. 다양한 시각과 경험을 교환하고 토론함으로써 의사 결정과 시스템 개선에 적극적으로 참여할 수있는 지식이 풍부한 인력이 창출됩니다. 20,23,26,31,32
Most important, time spent in these deliberations serves an educational purpose for system members and advances organizational learning.26,32 We stress that organizational learning is not an attempt to develop group think—quite the contrary. Rather, through the exchange and discussion of diverse perspectives and experiences, a knowledgeable workforce is created that can actively participate in decision making and system improvement.20,23,26,31,32
유사한 이해 관계자 포함 토론은 커리큘럼 개혁 계획 및 인정을위한 자체 학습 프로세스에서 종종 발생하며 향상된 학습 및 커리큘럼 효능과 관련됩니다. 커리큘럼 개혁 이후에 관찰 된 초기 이익 중 일부는, (그 과정에서) 발생하는 이해 관계자 교류에서 유래한다고 가정 할 수 있습니다. 프로그램 목표, 문제 영역 및 효과적인 해결책에 대한 서로 다른 의견이 명확하게 제시됩니다.
이해 관계자 그룹 간의 커뮤니케이션이 강화되고
프로그램 구성 요소 간의 인터페이스가 강화되며
시스템 내 상호 관계에 대한 이해 관계자의 인식이 향상됩니다.
그러나 그러한 교류가 계속 유지되지 않으면 교육 이익이 점차적으로 침식 될 수 있습니다.
Similar stakeholder-inclusive discussions often occur in curriculum reform planning and the self-study process for accreditation and are associated with improved learning and curriculum efficacy. One could postulate that some of the initial benefits observed after a curriculum reform stem, in part, from the stakeholder exchanges that take place. Disparate opinions on program goals, problematic areas, and effective solutions are made explicit. Communication between and among stakeholder groups is strengthened,
the interfaces between program components are reinforced, and
stakeholders’ awareness of interrelationships within their system is advanced.
However, in the absence of continued maintenance of such exchanges, the educational gains can gradually erode.
책무성, 감독, 의사결정
Accountability, oversight, and decision making
시스템 이론에서 결과에 대한 책임과 최종 제품의 품질은 시스템의 critical support 제공 뿐만 아니라 계획된 절차 및 프로세스 준수에 부분적으로 좌우됩니다. 따라서 바람직한 결과 또는 실망스러운 결과는 개별 구성 요소 단독으로 인한 것이 아닙니다. (많은 학술 기관에서 전형적으로 나타나는 것보다) 시스템은 의도적으로 결과에 대한 더 큰 공유 책임shared responsibility을 장려합니다 .16 이해 관계자는 계획 프로세스 및 절차가 발생했을 때 이를 준수하지 않아 발생하는 문제를 해결해야합니다. 그러나 관리자와 함께 재발을 방지하기 위해 어떤 시스템 개선이 필요한지 결정하기 위해 추가 분석이 수행됩니다 .16,21,30 마찬가지로 필요한 CQI 노력이나 혁신 도입에 대한 논의는 시스템의 다른 구성 요소에 대한 의도하지 않은 결과를 최소화하기 위해 다양한 이해 관계자 의견을 요구합니다.
In systems theory, responsibility for outcomes and the quality of the final product is shared and partially dependent on compliance with planned procedures and processes as well as the system’s provision of critical supports. Hence, desired or disappointing outcomes are not attributed to any individual component alone. Systems intentionally encourage greater shared responsibility for outcomes than is typical at many academic institutions.16 Stakeholders are expected to address problems arising from noncompliance with planned processes and procedures as they arise. But then, together with managers, further analyses are performed to determine what system improvements are needed to prevent a recurrence.16,21,30 Similarly, discussions about needed CQI efforts or the introduction of innovations solicit diverse stakeholder opinions to minimize unintended consequences on other components of the system.
새로운 환경의 주요 변화 (새로운 규제 표준 또는 최종 사용자 요구)에 대응할 수있는 시스템의 능력은, 주요 시스템 변화의 이점과 비용을 결정하기 위해 시스템의 현재 강점과 한계에 대한 구성원의 정확한 이해를 바탕으로합니다. 이러한 deliberation에는 처음에는 이질적인 이해 관계자의 견해가 포함되며, 반드시 합의를 달성하는 것이 아니라 "시스템 구성원이 함께 살 수있는 변화"를 확인하는 것이 중요합니다.
A system’s ability to respond to major changes in its external environment—new regulatory standards or end-user needs—is posited on its members’ accurate understanding of the system’s current strengths and limitations in order to determine the true benefits and costs of any major system changes. Such deliberations initially include disparate stakeholders’ viewpoints26 and move forward, not to necessarily achieve a consensus, but to at least identify changes that the “system members can live with.”29
시스템 내부의 평가
Assessment in systems
증거 기반의 의사 결정 및 관련 지식을 가진 이해 관계자에게 높은 가치를 부여하는 시스템을 고려할 때, 시스템 평가의 가장 중요한 목표는 시스템 성능에 대한 정확한 "큰 그림"을 제공하는 것입니다. 실용 가능한 정보는 의사 결정을위한 세 가지 고유 한 조직 수준, 즉
개별 구성 요소 성능 내에서의 내부 정정,
시스템 성능의 품질 향상
시스템의 외부 환경 변화에 대응하기위한 시스템 준비 상태
...에서 시스템 운영을 최적화하려는 것입니다.
Given the high value systems place on evidence-based decision making and knowledgeable stakeholders participating in it, the overarching purpose of assessment in systems is to provide an accurate “big picture” of system performance. Actionable information is sought to optimize systems’ operations at three distinctive organizational levels for decision making: internal correction within individual component performance, quality improvement in system performance, and system readiness to respond to changes in the system’s external environment.
의학교육에서의 평가를 시스템 관점에서 바라보기
A View of Assessment in Medical Education From a Systems Perspective
개별 구성요소의 능력 평가
Assessment of individual components’ performance
지난 수십 년 동안 커리큘럼 감독을 중앙 집중화하고 의학 교육에서 평가 기준을 표준화함으로써 상당한 혜택을 얻었습니다. 총체적으로, 이러한 변화는 평가 및 프로그램 평가에 대한 시스템 기반 접근 방식에 대한 의학 교육의 연속체를 준비했습니다. 시스템 사상가들이 주장하는 것과 대조되는 의료 교육의 현재 사례에 대한 간략한 검토는 의학 교육 그 자체를 비판하기 위한 것이 아니라 오히려 평가 설계에 시스템 원리를 추가적으로 적용할 때의 잠재적 이점을 고려하는 것입니다.
Appreciable benefits have resulted from centralizing curriculum oversight and standardizing assessment criteria in medical education over the past few decades. Collectively, these changes have prepared the medical education continuum for a more systems-based approach to assessment and program evaluation. The brief review of current practices in medical education contrasted with those advocated by systems thinkers3,16,20,23,33 is not intended as a criticism of medical education per se but rather to consider the potential benefits of further applications of systems principles in its assessment design.
의학 교육자는 성과 향상을 위해 학습자에게 빈번하고 건설적인 피드백의 중요성을 강조합니다. 이러한 사치가 개별 커리큘럼이 진행되는 동안에 구성 요소의 교사와 디렉터에게까지 확장되는 경우는 드물다 .34 의학 교육자는 학습 및 학습자 결과에 영향을 미치는 요인이 다양하다는 것을 인식합니다 .19,35-38 그러나 EA 완료시 수집 된 평가 데이터 일반적으로 결과 또는 결과 결과에 기여하는 추가 정보가 없이 검토 및 해석이 최종적으로 수행되는 행정 또는 교과 과정 커리큘럼 위원회에게 전달됩니다. 우려 사항을 해결할 수있는 가장 좋은 위치에있는 개인(즉 학습자, 교수, 교육과정 디렉터)에게 결과를 전달하는 데 지연이 발생하면 개개인의 이익을 위해 학습, 교육 및 EA 관리에 대한 접근 방식에서 인식 할 수있는 조정 능력을 제한합니다.
Medical educators emphasize the importance of frequent and constructive feedback to learners for performance improvement. This luxury is rarely extended to teachers and directors of individual curriculum components while they are in progress.34 Medical educators recognize that a multitude of factors affect learning and learner outcomes.19,35–38 Yet, assessment data collected at the completion of an EA are typically routed to an administrative or faculty curriculum committee level where review and interpretations are eventually conducted in the absence of additional information contributing to the outcome results. Delays in the delivery of outcome results to the individuals in the best position to address concerns—learners, faculty, and curriculum directors—limit these individuals’ ability to make perceptible adjustments in their approach to learning, teaching, and EA management for the benefit of all involved.34,37
대조적으로, 시스템은 제품 개발 또는 서비스 제공의 각 단계에서 단기 및 중간 결과를 모니터링하고 계획된 상황 구조를 준수하는지 자주 모니터링합니다 .29 업무에 관련된 모든 이해 관계자가 개인화 된 데이터를 사용하여 신속하게 수정합니다 . 개발의 각 단계가 완료되면 결과는 다음 단계 개발 단계로 나아갈 수있는 품질과 준비를 보장하기 위해 정의 된 기준에 따라 검토됩니다. 기대치 또는 절차 또는 프로세스 불이행으로 인한 성과의 과도한 변동성은 광범위한 시스템 문제를 시사합니다. 이러한 관행은 시스템상의 문제를 확실히 해결하게 해주며, 관련된 모든 이해 관계자에 대해서 평가의 가치와 관련성을 강화합니다.
In contrast, systems frequently monitor short-term and intermediate outcomes,33 as well as compliance with planned contextual structures, throughout each phase of product development or service provision.29 Personalized data are made available to all stakeholders involved in a task to make rapid corrections. At the completion of each stage of development, outcomes are reviewed against defined standards to ensure quality and readiness for advancement to the next stage of development. Excessive variability in outcomes from expectations or noncompliance with procedures or processes signals a broader system problem. These practices ensure that systemic issues are addressed and reinforce the value and relevance of assessment for all stakeholders involved.
시스템 능력의 평가
Assessment of system performance
의학 교육의 QA는 각 EA나 교육단계가 종료되었을 때 수집되는 개인별 교육성과나 후향적 학습 평가에 크게 의존합니다. 교수자의 turnover에 따른 영향, 신규 및 원격 교육장, 커리큘럼 혁신은 중대한 성과 저하가 발생하거나 전반적인 시스템 성능이 저하 될 때까지 인식되지 않을 수 있습니다.
Quality assurance in medical education is heavily dependent on individual curriculum component outcomes and retrospective learner ratings and commentary solicited at the completion of individual EAs or stages of training. The impact of turnover in teaching faculty, inclusion of new and remote teaching sites, or curriculum innovations can go unrecognized until significant outcomes deterioration has occurred or overall system performance has been compromised.
EA 결과에만 고립된 상태로 과도하게 의존하는 것은 학습과 교수법에 기여하는 다른 중요한 요소 인 체계적 요인에 대한 고려를 제한한다 .38,39 인증 기관은 특히 accreditation review에서 불충분한 영역에서 결과 데이터를보다 자주 검사하는 프로그램을 내부적으로 시작할 것을 점차 권장하고 있습니다. 이러한 접근 방식을 결과 추세 및 기여자에 대한 전향적 트레킹과 결합하면 인증 기관에 의한 심각한 행동 결정의 발생률을 줄일 수 있습니다.
The excessive reliance on segregated EA outcomes limits consideration of other, equally important, systemic factors contributing to learning and teaching.38,39 Accreditation bodies are increasingly encouraging programs to internally initiate more frequent examinations of outcomes data, especially in areas found to be deficient on accreditation review.11,40 That approach, combined with prospective tracking of outcomes trends and contributors, could reduce the incidence of severe action decisions by accrediting bodies.
개별 구성 요소 결과를 모니터링하는 것 외에도 시스템은 데이터 조합에 대한 추가 분석을 수행하여 결과에 기여하는 요소들의 상호 관계, 시너지 효과적이고 경쟁적인 상호 작용을 나타내는 패턴, 성능 추세 및 확인 된 문제의 근본 원인을 확인합니다 .26,33 프로세스 및 절차를 포함한 시스템 설계 기능의 비례 기여도와 그에 따른 평가 매개 변수의 예측 가치에도 주의를 기울입니다. 결과 증거의 의미는 이해 관계자에 의해서 deliberate되어, CQI에 알리고, 가장 효과적 일 가능성이 높은 혁신을 확인하고, 운영을 합리화하는데 사용됩니다. 이러한 deliberation의 결론은 조직 학습을 확대하기 위해 모든 이해 관계자 그룹과 공유됩니다 .16,26,27
In addition to monitoring individual component outcomes, systems perform additional analyses on combinations of data to identify interrelationships contributing to outcomes, patterns suggesting synergistic and competitive interactions, trends in performance, and the root causes of identified problems.26,33 Attention is also paid to the proportional contributions of system design features, including processes and procedures,39 and the predictive value of assessment parameters followed. The meaning of the resulting evidence is deliberated by stakeholders to inform CQI, identify innovations likely to be most effective, and streamline operations.41 The conclusions of these deliberations are shared with all stakeholder groups to extend organizational learning.16,26,27
문헌에보고 된 성공적인 교육 혁신의 채택은 때로 원래 환경에서 다른 교육 기관으로 이식 된 경우 효과가 떨어지는 것으로 나타납니다. 교육 시스템은 크게 다를 수 있습니다. Plsek20은 여러 시스템에서 조직 구조, 프로세스 및 혁신 패턴을 연구했으며 여러 요소가 혁신적인 아이디어의 생성과 성공과 밀접하게 관련되어 있다고 결론 내립니다. 강압적인 전략은 "조직 문화에서 수용적인 맥락"을 찾는데 별로 도움이 안 된다.
The adoption of successful educational innovations reported in the literature can sometimes prove to be less effective when transplanted from the original setting to other institutions. Education systems can differ significantly. Plsek20 has studied organizational structures, processes, and patterns of innovation in a number of systems and concludes that multiple factors are closely related to the generation and success of innovative ideas. Coercive strategies have limited value to find a “receptive context in the organizational culture.”20
"사람들이 만나고, 반성하고 토론하는" 기회를 제공하는 것이 훨씬 더 효과적입니다. 이해 관계자들은 제안한 변경 사항의 잠재적 이익과 손실을 exchange함으로써 성공에 필요한 중요한 지원을 식별하는 데 도움이됩니다. 이해 관계자들의 손실에 대한 두려움은 관심 분야의 성과를 면밀히 모니터링하기위한 평가 기준을 포함시킴으로써 해결할 수 있습니다.
Providing opportunities for “people to meet, reflect and discuss”20 are much more effective. Stakeholder exchanges on the potential benefits and losses of proposed changes help to identify critical supports required for their success. Stakeholders’ fears about losses can also be addressed by the inclusion of assessment criteria to closely monitor performance in the areas of concern.
시스템 차원의 장기 계획을 위한 평가
Assessment to inform system-wide, long-range planning
잘 작동하는 시스템은 외부 환경의 변화에 능숙한 것으로 알려져 있습니다. 이는 의료 프로그램의 목표를 사회의 진화하고 예측 된 건강 관리 요구와보다 밀접하게 맞추기 위해 반복적으로 도전받는 의학교육과 특히 관련이 있습니다 .41-47 이러한 요구에 응답하기 위해서는 커리큘럼 디자인, 거버넌스 및 프로그램 우선 순위에 큰 변화가 필요했으며, 이는 개별 이해 관계자 그룹의 우려를 불러 일으켰습니다.
Well-functioning systems are purported to be adept in coping with changes in their external environment. This is especially relevant for medical education, which is repeatedly challenged to align its programs’ goals more closely with society’s evolving and projected health care needs.41–47 Response to such demands often necessitates major alterations in curriculum design, governance, and program priorities, raising concerns by individual stakeholder groups.
변화에 대한 저항은 잘 작동하는 시스템에서는 비록 완전히 제거되지는 않더라도, 시스템 사고에 숙달되고 조직 학습에 의해 정보를 얻은 중요한 이해 관계자를 육성하려는 시스템의 의식적인 노력으로 인해 감소합니다. 시스템에서 장거리 계획을 준비하는 것은 토론에 필요한 시스템 성능의 증거를 모으는 것입니다.
몇 년에 걸친 종단 시스템 성능,
시스템 제품 또는 서비스에 대한 최종 사용자 만족도에 대한 여러 소스의 피드백,
진화하는 소비자 기대,
규제 요구 사항의 변화 가능성을 예상하는 연구
Resistance to change is not entirely eliminated in well-functioning systems, but it is reduced by systems’ conscious efforts to cultivate a critical mass of stakeholders skilled in systems thinking and informed by organizational learning. Preparation for long-range planning in systems includes assembling evidence of system performance critical to the discussion:
longitudinal system performance over several years,
feedback from multiple sources on end users’ satisfaction with the system’s product or service,
evolving consumer expectations, and
research to anticipate likely changes in regulatory requirements.
이러한 정보로 무장한 이해 관계자는 장래에 제품 또는 서비스에 바람직한 개선 사항과 새로운 기능을 논의할 수 있다. 제안은 시스템을 제공 할 준비가되었는지, 그리고이를 성공적으로 구현하는 데 필요한 중요한 자원과 지원과 관련하여 고려됩니다.
Armed with this information, stakeholders discuss desirable improvements and new capabilities in their product or services in the future. Proposals are considered in the context of the system’s readiness to deliver them and the critical resources and supports needed to successfully implement them.
의학교육의 시스템-기반 평가 프레임워크
A Systems-Based Assessment Framework for Medical Education
의학교육 평가를 위한 제안 된 시스템 기반 프레임워크의 잠재적 인 가치는 프로그램, 결과의 의미를 해석함에 있어 모든 이해 관계자 그룹(학생, 교수진 및 교과 과정 책임자)의 적극적인 참여가 시스템 사고 기술을 향상시켜주며, 궁극적으로 프로그램 의사 결정에보다 관련성 있고 실행 가능한 정보를 제공할 것이라는 전제하에 부분적으로 제기된다. 개별 구성 요소 결과는 계속 수집되어 인증 목적으로 사용 가능하지만 전반적인 시스템 성능에 대한보다 포괄적이고 전체적인 분석으로 보완됩니다.
The potential value of the proposed systems-based framework for assessment in medical education is partially posited on the premise that more active engagement of all stakeholder groups—students, faculty, and curriculum directors—in interpreting the meaning of their programs’ outcomes will advance their systems thinking skills and ultimately result in more relevant and actionable information for program decision making. Individual component outcomes will continue to be collected and available for accreditation purposes but will be complemented by more comprehensive and holistic analyses of overall system performance.
이 프레임 워크는
즉각적인 시정 조치를위한 개별 구성 요소 성능,
품질 향상을위한 전반적인 시스템 성능
장기적 프로그램 계획을 위한 종단 시스템 성능
...의 3 가지 수준에서 시스템 성능을 평가하도록 설계되었습니다.
각 레벨에서 수행 된 평가의 요약은 표 2에 나와 있습니다.
The framework is designed to evaluate system performance at three distinctive levels: individual component performance for immediate corrective actions, overall system performance for quality improvements, and longitudinal system performance for long-range program planning. Summaries of the assessments performed at each level are provided in Table 2.
1단계: 개별 요소의 성능 평가
Level 1: Assessment of individual component performance
진행중인 개별 EA에서 시정 조치의 필요성을 나타 내기 위해 학습, 교육 및 커리큘럼 구성 요소 성과에 대한 내부 평가가 1 단계에서 수행됩니다. 이러한 평가 결과는 EA (학습자, 교수 및 EA 이사)와 관련된 이해 관계자에게 개인이 조정할 수 있도록 핵심 작업 (학습, 교수 및 평가)이 얼마나 효과적으로 수행되고 있는지에 대한 형성 피드백으로 신속하게 전달됩니다. 계획된 프로세스 및 절차의 준수 여부가 모니터링되고 결과가 해석 될 수있는 상황을 제공 할 수 있습니다. 이 수준에서 평가의 후반 측면은 교육 및 학습 경험이 크게 다를 수 있는 여러 사이트에서 실시되는 EA에 특히 중요합니다. 이러한 토론에 대한 학습자의 참여는 학습자의 개별 집단별로 서로 다른 결과를 초래할 수있는 compliance disparities를 인식하는 데 중요합니다.
Frequent internal assessments of learning, teaching, and curricula component performance are performed at Level 1 to indicate the need for corrective actions in individual EAs in progress. The results of these assessments are rapidly communicated to stakeholders involved in the EA (learners, faculty, and EA directors) as formative feedback on how effectively core tasks (learning, teaching, and assessment) are currently being performed to allow individuals to make adjustments. Compliance with planned processes and procedures is monitored and available to provide a context in which outcomes can be interpreted. The latter aspect of assessment at this level is especially important for EAs conducted at multiple sites where teaching and learning experiences can vary significantly. Learner participation in these discussions is critical to the recognition of compliance disparities that can result in different outcomes for individual cohorts of learners.
Ongoing task에 종사하는 개인에게 정보를 신속하게 제공함으로써 문제를 해결하고 평가의 이점을 명백하게 보여 주며 평가의 가치를 부여하는 문화를 강화할 수 있습니다. 커리큘럼 단위가 진행되는 동안의 평가와 유사한 접근법이 실행되어 성공한 것으로보고되었다 .34,37
The rapid provision of information to individuals engaged in the ongoing tasks allows them to address problems, tangibly demonstrating the benefits of assessment and reinforcing a culture that values it. Similar approaches to assessment during curricula units in progress have been implemented and reported to be successful.34,37
EA가 끝나면 학습 목표가 충족되었고 학습자가 발전 준비가되었거나 치료가 필요한지 판단하기 위해 최종 결과를 검토합니다. 참여한 모든 교수진, 학생 및 EA 이사의 EA 결과에 대한 추가 논의는 향후 개선이 보장 될 수있는 점과 Level 2 분석에서보다 철저하게 다루어 져야 할 질문을 고려합니다.
At the conclusion of an EA, final outcomes are reviewed to determine whether learning objectives have been met and learners are ready for advancement or require remediation. Additional discussions of EA outcomes by all involved faculty, students, and EA directors consider what future improvements may be warranted and what questions remain to be addressed more thoroughly by Level 2 analyses.
Box 1에 제공된 레벨 1에서 수행 된 평가의 예는 학습자에게 피드백을 위해 따라야 할 의도 된 프로세스와의 비준수를 신속하게 처리하는 방법을 설명합니다. 가장 중요한 것은, 레벨 2에서 좀 더 포괄적 인 탐사를 위해, 이해 관계자 토론으로부터 관련 상황에 잠재적 인 시스템 기여자를 확인한 것입니다.
The example of an assessment performed at Level 1 provided in Box 1 illustrates how this approach facilitated rapidly addressing noncompliance with the intended process to be followed for feedback to learners. Most important, stakeholder discussions identified potential systemic contributors to the concerning situation for more comprehensive exploration at Level 2.
Box 1
Level 1 Example of Medical Education Decisions Informed by Systems-Based Assessment: Rapid Correction of Individual Stakeholder and Curriculum Component Performance
Early competency performance assessments of a cohort of trainees on an ambulatory clinical rotation fell below standards expected at this point in the rotation. Compliance monitoring indicated that constructive performance feedback was not reliably provided to learners by all supervising faculty and residents as planned during the scheduled observation sessions during the first two weeks of the rotation.
The EA director initiated formal faculty and resident development sessions on giving feedback. She also required supervisors and learners to document the feedback delivered and received, respectively, during the remainder of the clerkship. At the conclusion of the rotation, learner competence performance outcomes were improved for the majority of learners.
In EA discussions of assessment data, students, residents, and faculty raised different concerns about some of the clinical contexts in which the clinical performance assessments occurred and questioned the appropriateness of some settings for performance assessment and feedback. A formal request was made for Level 2 analyses to explore the association between final learner performance outcomes, quality of documented feedback received, and the clinical setting in which observations were performed (number of patients scheduled and medical staffing for the clinic) for various clinic sites in the rotation. Level 2 analyses subsequently identified a strong relationship between learner competency outcomes and the teaching faculty:patient ratio, as well as teaching faculty:student ratios. These findings led to the development of new guidelines for teaching clinic staffing and patient volume.
Abbreviation: EA indicates educational activity.
2단계: 시스템 성능의 향상을 위한 평가
Level 2: Assessment for improvement in system performance
수준 2는 성능 결과에 기여하는 시스템 요소를 보다 철저하게 평가할 수 있는 협력적, 통합적 허브 역할을합니다. 평가 데이터의 조합에 대한 포괄적 인 분석은 구성 요소 상호 관계의 패턴, 학습 궤도의 추세, 예상치 않은 결과의 근본 원인 및 다양한 평가 방법 및 기준의 예측 가치를 파악하기 위해 계획되고 해석됩니다. 분석의 초점은 표준화되지 표준화되지 않으나, 시스템 이해 관계자가 제기 한 질문이나 EA 결과의 변화에 따라 달라진다. 레벨 2 평가는 또한 다른 커리큘럼 구성 요소 및 시스템 성능에 대한 개별 EA 혁신의 원격 효과에 대한 결과 데이터를 검사합니다.
Level 2 functions as a collaborative, integrative hub to more thoroughly evaluate system factors contributing to performance outcomes. Comprehensive analyses on combinations of assessment data are planned and interpreted to identify patterns of component interrelationships, trends in learning trajectories, root causes of unexpected outcomes, and the predictive value of various assessment approaches and criteria. The focus of analyses is not standardized but varies depending on questions raised by system stakeholders or concerning variations in EA outcomes. Level 2 evaluations also examine outcomes data for remote effects of individual EA innovations on other curriculum components and system performance.
수준 2에는 분석 계획 및 해석이 학생들의 관점을 포함하여 다양한 관점을 반영하도록 모든 이해 관계자 그룹이 참여한다. 수행 된 분석은 해결을위한 혁신적인 접근법을 요구하는 CQI 노력 및 체계적 문제를 보증하는 체계적인 문제의 증거를 제공 할 수 있습니다. 수준 2 결과는 의사 결정 책임에 맞게 특정 이해 관계자에게 전달됩니다. 전체 시스템 구성원들이 일반적으로 관심을 가질 수 있는 요약 결론은 조직 학습을 발전시키기 위해 더욱 넓은 범위로 배포됩니다.
Participation in Level 2 is inclusive of all stakeholder groups to ensure that analysis planning and interpretations reflect a diversity of perspectives, including those of students. The analyses performed can provide evidence of systemic problems that warrant CQI efforts and systemic issues that require innovative approaches for resolution. Level 2 findings are communicated to specific stakeholders, tailored to their decision-making responsibilities. Summary conclusions, of general interest to all system members, are more widely circulated to advance organizational learning.
Box 2에 제공된 예제에서 예시 된 바와 같이, 레벨 2 토론과 분석은 문제가 초기 관심사의 구성 요소에 내재되어 있다고 가정하기보다는, 불완전한 결과에 기여하는 구성 요소 상호 작용을 식별하려고 시도합니다. 이 경우 여러 시간을 소비하는 온라인 과제에 의해 학생에게 누적 된 과도한 부담이 재발되지 않도록 시스템 차원의 프로세스 및 절차 변경이 필요했습니다. 레벨 2 토론에서 이해 관계자를 폭넓게 representation하면 문제에 대한 전반적인 인식을 높였을뿐만 아니라 flipped 교실 접근법의 확장이 장려됨에 따라 교실 밖 배정에 대한 가이드 라인과 조정의 필요성을 강조했다.
As exemplified in the example supplied in Box 2, Level 2 discussions and analyses seek to identify component interactions contributing to unsatisfactory outcomes rather than reflexively assuming the problem is inherent in the component of initial concern. In this case, system-wide process and procedure changes were needed to prevent the recurrence of cumulative excessive burdens placed on students by multiple time-consuming online assignments. Broad stakeholder representation in Level 2 discussions not only raised general awareness of the problem but also highlighted the need to establish guidelines for and coordination of out-of class assignments, as expansion of the flipped classroom approach was encouraged.
Box 2
Level 2 Example of Medical Education Decisions Informed by Systems-Based Assessment: Identification of Component Interactions Contributing to Program Performance
Two previously highly regarded courses received lower course evaluation ratings than had been reported for the past several years. The decline was associated with an overall decrease in mean student grades, primarily reflecting an inferior quality of final projects submitted. No changes had occurred in either course’s content or the teaching approaches employed. A new IPE course, introduced into the same curriculum block, received “good” evaluations, but students’ commentary on the IPE course’s evaluation noted its use of time-consuming, Web-based modules and collaborative “outside-of-class” team activities. The latter observations were subsequently substantiated in student focus group discussions.
Based on its analyses, Level 2 deliberations concluded that a process was needed to better coordinate “outside-of-class” time demands on students during individual curriculum segments. Given the institution’s current interest in the use of innovative “flipped classrooms,” Level 2 also initiated monitoring of the time expenditures required for students to complete online activities and group projects. This ultimately resulted in the development of an institutional policy on the use of online and “outside-of-class” assignments that was put into place and periodically reassessed.
Abbreviation: IPE, interprofessional education.
Stratton et al., 16 Goldman et al., 17 및 Stoddard et al., 48에 의해 의학 교육 평가 자료의 포괄적 이해 관계자 해석의 타당성과 가치가보고되었다
The feasibility and value of inclusive stakeholder interpretation of medical education assessment data have been reported by Stratton et al,16 Goldman et al,17 and Stoddard et al.48
3단계: 미래 변화에 대비하는 시스템 준비를 위한 평가
Level 3: Assessment to prepare system for future changes
이상적으로, 레벨 3 평가는 정기적 인 간격으로 이루어 지므로 종단 시스템 성능을 종합적으로 검토하고 의학 교육 훈련 연속체 및 의료 시스템의 진화하는 변화를 학습자가 준비 할 수 있도록 시스템 준비 상태를 결정합니다. 장기 계획을 준비하려면 전 훈련생, 규제 기관 및 "최종 사용자"(환자, 고급 교육 프로그램 책임자 및 향후 고용주)의 피드백과 함께 시스템 성능에 대한 수년 간의 정보를 수집해야합니다. 종합적으로,이 데이터는 프로그램이 현재 졸업생의 능력을 미래 졸업생에게 기대되는 능력과 비교할 수있게 해줍니다.
Ideally, Level 3 evaluations occur at periodic intervals to comprehensively review longitudinal system performance and determine system readiness to prepare learners for evolving changes in the medical education training continuum and health care system. Preparation for long-range planning requires the compilation of several years of information on system performance combined with feedback from former trainees, regulatory bodies, and “end users”—patients, advanced training program directors, and future employers. Collectively, these data allow a program to compare the capabilities of its current graduates with those anticipated for future graduates.
모든 프로그램 이해 관계자를 포함한 3 단계 심의에서는 시간, 노력 및 재정적 지원 비용을 포함하여 실천적으로 필요한 지원을 현실적으로 평가하는 맥락에서 예상되는 기대치를 충족시키기 위해 졸업생을 준비하는 데 필요한 프로그램 변경에 중점을 둡니다. 우리의 프레임 워크에서 제안 된 포괄적 인 3 단계 평가는 프로그램 책무성의 요구가 계속되고 프로그램 졸업생의 성과에 대한 추가 정보 소스가 추구 될 때 더욱 중요해질 것입니다. 49-52
Level 3 deliberations, including all program stakeholders, focus on program changes needed to prepare graduates to meet projected expectations, considered in the context of a realistic appraisal of the supports necessary to implement them, including costs in time, effort, and financial support. The comprehensive Level 3 evaluations proposed in our framework are likely to become more important as calls for program accountability44–47 continue and additional sources of information on program graduates’ performance are pursued.49–52
박스 3에 묘사 된 레벨 3의 예는 레벨 2에서 알 수있는 레벨 3에서의 평가 프로세스가 학습자의 능력에 대한 프로그램의 평가에서 중대한 결함을 어떻게 확인했는지 보여줍니다. 레벨 3 평가 결과에 따라 학습자 성과 평가 기준이 개정되어 건강 관리 시스템의 기대치와 더욱 밀접하게 일치하게되었습니다. 이러한 평가를 통해 시스템은 모든 프로그램 이해 관계자에 대한 원가 절감 성과를 모니터링 할 수있었습니다.
The Level 3 example depicted in Box 3 illustrates how the assessment process at Level 3, informed by Level 2, identified a critical deficiency in a program’s assessment of learners’ competencies. Level 3 evaluations resulted in revisions in the criteria for learner performance assessments to align them more closely with the health care system expectations. These evaluations also prompted the system to initiate monitoring of cost containment performance for all program stakeholders.
Box 3
Level 3 Example of Medical Education Decisions Informed by Systems-Based Assessment: Program Changes Needed to Meet Future External Health Care Needs and Expectations
A primary care postgraduate program at a tertiary academic medical center noted a decreased recruitment of its graduates by local primary care practices over the past several years. Informal feedback from current employers of recent program graduates suggested that they tended to be overly dependent on diagnostic tests and procedures, as well as multiple specialty consultations, to make clinical decisions. Prior interval reaccreditation of the program concluded that it was meeting all required expectations. Previous Level 2 analyses found no changes in residents’ overall clinical performance associated with an increased acuity and complexity of patients cared for at the medical center. However, performance criteria currently in use did not specifically track cost of care for faculty or residents.
In view of growing societal and political concerns about rising health care costs, the omission of performance parameters indicative of cost:benefit patient care management was determined to be a critical deficiency in the residency program’s assessment criteria. Inclusive stakeholder discussions concluded that intermediate and final competency assessment criteria should be revised to include cost of care indicators for both residents and faculty and monitored at Level 2. Curriculum changes were introduced in conjunction with the inclusion of a process to provide feedback to residents and faculty on comparative costs and benefits of care.
고찰
Discussion
시스템 사고의 중요성에 대한 의학 교육의 강조는 학습자가 훈련하고 교수가 일하는 프로그램 내에서 시스템 사고와 관행의 인식 가능한 활용에 의해 크게 강화 될 것이다. 평가에 대한 시스템 접근법의 명백한 사용은 학습자와 교수진에게 시스템 사고에 대한 직접 경험을 제공하고 관련 시스템 문제를 골라 내고 해결책을 식별하는 데있어 그 유용성을 제공합니다.
Medical education’s emphasis on the importance of systems thinking would be significantly reinforced by the perceptible utilization of systems thinking and practices within the programs in which learners train and faculty work. The explicit use of a systems approach to assessment provides learners and faculty with firsthand experience in systems thinking and its utility in framing relevant system problems and identifying solutions.
연수생을 대상으로 한 시스템 기반의 진전에 대한 의학 교육의 열정을 감안할 때, "왜 전체론적 접근이 학계 기관에서 분명하지 않은 것일까?"라는 질문을 할 수 있다. 지금까지의 연구에서 밝혀진 바에 따면, 과도한 양의 정보나 복잡한 자료에 직면했을 때, 개인은 환원 주의적 전략을 채택하는 자연스러운 경향이 있으며, 의사 결정을위한 가장 접근하기 쉬운 기능에 중점을 둡니다 .25 시스템 사고는 직장에서의 실제 적용한 경험이 있거나 linear thinking과 대비해서 문제 해결에서의 이점을 가진 경험이 있을 때 더 능숙해진다.
Given medical education’s enthusiasm for advancing systems-based practice in its trainees, one could ask, “Why is this holistic approach not more evident in academic institutions?” Research indicates that individuals have a natural propensity to adopt a reductionist strategy when confronted by excessive amounts of information or complex data and to focus on the most accessible features for decision making.25 Proficiency in systems thinking is promoted by its practical application in one’s work and by primary experience with its benefits in problem solving compared with more linear thinking.20,24,26,53
조직 인프라는 기관에 대한 시스템 관점을 발전시키는 또 하나의 장벽입니다. 엄격한 위계적 기관에서, 그리고 다른 이해 관계자에 대한 노출과 역할이 제한적일 경우, 조직의 시야가 좁아집니다. 데이터 해석 및 의사 결정을위한보다 협업적인 프로세스 학부 및 대학원 프로그램 모두에서 시도되어왔다 .54 시스템 사고를 촉진하고 의사 결정을위한보다 실용적인 정보를 성공적으로 발표 한 성과는 우리가 제안한 평가 체계의 타당성과 지속 가능성에 대한 지원을 제공한다.
Organizational infrastructure is another barrier to advancing a systems perspective on one’s institution.25 Narrower views of an organization are observed in rigidly hierarchical institutions and when exposure to other stakeholders and their roles is limited.25,53 More collaborative processes for data interpretation and decision making have been attempted in both undergraduate11,16,17,34,48 and graduate programs.54 Their reported success in promoting systems thinking and more actionable information for decision making provides support for the feasibility and sustainability of the assessment framework we propose.
제안 된 프레임워크를 구현함으로써 잠재적인 기관의 편익이 도출되었지만, 여전히 구현을 위해서는 이해 관계자 노력이 더 필요하다는 것에 대한 우려는 이해가능하다. 그러나 최근 고등 교육 사상가 및 의학 교육 인정 기관의 호소로 인해보다 포괄적 인 프로그램 평가가 지원되었습니다. 인증기관들은 개선 될 수있는 체계적인 요인에 대한 특별한 주의를 기울여 결과 데이터에 대해 더 자주 내부적으로 검토할 것을 권장합니다.
Despite the potential institutional benefits to be derived from implementing the proposed framework, understandable concerns about the increased stakeholder effort required for its implementation are legitimate. However, recent appeals from thought leaders in higher education13 and medical education accrediting bodies10,11,40 indicate their support for more comprehensive program evaluation. Both groups encourage more frequent, internally initiated review of outcomes data with specific attention to systemic factors that can be improved.
시스템 과학자들은 평가 및 평가에 대한보다 전체 론적 인 접근 방식이 더 큰 효능 및 효율성, 사용 된 평가 기준의 예측 가치 향상, 프로그램 의사 결정을 안내하는보다 실용적인 정보를 제공한다고 주장합니다. 그렇다면 이러한 모든 이점은 의료 교육 연속체의 궁극적 인 목표 인 진료 제공자가 환자의 요구에 부응 할 수 있도록 준비하는 데 중요합니다.
Systems scientists maintain that a more holistic approach to assessment and evaluation results in greater efficacy and efficiency, improvement in the predictive value of assessment criteria employed, and more actionable information to guide program decision making. If so, all of these benefits would be valuable in advancing the medical education continuum’s ultimate goal of preparing providers to serve the needs of patients.
Assessment for Systems Learning: A Holistic Assessment Framework to Support Decision Making Across the Medical Education Continuum.
Author information
- 1
- C.M. Bowe is codirector, Systems Approach to Assessment in Health Professions Education, Harvard Macy Institute, senior consultant, Partners Health Care International, and professor emeritus, Clinical Neurology, University of California, Davis, School of Medicine, Sacramento, California. E. Armstrong is director, Harvard Macy Institute, and clinical professor, Pediatrics, Harvard Medical School, Boston, Massachusetts.
Abstract
'Articles (Medical Education) > 대학의학, 조직, 리더십' 카테고리의 다른 글
| 존중의 문화, 파트 2: 존중의 문화 만들기(Acad Med, 2012) (0) | 2017.11.16 |
|---|---|
| 존중의 문화, 파트 1: 의사의 무례한 행동의 특성과 원인(Acad Med, 2012) (0) | 2017.11.16 |
| 새로운 도구상자를 이용해서 교육자 평가하기(Acad Med, 2014) (0) | 2017.08.28 |
| 왜 1/4의 교수가 대학의학을 떠나려고 하는가?: 기관 문화와 이직 의도에 대한 연구(Acad Med, 2012) (0) | 2017.04.15 |
| 대학의학에서의 'Faculty'정의하기: 변화하는 환경에 대응(Acad Med, 2015) (0) | 2017.01.25 |